JP2018124982A - Control device and control method - Google Patents
Control device and control method Download PDFInfo
- Publication number
- JP2018124982A JP2018124982A JP2017207450A JP2017207450A JP2018124982A JP 2018124982 A JP2018124982 A JP 2018124982A JP 2017207450 A JP2017207450 A JP 2017207450A JP 2017207450 A JP2017207450 A JP 2017207450A JP 2018124982 A JP2018124982 A JP 2018124982A
- Authority
- JP
- Japan
- Prior art keywords
- neural network
- control
- operation amount
- cost function
- sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Landscapes
- Feedback Control In General (AREA)
Abstract
Description
本開示は、制御装置および制御方法に関し、特にニューラルネットワークを用いた制御装置および制御方法に関する。 The present disclosure relates to a control device and a control method, and more particularly to a control device and a control method using a neural network.
最適制御の一つとして、経路積分制御が知られている(例えば、非特許文献1参照)。最適制御は、制御対象のシステムの将来の状態および報酬を先読みし、最適な操作量の系列を求めるための枠組みとして捉えることができる。最適制御は、制約付きの最適化問題として定式化できる。 As one of the optimal controls, path integral control is known (for example, see Non-Patent Document 1). Optimal control can be regarded as a framework for prefetching the future state and reward of the system to be controlled and obtaining an optimum sequence of manipulated variables. Optimal control can be formulated as a constrained optimization problem.
一方、畳み込みニューラルネットワークなどのディープ・ニューラル・ネットワークは、自動運転およびロボット操作などの制御にうまく適用されて用いられている。 On the other hand, deep neural networks such as convolutional neural networks have been successfully applied and used for controls such as automatic driving and robot operation.
しかしながら、非特許文献1などの従来の最適制御では、当該システムの将来の状態および将来の報酬を予測するために、当該システムのダイナミクスを特定し、かつ、コスト関数を利用する必要があるものの、ダイナミクスおよびコスト関数を記述することは難しいという問題がある。 However, in the conventional optimal control such as Non-Patent Document 1, although it is necessary to specify the dynamics of the system and use a cost function in order to predict the future state and future reward of the system, There is a problem that it is difficult to describe the dynamics and the cost function.
また、畳み込みニューラルネットワークなどのディープ・ニューラル・ネットワークを用いても最適制御を行えないという問題がある。畳み込みニューラルネットワークなどのディープ・ニューラル・ネットワークは、どれだけ学習しても、反射的にしか成長しないからである。 In addition, there is a problem that optimal control cannot be performed using a deep neural network such as a convolutional neural network. This is because deep neural networks such as convolutional neural networks only grow reflexively, no matter how much they learn.
本開示は、上述の事情を鑑みてなされたもので、ニューラルネットワークを用いて最適制御を行うことができる制御装置および制御方法を提供することを目的とする。 The present disclosure has been made in view of the above-described circumstances, and an object thereof is to provide a control device and a control method capable of performing optimal control using a neural network.
上記課題を解決するために、本開示の一形態に係る制御装置は、経路積分による最適制御を行うための制御装置であって、前記制御装置は、機械学習されたダイナミクスモデルおよびコスト関数を有するニューラルネットワークと、制御対象の現在の状態と、前記制御対象に対する複数の操作パラメータを成分とする操作量系列であって初期の操作量系列とを、前記ニューラルネットワークに入力する入力部と、前記ニューラルネットワークが前記ダイナミクスモデルおよび前記コスト関数を用いて、前記現在の状態と前記初期の操作量系列とから、経路積分により算出した操作量系列であって前記制御対象を制御するための操作量系列を出力する出力部とを備え、前記ニューラルネットワークは、前記ダイナミクスモデルを持つ第1リカレントニューラルネットワークを内部に有する第2リカレントニューラルネットワークからなる。 In order to solve the above problem, a control device according to an embodiment of the present disclosure is a control device for performing optimal control by path integration, and the control device has a machine-learned dynamics model and a cost function. An input unit that inputs a neural network, a current state of a control target, and an operation amount series that includes a plurality of operation parameters for the control target as components, and an initial operation amount sequence to the neural network; and the neural network An operation amount sequence for controlling the control target, which is an operation amount sequence calculated by path integration from the current state and the initial operation amount sequence using the dynamics model and the cost function. An output unit for outputting, wherein the neural network has a first recurrence having the dynamics model. And a second recurrent neural network with bets neural network therein.
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータで読み取り可能なCD−ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。 These general or specific aspects may be realized by a system, a method, an integrated circuit, a computer program, or a computer-readable recording medium such as a CD-ROM. The system, method, integrated circuit, computer You may implement | achieve with arbitrary combinations of a program and a recording medium.
本開示の制御装置等によれば、ニューラルネットワークを用いて最適制御を行うことができる。 According to the control device and the like of the present disclosure, optimal control can be performed using a neural network.
(本開示の一態様を得るに至った経緯)
制御の良さを表す評価関数を最小にする制御である最適制御が知られている。そして、最適制御は、制御対象のシステムの将来の状態および報酬を先読みし、最適な操作量の系列を求めるための枠組みとして捉えることができる。最適制御は、制約付きの最適化問題として定式化できる。
(Background to obtaining one embodiment of the present disclosure)
There is known optimal control that is control that minimizes an evaluation function that represents good control. Optimal control can be regarded as a framework for prefetching the future state and reward of the system to be controlled and obtaining an optimal sequence of manipulated variables. Optimal control can be formulated as a constrained optimization problem.
また、最適制御の一つとして、経路積分制御が知られている(例えば、非特許文献1参照)。非特許文献1には、軌道の確率的サンプリングに基づくモンテカルロ近似を用いて、確率的最適制御問題として経路積分を数学的に解くことで経路積分制御を行うことが記載されている。 Moreover, path integral control is known as one of the optimal controls (see, for example, Non-Patent Document 1). Non-Patent Document 1 describes that path integration control is performed by mathematically solving path integration as a stochastic optimal control problem using Monte Carlo approximation based on stochastic sampling of trajectories.
しかしながら、非特許文献1などの従来の最適制御では、当該システムの将来の状態および将来の報酬を予測するために、当該システムのダイナミクスを特定したモデルとコスト関数とを利用する必要があるが、ダイナミクスおよびコスト関数を記述することは難しい。当該システムのモデルが完全に既知である場合には、複雑な方程式と多数のパラメータとからなるダイナミクスを記述できるものの、このような場合は少ないからである。特に、多数のパラメータを記述することは難しい。同様に、報酬を評価するために用いられるコスト関数は、当該システムの現在の状態から将来の状態までの間の環境の全状況の変化を完全に知っている若しくは完全にシミュレーションできる場合には記述できるものの、このような場合は少ない。コスト関数は、狙った制御を行わせるために、どういう状態が望ましいかを重みなどのパラメータを用いて関数で記述するものである。このため、特に、重みなどのパラメータを最適に記述することは難しい。 However, in the conventional optimal control such as Non-Patent Document 1, it is necessary to use a model that identifies the dynamics of the system and a cost function in order to predict the future state and future reward of the system. It is difficult to describe dynamics and cost functions. This is because, if the model of the system is completely known, the dynamics composed of complicated equations and a large number of parameters can be described, but there are few such cases. In particular, it is difficult to describe a large number of parameters. Similarly, the cost function used to evaluate rewards is described if it fully knows or can fully simulate the change in the overall state of the environment from the current state of the system to the future state. Although it is possible, this is rare. The cost function is a function that describes what state is desirable in order to perform targeted control using parameters such as weights. For this reason, it is particularly difficult to optimally describe parameters such as weights.
一方、上述したように、近年、自動運転およびロボット操作などの制御において、畳み込みニューラルネットワークなどのディープ・ニューラル・ネットワークがうまく適用されて用いられている。そして、このようなディープ・ニューラル・ネットワークは、教師データによる模倣学習または強化学習により、所望の操作量を出力するよう訓練される。 On the other hand, as described above, in recent years, deep neural networks such as convolutional neural networks have been successfully applied and used in controls such as automatic driving and robot operation. Such a deep neural network is trained to output a desired operation amount by imitation learning or reinforcement learning using teacher data.
そこで、畳み込みニューラルネットワークなどのディープ・ニューラル・ネットワークを用いて最適制御を行うことが考えられる。このようなディープ・ニューラル・ネットワークを用いて最適制御を行うことができれば、最適制御に必要なダイナミクスおよびコスト関数、または、特に記述が難しいこれらのパラメータを学習することができると考えられるからである。 Therefore, it is conceivable to perform optimal control using a deep neural network such as a convolutional neural network. If optimal control can be performed using such a deep neural network, it is considered that the dynamics and cost function necessary for optimal control, or these parameters that are particularly difficult to describe, can be learned. .
しかしながら、畳み込みニューラルネットワークなどのディープ・ニューラル・ネットワークを用いても最適制御を行えない。このようなディープ・ニューラル・ネットワークは、どれだけ学習しても、反射的にしか成長しないからである。つまり、このようなディープ・ニューラル・ネットワークは、どれだけ学習させても、先読みなどの汎化能力を得ることができないからである。 However, optimal control cannot be performed using a deep neural network such as a convolutional neural network. This is because such a deep neural network grows only reflexively, no matter how much it learns. That is, such a deep neural network cannot obtain generalization ability such as prefetching no matter how much it is learned.
以上の事情を鑑みて、発明者は、ニューラルネットワークを用いて最適制御を行うことができる制御装置および制御方法を想到するに至った。 In view of the above circumstances, the inventors have come up with a control device and a control method capable of performing optimal control using a neural network.
すなわち、本開示の一形態に係る制御装置は、経路積分による最適制御を行うための制御装置であって、前記制御装置は、機械学習されたダイナミクスモデルおよびコスト関数を有するニューラルネットワークと、制御対象の現在の状態と、前記制御対象に対する複数の操作パラメータを成分とする操作量系列であって初期の操作量系列とを、前記ニューラルネットワークに入力する入力部と、前記ニューラルネットワークが前記ダイナミクスモデルおよび前記コスト関数を用いて、前記現在の状態と前記初期の操作量系列とから、経路積分により算出した操作量系列であって前記制御対象を制御するための操作量系列を出力する出力部とを備え、前記ニューラルネットワークは、前記ダイナミクスモデルを持つ第1リカレントニューラルネットワークを内部に有する第2リカレントニューラルネットワークからなる。 That is, a control device according to one embodiment of the present disclosure is a control device for performing optimal control by path integration, and the control device includes a machine-learned dynamics model and a neural network having a cost function, and a control target An input unit for inputting an initial manipulated variable sequence, which is a manipulated variable sequence including a plurality of manipulated parameters for the control target, to the neural network, and the neural network includes the dynamics model and Using the cost function, an output unit that outputs an operation amount sequence for controlling the control target, which is an operation amount sequence calculated by path integration from the current state and the initial operation amount sequence. The neural network includes a first recurrent neural network having the dynamics model. And a second recurrent neural network having a network therein.
この構成により、2重のリカレントニューラルネットワークからなるニューラルネットワークに経路積分による最適制御を行わせることができるので、ニューラルネットワークを用いて最適制御を行うことができる。 With this configuration, it is possible to cause a neural network including a double recurrent neural network to perform optimal control by path integration, and thus optimal control can be performed using the neural network.
ここで、例えば、前記第2リカレントニューラルネットワークは、前記第1リカレントニューラルネットワークと、前記コスト関数とを有し、前記第1リカレントニューラルネットワークに、前記現在の状態と前記初期の操作量系列とからモンテカルロ法により各時刻における状態を算出させ、前記コスト関数を用いて前記複数の状態のコストを算出させる第1処理部と、前記初期の操作量系列と前記複数の状態のコストとに基づき、前記制御対象に対する操作量系列を算出する第2処理部とを備え、前記第2処理部は、算出した操作量系列を、前記出力部に出力するともに、前記第2リカレントニューラルネットワークに、前記初期の操作量系列としてフィードバックし、前記第2リカレントニューラルネットワークは、前記第1処理部に、前記第2処理部によりフィードバックされた操作量系列と、前記現在の状態とから前記各時刻の次の各時刻における複数の状態のコストを算出させてもよい。 Here, for example, the second recurrent neural network includes the first recurrent neural network and the cost function, and the first recurrent neural network includes the current state and the initial manipulated variable sequence. Based on a first processing unit that calculates a state at each time by a Monte Carlo method and calculates a cost of the plurality of states using the cost function, the initial manipulated variable series and the cost of the plurality of states, A second processing unit that calculates an operation amount sequence for the control target, and the second processing unit outputs the calculated operation amount sequence to the output unit, and outputs the initial operation amount sequence to the second recurrent neural network. The second recurrent neural network is fed back as a manipulated variable sequence, and the second recurrent neural network is connected to the first processing unit. And fed back manipulated variable sequence by the second processing unit, the may be from the current state to calculate the cost of a plurality of states in each of the following times of the respective times.
この構成により、2重のリカレントニューラルネットワークからなるニューラルネットワークに、モンテカルロ法による経路積分による最適制御を行わせることができる。 With this configuration, it is possible to cause a neural network including a double recurrent neural network to perform optimum control by path integration by the Monte Carlo method.
さらに、例えば、前記第2リカレントニューラルネットワークは、さらに、前記モンテカルロ法で用いる乱数を発生させる第3処理部を備え、前記第3処理部は、発生させた乱数を前記第1処理部および前記第2処理部に出力させてもよい。 Further, for example, the second recurrent neural network further includes a third processing unit that generates a random number used in the Monte Carlo method, and the third processing unit outputs the generated random number to the first processing unit and the first processing unit. You may make it output to 2 process parts.
また、例えば、前記コスト関数は、ニューラルネットワークで構成されるコスト関数モデルであるとしてもよい。 Further, for example, the cost function may be a cost function model configured by a neural network.
また、本開示の一形態に係る制御方法は、経路積分による最適制御を行うための制御装置の制御方法であって、前記制御装置は、機械学習されたダイナミクスモデルおよびコスト関数を有するニューラルネットワークを備え、制御対象の現在の状態と、前記制御対象に対する複数の操作パラメータを成分とする操作量系列であって初期の操作量系列とを、前記ニューラルネットワークに入力する入力ステップと、前記ニューラルネットワークに、前記ダイナミクスモデルおよび前記コスト関数を用いて、前記現在の状態と前記初期の操作量系列とから、経路積分により算出させた操作量系列であって前記制御対象を制御するための操作量系列を出力する出力ステップとを含み、前記ニューラルネットワークは、前記ダイナミクスモデルを持つ第1リカレントニューラルネットワークを内部に有する第2リカレントニューラルネットワークからなる。 Further, a control method according to an aspect of the present disclosure is a control method for a control device for performing optimal control by path integration, and the control device includes a neural network having a machine-learned dynamics model and a cost function. An input step of inputting an initial manipulated variable sequence, which is a manipulated variable sequence having a plurality of operational parameters for the controlled object as components, to the neural network; and Using the dynamics model and the cost function, an operation amount sequence calculated by path integration from the current state and the initial operation amount sequence, and an operation amount sequence for controlling the control target. An output step of outputting, wherein the neural network has the dynamics model And a second recurrent neural network having one recurrent neural network therein.
ここで、例えば、さらに、前記入力ステップの前に、前記ダイナミクスモデルおよび前記コスト関数を機械学習させる学習ステップを含み、前記学習ステップは、前記制御対象の現在の状態に対応する予め用意された状態と、前記制御対象に対する初期の操作量系列に対応する予め用意された初期の操作量系列と、予め用意された状態および予め用意された初期の操作量系列とから、経路積分により予め算出された、前記制御対象を制御するための操作量系列とを含む学習用データを教師データとして準備するステップと、前記教師データを用いて、前記ニューラルネットワークの重みを誤差逆伝播法により学習させることにより、前記ダイナミクスモデルおよび前記コスト関数を学習させるステップとを含むとしてもよい。 Here, for example, further including a learning step for machine learning of the dynamics model and the cost function before the input step, the learning step being a state prepared in advance corresponding to the current state of the control target And an initial operation amount sequence prepared in advance corresponding to the initial operation amount sequence for the control target, a state prepared in advance, and an initial operation amount sequence prepared in advance. A step of preparing learning data including a manipulated variable sequence for controlling the control target as teacher data, and by using the teacher data to learn the weight of the neural network by an error back propagation method, Learning the dynamics model and the cost function.
これより、2重のリカレントニューラルネットワークからなるニューラルネットワークに、最適制御に必要なダイナミクスおよびコスト関数、または、これらのパラメータを学習させることができる。 As a result, a neural network composed of a double recurrent neural network can learn the dynamics and cost function necessary for optimal control, or these parameters.
ここで、例えば、前記コスト関数は、ニューラルネットワークで構成されるコスト関数モデルであってもよい。 Here, for example, the cost function may be a cost function model configured by a neural network.
以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、構成要素、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また全ての実施の形態において、各々の内容を組み合わせることもできる。 Each of the embodiments described below shows a specific example of the present disclosure. Numerical values, shapes, components, steps, order of steps, and the like shown in the following embodiments are merely examples, and are not intended to limit the present disclosure. In addition, among the constituent elements in the following embodiments, constituent elements that are not described in the independent claims indicating the highest concept are described as optional constituent elements. In all the embodiments, the contents can be combined.
(実施の形態)
以下では、図面を参照しながら、実施の形態における制御装置および制御方法等の説明を行う。
(Embodiment)
Hereinafter, a control device, a control method, and the like in the embodiment will be described with reference to the drawings.
[制御装置1の構成]
図1は、本実施の形態における制御装置1の構成の一例を示すブロック図である。図2は、図1に示すニューラルネットワーク部3の構成の一例を示すブロック図である。
[Configuration of Control Device 1]
FIG. 1 is a block diagram showing an example of the configuration of the control device 1 in the present embodiment. FIG. 2 is a block diagram showing an example of the configuration of the neural network unit 3 shown in FIG.
制御装置1は、ニューラルネットワークを用いたコンピュータ等で実現され、制御対象50に対して、経路積分による最適制御を行う。制御装置1は、例えば図1に示すように入力部2とニューラルネットワーク部3と出力部4とで構成されている。ここで、制御対象50は、例えば自動運転を行う車両または自律移動するロボットなど、最適制御を行う制御対象のシステムである。 The control device 1 is realized by a computer or the like using a neural network, and performs optimal control by path integration on the control target 50. The control device 1 includes an input unit 2, a neural network unit 3 and an output unit 4 as shown in FIG. Here, the control target 50 is a control target system that performs optimal control, such as a vehicle that performs automatic driving or a robot that moves autonomously.
<入力部2>
入力部2は、制御対象の現在の状態と、制御対象に対する複数の操作パラメータを成分とする操作量系列であって初期の操作量系列とを、本開示のニューラルネットワークに入力する。
<Input unit 2>
The input unit 2 inputs a current state of the control target and an operation amount series including a plurality of operation parameters for the control target as components and an initial operation amount series to the neural network of the present disclosure.
本実施の形態では、入力部2は、制御対象50の現在の状態
<出力部4>
出力部4は、ニューラルネットワーク部3が、機械学習されたダイナミクスモデルおよびコスト関数を用いて、現在の状態と初期の操作量系列とから経路積分により算出した操作量系列であって制御対象を制御するための操作量系列を出力する。ダイナミクスモデルは、例えば、ニューラルネットワークで構成されるダイナミクスモデルであってもよいし、数式で表される関数であってもよい。同様に、コスト関数は、例えば、ニューラルネットワークで構成されるコスト関数モデルであってもよいし、数式で表される関数であってもよい。つまり、ダイナミクス、およびコスト関数は、事前に機械学習できるものであれば、ニューラルネットワークで構成されてもよいし、数式とパラメータとからなる関数で構成されてもよい。
<Output unit 4>
The output unit 4 is an operation amount sequence calculated by the path integration from the current state and the initial operation amount sequence using the machine model learned dynamics model and the cost function, and the output unit 4 controls the control target. Output a manipulated variable sequence. The dynamics model may be, for example, a dynamics model configured by a neural network or a function represented by a mathematical expression. Similarly, the cost function may be, for example, a cost function model configured by a neural network or a function represented by a mathematical expression. That is, the dynamics and the cost function may be configured by a neural network or a function including a mathematical expression and a parameter as long as machine learning can be performed in advance.
本実施の形態では、出力部4は、入力部2により制御対象50から取得された初期の操作量系列
<ニューラルネットワーク部3>
ニューラルネットワーク部3は、機械学習されたダイナミクスモデルおよびコスト関数を有するニューラルネットワークで構成される。ニューラルネットワーク部3は、機械学習されたダイナミクスモデルを持つ第1リカレントニューラルネットワークを内部に有する第2リカレントニューラルネットワークからなる。なお、以下では、本開示のニューラルネットワーク部3は、経路積分制御ニューラルネットワークと称する場合もある。
<Neural network part 3>
The neural network unit 3 is constituted by a neural network having a machine-learned dynamics model and a cost function. The neural network unit 3 includes a second recurrent neural network having a first recurrent neural network having a machine-learned dynamics model therein. Hereinafter, the neural network unit 3 of the present disclosure may be referred to as a path integration control neural network.
そして、ニューラルネットワーク部3は、機械学習されたダイナミクスモデルおよびコスト関数を用いて、現在の状態と初期の操作量系列とから、経路積分により、制御対象を制御するための操作量系列を算出する。 Then, the neural network unit 3 uses the machine-learned dynamics model and the cost function to calculate a manipulated variable sequence for controlling the controlled object by path integration from the current state and the initial manipulated variable sequence. .
本実施の形態では、ニューラルネットワーク部3は、図2に示すように、算出部13を備える。算出部13は、入力部2により制御対象50の現在の状態
なお、算出部13の再帰的に操作量系列を更新する部分は、リカレントニューラルネットワーク13aに該当する。リカレントニューラルネットワーク13aは、例えば第2リカレントニューラルネットワークである。 The part of the calculation unit 13 that recursively updates the manipulated variable series corresponds to the recurrent neural network 13a. The recurrent neural network 13a is, for example, a second recurrent neural network.
また、U回は、更新した操作量系列が十分収束するように大きな数に設定される。ダイナミクスモデルは、機械学習によりパラメータ化された関数fにより表されるとする。コスト関数モデルは、機械学習によりパラメータ化された関数
図3Aは、図2に示す算出部13の構成の一例を示すブロック図である。図3Bは、図2に示す算出部13の詳細構成の一例を示す図である。図4は、図3Bに示すモンテカルロシミュレータ部141の詳細構成の一例を示す図である。図5は、図3Bに示す第2処理部15の詳細構成の一例を示す図である。 FIG. 3A is a block diagram illustrating an example of a configuration of the calculation unit 13 illustrated in FIG. FIG. 3B is a diagram illustrating an example of a detailed configuration of the calculation unit 13 illustrated in FIG. 2. FIG. 4 is a diagram illustrating an example of a detailed configuration of the Monte Carlo simulator unit 141 illustrated in FIG. 3B. FIG. 5 is a diagram illustrating an example of a detailed configuration of the second processing unit 15 illustrated in FIG. 3B.
算出部13は、例えば図3Aに示すように、第1処理部14と、第2処理部15と、第3処理部16とを備える。なお、算出部13は、例えば図3Bに示すように、入力部により入力された初期の操作量系列を格納する格納部17をさらに備え、第1処理部14および第2処理部15に出力してもよい。 For example, as illustrated in FIG. 3A, the calculation unit 13 includes a first processing unit 14, a second processing unit 15, and a third processing unit 16. For example, as shown in FIG. 3B, the calculation unit 13 further includes a storage unit 17 that stores the initial manipulated variable series input by the input unit, and outputs the storage unit 17 to the first processing unit 14 and the second processing unit 15. May be.
≪第1処理部14≫
第1処理部14は、第1リカレントニューラルネットワークと、コスト関数とを有し、第1リカレントニューラルネットワークに、現在の状態と初期の操作量系列とからモンテカルロ法により各時刻における状態を算出させ、コスト関数モデルを用いて複数の状態のコストを算出する。また、第1処理部14は、第2処理部15により第2リカレントニューラルネットワークにフィードバックされた操作量系列と、現在の状態とから、各時刻の次の各時刻における複数の状態のコストを算出する。
«First processing unit 14»
The first processing unit 14 includes a first recurrent neural network and a cost function, and causes the first recurrent neural network to calculate a state at each time from a current state and an initial manipulated variable sequence by a Monte Carlo method, The cost of a plurality of states is calculated using a cost function model. Further, the first processing unit 14 calculates the cost of a plurality of states at each time next to each time from the operation amount series fed back to the second recurrent neural network by the second processing unit 15 and the current state. To do.
本実施の形態では、第1処理部14は、図3Bに示すように、モンテカルロシミュレータ部141と、格納部142とを備える。 In the present embodiment, the first processing unit 14 includes a Monte Carlo simulator unit 141 and a storage unit 142, as shown in FIG. 3B.
モンテカルロシミュレータ部141は、モンテカルロシミュレーションを用いて複数の異なる状態の時系列を確率的にサンプリングする経路積分の枠組みを利用する。状態の時系列を軌道と呼ぶ。モンテカルロシミュレータ部141は、例えば図4に示すように、機械学習されたダイナミクスモデル1411と、第3処理部16から入力される乱数とを用いて、現在の状態と初期の操作量系列とから、現在より後の時刻における状態を成分とする状態の時系列を算出する。さらに、モンテカルロシミュレータ部141は、算出した状態の時系列を再度入力し、その状態の時系列を更新する。このように、モンテカルロシミュレータ部141は、例えばN回再帰的に状態の時系列を更新することで、現在より後の各時刻における状態を算出する。また、モンテカルロシミュレータ部141は、終端コスト算出部1412においてN回目すなわち最後に算出した状態のコストを算出し、終端コストとして格納部142に出力する。 The Monte Carlo simulator unit 141 uses a path integration framework that probabilistically samples a plurality of different time series using Monte Carlo simulation. A time series of states is called a trajectory. For example, as shown in FIG. 4, the Monte Carlo simulator unit 141 uses a machine-learned dynamics model 1411 and a random number input from the third processing unit 16 to calculate a current state and an initial manipulated variable sequence. A time series of states having a state at a time after the present as a component is calculated. Furthermore, the Monte Carlo simulator unit 141 inputs the time series of the calculated state again, and updates the time series of the state. As described above, the Monte Carlo simulator unit 141 calculates the state at each time after the present by recursively updating the state time series N times, for example. In addition, the Monte Carlo simulator unit 141 calculates the cost of the Nth time, that is, the state calculated last in the termination cost calculation unit 1412 and outputs the cost to the storage unit 142 as the termination cost.
より具体的には、例えば、ダイナミクスモデル1411が、
また、モンテカルロシミュレータ部141は、コスト関数モデル1413と、第3処理部16から入力される乱数とを用いて、初期の操作量系列から、算出した各時刻における複数の状態のコストである評価コストを算出する。 In addition, the Monte Carlo simulator unit 141 uses the cost function model 1413 and the random number input from the third processing unit 16 to evaluate the cost of a plurality of states at each time calculated from the initial manipulated variable sequence. Is calculated.
より具体的には、モンテカルロシミュレータ部141は、コスト関数モデル1413である
なお、モンテカルロシミュレータ部141の再帰的に複数の状態を算出する部分は、リカレントニューラルネットワーク141aに該当する。リカレントニューラルネットワーク141aは、例えば第1リカレントニューラルネットワークである。また、N回は、先読みする時間ステップ数を示す。 The portion of the Monte Carlo simulator unit 141 that recursively calculates a plurality of states corresponds to the recurrent neural network 141a. The recurrent neural network 141a is, for example, a first recurrent neural network. N times indicates the number of time steps to be read ahead.
格納部142は、例えばメモリであり、N回分の各時刻における複数の状態のコストである評価コスト
≪第2処理部15≫
第2処理部15は、初期の操作量系列と複数の状態のコストとに基づき、各時刻における制御対象に対する操作量系列を算出する。第2処理部15は、算出した各時刻における操作量系列を、出力部4に出力するともに、第2リカレントニューラルネットワークに、初期の操作量系列としてフィードバックする。
<< second processing unit 15 >>
The second processing unit 15 calculates an operation amount sequence for the control target at each time based on the initial operation amount sequence and the costs of a plurality of states. The second processing unit 15 outputs the calculated manipulated variable sequence at each time to the output unit 4 and feeds it back to the second recurrent neural network as an initial manipulated variable sequence.
本実施の形態では、第2処理部15は、例えば図5に示すように、コスト積算部151と、操作系更新部152とを備える。 In the present embodiment, the second processing unit 15 includes a cost integrating unit 151 and an operation system updating unit 152, for example, as shown in FIG.
コスト積算部151は、格納部142に格納されているN回分の各時刻における複数の状態のコストを積算した積算コストを算出する。より具体的には、コスト積算部151は、下記の(式1)を用いて、格納部142に格納されているN回分の各時刻における複数の状態のコストを積算した積算コスト
操作系更新部152は、初期の操作量系列とコスト積算部151で積算されたN回分の各時刻における複数の状態のコストと第3処理部16から入力される乱数とから、初期の操作量系列を更新した制御対象50に対する操作量系列を算出する。より具体的には、操作系更新部152は、下記の(式2)を用いて、初期の操作量系列
≪第3処理部16≫
第3処理部16は、モンテカルロ法で用いる乱数を発生させる。第3処理部16は、発生させた乱数を第1処理部14および第2処理部15に出力する。
«Third processing unit 16»
The third processing unit 16 generates a random number used in the Monte Carlo method. The third processing unit 16 outputs the generated random number to the first processing unit 14 and the second processing unit 15.
本実施の形態では、第3処理部16は、図3Bに示すように、ノイズ発生部161と、格納部162とを備える。 In the present embodiment, the third processing unit 16 includes a noise generation unit 161 and a storage unit 162, as shown in FIG. 3B.
ノイズ発生部161は、例えば、ガウス雑音を乱数
格納部162は、例えばメモリであり、乱数
[制御装置1の動作]
上述のように構成された制御装置1の動作の一例について以下説明する。
[Operation of Control Device 1]
An example of the operation of the control device 1 configured as described above will be described below.
図6は、本実施の形態における制御装置1の処理を示すフローチャートである。制御装置1は、本開示のニューラルネットワークである経路積分制御ニューラルネットワークを備える。当該経路積分制御ニューラルネットワークは、機械学習されたダイナミクスモデルおよびコスト関数を有する。また、当該経路積分制御ニューラルネットワークは、2重のリカレントニューラルネットワークからなる。すなわち、当該経路積分制御ニューラルネットワークは、上述したように、ダイナミクスモデルを持つ第1リカレントニューラルネットワークを内部に有する第2リカレントニューラルネットワークからなる。 FIG. 6 is a flowchart showing the processing of the control device 1 in the present embodiment. The control device 1 includes a path integration control neural network that is a neural network of the present disclosure. The path integral control neural network has a machine-learned dynamics model and a cost function. The path integral control neural network is a double recurrent neural network. That is, the path integral control neural network is composed of the second recurrent neural network having the first recurrent neural network having the dynamics model therein as described above.
まず、制御装置1は、制御対象50の現在の状態と、制御対象に対する複数の操作パラメータを成分とする操作量系列であって初期の操作量系列とを、本開示のニューラルネットワークである経路積分制御ニューラルネットワークに入力する(S11)。 First, the control device 1 uses a path integral that is a neural network according to the present disclosure to display the current state of the control target 50 and an operation amount sequence that includes a plurality of operation parameters for the control target as initial components. Input to the control neural network (S11).
次に、制御装置1は、当該経路積分制御ニューラルネットワークに、機械学習されたダイナミクスモデルおよびコスト関数を用いて、S11で入力された現在の状態と初期の操作量系列とから経路積分により、制御対象50を制御するための操作量系列を算出させる(S12)。 Next, the control device 1 controls the path integration control neural network by path integration from the current state input in S11 and the initial manipulated variable sequence using a machine-learned dynamics model and cost function. An operation amount sequence for controlling the object 50 is calculated (S12).
そして、制御装置1は、S12で当該経路積分制御ニューラルネットワークにより算出された制御対象50を制御するための操作量系列を出力する(S13)。 And the control apparatus 1 outputs the operation amount series for controlling the control object 50 calculated by the said path | route integral control neural network by S12 (S13).
[学習処理]
本開示では、ニューラルネットワークを用いて最適制御に必要なダイナミクスおよびコスト関数、または、これらのパラメータを学習させるために、最適制御器の一つである経路積分制御器に着目した。経路積分制御器を実現するために定式化された関数は、可微分であることから、合成関数の微分公式である連鎖律が適用できる。また、ディープ・ニューラル・ネットワークは、可微分な関数の巨大な集合体である合成関数であって連鎖律により学習可能な合成関数と解釈できる。そして、可微分という原則を守れば、任意形状のディープ・ニューラル・ネットワークを構成できることがわかった。
[Learning process]
In the present disclosure, in order to learn the dynamics and cost function necessary for optimal control using a neural network, or these parameters, attention is paid to a path integration controller which is one of the optimal controllers. Since the function formulated to realize the path integral controller is differentiable, the chain rule which is the differential formula of the composite function can be applied. A deep neural network can be interpreted as a composite function that is a huge set of differentiable functions and can be learned by the chain rule. It was found that an arbitrarily shaped deep neural network can be constructed if the principle of differentiation is followed.
以上から、経路積分制御器は、可微分な関数で定式化され、連鎖律が適用できるので、バックプロパゲーションすなわち誤差逆伝播法により全パラメータを学習できるディープ・ニューラル・ネットワークを用いて実現できることを想到した。より具体的には、ディープ・ニューラル・ネットワークの一つであるリカレントニューラルネットワークは、同一の関数を直列に複数回実行すなわち、関数が直列に並んだニューラルネットワークと解釈できる。このことから、経路積分制御器は、リカレントニューラルネットワークで表現できることを想到した。 From the above, the path integral controller is formulated with a differentiable function and can be applied with the chain rule, so it can be realized using a deep neural network that can learn all parameters by backpropagation, that is, error backpropagation. I came up with it. More specifically, a recurrent neural network which is one of deep neural networks can be interpreted as a neural network in which the same function is executed a plurality of times in series, that is, the functions are arranged in series. From this, it was conceived that the path integration controller can be expressed by a recurrent neural network.
これにより、ニューラルネットワークを用いて経路積分制御に必要なダイナミクスおよびコスト関数、または、これらのパラメータを学習させることができる。さらに、上述したように、学習したダイナミクスおよびコスト関数等を有するニューラルネットワークを用いることで経路積分制御すなわち経路積分による最適制御が実現できる。 This makes it possible to learn the dynamics and cost function necessary for path integration control, or these parameters, using a neural network. Furthermore, as described above, by using a neural network having learned dynamics, cost function, etc., path integral control, that is, optimum control by path integral can be realized.
以下、経路積分制御に必要なダイナミクスおよびコスト関数のパラメータの学習処理について説明する。 Hereinafter, the learning process of the parameters of the dynamics and cost function necessary for the path integral control will be described.
図7は、本実施の形態における学習処理の概念図の一例を示す図である。ニューラルネットワーク部3bは、学習前のダイナミクスモデルおよびコスト関数モデルを有する。これらダイナミクスモデルおよびコスト関数モデルが学習されることで、制御装置1を構成するニューラルネットワーク部3が有するダイナミクスモデルおよびコスト関数モデルに適用することができる。 FIG. 7 is a diagram showing an example of a conceptual diagram of the learning process in the present embodiment. The neural network unit 3b has a dynamics model and a cost function model before learning. By learning these dynamics model and cost function model, it can be applied to the dynamics model and cost function model that the neural network unit 3 constituting the control device 1 has.
図7には、ニューラルネットワーク部3bに、教師データ5を用いて誤差逆伝播法によりダイナミクスモデルおよびコスト関数モデルを学習させる学習処理を行う場合の例が示されている。なお、教師データがない場合には、強化学習を用いて学習処理を行ってもよい。 FIG. 7 shows an example in which the neural network unit 3b performs learning processing for learning the dynamics model and the cost function model by the error back propagation method using the teacher data 5. If there is no teacher data, the learning process may be performed using reinforcement learning.
図8は、本実施の形態における学習処理S10の概要を示すフローチャートである。 FIG. 8 is a flowchart showing an outline of the learning process S10 in the present embodiment.
学習処理S10において、まず、学習用データを準備する(S101)。より具体的には、制御対象50の現在の状態に対応する予め用意された状態と、制御対象50に対する初期の操作量系列に対応する予め用意された初期の操作量系列と、予め用意された状態および予め用意された初期の操作量系列とから経路積分により予め算出された、制御対象を制御するための操作量系列とを含む学習用データを準備する。本実施の形態では、状態と操作系列とのセットを含む熟練者の操作履歴を学習用データとして準備する。 In the learning process S10, first, learning data is prepared (S101). More specifically, a state prepared in advance corresponding to the current state of the control object 50, an initial operation amount sequence prepared in advance corresponding to an initial operation amount sequence for the control object 50, and a prepared in advance Learning data including an operation amount sequence for controlling a control target, which is calculated in advance by path integration from the state and an initial operation amount sequence prepared in advance, is prepared. In the present embodiment, an operation history of a skilled person including a set of states and operation sequences is prepared as learning data.
次に、コンピュータは、準備した学習用データを教師データとして用いて、ニューラルネットワーク部3bの重みを誤差逆伝播法により学習させることにより、ダイナミクスモデルおよびコスト関数モデルを学習させる(S102)。より具体的には、コンピュータは、学習用データを用いて、ニューラルネットワーク部3bに、学習用データに含まれる予め用意された状態と予め用意された初期の操作量系列とから経路積分により操作量系列を算出させる。そして、コンピュータは、ニューラルネットワーク部3bに経路積分により算出させた操作量系列と、学習用データに含まれる予め用意された操作量系列との差である誤差を、予め用意された評価関数等で評価し、誤差が小さくなるように、ダイナミクスモデルおよびコスト関数モデルのパラメータを更新する。さらに、コンピュータは、学習処理において予め用意された評価関数等で評価される誤差が最小または変動しなくなった状態まで、ダイナミクスモデルおよびコスト関数モデルのパラメータを調整または更新する。 Next, the computer learns the dynamics model and the cost function model by learning the weight of the neural network unit 3b by the error back propagation method using the prepared learning data as teacher data (S102). More specifically, the computer uses the learning data to cause the neural network unit 3b to perform an operation amount by path integration from a state prepared in advance included in the learning data and an initial operation amount sequence prepared in advance. Let the series be calculated. Then, the computer calculates an error, which is a difference between the manipulated variable sequence calculated by the path integration through the neural network unit 3b and the prepared manipulated variable sequence included in the learning data, using a prepared evaluation function or the like. The parameters of the dynamics model and the cost function model are updated so that the error is reduced. Further, the computer adjusts or updates the parameters of the dynamics model and the cost function model until the error evaluated by an evaluation function prepared in advance in the learning process is minimized or no longer fluctuates.
このように、コンピュータは、予め用意された評価関数等で評価し、誤差が小さくなるようにダイナミクスモデルのパラメータの更新を繰り返す誤差逆伝播法により、ニューラルネットワーク部3bにダイナミクスモデルおよびコスト関数モデルを学習させる。 As described above, the computer evaluates the evaluation function prepared in advance and repeats the updating of the parameters of the dynamics model so that the error is reduced. Let them learn.
本実施の形態では、このように、学習処理S10を行うことにより、制御装置1に用いるニューラルネットワーク部3にダイナミクスモデルおよびコスト関数モデルを学習させることができる。 In the present embodiment, by performing the learning process S10 as described above, the neural network unit 3 used in the control device 1 can learn the dynamics model and the cost function model.
なお、教師データに(状態、操作、次状態)を組としたデータが含まれる場合、ダイナミクスモデルは当該データを用いて独立に教師付き学習させることが可能である。独立に学習させたダイナミクスモデルをニューラルネットワーク部3に組み込み、ダイナミクスモデルのパラメータを固定したうえで、学習処理S10を用いてコスト関数モデルのみを学習させることも可能である。ダイナミクスモデルの教師付き学習の方法は既知であるため割愛する。 In addition, when the teacher data includes data that includes a set of (state, operation, and next state), the dynamics model can be independently trained by using the data. It is also possible to incorporate an independently learned dynamics model into the neural network unit 3 and fix only the cost function model using the learning process S10 after fixing the parameters of the dynamics model. Since the method of supervised learning of the dynamics model is known, it is omitted.
以下、ニューラルネットワーク部3を本開示のニューラルネットワークである経路積分制御ニューラルネットワークと称して説明する。 Hereinafter, the neural network unit 3 will be described as a path integration control neural network that is a neural network of the present disclosure.
[実験による検証]
学習させたダイナミクスおよびコスト関数モデルを有する経路積分制御ニューラルネットワークの有効性について実験により検証したので、その実験結果について説明する。
[Verification by experiment]
The effectiveness of the path integral control neural network having the learned dynamics and cost function model was verified by experiments, and the experimental results will be described.
最適制御の問題として、下向きの単振り子を揺さぶって、逆立ちの状態まで持っていくという単振り子の振り上げ制御がある。本実験では、振り子の振り上げ制御に用いるダイナミクスとコスト関数とを、熟練者による教師データを用いて模倣学習させ、振り子の振り上げ制御をシミュレーションにより行わせることでその有効性を検証した。 As a problem of optimal control, there is a swing control of a single pendulum in which a downward single pendulum is shaken and brought to a handstand state. In this experiment, the dynamics and cost function used for pendulum swing-up control were imitated by using expert teacher data and the effectiveness of the pendulum swing-up control was verified by simulation.
<教師データ>
本実験では、熟練者は、真のダイナミクスとコスト関数とをもつ最適制御器であるとする。そして、真のダイナミクスは、下記の(式3)で与えられ、コスト関数は、下記の(式4)で与えられるものとする。
<Teacher data>
In this experiment, the expert is assumed to be an optimal controller having true dynamics and a cost function. The true dynamics is given by the following (formula 3), and the cost function is given by the following (formula 4).
ここで、θは振り子の角度、kはモデルパラメータであり、uはトルクすなわち操作入力である。 Here, θ is a pendulum angle, k is a model parameter, and u is a torque, that is, an operation input.
<実験結果>
図9は、本実験における制御シミュレーション結果を示す図である。
<Experimental result>
FIG. 9 is a diagram showing a control simulation result in this experiment.
本実験では、ダイナミクスおよびコスト関数は1層の隠れ層を有するニューラルネットワークで表現した。そしてダイナミクスを上述した方法により教師データで独立に学習した上で、誤差逆伝播法で所望の出力をするようにコスト関数を学習させた。このような学習処理を行った処理経路積分制御ニューラルネットワークを図9のControllersにおいて「Trained」と表現している。また、ダイナミクスを上記の教師データで独立に学習させ、コスト関数の学習を行わずに(式4)に示される真のコスト関数を与えた経路積分制御ニューラルネットワークを図9のControllersにおいて「Freezed」と表現している。一方、非特許文献2で示されるVIN(Value Iteration Network)を図9のControllersにおいて比較例と表現している。VINは、非特許文献2で示されるように、誤差逆伝播法により状態遷移モデルと報酬モデルとを学習されるニューラルネットワークである。本実験では、状態遷移モデルをダイナミクス、報酬モデルをコスト関数として、上記の教師データを用いてVINに学習させた。 In this experiment, the dynamics and the cost function are expressed by a neural network having one hidden layer. Then, after learning the dynamics independently from the teacher data by the method described above, the cost function was learned so as to produce a desired output by the error back propagation method. The processing path integral control neural network that has performed such learning processing is expressed as “Trained” in the Controllers of FIG. 9. Further, a path integration control neural network in which the dynamics is independently learned with the above-described teacher data and the true cost function shown in (Equation 4) is given without performing the cost function learning is “Freezed” in the Controllers of FIG. It expresses. On the other hand, VIN (Value Iteration Network) shown in Non-Patent Document 2 is expressed as a comparative example in the Controllers of FIG. As shown in Non-Patent Document 2, VIN is a neural network in which a state transition model and a reward model are learned by an error back propagation method. In this experiment, VIN was trained using the above teacher data with the state transition model as the dynamics and the reward model as the cost function.
また、図9に示す項目MSE For Dtrainは、教師データに対する誤差を示し、図9に示す項目MSE For Dtestは、評価データに対する誤差すなわち汎化誤差を示す。図9に示す項目Success Rateは、振り上げの成功率を示し、実際に制御をして無事振り上げが成功した場合を成功率100%として示している。図9に示す項目traj.Cost S(τ)は、累積コストを示し、下向きの単振り子が倒立状態である振り上げ状態になるまでの軌道のコストを示している。図9に示す項目trainable paramsは、パラメータ数を示している。 Further, the item MSE For D train shown in FIG. 9 indicates an error with respect to the teacher data, and the item MSE For D test shown in FIG. 9 indicates an error with respect to the evaluation data, that is, a generalization error. The item Success Rate shown in FIG. 9 indicates the success rate of the swing-up, and the case where the control is actually controlled and the successful swing-up is successful is shown as a success rate of 100%. The item traj.Cost S (τ) shown in FIG. 9 indicates the accumulated cost, and indicates the cost of the trajectory until the downward single pendulum is in the upright state in the inverted state. The item trainable params shown in FIG. 9 indicates the number of parameters.
図9に示すように、「Trained」が最も汎化性能が高いのがわかる。また、「Freezed」が「Trained」と比較して汎化性能が低いのは、第1学習処理で学習したダイナミクスが第2学習処理で最適化されなかったためと考えられる。つまり、「Freezed」では、第1学習処理で学習したダイナミクスの誤差が影響して汎化性能が低くなっていると考えられる。 As shown in FIG. 9, it can be seen that “Trained” has the highest generalization performance. The reason why “Freezed” is lower in generalization performance than “Trained” is because the dynamics learned in the first learning process was not optimized in the second learning process. That is, in “Freezed”, it is considered that the generalization performance is low due to the influence of the dynamics error learned in the first learning process.
一方、比較例では、振り上げ制御が成功率が0%であり振り上げが成功していない。つまり、比較例では、学習するパラメータ数が多くなりすぎ、状態爆発が生じていると考えられる。このことから、比較例のニューラルネットワークでは、ダイナミクスとコスト関数との学習を行うのは難しいことがわかる。 On the other hand, in the comparative example, the success rate of the swing-up control is 0%, and the swing-up is not successful. That is, in the comparative example, it is considered that the number of parameters to be learned becomes too large and a state explosion has occurred. This shows that it is difficult to learn the dynamics and the cost function in the neural network of the comparative example.
次に、図10A〜図10Cを用いて、本実験における学習結果を説明する。 Next, learning results in this experiment will be described with reference to FIGS. 10A to 10C.
図10Aは、真のコスト関数を示す図であり、上記の(式4)で示されるコスト関数が視覚化されている。図10Bは、学習された経路積分制御ニューラルネットワークのコスト関数を示す図であり、本実験における「Trained」において学習されたコスト関数が視覚化されている。図10Cは、学習された比較例のニューラルネットワークのコスト関数を示す図であり、本実験における比較例において学習されたコスト関数が視覚化されている。 FIG. 10A is a diagram illustrating a true cost function, and the cost function represented by the above (Equation 4) is visualized. FIG. 10B is a diagram illustrating the cost function of the learned path integral control neural network, and the cost function learned in “Trained” in this experiment is visualized. FIG. 10C is a diagram illustrating a cost function of the learned neural network of the comparative example, and the cost function learned in the comparative example in this experiment is visualized.
図10Aと図10Bとを比較すればわかるように、「Trained」のコスト関数すなわち経路積分制御ニューラルネットワークのコスト関数は、真のコスト関数に近い形状が学習されているのがわかる。 As can be seen from a comparison between FIG. 10A and FIG. 10B, the “Trained” cost function, that is, the cost function of the path integral control neural network, is learned to have a shape close to the true cost function.
一方、図10Cからわかるように、比較例のコスト関数は形状がない。これは、比較例のニューラルネットワークでは、コスト関数を学習できないことを示している。 On the other hand, as can be seen from FIG. 10C, the cost function of the comparative example has no shape. This indicates that the cost function cannot be learned with the neural network of the comparative example.
以上の実験結果から、本開示のニューラルネットワークである経路積分制御ニューラルネットワークは、コスト関数を真のコスト関数に近い形状で学習できることがわかる。また、学習したコスト関数を用いた当該経路積分制御ニューラルネットワークは、汎化性能が高いことがわかる。 From the above experimental results, it can be seen that the path integration control neural network which is the neural network of the present disclosure can learn the cost function in a shape close to the true cost function. It can also be seen that the path integral control neural network using the learned cost function has high generalization performance.
以上から、本開示のニューラルネットワークである経路積分制御ニューラルネットワークは、最適制御に必要なダイナミクスおよびコスト関数を学習することができるだけでなく、汎化性能を獲得し先読みもできることがわかる。 From the above, it can be seen that the path integral control neural network, which is the neural network of the present disclosure, can not only learn the dynamics and cost function necessary for optimal control, but also acquire generalization performance and prefetch.
[効果等]
以上のように本開示のニューラルネットワークである2重のリカレントニューラルネットワークからなる経路積分制御ニューラルネットワークを用いることで、経路積分による最適制御に必要なダイナミクスおよびコスト関数、または、これらのパラメータを学習することができる。また、当該経路積分制御ニューラルネットワークは、模倣学習により高い汎化性能を獲得できるので、経路積分制御ニューラルネットワークを用いることで、先読みもできる制御装置等を実現できる。つまり、本実施の形態の制御装置および制御方法によれば、2重のリカレントニューラルネットワークからなるニューラルネットワークに経路積分による最適制御を行わせることができるので、ニューラルネットワークを用いて経路積分による最適制御を行うことができる。
[Effects]
As described above, by using the path integration control neural network including the double recurrent neural network which is the neural network of the present disclosure, the dynamics and cost function necessary for optimal control by path integration, or these parameters are learned. be able to. In addition, since the path integral control neural network can obtain high generalization performance by imitation learning, a control device that can perform prefetching can be realized by using the path integral control neural network. That is, according to the control device and the control method of the present embodiment, it is possible to cause a neural network composed of a double recurrent neural network to perform optimal control by path integration, so that optimal control by path integration using a neural network is possible. It can be performed.
さらに、上述したように、経路積分制御ニューラルネットワークのダイナミクスおよびコスト関数の学習には、誤差逆伝播法など、ニューラルネットワークの学習において既存の学習方法を用いることができる。つまり、本実施の形態の制御装置および制御方法によれば、最適制御に必要なダイナミクスおよびコスト関数といった記述が難しいパラメータを既存の学習方法を用いて簡単に学習するができる。 Furthermore, as described above, for learning of the dynamics and cost function of the path integral control neural network, an existing learning method such as an error back propagation method can be used in learning of the neural network. That is, according to the control device and the control method of the present embodiment, it is possible to easily learn parameters that are difficult to describe, such as dynamics and cost function necessary for optimal control, using an existing learning method.
また、本実施の形態の制御装置および制御方法によれば、可微分な合成関数で表現できる経路積分制御ニューラルネットワークを利用するので、制御対象の状態および操作を連続値で行う連続制御を実現することができる。また、本実施の形態の制御装置および制御方法によれば、可微分な合成関数で表現できる経路積分制御ニューラルネットワークを利用するので、柔軟にコスト関数を表現できる。つまり、コスト関数は、ニューラルネットワークのモデルでも表現できるだけでなく、数式表現でもニューラルネットワークを用いて学習させることができる。 Further, according to the control device and the control method of the present embodiment, the path integral control neural network that can be expressed by a differentiable composite function is used, so that continuous control is performed in which the state and operation of the controlled object are performed with continuous values. be able to. Further, according to the control device and the control method of the present embodiment, since the path integral control neural network that can be expressed by a differentiable synthesis function is used, the cost function can be expressed flexibly. That is, the cost function can be expressed not only by a model of a neural network but also by a neural network using a mathematical expression.
(変形例1)
上記の実施の形態では、ニューラルネットワーク部30は、算出部13のみを有し、算出部13が算出する操作量系列を出力するとして説明したが、これに限らない。算出部13が算出する操作量系列を平均化して出力するとしてもよい。以下、この場合を変形例1として、実施の形態と異なるところを中心に説明する。
(Modification 1)
In the above embodiment, the neural network unit 30 includes only the calculation unit 13 and outputs the operation amount series calculated by the calculation unit 13, but is not limited thereto. The operation amount series calculated by the calculation unit 13 may be averaged and output. Hereinafter, this case will be described as a first modification, focusing on differences from the embodiment.
[ニューラルネットワーク部30]
図11は、変形例1におけるニューラルネットワーク部30の構成の一例を示すブロック図である。図2と同様の要素には同一の符号を付しており、詳細な説明は省略する。
[Neural network unit 30]
FIG. 11 is a block diagram illustrating an example of the configuration of the neural network unit 30 in the first modification. Elements similar to those in FIG. 2 are denoted by the same reference numerals, and detailed description thereof is omitted.
図11に示すニューラルネットワーク部30は、図2に示すニューラルネットワーク部3に対して、乗算器31と、加算器32と、遅延部33とをさらに備える点で構成が異なる。 The neural network unit 30 shown in FIG. 11 differs from the neural network unit 3 shown in FIG. 2 in that it further includes a multiplier 31, an adder 32, and a delay unit 33.
<乗算器31>
乗算器31は、算出部13が算出する操作量系列に重みを乗算して、加算器32に出力する。より具体的には、乗算器31は、算出部13が操作量系列を更新する都度重みwiを乗算して、加算器32に出力する。なお、算出部13は、上述するようにU回再帰的に操作量系列を更新することで、制御対象を制御するための操作量系列
Multiplier 31 multiplies the manipulated variable sequence calculated by calculation unit 13 by a weight and outputs the result to adder 32. More specifically, the multiplier 31 multiplies the weight w i each time the calculating unit 13 updates the operation amount sequence, and outputs to the adder 32. Note that the calculation unit 13 updates the operation amount sequence recursively U times as described above, thereby controlling the operation amount sequence for controlling the control target.
<加算器32>
加算器32は、乗算器31が出力する重みが乗算された操作量系列と、これ以前に乗算器31が出力した重みが乗算された操作量系列が加算されたものとを、加算して出力する。より具体的には、加算器32は、乗算器31が出力する重みが乗算されたすべての操作量系列を加算することにより、算出部13が出力したすべての操作量系列を重み付けて平均化した平均操作量系列
The adder 32 adds and outputs the manipulated variable series multiplied by the weight output from the multiplier 31 and the manipulated variable series multiplied by the weight output from the multiplier 31 before. To do. More specifically, the adder 32 weights and averages all the operation amount sequences output from the calculation unit 13 by adding all the operation amount sequences multiplied by the weight output from the multiplier 31. Average manipulated variable series
<遅延部33>
遅延部33は、加算器32の加算結果を一定時間遅延させて、更新するタイミングで、加算器32に提供する。このようにして、遅延部33は、加算器32に、乗算器31が出力する重みが乗算されたすべての操作量系列を積算することで加算器32に算出部13が出力したすべての操作量系列を重み付けて平均化させることができる。
<Delay unit 33>
The delay unit 33 delays the addition result of the adder 32 for a predetermined time and provides it to the adder 32 at a timing for updating. In this way, the delay unit 33 accumulates all the operation amount sequences multiplied by the weights output from the multiplier 31 in the adder 32, whereby all the operation amounts output from the calculation unit 13 in the adder 32. The series can be weighted and averaged.
なお、本変形例の制御装置のその他の構成および動作は、上記の実施の形態の制御装置1のその他の構成および動作で説明した通りである。 In addition, the other structure and operation | movement of the control apparatus of this modification are as having demonstrated in the other structure and operation | movement of the control apparatus 1 of said embodiment.
[効果等]
本変形例における制御装置によれば、算出部13により更新された操作量系列をそのまま出力しないで、後に更新された操作量系列ほど大きい重みが乗算された操作量系列を積算して出力する。これにより、更新回数が大きいほど、ばらつきの少ない操作量系列となるので、それを活かすことができる。換言すると、リカレントニューラルネットワークを誤差逆伝播法で学習することで勾配が薄まってしまう場合があっても、後に更新された操作量系列ほど大きく重み付けて平均化を取ることで解決することができる。
[Effects]
According to the control device in the present modification, the manipulated variable series updated by the calculation unit 13 is not output as it is, but the manipulated variable series multiplied by a larger weight is added and output later. As a result, the larger the number of updates, the smaller the variation in the manipulated variable series, which can be utilized. In other words, even if the gradient is weakened by learning the recurrent neural network by the error back propagation method, it can be solved by weighting and averaging the operation amount series updated later.
(他の実施態様の可能性)
以上、実施の形態において本開示の制御装置および制御方法について説明したが、本開示は、上記実施の形態に限定されるものではない。例えば、本明細書において記載した構成要素を任意に組み合わせて、また、構成要素のいくつかを除外して実現される別の実施の形態を本開示の実施の形態としてもよい。また、上記実施の形態に対して本開示の主旨、すなわち、請求の範囲に記載される文言が示す意味を逸脱しない範囲で当業者が思いつく各種変形を施して得られる変形例も本開示に含まれる。
(Possibility of other embodiments)
The control device and the control method of the present disclosure have been described above in the embodiments. However, the present disclosure is not limited to the above embodiments. For example, another embodiment realized by arbitrarily combining the components described in this specification and excluding some of the components may be used as an embodiment of the present disclosure. Further, the present disclosure also includes modifications obtained by making various modifications conceivable by those skilled in the art without departing from the gist of the present disclosure, that is, the meanings of the words described in the claims. It is.
また、本開示は、さらに、以下のような場合も含まれる。 The present disclosure further includes the following cases.
(1)上記の装置は、具体的には、マイクロプロセッサ、ROM、RAM、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記RAMまたはハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。 (1) Specifically, the above apparatus is a computer system including a microprocessor, ROM, RAM, a hard disk unit, a display unit, a keyboard, a mouse, and the like. A computer program is stored in the RAM or hard disk unit. Each device achieves its functions by the microprocessor operating according to the computer program. Here, the computer program is configured by combining a plurality of instruction codes indicating instructions for the computer in order to achieve a predetermined function.
(2)上記の装置を構成する構成要素の一部または全部は、1個のシステムLSI(Large Scale Integration:大規模集積回路)から構成されているとしてもよい。システムLSIは、複数の構成部を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM、RAMなどを含んで構成されるコンピュータシステムである。前記RAMには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムLSIは、その機能を達成する。 (2) A part or all of the constituent elements constituting the above-described apparatus may be configured by one system LSI (Large Scale Integration). The system LSI is an ultra-multifunctional LSI manufactured by integrating a plurality of components on a single chip, and specifically, a computer system including a microprocessor, ROM, RAM, and the like. . A computer program is stored in the RAM. The system LSI achieves its functions by the microprocessor operating according to the computer program.
(3)上記の装置を構成する構成要素の一部または全部は、各装置に脱着可能なICカードまたは単体のモジュールから構成されているとしてもよい。前記ICカードまたは前記モジュールは、マイクロプロセッサ、ROM、RAMなどから構成されるコンピュータシステムである。前記ICカードまたは前記モジュールは、上記の超多機能LSIを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ICカードまたは前記モジュールは、その機能を達成する。このICカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。 (3) A part or all of the constituent elements constituting the above-described device may be constituted by an IC card that can be attached to and detached from each device or a single module. The IC card or the module is a computer system including a microprocessor, a ROM, a RAM, and the like. The IC card or the module may include the super multifunctional LSI described above. The IC card or the module achieves its function by the microprocessor operating according to the computer program. This IC card or this module may have tamper resistance.
(4)また、本開示は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。 (4) Moreover, this indication may be the method shown above. Further, the present invention may be a computer program that realizes these methods by a computer, or may be a digital signal composed of the computer program.
(5)また、本開示は、前記コンピュータプログラムまたは前記デジタル信号をコンピュータで読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、CD−ROM、MO、DVD、DVD−ROM、DVD−RAM、BD(Blu−ray(登録商標) Disc)、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。 (5) In addition, the present disclosure provides a computer-readable recording medium such as a flexible disk, hard disk, CD-ROM, MO, DVD, DVD-ROM, DVD-RAM, BD ( It may be recorded on a Blu-ray (registered trademark) Disc), a semiconductor memory, or the like. The digital signal may be recorded on these recording media.
また、本開示は、前記コンピュータプログラムまたは前記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。 In addition, the present disclosure may transmit the computer program or the digital signal via an electric communication line, a wireless or wired communication line, a network represented by the Internet, a data broadcast, or the like.
また、本開示は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。 The present disclosure may be a computer system including a microprocessor and a memory, the memory storing the computer program, and the microprocessor operating according to the computer program.
また、前記プログラムまたは前記デジタル信号を前記記録媒体に記録して移送することにより、または前記プログラムまたは前記デジタル信号を、前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。 In addition, the program or the digital signal is recorded on the recording medium and transferred, or the program or the digital signal is transferred via the network or the like and executed by another independent computer system. You may do that.
本開示は、最適制御を行う制御装置および制御方法に利用できる。本開示は、特にダイナミクスおよびコスト関数など記述が難しいパラメータをディープ・ニューラル・ネットワークを用いて学習させ、学習させたダイナミクスおよびコスト関数を用いてディープ・ニューラル・ネットワークに最適制御を行わせる制御装置および制御方法に利用できる。 The present disclosure can be used for a control device and a control method for performing optimal control. The present disclosure provides a control device that allows a deep neural network to learn parameters that are particularly difficult to describe, such as dynamics and cost functions, and that allows the deep neural network to perform optimal control using the learned dynamics and cost functions. It can be used for the control method.
1 制御装置
2 入力部
3、3b、30 ニューラルネットワーク部
4 出力部
5 教師データ
13 算出部
13a、141a リカレントニューラルネットワーク
14 第1処理部
15 第2処理部
16 第3処理部
17、142、162 格納部
31 乗算器
32 加算器
33 遅延部
50 制御対象
141 モンテカルロシミュレータ部
151 コスト積算部
152 操作系更新部
161 ノイズ発生部
1411 ダイナミクスモデル
1413 コスト関数モデル
DESCRIPTION OF SYMBOLS 1 Control apparatus 2 Input part 3, 3b, 30 Neural network part 4 Output part 5 Teacher data 13 Calculation part 13a, 141a Recurrent neural network 14 1st process part 15 2nd process part 16 3rd process part 17, 142, 162 Storage Unit 31 multiplier 32 adder 33 delay unit 50 controlled object 141 Monte Carlo simulator unit 151 cost integration unit 152 operation system update unit 161 noise generation unit 1411 dynamics model 1413 cost function model
Claims (7)
前記制御装置は、機械学習されたダイナミクスモデルおよびコスト関数を有するニューラルネットワークと、
制御対象の現在の状態と、前記制御対象に対する複数の操作パラメータを成分とする操作量系列であって初期の操作量系列とを、前記ニューラルネットワークに入力する入力部と、
前記ニューラルネットワークが前記ダイナミクスモデルおよび前記コスト関数を用いて、前記現在の状態と前記初期の操作量系列とから、経路積分により算出した操作量系列であって前記制御対象を制御するための操作量系列を出力する出力部とを備え、
前記ニューラルネットワークは、前記ダイナミクスモデルを持つ第1リカレントニューラルネットワークを内部に有する第2リカレントニューラルネットワークからなる、
制御装置。 A control device for performing optimal control by path integration,
The controller comprises a neural network having a machine-learned dynamics model and a cost function;
An input unit that inputs a current state of the control target and an operation amount sequence having a plurality of operation parameters for the control target as components and an initial operation amount sequence to the neural network;
An operation amount for controlling the control target, which is an operation amount sequence calculated by path integration from the current state and the initial operation amount sequence by the neural network using the dynamics model and the cost function. An output unit for outputting the series,
The neural network comprises a second recurrent neural network having a first recurrent neural network having the dynamics model therein,
Control device.
前記第1リカレントニューラルネットワークと、前記コスト関数とを有し、前記第1リカレントニューラルネットワークに、前記現在の状態と前記初期の操作量系列とからモンテカルロ法により各時刻における状態を算出させ、前記コスト関数を用いて前記複数の状態のコストを算出させる第1処理部と、
前記初期の操作量系列と前記複数の状態のコストとに基づき、前記制御対象に対する操作量系列を算出する第2処理部とを備え、
前記第2処理部は、算出した操作量系列を、前記出力部に出力するともに、前記第2リカレントニューラルネットワークに、前記初期の操作量系列としてフィードバックし、
前記第2リカレントニューラルネットワークは、前記第1処理部に、前記第2処理部によりフィードバックされた操作量系列と、前記現在の状態とから前記各時刻の次の各時刻における複数の状態のコストを算出させる、
請求項1に記載の制御装置。 The second recurrent neural network is:
The first recurrent neural network and the cost function; causing the first recurrent neural network to calculate a state at each time from the current state and the initial manipulated variable sequence by a Monte Carlo method; A first processing unit that calculates a cost of the plurality of states using a function;
A second processing unit that calculates an operation amount sequence for the control target based on the initial operation amount sequence and the costs of the plurality of states;
The second processing unit outputs the calculated manipulated variable sequence to the output unit and feeds back to the second recurrent neural network as the initial manipulated variable sequence,
The second recurrent neural network includes, to the first processing unit, the cost of a plurality of states at each time next to each time from the operation amount series fed back by the second processing unit and the current state. To calculate,
The control device according to claim 1.
前記モンテカルロ法で用いる乱数を発生させる第3処理部を備え、
前記第3処理部は、発生させた乱数を前記第1処理部および前記第2処理部に出力する、
請求項2に記載の制御装置。 The second recurrent neural network further includes:
A third processing unit for generating random numbers used in the Monte Carlo method,
The third processing unit outputs the generated random number to the first processing unit and the second processing unit;
The control device according to claim 2.
請求項1〜3のいずれか1項に記載の制御装置。 The cost function is a cost function model composed of a neural network.
The control device according to claim 1.
前記制御装置は、機械学習されたダイナミクスモデルおよびコスト関数を有するニューラルネットワークを備え、
制御対象の現在の状態と、前記制御対象に対する複数の操作パラメータを成分とする操作量系列であって初期の操作量系列とを、前記ニューラルネットワークに入力する入力ステップと、
前記ニューラルネットワークに、前記ダイナミクスモデルおよび前記コスト関数を用いて、前記現在の状態と前記初期の操作量系列とから、経路積分により算出させた操作量系列であって前記制御対象を制御するための操作量系列を出力する出力ステップとを含み、
前記ニューラルネットワークは、前記ダイナミクスモデルを持つ第1リカレントニューラルネットワークを内部に有する第2リカレントニューラルネットワークからなる、
制御方法。 A control method of a control device for performing optimal control by path integration,
The controller comprises a neural network having a machine-learned dynamics model and a cost function,
An input step for inputting a current state of the control target and an operation amount sequence having a plurality of operation parameters for the control target as components and an initial operation amount sequence to the neural network;
An operation amount sequence calculated by path integration from the current state and the initial operation amount sequence using the dynamics model and the cost function to the neural network, and for controlling the control target An output step for outputting a manipulated variable series,
The neural network comprises a second recurrent neural network having a first recurrent neural network having the dynamics model therein,
Control method.
前記学習ステップは、
前記制御対象の現在の状態に対応する予め用意された状態と、前記制御対象に対する初期の操作量系列に対応する予め用意された初期の操作量系列と、予め用意された状態および予め用意された初期の操作量系列とから、経路積分により予め算出された、前記制御対象を制御するための操作量系列とを含む学習用データを教師データとして準備するステップと、
前記教師データを用いて、前記ニューラルネットワークの重みを誤差逆伝播法により学習させることにより、前記ダイナミクスモデルおよび前記コスト関数を学習させるステップとを含む、
請求項5に記載の制御方法。 Furthermore, before the input step, a learning step for machine learning the dynamics model and the cost function,
The learning step includes
A state prepared in advance corresponding to the current state of the control target, an initial operation amount sequence prepared in advance corresponding to an initial operation amount sequence for the control target, a state prepared in advance and a state prepared in advance Preparing learning data including an operation amount sequence for controlling the control target, which is calculated in advance by path integration from an initial operation amount sequence, as teacher data;
Learning the dynamics model and the cost function by learning the weight of the neural network using an error back propagation method using the teacher data.
The control method according to claim 5.
請求項5または6に記載の制御方法。 The cost function is a cost function model composed of a neural network.
The control method according to claim 5 or 6.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/877,288 US20180218262A1 (en) | 2017-01-31 | 2018-01-22 | Control device and control method |
CN201810071547.9A CN108376284A (en) | 2017-01-31 | 2018-01-25 | Control device and control method |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762452614P | 2017-01-31 | 2017-01-31 | |
US62/452,614 | 2017-01-31 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018124982A true JP2018124982A (en) | 2018-08-09 |
Family
ID=63111498
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017207450A Ceased JP2018124982A (en) | 2017-01-31 | 2017-10-26 | Control device and control method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2018124982A (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020149095A (en) * | 2019-03-11 | 2020-09-17 | 本田技研工業株式会社 | Inverted pendulum robot |
JP2020149096A (en) * | 2019-03-11 | 2020-09-17 | 本田技研工業株式会社 | Inverted pendulum robot |
JP2020149097A (en) * | 2019-03-11 | 2020-09-17 | 本田技研工業株式会社 | Inverted pendulum robot |
WO2022264929A1 (en) * | 2021-06-14 | 2022-12-22 | 株式会社明電舎 | Control device and control method |
WO2023276364A1 (en) * | 2021-06-30 | 2023-01-05 | オムロン株式会社 | Learning and control device, learning device, control device, learning and control method, learning method, control method, learning and control program, learning program, and control program |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0784974A (en) * | 1993-09-16 | 1995-03-31 | Nissan Motor Co Ltd | Recurrent neural network |
JPH0861244A (en) * | 1994-08-26 | 1996-03-08 | Hitachi Ltd | Rainwater drainage pump station control system |
JP2001166804A (en) * | 1999-12-10 | 2001-06-22 | Sony Corp | Learning type action control device and its method, and providing medium |
JP2005316614A (en) * | 2004-04-27 | 2005-11-10 | Univ Nihon | Optimization method and optimization program |
JP2006092058A (en) * | 2004-09-22 | 2006-04-06 | Fuji Electric Systems Co Ltd | Flow rate estimation device |
US20090271344A1 (en) * | 2008-04-23 | 2009-10-29 | Siement Aktiengesellschaft | Method for computer-aided control or regualtion of a technical system |
JP2010152767A (en) * | 2008-12-26 | 2010-07-08 | Toshiba Corp | Prediction control method and prediction control system |
-
2017
- 2017-10-26 JP JP2017207450A patent/JP2018124982A/en not_active Ceased
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0784974A (en) * | 1993-09-16 | 1995-03-31 | Nissan Motor Co Ltd | Recurrent neural network |
JPH0861244A (en) * | 1994-08-26 | 1996-03-08 | Hitachi Ltd | Rainwater drainage pump station control system |
JP2001166804A (en) * | 1999-12-10 | 2001-06-22 | Sony Corp | Learning type action control device and its method, and providing medium |
JP2005316614A (en) * | 2004-04-27 | 2005-11-10 | Univ Nihon | Optimization method and optimization program |
JP2006092058A (en) * | 2004-09-22 | 2006-04-06 | Fuji Electric Systems Co Ltd | Flow rate estimation device |
US20090271344A1 (en) * | 2008-04-23 | 2009-10-29 | Siement Aktiengesellschaft | Method for computer-aided control or regualtion of a technical system |
JP2010152767A (en) * | 2008-12-26 | 2010-07-08 | Toshiba Corp | Prediction control method and prediction control system |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020149095A (en) * | 2019-03-11 | 2020-09-17 | 本田技研工業株式会社 | Inverted pendulum robot |
JP2020149096A (en) * | 2019-03-11 | 2020-09-17 | 本田技研工業株式会社 | Inverted pendulum robot |
JP2020149097A (en) * | 2019-03-11 | 2020-09-17 | 本田技研工業株式会社 | Inverted pendulum robot |
JP7250572B2 (en) | 2019-03-11 | 2023-04-03 | 本田技研工業株式会社 | Inverted pendulum type robot |
JP7250571B2 (en) | 2019-03-11 | 2023-04-03 | 本田技研工業株式会社 | Inverted pendulum type robot |
JP7250573B2 (en) | 2019-03-11 | 2023-04-03 | 本田技研工業株式会社 | Inverted pendulum type robot |
US11669096B2 (en) | 2019-03-11 | 2023-06-06 | Honda Motor Co., Ltd. | Route determination method |
US11693416B2 (en) | 2019-03-11 | 2023-07-04 | Honda Motor Co., Ltd. | Route determination method |
WO2022264929A1 (en) * | 2021-06-14 | 2022-12-22 | 株式会社明電舎 | Control device and control method |
JP2022190200A (en) * | 2021-06-14 | 2022-12-26 | 株式会社明電舎 | Controller and control method |
JP7248053B2 (en) | 2021-06-14 | 2023-03-29 | 株式会社明電舎 | Control device and control method |
WO2023276364A1 (en) * | 2021-06-30 | 2023-01-05 | オムロン株式会社 | Learning and control device, learning device, control device, learning and control method, learning method, control method, learning and control program, learning program, and control program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2018124982A (en) | Control device and control method | |
US20180218262A1 (en) | Control device and control method | |
KR102191444B1 (en) | Training of neural networks using prioritized experiential memory | |
JP6827539B2 (en) | Training action selection neural networks | |
RU2686030C1 (en) | Continuous control by deep learning and reinforcement | |
Lin et al. | A particle swarm optimization approach to nonlinear rational filter modeling | |
US20230237375A1 (en) | Dynamic placement of computation sub-graphs | |
KR101700140B1 (en) | Methods and apparatus for spiking neural computation | |
JP5768834B2 (en) | Plant model management apparatus and method | |
WO2019222745A1 (en) | Sample-efficient reinforcement learning | |
KR20140128384A (en) | Methods and apparatus for spiking neural computation | |
CN117521725A (en) | Reinforced learning system | |
JP7123938B2 (en) | LEARNING APPARATUS, METHOD AND COMPUTER PROGRAM FOR BIDIRECTIONAL LEARNING OF PREDICTION MODEL BASED ON DATA SEQUENCE | |
Pal et al. | Brief survey of model-based reinforcement learning techniques | |
WO2018211142A1 (en) | Imagination-based agent neural networks | |
JP6902487B2 (en) | Machine learning system | |
JP2020064535A (en) | Optimization device and method for controlling optimization device | |
US20200089727A1 (en) | Calculating device, calculation program, recording medium, and calculation method | |
Burtea et al. | Safe deployment of reinforcement learning using deterministic optimization over neural networks | |
JPWO2020121494A1 (en) | Arithmetic logic unit, action determination method, and control program | |
CN114397817A (en) | Network training method, robot control method, network training device, robot control device, equipment and storage medium | |
WO2022212313A1 (en) | Ml-based discrepancy surrogate for digital twin simulation | |
JP2009116770A (en) | Data processing device and method, program, and recording medium | |
US20230206094A1 (en) | Inferring device, inferring method and non-transitory computer readable medium | |
Hu | Monte Carlo Methods |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201009 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210610 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210622 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210915 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220208 |
|
A045 | Written measure of dismissal of application [lapsed due to lack of payment] |
Free format text: JAPANESE INTERMEDIATE CODE: A045 Effective date: 20220628 |