JP3960286B2 - 適応型制御器、適応型制御方法および適応型制御プログラム - Google Patents
適応型制御器、適応型制御方法および適応型制御プログラム Download PDFInfo
- Publication number
- JP3960286B2 JP3960286B2 JP2003314621A JP2003314621A JP3960286B2 JP 3960286 B2 JP3960286 B2 JP 3960286B2 JP 2003314621 A JP2003314621 A JP 2003314621A JP 2003314621 A JP2003314621 A JP 2003314621A JP 3960286 B2 JP3960286 B2 JP 3960286B2
- Authority
- JP
- Japan
- Prior art keywords
- control signal
- state
- sampling
- probability distribution
- initial state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Feedback Control In General (AREA)
Description
Bellman, R. E.: Dynamic Programming, Princeton University Press, Princeton, NJ (1957)。 Howard, R. : Dynamic Programming and Markov Processes, MIT Press, Cambridge, MA(1960)。 Barto, A. G., Sutton, R. S. and Anderson, C. W.: Neuron-like elements that can solve difficult learning control problems, IEEE Transaction on Systems, Man, and Cybernetics, Vol. 13, pp.835- 846 (1983)。 Doya, K.: Reinforcement learning in continuous time and space, Neural Computation, Vol. 12, pp. 243-269 (2000)。 Gosavi、 A∴ Simulation-Based Optimization: Parametric Optimization Techniques and Reinforcement Learning, Kluwer Academic Publishers (2003)。 Kimura, H., Yamamura, M. and Kobayashi, S.: Reinforcement Learning by Stochastic Hill Climbing on Discounted Reward, Proceedings of the 12th International Conference on Machine Learning pp. 295-303 (1995)。 Williams, R. J.: Simple Statistical Gradient-Following Algorithms for Connectionist Reinforcement Learning, Machine Learning, Vol. 8, pp. 229-256 (1992)。
決定された確率的方策により制御信号を生成する。
図1は、本発明の適応型制御方法および適応型制御プログラムが適用される適応型制御器を用いたシステム1000の一例を示す概念図である。
本発明の構成について、概説すると、制御器を確率的制御器とすることで、期待累積コストを計算する動的計画法や直接方策を探索する網羅的探索法における計算量の削減を行う。また、逐次重点サンプリング法を用いて直接方策を探索することで、価値または方策に関数近似器を用いる必要はない。さらに、期待累積コストを直接最大化することを行うため、その近似を行う必要がない。そのため、設計者の負荷を極力抑えることができる一方で、期待累積コストの推定に伴う安定性の欠如から逃れることができる。
(2.マルコフ決定過程)
本節では、本発明の適用対象となるマルコフ決定過程を数学的に定義し、その具体的な問題例を示す。
図3は、マルコフ決定過程の概念を簡潔に示した概念図である。
図4は、上述したとおり、本発明の適応型制御器の構成および動作を説明すための具体例の単振り子を示す図であり、図4(a)は、単振り子の外観を示し、図4(b)は、単振り子のモデルを示す概念図である。
本節では、本発明の設計原理を数理工学的な観点から述べ、具体的な実装法について説明する。
3.1 設計原理
確率分布pπ(以下、本文中では、pに下付添え字πがつけられているものを「pπ」で表す)に関する自由エネルギーを以下で定義し、その最小化問題を考える。
3.2 コンピュータ100への実装
以上の発明原理に基づいて、本発明は以下の手続きによってコンピュータソフトウェアとして実装できる。
本発明の適用例として、2.2節で述べた単振子の制御問題へ適用した計算機シミュレーションの結果を示す。物理システムのパラメータは、M=L=1、μ=0.01、g=9.8に設定し、外乱として分散σ2=0.0001の白色ガウス雑音を与えた。
Claims (5)
- 対象とする物理システムの時間発展がマルコフ過程として記述される際に、前記物理システムの状態に対する制御量を決定する適応的制御器であって、
前記物理システムの目標とすべき状態量を検知する状態量検知手段と、
前記状態量を目標値に制御するための制御信号を、適応的に生成する制御信号生成手段とを備え、
前記制御信号生成手段は、
前記状態量検知手段により検知された前記物理システムの前記状態量の時系列である物理システム状態情報系列と各前記状態量に基づいて確率的方策の確率分布にしたがって時系列として算出された制御信号からなる前記制御信号系列との出現確率分布に基づき、前記物理システムの前記状態量が前記目標値に近づくことに応じて最大となるコスト関数の前記時系列の時刻ごとの和の前記出現確率分布に対する期待値と、前記出現確率分布の対数の前記出現確率に対する期待値で定義されるエントロピーの差である自由エネルギーを最小とする自由エネルギー最小化確率分布を算出する確率分布算出手段と、
前記算出された自由エネルギー最小化確率分布から、各時刻の状態量が与えられたときの各時刻の制御信号を生成する条件付き確率へと変換することによって、前記確率的方策を算出して決定する確率的方策算出手段とを含み、
決定された前記確率的方策により前記制御信号を生成する、適応型制御器。 - 記憶手段をさらに備え、
前記制御信号生成手段は、
前記状態量の初期値として検知される値をゼロ点とするデルタ関数で表現される初期状態分布にしたがって、初期状態を第1の所定数だけサンプリングする初期状態サンプリング手段と、
制御信号の可変範囲内から制御信号を一様に前記第1の所定数だけサンプリングする制御信号サンプリング手段と、
前記初期状態のサンプリング結果と、前記制御信号のサンプル結果とを前記記憶手段に時系列として格納するためのスタック手段と、
各前記サンプリングされた初期状態および制御信号に対する重みを、前記サンプリングされた初期状態および制御信号に対する前記コスト関数Cと所定の定数βとにより算出される値のexp[−βC]と前記サンプリングされた初期状態への状態遷移確率との比として算出するための重み算出手段と、
前記重みにしたがって、前記記憶手段から、前記初期状態のサンプリング結果と前記制御信号のサンプル結果とを再サンプリングし、再サンプリングの結果を時系列として再び格納するための再サンプリング手段と、
前記再サンプリングされた前記初期状態と前記制御信号との時系列に基づいて、前記状態遷移確率分布にしたがって、次のタイミングの状態を前記第1の所定数だけサンプリングする手段とを含み、
前記確率分布算出手段は、サンプリングされた時系列に基づいて、前記出現確率分布に対応する自由エネルギーを最小とする自由エネルギー最小化確率分布を算出する、請求項1記載の適応型制御器。 - 前記制御信号生成手段は、前記確率的方策の確率分布による前記制御信号の平均に基づいて、決定論的方策を算出する手段をさらに備える、請求項2記載の適応型制御器。
- 対象とする物理システムの時間発展がマルコフ過程として記述される際に、前記物理システムの状態に対する制御量を決定する適応的制御方法であって、
前記物理システムの状態量を獲得するステップと、
前記状態量を目標値に制御するための制御信号を、適応的に生成するステップとを備え、
前記適応的に生成するステップは、
前記状態量の初期値として検知される値をゼロ点とするデルタ関数で表現される初期状態分布にしたがって、初期状態を第1の所定数だけサンプリングするステップと、
制御信号の可変範囲内から制御信号を一様に前記第1の所定数だけサンプリングするステップと、
前記初期状態のサンプリング結果と、前記制御信号のサンプル結果とを前記記憶手段に時系列として格納するステップと、
各前記サンプリングされた初期状態および制御信号に対する重みを、前記サンプリングされた初期状態および制御信号に対するコスト関数Cと所定の定数βとにより算出される値のexp[−βC]と前記サンプリングされた初期状態への状態遷移確率との比として算出するステップと、
前記重みにしたがって、前記記憶手段から、前記初期状態のサンプリング結果と前記制御信号のサンプル結果とを再サンプリングし、再サンプリングの結果を時系列として再び格納するステップと、
前記再サンプリングされた前記初期状態と前記制御信号との時系列に基づいて、状態遷移確率分布にしたがって、次のタイミングの状態を前記第1の所定数だけサンプリングするステップと、
サンプリングされた時系列に基づいて、前記出現確率分布に対応する自由エネルギーを最小とする自由エネルギー最小化確率分布を算出するステップと、
前記算出された自由エネルギー最小化確率分布から、各時刻の状態量が与えられたときの各時刻の制御信号を生成する条件付き確率へと変換することによって、前記確率的方策を算出するステップとを含む、適応型制御方法。 - 対象とする物理システムの時間発展がマルコフ過程として記述される際に、前記物理システムの状態に対する制御量を決定する適応的制御方法を演算手段と記憶手段とを備えるコンピュータに実行させるためのプログラムであって、
前記演算手段が、前記物理システムの状態量を獲得するステップと、
前記演算手段が、前記状態量を目標値に制御するための制御信号を、適応的に生成するステップとを備え、
前記適応的に生成するステップは、
前記演算手段が、前記状態量の初期値として検知される値をゼロ点とするデルタ関数で表現される初期状態分布にしたがって、初期状態を第1の所定数だけサンプリングするステップと、
前記演算手段が、制御信号の可変範囲内から制御信号を一様に前記第1の所定数だけサンプリングするステップと、
前記演算手段が、前記初期状態のサンプリング結果と、前記制御信号のサンプル結果とを前記記憶手段に時系列として格納するステップと、
前記演算手段が、各前記サンプリングされた初期状態および制御信号に対する重みを、前記サンプリングされた初期状態および制御信号に対するコスト関数Cと所定の定数βとにより算出される値のexp[−βC]と前記サンプリングされた初期状態への状態遷移確率との比として算出するステップと、
前記演算手段が、前記重みにしたがって、前記記憶手段から、前記初期状態のサンプリング結果と前記制御信号のサンプル結果とを再サンプリングし、再サンプリングの結果を時系列として再び前記記憶手段に格納するステップと、
前記演算手段が、前記再サンプリングされた前記初期状態と前記制御信号との時系列に基づいて、状態遷移確率分布にしたがって、次のタイミングの状態を前記第1の所定数だけサンプリングするステップと、
前記演算手段が、サンプリングされた時系列に基づいて、前記出現確率分布に対応する自由エネルギーを最小とする自由エネルギー最小化確率分布を算出するステップと、
前記演算手段が、前記算出された自由エネルギー最小化確率分布から、各時刻の状態量が与えられたときの各時刻の制御信号を生成する条件付き確率へと変換することによって、前記確率的方策を算出するステップとを含む、
適応型制御方法をコンピュータに実行させるための適応型制御プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003314621A JP3960286B2 (ja) | 2003-09-05 | 2003-09-05 | 適応型制御器、適応型制御方法および適応型制御プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003314621A JP3960286B2 (ja) | 2003-09-05 | 2003-09-05 | 適応型制御器、適応型制御方法および適応型制御プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005084834A JP2005084834A (ja) | 2005-03-31 |
JP3960286B2 true JP3960286B2 (ja) | 2007-08-15 |
Family
ID=34415158
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003314621A Expired - Fee Related JP3960286B2 (ja) | 2003-09-05 | 2003-09-05 | 適応型制御器、適応型制御方法および適応型制御プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3960286B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5046149B2 (ja) * | 2006-08-01 | 2012-10-10 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 報酬を得るための最適な施策を決定する技術 |
JP4586129B2 (ja) * | 2008-03-25 | 2010-11-24 | 独立行政法人沖縄科学技術研究基盤整備機構 | 制御器、制御方法および制御プログラム |
JP5150371B2 (ja) * | 2008-05-30 | 2013-02-20 | 学校法人沖縄科学技術大学院大学学園 | 制御器、制御方法および制御プログラム |
JP5391164B2 (ja) * | 2010-08-23 | 2014-01-15 | 日本電信電話株式会社 | 自律移動ロボットの動作計画方法、自律移動ロボットの動作計画方法を利用した自律移動ロボットの制御方法、自律移動ロボットの動作計画装置、自律移動ロボットの動作制御装置、自律移動ロボットの動作計画プログラム、自律移動ロボットの制御プログラム |
JP5868104B2 (ja) | 2011-09-30 | 2016-02-24 | インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation | 周期性を有するマルコフ決定過程を用いて最適施策を決定する方法、装置及びコンピュータプログラム |
-
2003
- 2003-09-05 JP JP2003314621A patent/JP3960286B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2005084834A (ja) | 2005-03-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112247992B (zh) | 一种机器人前馈力矩补偿方法 | |
Kala et al. | Robotic path planning in static environment using hierarchical multi-neuron heuristic search and probability based fitness | |
US8653968B2 (en) | Systems and methods for predictive building energy monitoring | |
US8346711B2 (en) | Method for identifying multi-input multi-output Hammerstein models | |
JP2013205170A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
Doherty et al. | Bayesian generalized kernel inference for occupancy map prediction | |
JP2007065929A (ja) | 制御器、制御方法および制御プログラム | |
CN111260124A (zh) | 一种基于注意力机制深度学习的混沌时间序列预测方法 | |
CN111324993A (zh) | 一种湍流场更新方法、装置及其相关设备 | |
Yuan et al. | Efficient procedure for failure probability function estimation in augmented space | |
US11543789B2 (en) | Reinforcement learning method, recording medium, and reinforcement learning system | |
Tatari et al. | Optimal distributed learning for disturbance rejection in networked non‐linear games under unknown dynamics | |
JP5220542B2 (ja) | 制御器、制御方法及び制御プログラム | |
JP3960286B2 (ja) | 適応型制御器、適応型制御方法および適応型制御プログラム | |
US20160246277A1 (en) | Model Predictive Control with Uncertainties | |
JP2009289199A (ja) | 制御器、制御方法および制御プログラム | |
EP2400440A1 (en) | Systems and methods for predictive building energy monitoring | |
CN116861256A (zh) | 一种固废焚烧过程的炉温预测方法、***、设备及介质 | |
CN111240318A (zh) | 一种机器人的人员发现算法 | |
CN113910221B (zh) | 一种机械臂自主运动规划方法、装置、设备及存储介质 | |
Tan et al. | Edge-Enabled Adaptive Shape Estimation of 3-D Printed Soft Actuators With Gaussian Processes and Unscented Kalman Filters | |
JP2009230645A (ja) | 制御器、制御方法および制御プログラム | |
US7013244B2 (en) | Method and system for estimation of quantities corrupted by noise and use of estimates in decision making | |
US20210341904A1 (en) | Device and method for controlling a robot | |
Hung et al. | Predicting dynamic responses of frame structures subjected to stochastic wind loads using temporal surrogate model |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060126 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060207 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060410 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20060411 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070109 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070309 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070410 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070507 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110525 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110525 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120525 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |