JP2009059301A - Method for determining automatic termination of monte carlo evaluation - Google Patents
Method for determining automatic termination of monte carlo evaluation Download PDFInfo
- Publication number
- JP2009059301A JP2009059301A JP2007228079A JP2007228079A JP2009059301A JP 2009059301 A JP2009059301 A JP 2009059301A JP 2007228079 A JP2007228079 A JP 2007228079A JP 2007228079 A JP2007228079 A JP 2007228079A JP 2009059301 A JP2009059301 A JP 2009059301A
- Authority
- JP
- Japan
- Prior art keywords
- evaluation
- monte carlo
- value
- confidence interval
- limit value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 92
- 238000000034 method Methods 0.000 title claims abstract description 32
- 230000001186 cumulative effect Effects 0.000 claims description 8
- 238000012937 correction Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 abstract description 22
- 238000002474 experimental method Methods 0.000 description 12
- 238000004088 simulation Methods 0.000 description 10
- 230000014509 gene expression Effects 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 4
- 235000015842 Hesperis Nutrition 0.000 description 3
- 235000012633 Iberis amara Nutrition 0.000 description 3
- 238000000342 Monte Carlo simulation Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 241000196324 Embryophyta Species 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- IQVNEKKDSLOHHK-FNCQTZNRSA-N (E,E)-hydramethylnon Chemical compound N1CC(C)(C)CNC1=NN=C(/C=C/C=1C=CC(=CC=1)C(F)(F)F)\C=C\C1=CC=C(C(F)(F)F)C=C1 IQVNEKKDSLOHHK-FNCQTZNRSA-N 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
本発明は、様々な不確定性を乱数により発生させ、多数回のシミュレーションを実行してその統計量を得る方法であるモンテカルロ法を用い、不確定性を持つシステムを事前評価するための数値シミュレーション技術に関し、特に航空宇宙機・船舶・各種プラント等のシステム評価に適する手法である。 The present invention uses a Monte Carlo method, which is a method of generating various uncertainties by random numbers, and executing a number of simulations to obtain statistics thereof, and a numerical simulation for pre-evaluating a system having uncertainties Regarding technology, it is a method particularly suitable for system evaluation of aerospace vehicles, ships, various plants, etc.
モンテカルロ法は、乱数を用いて多数回のシミュレーションを繰り返してシステムを評価し、物理現象を統計的に推定するための数値実験である。多数の不確定要因を考慮した非線形システムの評価が可能であり、評価法として優れた性質を持つ。
モンテカルロ法は標本調査を数値的に実行するものである。真値(母集団の値)を高い精度で推定するためにはより多くのシミュレーション回数が必要となる。ところが、モンテカルロ評価のデメリットは計算負荷が高く、結果を得るまでに多くの時間を必要とすることである。よって、推定精度を高めるためにシミュレーション回数を増やせば、さらに計算時間が必要となってしまう。したがって、必要な推定精度が得られ、かつ、できるだけ少ない試行回数でモンテカルロ評価を行うことが望ましい。しかし、推定精度は評価結果に依存するため、モンテカルロ評価の実行前には推定精度は不明である。モンテカルロ評価の実行後に始めて、ミッション達成確率などの評価結果とその推定精度が算出できる。したがって、事前に必要最低限の試行回数の決定は不可能であり、実際には現実的に可能な、ある程度大きな試行回数を設定してモンテカルロ評価を実行している。
The Monte Carlo method is a numerical experiment for statistically estimating a physical phenomenon by evaluating a system by repeating a large number of simulations using random numbers. It is possible to evaluate nonlinear systems considering many uncertain factors, and it has excellent properties as an evaluation method.
The Monte Carlo method performs a sample survey numerically. More simulation times are required to estimate the true value (population value) with high accuracy. However, the disadvantage of Monte Carlo evaluation is that the calculation load is high, and it takes a lot of time to obtain the result. Therefore, if the number of simulations is increased to increase the estimation accuracy, more calculation time is required. Therefore, it is desirable to perform the Monte Carlo evaluation with as few trials as possible while obtaining the necessary estimation accuracy. However, since the estimation accuracy depends on the evaluation result, the estimation accuracy is unknown before execution of Monte Carlo evaluation. Only after the execution of the Monte Carlo evaluation, the evaluation results such as the mission achievement probability and the estimated accuracy can be calculated. Therefore, it is impossible to determine the minimum necessary number of trials in advance, and the Monte Carlo evaluation is executed by setting a somewhat large number of trials that is actually possible.
非特許文献１〜３は、それぞれ自動着陸実験、遷音速飛行実験、月着陸船の技術検討に関してモンテカルロ評価が適用されているが、いずれの場合もあらかじめシミュレーション回数を事前に設定して解析している。
また直接本発明とは異なるが、モンテカルロ評価結果の分析に関しての文献として特許文献１がある。内容は、モンテカルロ評価の結果、要求を満足できなかったケースについて、その原因となる不確定パラメータを検出する方法を提案したものである。
不確定パラメータはモンテカルロ評価の入力である。多数の不確定パラメータを同時に、かつ、それらの大きさをランダムに加えるため、評価結果が良くない場合にその原因となる不確定パラメータを見つけることは必ずしも容易ではない。特許文献１と非特許文献４〜６は、この問題について検討し、問題となる不確定パラメータの検出法を提案したものである。
Although directly different from the present invention, there is
The uncertain parameter is the input for Monte Carlo evaluation. Since a large number of uncertain parameters are added at the same time and their sizes are randomly added, it is not always easy to find an uncertain parameter that causes the evaluation result when the evaluation result is not good.
上記のように、モンテカルロ評価の問題は計算負荷が大きいことであるが、それを軽減するための最低限の試行回数は、事前には設定困難である。このため実際には推定精度確保のために大きめの試行回数を設定するが、そうすると不要な計算を実行して作業効率が悪化する可能性が高くなる。また推定精度は評価結果にも依存するため、事前に設定した試行回数では推定精度が不足する可能性もある。以上の問題を勘案し、本発明が解決すべき課題は、「計算負荷軽減」と「推定精度確保」の双方の観点から、必要な試行回数を確保しつつ、効率的にモンテカルロ評価を実行することである。 As described above, the problem of Monte Carlo evaluation is that the calculation load is large, but it is difficult to set the minimum number of trials in order to reduce it. For this reason, a larger number of trials is actually set in order to ensure estimation accuracy. However, if this is done, there is a high possibility that work efficiency will deteriorate due to execution of unnecessary calculations. Further, since the estimation accuracy depends on the evaluation result, there is a possibility that the estimation accuracy is insufficient with the number of trials set in advance. Considering the above problems, the problem to be solved by the present invention is to efficiently perform Monte Carlo evaluation while securing the necessary number of trials from the viewpoints of both “reduction of calculation load” and “estimation accuracy” That is.
本発明のモンテカルロ評価の自動終了判定法は、ｉ回目のモンテカルロ評価終了後に、そのときの失敗確率Ｐｆ＝ｎｉ／ｉと要求値Ｐreqを比較するステップと、ＰｆがＰreqよりも小さいときには信頼区間上限値を計算し、この上限値がＰreq以下ならば「母集団は要求を満足する」と判定して、モンテカルロ評価を終了し、ｉ回目の評価後にＰｆがＰreq以上であるときには、信頼区間下限値を計算し、この下限値がＰreqよりも大きいときには「母集団は要求を満足できない」と判定して、モンテカルロ評価を終了するステップと、それ以外のときは、試行回数を１つ増やし、(ｉ+１)回目の評価を行って上記の手順を繰り返すステップと、あらかじめ現実的に可能な、試行回数の最大値Ｎmaxを設定しておき、ｉがＮmaxを超えると強制的に終了させるステップとを踏むものとした。
ただし、ここでｎｉは失敗数を表す。
また、上記のモンテカルロ評価の自動終了判定法において、ｉ回目の試行終了後、失敗数をｎｉ、標準正規分布における下側累積確率が危険率αに等しくなるような値をＺαとして、二項分布の信頼区間の近似上限値ＰＵ１及び近似下限値ＰＬ１を次式により算出して用いるものとした。
However, where n i represents the number of failures.
Further, in the above-described Monte Carlo evaluation automatic termination determination method, after the i-th trial, the number of failures is n i , and the value that makes the lower cumulative probability equal to the risk factor α in the standard normal distribution is Z α . The approximate upper limit value P U1 and the approximate lower limit value P L1 of the confidence interval of the term distribution are calculated and used according to the following equations.
本発明のモンテカルロ評価の自動終了判定法は、モンテカルロ評価を利用するにあたって、従来からの問題点は計算負荷が高いことであり、計算時間を要することであった。上記の手法を採用した本発明により不要なシミュレーションを実行しなくて済むようになるため、事前に試行回数を設定する従来のやり方に比べ、計算負荷の軽減が期待でき、効率的な解析が可能となる。
一方で、必要な推定精度確保も考慮されているため、最大許容回数Ｎmaxを超えない限り、試行回数が不足するということもない。
In the method of automatically ending the Monte Carlo evaluation according to the present invention, when using the Monte Carlo evaluation, the conventional problem is that the calculation load is high and calculation time is required. Since the present invention adopting the above method eliminates the need for executing unnecessary simulations, the calculation load can be reduced compared to the conventional method of setting the number of trials in advance, and efficient analysis is possible. It becomes.
On the other hand, since necessary estimation accuracy is ensured, the number of trials is not short unless the maximum allowable number Nmax is exceeded.
はじめに本発明に係るモンテカルロ評価の自動終了判定法についての全体の考え方を示し、次に具体的な方法について説明する。
[全体概要]
(１)これまでのように事前に試行回数を設定するのではなく、各回のシミュレーション(試行)終了毎に逐次失敗確率(又は、ミッション達成確率)とその推定精度(信頼区間)を算出する。真値(母集団の値)が要求値を満足するか、否か、を判断できた時点で、モンテカルロ評価を終了する。つまり、モンテカルロ評価を実行しながら、その終了を自動判定する。この概念を、図１に示す。
(２)具体的には、各試行終了時に失敗確率とその信頼区間を算出する。信頼区間の上限が要求値以下ならば、真の失敗確率は要求値以下と判定可能であるし、一方で信頼区間の下限が要求値よりも大きければ真の失敗確率は要求値以上と判定できる。この考え方を図２に示す。
(３)ところが、二項分布である失敗確率の信頼区間を解析的に求めることは不可能であり、専用のソフトや数値最適化計算を必要とするため、使い勝手が良くない。計算時間を要したり、使用するソフトの整合性の問題などが発生する。
(４)上記の問題を解決するため、容易な信頼区間の計算法を導入する。具体的には、正規分布近似を用いて、簡易な計算式で信頼区間を求められるようにする。
(５)通常の正規分布の近似式では近似誤差が大きいため、より誤差の小さい信頼区間の近似法を導出する。
(６)さらに、近似した信頼区間を用いても要求される精度を確保するため、正規分布近似の式に補正を施す。
First, the overall concept of the Monte Carlo evaluation automatic termination determination method according to the present invention will be described, and then a specific method will be described.
[Overview]
(1) Instead of setting the number of trials in advance as in the past, the failure probability (or mission achievement probability) and its estimation accuracy (confidence interval) are calculated at the end of each simulation (trial). When it is determined whether the true value (population value) satisfies the required value, the Monte Carlo evaluation is terminated. That is, the end is automatically determined while performing the Monte Carlo evaluation. This concept is illustrated in FIG.
(2) Specifically, a failure probability and its confidence interval are calculated at the end of each trial. If the upper limit of the confidence interval is less than or equal to the required value, the true failure probability can be determined to be less than the required value. On the other hand, if the lower limit of the confidence interval is greater than the required value, the true failure probability can be determined to be greater than or equal to the required value. . This concept is shown in FIG.
(3) However, it is impossible to analytically obtain a confidence interval of failure probability that is a binomial distribution, and it requires special software and numerical optimization calculation, so it is not easy to use. Calculation time is required, and there is a problem of consistency of software used.
(4) In order to solve the above problem, an easy method for calculating the confidence interval is introduced. Specifically, the confidence interval can be obtained by a simple calculation formula using normal distribution approximation.
(5) Since an approximation error is large in a normal normal distribution approximation formula, an approximation method of a confidence interval with a smaller error is derived.
(6) Further, in order to ensure the required accuracy even when the approximate confidence interval is used, the normal distribution approximation formula is corrected.
以下に、これらの詳細を記す。
[モンテカルロ評価]
図３にモンテカルロ評価法を示す。
(１)システムに存在すると考えられる不確定パラメータを設定する。不確定パラメータとは、センサ計測誤差、環境条件、初期状態、システム特性など、システムの動作に影響するが、その値が未知であるか又はその時々で値が異なるパラメータである。
(２)不確定パラメータは多数存在するが、個々のパラメータの分布を設定し、乱数を用いて各不確定パラメータを発生させる。
(３)発生させた不確定パラメータ・ベクトルがεｉ、であり、これを組み込んだシステム・モデルを用いて、数値シミュレーションを１回実行する。
(４)結果が要求を満足していれば成功、そうでなければ失敗として評価する。
(５)乱数を用いて不確定パラメータ・ベクトルεを更新し、上記(３)−(４)の操作を多数回(Ｎ回)繰り返す。
(６)失敗ケースがｎ回現れた場合、失敗確率の推定値はＰｆ＝ｎ／Ｎとなる。
These details are described below.
[Monte Carlo evaluation]
FIG. 3 shows the Monte Carlo evaluation method.
(1) Set uncertain parameters that are considered to exist in the system. An uncertain parameter is a parameter that affects the operation of the system, such as sensor measurement error, environmental conditions, initial state, system characteristics, etc., but the value is unknown or sometimes different.
(2) Although there are many uncertain parameters, the distribution of each parameter is set and each uncertain parameter is generated using a random number.
(3) The generated uncertain parameter vector is ε i , and a numerical simulation is executed once by using a system model incorporating this.
(4) If the result satisfies the request, it is evaluated as successful, and otherwise it is evaluated as a failure.
(5) The uncertain parameter vector ε is updated using a random number, and the operations (3) to (4) are repeated many times (N times).
(6) If failure cases appear n times, the estimated failure probability is P f = n / N.
[区間推定]
モンテカルロ評価で得られる失敗確率Ｐｆは、母集団から取り出したＮ個の標本の値であり、必ず推定誤差を含む。そこで母集団の(真の)失敗確率を推定する必要があるが、この概念を図４に示す。真値の推定は、ある区間を指定してその中に真値が含まれる確率が[(１−α)：信頼度]であるような、区間の推定を行う。αは危険率と呼ばれ、真値が区間に含まれない確率を表す。以下に、失敗確率の区間推定について記す。
(１)信頼区間の上限値をＰＵとすれば、母集団の(真の)失敗確率がＰＵであるとき、無作為抽出したＮ回の試行の失敗確率がＰｆ以下、つまり失敗数がｎ以下となる確率がαとなればよい。この関係を図５に示す。
(２)二項分布：試行の結果は失敗か成功の２通りしかないため、Ｎ回の試行でｊ回失敗する確率ＢＵ(ｊ)は二項分布となり、次式で表される。
The failure probability P f obtained by the Monte Carlo evaluation is a value of N samples extracted from the population, and always includes an estimation error. Therefore, it is necessary to estimate the (true) failure probability of the population. This concept is shown in FIG. The estimation of the true value is performed by estimating a section in which a certain section is designated and the probability that the true value is included in the section is [(1-α): reliability]. α is called a risk factor and represents the probability that the true value is not included in the interval. The following describes the interval estimation of the failure probability.
(1) If the upper limit of the confidence interval is P U, and the population's (true) failure probability is P U , the failure probability of N trials extracted at random is less than P f , that is, the number of failures The probability that is less than or equal to n may be α. This relationship is shown in FIG.
(2) Binomial distribution: Since there are only two trial results: failure or success, the probability B U (j) of failing j times in N trials is a binomial distribution and is expressed by the following equation.
[区間推定の問題点]
(１) [２],[３]式により、Ｎ,ｎ,αが与えられたときにＰＵ又はＰＬを求める必要があるが、これらの式は解析的に解けない。このため、数値最適化計算や統計解析用のソフトウェアを必要とする。
(２) モンテカルロ評価を実行しながら、これらの式を解く場合には、Ｎ及びｎを更新しながら各試行の終了毎に、多数回の計算が必要となる。
(３) このため、計算時間が増大する。または、モンテカルロ評価と区間推定計算のソフトウェアの整合性の問題が発生することもある。
[Problems of interval estimation]
(1) [2], by [3] where, N, n, alpha although it is necessary to obtain P U or P L when given, these equations can not be solved analytically. For this reason, software for numerical optimization calculation and statistical analysis is required.
(2) When solving these equations while executing Monte Carlo evaluation, a large number of calculations are required at the end of each trial while updating N and n.
(3) For this reason, calculation time increases. Or, there may be a problem of software consistency between Monte Carlo evaluation and interval estimation calculation.
[近似信頼区間の導出]
(１) 上記[２],[３]式による計算上の問題を解決するために、正規分布を利用した近似式を用いて信頼区間を求める。
(２) 通常の近似式：近似により得られる信頼区間を[ＰＬ０,ＰＵ０]とすると、一般のテキストに記述されている通常の近似式は次式で表される。
(３)ところが、[４]式の近似式は近似誤差が大きい。様々な試行回数Ｎについて、上側及び下側の信頼区間幅と失敗確率の関係を比較したものを図８に示す。図は縦軸・横軸共に対数スケールで示してある。この結果から明らかなように、[４]式の近似式では失敗確率Ｐｆが小さくなるほど、近似誤差が目立ってくる。通常は失敗確率を小さくすべくシステムの設計改善を行うものであり、特に失敗確率が小さい部分での近似誤差が小さいほうが望ましい。
(４)そこで、[４]式よりも推定誤差が小さな、より高精度な近似法を以下のように導出する。
(５)上側信頼区問について考えれば、正確な信頼区間は図５、及び[２]式によって得られる。図５において二項分布の式ＢＵ(ｊ)を正規分布で近似することになるが、この二項分布の平均ｍと分散σ２は次式となる。
(６)図９に離散分布である二項分布と連続分布である正規分布を重ねたイメージを示す。二項分布は離散分布であるので、[２]式のように下側累積確率は失敗数０→ｎ回に対応する確率の和で表される。これに対して正規分布の累積確率は連続分布なので積分で表される。
(７)ここで、失敗数ｎのときの二項分布の失敗確率ＢＵ(ｎ)について考える。二項分布の場合は図の縦軸が確率ＢＵ(ｎ)そのものを表すが、正規分布の場合は確率密度関数の面積が確率を表す。よってＢＵ(ｎ)に対応する正規分布の確率密度関数の積分区間は、失敗数ｎ±１/２に対応する区間と考えるのが妥当である。横軸は失敗確率なので、積分区間は［(ｎ−１/２)/Ｎ,(ｎ＋１/２)/Ｎ］となる。
(８)各失敗数ｊ(ｊ＝０,…,ｎ)についても同様であるため、二項分布において失敗確率Ｐｆまでの下側累積確率を求める積分区間は、正規分布の場合には図９に示すようにＰ’ｆ＝（ｎ＋１/２）/Ｎまでに補正する。
(９)以上より、次式が成り立つ。
(１０)信頼区間の下限値についても上記と同様の考え方で求める。今度は図６におけるＰｆをＰ’ｆ＝(ｎ−１/２)/Ｎに補正して、次式が成り立つ。
(1) In order to solve the calculation problem by the above equations [2] and [3], a confidence interval is obtained using an approximate expression using a normal distribution.
(2) Normal approximate expression: When the confidence interval obtained by approximation is [P L0 , P U0 ], the normal approximate expression described in general text is expressed by the following expression.
(3) However, the approximation formula [4] has a large approximation error. FIG. 8 shows a comparison of the relationship between the upper and lower confidence interval widths and the failure probabilities for various trial counts N. The figure shows the logarithmic scale on both the vertical and horizontal axes. As is apparent from this result, in the approximate expression [4], the approximate error becomes more conspicuous as the failure probability P f decreases. Normally, the system design is improved to reduce the failure probability, and it is desirable that the approximation error is particularly small in a portion where the failure probability is small.
(4) Therefore, a higher-accuracy approximation method with a smaller estimation error than equation [4] is derived as follows.
(5) Considering the upper confidence zone, the exact confidence zone can be obtained from FIG. 5 and equation [2]. In FIG. 5, the binomial distribution formula B U (j) is approximated by a normal distribution. The mean m and the variance σ 2 of the binomial distribution are as follows.
(6) FIG. 9 shows an image in which a binomial distribution that is a discrete distribution and a normal distribution that is a continuous distribution are superimposed. Since the binomial distribution is a discrete distribution, the lower cumulative probability is expressed as the sum of probabilities corresponding to the number of failures 0 → n as shown in Equation [2]. On the other hand, the cumulative probability of the normal distribution is expressed as an integral because it is a continuous distribution.
(7) Now consider the failure probability B U (n) of the binomial distribution when the number of failures is n. In the case of binomial distribution, the vertical axis of the figure represents the probability B U (n) itself, but in the case of normal distribution, the area of the probability density function represents the probability. Therefore, it is appropriate to consider the integration interval of the probability density function of the normal distribution corresponding to B U (n) as the interval corresponding to the number of failures n ± 1/2. Since the horizontal axis is the failure probability, the integration interval is [(n-1 / 2) / N, (n + 1/2) / N].
(8) Since the same applies to the number of failures j (j = 0,..., N), the integration interval for obtaining the lower cumulative probability up to the failure probability P f in the binomial distribution is shown in FIG. P 'f = as shown in 9 (n + 1/2) / n to the corrected.
(9) From the above, the following equation holds.
(10) The lower limit value of the confidence interval is determined in the same way as described above. This time, P f in FIG. 6 is corrected to P ′ f = (n−1 / 2) / N, and the following equation is established.
[近似信頼区間の補正]
(１) [８],[１１]式の近似式を用いた場合、下側信頼区間幅はやや小さめ、上側信頼区間幅はやや大きめになる(図１０)。
(２) モンテカルロ評価の終了判定では、図２に示すように要求値が信頼区間の外側にあるとき終了判定する。近似による信頼区間幅が正確な値よりも大きい場合に要求値がその外側にあれば、その要求値は必ず正確な信頼区間の外側となる。従って、この場合は近似で評価しても正確な信頼区間で評価した場合と結果は変わらない。
(３) ところが、近似による信頼区間幅が正確ものよりも小さい場合には、近似では終了判定できても、要求値は正確な信頼区間の外側であるとは限らない。この場合は終了判定が拙速となる可能性がある。
(４) 図１０に示すように[１１]式から得られる下限値を用いると、下側の信頼区間幅は正確な値よりも小さくなる。このまま用いると終了判定が拙速となるため、下側の信頼区間幅が正確な値よりも大きくなるように補正を行う。
(５) [１１]式の近似による信頼区間幅をΔＰＬ１、補正した下側信頼限界をＰ’Ｌ１として、下側信頼区間幅を広げるため次のようにおく。
(６) Ｐ’Ｌ１が正確な信頼限界ＰＬよりも小さくなればよいので、
(７) 様々な試行回数Ｎ、及びαについてΔＰＬ/ΔＰＬ１を計算した結果を図１１に示す。この結果から、実用的なＮ，αの範囲においては、λは1.2以下であることがわかる。したがって、λ＝1.2として[１２]式から下限値を求めれば、終了判定が拙速となることはない。
(８) 以上より、補正を加えた信頼区間の下側限界値を、次式により得る。
(1) When the approximate expressions [8] and [11] are used, the lower confidence interval width is slightly smaller and the upper confidence interval width is slightly larger (FIG. 10).
(2) In the end determination of the Monte Carlo evaluation, the end determination is made when the required value is outside the confidence interval as shown in FIG. If the confidence interval width by approximation is larger than an accurate value, if the required value is outside the accurate value, the required value is always outside the accurate confidence interval. Therefore, in this case, even if the evaluation is performed by approximation, the result is the same as the case where the evaluation is performed with an accurate confidence interval.
(3) However, if the confidence interval width by approximation is smaller than the accurate one, the required value is not always outside the accurate confidence interval even if the approximation can be determined to end. In this case, the end determination may be slow.
(4) As shown in FIG. 10, when the lower limit value obtained from the equation [11] is used, the lower confidence interval width becomes smaller than an accurate value. If it is used as it is, the end determination becomes a rapid speed, so that the lower confidence interval width is corrected to be larger than an accurate value.
(5) Assuming that the confidence interval width according to the approximation of the equation [11] is ΔP L1 and the corrected lower confidence limit is P ′ L1 , the following is made to widen the lower confidence interval width.
(6) Since P ′ L1 needs to be smaller than the accurate confidence limit P L ,
(7) FIG. 11 shows the results of calculating ΔP L / ΔP L1 for various trials N and α. From this result, it is understood that λ is 1.2 or less in a practical range of N and α. Therefore, if λ = 1.2 and the lower limit value is obtained from the equation [12], the end determination will not be slow.
(8) From the above, the lower limit value of the confidence interval with correction is obtained by the following equation.
[自動終了判定手順]
(１) 終了判定手順の概略は図１に示したが、ここでは上記の内容を踏まえ、具体的な手順について記す。自動終了判定アルゴリズムを図１２に示す。
(２) ｉ回目のモンテカルロ評価終了後に、そのときの失敗確率Ｐｆ＝ｎｉ/iと要求値Ｐreqを比較する。ＰｆがＰreqよりも小さいときには[８]式よりＰＵ１を計算し、このＰＵ１がＰreq以下ならば「母集団は要求を満足する」と判定して、モンテカルロ評価を終了する。
(３) 一方、ｉ回目の評価後にＰｆがＰreq以上であるときには、[１４]式よりＰ’Ｌ１を計算し、このＰ’Ｌ１がＰreqよりも大きいときには「母集団は要求を満足できない」と判定して、モンテカルロ評価を終了する。
(４) 上記のように判定できないときには、試行回数を１つ増やし、(ｉ＋１)回目の評価を行って(２)〜(３)の手順を繰り返す。
(５) ここで、試行回数を増やしたときにＰｆと要求値Ｐreqの値がかなり近い場合には、終了判定するためにはかなり小さな信頼区間幅が必要となる。小さな信頼区間幅を得るためには、図１０からも明らかなように試行回数を増やさざるを得ない。上記の終了判定アルゴリズムに従って計算を続けると、試行回数が非現実的な値にまで増加する可能性もある。
(６) これを防ぐため、評価時間や計算負荷を考慮してあらかじめ許容可能な最大試行回数Ｎmaxを定めておく。試行回数がＮmaxに達したら、終了判定できなくても強制的にモンテカルロ評価を終了させ、その時点の計算結果を保存する。
以上の手順により、モンテカルロ評価の自動終了判定を行う。
[Automatic termination judgment procedure]
(1) Although the outline of the end determination procedure is shown in FIG. 1, here, a specific procedure is described based on the above contents. The automatic termination determination algorithm is shown in FIG.
(2) After completion of the i-th Monte Carlo evaluation, the failure probability P f = n i / i at that time is compared with the required value P req . When P f is smaller than P req, P U1 is calculated from equation [8]. If this P U1 is equal to or less than P req, it is determined that “the population satisfies the requirement”, and the Monte Carlo evaluation is terminated.
(3) On the other hand, when P f is greater than or equal to P req after the i-th evaluation, P ′ L1 is calculated from the equation [14]. When P ′ L1 is greater than P req , “the population satisfies the requirement” Monte Carlo evaluation is terminated.
(4) If the determination cannot be made as described above, the number of trials is increased by one, the (i + 1) th evaluation is performed, and the procedures (2) to (3) are repeated.
(5) Here, if the number of trials is increased and the value of P f and the required value P req are quite close, a considerably small confidence interval width is required to determine the end. In order to obtain a small confidence interval, the number of trials must be increased, as is apparent from FIG. If the calculation is continued according to the above end determination algorithm, the number of trials may increase to an unrealistic value.
(6) In order to prevent this, an allowable maximum number of trials N max is determined in advance in consideration of evaluation time and calculation load. When the number of trials reaches N max , the Monte Carlo evaluation is forcibly terminated even if the termination determination cannot be made, and the calculation result at that time is stored.
The automatic termination determination of the Monte Carlo evaluation is performed by the above procedure.
ここで述べたモンテカルロ評価の自動終了判定法を、自動着陸実験のモンテカルロ評価に適用した例を示す。
[自動着陸実験]
自動着陸実験(ALFLEX)は、宇宙往還機の自動着陸技術を確立するために1996年に実施されたものである。実験機はヘリコプタに吊されて飛行し、その後滑走路手前2700ｍ、高度1500ｍにおいて分離される。その後実験機は各種センサ信号を搭載計算機に取り込み、誘導制御ロジックに従ってコントロールされ、自動飛行により滑走路に着陸する。実験の概要を図１３に示す。
An example in which the Monte Carlo evaluation automatic end determination method described here is applied to Monte Carlo evaluation of an automatic landing experiment will be described.
[Automatic landing experiment]
The Automatic Landing Experiment (ALFLEX) was conducted in 1996 to establish automatic landing technology for spacecraft. The test aircraft flies in a helicopter, and then separated at 2700m before the runway and at an altitude of 1500m. After that, the experimental aircraft captures various sensor signals into the onboard computer, is controlled according to the guidance control logic, and lands on the runway by automatic flight. An outline of the experiment is shown in FIG.
[モンテカルロ評価]
本実験では自動着陸実験前に試験飛行による動作確認を実施することは困難であり、初飛行時に自動着陸を成功させなければならない。従って、システムの事前評価が非常に重要となる。事前評価のためにシステムの数学モデルを構築するが、現実にはセンサ計測誤差、空気力の誤差、質量や慣性モーメントの誤差、風条件、初期条件等の様々な不確定要因が存在し、数学モデルでは記述できない要素が多く存在する。モンテカルロ評価は、これらの不確定パラメタの影響も含めた評価が可能な手段であり、本実験の事前評価手法として最適である。
本実験のモンテカルロ評価において加えた不確定パラメータの数は約100であり、その項目の概要を図１４に示す。モンテカルロ評価では、これらの各不確定パラメータの分布を仮定し、その分布に基づき乱数を用いて不確定パラメータの値を発生させる。これらを同時に加え、多数回のシミュレーションを実行することによってミッション達成確率を推定する。
[Monte Carlo evaluation]
In this experiment, it is difficult to confirm the operation by test flight before the automatic landing test, and automatic landing must be successful at the first flight. Therefore, prior evaluation of the system is very important. Although a mathematical model of the system is built for prior evaluation, in reality there are various uncertain factors such as sensor measurement error, aerodynamic error, mass and inertial error, wind condition, initial condition, etc. There are many elements that cannot be described in the model. Monte Carlo evaluation is a means that enables evaluation including the effects of these uncertain parameters, and is the most suitable prior evaluation method for this experiment.
The number of uncertain parameters added in the Monte Carlo evaluation of this experiment is about 100, and an overview of the items is shown in FIG. In the Monte Carlo evaluation, a distribution of each of these uncertain parameters is assumed, and a value of the uncertain parameter is generated using a random number based on the distribution. By adding these simultaneously, the mission achievement probability is estimated by executing many simulations.
[評価基準]
ミッション達成(成功)、または不達成(失敗)は、着陸する際の接地時パラメータで規定される。表１に接地時に評価されるパラメータと、その許容範囲を示す。これらのパラメータが全て許容範囲内であれば成功、一つでも外れていれば失敗とカウントして、失敗確率を算出する。
Mission completion (success) or non-achievement (failure) is defined by the ground contact parameters when landing. Table 1 shows the parameters evaluated at the time of grounding and their allowable ranges. If all of these parameters are within the allowable range, the failure probability is calculated by counting the success, and if even one of them is out of the range, the failure is counted.
[自動終了判定結果]
失敗確率の要求値Ｐ＝0.Olと設定して、図１２に示す自動終了判定手順に従って、モンテカルロ評価を実施した。つまり、この場合は母集団の失敗確率が１％以下であるか、又は１％を超えてしまうかが確認できた時点で評価を自動的に終了する。ここで、信頼区間算出のための危険率はα＝0.05と設定した。
このときの自動判定結果を表２に示す。試行回数は512回を要しており、失敗ケースが11回であった。この標本の失敗確率Ｐｆは0.0215であり要求値を超えていることがわかる。このとき、自動終了判定で使用した信頼区間の下限値がＰ’Ｌ１＝0、0106でありＰreqよりも大きいため、母集団は失敗確率の要求Ｐreqを満足することができないと判定している。
確認のために、最終的な結果について正確な下限値を求めてみるとＰＬ＝0.0121であり、正確な信頼区間を用いてもやはり要求Ｐreqを満足することができないという結果になることが確認できる。
Monte Carlo evaluation was performed according to the automatic termination determination procedure shown in FIG. 12 with the failure probability request value P = 0.Ol. That is, in this case, the evaluation is automatically terminated when it is confirmed whether the failure probability of the population is 1% or less or exceeds 1%. Here, the risk factor for calculating the confidence interval was set to α = 0.05.
Table 2 shows the automatic determination result at this time. The number of trials required 512 times, and 11 failed cases. It can be seen that the failure probability P f of this sample is 0.0215, which exceeds the required value. At this time, since the lower limit of the confidence interval used in automatic termination determination is greater than is P req is P 'L1 = 0,0106, it is determined that the population can not satisfy the request P req failure probability Yes.
For confirmation, when an accurate lower limit is obtained for the final result, P L = 0.0121, and even if an accurate confidence interval is used, the request P req cannot be satisfied. I can confirm.
次に、失敗確率の要求値Ｐreq＝0.05とした場合の結果を表３に示す。今度は試行回数189回、失敗数４回となり、標本の失敗確率はＰｆ＝0.0212となった。このとき、終了判定に用いた信頼区間上限値はＰＵ１＝0.0498であり、これは要求値Ｐreqよりも小さい。よって、この場合は失敗確率の要求Ｐreqを満足するという結果となった。二項分布の正確な上限値を計算してみるとＰＵ＝0.0478であり、正確な信頼区間を用いても要求を満足するという結果であることが確認できる。
また、表１と比較すると評価回数がかなり少ない結果となっているが、これは要求値Ｐreqと失敗確率Ｐｆがある程度離れているために、判定に必要な信頼区間幅はそれほど小さくなくてもよかったためである。
従来は評価回数を事前に設定してモンテカルロ評価を実施していたが、自動終了判定法を用いれば、このように少ない試行回数で済むこともあり、無駄な評価を省略でき、効率的に作業を進めることが可能となる。
In addition, the number of evaluations is considerably smaller than that in Table 1. This is because the required value P req and the failure probability P f are separated to some extent, so the confidence interval width necessary for determination is not so small. It was because it was good.
Conventionally, Monte Carlo evaluation was performed with the number of evaluations set in advance, but using the automatic termination judgment method can reduce the number of trials in this way, eliminating unnecessary evaluations and enabling efficient work. It is possible to proceed.
最後に要求値Ｐreqが標本の失敗確率に非常に近い場合の例として、Ｐreq＝0.02とした場合の自動終了判定の結果を表４に示す。この場合は、母集団が要求値を満足するか否かを判断するために、9,175回と多数の試行回数を必要としていることがわかる。このように、Ｐｆが要求値Ｐreqにかなり近い値になる場合には、終了判定により小さな信頼区間幅が必要となるために多くの試行回数が必要となる。場合によっては、モンテカルロ評価の計算がいつまでも終了しないという状況も起こりうる。したがって、ここで述べた自動終了判定法を使用する際には、あらかじめ許容可能な最大評価回数Ｎmaxを設定しておき、評価回数がＮmaxを超えたら判定できなくても評価計算を終了させるようにしておくのが実用的である。
環境条件・システムの特性・初期条件等様々な不確定パラメータの存在下で動作することが要求されるシステムに対して、事前検討としてモンテカルロ評価が有効であるシステムに利用可能である。例としては、航空宇宙機・船舶・各種プラント等の評価が有効であると考えられる。 It can be used for a system in which Monte Carlo evaluation is effective as a preliminary study for a system that is required to operate in the presence of various uncertain parameters such as environmental conditions, system characteristics, and initial conditions. As an example, it is considered effective to evaluate aerospace vehicles, ships, various plants, and the like.
Claims (3)
ただし、ここでｎｉは失敗数を表す。 After completion of the i-th Monte Carlo evaluation, a step of comparing the failure probability P f = n i / i at that time with the required value P req , and when P f is smaller than P req , a confidence interval upper limit value is calculated, and this upper limit is calculated If the value is equal to or less than P req, it is determined that “the population satisfies the requirement”, and the Monte Carlo evaluation is terminated. When P f is equal to or greater than P req after the i-th evaluation, the lower limit value of the confidence interval is calculated. when this lower limit is greater than P req it is determined that the "population can not satisfy the request", a step of terminating the Monte Carlo evaluation, at other times, increasing by one the number of trials, (i + 1) A step of repeating the above procedure by performing a second evaluation, and a step of setting a maximum number N max of trials that can be realistic in advance and forcibly ending when i exceeds N max are performed. Monteca Automatic termination judgment method for Luro evaluation.
However, where n i represents the number of failures.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007228079A JP2009059301A (en) | 2007-09-03 | 2007-09-03 | Method for determining automatic termination of monte carlo evaluation |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007228079A JP2009059301A (en) | 2007-09-03 | 2007-09-03 | Method for determining automatic termination of monte carlo evaluation |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2009059301A true JP2009059301A (en) | 2009-03-19 |
Family
ID=40554949
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007228079A Withdrawn JP2009059301A (en) | 2007-09-03 | 2007-09-03 | Method for determining automatic termination of monte carlo evaluation |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2009059301A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012033134A (en) * | 2010-03-29 | 2012-02-16 | Bank Of Tokyo-Mitsubishi Ufj Ltd | Prediction device, program and prediction method |
| CN110532513A (en) * | 2019-07-11 | 2019-12-03 | 肇庆学院 | Vehicle rollover prediction algorithm based on radius importance sampling failure probability method |
-
2007
- 2007-09-03 JP JP2007228079A patent/JP2009059301A/en not_active Withdrawn
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012033134A (en) * | 2010-03-29 | 2012-02-16 | Bank Of Tokyo-Mitsubishi Ufj Ltd | Prediction device, program and prediction method |
| CN110532513A (en) * | 2019-07-11 | 2019-12-03 | 肇庆学院 | Vehicle rollover prediction algorithm based on radius importance sampling failure probability method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Kraft | The air force digital thread/digital twin-life cycle integration and use of computational and experimental knowledge | |
| Paiva et al. | Robust and reliability-based design optimization framework for wing design | |
| Lombaerts et al. | Safe maneuvering envelope estimation based on a physical approach | |
| CN104317990A (en) | Multi-stage task spacecraft reliability improving method based on risks | |
| Dean et al. | High resolution CFD simulations of maneuvering aircraft using the CREATE-AV/Kestrel solver | |
| Varrier et al. | A parity space-based fault detection on lpv systems: Approach for vehicle lateral dynamics control system | |
| Grauer | Real-time data-compatibility analysis using output-error parameter estimation | |
| Abdol-Hamid et al. | Ares I Vehicle Computed Turbulent Ascent Aerodynamic Data Development and Analysis | |
| Abdol-Hamid et al. | Overview of Ares-I CFD ascent aerodynamic data development and analysis based on USM3D | |
| JP2009059301A (en) | Method for determining automatic termination of monte carlo evaluation | |
| CN112329137A (en) | Carrier rocket online orbit-entering capability evaluation method based on balanced flight theory | |
| Clifton et al. | Determining the stability and control characteristics of high-performance maneuvering aircraft using high-resolution CFD simulation with and without moving control surfaces | |
| Safie et al. | Reliability and probabilistic risk assessment—How they play together | |
| van den Brandt et al. | Safe flight envelope uncertainty quantification using probabilistic reachability analysis | |
| Cao et al. | Towards assurance case evidence generation through search based testing: work-in-progress | |
| Madson et al. | F-16/generic store carriage load predictions at transonic Mach numbers using TranAir | |
| Huang et al. | Uncertainty analysis of reachable set for planetary entry using polynomial chaos | |
| Wignall et al. | Uncertainty quantification for launch vehicle aerodynamic lineloads | |
| Halstrom et al. | Comparison of OVERFLOW Computational and Experimental Results for a Blunt Mars Entry Vehicle Concept During Supersonic Retropropulsion | |
| CN109255171B (en) | Method for automatically judging convergence of numerical simulation calculation | |
| Zaitseva et al. | Reliability evaluation of heterogeneous drone fleet by structure function based method | |
| Zhang et al. | Database building and interpolation for a safe flight envelope prediction system | |
| Motoda et al. | Identification of influential uncertainties in monte carlo analysis | |
| d'Ippolito et al. | Reliability-based design optimization of composite and steel aerospace structures | |
| Motoda | Quick detection of influential inputs in Monte Carlo simulation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20101207 |