JP2009295103A - Motion planning device, method, and program for autonomously moving robot, recording medium, and motion control device and method for autonomously moving robot - Google Patents
Motion planning device, method, and program for autonomously moving robot, recording medium, and motion control device and method for autonomously moving robot Download PDFInfo
- Publication number
- JP2009295103A JP2009295103A JP2008150729A JP2008150729A JP2009295103A JP 2009295103 A JP2009295103 A JP 2009295103A JP 2008150729 A JP2008150729 A JP 2008150729A JP 2008150729 A JP2008150729 A JP 2008150729A JP 2009295103 A JP2009295103 A JP 2009295103A
- Authority
- JP
- Japan
- Prior art keywords
- state
- mobile robot
- autonomous mobile
- action
- reward
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 230000007704 transition Effects 0.000 claims abstract description 157
- 230000009471 action Effects 0.000 claims abstract description 99
- 230000008569 process Effects 0.000 claims abstract description 19
- 238000004364 calculation method Methods 0.000 claims description 54
- 230000009194 climbing Effects 0.000 claims description 11
- 239000012530 fluid Substances 0.000 claims description 6
- 238000005259 measurement Methods 0.000 claims description 5
- 230000010391 action planning Effects 0.000 claims 2
- 238000006073 displacement reaction Methods 0.000 description 30
- 230000006870 function Effects 0.000 description 30
- 238000012545 processing Methods 0.000 description 7
- 230000001133 acceleration Effects 0.000 description 6
- 230000006399 behavior Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000007562 laser obscuration time method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
Images
Landscapes
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
Description
この発明は、自律移動ロボットの動作計画装置、方法、プログラム及び記録媒体並びに自律移動ロボットの動作制御装置及び方法に関する。 The present invention relates to an operation planning apparatus, method, program and recording medium for an autonomous mobile robot, and an operation control apparatus and method for an autonomous mobile robot.
イナーシャ(慣性)が高く劣駆動型の自律移動ロボットの動作計画を行う技術として、マルコフ決定過程における動作計画法を利用した技術が知られている(例えば、特許文献1及び非特許文献1参照。)。 As a technique for performing an operation plan of an autonomous mobile robot with a high inertia (inertia) and an underdrive type, a technique using an operation planning method in a Markov decision process is known (see, for example, Patent Document 1 and Non-Patent Document 1). ).
この技術においては、想定される流速の下、各状態s∈{s1,…,sN}にある自律移動ロボットが各行動a∈{a1,…,aM}を取った場合に各状態s’∈{s1,…,sN}に遷移する状態遷移確率Pa ss’と、そのときに得られる報酬Ra ss’とをまず求める。例えば、到達点を含む状態s’に遷移するときに与えられる報酬を1、障害物を含む状態s’に遷移するときに与えられる報酬を−1、障害物を含まない状態s’に遷移するときに与えられる報酬Ra ss’を一律0とする。
In this technique, under the flow rate is assumed, each state s∈ {s 1, ..., s N} autonomous mobile robot each behavior in a∈ {a 1, ..., a M} each when taking the state s'∈ {s 1, ..., s N} ' and reward R a ss obtained at that time' transition to the state transition probability P a ss to determine first and. For example, the reward given when transitioning to the state s ′ including the reaching point is 1, the reward given when transitioning to the state s ′ including the obstacle is −1, and the state s ′ not including the obstacle is transitioned. and reward R a ss' the
そして、状態遷移確率Pa ss’と、そのときに得られる報酬Ra ss’とを用いて、マルコフ決定過程における動的計画法に基づき、状態価値関数Vπ(s)を求める。そして、想定される流速と実際の流速の流速差を考慮しつつ、状態価値関数Vπ(s)を最大にする行動aを選択し、その選択された行動aに従って自律移動ロボットを制御する。
非特許文献1及び特許文献1においては、障害物を含まない状態s’に遷移するときに与えられる報酬Ra ss’を一律0としており、障害物を含まない遷移先の状態s’における障害物へのぶつかりやすさを考慮していない。このため、想定よりも流速が速い場合に、動作計画が破綻しやすいという問題があった。 In Non-Patent Document 1 and Patent Document 1, it has a a uniform 0 'reward R a ss given when transitioning to the' state s free of obstacles, failure in the transition destination state s' that does not include an obstacle It does not consider the ease of hitting objects. For this reason, when the flow velocity is faster than expected, there is a problem that the operation plan is likely to fail.
この発明は、上記問題に鑑みて、より動作計画が破綻しづらい自律移動ロボットの動作計画装置、方法、プログラム及び記録媒体並びに自律移動ロボットの動作制御装置及び方法を提供することを目的とする。 In view of the above problems, an object of the present invention is to provide an operation planning apparatus, method, program, and recording medium for an autonomous mobile robot, and an operation control apparatus and method for an autonomous mobile robot, in which an operation plan is more difficult to fail.
不定の流速の流れがある流体の中で出発点に位置する自律移動ロボットを到達点に到達させるための動作計画を行うために、想定される流速よりも速い流速の下で、各状態にある自律移動ロボットが各行動を取った場合に各状態に遷移する第一状態遷移確率を計算する。各状態にある自律移動ロボットが各行動を取り各状態に遷移する場合に得られる第一報酬を、障害物を含む状態に遷移する場合に得られる第一報酬が障害物を含まない状態に遷移する場合に得られる第一報酬よりも低く又は高くなるように定める。第一状態遷移確率及び第一報酬を用いて、マルコフ決定過程における動的計画法に基づき、自律移動ロボットの障害物へのぶつかりやすさを表す第一指標を状態ごとに求める。想定される流速の下で、各状態にある自律移動ロボットが各行動を取った場合に各状態に遷移する第二状態遷移確率を計算する。各状態にある自律移動ロボットが各行動を取り各状態に遷移する場合に得られる第二報酬を、遷移先の状態についての第一指標に応じて定めると共に、到達点を含む状態に遷移する場合に得られる第二報酬が最も高く又は低くなるように定める。第二状態遷移確率及び第二報酬を用いて、マルコフ決定過程における動的計画法に基づき、自律移動ロボットの到達点への到達しやすさを表す第二指標を状態ごとに求める。 In order to make an action plan for an autonomous mobile robot at the starting point to reach the destination in a fluid with an indefinite flow, it is in each state under a flow rate that is faster than the assumed flow rate. When the autonomous mobile robot takes each action, a first state transition probability is calculated for transition to each state. The first reward obtained when an autonomous mobile robot in each state takes each action and transitions to each state, the first reward obtained when transitioning to a state that includes an obstacle transitions to a state that does not include an obstacle To be lower or higher than the first reward obtained when Using the first state transition probability and the first reward, a first index representing the ease of collision of an autonomous mobile robot with an obstacle is obtained for each state based on dynamic programming in the Markov decision process. When the autonomous mobile robot in each state takes each action under the assumed flow velocity, a second state transition probability is calculated for transition to each state. When the autonomous mobile robot in each state takes each action and transitions to each state, the second reward obtained is determined according to the first index for the transition destination state and transitions to a state that includes the arrival point The second reward to be obtained is determined to be the highest or lowest. Based on the dynamic programming in the Markov decision process, a second index representing the ease of reaching the destination of the autonomous mobile robot is obtained for each state using the second state transition probability and the second reward.
動作計画に基づき、不定の流速の下で出発点に位置する自律移動ロボットを到達点に到達するように制御するために、想定される流速と、流速の実測値との差である流速差を求める。自律移動ロボットが各行動を取った場合の遷移先の状態を、自律移動ロボットの位置を流速差の分だけ移動させることにより求める。遷移先予測部が求めた遷移先の状態についての第二指標を互いに比較して、到達点に最も到達しやすい行動を決定する。自律移動ロボットが決定された行動に従って移動するように、自律移動ロボットを制御する。 Based on the motion plan, in order to control the autonomous mobile robot located at the starting point under an indefinite flow velocity so as to reach the arrival point, the flow velocity difference that is the difference between the assumed flow velocity and the actual measured flow velocity is calculated. Ask. The state of the transition destination when the autonomous mobile robot takes each action is obtained by moving the position of the autonomous mobile robot by the difference in flow velocity. The second index for the state of the transition destination obtained by the transition destination prediction unit is compared with each other to determine the action that most easily reaches the destination. The autonomous mobile robot is controlled so that the autonomous mobile robot moves according to the determined behavior.
障害物を含まない遷移先の状態s’における障害物へのぶつかりやすさを考慮して報酬を決定し、その際、想定される流速よりも速い流速を想定している。このため、動作計画がより破綻しづらくなる。 The reward is determined in consideration of the ease of hitting the obstacle in the transition destination state s ′ not including the obstacle, and at that time, a flow velocity faster than the assumed flow velocity is assumed. For this reason, the operation plan is more difficult to fail.
[マルコフ決定過程]
まず、この発明の技術的意義を把握するための基礎知識である強化学習(Reinforcement Learning)におけるマルコフ決定過程(Markov decision Process)の概略を説明する。
[Markov decision process]
First, an outline of a Markov decision process in reinforcement learning, which is basic knowledge for grasping the technical significance of the present invention, will be described.
環境を構成する離散的な状態の集合をS={s1,s2,…,sN}、行動主体が取り得る行動の集合をA={a1,a2,…aM}と表す。環境中のある状態s∈Sにおいて、行動主体がある行動a∈Aを実行すると、環境は確率的に状態s’∈Sへ遷移する。その遷移確率を
Pa ss’=Pr{st+1=s’|st=s,at=a}
により表す。このとき環境から行動主体へ報酬rが確率的に与えられるが、その期待値を
Ra ss’=E{rt|st=s,at=a,st+1=s’}
とする。
S = the set of discrete states which constitute the environmental {s 1, s 2, ... , s N}, action A = the set of entities can take action {a 1, a 2, ... a M} represents the . In a state sεS in the environment, when an action aεA is executed, the environment probabilistically changes to the state s′εS. The transition probability is P a ss ′ = Pr {s t + 1 = s ′ | s t = s, a t = a}
Is represented by At this time, the reward r is probabilistically given from the environment to the action subject, and the expected value is expressed as R a ss ′ = E {r t | s t = s, a t = a, s t + 1 = s ′}
And
なお、状態s’に附されている記号’は、状態sとの識別を図るための記号である。時間微分を表す記号として記号’を用いることがあるが、記号’が附された対象がマルコフ状態遷移モデルの状態であるか否かで記号’の意味を容易に識別できるので、以降の説明でもこの記法に従うとする。 The symbol 'attached to the state s' is a symbol for identifying the state s. The symbol 'may be used as a symbol representing time differentiation, but the meaning of the symbol' can be easily identified by whether or not the object with the symbol 'is a state of the Markov state transition model. Suppose you follow this notation.
ある時間ステップtで行った行動が、その後の報酬獲得にどの程度貢献したのかを評価するため、その後得られる報酬の時系列を考える。報酬の時系列評価は価値と呼ばれる。行動主体の目標は、価値を最大化すること、又は、価値を最大にする方策π(s,a)を求めることである。方策π(s,a)は、状態sにおいて行動aを取ることを意味し、状態sと行動aの各組み合わせについて定義される。価値は、時間の経過とともに報酬を割引率γ(0≦γ<1)で割引いて合計される。すなわち、ある方策πの下での状態sの価値である状態価値関数Vπ(s)は、以下のように定義される。Eπは期待値を求める関数である。 In order to evaluate how much the action performed at a certain time step t contributed to the subsequent reward acquisition, a time series of rewards obtained thereafter is considered. The time series evaluation of reward is called value. The goal of the action subject is to maximize the value or to find a policy π (s, a) that maximizes the value. Policy π (s, a) means taking action a in state s, and is defined for each combination of state s and action a. The value is totaled by discounting the reward with a discount rate γ (0 ≦ γ <1) over time. That is, the state value function V π (s) that is the value of the state s under a certain policy π is defined as follows. E π is a function for obtaining an expected value.
行動主体の目標は、最適な方策πを求めること、つまり任意の状態sについて価値関数(上記の例では状態価値関数Vπ(s)である。)が他の方策πを採った場合よりも劣るものではない方策πを求めることである。この方策πの探求は、Bellman方程式で表され、状態sと行動aと遷移先の状態s’との各組み合わせについてのPa ss’とRa ss’の値が定まっていれば、動的計画法(ダイナミックプログラミング法)により、最適な、状態価値関数Vπ(s)、行動価値関数Qπ(s)及び方策πを計算することができる(例えば、三上 貞芳、皆川 雅章 共訳、R.S.Sutton、A.G.Barto 原著「強化学習」森北出版、1998、pp.94-118参照。)。動的計画法の処理は、周知技術であるため説明は省略する。 The goal of the action subject is to obtain an optimal policy π, that is, the value function (in the above example, the state value function V π (s)) for an arbitrary state s than when another policy π is adopted. It is to find a policy π that is not inferior. The search for this policy π is expressed by the Bellman equation, and if the values of P a ss ′ and R a ss ′ for each combination of the state s, the action a, and the transition state s ′ are determined, The optimal state value function V π (s), action value function Q π (s) and policy π can be calculated by the programming method (dynamic programming method) (for example, Sadayoshi Mikami, Masaaki Minagawa, (See RSSutton, AGBarto, “Strengthening Learning”, Morikita Publishing, 1998, pp.94-118.) Since the process of the dynamic programming is a well-known technique, description is abbreviate | omitted.
[自律移動ロボットの動作計画装置及び方法]
自律移動ロボットの動作計画装置及び方法の実施形態について説明する。
[Operation planning apparatus and method for autonomous mobile robot]
An embodiment of an operation planning apparatus and method for an autonomous mobile robot will be described.
この発明は、動的計画法による計算を2回行うことを特徴とする。1回目の動的計画法による計算により、障害物を含まない状態における将来の障害物へのぶつかりやすさを計算する(ステップS1からステップS3)。そして、そのぶつかりやすさをその状態に遷移するときに与えられる報酬として2回目の動的計画法に用いる(ステップS5)。これにより、障害物を含まない遷移先の状態s’における障害物へのぶつかりやすさを考慮することができ、より動作計画が破綻しづらい動作計画を行うことができる。 The present invention is characterized in that the calculation by dynamic programming is performed twice. By the first calculation based on the dynamic programming method, the ease of hitting a future obstacle in a state not including the obstacle is calculated (step S1 to step S3). Then, the ease of collision is used for the second dynamic programming as a reward given when transitioning to the state (step S5). As a result, it is possible to consider the ease of hitting an obstacle in the transition destination state s ′ that does not include an obstacle, and it is possible to perform an operation plan that makes the operation plan less likely to fail.
この実施形態では、行動主体は、図4に例示される飛行船形の自律移動ロボットである。自律移動ロボットは、舵2、主推進器3、上下方向推進器4、ゴンドラ5、流速差取得部21、位置計測部25を有する。この自律移動ロボットは、真横方向に直接移動することができない。搭載アクチュエータである舵2、主推進器3、上下方向推進器4が制御可能な運動自由度よりも自律移動ロボットの運動自由度は高いので、この自律移動ロボットは劣駆動ロボットである。この実施形態では、自律移動ロボットとして飛行船タイプのものを採用しているが、水中無人探索機のような水中ロボットを採用してもよい。
In this embodiment, the action subject is an airship-shaped autonomous mobile robot illustrated in FIG. The autonomous mobile robot includes a
自律移動ロボットは、不定の流速の流れがある流体で満たされた空間を航行する。その空間は、マルコフ遷移状態モデルにより離散的にモデル化されており、自律移動ロボットの水平方向の位置のX座標、Y座標、方位角ψ及び旋回速度ψ’の4つ次元から構成される。各次元は、その次元の物理量を測定するセンサの分解能に応じて離散化されている。 An autonomous mobile robot navigates a space filled with a fluid having an indefinite flow velocity. The space is discretely modeled by a Markov transition state model, and is composed of four dimensions: the X coordinate, the Y coordinate, the azimuth angle ψ, and the turning speed ψ ′ of the horizontal position of the autonomous mobile robot. Each dimension is discretized according to the resolution of the sensor that measures the physical quantity of that dimension.
予め定められた出発点を含む状態に位置する自律移動ロボットは、予め定められた行動の集合の中から1つの行動を選択する。そして、予め定められた行動単位時間Tだけその行動に従って移動して、遷移先の状態に移動する。この遷移先の状態において、再び、予め定められた行動の集合の中から1つの行動を選択して、行動単位時間Tだけその行動に従って移動して、遷移先の状態に移動する。この行動の選択と状態の遷移を繰り返すことにより、初めは出発点を含む状態に位置している自律移動ロボットは、予め定められた到達点を含む状態に移動しようとする。自律移動ロボットの動作計画装置は、そのための動作計画を行う。 An autonomous mobile robot located in a state including a predetermined starting point selects one action from a set of predetermined actions. And it moves according to the action only for predetermined action unit time T, and moves to the state of a transition place. In this transition destination state, one action is again selected from a predetermined set of actions, moved according to the action for the action unit time T, and moved to the transition destination state. By repeating this action selection and state transition, the autonomous mobile robot initially located in a state including the starting point tries to move to a state including a predetermined arrival point. The operation planning apparatus for an autonomous mobile robot performs an operation plan for that purpose.
<ステップS1(図8)>
第一状態遷移確率計算部10(図1)は、想定される流速よりも速い流速の下で、各状態にある上記自律移動ロボットが各行動を取った場合に各状態に遷移する第一状態遷移確率を計算する(ステップS1)。すなわち、状態s、行動a及び遷移先の状態s’の各組合せについての第一状態遷移確率Pa ss’を計算する。計算された第一状態遷移確率Pa ss’は、第一動的計算部12に送られる。
<Step S1 (FIG. 8)>
The first state transition probability calculation unit 10 (FIG. 1) is a first state that transitions to each state when the autonomous mobile robot in each state takes each action under a flow rate that is faster than the assumed flow rate. A transition probability is calculated (step S1). That is, the first state transition probability P a ss ′ for each combination of the state s, the action a, and the transition destination state s ′ is calculated. The calculated first state transition probability P a ss ′ is sent to the first
第一状態遷移確率Pa ss’の計算方法の例について説明する。この例では、第一状態遷移確率計算部10は、図2に例示するように、目標速度計算部101、変位量計算部102及び確率計算部103を含む。
For an example of calculation method of the first state transition probability P a ss' will be described. In this example, the first state transition
≪ステップS11≫
第一状態遷移確率計算部10の目標速度計算部101は、自律移動ロボットが各状態sにおいてある各行動aを取ったときの目標速度を決定する(ステップS11)。目標速度は、変位量計算部102に送られる。例えば、各行動aについて、下記の式に従って自律移動ロボットの旋回速度ψ’ τ(t)と前後方向の速度vxwτ(t)を自律移動ロボットの目標速度として定める。(b1,b2)はマルコフ状態遷移モデルの各状態sにおける行動aに対応する二次元ベクトル、αは予め定められた旋回加速度αであり、βは予め定められた前後方向の加速度であり、tは各行動aの開始時からの経過時間、ψ’τ0は行動aの開始時における自律移動ロボットの旋回速度、vx0は行動aの開始時における自律移動ロボットの旋回速度である。
<< Step S11 >>
The target
ここで、旋回加速度α及び前後方向の加速度βは、自律移動ロボットの性能の限界を超えないように設定される。また、前後方向の速度vzwτ(t)及び前後方向の加速度βは、
それぞれ対流体機体速度及び対流体機体加速度として記述される。
Here, the turning acceleration α and the longitudinal acceleration β are set so as not to exceed the performance limit of the autonomous mobile robot. Also, the longitudinal velocity v zwτ (t) and the longitudinal acceleration β are:
These are described as fluid velocity and fluid velocity, respectively.
動作計画を行うために、想定される流速及び想定される流速よりも速い流速が予め設定されて、記憶部19に格納されている。[自律移動ロボットの動作制御方法]の欄で後述するように想定される流速と流速の実測値とが異なる場合には適宜補正されるため、想定される流速は厳密な流速である必要はなく、おおよその流速でよい。もっとも、想定される流速が流速の実測値と近いほど、この動作計画及びこれに基づく動作制御の精度が増す。
In order to perform an operation plan, an assumed flow velocity and a flow velocity faster than the assumed flow velocity are set in advance and stored in the
≪ステップS12≫
変位量計算部102は、各状態sにある自律移動ロボットが、想定される流速よりも速い流速の下において、各行動aに従って移動した場合の、自律移動ロボットの世界座標系における水平面内位置のX座標,Y座標,方位角ψ及び旋回速度ψ’がそれぞれどれくらい変位するのか計算する(ステップS12)。計算された変位量は確率計算部103に送られる。
<< Step S12 >>
The displacement
想定される流速よりも速い流速の下で計算を行うことにより、より安全な動作計画を行うことができる。想定される流速よりも速い流速は、例えば、想定される流速の中で最も速い流速とする。最も速い流速を用いることにより、最も安全な動作計画を行うことができる。 By performing the calculation under a flow rate that is faster than the assumed flow rate, a safer operation plan can be performed. The flow rate faster than the assumed flow rate is, for example, the fastest flow rate among the assumed flow rates. By using the fastest flow rate, the safest operation plan can be performed.
自律移動ロボットの水平面内位置のX座標の変位量をDX(ψ0,a)、Y座標の変位量をDY(ψ0,a)、方位角ψの変位量をDψ(ψ0,a)、旋回速度ψ’の変位量をDψ’(ψ0,a)とすると、それぞれの変位量は、次式にように与えられる(図5を参照のこと)。 The X-coordinate displacement amount of the position in the horizontal plane of the autonomous mobile robot is D X (ψ 0 , a), the Y-coordinate displacement amount is DY (ψ 0 , a), and the azimuth angle ψ displacement amount is D ψ (ψ 0 , A), where the displacement amount of the turning speed ψ ′ is D ψ ′ (ψ 0 , a), the respective displacement amounts are given by the following equations (see FIG. 5).
ここで、ψ0は各状態sの開始時の方位角、Tは状態sから次の状態s’に遷移するまでの時間(以下、行動単位時間とする)、fmxは想定される流速よりも速い流速のX座標の成分、fmyは想定される流速よりも速い流速のY座標の成分である。なお、方位角ψの変位量Dψ(ψ0,a)と、旋回速度ψ’の変位量Dψ’(ψ0,a)については、旋回速度ψ’の制御を行うことになるため、風の影響による補正は行わない。行動単位時間は例えば15秒とすることができる。 Here, ψ 0 is the azimuth angle at the start of each state s, T is the time to transition from the state s to the next state s ′ (hereinafter referred to as action unit time), and f mx is from the assumed flow velocity. Is an X-coordinate component having a faster flow velocity, and f my is a Y-coordinate component having a faster flow velocity than an assumed flow velocity. Since the displacement amount D ψ (ψ 0 , a) of the azimuth angle ψ and the displacement amount D ψ ′ (ψ 0 , a) of the turning speed ψ ′, the turning speed ψ ′ is controlled. No correction is made due to wind effects. The action unit time can be set to 15 seconds, for example.
≪ステップS13≫
確率計算部103は、自律移動ロボットの水平面内位置のX座標の変位量DX(ψ0,a)、Y座標の変位量DY(ψ0,a)、方位角ψの変位量Dψ(ψ0,a)及び旋回速度ψ’の変位量Dψ’(ψ0,a)に基づいて、第一状態遷移確率Pa ss’を計算する(ステップS13)。
<< Step S13 >>
The
まず、状態sが、自律移動ロボットの水平面内位置のX座標、Y座標、方位角ψ及び旋回速度ψ’の4つの次元で構成される格子で示されるとし、その格子をR(s)と定義する(図6を参照のこと)。そして、その格子R(s)を、上記各変位量から構成される変位量ベクトル(DX(ψ0,a),DY(ψ0,a),Dψ(ψ0,a),Dψ’(ψ0,a))で、平行移動したものをRt(s)と定義する。 First, it is assumed that the state s is represented by a grid composed of four dimensions of an X coordinate, a Y coordinate, an azimuth angle ψ, and a turning speed ψ ′ of the position in the horizontal plane of the autonomous mobile robot. Define (see FIG. 6). Then, the lattice R (s) is converted into displacement vector (D X (ψ 0 , a), D Y (ψ 0 , a), D ψ (ψ 0 , a), D) composed of the respective displacements. ψ ′ (ψ 0 , a)) is defined as R t (s).
ここで、自律移動ロボットが状態sにあるときは、自律移動ロボットは、その状態sを表わす4次元の格子R(s)の各点の何れかに、等しい確率で存在するものと仮定する。この仮定の下では、第一状態遷移確率Pa ss’は、Rt(s)と各R(s’)の重なった部分の体積に比例してそれぞれ求めることができる。ここで、R(s’)は、Rt(s)と重なった格子である。すなわち、R(s’)は、状態sにおいてある行動aを取ったときの遷移先の候補の状態s’に対応した4次元の格子である。Rt(s)は最大で8つのR(s’)と重なる可能性がある。 Here, when the autonomous mobile robot is in the state s, it is assumed that the autonomous mobile robot exists with an equal probability at any point of the four-dimensional lattice R (s) representing the state s. Under this assumption, the first state transition probability P a ss ′ can be obtained in proportion to the volume of the overlapping portion of R t (s) and each R (s ′). Here, R (s ′) is a lattice overlapping with R t (s). That is, R (s ′) is a four-dimensional lattice corresponding to the transition destination candidate state s ′ when the action a in the state s is taken. R t (s) may overlap with up to 8 R (s ′).
第一状態遷移確率Pa ss’は、Rt(s)とあるR(s’)の重なった部分の体積をV0(s,s’,a)、Rt(s)とすべてのR(s’)との重なった部分の体積をΣs’V0(s,s’,a)とすると、次式により求めることができる。 The first state transition probability P a ss ′ is the volume of the overlapping portion of R t (s) and a certain R (s ′) as V 0 (s, s ′, a), R t (s) and all R If the volume of the portion overlapping (s ′) is Σ s ′ V 0 (s, s ′, a), it can be obtained by the following equation.
ステップS11からステップS13の処理を適宜繰り返すことにより、状態s、行動a及び遷移先の状態s’の各組合せについての第一状態遷移確率Pa ss’を求める。 By appropriately repeating the processing from step S11 to step S13, the first state transition probability P a ss ′ for each combination of the state s, the action a, and the transition destination state s ′ is obtained.
<ステップS2>
第一報酬決定部11(図1)は、各状態sにある自律移動ロボットが各行動aを取り各状態s’に遷移する場合に得られる第一報酬Ra ss’を、障害物を含む状態s’に遷移する場合に得られる第一報酬Ra ss’が障害物を含まない状態s’に遷移する場合に得られる第一報酬Ra ss’よりも高くなるように定める(ステップS2)。定められた第一報酬Ra ss’は、第一動的計画部12に送られる。
<Step S2>
First reward determining unit 11 (FIG. 1), the 'first reward R a ss obtained when a transition to' autonomous mobile robot in each state s each state s take the action a, including obstacle It is determined that the first reward R a ss ′ obtained when transitioning to the state s ′ is higher than the first reward R a ss ′ obtained when transitioning to the state s ′ not including an obstacle (step S2). ). First reward R a ss defined 'is sent to the first
例えば、障害物を含む状態s’に遷移する場合に得られる第一報酬Ra ss’を1として、障害物を含まない状態s’に遷移する場合に得られる第一報酬Ra ss’を0とする。 For example, the first reward R a ss ′ obtained when transitioning to a state s ′ including an obstacle is set to 1, and the first reward R a ss ′ obtained when transitioning to a state s ′ not including an obstacle is defined as 1. 0.
状態s(遷移先の状態s’も状態sであることに変わりはない。)が障害物を含むかどうかは例えば下記の2つの方法によって判断される。 Whether or not the state s (the state s ′ of the transition destination is also the state s) includes an obstacle is determined by, for example, the following two methods.
〔第一の方法〕
地形モデル保存部13には、各状態sが障害物を含むかどうかの情報を含む地形モデルが記憶されている。第一報酬決定部11は、地形モデル保存部13に記憶された地形モデルを参照して、遷移先の状態s’が障害物を含むかどうかを判断する。
[First method]
The terrain
〔第二の方法〕
この方法では、図3に例示するように、第一報酬決定部11は、傾斜角差計算部111、登坂角度計算部112及び障害物判断部113を含む。また、地形モデル保存部13には、位置(X,Y)と方位角ψの各組合せについての傾斜角データが記憶されている。
[Second method]
In this method, as illustrated in FIG. 3, the first
図3の傾斜角差計算部111が、状態sにおける地形の傾斜角θsteep(s)と、遷移先の状態s’の傾斜角θsteep(s’)との差の絶対値dθsteep(s’,s)を計算する。傾斜角の差の絶対値dθsteep(s’,s)は下式により定義される(図7を参照のこと)。計算された傾斜角の差の絶対値dθsteep(s’,s)は、障害物判断部113に送られる。
Inclination angle
vz(s)を状態sにおけるピッチ角の変化速度、ahを自律移動ロボットのピッチ角変化の加速度の最大値、fxbを風の前後方向の対機体速度とし、登坂角度は十分に小さく、上下方向には風は吹かないものとすると、最大登坂角度dθmax(s’,s)は、以下のように定義される。最大登坂角度dθmax(s’,s)は、自律移動ロボットが一回の行動で、どれだけ登坂角度を変化させることができるかということを表す。 V z (s) is the change speed of the pitch angle in the state s, a h is the maximum value of the acceleration of the change of the pitch angle of the autonomous mobile robot, and fxb is the vehicle speed in the longitudinal direction of the wind. Assuming that no wind blows in the vertical direction, the maximum climbing angle dθ max (s ′, s) is defined as follows. The maximum climb angle dθ max (s ′, s) represents how much the climb angle can be changed by a single action of the autonomous mobile robot.
障害物判断部113は、傾斜角の差の絶対値dθsteep(s’,s)と、最大登坂角度dθmax(s’,s)とを比較して、上記傾斜角の差の絶対値dθsteep(s’,s)が大きければ、その遷移先の状態s’は障害物を含むと判断する。
第一報酬決定部11は、障害物判断部113が出力した遷移先の状態s’が障害物を含むかどうかの判断に基づいて、第一報酬を決定する。
The first
<ステップS3>
第一動的計画部12は、第一状態遷移確率Pa ss’及び第一報酬Ra ss’を用いて、マルコフ決定過程における動的計画法に基づき、自律移動ロボットの障害物へのぶつかりやすさを表す第一指標を状態ごとに求める(ステップS3)。求まった第一指標は、第二報酬決定部15に送られる。この例では、第一指標として、状態価値関数Vπ(s)を用いる。
<Step S3>
The first
上述の通り、状態s、行動a及び遷移先の状態s’の各組合せについての第一状態遷移確率Pa ss’及び第一報酬Ra ss’が計算されていれば、動的計画法に基づいて、状態価値関数Vπ(s)を計算することができる。 As described above, if the first state transition probability P a ss ′ and the first reward R a ss ′ for each combination of the state s, the action a, and the transition destination state s ′ are calculated, the dynamic programming method is used. Based on this, the state value function V π (s) can be calculated.
<ステップS4>
第二状態遷移確率計算部14は、想定される流速の下で、各状態にある上記自律移動ロボットが各行動を取った場合に各状態に遷移する第二状態遷移確率Pa ss’を計算する。すなわち、状態s、行動a及び遷移先の状態s’の各組合せについての第二状態遷移確率Pa ss’を計算する。計算された第二状態遷移確率Pa ss’は、第二動的計算部16に送られる。
<Step S4>
The second state transition
第一状態遷移確率計算部10は、想定される流速よりも速い流速の下で第一状態遷移確率Pa ss’を計算するのに対して、第二状態遷移確率計算部14は、想定される流速の下で第二状態遷移確率Pa ss’を計算する。この2回目の動作計画においては、自律移動ロボットを高精度で到達点に誘導するために、発生確率が高い流速を想定することが望ましいのである。この相違点を除き、第二状態遷移確率計算部14における第二状態遷移確率Pa ss’の計算方法は、第一状態遷移確率計算部10における第一状態遷移確率Pa ss’の計算方法と同様である。
First state transition
すなわち、例えば、第二状態遷移確率計算部14は、第一状態遷移確率計算部10と同様に(図2参照)、目標速度計算部101、変位量計算部102及び確率計算部103を有しており、これらの各部が想定される流速の下で第二状態遷移確率Pa ss’を計算する。この場合、目標速度、方位角ψの変位量Dψ(ψ0,a)、旋回速度ψ’の変位量Dψ’(ψ0,a)及び旋回速度ψ’の変位量Dψ’(ψ0,a)は流速に依存しないため、第一状態遷移確率計算部10におけるこれらの計算結果を、第二状態遷移確率計算部14において再利用することにより、計算の重複を省いてもよい。
That is, for example, the second state transition
<ステップS5>
第二報酬決定部15は、各状態sにある上記自律移動ロボットが各行動aを取り各状態s’に遷移する場合に得られる第二報酬Ra ss’を、遷移先の状態s’についての第一指標に応じて定めると共に、到達点を含む状態に遷移する場合に得られる第二報酬が最も高くなるように定める(ステップS5)。定められた報酬は、第二動的計画部16に送られる。
<Step S5>
The second reward determination unit 15 uses the second reward R a ss ′ obtained when the autonomous mobile robot in each state s takes each action a and transitions to each state s ′ as to the transition state s ′. The second reward obtained when transitioning to a state including the reaching point is determined so as to be the highest (step S5). The determined reward is sent to the second
この例では、ステップS2において、第一報酬決定部11は、障害物を含む状態s’に遷移する場合に得られる第一報酬Ra ss’が障害物を含まない状態s’に遷移する場合に得られる第一報酬Ra ss’よりも高くなるように定めている。このため、したがって、第一指標であるVπ(s)の値が大きければ大きい程、その状態sおいて自律移動ロボットは障害物へぶつかりやすくなる。
In this example, in step S2, the first
したがって、例えば、第一指標である状態価値関数Vπ(s’)の符号を反転させたものを、第二報酬Ra ss’とする。
Ra ss’=−Vπ(s’) …(1)
また、到達点を含む状態s’に遷移する場合に得られる第二報酬Ra ss’を1とする。
Therefore, for example, a value obtained by inverting the sign of the state value function V π (s ′) as the first index is set as the second reward R a ss ′ .
R a ss ′ = −V π (s ′) (1)
Further, the 1 'second reward R a ss obtained when a transition to' state s including arrival point.
<ステップS6>
第二動的計画部16は、第二状態遷移確率Pa ss’及び第二報酬Ra ss’を用いて、マルコフ決定過程における動的計画法に基づき、自律移動ロボットの到達点への到達しやすさを表す第二指標を計算する(ステップS6)。求まった第二指標は、第二指標記憶部17に格納される。この例では、第二指標として、状態価値関数Vπ(s)を用いる。
<Step S6>
The second
上述の通り、状態s、行動a及び遷移先の状態s’の各組合せについての第二状態遷移確率Pa ss’及び第一報酬Ra ss’が計算されていれば、動的計画法に基づいて、状態価値関数Vπ(s)を計算することができる。 As described above, if the second state transition probability P a ss ′ and the first reward R a ss ′ for each combination of the state s, the action a, and the transition destination state s ′ are calculated, the dynamic programming method is used. Based on this, the state value function V π (s) can be calculated.
このように、1回目の動的計画法による計算により、障害物を含まない状態における将来の障害物へのぶつかりやすさを計算し(ステップS1からステップS3)、そのぶつかりやすさをその状態に遷移するときに与えられる報酬として2回目の動的計画法に用いる(ステップS5)。これにより、障害物を含まない遷移先の状態s’における障害物へのぶつかりやすさを考慮することができ、より動作計画が破綻しづらい動作計画を行うことができる。
以上が、自律移動ロボットの動作計画装置及び方法の実施形態について説明である。
In this way, by the first calculation by dynamic programming, the likelihood of hitting a future obstacle in a state that does not include the obstacle is calculated (step S1 to step S3). As a reward given at the time of transition, it is used for the second dynamic programming (step S5). As a result, it is possible to consider the ease of hitting an obstacle in the transition destination state s ′ that does not include an obstacle, and it is possible to perform an operation plan in which the operation plan is less likely to fail.
The above is the description of the embodiment of the operation planning apparatus and method for the autonomous mobile robot.
[自律移動ロボットの動作制御装置及び方法]
以下、図9及び図10を参照して、自律移動ロボットの動作制御装置及び方法の実施形態について説明する。
[Operation control apparatus and method for autonomous mobile robot]
Hereinafter, an embodiment of an operation control apparatus and method for an autonomous mobile robot will be described with reference to FIGS. 9 and 10.
<ステップS21(図10)>
流速差取得部21(図9)は、動作計画時に予想した流速である想定される流速と、流速の実測値との差である流速差を求める(ステップS21)。求まった流速差は、遷移先予測部22に送られる。想定される流速のX成分をfx、Y成分をfyとし、実際の流速のX成分をfxa、Y成分をfyaとすると、流速差dfx,dfyは、それぞれ下記のように表される。
<Step S21 (FIG. 10)>
The flow velocity difference acquisition unit 21 (FIG. 9) obtains a flow velocity difference that is a difference between an assumed flow velocity that is predicted at the time of the operation plan and an actual flow velocity value (step S21). The obtained flow velocity difference is sent to the transition
dfx=fx−fxa
dfy=fy−fya
d fx = f x -f xa
d fy = f y -f ya
<ステップS22>
遷移先予測部22は、自律移動ロボットが各行動を取った場合の遷移先の状態s’を、自律移動ロボットの位置を流速差dfx,dfyの分だけ移動させることにより求める(ステップS22)。求まった遷移先の状態s’は、行動決定部23に送られる。
<Step S22>
The transition
遷移先の状態s’の求め方の例を述べる。
流速差dfxを考慮したときの自律移動ロボットのX軸方向の位置の変位量DXa(ψ0,a)と、流速差dfyを考慮したときの自律移動ロボットのY軸方向の位置の変位量DYa(ψ0,a)とは、それぞれ以下のように示される。
An example of how to obtain the transition destination state s ′ will be described.
The displacement D Xa (ψ 0 , a) of the position of the autonomous mobile robot in the X-axis direction when considering the flow velocity difference d fx and the position of the autonomous mobile robot in the Y-axis direction when considering the flow velocity difference d fy The displacement amount D Ya (ψ 0 , a) is expressed as follows.
遷移先予測部22は、まず、上記式により、すなわち自律移動ロボットの位置を流速差dfx,dfyの分だけ移動させることにより、実際のX軸方向の位置の変位量DXa(ψ0,a)及び実際のY軸方向の位置の変位量DYa(ψ0,a)を求める。
First, the transition
遷移先予測部22は、次に、下記式により、行動aを取った場合の遷移先の状態s’を求める。具体的には、行動aの開始時における、X軸方向の位置X(s)に、Y軸方向の位置Y(s)、方位角ψ0(s)及び旋回速度ψ0(s)に、それぞれ実際のX軸方向の位置の変位量DXa(ψ0,a)、実際のY軸方向の位置の変位量DYa(ψ0,a)、方位角の変位量Dψ(ψ0,a)及び旋回速度ψ’の変位量Dψ’(ψ0,a)を加算することにより遷移先の状態s’を求める。
Next, the transition
X軸方向の位置X(s)に、Y軸方向の位置Y(s)、方位角ψ0(s)及び旋回速度ψ0(s)については、位置計測部25が測定したものを用いる。DX(ψ0,a)及びDY(ψ0,a)については、動作計画時に計算したDX(ψ0,a)及びDY(ψ0,a)を再利用してもよい。この場合、図示していない記憶部にDX(ψ0,a)及びDY(ψ0,a)が記憶され、遷移先予測部22が適宜これらを読み込む。もちろん、遷移先予測部22がこれらを再度計算してもよい。
For the position X (s) in the X-axis direction, the position Y (s) in the Y-axis direction, the azimuth angle ψ 0 (s), and the turning speed ψ 0 (s) are those measured by the position measurement unit 25. The D X (ψ 0, a) and D Y (ψ 0, a) , D X calculated at the operation plan (ψ 0, a) and D Y (ψ 0, a) may be reused. In this case, D X (ψ 0 , a) and D Y (ψ 0 , a) are stored in a storage unit (not shown), and the transition
<ステップS23>
行動決定部23は、遷移先予測部22が求めた、状態sにおいて取り得る各行動aに従って移動した場合の遷移先の状態s’についての第二指標を比較して、到達点に最も到達しやすい行動aを決定する(ステップS23)。決定された行動aは、制御部23に送られる。
<Step S23>
The
この例では、第二指標として状態価値関数Vπ(s)を用いており、かつ、到達点を含む状態に遷移する場合に得られる報酬が最も高くなるように第二報酬が決定されているため、状態価値関数Vπ(s)の値を最も大きくする行動aが、到達点に最も到達しやすい行動となる。 In this example, the state value function V π (s) is used as the second index, and the second reward is determined so that the reward obtained when transitioning to the state including the reaching point is the highest. Therefore, the action a that maximizes the value of the state value function V π (s) is the action that most easily reaches the arrival point.
したがって、行動決定部23は、第二指標記憶部17を参照して、状態sにおいて取り得る各行動aに従って移動した場合の遷移先の状態s’における状態価値関数Vπ(s’)をそれぞれ求め、比較することにより、状態価値関数Vπ(s’)の値を最も大きくする行動aを決定する。
Therefore, the
<ステップS24>
制御部24は、決定された行動aに従って移動するように、自律移動ロボットを制御する(ステップS24)。具体的には、行動aに対応する目標速度を維持することができるように、自律移動ロボットの主推進器3及び舵2を制御する。
<Step S24>
The
[変形例等]
出発点と到達点との間に障害物があり、出発点から到達点に向かう方向における流速が想定される流速よりも速い場合には、障害物との衝突が起こりやすい。想定される流速と流速の実測値との流速差の分だけ、自律ロボットが障害物に近づいてしまうためである。一方、出発点から到達点に向かう方向とは反対側の方向(到達点から出発点に向かう方向)における流速が速い場合には、障害物との衝突が起こりづらい。想定される流速と流速の実測値との流速差の分だけ、自律ロボットは障害物から遠ざかるためである。
[Modifications, etc.]
When there is an obstacle between the starting point and the reaching point and the flow velocity in the direction from the starting point to the reaching point is faster than the assumed flow velocity, collision with the obstacle is likely to occur. This is because the autonomous robot approaches the obstacle by the difference in flow rate between the assumed flow rate and the actual measured flow rate. On the other hand, when the flow velocity in the direction opposite to the direction from the starting point to the reaching point (the direction from the reaching point to the starting point) is high, the collision with the obstacle is difficult to occur. This is because the autonomous robot moves away from the obstacle by the difference in flow rate between the assumed flow rate and the measured flow rate.
したがって、想定される流速よりも速い流速として、出発点から到達点に向かう方向において、想定される流速よりも速い流速を選択してもよい。これにより、より安全な動作計画を行うことができる。 Therefore, as a flow rate faster than the assumed flow rate, a flow rate faster than the assumed flow rate may be selected in the direction from the starting point to the arrival point. Thereby, a safer operation plan can be performed.
ここで、出発点から到達点に向かう方向において流速が速いとは、その流速のベクトルと出発点から到達点に向かうベクトルとの内積が0より大ということに等しい。 Here, that the flow velocity is fast in the direction from the starting point to the destination point is equivalent to the inner product of the vector of the flow velocity and the vector from the starting point toward the destination point being greater than zero.
上記の実施形態では、第一報酬決定部11(図1)のステップS2(図8)の処理において、障害物を含む状態s’に遷移する場合に得られる第一報酬Ra ss’を1として、障害物を含まない状態s’に遷移する場合に得られる第一報酬Ra ss’を0としたが、障害物を含む状態s’に遷移する場合に得られる第一報酬Ra ss’>障害物を含まない状態s’に遷移する場合に得られる第一報酬Ra ss’となるように、第一報酬Ra ss’を定めてもよい。 In the above embodiment, in the process of step S2 (FIG. 8) of the first reward determination unit 11 (FIG. 1), the first reward R a ss ′ obtained when transitioning to the state s ′ including an obstacle is 1 The first reward R a ss ′ obtained when transitioning to the state s ′ not including an obstacle is set to 0, but the first reward R a ss obtained when transitioning to the state s ′ including an obstacle is 'as a first reward R a ss' first reward R a ss obtained when a transition to '> state s free of obstructions' may define.
また、障害物を含む状態s’に遷移する場合に得られる第一報酬Ra ss’<障害物を含まない状態s’に遷移する場合に得られる第一報酬Ra ss’となるように、第一報酬Ra ss’を定めてもよい。例えば、障害物を含む状態s’に遷移する場合に得られる第一報酬Ra ss’=0、障害物を含まない状態s’に遷移する場合に得られる第一報酬Ra ss’=1とする。この場合、第一動的計画部12が求める第一指標であるVπ(s)は、その値が小さければ小さい程、その状態sにおいて自律移動ロボットは障害物へぶつかりやすくなることを表す。したがって、第二報酬Ra ss’を定める際に、状態価値関数Vπ(s)の符号を反転させる必要はない。例えば、下記式のように、状態価値関数Vπ(s’)の値をそのまま第二報酬Ra ss’として用いる。
Further, the first reward R a ss ′ obtained when transitioning to the state s ′ including an obstacle is less than the first reward R a ss ′ obtained when transitioning to the state s ′ not including the obstacle. The first reward R a ss' may be determined. For example, the first reward R a ss ′ = 0 obtained when transitioning to a state s ′ including an obstacle, and the first reward R a ss ′ = 1 obtained when transitioning to a state s ′ not including an obstacle And In this case, V π (s), which is the first index obtained by the first
Ra ss’=Vπ(s’) …(2)
単調増加関数fを用いて、第二報酬を第一指標に応じて定めてもよい。上記(1)式に代えて、下記式を用いる。
R a ss ′ = V π (s ′) (2)
The second reward may be determined according to the first index using the monotonically increasing function f. The following formula is used instead of the formula (1).
Ra ss’=−f(Vπ(s’))
また、上記(2)式に代えて、下記式を用いる。
R a ss ′ = −f (V π (s ′))
Further, the following formula is used instead of the formula (2).
Ra ss’=f(Vπ(s’))
上記実施形態では、第二報酬決定部15(図1)のステップS5(図8)の処理において、到達点を含む状態に遷移する場合に得られる第二報酬Ra ss’が最も高くなるように第二報酬Ra ss’を定めるたが、到達点を含む状態に遷移する場合に得られる第二報酬Ra ss’が最も低くなるように第二報酬Ra ss’を定めてもよい。この場合、第二動的計画部16が求める第二指標は、その値が小さければ小さい程、その状態に位置する自律移動ロボットは到達点へ到達しやすいことを意味する。したがって、行動決定部23(図9)はステップS24(図10)の処理において、第二指標を最も小さくする行動を選択すればよい。
R a ss ′ = f (V π (s ′))
In the above embodiment, in the processing of step S5 (FIG. 8) of the second reward determining unit 15 (FIG. 1), the second reward R a ss obtained when a transition to a state containing arrival points' so that the highest the 'but defines a second reward R a ss obtained when a transition to a state containing the arrival point' second reward R a ss may define second reward R a ss' so that the lowest . In this case, the second index obtained by the second
第二指標として、行動価値関数Qπ(s,a)を用いてもよい。この場合、第二動的計画部16(図1)はステップS6の処理において、状態s、行動a及び遷移先の状態s’の各組合せについての第二状態遷移確率Pa ss’及び第一報酬Ra ss’を用いて、動的計画法に基づいて、行動価値関数Qπ(s,a)を計算する。そして、行動決定部23(図9)はステップS23の処理において、第二指標である行動価値関数Qπ(s,a)を比較して、到達点に最も到達しやすい行動を決定する。具体的には、行動価値関数Qπ(s,a)がその値が大きい程到達点に到達しやすいことを表すように定められている場合には、遷移前の状態sにおいて取り得る行動を行動a、遷移先の状態s’において取り得る行動を行動a’として、maxa’Qπ(s’,a’)を比較して、maxa’Qπ(s’,a’)を最大にする行動aを選択する。 The behavior value function Q π (s, a) may be used as the second index. In this case, the second dynamic planning unit 16 (FIG. 1) determines the second state transition probability P a ss ′ and the first state for each combination of the state s, the action a, and the transition destination state s ′ in the process of step S6. Using the reward R a ss ′ , an action value function Q π (s, a) is calculated based on dynamic programming. And the action determination part 23 (FIG. 9) compares action value function Q ( pi ) (s, a) which is a 2nd parameter | index in the process of step S23, and determines the action which reaches | attains most easily to an arrival point. Specifically, when the action value function Q π (s, a) is determined so as to represent that the reaching point is easily reached as the value increases, actions that can be taken in the state s before the transition are determined. The action a and the action that can be taken in the transition destination state s ′ are set as action a ′, and max a ′ Q π (s ′, a ′) is compared, and max a ′ Q π (s ′, a ′) is maximized. The action a to be selected is selected.
上記自律移動ロボットの動作計画装置及び上記自律移動ロボットの動作制御装置における処理機能は、コンピュータによって実現することができる。この場合、これらの装置がそれぞれ有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、これらの装置における各処理機能が、コンピュータ上で実現される。 The processing functions of the autonomous mobile robot motion planning device and the autonomous mobile robot motion control device can be realized by a computer. In this case, the processing contents of the functions that each of these apparatuses should have are described by a program. Then, by executing this program on a computer, each processing function in these devices is realized on the computer.
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、これらの装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。 The program describing the processing contents can be recorded on a computer-readable recording medium. In this embodiment, these apparatuses are configured by executing a predetermined program on a computer. However, at least a part of these processing contents may be realized by hardware.
この発明は、上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。 The present invention is not limited to the above-described embodiment, and can be modified as appropriate without departing from the spirit of the present invention.
10 第一状態遷移確率計算部
11 第一報酬決定部
12 第一動的計画部
13 地形モデル保存部
14 第二状態遷移確率計算部
15 第二報酬決定部
16 第二動的計画部
17 第二指標記憶部
21 流速差取得部
22 遷移先予測部
23 行動決定部
24 制御部
25 位置計測部
111 傾斜角差計算部
112 登坂角度計算部
113 障害物判断部
DESCRIPTION OF
Claims (10)
想定される流速よりも速い流速の下で、各状態にある上記自律移動ロボットが各行動を取った場合に各状態に遷移する第一状態遷移確率を計算する第一状態遷移確率計算部と、
各状態にある上記自律移動ロボットが各行動を取り各状態に遷移する場合に得られる第一報酬を、障害物を含む状態に遷移する場合に得られる第一報酬が障害物を含まない状態に遷移する場合に得られる第一報酬よりも低く又は高くなるように定める第一報酬決定部と、
上記第一状態遷移確率及び上記第一報酬を用いて、マルコフ決定過程における動的計画法に基づき、上記自律移動ロボットの障害物へのぶつかりやすさを表す第一指標を状態ごとに求める第一動的計画部と、
上記想定される流速の下で、各状態にある上記自律移動ロボットが各行動を取った場合に各状態に遷移する第二状態遷移確率を計算する第二状態遷移確率計算部と、
各状態にある上記自律移動ロボットが各行動を取り各状態に遷移する場合に得られる第二報酬を、遷移先の状態についての上記第一指標に応じて定めると共に、上記到達点を含む状態に遷移する場合に得られる第二報酬が最も高く又は低くなるように定める第二報酬決定部と、
上記第二状態遷移確率及び上記第二報酬を用いて、マルコフ決定過程における動的計画法に基づき、上記自律移動ロボットの上記到達点への到達しやすさを表す第二指標を状態ごとに求める第二動的計画部と、
を含む自律移動ロボットの動作計画装置。 In the autonomous mobile robot motion planning device that performs the motion planning for the autonomous mobile robot located at the starting point in the fluid with the flow of indefinite velocity to reach the destination,
A first state transition probability calculation unit that calculates a first state transition probability that transitions to each state when the autonomous mobile robot in each state takes each action under a flow rate that is faster than an assumed flow rate;
The first reward obtained when the autonomous mobile robot in each state takes each action and transitions to each state is changed to the state where the first reward obtained when transitioning to a state including an obstacle does not include an obstacle A first reward determination unit that is determined to be lower or higher than the first reward obtained when transitioning;
A first index for each state that indicates the likelihood of the autonomous mobile robot hitting an obstacle based on dynamic programming in the Markov decision process using the first state transition probability and the first reward A dynamic planning department;
A second state transition probability calculation unit that calculates a second state transition probability that transitions to each state when the autonomous mobile robot in each state takes each action under the assumed flow velocity;
A second reward obtained when the autonomous mobile robot in each state takes each action and transitions to each state is determined according to the first index for the state of the transition destination, and includes a state including the arrival point A second reward determining unit that determines that the second reward obtained when making a transition is the highest or lowest;
Using the second state transition probability and the second reward, a second index representing the ease of reaching the destination of the autonomous mobile robot is obtained for each state based on dynamic programming in the Markov decision process. A second dynamic planning department;
An autonomous mobile robot motion planning device.
地形モデルを参照して、上記マルコフ状態遷移モデルのある状態における地形の傾斜角と、その状態においてある行動を選択した後の遷移先の状態における地形の傾斜角との差の絶対値を計算する傾斜角差計算部と、
想定される流速よりも速い流速の下で、上記ある状態から上記遷移先の状態に遷移するときの、上記自律移動ロボットの最大登坂角度を計算する登坂角度計算部と、
上記傾斜角の差の絶対値と上記最大登坂角度とを比較して、上記傾斜角の差の絶対値が大きければ、その遷移先の状態は障害物を含むと判断する障害物判断部と、
を更に含むことを特徴とする自律移動ロボットの動作計画装置。 The operation planning device for an autonomous mobile robot according to claim 1,
Referring to the terrain model, calculate the absolute value of the difference between the inclination angle of the terrain in the state of the Markov state transition model and the inclination angle of the terrain in the transition destination state after selecting an action in the state An inclination angle difference calculation unit;
A climbing angle calculation unit that calculates a maximum climbing angle of the autonomous mobile robot when transitioning from the certain state to the transition destination state under a flow rate that is faster than an assumed flow rate;
An obstacle determination unit that compares the absolute value of the difference in inclination angle with the maximum climbing angle and determines that the state of the transition destination includes an obstacle if the absolute value of the difference in inclination angle is large;
An autonomous mobile robot motion planning apparatus, further comprising:
上記想定される流速よりも速い流速は、上記想定される流速の中で最も速い流速である、ことを特徴とする自律移動ロボットの動作計画装置。 The operation planning apparatus for an autonomous mobile robot according to claim 1 or 2,
An operation planning apparatus for an autonomous mobile robot, wherein a flow velocity faster than the assumed flow velocity is the fastest flow velocity among the assumed flow velocity.
上記想定される流速よりも速い流速は、上記出発点から上記到達点に向かう方向において、上記想定される流速よりも速い、
ことを特徴とする自律移動ロボットの動作計画装置。 In the operation planning device for an autonomous mobile robot according to any one of claims 1 to 3,
A flow rate faster than the assumed flow rate is faster than the assumed flow rate in the direction from the starting point to the arrival point.
An operation planning device for an autonomous mobile robot.
上記想定される流速と、流速の実測値との差である流速差を求める流速差取得部と、
上記自律移動ロボットが各行動を取った場合の遷移先の状態を、上記自律移動ロボットの位置を上記流速差の分だけ移動させることにより求める遷移先予測部と、
上記遷移先予測部が求めた遷移先の状態についての上記第二指標を互いに比較して、上記到達点に最も到達しやすい行動を決定する行動決定部と、
上記自律移動ロボットが上記決定された行動に従って移動するように、上記自律移動ロボットを制御する制御部と、
を含む自律移動ロボットの動作制御装置。 The autonomous mobile robot positioned at the starting point is reached at the arrival point under an indefinite flow velocity based on the action plan determined by the action planning apparatus for the autonomous mobile robot according to any one of claims 1 to 4. In the autonomous mobile robot motion control device that controls
A flow velocity difference acquisition unit for obtaining a flow velocity difference that is a difference between the assumed flow velocity and an actual measurement value of the flow velocity;
A transition destination prediction unit for obtaining a state of a transition destination when the autonomous mobile robot takes each action by moving the position of the autonomous mobile robot by the amount of the flow velocity difference; and
Comparing the second index for the state of the transition destination obtained by the transition destination prediction unit with each other, and determining an action that is most likely to reach the reaching point;
A control unit that controls the autonomous mobile robot so that the autonomous mobile robot moves according to the determined behavior;
Control device for autonomous mobile robot including
第一状態遷移確率計算部が、想定される流速よりも速い流速の下で、各状態にある上記自律移動ロボットが各行動を取った場合に各状態に遷移する第一状態遷移確率を計算する第一状態遷移確率計算ステップと、
第一報酬決定部が、各状態にある上記自律移動ロボットが各行動を取り各状態に遷移する場合に得られる第一報酬を、障害物を含む状態に遷移する場合に得られる第一報酬が障害物を含まない状態に遷移する場合に得られる第一報酬よりも低く又は高くなるように定める第一報酬決定ステップと、
第一動的計画部が、上記第一状態遷移確率及び上記第一報酬を用いて、マルコフ決定過程における動的計画法に基づき、上記自律移動ロボットの障害物へのぶつかりやすさを表す第一指標を状態ごとに求める第一動的計画ステップと、
第二状態遷移確率計算部が、上記想定される流速の下で、各状態にある上記自律移動ロボットが各行動を取った場合に各状態に遷移する第二状態遷移確率を計算する第二状態遷移確率計算ステップと、
第二報酬決定部が、各状態にある上記自律移動ロボットが各行動を取り各状態に遷移する場合に得られる第二報酬を、遷移先の状態についての上記第一指標に応じて定めると共に、上記到達点を含む状態に遷移する場合に得られる第二報酬が最も高く又は低くなるように定める第二報酬決定ステップと、
第二動的計画部が、上記第二状態遷移確率及び上記第二報酬を用いて、マルコフ決定過程における動的計画法に基づき、上記自律移動ロボットの上記到達点への到達しやすさを表す第二指標を状態ごとに求める第二動的計画ステップと、
を含む自律移動ロボットの動作計画方法。 In the operation planning method of an autonomous mobile robot that performs an operation plan for causing an autonomous mobile robot located at a starting point to reach a destination in a fluid having an indefinite flow velocity,
The first state transition probability calculation unit calculates a first state transition probability that transitions to each state when the autonomous mobile robot in each state takes each action under a flow velocity that is faster than the assumed flow velocity. A first state transition probability calculation step;
The first reward obtained when the first reward determination unit makes a transition to a state including an obstacle is the first reward obtained when the autonomous mobile robot in each state takes each action and transitions to each state. A first reward determination step that is determined to be lower or higher than the first reward obtained when transitioning to an obstacle-free state;
The first dynamic planning unit uses the first state transition probability and the first reward to express the ease of collision of the autonomous mobile robot with an obstacle based on the dynamic programming method in the Markov decision process. A first dynamic planning step for determining an indicator for each state;
A second state in which a second state transition probability calculation unit calculates a second state transition probability that transitions to each state when the autonomous mobile robot in each state takes each action under the assumed flow velocity A transition probability calculation step;
The second reward determination unit determines the second reward obtained when the autonomous mobile robot in each state takes each action and transitions to each state according to the first index for the transition destination state, A second reward determination step for determining that the second reward obtained when transitioning to a state including the reaching point is highest or lower;
The second dynamic planning unit uses the second state transition probability and the second reward to represent the ease of reaching the destination of the autonomous mobile robot based on the dynamic programming method in the Markov decision process. A second dynamic planning step for obtaining a second index for each state;
Planning method for autonomous mobile robots.
傾斜角差計算部が、地形モデルを参照して、上記マルコフ状態遷移モデルのある状態における地形の傾斜角と、その状態においてある行動を選択した後の遷移先の状態における地形の傾斜角との差の絶対値を計算する傾斜角差計算ステップと、
登坂角度計算部が、想定される流速よりも速い流速の下で、上記ある状態から上記遷移先の状態に遷移するときの、上記自律移動ロボットの最大登坂角度を計算する登坂角度計算ステップと、
障害物判断部が、上記傾斜角の差の絶対値と上記最大登坂角度とを比較して、上記傾斜角の差の絶対値が大きければ、その遷移先の状態は障害物を含むと判断する障害物判断ステップと、
を更に含むことを特徴とする自律移動ロボットの動作計画方法。 The operation planning method for an autonomous mobile robot according to claim 6,
The slope difference calculation unit refers to the terrain model, and calculates the slope angle of the terrain in the state with the Markov state transition model and the slope angle of the terrain in the transition destination state after selecting an action in the state. An inclination angle difference calculating step for calculating an absolute value of the difference,
A climbing angle calculation step for calculating a maximum climbing angle of the autonomous mobile robot when the climbing angle calculation unit transitions from the certain state to the transition destination state under a flow rate faster than an assumed flow rate;
The obstacle determination unit compares the absolute value of the difference in inclination angle with the maximum climbing angle, and determines that the transition destination state includes an obstacle if the absolute value of the difference in inclination angle is large. Obstacle judgment step,
An operation planning method for an autonomous mobile robot, further comprising:
流速差取得部が、上記想定される流速と、流速の実測値との差である流速差を求める流速差取得ステップと、
遷移先予測部が、上記自律移動ロボットが各行動を取った場合の遷移先の状態を、上記自律移動ロボットの位置を上記流速差の分だけ移動させることにより求める遷移先予測ステップと、
行動決定部が、上記遷移先予測部が求めた遷移先の状態についての上記第二指標を互いに比較して、上記到達点に最も到達しやすい行動を決定する行動決定ステップと、
制御部が、上記自律移動ロボットが上記決定された行動に従って移動するように、上記自律移動ロボットを制御する制御ステップと、
を含む自律移動ロボットの動作制御方法。 The autonomous mobile robot positioned at the starting point is controlled to reach the arrival point under an indefinite flow velocity based on the action plan determined by the action planning method for the autonomous mobile robot according to claim 6 or 7. In the operation control method of an autonomous mobile robot,
The flow rate difference acquisition unit obtains a flow rate difference that is a difference between the assumed flow rate and the actual measurement value of the flow rate; and
A transition destination prediction step in which the transition destination prediction unit obtains the state of the transition destination when the autonomous mobile robot takes each action by moving the position of the autonomous mobile robot by the amount of the flow velocity difference;
An action determining unit that compares the second index for the state of the transition destination obtained by the transition destination prediction unit with each other and determines an action that is most likely to reach the reaching point;
A control unit that controls the autonomous mobile robot such that the autonomous mobile robot moves according to the determined behavior;
Control method of autonomous mobile robot including
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008150729A JP5079602B2 (en) | 2008-06-09 | 2008-06-09 | Autonomous mobile robot operation planning apparatus, method, program and recording medium, and autonomous mobile robot operation control apparatus and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008150729A JP5079602B2 (en) | 2008-06-09 | 2008-06-09 | Autonomous mobile robot operation planning apparatus, method, program and recording medium, and autonomous mobile robot operation control apparatus and method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009295103A true JP2009295103A (en) | 2009-12-17 |
JP5079602B2 JP5079602B2 (en) | 2012-11-21 |
Family
ID=41543202
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008150729A Expired - Fee Related JP5079602B2 (en) | 2008-06-09 | 2008-06-09 | Autonomous mobile robot operation planning apparatus, method, program and recording medium, and autonomous mobile robot operation control apparatus and method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5079602B2 (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011248728A (en) * | 2010-05-28 | 2011-12-08 | Honda Motor Co Ltd | Learning control system and learning control method |
CN102681540A (en) * | 2011-03-10 | 2012-09-19 | 上海益道机电设备有限公司 | Motion control method for six-freedom-degree of robot |
JP2014211667A (en) * | 2013-04-17 | 2014-11-13 | 日本電信電話株式会社 | Robot cooperative conveyance planning device, method, and program |
WO2019216427A1 (en) * | 2018-05-11 | 2019-11-14 | 株式会社 Preferred Networks | Risk index evaluating device, risk index evaluating method, and program |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0836691A (en) * | 1994-07-22 | 1996-02-06 | Toyota Motor Corp | Supervisory controller for automatic travelling car |
JP2007317165A (en) * | 2006-04-26 | 2007-12-06 | Nippon Telegr & Teleph Corp <Ntt> | Method, apparatus, and program for planning operation of autonomous mobile robot, method for controlling autonomous mobile robot using method, recording medium thereof, and program for controlling autonomous mobile robot |
JP2008052473A (en) * | 2006-08-24 | 2008-03-06 | Nippon Telegr & Teleph Corp <Ntt> | Operation control method and device for underwater robot, program and its recording medium |
-
2008
- 2008-06-09 JP JP2008150729A patent/JP5079602B2/en not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0836691A (en) * | 1994-07-22 | 1996-02-06 | Toyota Motor Corp | Supervisory controller for automatic travelling car |
JP2007317165A (en) * | 2006-04-26 | 2007-12-06 | Nippon Telegr & Teleph Corp <Ntt> | Method, apparatus, and program for planning operation of autonomous mobile robot, method for controlling autonomous mobile robot using method, recording medium thereof, and program for controlling autonomous mobile robot |
JP2008052473A (en) * | 2006-08-24 | 2008-03-06 | Nippon Telegr & Teleph Corp <Ntt> | Operation control method and device for underwater robot, program and its recording medium |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011248728A (en) * | 2010-05-28 | 2011-12-08 | Honda Motor Co Ltd | Learning control system and learning control method |
CN102681540A (en) * | 2011-03-10 | 2012-09-19 | 上海益道机电设备有限公司 | Motion control method for six-freedom-degree of robot |
JP2014211667A (en) * | 2013-04-17 | 2014-11-13 | 日本電信電話株式会社 | Robot cooperative conveyance planning device, method, and program |
WO2019216427A1 (en) * | 2018-05-11 | 2019-11-14 | 株式会社 Preferred Networks | Risk index evaluating device, risk index evaluating method, and program |
Also Published As
Publication number | Publication date |
---|---|
JP5079602B2 (en) | 2012-11-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4495703B2 (en) | Operation control method, apparatus and program for underwater robot | |
Cesari et al. | Scenario model predictive control for lane change assistance and autonomous driving on highways | |
JP4406436B2 (en) | Autonomous mobile robot motion planning method, autonomous mobile robot control method using autonomous mobile robot motion planning method, autonomous mobile robot motion planning device, autonomous mobile robot motion planning program and its recording medium, autonomous mobile robot control program | |
US10456916B2 (en) | Determination of robotic step path | |
Petrich et al. | Map-based long term motion prediction for vehicles in traffic environments | |
JP6494872B2 (en) | Method for controlling vehicle motion and vehicle control system | |
US10994729B2 (en) | System and method for controlling lateral motion of vehicle | |
Zeng et al. | Efficient path re-planning for AUVs operating in spatiotemporal currents | |
KR101196374B1 (en) | Path planning system for mobile robot | |
JP4746349B2 (en) | Robot action selection device and robot action selection method | |
JP6939513B2 (en) | Model prediction controller | |
Havenstrøm et al. | Deep reinforcement learning controller for 3D path following and collision avoidance by autonomous underwater vehicles | |
US20200174482A1 (en) | Online bidirectional trajectory planning method in state-time space, recording medium storing program for executing same, and computer program stored in recording medium for executing same | |
CN109556609B (en) | Artificial intelligence-based collision avoidance method and device | |
CN114237256B (en) | Three-dimensional path planning and navigation method suitable for under-actuated robot | |
JP2020160603A (en) | Route determination device, robot, and route determination method | |
JP5079602B2 (en) | Autonomous mobile robot operation planning apparatus, method, program and recording medium, and autonomous mobile robot operation control apparatus and method | |
Vallon et al. | Data-driven strategies for hierarchical predictive control in unknown environments | |
CN116448134B (en) | Vehicle path planning method and device based on risk field and uncertain analysis | |
JP7250571B2 (en) | Inverted pendulum type robot | |
JP4964255B2 (en) | Autonomous mobile robot operation planning apparatus, method, program and recording medium, and autonomous mobile robot operation control apparatus and method | |
CN114609925B (en) | Training method of underwater exploration strategy model and underwater exploration method of bionic machine fish | |
Ferguson et al. | A Markov decision process model for strategic decision making in sailboat racing | |
Hecker et al. | Learning a curve guardian for motorcycles | |
CN114527759A (en) | End-to-end driving method based on layered reinforcement learning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100726 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20110810 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111227 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111228 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120221 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120821 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120829 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150907 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5079602 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |