JP4964255B2 - Autonomous mobile robot operation planning apparatus, method, program and recording medium, and autonomous mobile robot operation control apparatus and method - Google Patents
Autonomous mobile robot operation planning apparatus, method, program and recording medium, and autonomous mobile robot operation control apparatus and method Download PDFInfo
- Publication number
- JP4964255B2 JP4964255B2 JP2009004996A JP2009004996A JP4964255B2 JP 4964255 B2 JP4964255 B2 JP 4964255B2 JP 2009004996 A JP2009004996 A JP 2009004996A JP 2009004996 A JP2009004996 A JP 2009004996A JP 4964255 B2 JP4964255 B2 JP 4964255B2
- Authority
- JP
- Japan
- Prior art keywords
- mobile robot
- autonomous mobile
- state
- flow
- probability
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 45
- 230000009471 action Effects 0.000 claims description 83
- 230000007704 transition Effects 0.000 claims description 82
- 230000008569 process Effects 0.000 claims description 16
- 239000012530 fluid Substances 0.000 claims description 7
- 238000005259 measurement Methods 0.000 claims description 7
- 230000007423 decrease Effects 0.000 claims 1
- 230000006870 function Effects 0.000 description 39
- 238000006073 displacement reaction Methods 0.000 description 27
- 230000006399 behavior Effects 0.000 description 11
- 238000012545 processing Methods 0.000 description 7
- 230000001133 acceleration Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000002787 reinforcement Effects 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003542 behavioural effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Landscapes
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Feedback Control In General (AREA)
Description
この発明は、例えば飛行船、潜水艦等の自律移動ロボットの動作計画を行う技術に関する。特に自律移動ロボットに障害物を回避させる動作計画を行う技術に関する。 The present invention relates to a technique for performing an operation plan of an autonomous mobile robot such as an airship or a submarine. In particular, the present invention relates to a technique for making an operation plan for an autonomous mobile robot to avoid an obstacle.
イナーシャ(慣性)が高い劣駆動型の自律移動ロボットの動作計画を行う技術として、マルコフ決定過程における動作計画法を利用した技術が知られている(例えば、特許文献1及び非特許文献1参照。)。
As a technique for performing an operation plan of an under-actuated autonomous mobile robot having high inertia (inertia), a technique using an operation planning method in a Markov decision process is known (for example, see
この技術においては、想定される流速の下、各状態s∈{s1,…,sN}にある自律移動ロボットが各行動a∈{a1,…,aM}を取った場合に各状態s’∈{s1,…,sN}に遷移する状態遷移確率Pa ss’と、そのときに得られる報酬Ra ss’とをまず求める。報酬Ra ss’については、例えば到達点を含む状態s’に遷移するときに与えられる報酬Ra ss’を1、障害物を含む状態s’に遷移するときに与えられる報酬Ra ss’を−1、障害物を含まない状態s’に遷移するときに与えられる報酬Ra ss’を0とする。 In this technique, under the flow rate is assumed, each state s∈ {s 1, ..., s N} autonomous mobile robot each behavior in a∈ {a 1, ..., a M} each when taking the state s'∈ {s 1, ..., s N} ' and reward R a ss obtained at that time' transition to the state transition probability P a ss to determine first and. For the reward R a ss ′ , for example, the reward R a ss ′ given when transitioning to the state s ′ including the reaching point is 1, and the reward R a ss ′ given when transitioning to the state s ′ including the obstacle is performed. -1, and 0 'reward R a ss given when transitioning to the' state s free of obstructions.
そして、状態遷移確率Pa ss’及び報酬Ra ss’を用いて、マルコフ決定過程における動的計画法に基づき、状態価値関数Vπ(s)を求める。そして、想定される流速と実際の流速の流速差を考慮しつつ、状態価値関数Vπ(s)を最大にする行動aを選択し、その選択された行動aに従って自律移動ロボットを制御する。 Then, using a state transition probability P a ss 'and reward R a ss', based on dynamic programming in Markov decision processes, obtains the state value function V [pi a (s). Then, the action a that maximizes the state value function V π (s) is selected in consideration of the difference between the assumed flow speed and the actual flow speed, and the autonomous mobile robot is controlled according to the selected action a.
しかしながら、非特許文献1及び特許文献1に記載された技術おいては、自律移動ロボットが行動する環境で生じ得る想定外の一時的な流れを考慮して報酬を定めてはいない。
However, in the techniques described in
したがって、自律移動ロボットが行動する環境で想定外の一時的な流れが生じた場合に、動作計画が破綻しやすいという課題がある。 Therefore, when an unexpected temporary flow occurs in an environment in which an autonomous mobile robot acts, there is a problem that the motion plan is likely to fail.
上記の課題を解決するために、互いに異なる複数の一時的な流れが生じた場合に、各状態にある上記自律移動ロボットが各行動に基づいて移動した場合に障害物に衝突するかどうかを判定し、衝突すると判定された一時的な流れが生じる確率の総和である衝突確率を計算し、衝突確率を考慮して報酬を決定し、その報酬に基づいて動的計画を行う。 In order to solve the above-mentioned problem, when a plurality of different temporary flows occur, it is determined whether or not the autonomous mobile robot in each state collides with an obstacle when moving based on each action Then, a collision probability which is a sum of the probabilities of occurrence of temporary flows determined to collide is calculated, a reward is determined in consideration of the collision probability, and dynamic planning is performed based on the reward.
この発明は、想定外の一時的な流れを考慮して報酬を決定するため、動作計画はより破綻しづらくなるという効果を奏する。 Since the present invention determines a reward in consideration of an unexpected temporary flow, there is an effect that the motion plan becomes more difficult to break down.
[マルコフ決定過程]
まず、この発明を把握するための基礎知識である強化学習(Reinforcement Learning)におけるマルコフ決定過程(Markov decision Process)の概略を説明する。
[Markov decision process]
First, an outline of a Markov decision process in reinforcement learning (Reinforcement Learning), which is basic knowledge for grasping the present invention, will be described.
環境を構成する離散的な状態の集合をS={s1,s2,…,sN}、行動主体が取り得る行動の集合をA={a1,a2,…,aM}と表す。環境中のある状態s∈Sにおいて、行動主体がある行動a∈Aを実行すると、環境は確率的に状態s’∈Sへ遷移する。その遷移確率(状態遷移確率とも呼ぶ)を
Pa ss’=Pr{st+1=s’|st=s,at=a}
により表す。このとき環境から行動主体へ報酬rが確率的に与えられるが、その期待値を
Ra ss’=E{rt|st=s,at=a,st+1=s’}
とする。
S = the set of discrete states which constitute the environmental {s 1, s 2, ... , s N}, action A = the set of entities can take action {a 1, a 2, ... , a M} and To express. In a state sεS in the environment, when an action aεA is executed, the environment probabilistically changes to the state s′εS. The transition probability (also referred to as state transition probability) is P a ss ′ = Pr {s t + 1 = s ′ | s t = s, a t = a}
Is represented by At this time, the reward r is probabilistically given from the environment to the action subject, and the expected value is expressed as R a ss ′ = E {r t | s t = s, a t = a, s t + 1 = s ′}
And
なお、状態s’に附されている記号’は、状態sとの識別を図るための記号である。時間微分を表す記号として記号’を用いることがあるが、記号’が附された対象がマルコフ状態遷移モデルの状態であるか否かで記号’の意味を容易に識別できるので、以降の説明でもこの記法に従うとする。 The symbol 'attached to the state s' is a symbol for identifying the state s. The symbol 'may be used as a symbol representing time differentiation, but the meaning of the symbol' can be easily identified by whether or not the object with the symbol 'is a state of the Markov state transition model. Suppose you follow this notation.
ある時間ステップtで行った行動が、その後の報酬獲得にどの程度貢献したのかを評価するため、その後得られる報酬の時系列を考える。報酬の時系列評価は価値と呼ばれる。行動主体の目標は、価値を最大化すること、又は、価値を最大にする方策π(s,a)を求めることである。方策π(s,a)は、状態sにおいて行動aを取ることを意味し、状態s及び行動aの複数の組のそれぞれについて定義される。価値は、時間の経過とともに報酬を割引率γ(0≦γ<1)で割引いて合計される。すなわち、ある方策πの下での状態sの価値である状態価値関数Vπ(s)は、以下のように定義される。Eπは期待値を求める関数である。 In order to evaluate how much the action performed at a certain time step t contributed to the subsequent reward acquisition, a time series of rewards obtained thereafter is considered. The time series evaluation of reward is called value. The goal of the action subject is to maximize the value or to find a policy π (s, a) that maximizes the value. Policy π (s, a) means taking action a in state s, and is defined for each of a plurality of sets of state s and action a. The value is totaled by discounting the reward with a discount rate γ (0 ≦ γ <1) over time. That is, the state value function V π (s) that is the value of the state s under a certain policy π is defined as follows. E π is a function for obtaining an expected value.
ここでは価値関数として方策πの下での状態sの価値である状態価値関数Vπ(s)を採用したが、方策πの下で状態sにおいて行動aを採ることの価値である行動価値関数Qπ(s,a)を採用することもできる。 Here, the state value function V π (s) that is the value of the state s under the policy π is adopted as the value function, but the behavior value function that is the value of taking the action a in the state s under the policy π. Q π (s, a) can also be adopted.
行動主体の目標は、最適な方策πを求めること、つまり任意の状態sについて価値関数(上記の例では状態価値関数Vπ(s)である。)が他の方策πを採った場合よりも劣るものではない方策πを求めることである。この方策πの探求は、Bellman方程式で表され、状態sと行動aと遷移先の状態s’との各組み合わせについての状態遷移確率Pa ss’及び報酬Ra ss’の値が定まっていれば、動的計画法(ダイナミックプログラミング法)により、最適な、状態価値関数Vπ(s)、行動価値関数Qπ(s,a)及び方策πを計算することができる(例えば、三上 貞芳、皆川 雅章 共訳、R.S.Sutton、A.G.Barto 原著「強化学習」森北出版、1998、pp.94-118参照。)。動的計画法の処理は、周知技術であるため説明は省略する。 The goal of the action subject is to obtain an optimal policy π, that is, the value function (in the above example, the state value function V π (s)) for an arbitrary state s than when another policy π is adopted. It is to find a policy π that is not inferior. Quest This measure π is represented by Bellman equations long as definite values of and reward R a ss' 'state transition probability P a ss for each combination of the' state s and action a destination state s For example, the optimal state value function V π (s), action value function Q π (s, a), and policy π can be calculated by dynamic programming (dynamic programming method) (for example, Sadayoshi Mikami) , Masaaki Minagawa co-translation, RSSutton, AGBarto Original work "Reinforcement Learning" Morikita Publishing, 1998, pp.94-118.) Since the dynamic programming process is a well-known technique, the description thereof is omitted.
[自律移動ロボットの動作計画装置及び方法]
自律移動ロボットの動作計画装置及び方法の実施形態について説明する。
[Operation planning apparatus and method for autonomous mobile robot]
An embodiment of an operation planning apparatus and method for an autonomous mobile robot will be described.
行動主体である自律移動ロボットの例を、図4(a)(b)を参照して説明する。自律移動ロボットは、主推進器101、上下方向推進器102、舵103、ゴンドラ104、流速差取得部21、位置計測部25を有する。この自律移動ロボットは、真横方向に直接移動することができない。搭載アクチュエータである主推進器101、上下方向推進器102、舵103が制御可能な運動自由度よりも自律移動ロボットの運動自由度は高いので、この自律移動ロボットは劣駆動ロボットである。この実施形態では、自律移動ロボットとして飛行船タイプのものを採用しているが、水中無人探索機のような水中ロボット等の任意の自律移動ロボットを採用してもよい。自律移動ロボットには、搭載アクチュエータに応じて、行動単位時間Tごとに取り得る行動が定められる。
An example of an autonomous mobile robot that is an action subject will be described with reference to FIGS. The autonomous mobile robot includes a
自律移動ロボットは、不定の流速の流れがある流体で満たされた空間を航行する。その空間はマルコフ遷移状態モデルにより離散的にモデル化されており、自律移動ロボットの二次元座標(x,y)、方位角ψ及び旋回速度ψ’の4つ次元から構成される。各次元は、その次元の物理量を測定するセンサの分解能に応じて離散化されている。この空間には、自律移動ロボットの出発位置及び到着位置が予め定められ、また障害物が配置される。 An autonomous mobile robot navigates a space filled with a fluid having an indefinite flow velocity. The space is discretely modeled by a Markov transition state model, and is composed of four dimensions of a two-dimensional coordinate (x, y), an azimuth angle ψ, and a turning speed ψ ′ of an autonomous mobile robot. Each dimension is discretized according to the resolution of the sensor that measures the physical quantity of that dimension. In this space, the departure position and arrival position of the autonomous mobile robot are determined in advance, and obstacles are arranged.
出発位置を含む状態sに位置する自律移動ロボットは、予め定められた行動の集合の中から1つの行動aを選択する。そして、予め定められた行動単位時間Tだけその行動aに従って移動して、遷移先の状態s’に移動する。この遷移先の状態s’において、再び、予め定められた行動の集合の中から1つの行動aを選択して、行動単位時間Tだけその行動に従って移動して、遷移先の状態s’’に移動する。この行動の選択と状態の遷移を繰り返すことにより、初めは出発地点を含む状態にある自律移動ロボットは、空間に配置された予め定められた到達地点を含む状態に移動しようとする。自律移動ロボットの動作計画装置は、そのための動作計画を行う。 The autonomous mobile robot located in the state s including the departure position selects one action a from a predetermined set of actions. Then, the robot moves according to the action a for a predetermined action unit time T and moves to the transition destination state s ′. In this transition destination state s ′, again, one action a is selected from a predetermined set of actions, moved according to the action for the action unit time T, and changed to the transition destination state s ″. Moving. By repeating this action selection and state transition, the autonomous mobile robot initially in a state including the departure point tries to move to a state including a predetermined arrival point arranged in space. The operation planning apparatus for an autonomous mobile robot performs an operation plan for that purpose.
<ステップS1(図10)>
状態遷移確率計算部1(図1)は、予め定められた流れの下で、各状態sにある自律移動ロボットが各行動aを取った場合に各状態sに遷移する状態遷移確率Pa ss’を計算する(ステップS1)。すなわち、状態s、行動a及び遷移先の状態s’の各組合せについての状態遷移確率Pa ss’を計算する。計算された状態遷移確率Pa ss’は、動的計画部2に送られる。
<Step S1 (FIG. 10)>
The state transition probability calculation unit 1 (FIG. 1) performs a state transition probability P a ss that transitions to each state s when the autonomous mobile robot in each state s takes each action a under a predetermined flow. ' Is calculated (step S1). That is, the state transition probability P a ss ′ for each combination of the state s, the action a, and the transition destination state s ′ is calculated. The calculated state transition probability P a ss ′ is sent to the
状態遷移確率Pa ss’の計算方法の例について説明する。この例では、状態遷移確率計算部1は、図2に例示するように、目標速度計算部11、変位量計算部12及び確率計算部13を含む。
It will be described an example of how to calculate the state transition probability P a ss'. In this example, the state transition
≪ステップS11≫
状態遷移確率計算部1の目標速度計算部11(図2)は、自律移動ロボットが各状態sにおいてある各行動aを取ったときの目標速度を決定する(ステップS11)。目標速度は、変位量計算部12に送られる。例えば、各行動aについて、下記の式に従って自律移動ロボットの旋回速度ψ’ τ(t)と前後方向の速度vxwτ(t)を自律移動ロボットの目標速度として定める。(b1,b2)はマルコフ状態遷移モデルの各状態sにおける行動aに対応する二次元ベクトル、αは予め定められた旋回加速度であり、βは予め定められた前後方向の加速度であり、τは各行動aの開始時からの経過時間、ψ’τ0は行動aの開始時における自律移動ロボットの旋回速度、vx0は行動aの開始時における自律移動ロボットの前後方向の速度である。
<< Step S11 >>
The target speed calculation unit 11 (FIG. 2) of the state transition
ここで、旋回加速度α及び前後方向の加速度βは、自律移動ロボットの性能の限界を超えないように設定される。また、前後方向の速度vx0(t)及び前後方向の加速度βは、それぞれ対流体機体速度及び対流体機体加速度として記述される。 Here, the turning acceleration α and the longitudinal acceleration β are set so as not to exceed the performance limit of the autonomous mobile robot. Further, the longitudinal velocity v x0 (t) and the longitudinal acceleration β are respectively described as the fluid velocity and the fluid acceleration.
≪ステップS12≫
変位量計算部12は、各状態sにある自律移動ロボットが、予め定められた流れの下において、各行動aに従って移動した場合の、自律移動ロボットの世界座標系における水平面内位置のX座標,Y座標,方位角ψ及び旋回速度ψ’がそれぞれどれくらい変位するのか計算する(ステップS12)。計算された変位量は確率計算部13に送られる。
<< Step S12 >>
The displacement
予め定められた流れとは、例えば、想定される流れ、想定される流れよりも速い流れである。[自律移動ロボットの動作制御装置及び方法]の欄で後述するように予め定められた流れと流速の実測値とが異なる場合には適宜補正されるため、おおよその流れでよい。予め定められた流れを0としてもよい。もっとも、想定される流れが流速の実測値と近いほど、この動作計画及びこれに基づく動作制御の精度が増す。したがって、予め定められた流れを想定される流れとすることにより、この動作計画及びこれに基づく動作制御の精度が増す。また、自律移動ロボットの出発位置から到達位置に向かう方向と同じ向きで想定される流れよりも速い流れの下で計算を行う場合、後ろから流れを受けるロボットは旋回半径が大きくなるので、現実よりも厳しい条件で動作計画をしていることになるから、より安全な動作計画を行うことができる。 The predetermined flow is, for example, an assumed flow or a flow faster than the assumed flow. As will be described later in the section [Operation control device and method for autonomous mobile robot], when the flow determined in advance is different from the actual measured flow velocity, the flow is approximated as appropriate. The predetermined flow may be set to zero. However, the closer the expected flow is to the actual measurement value of the flow velocity, the greater the accuracy of this operation plan and operation control based on it. Therefore, the accuracy of the operation plan and the operation control based on the operation plan is increased by setting the predetermined flow to an assumed flow. In addition, when calculation is performed under a flow that is faster than the flow assumed in the same direction as the direction from the departure position to the arrival position of the autonomous mobile robot, the robot that receives the flow from behind has a larger turning radius. Since the operation plan is performed under severe conditions, a safer operation plan can be performed.
自律移動ロボットの水平面内位置のX座標の変位量をDX(ψ0,a)、Y座標の変位量をDY(ψ0,a)、方位角ψの変位量をDψ(ψ0,a)、旋回速度ψ’の変位量をDψ’(ψ0,a)とすると、それぞれの変位量は、次式にように与えられる(図5を参照のこと)。 The X-coordinate displacement amount of the position in the horizontal plane of the autonomous mobile robot is D X (ψ 0 , a), the Y-coordinate displacement amount is DY (ψ 0 , a), and the azimuth angle ψ displacement amount is D ψ (ψ 0 , A), where the displacement amount of the turning speed ψ ′ is D ψ ′ (ψ 0 , a), the respective displacement amounts are given by the following equations (see FIG. 5).
ここで、ψ0は各状態sの開始時の方位角、Tは状態sから次の状態s’に遷移するまでの行動単位時間、fmxは予め定められた流れのX座標の成分、fmyは予め定められた流れのY座標の成分である。なお、方位角ψの変位量Dψ(ψ0,a)と、旋回速度ψ’の変位量Dψ’(ψ0,a)については、旋回速度ψ’の制御を行うことになるため、風の影響による補正は行わない。行動単位時間は例えば15秒とすることができる。 Here, ψ 0 is an azimuth angle at the start of each state s, T is an action unit time until the transition from the state s to the next state s ′, f mx is a component of the X coordinate of a predetermined flow, f my is a predetermined Y-coordinate component of the flow. Since the displacement amount D ψ (ψ 0 , a) of the azimuth angle ψ and the displacement amount D ψ ′ (ψ 0 , a) of the turning speed ψ ′, the turning speed ψ ′ is controlled. No correction is made due to wind effects. The action unit time can be set to 15 seconds, for example.
≪ステップS13≫
確率計算部13は、自律移動ロボットの水平面内位置のX座標の変位量DX(ψ0,a)、Y座標の変位量DY(ψ0,a)、方位角ψの変位量Dψ(ψ0,a)及び旋回速度ψ’の変位量Dψ’(ψ0,a)に基づいて、状態遷移確率Pa ss’を計算する(ステップS13)。
<< Step S13 >>
The
まず、状態sが、自律移動ロボットの水平面内位置のX座標、Y座標、方位角ψ及び旋回速度ψ’の4つの次元で構成される格子で示されるとし、その格子をR(s)と定義する(図6を参照のこと)。そして、その格子R(s)を、上記各変位量から構成される変位量ベクトル(DX(ψ0,a),DY(ψ0,a),Dψ(ψ0,a),Dψ’(ψ0,a))で、平行移動したものをRt(s)と定義する。 First, it is assumed that the state s is represented by a grid composed of four dimensions of an X coordinate, a Y coordinate, an azimuth angle ψ, and a turning speed ψ ′ of the position in the horizontal plane of the autonomous mobile robot. Define (see FIG. 6). Then, the lattice R (s) is converted into displacement vector (D X (ψ 0 , a), D Y (ψ 0 , a), D ψ (ψ 0 , a), D) composed of the respective displacements. ψ ′ (ψ 0 , a)) is defined as R t (s).
ここで、自律移動ロボットが状態sにあるときは、自律移動ロボットは、その状態sを表わす4次元の格子R(s)の各点の何れかに、等しい確率で存在するものと仮定する。この仮定の下では、状態遷移確率Pa ss’は、Rt(s)と各R(s’)の重なった部分の体積に比例してそれぞれ求めることができる。ここで、R(s’)は、Rt(s)と重なった格子である。すなわち、R(s’)は、状態sにおいてある行動aを取ったときの遷移先の候補の状態s’に対応した4次元の格子である。Rt(s)は最大で8つのR(s’)と重なる可能性がある。 Here, when the autonomous mobile robot is in the state s, it is assumed that the autonomous mobile robot exists with an equal probability at any point of the four-dimensional lattice R (s) representing the state s. Under this assumption, the state transition probability P a ss ′ can be obtained in proportion to the volume of the overlapping portion of R t (s) and each R (s ′). Here, R (s ′) is a lattice overlapping with R t (s). That is, R (s ′) is a four-dimensional lattice corresponding to the transition destination candidate state s ′ when the action a in the state s is taken. R t (s) may overlap with up to 8 R (s ′).
状態遷移確率Pa ss’は、Rt(s)とあるR(s’)の重なった部分の体積をV0(s,s’,a)、Rt(s)とすべてのR(s’)との重なった部分の体積をΣs’V0(s,s’,a)とすると、次式により求めることができる。 The state transition probability P a ss ′ is the volume of the overlapping portion of R t (s) and a certain R (s ′) as V 0 (s, s ′, a), R t (s) and all R (s If the volume of the portion overlapping with ') is Σ s' V 0 (s, s', a), it can be obtained by the following equation.
ステップS11からステップS13の処理を適宜繰り返すことにより、状態s、行動a及び遷移先の状態s’の各組合せについての状態遷移確率Pa ss’を求める(ステップS1の説明は以上)。 By appropriately repeating the processing from step S11 to step S13, the state transition probability P a ss ′ for each combination of the state s, the action a, and the transition destination state s ′ is obtained (the description of step S1 has been described above).
次に流れ発生確率記憶部3に格納されるデータについて説明をする。流れ発生確率記憶部3(図1)には、互いに異なる複数の一時的な流れ(fg,ψg)と、各一時的な流れ(fg,ψg)が生じる確率とが記憶される。一時的な流れは、極座標系、直交座標系、斜光座標系の何れの座標系で記述してもよいが、この例では極座標系で一時的な流れを記述することにする。fgは一時的な流れの速さ、ψgは一時的な流れの方向を意味する。一時的な流れは、速さfg及び方向ψgの組で特定される。速さfg及び方向ψgの一時的な流れを(fg,ψg)とも表記する。起こり得る一時的な流れの範囲は、fg−ψg平面の集合Sで定義される。
Next, data stored in the flow occurrence
例えば、自律移動ロボットの行動環境で過去に起こった最大流速をfgmaxとして、集合Sを次のように定義する。 For example, the set S is defined as follows, where f gmax is the maximum flow velocity that has occurred in the past in the behavioral environment of the autonomous mobile robot.
S={(fg,ψg)|0≦fg≦fgmax,0≦ψg≦360°}
pg(fg,ψg)は一時的な流れの確率分布であり、計算機で扱う場合には離散的な確率となるが、pg(fg,ψg)を概念的な説明のために確率密度関数と呼ぶこともある。一時的な流れを連続的に考えた場合には、一時的な流れの確率分布は確率密度関数pg(fg,ψg)で表現することができる。定義により確率密度関数pg(fg,ψg)を集合Sで積分すると1となる。
S = {(f g , ψ g ) | 0 ≦ f g ≦ f gmax , 0 ≦ ψ g ≦ 360 °}
p g (f g , ψ g ) is a temporary flow probability distribution, which is a discrete probability when handled by a computer, but p g (f g , ψ g ) is used for conceptual explanation. Sometimes called a probability density function. When a temporary flow is considered continuously, the probability distribution of the temporary flow can be expressed by a probability density function p g (f g , ψ g ). By definition, the probability density function p g (f g , ψ g ) is integrated with the set S to be 1.
1=∫pg(fg,ψg)dfgdψg
実際に発生し得る一時的な流れの方向ψgは予想することができないので、確率密度関数pg(fg,ψg)は、速さfgについてのみ正規分布に従うとして、例えば下記式のように定義される。σは分散、μは平均値である。
1 = ∫p g (f g , ψ g ) df g dψ g
Since the temporary flow direction ψ g that can actually be generated cannot be predicted, the probability density function pg (f g , ψ g ) is assumed to follow a normal distribution only with respect to the speed f g , for example, Is defined as σ is the variance, and μ is the average value.
μ=0として、速さfgの定義域をfg>0としてもよい。この場合、1=∫pg(fg,ψg)dfgdψgとするために、確率密度関数pg(fg,ψg)を次のように定義する。 It is also possible to define μ g = 0 and define the range of the speed f g as f g > 0. In this case, 1 = ∫p g (f g , ψ g) in order to df g d [phi] g, defining the probability density function p g (f g, ψ g ) and as follows.
自律移動ロボットの行動環境で過去に測定された流速についての統計データを用いて、確率密度関数pg(fg,ψg)を定義してもよい。 The probability density function p g (f g , ψ g ) may be defined using statistical data regarding the flow velocity measured in the past in the behavior environment of the autonomous mobile robot.
流れ発生確率記憶部3には、これらの確率密度関数pg(fg,ψg)を表現するためのデータが格納される。例えば、fg−ψg平面をΔfg,Δψgの幅の格子で分割することにより離散的に表現し、各格子の代表点(例えば格子の中心点)の値fg,ψgごとに、一時的な流れの確率pg(fg,ψg)の値を定義する。このとき、pg(fg,ψg)の総和は1となる。すなわち、ΣSpg(fg,ψg)=1である。
The flow generation
<ステップS2>
衝突判定部4は、予め定められた流れ(fx,fy)、及び、各一時的な流れ(fg,ψg)の下で、各状態sにある自律移動ロボットが各行動aに基づいて移動した場合に、障害物に衝突するか判定する(ステップS1)。障害物に衝突すると判定された一時的な流れ(fg,ψg)についての情報は、衝突流れ記憶部5に格納される。例えば、後述するように、障害物に衝突すると判定された一時的な流れ(fg,ψg)の格子の集合Sgについての情報が、衝突流れ記憶部5に格納される。
<Step S2>
The collision determination unit 4 allows the autonomous mobile robot in each state s to move to each action a under a predetermined flow (f x , f y ) and each temporary flow (f g , ψ g ). It is determined whether or not the vehicle collides with an obstacle when moving based on this (step S1). Information about the temporary flow (f g , ψ g ) determined to collide with the obstacle is stored in the collision
ステップS1の処理の具体例を、図11を参照して説明する。まず、衝突判定部4は、fg−ψg空間の集合Sから、速さfg及び方向ψgともに最小値となる格子を選択する(ステップS21)。τ=0とする(ステップS22)。上記式により定義されるDXg(s,a,fg,ψg)、DYg(s,a,fg,ψg)の値を計算して、状態sにおけるX,Yの値をそれぞれ加算する(ステップS23)。すなわち、DXg(s,a,fg,ψg)+X、DYg(s,a,fg,ψg)+Yの値を計算する。DXg(s,a,fg,ψg)+X、DYg(s,a,fg,ψg)+Yで示す位置が障害物であるかどうかを判定する(ステップS24)。障害物でないと判定された場合には、τ<Tであるかを判定する(ステップS25)。τ<Tである場合には、τを予め定められた値だけインクリメントし(ステップS26)、その後ステップS23に進む。τ<Tでない場合には、速さfgが速さfgの最大値fgmaxであるかどうか、すなわちfg<fgmaxであるかを判定する(ステップS27)。fg<fgmaxである場合には、速さfgをインクリメントして(ステップS28)、ステップS22に進む。fg<fgmaxでない場合には、ステップS210に進む。 A specific example of the processing in step S1 will be described with reference to FIG. First, the collision determination unit 4 selects, from the set S in the f g −ψ g space, a lattice having a minimum value for both the speed f g and the direction ψ g (step S21). τ = 0 is set (step S22). The values of D Xg (s, a, f g , ψ g ) and D Yg (s, a, f g , ψ g ) defined by the above formula are calculated, and the values of X and Y in the state s are respectively calculated. Add (step S23). That is, the values of D Xg (s, a, f g , ψ g ) + X, DY g (s, a, f g , ψ g ) + Y are calculated. It is determined whether or not the position indicated by D Xg (s, a, f g , ψ g ) + X, D Yg (s, a, f g , ψ g ) + Y is an obstacle (step S24). If it is determined that the object is not an obstacle, it is determined whether τ <T (step S25). If τ <T, τ is incremented by a predetermined value (step S26), and then the process proceeds to step S23. If not tau <T indicates whether the speed f g is the maximum value f gmax faster f g, i.e. determines whether the f g <f gmax (step S27). If f g <f gmax , the speed f g is incremented (step S28), and the process proceeds to step S22. If f g <f gmax is not satisfied, the process proceeds to step S210.
ステップS24において、障害物であると判定された場合には、自律移動ロボットの行動環境で想定される流れ(fx,fy)、及び、現在選択されている格子の一時的な流れ(fg,ψg)の下で、現在選択されている状態sにある自律移動ロボットが現在選択されている行動aに基づいて移動した場合に、障害物に衝突すると判定して、現在選択されている一時的な流れ(fg,ψg)の格子を、衝突が起こる一時的な流れの集合Sgに加える(ステップS29)。また、必要に応じて、現在選択されている一時的な流れ(fg,ψg)の格子だけではなく、現在選択されている一時的な流れ(fg,ψg)と方向ψgが同じでよりも速さが速い一時的な流れの格子を、衝突が起こる一時的な流れの集合Sgに加えてもよい(ステップS29’)。 If it is determined in step S24 that the vehicle is an obstacle, the flow (f x , f y ) assumed in the behavior environment of the autonomous mobile robot and the temporary flow (f of the currently selected lattice) g , ψ g ), when the autonomous mobile robot in the currently selected state s moves based on the currently selected action a, it is determined that it collides with an obstacle and is currently selected. The temporary flow (f g , ψ g ) grid is added to the temporary flow set Sg where the collision occurs (step S29). If necessary, not only the currently selected temporary flow (f g , ψ g ) lattice but also the currently selected temporary flow (f g , ψ g ) and the direction ψ g a grid of fast transient flow rate than the same, may be added to the set S g of temporary flow collision occurs (step S29 ').
例えば、図7の速さfg2の一時的な流れにおいて衝突が起こると判定された場合には、速さfg2と方向が同じで速さがfg2よりも速い速さfg4の一時的な流れにおいても衝突が起こることは計算をしなくてもわかる。したがって、fg4の一時的な流れについての衝突が起こるかどうかの計算を省略することができるのである。このようにして、一時的な流れについて衝突するかどうかの判定を省略することにより、計算量を削減することができる。図7の状況における、衝突が起こる一時的な流れの集合Sgの連続的な概念図を図8に、衝突が起こる一時的な流れの集合Sgの離散的な概念図を図9に示す。 For example, if it is determined that a collision occurs in the temporary flow at the speed f g2 in FIG. 7, the speed is temporarily the same as the speed f g2 and the speed f g4 is faster than the speed f g2. It can be seen that a collision occurs even in a simple flow without calculation. Therefore, the calculation of whether or not a collision with respect to the temporary flow of f g4 occurs can be omitted. In this way, it is possible to reduce the amount of calculation by omitting the determination of whether or not the temporary flow collides. In the context of FIG. 7, FIG. 8 continuous conceptual view of a set S g of temporary flow collision occurs, shows a discrete conceptual view of a set S g of temporary flow collision occurs in Figure 9 .
ステップS210において、方向ψg>360°であるか判定する(ステップS210)。方向ψg>360°でないと判定された場合には、方向ψgを予め定められた値だけインクリメントし、速さfgを0とし(ステップS211)、ステップS22に進む。方向ψg>360度であると判定された場合には、処理を終える。この処理を状態sと行動aの各組について行う。 In step S210, it is determined whether the direction ψ g > 360 ° (step S210). When it is determined that the direction ψ g > 360 ° is not satisfied, the direction ψ g is incremented by a predetermined value, the speed f g is set to 0 (step S211), and the process proceeds to step S22. If it is determined that the direction ψ g > 360 degrees, the process ends. This process is performed for each set of state s and action a.
<ステップS3>
衝突確率計算部6は、障害物に衝突すると判定された一時的な流れが生じる確率を流れ発生確率記憶部3から読み込んで加算することにより、各状態にある上記自律移動ロボットが各行動に基づいて移動した場合に障害物に衝突する衝突確率Pc(s,a)を計算する(ステップS3)。例えば、集合Sgに含まれる衝突が起こる一時的な流れ(fg,ψg)のそれぞれが生じる確率pg(fg,ψg)の総和を計算することにより、衝突確率Pc(s,a)を計算する。
<Step S3>
The collision
障害物に衝突すると判定された一時的な流れについての情報(例えば、集合Sgについての情報)は、衝突流れ記憶部5から読み出す。計算された衝突確率Pc(s,a)は、報酬決定部7に送られる。
Information about temporary flow that is determined to collide with the obstacle (for example, information about the set S g) reads from the collision
<ステップS4>
報酬決定部7は、遷移先の状態s’が到達位置を含む場合の報酬が最も高く、遷移先の状態s’が到達位置を含まない場合には衝突確率Pc(s,a)が小さいほど報酬が高くなるように、各状態sにある自律移動ロボットが各行動aを取り各状態s’に遷移する場合に得られる報酬r(s,a)を決定する(ステップS4)。決定された報酬r(s,a)は、動的計画部2に送られる。
<Step S4>
The
関数Fを、単調減少関数とする。単調減少関数とは、任意のx1,x2(ただし、x1<x2)に対して、f(x1)≧f(x2)となる関数fのことを意味する。Pc(s,a)の定義によりPc(s,a)の最小値は0であり最大値は1であるから、関数Fの最大値はF(0)最小値はF(1)である。また、任意の定数Rmaxを、Rmax>F(0)とする。例えば、F(x)=−xとし、Rmax=1とする。このとき、報酬Ra ss’を例えば次のように決定する。 Let function F be a monotonically decreasing function. The monotone decreasing function means a function f that satisfies f (x 1 ) ≧ f (x 2 ) with respect to arbitrary x 1 , x 2 (where x 1 <x 2 ). P c (s, a) P by the definition of c (s, a) from the minimum value is 0 the maximum value of is 1, the maximum value of the function F is F (0) minimum is F (1) is there. Further, an arbitrary constant R max is set to R max > F (0). For example, F (x) = − x and R max = 1. At this time, to determine the compensation R a ss', for example, as follows.
遷移先の状態s’が到達位置を含む場合⇒Ra ss’=Rmax
それ以外の場合⇒Ra ss’=F(Pc(s,a))
<ステップS5>
動的計画部2は、状態遷移確率及び報酬を用いて、マルコフ決定過程における動的計画法に基づき、自律移動ロボットの上記到達位置への到達しやすさを表す指標を状態ごとに求める(ステップS5)。到達しやすさを表す指標としては、状態価値関数Vπ(s)、行動価値関数Qπ(s,a)及び方策πの何れかを例えば用いることができる。計算された指標は、指標記憶部17に格納される。
When transition destination state s ′ includes an arrival position => R a ss ′ = R max
Otherwise ⇒ R a ss ′ = F (P c (s, a))
<Step S5>
The
[マルコフ決定過程]の欄で説明をしたように、状態s、行動a及び遷移先の状態s’の各組合せについての状態遷移確率Pa ss’及び報酬Ra ss’が計算されていれば、動的計画法に基づいて、状態価値関数Vπ(s)、行動価値関数Qπ(s,a)及び方策πを計算することができる。 As explained in the column of [Markov decision processes, state s, if it is and calculated reward R a ss' 'state transition probability P a ss for each combination of' action a and destination state s Based on dynamic programming, the state value function V π (s), the action value function Q π (s, a) and the policy π can be calculated.
このように想定外の一時的な流れ(fg,ψg)を考慮して報酬Ra ss’を決定し、この報酬Ra ss’に基づいて動的計画を行うことにより、生成された動的計画はより破綻しづらくなる。 Thus unexpected temporary flow (f g, ψ g) 'is determined and the reward R a ss' reward R a ss considering the by performing dynamic programming based on, the generated Dynamic planning is less likely to fail.
以上が、自律移動ロボットの動作計画装置及び方法の実施形態について説明である。 The above is the description of the embodiment of the operation planning apparatus and method for the autonomous mobile robot.
[自律移動ロボットの動作制御装置及び方法]
以下、図3及び図12を参照して、生成された動的計画(=指標)を用いて自律移動ロボットの動作を制御する自律移動ロボットの動作制御装置及び方法の実施形態について説明する。
[Operation control apparatus and method for autonomous mobile robot]
Hereinafter, with reference to FIG. 3 and FIG. 12, an embodiment of an operation control apparatus and method for an autonomous mobile robot that controls the operation of the autonomous mobile robot using the generated dynamic plan (= index) will be described.
<ステップA1(図12)>
流速差取得部21(図3)は、動作計画時に予想した予め定められた流れと、流速の実測値との差である流速差を求める(ステップA1)。求まった流速差は、遷移先予測部22に送られる。予め定められた流れのX成分をfx、Y成分をfyとし、実際の流速のX成分をfxa、Y成分をfyaとすると、流速差dfx,dfyは、それぞれ下記のように表される。
<Step A1 (FIG. 12)>
The flow velocity difference acquisition unit 21 (FIG. 3) obtains a flow velocity difference that is a difference between a predetermined flow predicted at the time of the operation plan and an actual measurement value of the flow velocity (step A1). The obtained flow velocity difference is sent to the transition destination prediction unit 22. The X component of the predetermined flow and f x, the Y component and f y, the actual flow rate of the X component f xa, when the Y component is f ya, flow rate difference d fx, d fy are the following respectively as It is expressed in
dfx=fx−fxa
dfy=fy−fya
動作計画時に予想した予め定められた流れを0とした場合には、流速差取得部21は現在の流速の実測値を流速差として求めることができる。
d fx = f x -f xa
d fy = f y -f ya
When the predetermined flow predicted at the time of the operation plan is set to 0, the flow velocity
<ステップA2>
遷移先予測部22は、自律移動ロボットが各行動を取った場合の遷移先の状態s’を、自律移動ロボットの位置を流速差dfx,dfyの分だけ移動させることにより求める(ステップA2)。求まった遷移先の状態s’は、行動決定部23に送られる。
<Step A2>
The transition destination prediction unit 22 obtains the transition destination state s ′ when the autonomous mobile robot takes each action by moving the position of the autonomous mobile robot by the flow velocity differences d fx and d fy (step A2). ). The obtained transition destination state s ′ is sent to the
遷移先の状態s’の求め方の例を述べる。
流速差dfxを考慮したときの自律移動ロボットのX軸方向の位置の変位量DXa(ψ0,a)と、流速差dfyを考慮したときの自律移動ロボットのY軸方向の位置の変位量DYa(ψ0,a)とは、それぞれ以下のように示される。
An example of how to obtain the transition destination state s ′ will be described.
The displacement D Xa (ψ 0 , a) of the position of the autonomous mobile robot in the X-axis direction when considering the flow velocity difference d fx and the position of the autonomous mobile robot in the Y-axis direction when considering the flow velocity difference d fy The displacement amount D Ya (ψ 0 , a) is expressed as follows.
遷移先予測部22は、まず、上記式により、すなわち自律移動ロボットの位置を流速差dfx,dfyの分だけ移動させることにより、実際のX軸方向の位置の変位量DXa(ψ0,a)及び実際のY軸方向の位置の変位量DYa(ψ0,a)を求める。 First, the transition destination prediction unit 22 moves the position of the autonomous mobile robot by the flow velocity differences d fx and d fy by the above-described equation, so that the actual displacement amount X Xa (ψ 0 , A) and the actual displacement amount D Ya (ψ 0 , a) in the Y-axis direction.
遷移先予測部22は、次に、下記式により、行動aを取った場合の遷移先の状態s’を求める。具体的には、行動aの開始時における、X軸方向の位置X(s)に、Y軸方向の位置Y(s)、方位角ψ0(s)及び旋回速度ψ’0(s)に、それぞれ実際のX軸方向の位置の変位量DXa(ψ0,a)、実際のY軸方向の位置の変位量DYa(ψ0,a)、方位角の変位量Dψ(ψ0,a)及び旋回速度ψ’の変位量Dψ’(ψ0,a)を加算することにより遷移先の状態s’を求める。 Next, the transition destination predicting unit 22 obtains the transition destination state s ′ when the action a is taken according to the following formula. Specifically, at the start of the action a, the position X (s) in the X-axis direction, the position Y (s) in the Y-axis direction, the azimuth angle ψ 0 (s), and the turning speed ψ ′ 0 (s) , Displacement amounts D Xa (ψ 0 , a) of actual positions in the X-axis direction, displacement amounts D Ya (ψ 0 , a) of actual positions in the Y-axis direction, and displacement amounts D ψ (ψ 0 of azimuth angles) , A) and the displacement D ψ ′ (ψ 0 , a) of the turning speed ψ ′ are added to obtain the transition destination state s ′.
X軸方向の位置X(s)に、Y軸方向の位置Y(s)、方位角ψ0(s)及び旋回速度ψ’0(s)については、位置計測部25が測定したものを用いる。DX(ψ0,a)及びDY(ψ0,a)については、動作計画時に計算したDX(ψ0,a)及びDY(ψ0,a)を再利用してもよい。この場合、図示していない記憶部にDX(ψ0,a)及びDY(ψ0,a)が記憶され、遷移先予測部22が適宜これらを読み込む。もちろん、遷移先予測部22がこれらを再度計算してもよい。
As the position X (s) in the X-axis direction, the position Y (s), the azimuth angle ψ 0 (s), and the turning speed ψ ′ 0 (s) in the Y-axis direction are those measured by the
<ステップA3>
行動決定部23は、遷移先予測部22が求めた、状態sにおいて取り得る各行動aに従って移動した場合の遷移先の状態s’についての指標を比較して、到達点に最も到達しやすい行動aを決定する(ステップA3)。決定された行動aは、制御部24に送られる。
<Step A3>
The
指標として状態価値関数Vπ(s)を用いた場合には、到達点を含む状態に遷移する場合に得られる報酬が最も高くなるように報酬が決定されているため、状態価値関数Vπ(s)の値を最も大きくする行動aが、到達点に最も到達しやすい行動となる。 In the case of using the state value function V π (s) as an index, since the reward as reward obtained when a transition to a state containing an arrival point is the highest is determined, the state value function V [pi ( The action a that maximizes the value of s) is the action that most easily reaches the reaching point.
したがって、行動決定部23は、指標記憶部17を参照して、状態sにおいて取り得る各行動aに従って移動した場合の遷移先の状態s’における状態価値関数Vπ(s’)をそれぞれ求め、比較することにより、状態価値関数Vπ(s’)の値を最も大きくする行動aを決定する。
Therefore, the
<ステップA4>
制御部24は、決定された行動aに従って移動するように、自律移動ロボットを制御する(ステップA4)。具体的には、行動aに対応する目標速度を維持することができるように、自律移動ロボットの主推進器101及び舵103を制御する。
<Step A4>
The control unit 24 controls the autonomous mobile robot to move according to the determined action a (step A4). Specifically, the
[変形例等]
指標として、上記したように行動価値関数Qπ(s,a)又は方策πを用いてもよい。例えば、行動価値関数Qπ(s,a)を指標として用いた場合、動的計画部2は、状態s、行動a及び遷移先の状態s’の各組合せについての状態遷移確率Pa ss’及び第一報酬Ra ss’を用いて、動的計画法に基づいて、行動価値関数Qπ(s,a)を計算する。そして、行動決定部23(図3)は指標である行動価値関数Qπ(s,a)を比較して、到達点に最も到達しやすい行動を決定する。具体的には、行動価値関数Qπ(s,a)がその値が大きい程到達点に到達しやすいことを表すように定められている場合には、遷移前の状態sにおいて取り得る行動を行動a、遷移先の状態s’において取り得る行動を行動a’として、maxa’Qπ(s’,a’)を比較して、maxa’Qπ(s’,a’)を最大にする行動aを選択する。
[Modifications, etc.]
As an index, the action value function Q π (s, a) or the policy π may be used as described above. For example, when the behavior value function Q π (s, a) is used as an index, the
上記自律移動ロボットの動作計画装置及び上記自律移動ロボットの動作制御装置における処理機能は、コンピュータによって実現することができる。この場合、これらの装置がそれぞれ有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、これらの装置における各処理機能が、コンピュータ上で実現される。 The processing functions of the autonomous mobile robot motion planning device and the autonomous mobile robot motion control device can be realized by a computer. In this case, the processing contents of the functions that each of these apparatuses should have are described by a program. Then, by executing this program on a computer, each processing function in these devices is realized on the computer.
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、これらの装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。 The program describing the processing contents can be recorded on a computer-readable recording medium. In this embodiment, these apparatuses are configured by executing a predetermined program on a computer. However, at least a part of these processing contents may be realized by hardware.
この発明は、上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。 The present invention is not limited to the above-described embodiment, and can be modified as appropriate without departing from the spirit of the present invention.
1 状態遷移確率計算部
11 目標速度計算部
12 変位量計算部
13 確率計算部
2 動的計画部
3 発生確率記憶部
4 衝突判定部
5 記憶部
6 衝突確率計算部
7 報酬決定部
17 指標記憶部
21 流速差取得部
22 遷移先予測部
23 行動決定部
24 制御部
25 位置計測部
DESCRIPTION OF
Claims (8)
上記空間は、自律移動ロボットの二次元座標(x,y)、方位角ψ及び旋回速度ψ’の4つ次元で構成されるマルコフ遷移状態モデルにより離散的にモデル化されるとして、
予め定められた流れの中で、各状態にある上記自律移動ロボットが各行動を取り上記行動単位時間だけ移動した場合に各状態に遷移する確率である状態遷移確率を計算する状態遷移確率計算部と、
互いに異なる複数の一時的な流れが生じる確率が記憶される流れ発生確率記憶部と、
上記予め定められた流れ、及び、各上記一時的な流れの下で、上記各状態にある上記自律移動ロボットが上記各行動に基づいて移動した場合に、障害物に衝突するか判定する衝突判定部と、
障害物に衝突すると判定された一時的な流れが生じる確率を上記流れ発生確率記憶部から読み込んで加算することにより、上記各状態にある上記自律移動ロボットが上記各行動に基づいて移動した場合に障害物に衝突する衝突確率を計算する衝突確率計算部と、
遷移先の状態が上記到達位置を含む場合の報酬が最も高く、遷移先の状態が上記到達位置を含まない場合には上記衝突確率が小さいほど報酬が高くなるように、各状態にある上記自律移動ロボットが各行動を取り各状態に遷移する場合に得られる報酬を決定する報酬決定部と、
上記状態遷移確率及び上記報酬を用いて、マルコフ決定過程における動的計画法に基づき、上記自律移動ロボットの上記到達位置への到達しやすさを表す指標を状態ごとに求める動的計画部と、
を含む自律移動ロボットの動作計画装置。 An autonomous mobile robot that repeats the movement that moves only for the above behavior unit time based on the behavior determined in the behavior unit time in a space filled with a fluid with an indefinite flow and filled with an obstacle In the motion planning device of an autonomous mobile robot that performs motion planning to reach the arrival position from the departure position,
The space is discretely modeled by a Markov transition state model composed of four dimensions of two-dimensional coordinates (x, y), azimuth angle ψ, and turning speed ψ ′ of an autonomous mobile robot.
State transition probability calculation unit that calculates the state transition probability that is the probability of transitioning to each state when the autonomous mobile robot in each state takes each action and moves for the above behavior unit time in a predetermined flow When,
A flow occurrence probability storage unit that stores a probability of occurrence of a plurality of different temporary flows;
A collision determination that determines whether or not the autonomous mobile robot in each state collides with an obstacle when the autonomous mobile robot in each state moves under the predetermined flow and the temporary flow. And
When the autonomous mobile robot in each state moves based on each action by reading from the flow occurrence probability storage unit and adding the probability that a temporary flow determined to collide with an obstacle is generated A collision probability calculation unit for calculating a collision probability of colliding with an obstacle;
The autonomous system in each state is such that the reward when the transition destination state includes the arrival position is the highest, and the reward is higher as the collision probability is lower when the transition destination state does not include the arrival position. A reward determination unit that determines a reward obtained when the mobile robot takes each action and transitions to each state;
Based on the dynamic programming method in the Markov decision process using the state transition probability and the reward, a dynamic planning unit that obtains an index representing the reachability of the autonomous mobile robot to the reaching position for each state,
An autonomous mobile robot motion planning device.
上記衝突判定部は、ある一時的な流れについて障害物に衝突すると判定された場合に、その一時的な流れと方向が同じで速さが速い一時的な流れについても障害物に衝突する一時的な流れであると判定することを特徴とすることを特徴とする自律移動ロボットの動作計画装置。 The operation planning device for an autonomous mobile robot according to claim 1,
When it is determined that the collision determination unit collides with an obstacle for a certain temporary flow, the collision determination unit temporarily collides with the obstacle even for a temporary flow having the same direction and the same speed as the temporary flow. An autonomous mobile robot motion planning device, characterized in that it is determined that the flow is slow.
不定の流速の流れがある流体で満たされ障害物が配置された空間の中で行動単位時間ごとに行動を決定してその行動に基づいて上記行動単位時間だけ移動する動作を繰り返す自律移動ロボットを出発位置から到達位置へ到達させるように制御する自律移動ロボットの動作制御装置において、
上記予め定められた流れと、流速の実測値との差である流速差を求める流速差取得部と、
上記自律移動ロボットが各行動を取った場合の遷移先の状態を、上記自律移動ロボットの位置を上記流速差の分だけ移動させることにより求める遷移先予測部と、
上記遷移先予測部が求めた遷移先の状態についての上記指標を互いに比較して、上記到達位置に最も到達しやすい行動を決定する行動決定部と、
上記自律移動ロボットが上記決定された行動に従って移動するように、上記自律移動ロボットを制御する制御部と、
を含む自律移動ロボットの動作制御装置。 Based on the motion plan determined by the motion planning device of the autonomous mobile robot according to claim 1 or 2,
An autonomous mobile robot that repeats the movement that moves only for the above behavior unit time based on the behavior determined in the behavior unit time in a space filled with a fluid with an indefinite flow and filled with an obstacle In the autonomous mobile robot motion control device that controls to reach the arrival position from the departure position,
A flow velocity difference acquisition unit for obtaining a flow velocity difference which is a difference between the predetermined flow and an actual measurement value of the flow velocity;
A transition destination prediction unit for obtaining a state of a transition destination when the autonomous mobile robot takes each action by moving the position of the autonomous mobile robot by the amount of the flow velocity difference; and
An action determination unit that compares the indicators for the state of the transition destination obtained by the transition destination prediction unit with each other and determines an action that is most likely to reach the arrival position;
A control unit that controls the autonomous mobile robot so that the autonomous mobile robot moves according to the determined behavior;
Control device for autonomous mobile robot including
上記空間は、自律移動ロボットの二次元座標(x,y)、方位角ψ及び旋回速度ψ’の4つ次元で構成されるマルコフ遷移状態モデルにより離散的にモデル化されており、
流れ発生確率記憶部には、互いに異なる複数の一時的な流れが生じる確率が記憶されており、
状態遷移確率計算部が、予め定められた流れの中で、各状態にある上記自律移動ロボットが各行動を取り上記行動単位時間だけ移動した場合に各状態に遷移する確率である状態遷移確率を計算する状態遷移確率計算ステップと、
衝突判定部が、上記予め定められた流れ、及び、各上記一時的な流れの下で、上記各状態にある上記自律移動ロボットが上記各行動に基づいて移動した場合に、障害物に衝突するか判定する衝突判定ステップと、
衝突確率計算部が、障害物に衝突すると判定された一時的な流れが生じる確率を上記流れ発生確率記憶部から読み込んで加算することにより、上記各状態にある上記自律移動ロボットが上記各行動に基づいて移動した場合に障害物に衝突する衝突確率を計算する衝突確率計算ステップと、
報酬決定部が、遷移先の状態が上記到達位置を含む場合の報酬が最も高く、遷移先の状態が上記到達位置を含まない場合には上記衝突確率が小さいほど報酬が高くなるように、各状態にある上記自律移動ロボットが各行動を取り各状態に遷移する場合に得られる報酬を決定する報酬決定ステップと、
動的計画部が、上記状態遷移確率及び上記報酬を用いて、マルコフ決定過程における動的計画法に基づき、上記自律移動ロボットの上記到達位置への到達しやすさを表す指標を状態ごとに求める動的計画ステップと、
を含む自律移動ロボットの動作計画方法。 An autonomous mobile robot that repeats the movement that moves only for the above behavior unit time based on the behavior determined in the behavior unit time in a space filled with a fluid with an indefinite flow and filled with an obstacle In the operation planning method of an autonomous mobile robot that performs an operation plan to reach the arrival position from the departure position,
The above space is discretely modeled by a Markov transition state model composed of four dimensions of the two-dimensional coordinates (x, y), azimuth angle ψ and turning speed ψ ′ of the autonomous mobile robot.
The flow occurrence probability storage unit stores the probability of occurrence of a plurality of different temporary flows from each other,
A state transition probability calculation unit calculates a state transition probability that is a probability of transitioning to each state when the autonomous mobile robot in each state takes each action and moves for the action unit time in a predetermined flow. A state transition probability calculation step to be calculated;
The collision determination unit collides with an obstacle when the autonomous mobile robot in each state moves based on each action under the predetermined flow and each temporary flow. A collision determination step for determining whether or not
The collision probability calculation unit reads from the flow generation probability storage unit and adds the probability that a temporary flow determined to collide with an obstacle is added. A collision probability calculation step for calculating the collision probability of colliding with an obstacle when moving based on
Each reward determination unit has the highest reward when the transition destination state includes the arrival position, and when the transition destination state does not include the arrival position, the reward increases as the collision probability decreases. A reward determination step for determining a reward obtained when the autonomous mobile robot in a state takes each action and transitions to each state;
The dynamic planning unit obtains, for each state, an index indicating the ease of reaching the reaching position of the autonomous mobile robot based on the dynamic programming method in the Markov decision process using the state transition probability and the reward. A dynamic planning step;
Planning method for autonomous mobile robots.
上記衝突判定ステップは、ある一時的な流れについて障害物に衝突すると判定された場合に、その一時的な流れと方向が同じで速さが速い一時的な流れについても障害物に衝突する一時的な流れであると判定することを特徴とすることを特徴とする自律移動ロボットの動作計画方法。 The operation planning method for an autonomous mobile robot according to claim 4,
In the collision determination step, when it is determined that a certain temporary flow collides with an obstacle, a temporary flow that has the same direction and a high speed as the temporary flow also collides with the obstacle. An autonomous mobile robot motion planning method, characterized in that it is determined that the flow is slow.
流速差取得部が、上記予め定められた流れと、流速の実測値との差である流速差を求める流速差取得ステップと、
遷移先予測部が、上記自律移動ロボットが各行動を取った場合の遷移先の状態を、上記自律移動ロボットの位置を上記流速差の分だけ移動させることにより求める遷移先予測ステップと、
行動決定部が、上記遷移先予測部が求めた遷移先の状態についての上記指標を互いに比較して、上記到達位置に最も到達しやすい行動を決定する行動決定ステップと、
制御部が、上記自律移動ロボットが上記決定された行動に従って移動するように、上記自律移動ロボットを制御する制御ステップと、
を含む自律移動ロボットの動作制御方法。 Based on the motion plan determined by the motion planning method of the autonomous mobile robot according to claim 4 or 5, the behavior is performed for each behavior unit time in a space filled with a fluid having an indefinite flow velocity and in which an obstacle is arranged. In an autonomous mobile robot operation control method for controlling an autonomous mobile robot that repeats the movement of the above behavior unit time based on the behavior to reach the arrival position from the departure position,
A flow rate difference acquisition unit for obtaining a flow rate difference that is a difference between the predetermined flow and an actual measurement value of the flow rate;
A transition destination prediction step in which the transition destination prediction unit obtains the state of the transition destination when the autonomous mobile robot takes each action by moving the position of the autonomous mobile robot by the amount of the flow velocity difference;
An action determination unit that compares the indicators for the state of the transition destination obtained by the transition destination prediction unit with each other and determines an action that is most likely to reach the arrival position;
A control unit that controls the autonomous mobile robot such that the autonomous mobile robot moves according to the determined behavior;
Control method of autonomous mobile robot including
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009004996A JP4964255B2 (en) | 2009-01-13 | 2009-01-13 | Autonomous mobile robot operation planning apparatus, method, program and recording medium, and autonomous mobile robot operation control apparatus and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009004996A JP4964255B2 (en) | 2009-01-13 | 2009-01-13 | Autonomous mobile robot operation planning apparatus, method, program and recording medium, and autonomous mobile robot operation control apparatus and method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010165050A JP2010165050A (en) | 2010-07-29 |
JP4964255B2 true JP4964255B2 (en) | 2012-06-27 |
Family
ID=42581177
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009004996A Expired - Fee Related JP4964255B2 (en) | 2009-01-13 | 2009-01-13 | Autonomous mobile robot operation planning apparatus, method, program and recording medium, and autonomous mobile robot operation control apparatus and method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4964255B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6189784B2 (en) * | 2014-04-09 | 2017-08-30 | 日本電信電話株式会社 | Behavior control device, method and program |
US11077555B1 (en) * | 2015-12-07 | 2021-08-03 | AI Incorporated | Method to minimize collisions of mobile robotic device |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05178294A (en) * | 1992-01-08 | 1993-07-20 | Mitsubishi Heavy Ind Ltd | Space apparatus control device |
JP2952397B2 (en) * | 1994-08-23 | 1999-09-27 | 科学技術庁航空宇宙技術研究所長 | Active air control aircraft using air speed vector measurement device |
JP4932269B2 (en) * | 2006-02-07 | 2012-05-16 | 三菱電機株式会社 | Mobile simulator |
JP4406436B2 (en) * | 2006-04-26 | 2010-01-27 | 日本電信電話株式会社 | Autonomous mobile robot motion planning method, autonomous mobile robot control method using autonomous mobile robot motion planning method, autonomous mobile robot motion planning device, autonomous mobile robot motion planning program and its recording medium, autonomous mobile robot control program |
JP4690239B2 (en) * | 2006-04-27 | 2011-06-01 | ヤマハ発動機株式会社 | Unmanned helicopter |
JP2007290647A (en) * | 2006-04-27 | 2007-11-08 | Yamaha Motor Co Ltd | Unmanned helicopter and external environment estimating device |
JP4495703B2 (en) * | 2006-08-24 | 2010-07-07 | 日本電信電話株式会社 | Operation control method, apparatus and program for underwater robot |
JP5082433B2 (en) * | 2006-12-26 | 2012-11-28 | トヨタ自動車株式会社 | Method, apparatus, and program for determining surrounding object risk |
-
2009
- 2009-01-13 JP JP2009004996A patent/JP4964255B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2010165050A (en) | 2010-07-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Cesari et al. | Scenario model predictive control for lane change assistance and autonomous driving on highways | |
JP6494872B2 (en) | Method for controlling vehicle motion and vehicle control system | |
US10994729B2 (en) | System and method for controlling lateral motion of vehicle | |
JP4406436B2 (en) | Autonomous mobile robot motion planning method, autonomous mobile robot control method using autonomous mobile robot motion planning method, autonomous mobile robot motion planning device, autonomous mobile robot motion planning program and its recording medium, autonomous mobile robot control program | |
JP6917878B2 (en) | Mobile behavior prediction device | |
JP4495703B2 (en) | Operation control method, apparatus and program for underwater robot | |
Petrich et al. | Map-based long term motion prediction for vehicles in traffic environments | |
JP6939513B2 (en) | Model prediction controller | |
JP5391164B2 (en) | Autonomous mobile robot motion planning method, autonomous mobile robot control method using autonomous mobile robot motion planning method, autonomous mobile robot motion planning device, autonomous mobile robot motion control device, autonomous mobile robot motion planning program, autonomous mobile robot Mobile robot control program | |
KR101048098B1 (en) | Robot route planning device and method | |
JP2005339241A (en) | Model prediction controller, and vehicular recommended manipulated variable generating device | |
CN112639849A (en) | Route selection method and route selection device | |
US20200174482A1 (en) | Online bidirectional trajectory planning method in state-time space, recording medium storing program for executing same, and computer program stored in recording medium for executing same | |
Berntorp et al. | Positive invariant sets for safe integrated vehicle motion planning and control | |
KR102176483B1 (en) | Deep Learning-based Vehicle Trajectory Prediction Method and Apparatus using Rasterized Lane Information | |
JP2020160603A (en) | Route determination device, robot, and route determination method | |
JP7125286B2 (en) | Behavior prediction device and automatic driving device | |
WO2021095464A1 (en) | Robot control model learning method, robot control model learning device, robot control model learning program, robot control method, robot control device, robot control program, and robot | |
Ferrari et al. | A potential field approach to finding minimum-exposure paths in wireless sensor networks | |
JP5079602B2 (en) | Autonomous mobile robot operation planning apparatus, method, program and recording medium, and autonomous mobile robot operation control apparatus and method | |
US11383704B2 (en) | Enhanced vehicle operation | |
JP4964255B2 (en) | Autonomous mobile robot operation planning apparatus, method, program and recording medium, and autonomous mobile robot operation control apparatus and method | |
Rothmund et al. | Risk-based obstacle avoidance in unknown environments using scenario-based predictive control for an inspection drone equipped with range finding sensors | |
Li et al. | Safe autonomous navigation for systems with learned SE (3) Hamiltonian dynamics | |
Anas et al. | Deep reinforcement learning-based mapless crowd navigation with perceived risk of the moving crowd for mobile robots |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110105 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20110715 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120313 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120321 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120327 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4964255 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150406 Year of fee payment: 3 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |