JP3641335B2 - 全方位視覚センサを用いた位置検出方法 - Google Patents
全方位視覚センサを用いた位置検出方法 Download PDFInfo
- Publication number
- JP3641335B2 JP3641335B2 JP32283396A JP32283396A JP3641335B2 JP 3641335 B2 JP3641335 B2 JP 3641335B2 JP 32283396 A JP32283396 A JP 32283396A JP 32283396 A JP32283396 A JP 32283396A JP 3641335 B2 JP3641335 B2 JP 3641335B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- visual sensor
- omnidirectional visual
- standard pattern
- omnidirectional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は移動ロボット等を使用して位置検出を行うための全方位視覚センサを用いた位置検出方法に関する。
【０００２】
【従来の技術】
オフィス、家庭のような実世界における移動ロボットの位置推定、誘導法では、実時間処理が必要不可欠であるとともに、走行外乱（スリップや揺れなど）に対するロバスト性が要求される。このような場合、内界センサのみによる位置推定法では誤差が蓄積されやすい。そこで、外界センサから環境情報を求め、あらかじめ獲得した環境モデルとの照合により自己位置を推定する方法が用いられている。外界センサとしては、超音波センサ、レーザレンジファインダ、視覚センサなどがあるが、なかでも多くの情報を獲得できる視覚センサが有望視されている。
【０００３】
【発明が解決しようとする課題】
しかしながら、このような視覚センサを移動ロボットに搭載して、位置検出を行うために、地上の特定位置に光学的特徴を持つ識別板、たとえばバーコードや特定の色を記載した識別板を撮像装置の視野に入るように設置しなければならない。このような制限は装置コストの増大となるのみならず、識別板を好適な場所に設置できない場所では位置検出ができないという事態も生じる。
【０００４】
そこで、本発明の目的は、上述の点に鑑みて、視覚センサを使用して位置検出を行う際に識別板を設置しなくてもあるいは識別板の設置位置の制限を緩和しても精度よく位置検出を行うことができる全方位視覚センサを用いた位置検出方法を提供することにある。
【０００５】
【課題を解決するための手段】
このような目的を達成するために、請求項１の発明は、全方位に視野を持つ全方位視覚センサを移動体に予め搭載しておき、前記移動体を特定の経路上を移動させて、前記全方位視覚センサにより該移動体周辺の環境の画像を時系列的に標準パターンとして取得し、
当該取得した画像と位置を予め関連付けておき、前記移動体が任意の経路を移動しているときに前記全方位視覚センサの取得画像と前記標準パターンの画像とをそれら画像の特徴量の形態で比較し、一致の画像が得られた場合には一致の前記標準パターンの画像に関連付けられている位置を検出結果とすることを特徴とする。
【０００６】
請求項１に記載の全方位視覚センサを用いた位置検出方法において、前記移動体が特定経路移動したときに前記全方位視覚センサにより取得した画像からその画像特徴を抽出して該画像特徴を前記標準パターンとなし、前記全方位視覚センサの取得画像と前記標準パターンの画像との比較に際し、前記全方位視覚センサの取得画像から画像特徴を抽出して該画像特徴および前記標準パターンの画像特徴とを比較することを特徴とする。
【０００７】
請求項２に記載の全方位視覚センサを用いた位置検出方法において、前記画像特徴の比較を連続ＤＰマッチングの手法により行うことを特徴とする。
【０００８】
請求項３の発明は、請求項２に記載の全方位視覚センサを用いた位置検出方法において、前記画像特徴の比較をｎｏｎ−ｍｏｎｏｔｏｎｉｃ連続ＤＰマッチングの手法により行うことを特徴とする。
【００１１】
請求項１に記載の画像比較は発明の実施の形態では請求項２に記載のように画像特徴（特徴ベクトルと表現）の形態で行なわれ、位置の検出結果は画像特徴が一致した標準パターン番号ｖ* （ｔ）およびフレーム番号（τ* （ｔ））で表現されている。
【００１２】
請求項３に記載の連続ＤＰマッチングの手法は数２式から数１４式により表わされている。ただし、従来のＤＰの手法と一部異なる点は標準パターンの画像特徴を請求項５に記載のように逆順に並び変える処理を含めていることであり、この点については実施の形態では図７，図８を使用した最適パスの説明の記載により表現されている。特に図８のＳｅａｒｃｈ ａｒｅａで標準パターンの最後部（ｒτ〜ｒr ）がマッチングの検索対象になっていることからも上記点が当事者に理解されよう。
【００１３】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００１４】
一般に、環境モデルは、経路モデルとこれに付随する作業空間や物体の３次元モデルにより記述される。この場合、３次元モデルと視覚情報とのマッチングには、多くの計算量が必要なため、マッチングの前に経路モデル中のおよその位置、つまり「大局的な位置」を求めている。（ここでは「大局位置」は数ｍ程度、「局所位置」は数ｃｍ程度の精度の位置とする）。
【００１５】
一方、次のような設定を行うことで、大局的な位置推定のみでロボットの視覚誘導が可能であると考える。
【００１６】
設定１ 画像系列による環境モデルの採用 環境モデルは、図１に示すように、簡単な圧縮処理を行った画像系列そのものによりトポロジー地図として表現する（３次元モデルを用いない）。このとき、画像系列同士の位置関係は不要、つまり、走行情報や内界センサの情報を使用しないこととする。また、「ここは、Ａさんの席」「ここは、本棚の前」などの情報はモデル教示時に、画像のフレーム番号に付随して記憶しておく。
【００１７】
設定２ 超音波センサなどで障害物回避可能 我々は、Ｎｏｍａｄ２００というロボットを用いて超音波センサと赤外線センサによる誘導を行なっている（参考文献６参照。一覧表にて後述）。
【００１８】
設定３ 誘導時の走行軌跡の精度は低くても良い ロボットが誘導経路から外れたことが視覚情報から分かれば、引き返して別の経路を選択することにより、誘導可能とする。
【００１９】
設定４ 環境照明の変化は小さい 走行環境は、窓からの光の影響が小さいオフィスなどの屋内とする。
【００２０】
このような条件設定のもと、本報告では、大局的位置推定法によりロボットの誘導を行う手法を提案する。ただし、局所位置推定により高精度な軌道制御や物体認識などへの機能拡張が可能なシステム構成を目指す。また、大局的位置を推定するときは、次の２つの処理が重要である。
【００２１】
１．特徴抽出 簡単な圧縮処理により、入力画像から特徴ベクトルを求める。
【００２２】
２．地図とのマッチング 地図中の位置を推定するため、入力画像とのマッチングを行う。
【００２３】
本実施の形態では、特徴抽出法として全方位視覚センサを用いたカメラ方向に依存しない手法を提案し、さらに、マッチング法としてＮｏｎ−ｍｏｎｏｔｏｎｉｃ Ｃｏｎｔｉｎｕｏｕｓ Ｄｙｎａｍｉｃ Ｐｒｏｇｒａｍｉｎｇ（Ｎｏｎ−ｍｏｎｏｔｏｎｉｃ ＣＤＰ）を用いた手法を提案する。
【００２４】
環境撮影時の視野としては、通常のカメラ程度のもの（参考文献２，９参照）と全方位を捉えたもの（ｐａｎｏｒａｍｉｃ ｖｉｅｗ）とに大別できる。前者の通常の視野を用いる手法では、局所的な位置・方向の推定が困難なだけでなく、ロボットの方向が地図作成時の方向と大きく異なるときは、大局的位置の推定も困難となる。
【００２５】
一方、全方位を視野に持つ様々な全方位視覚センサが研究されている（参考文献３参照）。周囲３６０度の画像を用いれば、局所的な方向や大局的位置を容易に推定できる。特に、山澤ら（参考文献３参照）が提案した双曲面ミラー（図２参照）を用いた全方位視覚センサ（ＨｙｐｅｒＯｍｎｉ Ｖｉｓｉｏｎ）は、下方視野を含んだ全方位画像を実時間で得るだけでなく、画像の補正も容易である。さらに、前者と異なり、局所的な方向や大局的位置を容易に推定できるという利点がある。
【００２６】
大局位置の推定をするため、Ｚｈｅｎｇら（参考文献４）は、視野として進行方向と異なる方向の垂直スリットを用いた。各位置における情報は、このスリット内の画素値をＲＧＢ毎に積算するためカメラ（図２参照）の垂直方向の揺れにロバストである。ただし、カメラの水平方向や回転方向の揺れの影響が懸念される。また、前田ら（参考文献１参照）は、画像サイズが、垂直方向６４画素、水平方向（周方向）２５６画素の全方位画像を用いている。そして、この画像の各水平ラインをフーリエ変換し、この低周波数側の強度成分（６４×３２画素）を用いて位置推定している。この方法は、ロボットのカメラ方向によらず、位置推定可能であるが記憶すべき情報量が大きい。Ｂａｎｇら（参考文献５参照）も全方位センサを用いてロボット誘導を行なっているが大局的な位置推定手法については述べていない。
【００２７】
一方、本出願人は通常のカメラを用い、リダクション画像（平滑化後間引きした画像）による環境モデルを用いた大局的位置推定法を提案し（参考文献９，１０参照）、複数の大幅にリダクションした画像を用いることでカメラの揺れに対処できることを示した（参考文献１１参照）。そこで、本報告では、図２に示すように、全方位視野を水平にＮ分割し（Ｎ＜約１０）、各領域の画素値をＲＧＢ毎に積算したわずか３Ｎ次元の情報を特徴ベクトルとして用いる大局的位置推定法を提案する。（ここで、視野のＮ分割前にラプラシアンフィルタなどのような等方性のフィルタ処理を行うことも有用である）この方法は、
１．カメラの揺れにロバスト
２．ロボットのカメラ方向に依存しない
３．記憶すべき情報量が少ない
という特徴を持つ。特に、この特徴２により、軌道誤差は大きいもののＨｉｌｌｃｌｉｍｂ法などによる誘導が可能となる。
【００２８】
本手法の有効性を調べるため、全方位視覚センサとして、山澤ら（参考文献３参照）が提案したＨｙｐｅｒＯｍｎｉ Ｖｉｓｉｏｎ（ＨＯＢＩ）をＮｏｍａｄに設置し（図３）、実験を行った。オフィス内の３点において次のように条件を変化させてデータを採取し、特徴ベクトルへの影響を調べた。
【００２９】
カメラ位置の変化 通路内でＮｏｍａｄを約３ｍ走行させた。
【００３０】
カメラの回転 停止させたＮｏｍａｄを回転させた。
【００３１】
カメラの揺れ 停止したＮｏｍａｄを人手で揺らし走行時の振動を模擬した。
【００３２】
環境の変化（人物通過） 図４に示すように、停止したＮｏｍａｄ近傍を人が通り過ぎた。
【００３３】
初めに、目視で全方位画像の中心位置と半径を求め、水平方向の分割数Ｎを１，３，１６として同心円状にＮ等分し各領域内の平均化を行い、３Ｎ次元の特徴ベクトルを求めた。次に、基準点における特徴ベクトルｓ0 ＝（ｓ0 （１），ｓ0 （２），…，ｓ0 （３Ｎ））と条件変化時の特徴ベクトルｓ＝（ｓ（１），ｓ（２），…，ｓ（３Ｎ））との距離ｄを求めその変化を調べた。距離ｄは、特徴ベクトルの次元数３Ｎを用い以下の式で求めた。
【００３４】
【数１】
【００３５】
図５にカメラ位置の変化の影響をプロットした。３≦Ｎにおいて位置が１ｍ離れると距離ｄが平均１００以上になり、位置弁別能力があることが分かった。ただし、数点において距離ｄが小さくなり、１地点における情報のみでの位置推定が困難であることが分かった。
【００３６】
図６に一例として地点Ｎｏ．１におけるカメラの回転や揺れ、人物の通過により距離ｄが受ける影響をプロットした。３地点における平均値は、揺れの影響がＮ＝１のとき１０、Ｎ＝１６のとき２０、人物通過の影響がＮ＝１のとき３０、Ｎ＝１６のとき６０であった。このことから、カメラ位置の変化が１ｍの場合の方が人物通過の影響より小さいことが分かった。ただし、実験データ量がまだ少ないため、さらに、評価実験を行なう必要がある。以上の結果から、カメラの回転や揺れ、環境の変化にロバストに位置推定可能であることが示せた。これは、全方位視覚センサが広い視野を持つためと考えられる。
【００３７】
地図中に似た画像が含まれていると、１枚の入力画像で位置を推定できない。しかし、この場合でも地図中の複数画像と走行中の複数画像とのマッチングを行うことで位置推定可能である。ここで、ロボットが地図作成時と異なるスピードで走行してもマッチング可能とするために、入力パターンを時間的に伸縮させる非線形マッチングを行なう必要がある。
【００３８】
Ｚｈｅｎｇ（参考文献４参照）らは、動的計画、つまりＤｙｎａｍｉｃ Ｐｒｏｇｒａｍｍｉｎｇ（ＤＰ）を用いて大局的な位置を推定した。この方法では、非線形マッチング可能であるが、始点と終点が既知である必要があるため、ロボットは地図と同じ経路を走行しなくてはならない。また、松本ら（参考文献２参照）は、画像間の距離がある閾値以下な位置を候補とし、ロボットが走行するに従い、この候補位置を絞り込んでいく方法を用いている。
【００３９】
一方、Ｃｏｎｔｉｎｕｏｕｓ（連続）ＤＰ（ＣＤＰ）（参考文献８参照）によるマッチング法では、最適性原理に基づき最適な位置を推定でき、経路の始点と終点も地図と一致させる必要がない。さらに、本願出願人はロボットが地図の任意の部分区間を走行しても位置推定ができるよう、Ｒｅｆｅｒｅｎｃｅ Ｉｎｔｅｒｖａｌ−Ｆｒｅｅ ＣＤＰ（ＲＩＦＣＤＰ）による位置推定法を提案している（参考文献９参照）。
【００４０】
ＲＩＦＣＤＰは、音声認識で提案された手法（参考文献７参照）であり、入力フレームと同期して地図中の任意の部分区間長のフレーム列をスポッティング的に検出することができるため、地図中の部分区間の走行時や走行速度の変化時でも位置推定可能である。実際、入力パターンに、時間軸方向に対して順方向（ｍｏｎｏｔｏｎｉｃ）に１／２倍以上２倍以下の伸縮があってもマッチング可能である。しかし、位置推定の場合、入力パターンの伸縮はロボット停止時や逆方向走行時に、例えば−２倍以上２倍以下となる。（地図作成時の２倍の速度制限がある場合）
従って、位置推定のためには、停止時や逆方向の入力にも対応できる‘ｎｏｎ−ｍｏｎｏｔｏｍｉｃ ＣＤＰ’を実現する必要がある。ここでは、この‘ｎｏｎ−ｍｏｎｏｔｏｍｉｃ ＣＤＰ’を実現するための一手法を提案し、その有効性を示す。
【００４１】
Ｎｏｎ−ｍｏｎｏｔｏｎｉｃ連続ＤＰについて説明する。一つの標準パターンＺは特徴ベクトルｚτの系列
【００４２】
【数２】
【００４３】
で表す。ここで、特徴ベクトルｚτはその次元数をＮとして
【００４４】
【数３】
【００４５】
と表す。入力画像からも同様な特徴ベクトル系列が随時得られる。この特徴ベクトル系列をｕt （０≦ｔ＜∞）とし、ｕt とｚτの局所距離ｄ（ｔ，τ）を以下の式で定義する。
【００４６】
【数４】
【００４７】
また、点（ｔ，τ）を終点とする標準パターンと入力系列との最適マッチングするときの累積距離をＳ（ｔ，τ）で表す。Ｎｏｎ−ｍｏｎｏｔｏｎｉｃ連続ＤＰではＳ（ｔ，τ）を以下のような漸化式で更新する。
【００４８】
【数５】
【００４９】
【数６】
【００５０】
ここで、αは正規化係数（０≦α≦１）であり、式を簡単にするために、以下の２項を仮定した。
【００５１】
（仮定１）標準パターンは、特徴ベクトルの１次元系列で表現できる。（本手法は、分岐のある場合や２次元系列に拡張可能）
（仮定２）入力パターンの速度変化は、標準パターンの１倍以下
（仮定２）では、図７（ａ）のような傾斜パターンを採用している。しかし、（６）式のｍの範囲を変化させれば、入力パターンの速度変化に対して様々な制限を付加できる（図７（ｂ））など。
【００５２】
（５）（６）式の漸化式を解くと次式のようになる。
【００５３】
【数７】
【００５４】
ここでｐ（ｋ）は以下のように定義する。
【００５５】
【数８】
【００５６】
つまり、Ｎｏｎ−ｍｏｎｏｔｏｎｉｃ連続ＤＰは、距離（ｔ，τ）を終点として図８の斜線領域内において最小の累積距離となるマッチング経路を求めている。
【００５７】
よく知られている「連続ＤＰ」では、終点となる点は（ｔ，Ｔ）とされてきた。また、それへの最適パスは（ｔ，τ）平面においてｔ，τについて単調に増加するものとされてきた。これは、傾斜のとり方に依っている。従って、「連続ＤＰ」はその最適パスの形成においてｍｏｎｏｔｏｎｉｃなものといえるものである。しかし、Ｎｏｎ−ｍｏｎｏｔｏｎｉｃ ＣＤＰでは、図７（ａ）の様に（ｔ，τ）において（ｔ−１，τ−１），（ｔ−１，τ），（ｔ−１，τ＋１）の各点から局所最適パスがとられ、図８の実線のように（ｔ，τ）平面での最適パスがτに関して単調に増加するものとはなっていない。この意味により、ここで提案するものを「Ｎｏｎ−ｍｏｎｏｔｏｎｉｃ連続ＤＰ」と呼ぶこととする。
【００５８】
また、（６）式のｄ（ｋ，ｐ（ｋ））に対する重みをｗ（ｋ）とすると、重みｗ（ｋ）の和は、
【００５９】
【数９】
【００６０】
となり、いかなるｔにおいても重みｗ（ｋ）の和が１に正規化された累積距離が得られることが分かる。これにより、各ｔにおいて点の集合｛（ｔ，τ）｜１≦τ＜Ｔ｝における累積距離の集合｛Ｓ（ｔ，τ）｜１≦τ≦Ｔ｝中での比較が可能であり、また、異なる標準パターンの最短累積距離の比較も可能となる。これは、（６）式の漸化式において、重みの和がα＋（１−α）＝１となることからも、常に重みの和が正規化されていることが分かる。（このことは、正規化係数αが、時間的に変化する場合でも同様である。）
図９には、ｔとαを変化させたときの重み係数ｗ（ｋ）の値をプロットした。現時点に近いほど重みｗ（ｋ）の値が大きくなっている。特に、ｔがある程度大きい定常状態では、（７）式は
【００６１】
【数１０】
【００６２】
と簡略化できる。このとき、重み係数ｗ（ｋ）の半値幅ｗ1/2 （α）を
【００６３】
【数１１】
【００６４】
と定義するとき、
【００６５】
【数１２】
【００６６】
と、半値幅ｗ1/2 （α）からαを決定できる。表１にαと半値幅ｗ1/2 （α）との例を表記した。
【００６７】
【表１】
【００６８】
通常、入力される特徴ベクトルの変化が小さい場合は、過去の履歴を多く持つ（ｗ1/2 （α）を大きくする）方が良い。このためには、正規化係数αを、特徴ベクトルの変化に比例するように時間的に変化させれば可能である。一例として次のようにα（ｔ）を可変にすればよい。
【００６９】
【数１３】
【００７０】
ここで、ｕt ′は入力される特徴ベクトルの微分値、α1 ，α2 は標準パターンの長さＴを考慮して定めた定数である。
【００７１】
ここで、標準パターンがＬ個存在するとし、各パターンの累積距離をＳv （ｔ，τ）（１≦ｖ≦Ｌ）、閾値をｈv 、標準パターンのフレーム数をＴv とする。Ｎｏｎ−ｍｏｎｏｔｏｎｉｃ連続ＤＰの出力は、マッチングした標準パターン番号ｖ* （ｔ）とその標準パターン内でマッチングしたフレーム番号（τ* （ｔ））であり、
【００７２】
【数１４】
【００７３】
と表せる。ここで、Ａｒｇは引数｛ｖ（ｔ），τ（ｔ）｝を返す関数、ｎｕｌｌは空のカテゴリーを表す。
【００７４】
実験データは、フロアがカーペット敷きのオフィス内約１００ｍの通路をリモートコントロールでロボットを走行させて採集した。このとき、人はロボットから約２ｍ離れていた。ロボットの速度は最高５０ｃｍ／秒、２Ｈｚのフレームレートでサイズ１２０×１６０の画像に変換した。入力時の走行経路は同じ経路を順方向逆方向に走行し、随時停止している。また、地図作成時の経路より約±３０ｃｍ程度ずれた経路を走行させた箇所もある。
【００７５】
このデータからＮｏｎ−ｍｏｎｏｔｏｎｉｃ ＣＤＰを用いて位置推定した結果の一例を図１０に示す。Ｎ＝４の場合について、α＝１．０とα＝０．２の場合を比較して示してある。図１０（ａ）の太線が実際に走行した経路である。この図から入力画像１枚の情報のみで位置推定した場合（α＝１．０の場合）に比べ、約５枚の過去の履歴画像を用いることで（α＝０．２のとき）位置推定がロバストになっていることが分かる。また、ロボット停止時や逆走時にも位置推定可能であることが分かる。
【００７６】
全方位画像を水平にＮ分割し（Ｎ＜１０）、各領域の画素値をＲＧＢ毎に積算した３Ｎ次元の情報を利用した大局的位置推定における特徴抽出法を提案した。また、ロボットの移動速度や方向の制限が少ない、Ｎｏｎ−ｍｏｎｏｔｏｎｉｃ連続ＤＰを用いたマッチング法を提案し、簡単な実験により本手法の有効性を示した。
【００７７】
参考文献
１ Ｔ．Ｍａｅｄａ，Ｈ．Ｉｓｈｉｇｕｒｏ ａｎｄ Ｓ．Ｔｕｊｉ，Ｍｅｍｏｒｙ−Ｂａｓｅｄ Ｎａｖｉｇａｔｉｏｎ ｕｓｉｎｇ Ｏｍｎｉ−ｄｉｒｅｃｔｉｏｎａｌ Ｖｉｅｗ ｉｎ Ｕｎｋｎｏｗｎ Ｅｎｖｉｒｏｎｍｅｎｔ．ＩＰＳＪ，ＣＶ−９２，ｐｐ．７３−８０，１９９５
２ Ｙ．Ｍａｔｓｕｍｏｔｏ，Ｍ．Ｉｎａｂａ ａｎｄ Ｈ．Ｉｎｏｕｅ，Ｎａｖｉｇａｔｉｏｎ ｏｆ Ａ Ｍｏｂｉｌｅ Ｒｏｂｏｔ ｆｏｒ Ｉｎｄｏｏｒ Ｅｎｖｉｒｏｎｍｅｎｔｓ Ｂａｓｅｎ ｏｎ Ｓｃｅｎｅ ＩｍａｇｅＳｅｑｕｅｎｃｅ．ＭＳＪ Ｃｏｎｖｅｎｔｉｏｎ ｍｅｅｔｉｎｇ，Ｖｏｌ．Ａ，ｐｐ．４８１−４８４，１９９５
３ Ｋ．Ｙａｍａｚａｗａ，Ｙ．Ｙａｇｉ ａｎｄ Ｍ．Ｙａｃｈｉｄａ，Ｏｍｎｉ−ｄｉｒｅｃｔｉｏｎａｌ Ｉｍａｇｉｎｇ ｗｉｔｈ Ｈｙｐｅｒｂｏｌｏｉｄａｌ Ｐｒｏｊｅｃｔｉｏｎ．Ｐｒｏｃ．ＩＥＥＥ／ＲＳＪ Ｉｎｔ．Ｃｏｎｆ．Ｉｎｔｅｌｌｉｇｅｎｔ Ｒｏｂｏｔｓ ａｎｄ Ｓｙｓｔｅｍｓ，２，ｐｐ．１０２９−１０３４，１９９３．
４ Ｊ．Ｙ．Ｚｈｅｎｇ ａｎｄ Ｓ．Ｔｓｕｊｉ，Ｐａｎｏｒａｍｉｃ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｆｏｒ Ｒｏｕｔｅ Ｒｅｃｏｇｎｉｔｉｏｎ ｂｙ ａ Ｍｏｂｉｌｅ ｒｏｂｏｔ．Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｏｒ Ｖｉｓｉｏｎ，９：１，ｐｐ．５５−７６，１９９２
５ Ｓ．Ｗ．Ｂａｎｇ，Ｗ．Ｙｕ ａｎｄ Ｍ．Ｊ．Ｃｈｕｎｇ，Ｓｅｎｓｏｒ−Ｂａｓｅｄ Ｌｏｃａｌ Ｈｏｍｉｎｇ Ｕｓｉｎｇ Ｏｍｎｉ−ｄｉｒｅｃｔｉｏｎａｌ Ｒａｎｇｅ ａｎｄ Ｉｎｔｅｎｓｉｔｙ Ｓｅｎｓｉｎｇ Ｓｙｓｔｅｍ ｆｏｒ Ｉｎｄｏｏｒ Ｍｏｂｉｌｅ Ｒｏｂｏｔ Ｎａｖｉｇａｔｉｏｎ．Ｐｒｅｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ １９９５ ＩＥＥＥ／ＲＳＪ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｒｏｂｏｔｓ ａｎｄ Ｓｙｓｔｅｍｓ，Ｖｏｌ．２，ｐｐ．５４２−５４８，１９９５
６ Ａｎｄｒｅａｓ Ｈｅｌｄ ａｎｄ Ｒｙｕｉｃｈｉ Ｏｋａ，“Ｓｏｎａｒ Ｂａｓｅｄ Ｍａｐ Ａｃｑｕｉｓｉｔｉｏｎ ａｎｄ Ｅｘｐｌｏｒａｔｉｏｎ ｉｎ ａｎ Ｕｎｋｎｏｗｎ Ｏｆｆｉｃｅ Ｅｎｖｉｒｏｎｍｅｎｔ”，Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｒｏｂｏｔｉｃ Ｓｙｓｔｅｍｓ ９５，Ｎｏｖ．１９９５．
７ 伊藤慶明，木山次郎，岡隆一、“標準パターンの任意区間によるスポッティングのためのＲｅｆｅｒｅｎｃｅ Ｉｎｔｅｒｖａｌ−ｆｒｅｅ連続ＤＰ（ＲＩＦＣＤＰ）”，信学技報，ＳＰ９５−３４，Ｊｕｎｅ １９９５．
８ 岡隆一，“連続ＤＰを用いた連続音声認識”，音響学会音声研資料，Ｓ７８−２０，ｐｐ．１４５−１５２（１９７８−０６）
９ 小島浩，伊藤慶明，岡隆一，“Ｒｅｆｅｒｅｎｃｅ Ｉｎｔｅｒｖａｌ−ｆｒｅｅ連続ＤＰを利用した移動ロボットの動画像による位置同定”，信学技報，ｐｐ．１３９−１４４，Ｊｕｌｙ １９９５．
１０ 小島浩，伊藤慶明，岡隆一，“Ｒｅｆｅｒｅｎｃｅ Ｉｎｔｅｒｖａｌ−ｆｒｅｅ連続ＤＰを利用した移動ロボットの時系列画像による位置同定システム”，信学投稿中
１１ Ｔ．Ｎｉｓｈｉｍｕｒａ，Ｈ．Ｋｏｊｉｍａ，Ａ．Ｈｅｌｄ ａｎｄ Ｒ．Ｏｋａ，Ｅｆｆｅｃｔ ｏｆ Ｔｉｍｅ−ｓｐａｔｉａｌ Ｓｉｚｅ ｏｆＭｏｔｉｏｎ Ｉｍａｇｅ ｆｏｒ Ｌｏｃａｌｉｚａｔｉｏｎ ｂｙ ｕｓｉｎｇ ｔｈｅ Ｓｐｏｔｔｉｎｇ Ｍｅｔｈｏｄ．ＩＣＰＲ’９６
【００７８】
【発明の効果】
請求項１の発明では全方位視覚センサの取得画像は撮影位置の全方位（３６０°）の画像となるので、移動体たとえば移動ロボットがどの方向を向いていても同一の画像が得られる。したがって、上記移動ロボットが標準パターンを取得した経路以外の経路を走行しても、合致画像により、位置検出が可能となる。
【００７９】
請求項２の発明では、画像特徴によるパターンマッチングを行うので、比較に用いるデータ量を削減でき、位置検出時間を短縮することができる。
【００８０】
請求項３の発明では、標準パターンを採取した特定経路上にある単一地点の位置検出に関しても検出精度が向上する。
【図面の簡単な説明】
【図１】トポロジー地図の一例を示す説明図である。
【図２】特徴抽出処理の内容を示す説明図である。
【図３】全方位視覚センサを設置した移動ロボットの外観を模式的に示す斜視図である。
【図４】撮影した全方向画像の一例をディスプレイ上に示す写真である。
【図５】カメラ位置の変化の影響を示す説明図である。
【図６】ロボットの揺れ、人物の影響を示す説明図である。
【図７】ノンモノトニック連続ＤＰの傾斜パターン例を示す説明図である。
【図８】ノンモノトニック連続ＤＰのパス検索範囲を示す説明図である。
【図９】重み係数の値を示す説明図である。
【図１０】実験結果を示す説明図である。
【符号の説明】
１ 双曲面ミラー
２ カメラ
【発明の属する技術分野】
本発明は移動ロボット等を使用して位置検出を行うための全方位視覚センサを用いた位置検出方法に関する。
【０００２】
【従来の技術】
オフィス、家庭のような実世界における移動ロボットの位置推定、誘導法では、実時間処理が必要不可欠であるとともに、走行外乱（スリップや揺れなど）に対するロバスト性が要求される。このような場合、内界センサのみによる位置推定法では誤差が蓄積されやすい。そこで、外界センサから環境情報を求め、あらかじめ獲得した環境モデルとの照合により自己位置を推定する方法が用いられている。外界センサとしては、超音波センサ、レーザレンジファインダ、視覚センサなどがあるが、なかでも多くの情報を獲得できる視覚センサが有望視されている。
【０００３】
【発明が解決しようとする課題】
しかしながら、このような視覚センサを移動ロボットに搭載して、位置検出を行うために、地上の特定位置に光学的特徴を持つ識別板、たとえばバーコードや特定の色を記載した識別板を撮像装置の視野に入るように設置しなければならない。このような制限は装置コストの増大となるのみならず、識別板を好適な場所に設置できない場所では位置検出ができないという事態も生じる。
【０００４】
そこで、本発明の目的は、上述の点に鑑みて、視覚センサを使用して位置検出を行う際に識別板を設置しなくてもあるいは識別板の設置位置の制限を緩和しても精度よく位置検出を行うことができる全方位視覚センサを用いた位置検出方法を提供することにある。
【０００５】
【課題を解決するための手段】
このような目的を達成するために、請求項１の発明は、全方位に視野を持つ全方位視覚センサを移動体に予め搭載しておき、前記移動体を特定の経路上を移動させて、前記全方位視覚センサにより該移動体周辺の環境の画像を時系列的に標準パターンとして取得し、
当該取得した画像と位置を予め関連付けておき、前記移動体が任意の経路を移動しているときに前記全方位視覚センサの取得画像と前記標準パターンの画像とをそれら画像の特徴量の形態で比較し、一致の画像が得られた場合には一致の前記標準パターンの画像に関連付けられている位置を検出結果とすることを特徴とする。
【０００６】
請求項１に記載の全方位視覚センサを用いた位置検出方法において、前記移動体が特定経路移動したときに前記全方位視覚センサにより取得した画像からその画像特徴を抽出して該画像特徴を前記標準パターンとなし、前記全方位視覚センサの取得画像と前記標準パターンの画像との比較に際し、前記全方位視覚センサの取得画像から画像特徴を抽出して該画像特徴および前記標準パターンの画像特徴とを比較することを特徴とする。
【０００７】
請求項２に記載の全方位視覚センサを用いた位置検出方法において、前記画像特徴の比較を連続ＤＰマッチングの手法により行うことを特徴とする。
【０００８】
請求項３の発明は、請求項２に記載の全方位視覚センサを用いた位置検出方法において、前記画像特徴の比較をｎｏｎ−ｍｏｎｏｔｏｎｉｃ連続ＤＰマッチングの手法により行うことを特徴とする。
【００１１】
請求項１に記載の画像比較は発明の実施の形態では請求項２に記載のように画像特徴（特徴ベクトルと表現）の形態で行なわれ、位置の検出結果は画像特徴が一致した標準パターン番号ｖ* （ｔ）およびフレーム番号（τ* （ｔ））で表現されている。
【００１２】
請求項３に記載の連続ＤＰマッチングの手法は数２式から数１４式により表わされている。ただし、従来のＤＰの手法と一部異なる点は標準パターンの画像特徴を請求項５に記載のように逆順に並び変える処理を含めていることであり、この点については実施の形態では図７，図８を使用した最適パスの説明の記載により表現されている。特に図８のＳｅａｒｃｈ ａｒｅａで標準パターンの最後部（ｒτ〜ｒr ）がマッチングの検索対象になっていることからも上記点が当事者に理解されよう。
【００１３】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００１４】
一般に、環境モデルは、経路モデルとこれに付随する作業空間や物体の３次元モデルにより記述される。この場合、３次元モデルと視覚情報とのマッチングには、多くの計算量が必要なため、マッチングの前に経路モデル中のおよその位置、つまり「大局的な位置」を求めている。（ここでは「大局位置」は数ｍ程度、「局所位置」は数ｃｍ程度の精度の位置とする）。
【００１５】
一方、次のような設定を行うことで、大局的な位置推定のみでロボットの視覚誘導が可能であると考える。
【００１６】
設定１ 画像系列による環境モデルの採用 環境モデルは、図１に示すように、簡単な圧縮処理を行った画像系列そのものによりトポロジー地図として表現する（３次元モデルを用いない）。このとき、画像系列同士の位置関係は不要、つまり、走行情報や内界センサの情報を使用しないこととする。また、「ここは、Ａさんの席」「ここは、本棚の前」などの情報はモデル教示時に、画像のフレーム番号に付随して記憶しておく。
【００１７】
設定２ 超音波センサなどで障害物回避可能 我々は、Ｎｏｍａｄ２００というロボットを用いて超音波センサと赤外線センサによる誘導を行なっている（参考文献６参照。一覧表にて後述）。
【００１８】
設定３ 誘導時の走行軌跡の精度は低くても良い ロボットが誘導経路から外れたことが視覚情報から分かれば、引き返して別の経路を選択することにより、誘導可能とする。
【００１９】
設定４ 環境照明の変化は小さい 走行環境は、窓からの光の影響が小さいオフィスなどの屋内とする。
【００２０】
このような条件設定のもと、本報告では、大局的位置推定法によりロボットの誘導を行う手法を提案する。ただし、局所位置推定により高精度な軌道制御や物体認識などへの機能拡張が可能なシステム構成を目指す。また、大局的位置を推定するときは、次の２つの処理が重要である。
【００２１】
１．特徴抽出 簡単な圧縮処理により、入力画像から特徴ベクトルを求める。
【００２２】
２．地図とのマッチング 地図中の位置を推定するため、入力画像とのマッチングを行う。
【００２３】
本実施の形態では、特徴抽出法として全方位視覚センサを用いたカメラ方向に依存しない手法を提案し、さらに、マッチング法としてＮｏｎ−ｍｏｎｏｔｏｎｉｃ Ｃｏｎｔｉｎｕｏｕｓ Ｄｙｎａｍｉｃ Ｐｒｏｇｒａｍｉｎｇ（Ｎｏｎ−ｍｏｎｏｔｏｎｉｃ ＣＤＰ）を用いた手法を提案する。
【００２４】
環境撮影時の視野としては、通常のカメラ程度のもの（参考文献２，９参照）と全方位を捉えたもの（ｐａｎｏｒａｍｉｃ ｖｉｅｗ）とに大別できる。前者の通常の視野を用いる手法では、局所的な位置・方向の推定が困難なだけでなく、ロボットの方向が地図作成時の方向と大きく異なるときは、大局的位置の推定も困難となる。
【００２５】
一方、全方位を視野に持つ様々な全方位視覚センサが研究されている（参考文献３参照）。周囲３６０度の画像を用いれば、局所的な方向や大局的位置を容易に推定できる。特に、山澤ら（参考文献３参照）が提案した双曲面ミラー（図２参照）を用いた全方位視覚センサ（ＨｙｐｅｒＯｍｎｉ Ｖｉｓｉｏｎ）は、下方視野を含んだ全方位画像を実時間で得るだけでなく、画像の補正も容易である。さらに、前者と異なり、局所的な方向や大局的位置を容易に推定できるという利点がある。
【００２６】
大局位置の推定をするため、Ｚｈｅｎｇら（参考文献４）は、視野として進行方向と異なる方向の垂直スリットを用いた。各位置における情報は、このスリット内の画素値をＲＧＢ毎に積算するためカメラ（図２参照）の垂直方向の揺れにロバストである。ただし、カメラの水平方向や回転方向の揺れの影響が懸念される。また、前田ら（参考文献１参照）は、画像サイズが、垂直方向６４画素、水平方向（周方向）２５６画素の全方位画像を用いている。そして、この画像の各水平ラインをフーリエ変換し、この低周波数側の強度成分（６４×３２画素）を用いて位置推定している。この方法は、ロボットのカメラ方向によらず、位置推定可能であるが記憶すべき情報量が大きい。Ｂａｎｇら（参考文献５参照）も全方位センサを用いてロボット誘導を行なっているが大局的な位置推定手法については述べていない。
【００２７】
一方、本出願人は通常のカメラを用い、リダクション画像（平滑化後間引きした画像）による環境モデルを用いた大局的位置推定法を提案し（参考文献９，１０参照）、複数の大幅にリダクションした画像を用いることでカメラの揺れに対処できることを示した（参考文献１１参照）。そこで、本報告では、図２に示すように、全方位視野を水平にＮ分割し（Ｎ＜約１０）、各領域の画素値をＲＧＢ毎に積算したわずか３Ｎ次元の情報を特徴ベクトルとして用いる大局的位置推定法を提案する。（ここで、視野のＮ分割前にラプラシアンフィルタなどのような等方性のフィルタ処理を行うことも有用である）この方法は、
１．カメラの揺れにロバスト
２．ロボットのカメラ方向に依存しない
３．記憶すべき情報量が少ない
という特徴を持つ。特に、この特徴２により、軌道誤差は大きいもののＨｉｌｌｃｌｉｍｂ法などによる誘導が可能となる。
【００２８】
本手法の有効性を調べるため、全方位視覚センサとして、山澤ら（参考文献３参照）が提案したＨｙｐｅｒＯｍｎｉ Ｖｉｓｉｏｎ（ＨＯＢＩ）をＮｏｍａｄに設置し（図３）、実験を行った。オフィス内の３点において次のように条件を変化させてデータを採取し、特徴ベクトルへの影響を調べた。
【００２９】
カメラ位置の変化 通路内でＮｏｍａｄを約３ｍ走行させた。
【００３０】
カメラの回転 停止させたＮｏｍａｄを回転させた。
【００３１】
カメラの揺れ 停止したＮｏｍａｄを人手で揺らし走行時の振動を模擬した。
【００３２】
環境の変化（人物通過） 図４に示すように、停止したＮｏｍａｄ近傍を人が通り過ぎた。
【００３３】
初めに、目視で全方位画像の中心位置と半径を求め、水平方向の分割数Ｎを１，３，１６として同心円状にＮ等分し各領域内の平均化を行い、３Ｎ次元の特徴ベクトルを求めた。次に、基準点における特徴ベクトルｓ0 ＝（ｓ0 （１），ｓ0 （２），…，ｓ0 （３Ｎ））と条件変化時の特徴ベクトルｓ＝（ｓ（１），ｓ（２），…，ｓ（３Ｎ））との距離ｄを求めその変化を調べた。距離ｄは、特徴ベクトルの次元数３Ｎを用い以下の式で求めた。
【００３４】
【数１】
図５にカメラ位置の変化の影響をプロットした。３≦Ｎにおいて位置が１ｍ離れると距離ｄが平均１００以上になり、位置弁別能力があることが分かった。ただし、数点において距離ｄが小さくなり、１地点における情報のみでの位置推定が困難であることが分かった。
【００３６】
図６に一例として地点Ｎｏ．１におけるカメラの回転や揺れ、人物の通過により距離ｄが受ける影響をプロットした。３地点における平均値は、揺れの影響がＮ＝１のとき１０、Ｎ＝１６のとき２０、人物通過の影響がＮ＝１のとき３０、Ｎ＝１６のとき６０であった。このことから、カメラ位置の変化が１ｍの場合の方が人物通過の影響より小さいことが分かった。ただし、実験データ量がまだ少ないため、さらに、評価実験を行なう必要がある。以上の結果から、カメラの回転や揺れ、環境の変化にロバストに位置推定可能であることが示せた。これは、全方位視覚センサが広い視野を持つためと考えられる。
【００３７】
地図中に似た画像が含まれていると、１枚の入力画像で位置を推定できない。しかし、この場合でも地図中の複数画像と走行中の複数画像とのマッチングを行うことで位置推定可能である。ここで、ロボットが地図作成時と異なるスピードで走行してもマッチング可能とするために、入力パターンを時間的に伸縮させる非線形マッチングを行なう必要がある。
【００３８】
Ｚｈｅｎｇ（参考文献４参照）らは、動的計画、つまりＤｙｎａｍｉｃ Ｐｒｏｇｒａｍｍｉｎｇ（ＤＰ）を用いて大局的な位置を推定した。この方法では、非線形マッチング可能であるが、始点と終点が既知である必要があるため、ロボットは地図と同じ経路を走行しなくてはならない。また、松本ら（参考文献２参照）は、画像間の距離がある閾値以下な位置を候補とし、ロボットが走行するに従い、この候補位置を絞り込んでいく方法を用いている。
【００３９】
一方、Ｃｏｎｔｉｎｕｏｕｓ（連続）ＤＰ（ＣＤＰ）（参考文献８参照）によるマッチング法では、最適性原理に基づき最適な位置を推定でき、経路の始点と終点も地図と一致させる必要がない。さらに、本願出願人はロボットが地図の任意の部分区間を走行しても位置推定ができるよう、Ｒｅｆｅｒｅｎｃｅ Ｉｎｔｅｒｖａｌ−Ｆｒｅｅ ＣＤＰ（ＲＩＦＣＤＰ）による位置推定法を提案している（参考文献９参照）。
【００４０】
ＲＩＦＣＤＰは、音声認識で提案された手法（参考文献７参照）であり、入力フレームと同期して地図中の任意の部分区間長のフレーム列をスポッティング的に検出することができるため、地図中の部分区間の走行時や走行速度の変化時でも位置推定可能である。実際、入力パターンに、時間軸方向に対して順方向（ｍｏｎｏｔｏｎｉｃ）に１／２倍以上２倍以下の伸縮があってもマッチング可能である。しかし、位置推定の場合、入力パターンの伸縮はロボット停止時や逆方向走行時に、例えば−２倍以上２倍以下となる。（地図作成時の２倍の速度制限がある場合）
従って、位置推定のためには、停止時や逆方向の入力にも対応できる‘ｎｏｎ−ｍｏｎｏｔｏｍｉｃ ＣＤＰ’を実現する必要がある。ここでは、この‘ｎｏｎ−ｍｏｎｏｔｏｍｉｃ ＣＤＰ’を実現するための一手法を提案し、その有効性を示す。
【００４１】
Ｎｏｎ−ｍｏｎｏｔｏｎｉｃ連続ＤＰについて説明する。一つの標準パターンＺは特徴ベクトルｚτの系列
【００４２】
【数２】
で表す。ここで、特徴ベクトルｚτはその次元数をＮとして
【００４４】
【数３】
と表す。入力画像からも同様な特徴ベクトル系列が随時得られる。この特徴ベクトル系列をｕt （０≦ｔ＜∞）とし、ｕt とｚτの局所距離ｄ（ｔ，τ）を以下の式で定義する。
【００４６】
【数４】
また、点（ｔ，τ）を終点とする標準パターンと入力系列との最適マッチングするときの累積距離をＳ（ｔ，τ）で表す。Ｎｏｎ−ｍｏｎｏｔｏｎｉｃ連続ＤＰではＳ（ｔ，τ）を以下のような漸化式で更新する。
【００４８】
【数５】
【数６】
ここで、αは正規化係数（０≦α≦１）であり、式を簡単にするために、以下の２項を仮定した。
【００５１】
（仮定１）標準パターンは、特徴ベクトルの１次元系列で表現できる。（本手法は、分岐のある場合や２次元系列に拡張可能）
（仮定２）入力パターンの速度変化は、標準パターンの１倍以下
（仮定２）では、図７（ａ）のような傾斜パターンを採用している。しかし、（６）式のｍの範囲を変化させれば、入力パターンの速度変化に対して様々な制限を付加できる（図７（ｂ））など。
【００５２】
（５）（６）式の漸化式を解くと次式のようになる。
【００５３】
【数７】
ここでｐ（ｋ）は以下のように定義する。
【００５５】
【数８】
つまり、Ｎｏｎ−ｍｏｎｏｔｏｎｉｃ連続ＤＰは、距離（ｔ，τ）を終点として図８の斜線領域内において最小の累積距離となるマッチング経路を求めている。
【００５７】
よく知られている「連続ＤＰ」では、終点となる点は（ｔ，Ｔ）とされてきた。また、それへの最適パスは（ｔ，τ）平面においてｔ，τについて単調に増加するものとされてきた。これは、傾斜のとり方に依っている。従って、「連続ＤＰ」はその最適パスの形成においてｍｏｎｏｔｏｎｉｃなものといえるものである。しかし、Ｎｏｎ−ｍｏｎｏｔｏｎｉｃ ＣＤＰでは、図７（ａ）の様に（ｔ，τ）において（ｔ−１，τ−１），（ｔ−１，τ），（ｔ−１，τ＋１）の各点から局所最適パスがとられ、図８の実線のように（ｔ，τ）平面での最適パスがτに関して単調に増加するものとはなっていない。この意味により、ここで提案するものを「Ｎｏｎ−ｍｏｎｏｔｏｎｉｃ連続ＤＰ」と呼ぶこととする。
【００５８】
また、（６）式のｄ（ｋ，ｐ（ｋ））に対する重みをｗ（ｋ）とすると、重みｗ（ｋ）の和は、
【００５９】
【数９】
となり、いかなるｔにおいても重みｗ（ｋ）の和が１に正規化された累積距離が得られることが分かる。これにより、各ｔにおいて点の集合｛（ｔ，τ）｜１≦τ＜Ｔ｝における累積距離の集合｛Ｓ（ｔ，τ）｜１≦τ≦Ｔ｝中での比較が可能であり、また、異なる標準パターンの最短累積距離の比較も可能となる。これは、（６）式の漸化式において、重みの和がα＋（１−α）＝１となることからも、常に重みの和が正規化されていることが分かる。（このことは、正規化係数αが、時間的に変化する場合でも同様である。）
図９には、ｔとαを変化させたときの重み係数ｗ（ｋ）の値をプロットした。現時点に近いほど重みｗ（ｋ）の値が大きくなっている。特に、ｔがある程度大きい定常状態では、（７）式は
【００６１】
【数１０】
と簡略化できる。このとき、重み係数ｗ（ｋ）の半値幅ｗ1/2 （α）を
【００６３】
【数１１】
と定義するとき、
【００６５】
【数１２】
と、半値幅ｗ1/2 （α）からαを決定できる。表１にαと半値幅ｗ1/2 （α）との例を表記した。
【００６７】
【表１】
通常、入力される特徴ベクトルの変化が小さい場合は、過去の履歴を多く持つ（ｗ1/2 （α）を大きくする）方が良い。このためには、正規化係数αを、特徴ベクトルの変化に比例するように時間的に変化させれば可能である。一例として次のようにα（ｔ）を可変にすればよい。
【００６９】
【数１３】
ここで、ｕt ′は入力される特徴ベクトルの微分値、α1 ，α2 は標準パターンの長さＴを考慮して定めた定数である。
【００７１】
ここで、標準パターンがＬ個存在するとし、各パターンの累積距離をＳv （ｔ，τ）（１≦ｖ≦Ｌ）、閾値をｈv 、標準パターンのフレーム数をＴv とする。Ｎｏｎ−ｍｏｎｏｔｏｎｉｃ連続ＤＰの出力は、マッチングした標準パターン番号ｖ* （ｔ）とその標準パターン内でマッチングしたフレーム番号（τ* （ｔ））であり、
【００７２】
【数１４】
と表せる。ここで、Ａｒｇは引数｛ｖ（ｔ），τ（ｔ）｝を返す関数、ｎｕｌｌは空のカテゴリーを表す。
【００７４】
実験データは、フロアがカーペット敷きのオフィス内約１００ｍの通路をリモートコントロールでロボットを走行させて採集した。このとき、人はロボットから約２ｍ離れていた。ロボットの速度は最高５０ｃｍ／秒、２Ｈｚのフレームレートでサイズ１２０×１６０の画像に変換した。入力時の走行経路は同じ経路を順方向逆方向に走行し、随時停止している。また、地図作成時の経路より約±３０ｃｍ程度ずれた経路を走行させた箇所もある。
【００７５】
このデータからＮｏｎ−ｍｏｎｏｔｏｎｉｃ ＣＤＰを用いて位置推定した結果の一例を図１０に示す。Ｎ＝４の場合について、α＝１．０とα＝０．２の場合を比較して示してある。図１０（ａ）の太線が実際に走行した経路である。この図から入力画像１枚の情報のみで位置推定した場合（α＝１．０の場合）に比べ、約５枚の過去の履歴画像を用いることで（α＝０．２のとき）位置推定がロバストになっていることが分かる。また、ロボット停止時や逆走時にも位置推定可能であることが分かる。
【００７６】
全方位画像を水平にＮ分割し（Ｎ＜１０）、各領域の画素値をＲＧＢ毎に積算した３Ｎ次元の情報を利用した大局的位置推定における特徴抽出法を提案した。また、ロボットの移動速度や方向の制限が少ない、Ｎｏｎ−ｍｏｎｏｔｏｎｉｃ連続ＤＰを用いたマッチング法を提案し、簡単な実験により本手法の有効性を示した。
【００７７】
参考文献
１ Ｔ．Ｍａｅｄａ，Ｈ．Ｉｓｈｉｇｕｒｏ ａｎｄ Ｓ．Ｔｕｊｉ，Ｍｅｍｏｒｙ−Ｂａｓｅｄ Ｎａｖｉｇａｔｉｏｎ ｕｓｉｎｇ Ｏｍｎｉ−ｄｉｒｅｃｔｉｏｎａｌ Ｖｉｅｗ ｉｎ Ｕｎｋｎｏｗｎ Ｅｎｖｉｒｏｎｍｅｎｔ．ＩＰＳＪ，ＣＶ−９２，ｐｐ．７３−８０，１９９５
２ Ｙ．Ｍａｔｓｕｍｏｔｏ，Ｍ．Ｉｎａｂａ ａｎｄ Ｈ．Ｉｎｏｕｅ，Ｎａｖｉｇａｔｉｏｎ ｏｆ Ａ Ｍｏｂｉｌｅ Ｒｏｂｏｔ ｆｏｒ Ｉｎｄｏｏｒ Ｅｎｖｉｒｏｎｍｅｎｔｓ Ｂａｓｅｎ ｏｎ Ｓｃｅｎｅ ＩｍａｇｅＳｅｑｕｅｎｃｅ．ＭＳＪ Ｃｏｎｖｅｎｔｉｏｎ ｍｅｅｔｉｎｇ，Ｖｏｌ．Ａ，ｐｐ．４８１−４８４，１９９５
３ Ｋ．Ｙａｍａｚａｗａ，Ｙ．Ｙａｇｉ ａｎｄ Ｍ．Ｙａｃｈｉｄａ，Ｏｍｎｉ−ｄｉｒｅｃｔｉｏｎａｌ Ｉｍａｇｉｎｇ ｗｉｔｈ Ｈｙｐｅｒｂｏｌｏｉｄａｌ Ｐｒｏｊｅｃｔｉｏｎ．Ｐｒｏｃ．ＩＥＥＥ／ＲＳＪ Ｉｎｔ．Ｃｏｎｆ．Ｉｎｔｅｌｌｉｇｅｎｔ Ｒｏｂｏｔｓ ａｎｄ Ｓｙｓｔｅｍｓ，２，ｐｐ．１０２９−１０３４，１９９３．
４ Ｊ．Ｙ．Ｚｈｅｎｇ ａｎｄ Ｓ．Ｔｓｕｊｉ，Ｐａｎｏｒａｍｉｃ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｆｏｒ Ｒｏｕｔｅ Ｒｅｃｏｇｎｉｔｉｏｎ ｂｙ ａ Ｍｏｂｉｌｅ ｒｏｂｏｔ．Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｏｒ Ｖｉｓｉｏｎ，９：１，ｐｐ．５５−７６，１９９２
５ Ｓ．Ｗ．Ｂａｎｇ，Ｗ．Ｙｕ ａｎｄ Ｍ．Ｊ．Ｃｈｕｎｇ，Ｓｅｎｓｏｒ−Ｂａｓｅｄ Ｌｏｃａｌ Ｈｏｍｉｎｇ Ｕｓｉｎｇ Ｏｍｎｉ−ｄｉｒｅｃｔｉｏｎａｌ Ｒａｎｇｅ ａｎｄ Ｉｎｔｅｎｓｉｔｙ Ｓｅｎｓｉｎｇ Ｓｙｓｔｅｍ ｆｏｒ Ｉｎｄｏｏｒ Ｍｏｂｉｌｅ Ｒｏｂｏｔ Ｎａｖｉｇａｔｉｏｎ．Ｐｒｅｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ １９９５ ＩＥＥＥ／ＲＳＪ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｒｏｂｏｔｓ ａｎｄ Ｓｙｓｔｅｍｓ，Ｖｏｌ．２，ｐｐ．５４２−５４８，１９９５
６ Ａｎｄｒｅａｓ Ｈｅｌｄ ａｎｄ Ｒｙｕｉｃｈｉ Ｏｋａ，“Ｓｏｎａｒ Ｂａｓｅｄ Ｍａｐ Ａｃｑｕｉｓｉｔｉｏｎ ａｎｄ Ｅｘｐｌｏｒａｔｉｏｎ ｉｎ ａｎ Ｕｎｋｎｏｗｎ Ｏｆｆｉｃｅ Ｅｎｖｉｒｏｎｍｅｎｔ”，Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｒｏｂｏｔｉｃ Ｓｙｓｔｅｍｓ ９５，Ｎｏｖ．１９９５．
７ 伊藤慶明，木山次郎，岡隆一、“標準パターンの任意区間によるスポッティングのためのＲｅｆｅｒｅｎｃｅ Ｉｎｔｅｒｖａｌ−ｆｒｅｅ連続ＤＰ（ＲＩＦＣＤＰ）”，信学技報，ＳＰ９５−３４，Ｊｕｎｅ １９９５．
８ 岡隆一，“連続ＤＰを用いた連続音声認識”，音響学会音声研資料，Ｓ７８−２０，ｐｐ．１４５−１５２（１９７８−０６）
９ 小島浩，伊藤慶明，岡隆一，“Ｒｅｆｅｒｅｎｃｅ Ｉｎｔｅｒｖａｌ−ｆｒｅｅ連続ＤＰを利用した移動ロボットの動画像による位置同定”，信学技報，ｐｐ．１３９−１４４，Ｊｕｌｙ １９９５．
１０ 小島浩，伊藤慶明，岡隆一，“Ｒｅｆｅｒｅｎｃｅ Ｉｎｔｅｒｖａｌ−ｆｒｅｅ連続ＤＰを利用した移動ロボットの時系列画像による位置同定システム”，信学投稿中
１１ Ｔ．Ｎｉｓｈｉｍｕｒａ，Ｈ．Ｋｏｊｉｍａ，Ａ．Ｈｅｌｄ ａｎｄ Ｒ．Ｏｋａ，Ｅｆｆｅｃｔ ｏｆ Ｔｉｍｅ−ｓｐａｔｉａｌ Ｓｉｚｅ ｏｆＭｏｔｉｏｎ Ｉｍａｇｅ ｆｏｒ Ｌｏｃａｌｉｚａｔｉｏｎ ｂｙ ｕｓｉｎｇ ｔｈｅ Ｓｐｏｔｔｉｎｇ Ｍｅｔｈｏｄ．ＩＣＰＲ’９６
【００７８】
【発明の効果】
請求項１の発明では全方位視覚センサの取得画像は撮影位置の全方位（３６０°）の画像となるので、移動体たとえば移動ロボットがどの方向を向いていても同一の画像が得られる。したがって、上記移動ロボットが標準パターンを取得した経路以外の経路を走行しても、合致画像により、位置検出が可能となる。
【００７９】
請求項２の発明では、画像特徴によるパターンマッチングを行うので、比較に用いるデータ量を削減でき、位置検出時間を短縮することができる。
【００８０】
請求項３の発明では、標準パターンを採取した特定経路上にある単一地点の位置検出に関しても検出精度が向上する。
【図面の簡単な説明】
【図１】トポロジー地図の一例を示す説明図である。
【図２】特徴抽出処理の内容を示す説明図である。
【図３】全方位視覚センサを設置した移動ロボットの外観を模式的に示す斜視図である。
【図４】撮影した全方向画像の一例をディスプレイ上に示す写真である。
【図５】カメラ位置の変化の影響を示す説明図である。
【図６】ロボットの揺れ、人物の影響を示す説明図である。
【図７】ノンモノトニック連続ＤＰの傾斜パターン例を示す説明図である。
【図８】ノンモノトニック連続ＤＰのパス検索範囲を示す説明図である。
【図９】重み係数の値を示す説明図である。
【図１０】実験結果を示す説明図である。
【符号の説明】
１ 双曲面ミラー
２ カメラ
Claims (3)
- 全方位に視野を持つ全方位視覚センサを移動体に予め搭載しておき、
前記移動体を特定の経路上を移動させて、前記全方位視覚センサにより該移動体周辺の環境の画像を時系列的に標準パターンとして取得し、
当該取得した画像と位置を予め関連付けておき、
前記移動体が任意の経路を移動しているときに前記全方位視覚センサの取得画像と前記標準パターンの画像とをそれら画像の特徴量の形態で比較し、
一致の画像が得られた場合には一致の前記標準パターンの画像に関連付けられている位置を検出結果とすることを特徴とする全方位視覚センサを用いた位置検出方法。 - 請求項１に記載の全方位視覚センサを用いた位置検出方法において、前記移動体が特定経路移動したときに前記全方位視覚センサにより取得した画像からその画像特徴を抽出して該画像特徴を前記標準パターンとなし、前記全方位視覚センサの取得画像と前記標準パターンの画像との比較に際し、前記全方位視覚センサの取得画像から画像特徴を抽出して該画像特徴および前記標準パターンの画像特徴とを比較することを特徴とする全方位視覚センサを用いた位置検出方法。
- 請求項２に記載の全方位視覚センサを用いた位置検出方法において、前記画像特徴の比較をｎｏｎ−ｍｏｎｏｔｏｎｉｃ連続ＤＰマッチングの手法により行うことを特徴とする全方位視覚センサを用いた位置検出方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP32283396A JP3641335B2 (ja) | 1996-12-03 | 1996-12-03 | 全方位視覚センサを用いた位置検出方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP32283396A JP3641335B2 (ja) | 1996-12-03 | 1996-12-03 | 全方位視覚センサを用いた位置検出方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10160463A JPH10160463A (ja) | 1998-06-19 |
| JP3641335B2 true JP3641335B2 (ja) | 2005-04-20 |
Family
ID=18148121
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP32283396A Expired - Fee Related JP3641335B2 (ja) | 1996-12-03 | 1996-12-03 | 全方位視覚センサを用いた位置検出方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3641335B2 (ja) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2003102706A1 (fr) * | 2002-05-31 | 2003-12-11 | Fujitsu Limited | Robot telecommande et procede d'identification automatique de la position de robot. |
| KR100966875B1 (ko) | 2006-09-26 | 2010-06-29 | 삼성전자주식회사 | 전방위 영상을 이용한 로봇의 위치 결정방법 |
| KR100941418B1 (ko) | 2007-03-20 | 2010-02-11 | 삼성전자주식회사 | 이동 로봇의 위치 인식 방법 |
| KR100926760B1 (ko) | 2007-12-17 | 2009-11-16 | 삼성전자주식회사 | 이동 로봇의 위치 인식 및 지도 작성 방법 |
| KR100988568B1 (ko) | 2008-04-30 | 2010-10-18 | 삼성전자주식회사 | 로봇 및 그 지도작성방법 |
| JP5505723B2 (ja) * | 2010-03-31 | 2014-05-28 | アイシン・エィ・ダブリュ株式会社 | 画像処理システム及び位置測位システム |
| EP2657644B1 (en) * | 2010-12-20 | 2017-06-28 | Nec Corporation | Positioning apparatus and positioning method |
| KR101678203B1 (ko) * | 2015-09-08 | 2016-12-07 | (주)에스엠인스트루먼트 | 전방향 음장을 전방향 영상에 중첩하여 표현하는 mems 음향센서를 이용한 전방향 음향 시각화 장치 |
| JP2018185240A (ja) * | 2017-04-26 | 2018-11-22 | 大成建設株式会社 | 位置特定装置 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0854927A (ja) * | 1994-08-10 | 1996-02-27 | Kawasaki Heavy Ind Ltd | ランドマークの決定方法および装置 |
| JPH08178654A (ja) * | 1994-12-27 | 1996-07-12 | Mitsubishi Electric Corp | 標定装置 |
| JPH08322833A (ja) * | 1995-05-31 | 1996-12-10 | Shimadzu Corp | Ｘ線絞り装置 |
-
1996
- 1996-12-03 JP JP32283396A patent/JP3641335B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH10160463A (ja) | 1998-06-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Winters et al. | Omni-directional vision for robot navigation | |
| Gaspar et al. | Vision-based navigation and environmental representations with an omnidirectional camera | |
| KR101725060B1 (ko) | 그래디언트 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 | |
| KR101708659B1 (ko) | 이동 로봇의 맵을 업데이트하기 위한 장치 및 그 방법 | |
| US7321386B2 (en) | Robust stereo-driven video-based surveillance | |
| US8711221B2 (en) | Visually tracking an object in real world using 2D appearance and multicue depth estimations | |
| US8467902B2 (en) | Method and apparatus for estimating pose of mobile robot using particle filter | |
| JP4692371B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム、および画像処理プログラムを記録した記録媒体、ならびに移動物体検出システム | |
| Anousaki et al. | Simultaneous localization and map building for mobile robot navigation | |
| KR101784183B1 (ko) | ADoG 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 | |
| JP2006220521A (ja) | 自己位置計測装置及び自己位置計測方法を実行するためのプログラム | |
| JP3641335B2 (ja) | 全方位視覚センサを用いた位置検出方法 | |
| CN105606092B (zh) | 一种室内机器人定位方法及*** | |
| CN111862673A (zh) | 基于顶视图的停车场车辆自定位及地图构建方法 | |
| Pinto et al. | A flow-based motion perception technique for an autonomous robot system | |
| Yagi et al. | Iconic memory-based omnidirectional route panorama navigation | |
| Carrera et al. | Lightweight SLAM and Navigation with a Multi-Camera Rig. | |
| Winters et al. | Omni-directional visual navigation | |
| Ackerman et al. | Robot steering with spectral image information | |
| Stratmann | Omnidirectional imaging and optical flow | |
| EP4089649A1 (en) | Neuromorphic cameras for aircraft | |
| CN114018268B (zh) | 室内移动机器人导航方法 | |
| Bonev et al. | Robot navigation behaviors based on omnidirectional vision and information theory | |
| JP7354528B2 (ja) | 自律移動装置、自律移動装置のレンズの汚れ検出方法及びプログラム | |
| Heide et al. | Set: Stereo evaluation toolbox for combined performance assessment of camera systems, 3d reconstruction and visual slam |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040611 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040625 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040823 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040914 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041115 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20041115 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041224 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050121 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080128 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090128 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100128 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110128 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120128 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |