JP5490911B2 - 移動ロボットの位置認識のための地図生成および更新方法 - Google Patents

Description

本発明は、移動ロボットの位置認識のための地図生成および更新方法に関し、より詳しくは、地図生成時に抽出されたランドマークを確率点検後に登録し、地図更新時に既に登録されたランドマークの正確度を分析してレベル調節したり削除したりする移動ロボットの位置認識のための地図生成および更新方法に関する。

最近、ロボット技術の発展に伴い、自ら経路を設定して移動する移動ロボットが活用されている。移動ロボットの代表的な例としては、住宅や建物の内部を掃除する掃除用ロボットや位置を案内する案内ロボットなどを挙げることができる。特に、掃除ロボットの場合には、各種センサと走行手段を備えることにより、走行しながら内部に備えられた真空掃除ユニットを利用して室内床を掃除するが、現在では多数の製品が実際に用いられている。

このような移動ロボットが空間で効果的に位置を判断して移動するために、移動している空間に対する地図を生成し、空間上の自身の位置を認識することが求められている。移動ロボットが周辺空間に対して自ら位置を認識して地図を形成するものを、同時位置認識および地図形成（ＳＬＡＭ：Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ Ａｎｄ Ｍａｐｐｉｎｇ）と言う。

ＳＬＡＭ技法のうち、映像基盤のＳＬＡＭは、映像から抽出した視覚特徴点を利用して周辺環境に対する地図を生成してロボットの姿勢を推定する。通常、移動ロボットは、ジャイロスコープと駆動モータに備えられたエンコーダを利用して推測航法（ｄｅａｄ ｒｅｃｋｏｎｉｎｇ）によって走行し、上部に設置されたカメラを利用して映像を分析して地図を生成する。このとき、ジャイロスコープとエンコーダからの走行情報による誤差が発生する場合、カメラから得られた映像情報を活用して累積する誤差が補正される。
今まで、移動ロボットの走行制御方法およびこれによる移動ロボットに対して多様な先行技術が提示されてきたが、次のような問題点が解決されずにいる。

映像から抽出された特徴点に対する記述子（ｄｅｓｃｒｉｐｔｏｒ）によって多様な方式が用いられてきたが、照明変化が大きかったり映像変化が大きかったりする場合には、強靭な性能を示すことができないという問題点が存在していた。また、移動ロボットの走行制御において、入力映像の使用が不可能な環境または移動ロボットの走行制御エラーが発生した場合には、適応的な走行制御技法が提示されることができなかった。さらに、特徴点マッチングにおいて、互いに異なる特徴点であるにもかかわらず、同じ特徴点として誤認識されるという問題が頻繁に発生していた。

本発明は、地図生成時にランドマークを登録する場合、映像から検出されたランドマークを予測ランドマークと比較し、比較誤差が許容範囲以内である信頼度の高いランドマークのみを登録する移動ロボットの地図生成方法を提供することを目的とする。

また、本発明は、地図更新時に既に登録されたランドマークを、これに対応するランドマークを検出して確率マッチングをし、そのマッチング程度に応じて既に登録されたランドマークの品質を調整し、誤登録されたランドマークを除去することができる移動ロボットの地図更新方法を提供することを他の目的とする。

上述した目的を達成するために、本発明の一実施形態に係る移動ロボットの位置認識のための地図生成方法は、移動ロボットが第１位置で得た第１映像からランドマークを検出して仮登録するステップ；前記移動ロボットが第２位置に移動して得た第２映像から対応ランドマークを抽出するステップ；移動情報と前記仮登録ランドマーク情報に基づいて前記第２映像から前記仮登録ランドマークを推定するステップ；および前記仮登録ランドマークと前記推定ランドマークのマッチング誤差を算出し、前記マッチング誤差が既に設定された基準誤差の範囲以内である場合には、前記仮登録ランドマークを本登録するステップ；を含む。

前記本登録ステップでは、前記マッチング誤差が既に設定された基準誤差の範囲を逸脱する場合には、前記第１映像は天井映像ではないと判断し、前記仮登録ランドマークを廃棄することを特徴とする。
前記第１、２映像は移動ロボットの走行対象領域の天井映像を含み、前記天井映像は複数の特徴点を含むことを特徴とする。

前記仮登録ステップは、前記第１映像を複数のサブ映像に分割し、前記複数のサブ映像の輝度変化の大きさと輝度変化の位相を算出して特徴点を検出するステップ、前記サブ映像のそれぞれで検出された複数の特徴点のうちから輝度変化と輝度変化の位相の大きさが最大である特徴点を探し、前記仮登録ランドマークとして設定するステップを含むことを特徴とする。

前記輝度変化の大きさは、前記各サブ映像の水平輝度変化と垂直輝度変化の合計に乗根をとって求めることを特徴とする。
前記輝度変化の位相は、前記各サブ映像の水平輝度変化に対する垂直輝度変化の比にアークタンジェントをとって求めることを特徴とする。
前記第１、２映像は、複数の同じランドマークを含むことを特徴とする。

前記本発明の目的を達成するために、本発明の一実施形態に係る移動ロボットの位置認識のための地図更新方法は、ａ）第１位置で第１映像を得てランドマークを抽出してランドマークを登録するステップ；ｂ）第２位置で第２映像を得て前記登録ランドマークに対応するランドマークを検出し、これと同時に位置情報を利用して前記登録ランドマークを予測するステップ；ｃ）前記検出ランドマークに対応する前記登録ランドマークの品質を検出するステップ；およびｄ）確率関数を利用して前記検出ランドマークと前記予測ランドマークのマッチング確率を算出し、前記マッチング確率および前記登録ランドマークの品質に応じて差分的に前記登録ランドマークを更新するステップ；を含む。
前記ｄ）ステップでは、前記マッチング確率が第１基準確率よりも低い場合には、前記検出ランドマークが廃棄されることを特徴とする。

前記c ) ステップでは、前記登録ランドマークの品質が基準品質よりも低い場合には、前記登録ランドマークが誤マッチング（ｆａｌｓｅ−ｐｏｓｉｔｉｖｅ ｍａｔｃｈ）によって登録されたと判断して削除されることを特徴とする。

前記ｄ）ステップでは、前記登録ランドマークの品質が基準品質よりも高い場合には、前記検出ランドマークは廃棄され、前記登録ランドマークの更新には反映しないことを特徴とする。

前記ｄ）ステップでは、前記マッチング確率が第１基準確率よりも高くて第２基準確率よりも低く、前記登録ランドマークの品質が基準品質よりも低い場合には、前記検出ランドマークが廃棄されることを特徴とする。

前記ｄ）ステップでは、前記マッチング確率が第１基準確率よりも高くて第２基準確率よりも低く、前記登録ランドマークの品質が基準品質よりも高い場合には、前記検出ランドマークを受容することを特徴とする。
前記ｄ）ステップでは、前記登録ランドマークの品質等級が現在段階よりも一段階だけ低められることを特徴とする。
前記ｄ）ステップでは、前記マッチング確率が第３基準確率よりも高い場合には、前記検出ランドマークを受容することを特徴とする。
前記ｄ）ステップでは、前記登録ランドマークの品質等級が現在段階よりも一段階だけ上昇することを特徴とする。

前記d ) ステップでは、前記検出ランドマークおよび前記予測ランドマークに基づいて前記登録ランドマークを更新し、前記移動ロボットの位置を補正することを特徴とする。

前記登録ランドマークの品質は、ランドマークの検出頻度、検出エラーに関する履歴、および検出精密度のうちの少なくともいずれか１つによって決定されることを特徴とする。
前記位置情報は、移動ロボットの走行距離、走行方向、走行時間、回転角度、および回転回数を含むことを特徴とする。
前記登録ランドマークは、前記移動ロボットの位置認識のための地図生成方法によって登録されたランドマークであることを特徴とする。

本発明は、地図生成時にランドマークを登録する場合、検出されたランドマークを登録する前に検出されたランドマークの信頼性を確認した後にランドマークとして登録するため、信頼度の高いランドマークのみを登録することができる効果がある。

また、本発明は、地図更新時に既に登録されたランドマークに対応するランドマークを検出して確率マッチングをすることにより、既に登録されたランドマークの品質を調整することができる上に信頼度を高めることができ、誤登録されたランドマークを除去することができる効果がある

図１は本発明の一実施形態が適用される移動ロボットの構成を示す図である。 図２は本発明の一実施形態に係る移動ロボットの位置認識のための地図生成および更新方法のフローチャートである。 図３は本発明の一実施形態に係る移動ロボットの位置認識のための地図生成方法の詳細フローチャートである。 図４は本発明の一実施形態に係る移動ロボットの位置認識のための地図更新方法の詳細フローチャートである。 図５は本実施形態における地域的方向記述子の生成過程を示す図である。 図６は映像のグラデーションを計算するためのウィンドウを例示した図である。 図７は映像パッチの一例（ａ）および映像パッチのサブ領域に対する地域的方向情報（ｂ）の一例を示す図である。 図８は本実施形態における特徴点抽出および識別子生成過程を示すフローチャートである。 図９は本実施形態における走行制御方法を示すフローチャートである。

以下、本発明の好ましい実施形態について、添付の図面を参照しながら詳しく説明する。まず、各図面の構成要素に参照符号を付与するにおいて、同じ構成要素に対しては、たとえ異なる図面上に表示されていても、可能な限り同じ符号を有するようにしていることに留意しなければならない。また、本発明を説明するにおいて、関連する公知構成または機能に対する具体的な説明が本発明の要旨を不明瞭にすると判断される場合には、その詳細な説明は省略する。さらに、以下で本発明の好ましい実施形態を説明するが、本発明の技術的思想がこれに限定されたり制限されるものではなく、当業者によって変形されて多様に実施されることができることは勿論である。
図１は、本発明の好ましい実施形態が適用される移動ロボットの構成を示すブロック図である。

本発明の好ましい実施形態に係る移動ロボット１００は、映像を取得する映像獲得部１１０、映像獲得部１１０で得られた映像を処理して映像内の特徴点を抽出して特徴点に対する記述子（ｄｅｓｃｒｉｐｔｏｒ）を生成する映像処理部１２０、移動ロボット１００の移動方向情報と移動距離などをセンシングするセンサ部１４０、得られた映像に基づいて移動ロボットが移動する空間に対する地図を生成し、得られた映像から抽出した特徴点に関する情報とセンサ部１４０から得られた走行情報に基づいて移動ロボットの作動を制御する主制御部１３０、および主制御部１３０の制御によってロボットを駆動するロボット駆動部1 5 0を含む。

映像獲得部１１０は、移動ロボットが位置した周辺環境に対する映像を取得する装置であって、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などのようなイメージセンサを含んで構成されることができる。本発明において、映像獲得部１１０は、上向きに配置されて天井映像を得ることができるように配置されることが好ましい。より好ましくは、映像獲得部１１０は、魚眼レンズ（ｆｉｓｈｅｙｅ ｌｅｎｓ）のような広角（ｗｉｄｅ ａｎｇｌｅ）レンズを備え、広い範囲の天井映像を得ることができるようにする。
映像処理部１２０は、映像歪曲補正部１２１、映像品質点検部１２２、特徴点抽出部１２３、および記述子生成部１２４を含む。

映像歪曲補正部１２１は、映像獲得部１１０から得られた映像の歪曲を補正する機能を実行する。映像獲得部１１０が魚眼レンズまたは広角レンズを含む場合、映像獲得部１１０を通じて得られた映像は歪曲（ｒａｄｉａｌ ｄｉｓｔｏｒｔｉｏｎ）を含む。
これにより、映像獲得部１１０は、事前に得られたカメラパラメータを利用して映像の歪曲を除去する。

映像品質点検部１２２は、得られた映像の可用性を判断する機能を実行する。映像獲得部１１０に直射光線が照射されたり映像獲得部１１０がテーブルのような障害物によって隠れたりする場合、映像獲得部１１０で得られた映像は、移動ロボットの位置認識に用いられるには不適合となることがある。これにより、映像品質点検部１２２は、得られた映像を点検し、得られた映像が不適合である場合にはこれを排除する機能を実行する。一例として、映像品質点検部１２２は、得られた映像の明度を基準とし、明度が極めて高かったり低かったりする場合には不適合な映像として処理することができる。得られた映像が排除される場合、主制御部１３０は、ジャイロスコープ１４１やエンコーダ１４２から得られた走行記録情報に基づき、移動ロボット１００の移動を制御することができる。

２つの映像を相互比較するステレオマッチング（ｓｔｅｒｅｏ ｍａｔｃｈｉｎｇ）において、映像間の変異（ｄｉｓｐａｒｉｔｙ）をｄ、焦点距離（ｆｏｃａｌ ｌｅｎｇｔｈ）をＦ、目からの映像までの距離（ｄｉｓｔａｎｃｅ ｆｒｏｍ ｅｙｅｓ）をｚとし、移動ロボットの実際移動距離をｒとするとき、これらの関係は下記の数式１のように与えられる。

映像品質点検部１２２は、追加的な機能として、映像獲得部１１０によって得られた映像の明度変化を感知し、移動ロボット１００がテーブルのような障害物の下部に移動することを感知することができる。例えば、得られた映像の明度平均および分散を利用し、移動ロボット１００の映像獲得部１１０が障害物によって遮蔽されることを感知する。

もし、移動ロボット１００がテーブルの下部に入るようになる場合であれば、映像フレームの明度平均が次第に減少しながら、明度の分散値が大きくなった後に小さくなるはずである。計算量を減少させる方法としては、映像獲得部１１０で得られた映像を移動ロボット１００の進行方向を基準として４等分し、分割された各領域の明度平均値を利用して全体映像に対する平均と分散を求めることにより、移動ロボット１００の遮蔽可否を判断することができる。

映像獲得部１１０によって遮蔽される場合には、映像を基盤とした移動ロボット１００の位置制御が不可能になるため、主制御部１３０はジャイロスコープのような慣性センサ１４１およびエンコーダ１４２情報に基づいて移動ロボット１００の移動を制御するようにする。

特徴点抽出部１２３は、映像獲得部１１０から得られた空間に対する映像から特徴点（ｆｅａｔｕｒｅ）を抽出する。特徴点としては、天井のコーナー（ｃｏｒｎｅｒ）、天井に設置されたランプ、または空間の出入口などを挙げることができる。しかし、ランプまたは出入口を利用して特徴点を抽出するためには、計算量が多くなるという短所があるため、主に天井のコーナー部分を特徴点として用いることが好ましい。ただし、本発明において、特徴点抽出部１２３から抽出される特徴点はコーナーに限定されるものではなく、上述した多くの特徴点だけではなく、空間に存在する多様な客体を特徴点として活用できることは勿論である。
特徴点としてコーナーを抽出する技法を説明すれば、次のとおりとなる。

コーナー抽出技法の一例としては、ハリスコーナー検出法を例示することができるが、Ｃｈｒｉｓ Ｈａｒｒｉｓ ａｎｄ Ｍｉｋｅ Ｓｔｅｐｈｅｎｓは、"Ａ Ｃｏｍｂｉｎｅｄ Ｃｏｒｎｅｒ ａｎｄ Ｅｄｇｅ Ｄｅｔｅｃｔｏｒ（Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ｔｈｅ Ｆｏｕｒｔｈ Ａｌｖｅｙ Ｖｉｓｉｏｎ Ｃｏｎｆｅｒｅｎｃｅ、Ｍａｎｃｈｅｓｔｅｒ、ｐｐ１４７−１５１．１９８８）"において、映像からコーナーを抽出する方法を提示した。Ｈａｒｒｉｓなどの方法は、映像からエッジ（ｅｄｇｅ）に沿った移動（ｓｈｉｆｔ）は特別に差がないが、エッジに垂直となる方向への移動は大きい差を発生させるということと、コーナーではすべての方向への移動が大きい差を発生させるという点に着眼した。
映像のインテンシー（ｉｎｔｅｎｓｉｔｙ）をＩ、映像での移動（ｘ、ｙ）による変化をＥとするとき、Ｅは下記の数式２のように与えられる。

前記数式１において、ｗはイメージウィンドウ（ｉｍａｇｅ ｗｉｎｄｏｗ）を示す。

前記数式２は数式３のように表現することができ、数式３において、行列Ｍは映像インテンシーのグラデーション（ｇｒａｄｉｅｎｔ）を示し、数式４によって求められる。

行列Ｍの固有値（ｅｉｇｅｎｖａｌｕｅ）を求め、その大きさがそれぞれ一定の大きさ以上であり、その相対的な比が一定の大きさ以下であれば、すべての方向に映像のインテンシー変化が甚だしいと判定することができる。これをコーナーの反応関数（ｒｅｓｐｏｎｓｅ ｆｕｎｃｔｉｏｎ）として定義し、数式４のように表現する。

数式５において、Ｒ値が０よりも大きくてＲ値が極大点（ｌｏｃａｌ Ｍａｘｉｍａ）となる点をコーナーとして決定することができる。

記述子生成部１２４は、特徴点抽出部１２３で抽出された特徴点に対する記述子を生成する機能を実行する。特徴点に対する記述子としては、ＳＩＦＴ（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）またはＳＵＲＦ（Ｓｐｅｅｄｅｄ Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ）などが活用されることができる。ＳＩＦＴ記述子は、特徴点周辺の映像の輝度変化分布などを利用して特徴点を表現する方式である。ＳＵＲＦ記述子は、Ｈｅｒｂｅｒｔ Ｂａｙなどが２００６年に提案したものであり、ＳＩＦＴに比べて記述子の次元を減らして速度を向上させ、Ｈａａｒ Ｗａｖｅｌｅｔ適用により、単純グラデーションに比べて強靭であるという特徴がある。
主制御部１３０は、特徴点管理部１３１、地図管理部１３２、および走行制御部１３３を含む。

特徴点管理部１３１は、新規で得られた特徴点に対する情報を特徴点データベース（図示せず）に登録する機能を実行する一方、得られた映像から抽出された特徴点を特徴点データベースに既に登録された特徴点とマッチングし、一致する特徴点を検出する機能を実行する。特徴点管理部１３１で実行する特徴点マッチングは、特徴点を表象する記述子間のユークリッド距離（Ｅｕｃｌｉｄｉａｎ Ｄｉｓｔａｎｃｅ）を計算して判別することができる。

地図管理部１３２は、移動ロボット１００の映像獲得部１１０で得られた映像、移動ロボット１００の移動方向と距離などの走行情報、特徴点の位置などに基づき、移動ロボット１００が位置した空間に対する地図を生成して更新する機能を実行する。場合によっては、前記空間に対する地図が移動ロボット１００に予め提供されることがあるが、この場合には、空間に位置した障害物などの情報と特徴点情報に基づき、地図管理部１３２は地図を継続して更新するようにできる。

走行制御部１３３は、移動ロボット１００の現在位置および走行情報に基づいて移動ロボット１００の走行を制御する機能を実行する。移動ロボット１００の走行のための一実施形態として、移動ロボット１００は、左輪（図示せず）と右輪（図示せず）を備え、左輪と右輪の駆動のためのロボット駆動部１５０として左輪駆動モータ（図示せず）と右輪駆動モータ（図示せず）を備えることができる。走行制御部１３３は、左輪駆動モータと右輪駆動モータそれぞれの回転を制御することにより、移動ロボット１００の前進、後進、左折、および右折などの走行が可能になるようにできる。この場合、左輪駆動モータと右輪駆動モータにはそれぞれエンコーダ１４２が備えられ、左輪駆動モータと右輪駆動モータの駆動情報を得る。

一方、前記走行制御部１３３は、拡張カルマンフィルタ（ＥＫＦ：Ｅｘｔｅｎｄｅｄ Ｋａｌｍａｎ Ｆｉｌｔｅｒ）を活用し、現在特徴点の位置と移動ロボットの位置に基づいて以後の特徴点の位置と移動ロボットの位置を予測することにより、移動ロボット１００の走行を制御するように設計されることができる。

上述した構成において、慣性センサ１４１は、慣性を感知して移動ロボット１００のヘディング（ｈｅａｄｉｎｇ）方向を確認できるようにするが、慣性センサ１４１のセンシング情報とエンコーダ１４２のセンシング情報は、移動ロボット１００の走行情報（ｏｄｏｍｅｔｒｙ）を構成する。もし、慣性センサ１４１のセンシング情報とエンコーダ１４２のセンシング情報が正確であれば、移動ロボット１００は、これらから得られた走行情報だけで完璧に制御されることができるであろう。しかし、実際環境では、駆動タイヤのスリップ（ｓｌｉｐ）やセンサ情報のエラーにより、移動ロボット１００の実際位置と前記走行情報に基づいて計算された位置が異なることがある。このような誤差は、映像獲得部１１０によって得られた映像を共に利用すれば補正されることができる。
上述したように、本発明に係る移動ロボット１００の記述子生成部１２４は、映像の特徴点に対する記述子を生成する。

地域的方向記述子は、特徴点周辺のグラデーション（ｇｒａｄｉｅｎｔ）を通じて地域的方向（ｌｏｃａｌ ｏｒｉｅｎｔａｔｉｏｎ）を導き出し、地域的方向間の関係に基づいて生成されることを特徴とする。
以下、図２〜図４を参照しながら、本発明の実施形態に係る移動ロボットの位置認識のための地図生成および更新方法を詳しく説明する。

図２は、本発明の一実施形態に係る移動ロボットの位置認識のための地図生成および更新方法のフローチャートである。図３は、本発明の一実施形態に係る移動ロボットの位置認識のための地図生成方法の詳細フローチャートである。図４は、本発明の一実施形態に係る移動ロボットの位置認識のための地図更新方法の詳細フローチャートである。

図２〜図４を参照すれば、本発明の実施形態に係る移動ロボットの位置認識のための地図生成および更新方法は、映像獲得部１１０を通じて走行または掃除対象領域の天井が含まれた周辺映像を少なくとも２フレーム以上を得て（Ｓ１００）、前記得られたそれぞれの映像から特徴点を抽出し（Ｓ２００）、前記抽出された特徴点を利用してランドマークを抽出し、抽出されたランドマークは確率検定を通じて登録することによって地図を生成し（Ｓ３００）、登録されたランドマークは、走行または掃除過程で得られた映像から抽出されたランドマークと登録されたランドマークに対する予測ランドマークとの確率マッチングを通じ、誤認識として登録されたランドマークを削除したりランドマークの信頼度を変更することによって地図を更新する（Ｓ４００）。

本発明の実施形態に係る移動ロボットの位置認識のための地図生成方法は、移動ロボット１００が第１位置で得た第１映像からランドマークを検出して仮登録するステップ（Ｓ３１０、Ｓ３２０）、前記移動ロボットが第２位置に移動して得た第２映像から対応ランドマークを抽出するステップ（Ｓ３３０）、移動情報と前記仮登録ランドマーク情報に基づいて前記第２映像から前記仮登録ランドマークを推定するステップ（Ｓ３４０）、および前記仮登録ランドマークと前記推定ランドマークのマッチング誤差を算出し、前記マッチング誤差が既に設定された基準誤差の範囲以内である場合には、前記仮登録ランドマークを本登録するステップ（Ｓ３６０）を含む。

前記仮登録ステップ（Ｓ３２０）では、前記第１映像を複数のサブ映像に分割し、前記複数のサブ映像の輝度変化の大きさと輝度変化の位相を算出して特徴点を検出し、前記サブ映像のそれぞれで検出された複数の特徴点のうちから輝度変化と輝度変化の位相の大きさが最大である特徴点を探して前記仮登録ランドマークとして設定するようになる。前記特徴点を抽出して極大点としてランドマークを抽出する過程は、本発明の後半で詳しく説明する。

前記本登録ステップ（Ｓ３６０）では、前記マッチング誤差が既に設定された基準誤差の範囲を逸脱する場合には、前記第１映像は天井映像ではないと判断し、前記仮登録ランドマークを廃棄する（Ｓ３７０）。

前記第１、２映像はロボットの走行対象領域の天井映像であって、複数の特徴点を含むことが好ましく、さらに前記第１、２映像は複数の同じランドマークを含むことが好ましい。

本実施形態では、前記輝度変化の大きさは前記各サブ映像の水平輝度変化と垂直輝度変化の合計に乗根をとって求め、前記輝度変化の位相は前記各サブ映像の水平輝度変化に対する垂直輝度変化の比にアークタンジェントをとって求める。

本発明の実施形態に係る移動ロボットの位置認識のための地図更新方法は、ａ）第１位置で第１映像を得てランドマークを抽出してランドマークを登録し、ｂ）第２位置で第２映像を得て前記登録ランドマークに対応するランドマークを検出し（Ｓ４１０）、これと同時に位置情報を利用して前記登録ランドマークを予測し（Ｓ４２０）ｃ）前記検出ランドマークに対応する前記登録ランドマークの品質を検出し、ｄ）確率関数を利用して前記検出ランドマークと前記予測ランドマークのマッチング確率を算出し（Ｓ４３０）、前記マッチング確率および前記登録ランドマークの品質に応じて差分的に前記登録ランドマークを更新する（Ｓ４４０〜Ｓ４６３）。
図４を参照しながら、本発明の一実施形態に係る移動ロボットの位置認識のための地図更新方法を詳しく説明する。

前記移動ロボット１００は、第１位置で第１映像を得てランドマークを抽出してランドマークを登録し、前記第１位置から移動した後、第２位置で第２映像を得る。前記移動ロボット１００は、前記第２映像で前記登録ランドマークに対応するランドマークを検出し（Ｓ４１０）、これと同時に移動情報を利用して前記登録ランドマークを予測する（Ｓ４２０）。前記移動ロボット１００は、確率関数を利用して、前記検出ランドマークと前記予測ランドマークのマッチング確率を算出する（Ｓ４３０）。

本実施形態語では、確率関数として、上述したり後述したりするガウンシアンフィルタまたはＥＫＦ確率関数が適用されたが、カルマンフィルタまたは隠れマルコフモデル（ＨＭＭ）などの他の確率関数が適用されることも可能である。

前記移動ロボット１００は、前記マッチング確率の結果により、前記検出されたランドマークの処理領域を、マッチング確率が最も低い第１領域、マッチング確率が中間程度である第２領域、およびマッチング確率が高い第３領域という３つの領域に分類する（Ｓ４４０、Ｓ４５０）。

前記第１領域は、前記マッチング確率が第１基準確率よりも低い場合に該当するが、この場合には、前記検出ランドマークに対応する登録ランドマークの品質を基準品質と比較する（Ｓ４４１）。

前記比較結果により、前記登録ランドマークの品質が基準品質よりも低い場合には、前記検出ランドマークは前記登録ランドマークの更新に活用されずに廃棄され（Ｓ４４３）、これと同時に、前記登録ランドマークが誤マッチング（ｆａｌｓｅ−ｐｏｓｉｔｉｖｅ ｍａｔｃｈ）によって登録されたと判断して削除される（Ｓ４４４）。しかし、前記登録ランドマークの品質が基準品質よりも高い場合には、前記検出ランドマークは廃棄され（Ｓ４４６）、前記登録ランドマークの更新には反映せず、前記登録ランドマークは保存する。ただし、前記登録ランドマークの品質等級は、現在ステップよりも一ステップ低まるようになる（Ｓ４４５）。

前記第２領域は、前記マッチング確率が第１基準確率よりも高くて第２基準確率より低い場合に該当するが（Ｓ４５０）、この場合にも、前記検出ランドマークに対応する登録ランドマークの品質を基準品質と比較する（Ｓ４５１）。

前記比較結果により、前記登録ランドマークの品質が基準品質よりも低い場合には、前記検出ランドマークは廃棄され（Ｓ４４６）、前記登録ランドマークの更新には反映せず、前記登録ランドマークは保存する。ただし、この場合にも、前記登録ランドマークの品質等級は、現在ステップより一ステップ低まるようになる（Ｓ４４５）。

しかし、前記登録ランドマークの品質が基準品質よりも高い場合には、前記検出ランドマークを受容し（Ｓ４６２）、前記検出されたランドマークに基づいて前記登録ランドマークを更新する（Ｓ４６３）。ただし、この場合にも、前記登録ランドマークの品質等級は、現在ステップよりも一ステップ低まるようになる（Ｓ４５３）。

前記第３領域は、前記マッチング確率が第３基準確率よりも高い場合に該当し、前記検出ランドマークを受容する。この場合には、前記登録ランドマークの品質に係らず、前記検出ランドマークに対応する登録ラドマークと優秀なランドマークに該当するため、前記登録ランドマークの品質等級は現在ステップよりも一ステップ上昇するようになる。
ここで、前記第１基準確率は、前記第２基準確率よりも低い値を有する。
前記移動ロボット１００は、前記検出ランドマークおよび前記予測ランドマークに基づいて前記登録ランドマークを更新し、自身の位置を補正するようになる。

前記登録ランドマークの品質は、ランドマークの検出頻度、検出エラーに関する履歴、および検出精密度のうちの少なくともいずれか１つによって決定される。前記位置情報は、移動ロボットの走行距離、走行方向、走行時間、回転角度、および回転回数を含む。
図５は、本発明の実施形態で適用された移動ロボットにおいて、地域的方向記述子の生成過程を示す図である。

映像獲得部１１０から得られた映像の入力を受け（Ｓ５１０）、映像の各ピクセルに対するグラデーションを計算する（Ｓ５２０）。グラデーション計算は、映像内の各ピクセルに対して図６のようなウィンドウを適用し、水平グラデーション（ｄｘ）および垂直グラデーション（ｄｙ）を計算することによってなされることができる。水平グラデーション（ｄｘ）は、水平ウィンドウの各値をピクセルのインテンシー値に掛けた合計で求めることができ、垂直グラデーション（ｄｙ）は、垂直ウィンドウの各値をピクセルのインテンシー値に掛けた合計で求めることができる。

特徴点抽出部１２３で抽出された特徴点（好ましくはコーナー）の座標の入力を受け（Ｓ５３０）、特徴点を中心とした映像パッチを設定する（Ｓ５４０）。映像パッチを設定するにおいて、一実施形態では９×９ピクセルを特定することができる。ただし、実際実施において、映像パッチの大きさが上述したものに限定されるものではなく、入力映像と適用環境に応じて可変的であることは勿論である。

映像パッチ内の各ピクセルに対するグラデーションを利用し、各ピクセルでグラデーションの位相（ｐｈａｓｅ）と大きさ（ｍａｇｎｉｔｕｄｅ）を計算する（Ｓ５５０）。位相は数式５によって、大きさは数式６によって計算されることができる。数式６と７において、ｄｘは特定ピクセルに対する水平グラデーションであり、ｄｙは特定ピクセルに対する垂直グラデーションである。

次に、映像パッチをさらに小さい領域に再分割し、複数のサブ領域（Ｓｕｂ Ｒｅｇｉｏｎ）を生成する（Ｓ５６０）。発明の実施において、９×９映像パッチの場合には、３×３サブ領域に分割し、９つのサブ領域に区分することができる。

それぞれのサブ領域に対し、サブ領域を構成する各ピクセル別の位相に対するヒストグラム（ｈｉｓｔｏｇｒａｍ）を作成し、これに対するピーク値による位相を該当するサブ領域の地域的方向として指定する（Ｓ５７０）。図７（ａ）は映像パッチの一例を示し、（ｂ）は映像パッチのサブ領域に対する地域的方向情報を示す。図７（ｂ）の場合、合計９つの地域的方向情報が抽出されたことを確認することができる。
移動ロボット１００の走行制御に適用すれば、次のとおりとなる。

移動ロボット１００は、慣性センサ１４１とエンコーダ１４２の走行情報に基づいて位置を推定し、リアルタイムで地図を生成する。走行制御部１３３は、ＥＫＦを活用して移動ロボット１００の移動方向と移動距離から推定されたマッチング範囲を利用し、映像獲得部１１０で順に得られる映像間の特徴点マッチングを実行する。走行制御部１３３のＥＫＦによって予測される範囲内で移動ロボット１００の位置および走行を制御するが、映像獲得部１１０で得られた映像を処理して特徴点を抽出して特徴点に対する記述子を生成し、生成された記述子を利用して特徴点マッチングを実行することによって移動ロボット１００の正確な位置を推定し、走行情報（ｏｄｏｍｅｔｒｙ）による移動ロボット１００の位置を補正する。
以上の説明による移動ロボット１００の走行制御方法を説明すれば、次のとおりとなる。
図８は、本実施形態に係る移動ロボットの位置認識および走行制御方法において、特徴点抽出および識別子生成過程を示すフローチャートである。

映像獲得部１１０は、移動ロボット１００の周辺環境に対する映像を得る（Ｓ６１０）。映像歪曲補正部１２１は、得られた映像の歪曲を補正する（Ｓ６２０）。映像品質点検部１２２は、映像品質を点検し（Ｓ６３０）、映像品質が特徴点抽出に適合する場合にのみ、次のステップが実行される。

特徴点抽出部１２３は入力映像から特徴点を抽出し（Ｓ６４０）、記述子生成部は特徴点に対する記述子を生成した後（Ｓ６５０）、特徴点管理部１３１は生成された特徴点が新規である場合、これを登録して管理する（Ｓ６６０）。

一方、特徴点抽出部１２３で抽出された特徴点が核心領域特徴点に該当すると判定される場合、核心領域特徴点に対する記述子を生成し、特徴点管理部１３１は、核心領域特徴点が新規である場合、これを登録して管理する。
図９は、本実施形態に係る移動ロボットの位置認識および走行制御方法において、走行制御方法を示すフローチャートである。

映像獲得部１１０で得られた入力映像に対する特徴点を抽出し、これに対する記述子を生成する（Ｓ７１０）。次に、入力映像に対して生成された記述子を利用して、入力映像の特徴点と登録された特徴点とのマッチングを実行する（Ｓ７２０）。
一方、主制御部１３０は、慣性センサ１４１およびエンコーダ１４２から移動ロボット１００の走行情報の入力を受ける（Ｓ７３０）。

走行制御部１３３は、移動ロボット１００の走行情報に基づいて移動ロボットの位置を予測し、入力された映像に基づいて移動ロボットの位置を補正して移動ロボットの走行を制御する（Ｓ７４０）。

特徴点管理部１３１は、映像獲得部１１０で新規で得られた映像から抽出した特徴点と既に登録された特徴点をマッチングして特徴点が一致するかを判断するが、特徴点の誤認識が頻繁に発生する。このような特徴点誤認識を防ぐために、本発明は、上述した地域的方向情報と慣性センサ１４１を利用した移動ロボット１００の走行方向（ｈｅａｄｉｎｇ）情報を共に活用する方案を提案する。

以上の説明は、本発明の技術思想を例示的に説明したものに過ぎず、本発明が属する技術分野において通常の知識を有する者であれば、本発明の本質的な特性から逸脱しない範囲内で、多様な修正、変更、および置換が可能であろう。したがって、本発明に開示された実施形態および添付の図面は、本発明の技術思想を限定するためではなく説明するためのものであり、このような実施形態および添付の図面によって本発明の技術思想の範囲が限定されることはない。本発明の保護範囲は、添付の特許請求の範囲によって解釈されなければならず、これと同等な範囲内にあるすべての技術思想は、本発明の権利範囲に含まれると解釈すべきである。

Claims (12)

1. 移動ロボットが第１位置で得た第１映像からランドマークを検出して仮登録するステップとして、前記第1 映像を複数のサブ映像に分割し、前記複数のサブ映像の輝度変化の大きさと輝度変化の位相を算出して特徴点を検出するステップ、及び、前記サブ映像のそれぞれで検出された複数の特徴点の中から輝度変化と輝度変化の位相の大きさが最大である特徴点を探し、前記仮登録ランドマークとして設定するステップを含み、前記輝度変化の大きさは、前記各サブ映像の水平輝度変化と垂直輝度変化の合計に乗根を取って求め、前記輝度変化の位相は、前記各サブ映像の水平輝度変化に対する垂直輝度変化の比にアークタンジェントをとって求めるステップ；
   前記移動ロボットが第２位置に移動して得た第２映像から対応ランドマークを抽出するステップ；
   移動情報と前記仮登録ランドマーク情報に基づいて前記第２映像から前記仮登録ランドマークを推定するステップ；および
   前記仮登録ランドマークと前記推定ランドマークのマッチング誤差を算出し、前記マッチング誤差が既に設定された基準誤差の範囲以内である場合には、前記仮登録ランドマークを本登録するステップ；
   を含む、移動ロボットの位置認識のための地図生成方法。
2. 前記本登録ステップでは、
   前記マッチング誤差が既に設定された基準誤差の範囲を逸脱する場合には、前記第１映像は天井映像ではないと判断し、前記仮登録ランドマークを廃棄することを特徴とする、請求項１に記載の移動ロボットの位置認識のための地図生成方法。
3. 前記第１、２映像は移動ロボットの走行対象領域の天井映像を含み、前記天井映像は複数の特徴点を含むことを特徴とする、請求項２に記載の移動ロボットの位置認識のための地図生成方法。
4. 前記第１、２映像は、複数の同じランドマークを含むことを特徴とする、請求項３に記載の移動ロボットの位置認識のための地図生成方法。
5. ａ）第１位置で第１映像を得て、前記第1 映像を複数のサブ映像に分割し、前記複数のサブ映像の輝度変化の大きさと輝度変化の位相を算出し特徴点を検出し、前記サブ映像のそれぞれで検出された複数の特徴点の中から輝度変化と輝度変化の位相の大きさが最大である特徴点でランドマークを抽出してランドマークを登録するステップであり、前記輝度変化の大きさは、前記各サブ映像の水平輝度変化と垂直輝度変化の合計に乗根をとって求め、 前記輝度変化の位相は、前記各サブ映像の水平輝度変化に対する垂直輝度変化の比にアークタンジェントを取って求めるステップ；
   ｂ）第２位置で第２映像を得て前記登録ランドマークに対応するランドマークを検出し、これと同時に移動ロボットの走行距離、走行方向、走行時間、回転角度及び、回転回数を含む位置情報を利用して前記登録ランドマークを予測するステップ；
   ｃ）前記検出ランドマークに対応する前記登録ランドマークの品質を検出するステップとし、前記登録ランドマークの品質は、ランドマークの検出頻度、検出エラーに関する履歴及び検出精密度のうちのいずれか1つによって決定されるステップ；および
   ｄ）確率関数を利用して前記検出ランドマークと前記予測ランドマークのマッチング確率を算出し、前記マッチング確率および前記登録ランドマークの品質に応じて差分的に前記登録ランドマークを更新するステップ；
   を含む、移動ロボットの位置認識のための地図更新方法。
6. 前記ｄ）ステップは、
   前記マッチング確率が第１基準確率よりも低い場合には、前記検出ランドマークを廃棄することを特徴とする、請求項５に記載の移動ロボットの位置認識のための地図更新方法。
7. 前記ｃ）ステップは、
   前記登録ランドマークの品質が基準品質よりも低い場合には、前記登録ランドマークが誤マッチング（ｆａｌｓｅ−ｐｏｓｉｔｉｖ ｅｍａｔｃｈ）によって登録されたと判断して削除されることを特徴とする、請求項６に記載の移動ロボットの位置認識のための地図更新方法。
8. 前記ｄ）ステップは、
   前記登録ランドマークの品質が基準品質よりも高い場合には、前記検出ランドマークを廃棄し、前記検出ランドマークを前記登録ランドマークに反映しないことを特徴とする、請求項６に記載のロボットの位置認識のための地図更新方法。
9. 前記ｄ）ステップは、
   前記マッチング確率が第１基準確率よりも高くて第２基準確率よりも低い場合に、前記登録ランドマークの品質が基準品質よりも低ければ、前記検出ランドマークを廃棄することを特徴とする、請求項５に記載の移動ロボットの位置認識のための地図更新方法。
10. 前記ｄ）ステップは、
    前記マッチング確率が第１基準確率よりも高くて第２基準確率よりも低く、前記登録ランドマークの品質が基準品質よりも高い場合には、前記検出ランドマークを受容することを特徴とする、請求項５に記載の移動ロボットの位置認識のための地図更新方法。
11. 前記ｄ）ステップでは、
    前記登録ランドマークの品質等級が現在ステップよりも一ステップ低められることを特徴とする、請求項５に記載の移動ロボットの位置認識のための地図更新方法。
12. 前記ｄ）ステップは、
    前記マッチング確率が第３基準確率よりも高い場合に、前記検出ランドマークを受容することを特徴とする、請求項５に記載の移動ロボットの位置認識のための地図更新方法。