JP2005121641A

JP2005121641A - 人工標識生成方法、移動ロボットの自己位置及び方位角の推定方法、移動ロボットの自己位置及び方位角の推定装置、移動ロボット及び推定プログラム

Info

Publication number: JP2005121641A
Application number: JP2004270092A
Authority: JP
Inventors: Sungi Hong; 先基洪; Seok-Won Bang; 錫元方; Dong Ryeol Park; 東烈朴
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2003-09-16
Filing date: 2004-09-16
Publication date: 2005-05-12
Anticipated expiration: 2024-09-16
Also published as: EP1517210A3; EP1517210A2; KR20050027858A; JP4533065B2; KR100552691B1; CN1598610B; US20050065655A1; EP1517210B1; US7765027B2; CN1598610A

Abstract

【課題】暗い照明や照明の明るさの変化の激しい環境でも適用され得る人工標識生成方法と、移動ロボットの自己位置及び方位角の推定方法、推定装置及び推定プログラムを提供する。
【解決手段】移動ロボットの自己位置及び方位角の推定装置は、天井映像獲得部と標識検出部と位置及び方位角推定部とを備え、天井映像獲得部は、移動ロボットが走行する場所の天井映像を獲得し、標識検出部は、人工標識の位置を天井映像から検出する。位置及び方位角推定部は、人工標識の位置の情報及びエンコーダセンサーにより取得された情報のいずれかに基づいて、移動ロボットの位置及び方位角を推定する。人工標識は、第１標識と第２標識とを有し、第２標識は、第１標識と所定距離離隔されている。第１標識及び第２標識は、無反射部分と赤外線反射部分とをそれぞれ有し、赤外線反射部分は赤外線を再帰的に反射する。
【選択図】図２

Description

本発明は、人工標識生成方法、移動ロボットの自己位置及び方位角の推定方法、移動ロボットの自己位置及び方位角の推定装置、移動ロボット及び推定プログラムに関する。

移動ロボットと関連して人工標識を利用した自己位置及び方位角の推定方法は、次の４種に分類されうる。第１に、反射体及びビジョンが利用される方法であって、その例が、特許文献１に開示されている。特許文献１の技術では、天井に再帰反射型標識が付着され、ＡＧＶ（ＡｕｔｏｍａｔｉｃＧｕｉｄｅｄＶｅｈｉｃｌｅ）が廊下などに沿って走行できるように構成されており、廊下の中心を探してロボットの方向及び位置が決定される。第２に、反射体のみ利用されるがビジョンが利用されない方法であって、その例が、特許文献２と特許文献３とに開示されている。第３に、ビジョンが利用され反射体の代わりに特定パターンが利用される方法であって、その例が、特許文献４と特許文献５と特許文献６とに開示されている。ここで、特許文献５の技術では、円が標識と設定され、標識の認識を通じてロボットがローカリゼーション（特に、他の背景と区別される円形のパターン）で円の半径比が利用されてロボットの姿勢及び距離情報が得られる。一方、特許文献６では、２つの標識よりなった基準標識が利用されてロボットの位置が検出され、ラインレーザーが利用されて障害物の形態が認識される。第４に、ビジョンが利用され、反射体の代わりに発光源が利用される方法であって、その例が、特許文献７に開示されている。
米国特許第５,０５１,９０６号公報米国特許第５,８１２,２６７号公報米国特許第５,４６７,２７３号公報米国特許第５,５２５,８８３号公報米国特許第５,９１１,７６７号公報米国特許第６,４９６,７５４号公報米国特許第４,７９７,５５７号公報

しかし、従来の方法では、ロボットの位置した全体環境内で全域的な自己位置及び方位角の推定が困難である傾向がある。さらに、照明変化によって自己位置及び方位角の推定性能差が大きくなる傾向があるために、家庭を含む一般的な室内環境に適用され難いおそれがある。

本発明が解決しようとする技術的課題は、暗い照明や照明の明るさの変化の激しい環境でも適用され得る人工標識生成方法、移動ロボットの自己位置及び方位角の推定方法、移動ロボットの自己位置及び方位角の推定装置、移動ロボット及び推定プログラムを提供することにある。

第１発明に係る人工標識生成方法は、第１ステップと第２ステップとを備える。第１ステップでは、第１標識が形成される。第２ステップでは、第１標識と所定距離離隔されて第２標識が形成される。第１標識は、第１無反射部分と第１赤外線反射部分とを有する。第１赤外線反射部分は、赤外線を再帰的に反射する。第２標識は、第２無反射部分と第２赤外線反射部分とを有する。第２赤外線反射部分は、赤外線を再帰的に反射する。

この人工標識生成方法では、第１ステップにおいて、第１標識が形成される。第２ステップにおいて、第１標識と所定距離離隔されて第２標識が形成される。第１標識が、第１無反射部分と第１赤外線反射部分とを有する。第２標識が、第２無反射部分と第２赤外線反射部分とを有する。第１赤外線反射部分と第２赤外線反射部分とが区別可能なように形成されれば、現在の環境が照明の暗い状態であっても、第１標識及び第２標識の位置と移動ロボットの位置との相対的な位置関係を把握することができる。また、第１無反射部分と第２無反射部分とが区別可能なように形成されれば、現在の環境が照明の明るい状態であっても、第１標識及び第２標識の位置と移動ロボットの位置との相対的な位置関係を把握することができる。さらに、現在の環境が照明の明るさの変化が激しい状態であっても、第１標識及び第２標識の位置と移動ロボットの位置との相対的な位置関係を把握することができる。

したがって、暗い照明や照明の明るさの変化の激しい環境でも第１標識及び第２標識の位置と移動ロボットの位置との相対的な位置関係を把握することができるので、暗い照明や照明の明るさの変化の激しい環境でも自己位置及び方位角を推定することができる。このため、移動ロボットを暗い照明や照明の明るさの変化の激しい環境でも適用することができる。

第３発明に係る移動ロボットの自己位置及び方位角の推定方法は、第３ステップと第４ステップと第５ステップとを備える。第３ステップでは、移動ロボットが走行する場所の天井映像が獲得される。第４ステップでは、人工標識の位置が天井映像から検出される。第５ステップでは、人工標識の位置の情報及びエンコーダセンサーにより取得された情報のいずれかに基づいて、移動ロボットの位置及び方位角が推定される。人工標識は、第１標識と第２標識とを有する。第２標識は、第１標識と所定距離離隔されて形成されている。第１標識は、第１無反射部分と第１赤外線反射部分とを有する。第１赤外線反射部分は、赤外線を再帰的に反射する。第２標識は、第２無反射部分と第２赤外線反射部分とを有する。第２赤外線反射部分は、赤外線を再帰的に反射する。

この移動ロボットの自己位置及び方位角の推定方法では、第３ステップにおいて、移動ロボットが走行する場所の天井映像が獲得される。第４ステップにおいて、人工標識の位置が天井映像から検出される。人工標識が、第１標識と第２標識とを有する。第１標識が、第１無反射部分と第１赤外線反射部分とを有する。第２標識が、第２無反射部分と第２赤外線反射部分とを有する。第１赤外線反射部分と第２赤外線反射部分とが区別可能なように形成されれば、現在の環境が照明の暗い状態であっても、第１標識及び第２標識の位置と移動ロボットの位置との相対的な位置関係を把握することができる。また、第１無反射部分と第２無反射部分とが区別可能なように形成されれば、現在の環境が照明の明るい状態であっても、第１標識及び第２標識の位置と移動ロボットの位置との相対的な位置関係を把握することができる。さらに、現在の環境が照明の明るさの変化が激しい状態であっても、第１標識及び第２標識の位置と移動ロボットの位置との相対的な位置関係を把握することができる。第５ステップにおいて、人工標識の位置の情報及びエンコーダセンサーにより取得された情報のいずれかに基づいて、移動ロボットの位置及び方位角が推定される。

第１０発明に係る移動ロボットの自己位置及び方位角の推定装置は、天井映像獲得部と標識検出部と位置及び方位角推定部とを備える。天井映像獲得部は、移動ロボットが走行する場所の天井映像を獲得する。標識検出部は、人工標識の位置を天井映像から検出する。位置及び方位角推定部は、人工標識の位置の情報及びエンコーダセンサーにより取得された情報のいずれかに基づいて、移動ロボットの位置及び方位角を推定する。人工標識は、第１標識と第２標識とを有する。第２標識は、第１標識と所定距離離隔されて形成されている。第１標識は、第１無反射部分と第１赤外線反射部分とを有する。第１赤外線反射部分は、赤外線を再帰的に反射する。第２標識は、第２無反射部分と第２赤外線反射部分とを有する。第２赤外線反射部分は、赤外線を再帰的に反射する。

この移動ロボットの自己位置及び方位角の推定装置では、天井映像獲得部が、移動ロボットが走行する場所の天井映像を獲得する。標識検出部が、天井映像の情報を受け取ることができる。標識検出部が、人工標識の位置を天井映像から検出する。人工標識が、第１標識と第２標識とを有する。第１標識が、第１無反射部分と第１赤外線反射部分とを有する。第２標識が、第２無反射部分と第２赤外線反射部分とを有する。第１赤外線反射部分と第２赤外線反射部分とが区別可能なように形成されれば、現在の環境が照明の暗い状態であっても、第１標識及び第２標識の位置と移動ロボットの位置との相対的な位置関係を把握することができる。また、第１無反射部分と第２無反射部分とが区別可能なように形成されれば、現在の環境が照明の明るい状態であっても、第１標識及び第２標識の位置と移動ロボットの位置との相対的な位置関係を把握することができる。さらに、現在の環境が照明の明るさの変化が激しい状態であっても、第１標識及び第２標識の位置と移動ロボットの位置との相対的な位置関係を把握することができる。位置及び方位角推定部が、人工標識の位置の情報及びエンコーダセンサーにより取得された情報のいずれかに基づいて、移動ロボットの位置及び方位角を推定する。

第１発明に係る人工標識生成方法では、暗い照明や照明の明るさの変化の激しい環境でも第１標識及び第２標識の位置と移動ロボットの位置との相対的な位置関係を把握することができるので、暗い照明や照明の明るさの変化の激しい環境でも自己位置及び方位角を推定することができる。このため、移動ロボットを暗い照明や照明の明るさの変化の激しい環境でも適用することができる。

第３発明に係る移動ロボットの自己位置及び方位角の推定方法では、暗い照明や照明の明るさの変化の激しい環境でも第１標識及び第２標識の位置と移動ロボットの位置との相対的な位置関係を把握することができるので、暗い照明や照明の明るさの変化の激しい環境でも自己位置及び方位角を推定することができる。このため、移動ロボットを暗い照明や照明の明るさの変化の激しい環境でも適用することができる。

第１０発明に係る移動ロボットの自己位置及び方位角の推定装置では、暗い照明や照明の明るさの変化の激しい環境でも第１標識及び第２標識の位置と移動ロボットの位置との相対的な位置関係を把握することができるので、暗い照明や照明の明るさの変化の激しい環境でも自己位置及び方位角を推定することができる。このため、移動ロボットを暗い照明や照明の明るさの変化の激しい環境でも適用することができる。

以下、図面を参照して本発明による望ましい実施形態に対してより詳細に説明する。

図１Ａは、本発明で使われる人工標識１００の一例を示す図面であって、再帰反射型の第１標識１１０及び第２標識１２０よりなる。第１標識１１０の外側部分１１１と第２標識１２０の内側部分１２３とは、任意の色、例えば黒色で塗布された部分であり無反射部分である。第１標識１１０の内側部分１１３と第２標識１２０の外側部分１２１とは、赤外線を再帰的に反射する赤外線反射部分である。一実施形態では、人工標識１００が、移動ロボットが所定の作業を実行させるために走行する場所における天井の中央部分に位置することが望ましい。また、第１標識１１０及び第２標識１２０は、それぞれ、外径が１１ｃｍ、内径が５ｃｍである。第１標識１１０と第２標識１２０との間の距離ｄは、７０ｃｍで構成できるが、必ずしもこれに限定されるものではない。第１標識１１０及び第２標識１２０は、所定距離だけ離隔された円形よりなるが、必ずしもこれに限定されるものではない。

図１Ａのようなパターンの人工標識１００が使用されると、照明の明るい昼の場合、図１Ｂに示すように、第１標識１１０の外側部分１１１と第２標識１２０の内側部分１２３と（無反射部分）が、標識として機能する。照明の暗い夜の場合、図１Ｃに示すように、第１標識１１０の内側部分１１３と第２標識１２０の外側部分１２１と（赤外線反射部分）が、標識として機能する。

図２は、本発明の一実施形態による移動ロボットのローカリゼーション装置の構成を示したブロック図である。ここで、ローカリゼーション装置は、移動ロボットの自己位置及び方位角を推定するための装置である。図２に示すローカリゼーション装置は、天井映像獲得部２１０、映像輝度比較部２２０、映像処理部２３０、標識検出部２４０、エンコーダ情報獲得部２５０、位置及び方位角推定部２６０、照明制御部２７０及び走行制御部２８０を備える。

図２に示す天井映像獲得部２１０は、例えば広角または超広角カメラ、具体的には、魚眼レンズカメラよりなり、移動ロボットが所定の作業を行うために走行する場所の天井映像を獲得する。ここで、天井映像は、移動ロボットの上部の天井の映像である。

映像輝度比較部２２０は、天井映像獲得部２１０が獲得した天井映像の情報を天井映像獲得部２１０から受け取る。映像輝度比較部２２０は、天井映像獲得部２１０が獲得した天井映像の情報に基づいて、天井映像の各ピクセルの輝度を合算した値を全体ピクセル数で割って天井映像の平均輝度（ａｖｅｒａｇｅｉｎｔｅｎｓｉｔｙ）を算出し、算出された平均輝度を所定の基準値と比較して、現在の環境が照明の暗い状態であるか否かを判断する。ここで、基準値は、例えば２５６グレースケールである場合、５０と設定される。そして、映像輝度比較部２２０は、平均輝度が５０以上である場合に現在の環境が照明の明るい状態であると判断し、平均輝度が５０以下である場合に現在の環境が照明の暗い状態であると判断する。

映像処理部２３０は、現在の環境が照明の暗い状態であるか否かを示す情報すなわち映像輝度比較部２２０が判断した結果の情報と、天井映像の情報とを、映像輝度比較部２２０から受け取る。映像処理部２３０は、映像輝度比較部２２０が判断した結果の情報に基づいて、天井映像の情報を処理する。すなわち、映像処理部２３０は、現在の環境が照明の明るい状態であると映像輝度比較部２２０が判断した場合に、天井映像をそのままとする。映像処理部２３０は、現在の環境が照明の暗い状態であると映像輝度比較部２２０が判断した場合に、天井映像のコントラストを反転させる。図６Ａは、昼（平均輝度が所定値以上である場合）に撮影された人工標識６１１を含む天井映像を示し、図６Ｂの左側の図は、夜（平均輝度が所定値以下である場合）に撮影された人工標識６１３を含む天井映像を示す。これらの天井映像は、天井映像獲得部２１０（図２参照）が取得した映像である。図６Ｂの右側の図は、人工標識６１３を含む天井映像（図６Ｂの左側の図）を映像処理部２３０（図２参照）がコントラストを反転させた天井映像を示す。図６Ｂの左側の図の人工標識６１３に相当する部分は、図６Ｂの右側の図において、人工標識６１５となっている。

次に、映像処理部２３０では、処理された天井映像に対して、歪曲補償処理及び前処理のうち少なくとも１つが行われる。まず、歪曲補償処理と関連した技術について、”ＣａｍｅｒａＣａｌｉｂｒａｔｉｏｎ：ＴｈｒｅｅＤｉｍｅｎｓｉｏｎａｌＣｏｍｐｕｔｅｒＶｉｓｉｏｎ”（ＯｌｉｖｅｒＦａｕｇｅｒａｓ,ＭＩＴＰｒｅｓｓ,１９９３）に詳細に記載されている。これについて図７Ａ〜図９Ｃを参照して説明すれば、次のようである。

図７Ａは、歪曲補償処理が行われる前の天井映像を示し、図７Ｂは、歪曲補償処理が行われた後の天井映像を示す。図７Ａの人工標識７１１に相当する部分は、図７Ｂにおいて、人工標識７１５となっている。図７Ａの人工標識７１１において、左側の黒い部分が第１標識１１０であり、右側の黒い部分が第２標識１２０である。天井映像獲得部２１０（図２参照）で使われるカメラのレンズが広角であるほど、図７Ａに示すように天井映像の歪曲がひどくなり、天井映像が実際の模様（図７Ｂ参照）と異なって獲得されるので、歪曲補償処理が必要である。

図７Ａにおいて人工標識７１１付近を拡大した図を、図８Ａに示す。図８Ａにおいて、左真ん中辺りの黒い部分が第１標識１１０であり、上部真ん中辺りの黒い部分が第２標識１２０である。図８Ａにおいて、左下から右上へ向かう方向が、図７Ａで左から右へ向かう方向に相当する。

歪曲補償処理の具体的な方法として、図８Ａで示したように、映像処理部２３０により、光学中心点８１１が抽出され、抽出された光学中心点８１１を基準として、第１標識１１０及び第２標識１２０の上を通るように２つの楕円８１３が描かれることにより、モデリングが行われる。このような方法によって歪曲補償処理が行われた場合、光学中心点８１１の抽出に失敗すると、図８Ｂに示すように、歪曲補償処理が行われた後の天井映像が傾いた映像となる。一方、光学中心点８１１の抽出が正確に行われると、図８Ｃに示すように、歪曲補償処理が行われた後の天井映像が傾きのない正常に補償された映像となる。ここで、光学中心点８１１は、天井のノーマルビューを得るためのものであって、カメラ（図２に示す天井映像獲得部２１０）に入ってくるあらゆる光が過ぎる点（カメラのレンズの焦点）がカメラの撮像素子に投影された点（光が屈折されずに通過する点）を意味し、カメラを回転させてもその位置が不変である。

次に、モデリングが行われた結果、図９Ａに示すように、ピクセルが消えた領域９１１が発生するが、映像処理部２３０により、補間法によって消えたピクセルが復元され得る。その補間法では、図９Ｂに示すように、Ｎ.Ｎ.（ＮｅａｒｅｓｔＮｅｉｇｈｂｏｒ）技法により消えたピクセルと最も近い位置のピクセル値がそのまま使用されてもよいし、図９Ｃに示すように、補間を必要とするピクセル近くの値が平均して使用されてもよい。

そして、映像処理部２３０では、歪曲補償処理が行われた天井映像に対して、前処理が行われる。図１０で、映像１０１０は前処理が行われる前の天井映像を示し、映像１０３０は前処理が行われた後の天井映像を示す。前処理の方法として、映像処理部２３０（図２参照）により、所定の定数α及びコントラスト特性グラフＧ１が利用されてコントラスト及び露出の少なくとも一方が調整される。すなわち、天井映像の各画素のデータに定数αが乗算されて露出が調整される。そして、露出が調整された天井映像にコントラスト特性グラフＧ１が適用されて、暗い部分はそのままにされるかさらに暗くされ、明るい部分は極めて明るくコントラストが調整される。これにより、特定画素領域、すなわち人工標識１００の第１標識１１０及び第２標識１２０を構成する画素領域の分解能は高まる一方、他の画素領域の分解能は相対的に低くなる。このような前処理の結果、人工標識１００の輝度の大きさが周囲の背景と大きく差をつけられて、以後の標識検出などのような映像処理が容易になる。

図２に示す標識検出部２４０は、映像処理部２３０で歪曲補償処理及び前処理が行われた天井映像の情報を、映像処理部２３０から受け取る。標識検出部２４０は、映像処理部２３０で歪曲補償処理及び前処理が行われた天井映像から標識候補点を検出する。標識検出部２４０は、標識候補点に対してフィルタリングを行って、人工標識１００の位置を検出する。

エンコーダ情報獲得部２５０は、移動ロボットの輪に付着されているエンコーダセンサー（図示せず）などから、移動ロボットの位置及び方位角に関する情報を獲得する。

位置及び方位角推定部２６０は、人工標識１００の位置の情報を標識検出部２４０から受け取る。位置及び方位角推定部２６０は、移動ロボットの位置及び方位角に関する情報をエンコーダ情報獲得部２５０から受け取る。位置及び方位角推定部２６０は、人工標識１００の位置の情報と移動ロボットの位置及び方位角に関する情報とのいずれかに基づいて、移動ロボットの位置及び方位角を推定する。すなわち、標識検出部２４０が人工標識１００の位置検出に成功した場合には、位置及び方位角推定部２６０が人工標識１００の位置の情報に基づいて移動ロボットの位置及び方位角を推定する。標識検出部２４０が人工標識１００の位置の検出に失敗した場合には、位置及び方位角推定部２６０が移動ロボットの位置及び方位角に関する情報に基づいて移動ロボットの位置及び方位角を推定する。

照明制御部２７０は、現在の環境が照明の暗い状態であるか否かを示す情報すなわち映像輝度比較部２２０が判断した結果の情報を、映像輝度比較部２２０から受け取る。照明制御部２７０は、現在の環境が照明の暗い状態であると映像輝度比較部２２０が判断した場合に、移動ロボット上に付着されている照明（図示せず）をターンオンにするか、さらに明るくする。照明制御部２７０は、現在の環境が照明の明るい状態であると映像輝度比較部２２０が判断した場合に、移動ロボット上に付着された照明をさらに暗くするか、ターンオフにする。

走行制御部２８０は、移動ロボットの位置及び方位角の情報を位置及び方位角推定部２６０から受け取る。走行制御部２８０は、移動ロボットの位置及び方位角の情報に基づいて、あらかじめ設定あるいは計画された経路に沿って走行するように移動ロボットを制御する。

図３は、本発明の一実施形態による移動ロボットの位置及び方位角の推定方法を説明するフローチャートである。

図３に示すように、ステップ３１０では、広角または超広角カメラ（天井映像獲得部２１０）により、移動ロボットが走行する場所の天井映像が獲得される。

ステップ３２０では、現在の環境の照明の状態が判断される。すなわち、ステップ３２１では、映像輝度比較部２２０により、天井映像獲得部２１０により獲得された天井映像の情報が天井映像獲得部２１０から受け取られる。映像輝度比較部２２０により、ステップ３１０で獲得された天井映像の平均輝度が算出される。ステップ３２２では、映像輝度比較部２２０により、算出された平均輝度が所定の基準値と比較されて、比較された結果に基づいて、現在の環境が照明の暗い状態であるか否かが判断される。すなわち、平均輝度が基準値（例えば、５０）以上である場合には現在の環境が照明の明るい状態であると判断され、平均輝度が基準値（例えば、５０）以下である場合には現在の環境が照明の暗い状態であると判断される。現在の環境が照明の暗い状態であると判断された場合、ステップ３２３へ進められ、現在の環境が照明の暗い状態であると判断された場合、ステップ３３１へ進められる。ステップ３２３では、映像処理部２３０により、現在の環境が照明の暗い状態であるか否かを示す情報すなわち映像輝度比較部２２０が判断した結果の情報と、天井映像の情報とが、映像輝度比較部２２０から受け取られる。映像処理部２３０により、天井映像のコントラストが反転される。

ステップ３３０では、天井映像から人工標識が検出される。すなわち、ステップ３３１では、映像処理部２３０により、あらかじめ保存されている関心領域（図７Ａに示す人工標識７１１参照）が存在するか否かが判断される。関心領域が存在しないと判断された場合、ステップ３３２へ進められ、関心領域が存在すると判断された場合、ステップ３３３へ進められる。ステップ３３２では、関心領域が天井映像の全体の領域に設定される。ステップ３３３では、天井映像の全体の領域（関心領域）に対して人工標識が検出される。
ステップ３４０では、ステップ３３０で検出された人工標識１００の情報に基づいて、移動ロボットの位置及び方位角が推定される。すなわち、ステップ３４１では、標識検出部２４０による人工標識１００の検出が成功であるか否かが判断される。標識検出部２４０による人工標識の検出が失敗であると判断された場合、ステップＳ３４２へ進められ、標識検出部２４０による人工標識の検出が成功であると判断された場合、ステップＳ３４３へ進められる。ステップ３４２では、エンコーダ情報獲得部２５０により、移動ロボットの輪に付着されているエンコーダセンサー（図示せず）などから、移動ロボットの位置及び方位角に関する情報が獲得される。位置及び方位角推定部２６０により、移動ロボットの位置及び方位角に関する情報がエンコーダ情報獲得部２５０から受け取られる。位置及び方位角推定部２６０により、移動ロボットの位置及び方位角に関する情報に基づいて移動ロボットの位置及び方位角が推定される。ステップ３４３では、位置及び方位角推定部２６０により、人工標識１００の位置の情報に基づいて、移動ロボットの位置及び方位角が推定される。

ステップ３４３で人工標識１００の位置の情報に基づいて移動ロボットの位置及び方位角が推定される方法について、図１１Ａ及び図１１Ｂを参照して説明する。

図１１Ａにおけるｄは、第１標識１１０と第２標識１２０との間の天井映像上の距離を示す。θは、人工標識１００の中心点Ｌｃ（第１標識１１０と第２標識１２０とを結ぶ線分の中点）をｘ軸（図面上において左から右へ向かう軸）上に延長した線と第１標識１１０と第２標識１２０とを結ぶ線との間の角度であり、人工標識１００のｘ軸に対する傾斜角を示す。Ｒｐは、移動ロボットの現在の位置を天井に投影した位置である投影位置を示す。

図１１Ｂに示すように、人工標識１００の位置と移動ロボットの投影位置（Ｒｐ）とに対してシフト過程、ローテーション過程、及びフリップ過程が行われることにより、移動ロボットの位置及び方位角が推定される。ここで、シフト過程は、座標空間における原点がシフトされる過程である。ローテーション過程は、座標空間が原点を中心として回転される過程である。フリップ過程は、座標空間における点（移動ロボットの位置）がｙ軸（図面上で上から下へ向かう軸）に対して対象に移動される過程である。すなわち、移動ロボットの位置及び方位角は、次の数式１のように推定されうる。

ここで、

は、図１１Ｂの左下の図で左から右へ向かう軸をｘ軸とし上から下へ向かう軸をｙ軸とした座標空間における移動ロボットの投影位置Ｐｐの座標を表わし、

は、図１１Ｂの左上の図（カメライメージすなわち天井映像）で左から右へ向かう軸をｘ軸とし上から下へ向かう軸をｙ軸とした座標空間における移動ロボットの投影位置Ｐｐの座標を表わす。
式（１）における各変換関数Ｈ_{ｓｈｉｆｔ}、Ｈ_{ｒｏｔａｔｉｏｎ}、Ｈ_ｆｌｉｐ、Ｈ_{ｓｃａｌｅ}は、次の式（２）のように表せる。

ここで、（ｔ_ｘ,ｔ_ｙ）は人工標識１００の中心点Ｌｃの座標を表す。θは、人工標識１００のｘ軸に対する傾斜角を表す。ｓは、第１標識１１０と第２標識１２０との実際の物理的な距離を、第１標識１１０と第２標識１２０との天井映像上の距離ｄで割った値を表す。

図３に示すステップ３４４では、走行制御部２８０により、移動ロボットの位置及び方位角の情報が位置及び方位角推定部２６０から受け取られる。走行制御部２８０により、ステップ３４２またはステップ３４３で計算された移動ロボットの位置及び方位角の情報に基づいて、あらかじめ設定あるいは計画された経路に沿って走行するように移動ロボットが制御される。

図４は、図３におけるステップ３３３の細部的な動作を説明するフローチャートである。

図４に示すステップ４１１では、映像処理部２３０により、処理された天井映像に対して、図７Ａ〜図９Ｃを通じて説明したような歪曲補償処理が行われる。ステップ４１２では、映像処理部２３０により、ステップ４１１で歪曲補償処理が行われた天井映像に対して、図１０を通じて説明したような前処理過程が行われる。

ステップ４１３では、標識検出部２４０により、映像処理部２３０で歪曲補償処理及び前処理が行われた天井映像の情報が、映像処理部２３０から受け取られる。標識検出部２４０により、ステップ４１２で前処理過程が行われた天井映像の各ピクセルの輝度が所定の基準値と比較される。各ピクセルは、輝度が基準値より大きい場合に１とされ、輝度が基準値より小さな場合に０とされることにより、二進化される。ステップ４１４では、標識検出部２４０により、二進化が行われた天井映像に対して輪郭線の整合が行われる。このような輪郭線整合、すなわち人工標識で分離された領域の輪郭線が検出されて既に保存された人工標識と比較される輪郭線整合に関しては、”ＶｉｓｕａｌＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎｂｙＭｏｍｅｎｔＩｎｖａｒｉａｎｔｓ”（Ｍ．Ｈｕ. ＩＲＥＴｒａｎｓａｃｔｉｏｎｓｏｎＩｎｆｏｒｍａｔｉｏｎＴｈｅｏｒｙ，８：２，ｐｐ．１７９〜１８７，１９６２）に詳細に記載されている。

ステップ４１５では、標識検出部２４０により、人工標識１００の幾何学的情報（例えば、第１標識１１０と第２標識１２０と間の距離）に基づいて、天井映像から候補領域が抽出される。ステップ４１６では、標識検出部２４０により、各候補領域に対してテンプレートマッチングが行われて各候補領域に対する信頼値が算出される。正規化された相関関係を利用したテンプレートマッチングに関しては”ＤｉｇｉｔａｌＩｍａｇｅＰｒｏｃｅｓｓｉｎｇ”（ＲａｆａｅｌＣ．Ｇｏｎｚａｌｅｚ，ＲｉｃｈａｒｄＥ．Ｗｏｏｄｓ，ｐｐ．５８３〜５８６，１９９２）に詳細に記載されている。テンプレートマッチングで算出される信頼値ｒ（ｓ，ｔ）は次の式（３）のように定義されうる。

ここで、ｆは、入力される候補領域を表す。

は、人工標識１００の現在位置と一致する領域で候補領域ｆ（ｘ,ｙ）に含まれたピクセルの平均値を表す。ｗは、人工標識１００のイメージ、すなわちテンプレート映像を表す。

は、人工標識ｗ（ｘ,ｙ）のイメージに含まれたピクセルの平均値を表す。

ステップ４１７では、標識検出部２４０により、ステップ４１６でテンプレートマッチングが行われて算出される各候補領域の信頼値のうち最も大きい信頼値を有する候補領域が選択される。ステップ４１８では、標識検出部２４０により、ステップ４１７で選択された候補領域の信頼値が所定の基準値と比較され、選択された候補領域の信頼値が所定の基準値よりも大きいか否かが判断される。選択された候補領域の信頼値が所定の基準値より大きいと判断された場合、ステップ４１９へ進められ、選択された候補領域の信頼値が所定の基準値より大きくないと判断された場合、ステップ４２０へ進められる。ステップ４１９では、標識検出部２４０による人工標識１００の検出が成功であるとされる。ステップ４２０では、標識検出部２４０による人工標識１００の検出が失敗であるとされる。

図５は、図３に示すステップ３４２の細部的な動作を説明するフローチャートである。

図５に示すように、ステップ５１１では、移動ロボットの輪に付着されているエンコーダセンサー（図示せず）により移動ロボットの現在の位置（ｘ,ｙ）及び方位角θが取得され、移動ロボットの現在の位置（ｘ,ｙ）の情報及び方位角θの情報がエンコーダ情報獲得部２５０に入力される。ステップ５１３では、移動ロボットの左右輪に付着されたエンコーダセンサー（図示せず）から出力されるパルスの数（Ｎ_Ｌ,Ｎ_Ｒ）がエンコーダ情報獲得部２５０に入力される。すなわち、エンコーダ情報獲得部２５０により、移動ロボットの現在の位置（ｘ,ｙ）の情報及び方位角θの情報とエンコーダセンサー（図示せず）から出力されるパルスの数（Ｎ_Ｌ,Ｎ_Ｒ）の情報とが、移動ロボットの位置及び方位角に関する情報として獲得される。

ステップ５１５では、移動ロボットの現在の位置（ｘ,ｙ）の情報及び方位角θの情報とエンコーダセンサー（図示せず）から出力されるパルスの数（Ｎ_Ｌ,Ｎ_Ｒ）の情報とに基づいて、移動ロボットの位置及び方位角の値が更新される。具体的には、まず次の式（４）を利用して、エンコーダセンサー（図示せず）から出力されるパルスの数（Ｎ_Ｌ,Ｎ_Ｒ）が実際の輪の動きの距離に変換されるための定数値ｃ_ｍが算出される。

式（４）においてＤ_ｎは、輪の直径を表す。Ｃ_ｅは、エンコーダセンサー（図示せず）の解像度、すなわちエンコーダセンサー（図示せず）から１回転当たり出力されるパルスの数を表す。ｎは、エンコーダセンサー（図示せず）が装着されたモーターと輪との間のギア比を表す。

次に、式（５）を利用して、エンコーダセンサー（図示せず）から出力されるパルスの数だけ実際に動いた各左右の輪の走行距離

を算出する。

式（５）において、

は、ｉ時点において、エンコーダセンサー（図示せず）から出力されるパルスの数を表す。

一方、輪の中心の平均移動距離変位

と変換された方位角変位

とを、それぞれ次の式（６）及び式（７）を利用して推定できる。

式（７）において、ｂは左右の輪の間の距離を表す。
最終的に、移動ロボットのｉ時点における位置及び方位角の更新は、式（８）を利用して行われる。

また、本発明はコンピュータ可読記録媒体にコンピュータ可読なコードとして具現可能である。コンピュータ可読な記録媒体は、コンピュータシステムによって可読なデータが保存される全種の記録装置を含む。コンピュータ可読記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピーディスク、光データ保存装置などがあり、また、キャリアウェーブ（例えば、インターネットを通じた伝送）の形態で具現されるものも含む。また、コンピュータ可読記録媒体は、ネットワークに連結されたコンピュータシステムに分散されて、分散方式でコンピュータ可読なコードが保存されて実行されうる。そして、本発明を具現するための機能的なプログラム、コード及びコードセグメントは本発明の属する技術分野のプログラマーにより容易に推論されうる。

以上より、天井映像獲得部２１０が、移動ロボットが走行する場所の天井映像を獲得する。標識検出部２４０が、天井映像の情報を受け取る。標識検出部２４０が、人工標識１００の位置を天井映像から検出する。人工標識１００が、第１標識１１０と第２標識１２０とを有する。第１標識１１０が、無反射部分１１３と赤外線反射部分１１１とを有する。第２標識１２０が、無反射部分１２１と赤外線反射部分１２３とを有する。赤外線反射部分１１１と赤外線反射部分１２３とが区別可能なように形成されているので（図１Ａ〜図１Ｃ参照）、現在の環境が照明の暗い状態であっても、第１標識１１０及び第２標識１２０の位置と移動ロボットの位置（投影位置Ｒｐ）との相対的な位置関係を把握することが可能である。また、無反射部分１１３と無反射部分１２１とが区別可能なように形成されているので（図１Ａ〜図１Ｃ参照）、現在の環境が照明の明るい状態であっても、第１標識１１０及び第２標識１２０の位置と移動ロボットの位置（投影位置Ｒｐ）との相対的な位置関係を把握することが可能である。さらに、現在の環境が照明の明るさの変化が激しい状態であっても、第１標識１１０及び第２標識１２０の位置と移動ロボットの位置（投影位置Ｒｐ）との相対的な位置関係を把握することが可能である。位置及び方位角推定部２６０が、人工標識１００の位置の情報及びエンコーダセンサー（図示せず）により取得された情報のいずれかに基づいて、移動ロボットの位置及び方位角を推定する。

したがって、暗い照明や照明の明るさの変化の激しい環境でも第１標識１１０及び第２標識１２０の位置と移動ロボットの位置（投影位置Ｒｐ）との相対的な位置関係を把握することができるので、暗い照明や照明の明るさの変化の激しい環境でも自己位置及び方位角を推定することが可能である。このため、移動ロボットを暗い照明や照明の明るさの変化の激しい環境でも適用することが可能である。

また、本発明によれば、暗い照明や照明変化の激しい環境でも雑音の少ない映像処理過程を通じてリアルタイムでロボットの自己位置及び方位角を推定することが可能であるので、ロボットのキッドナッピング問題を解決することが可能である。また、移動ロボットが走行する場所の天井部分に少数の人工標識を設置し、パターン認識技法を利用して人工標識を検出することによって標識検出のための映像処理過程を簡素化することが可能である。

以上、図面と明細書で最適な実施形態が開示された。ここで、特定の用語が使われたが、これは単に本発明を説明するための目的で使われたものであり、意味限定や特許請求の範囲に記載された本発明の範囲を制限するために使われたものではない。したがって、本技術分野の当業者であれば、これより多様な変形及び均等な他の実施形態が可能である点が理解できる。したがって、本発明の真の技術的保護範囲は特許請求の範囲の技術的思想により定められねばならない。

本発明は、無人航空機、無人車両、モバイルロボット、知能型交通システム及び知能的車両システムなどのような知能型システム、あるいは自動化システムに広く適用されて、照明変化に関係なく人工マークが検出できるので、正確に自己位置及び方位角が推定できる。

本発明に係る人工標識生成方法、移動ロボットの自己位置及び方位角の推定方法、移動ロボットの自己位置及び方位角の推定装置、移動ロボット及び推定プログラムは、暗い照明や照明変化の激しい環境でも自己位置及び方位角を推定することができるという効果を有し、工標識生成方法、移動ロボットの自己位置及び方位角の推定方法、移動ロボットの自己位置及び方位角の推定装置、移動ロボット及び推定プログラム等として有用である。

本発明で使われる人工標識の一例を示す図面である。本発明で使われる人工標識の一例を示す図面である。本発明で使われる人工標識の一例を示す図面である。本発明の一実施形態による移動ロボットの自己位置及び方位角の推定装置の構成を示したブロック図である。本発明の一実施形態による移動ロボットの自己位置及び方位角の推定方法を説明するフローチャートである。図３におけるステップ３３３の細部的な動作を説明するフローチャートである。図３におけるステップ３４２の細部的な動作を説明するフローチャートである。昼に撮影された天井映像を示す図面である。夜に撮影された天井映像と、夜に撮影された天井映像のコントラストが反転された映像とを示す図面である。歪曲補償処理の実行前の天井映像を示す図面である。歪曲補償処理の実行後の天井映像を示す図面である。歪曲補償処理方法のうち光学中心点を利用したモデリング過程の実行前の天井映像を示す図面である。歪曲補償処理方法のうち光学中心点を利用したモデリング過程の実行後の天井映像を示す図面である。歪曲補償処理方法のうち光学中心点を利用したモデリング過程の実行後の天井映像を示す図面である。歪曲補償処理方法のうち補間過程の実行前の天井映像を示す図面である。歪曲補償処理方法のうち補間過程の実行後の天井映像を示す図面である。歪曲補償処理方法のうち補間過程の実行後の天井映像を示す図面である。前処理の実行前後の天井映像を示す図面である。検出された人工標識の位置から移動ロボットの位置を計算する方法を説明する図面である。検出された人工標識の位置から移動ロボットの位置を計算する方法を説明する図面である。

符号の説明

２１０天井映像獲得部
２２０映像輝度比較部
２３０映像処理部
２４０標識検出部
２５０エンコーダ情報獲得部
２６０位置及び方位角推定部
２７０照明制御部
２８０走行制御部

Claims

第１標識が形成される第１ステップと、
前記第１標識と所定距離離隔されて第２標識が形成される第２ステップと、
を備え、
前記第１標識は、
第１無反射部分と、
赤外線を再帰的に反射する第１赤外線反射部分と、
を有し、
前記第２標識は、
第２無反射部分と、
赤外線を再帰的に反射する第２赤外線反射部分と、
を有する、
人工標識生成方法。
前記第１無反射部分は、前記第１標識の外側部分であり、
前記第２無反射部分は、前記第２標識の内側部分であり、
前記第１赤外線反射部分は、前記第１標識の内側部分であり、
前記第２赤外線反射部分は、前記第２標識の外側部分である、
請求項１に記載の人工標識生成方法。
移動ロボットが走行する場所の天井映像が獲得される第３ステップと、
人工標識の位置が前記天井映像から検出される第４ステップと、
前記人工標識の位置の情報及びエンコーダセンサーにより取得された情報のいずれかに基づいて、前記移動ロボットの位置及び方位角が推定される第５ステップと、
を備え、
前記人工標識は、
第１標識と、
前記第１標識と所定距離離隔されて形成されている第２標識と、
を有し、
前記第１標識は、
第１無反射部分と、
赤外線を再帰的に反射する第１赤外線反射部分と、
を含み、
前記第２標識は、
第２無反射部分と、
赤外線を再帰的に反射する第２赤外線反射部分と、
を含む、
移動ロボットの自己位置及び方位角の推定方法。
前記第１無反射部分は、前記第１標識の外側部分であり、
前記第２無反射部分は、前記第２標識の内側部分であり、
前記第１赤外線反射部分は、前記第１標識の内側部分であり、
前記第２赤外線反射部分は、前記第２標識の外側部分である、
請求項３に記載の移動ロボットの自己位置及び方位角の推定方法。
前記第３ステップで獲得された前記天井映像から現在の環境が判別され、判別された環境に基づいて、所定の映像処理が行われる第６ステップをさらに備えた、
請求項３または４に記載の移動ロボットの自己位置及び方位角の推定方法。
前記第６ステップは、
前記第３ステップで獲得された前記天井映像の平均輝度が算出される第６１ステップと、
前記第６１ステップで算出された平均輝度が所定の基準値と比較されて、現在の環境が照明の明るい状態であるか否かが判断される第６２ステップと、
現在の環境が照明の明るい状態であると判断された場合、前記天井映像に対して歪曲補償処理及び前処理のうち少なくとも一方が行われる第６３ステップと、
現在の環境が照明の暗い状態であると判断された場合、前記天井映像のコントラストが反転された後、前記所定の映像処理が行われる第６４ステップと、
を有する、
請求項５に記載の移動ロボットの自己位置及び方位角の推定方法。
前記第４ステップは、
前記天井映像に対して前記人工標識との輪郭線の整合が実行された結果と前記人工標識の幾何学的情報とに基づいて、前記天井映像に対して少なくとも１つ以上の候補領域が抽出される第４１ステップと、
前記第４１ステップで検出された各候補領域に対してテンプレートマッチングが行われ、テンプレートマッチングにより最も大きい信頼値を有するとされた候補領域が選択されて、選択された前記候補領域の信頼値が所定の基準値と比較される第４２ステップと、
前記第４２ステップで比較された結果、選択された前記候補領域の前記信頼値が前記所定の基準値より大きいと判断された場合に人工標識の検出に成功したとされ、選択された前記候補領域の前記信頼値が前記所定の基準値より小さいと判断された場合に人工標識の検出に失敗したと判断される第４３ステップと、
を有する、
請求項３または４に記載の移動ロボットの自己位置及び方位角の推定方法。
前記第４１ステップでは、歪曲補償処理、前処理及び二進化処理のうち少なくとも１つが前記天井映像に対して順次に行われた後に、前記天井映像に対して前記人工標識との輪郭線の整合が実行された結果と前記人工標識の幾何学的情報とに基づいて、前記天井映像に対して少なくとも１つ以上の候補領域が抽出される、
請求項７に記載の移動ロボットの自己位置及び方位角の推定方法。
前記第５ステップでは、前記人工標識の位置の情報に基づいて、シフト過程、ローテーション過程及びフリップ過程が順次に行われることにより、前記移動ロボットの位置及び方位角が推定される、
請求項３または４に記載の移動ロボットの自己位置及び方位角の推定方法。
移動ロボットが走行する場所の天井映像を獲得する天井映像獲得部と、
人工標識の位置を前記天井映像から検出する標識検出部と、
前記人工標識の位置の情報及びエンコーダセンサーにより取得された情報のいずれかに基づいて、前記移動ロボットの位置及び方位角を推定する位置及び方位角推定部と、
を備え、
前記人工標識は、
第１標識と、
前記第１標識と所定距離離隔されて形成されている第２標識と、
を有し、
前記第１標識は、
第１無反射部分と、
赤外線を再帰的に反射する第１赤外線反射部分と、
を含み、
前記第２標識は、
第２無反射部分と、
赤外線を再帰的に反射する第２赤外線反射部分と、
を含む、
移動ロボットの自己位置及び方位角の推定装置。
前記第１無反射部分は、前記第１標識の外側部分であり、
前記第２無反射部分は、前記第２標識の内側部分であり、
前記第１赤外線反射部分は、前記第１標識の内側部分であり、
前記第２赤外線反射部分は、前記第２標識の外側部分である、
請求項１０に記載の移動ロボットの自己位置及び方位角の推定装置。
前記天井映像獲得部が獲得した前記天井映像から現在の環境を判別し、判別された環境に基づいて、所定の映像処理を行う映像処理部をさらに備えた、
請求項１０または１１に記載の移動ロボットの自己位置及び方位角の推定装置。
前記映像処理部は、前記天井映像獲得部が獲得した前記天井映像の平均輝度を所定の基準値と比較し、現在の環境が照明の暗い状態であると判断した場合、前記天井映像のコントラストを反転させた後、前記所定の映像処理を行う、
請求項１２に記載の移動ロボットの自己位置及び方位角の推定装置。
前記標識検出部は、前記天井映像に対して少なくとも１つ以上の候補領域を抽出し、抽出された各前記候補領域に対してテンプレートマッチングが実行された結果、最も大きい信頼値を有するとされた前記候補領域を選択して、選択された前記候補領域の前記信頼値を所定の基準値と比較し、比較した結果に基づいて、人工標識の検出が成功であるか否かを判断する、
請求項１０または請求項１１に記載の移動ロボットの自己位置及び方位角の推定装置。
走行する場所の天井映像を獲得する天井映像獲得部と、
前記天井映像の平均輝度を算出し、算出された前記平均輝度を所定の基準値と比較して、現在の環境が照明の明るい状態であるか否かを判断する映像輝度比較部と、
前記映像輝度比較部が判断した結果に基づいて、付着された照明装置を制御する照明制御部と、
人工標識の位置を前記天井映像から検出する標識検出部と、
前記人工標識の位置の情報及びエンコーダセンサーにより取得された情報のいずれかに基づいて、前記移動ロボットの位置及び方位角を推定する位置及び方位角推定部と、
前記位置及び方位角推定部で推定された位置及び方位角に基づいて、前記移動ロボットの走行を制御する走行制御部と、
を備え、
前記人工標識は、
第１標識と、
前記第１標識と所定距離離隔されて形成されている第２標識と、
を有し、
前記第１標識は、
第１無反射部分と、
赤外線を再帰的に反射する第１赤外線反射部分と、
を含み、
前記第２標識は、
第２無反射部分と、
赤外線を再帰的に反射する第２赤外線反射部分と、
を含む、
移動ロボット。
前記第１無反射部分は、前記第１標識の外側部分であり、
前記第２無反射部分は、前記第２標識の内側部分であり、
前記第１赤外線反射部分は、前記第１標識の内側部分であり、
前記第２赤外線反射部分は、前記第２標識の外側部分である、
請求項１５に記載の移動ロボット。
前記天井映像獲得部が獲得した前記天井映像から現在の環境を判別し、判別された環境に基づいて、所定の映像処理を行う映像処理部をさらに備えた、
請求項１５または１６に記載の移動ロボット。
前記映像処理部は、前記天井映像獲得部が獲得した前記天井映像の平均輝度を所定の基準値と比較し、現在の環境が照明の暗い状態であると判断された場合、前記天井映像のコントラストを反転させた後、前記所定の映像処理を行う、
請求項１７に記載の移動ロボット。
前記標識検出部は、前記天井映像に対して少なくとも１つ以上の候補領域を抽出し、抽出された各前記候補領域に対してテンプレートマッチングが実行された結果、最も大きい信頼値を有するとされた前記候補領域を選択して、選択された前記候補領域の前記信頼値を所定の基準値と比較し、比較した結果に基づいて、人工標識の検出が成功であるか否かを判断する、
請求項１５または１６に記載の移動ロボット。
移動ロボットの自己位置及び方位角をコンピュータに推定させるための推定プログラムであって、
前記移動ロボットが走行する場所の天井映像が獲得される第３ステップと、
人工標識の位置が前記天井映像から検出される第４ステップと、
前記人工標識の位置の情報及びエンコーダセンサーにより取得された情報のいずれかに基づいて、前記移動ロボットの位置及び方位角が推定される第５ステップと、
を備え、
前記人工標識は、
第１標識と、
前記第１標識と所定距離離隔されて形成されている第２標識と、
を有し、
前記第１標識は、
第１無反射部分と、
赤外線を再帰的に反射する第１赤外線反射部分と、
を含み、
前記第２標識は、
第２無反射部分と、
赤外線を再帰的に反射する第２赤外線反射部分と、
を含む、
推定プログラム。