JP7006847B2 - 移動体測位装置および移動体測位システム - Google Patents

Description

この発明は、移動体測位装置および移動体測位システムに関する。

特許文献１は、移動体測位装置を開示する。当該移動体測位装置によれば、移動体の位置を算出し得る。

日本特開２０１０－２８８１１２号公報

しかしながら、特許文献１に記載の移動体測位装置は、移動体の位置を算出する際に移動体の速度を用いる。このため、移動体の位置の誤差が大きくなることもある。

この発明は、上述の課題を解決するためになされた。この発明の目的は、移動体の位置を精度よく算出することができる移動体測位装置および移動体測位システムを提供することである。

この発明に係る移動体測位装置は、建築物のランドマークが撮影範囲の内部に入るように設けられたカメラが移動体に設けられたマーカーを撮影した際の画像に基づいて、当該画像の内部における前記ランドマークと前記マーカーとの座標を算出する画像処理部と、前記画像処理部の算出結果に基づいて、実座標における前記ランドマークに対する前記移動体の相対座標を算出する位置算出部と、を備え、前記画像処理部は、前記マーカーの画像から高さ情報を読み取り、前記位置算出部は、前記カメラの内部パラメータとランドマーク形状サイズと前記ランドマークの座標とを用いて、前記カメラの画像の内部における前記ランドマークの座標と前記マーカーの座標との相対ベクトルを算出し、前記高さ情報に基づき前記相対ベクトルの高度補正を行い、前記高度補正された相対ベクトルを実座標における前記ランドマークの座標と前記マーカーの座標との相対ベクトルに変換することで、実座標における前記ランドマークに対する前記移動体の相対座標を算出する。

この発明に係る移動体測位システムは、建築物のランドマークが撮影範囲の内部に入るように設けられたカメラと、前記カメラが移動体に設けられたマーカーを撮影した際の画像に基づいて、実座標における前記ランドマークに対する前記移動体の相対座標を算出する請求項１から請求項７のいずれか一項に記載の移動体測位装置と、を備えた。

この発明によれば、移動体測位装置は、ランドマークとマーカーとの画像から実座標におけるランドマークに対する移動体の相対座標を算出する。このため、移動体の位置を精度よく算出することができる。

実施の形態１における移動体測位システムの構成図である。 実施の形態１における移動体測位システムにおいて算出される相対ベクトルを示す図である。 実施の形態１における移動体測位システムの移動体測位装置の動作の概要を説明するためのフローチャートである。 実施の形態１における移動体測位システムの移動体測位装置のハードウェア構成図である。 実施の形態２における移動体測位システムの構成図である。 実施の形態２における移動体測位システムの移動体測位装置の動作の概要を説明するためのフローチャートである。 実施の形態３における移動体測位システムの構成図である。 実施の形態３における移動体測位システムの移動体測位装置の動作の概要を説明するためのフローチャートである。

この発明を実施するための形態について添付の図面に従って説明する。なお、各図中、同一または相当する部分には同一の符号が付される。当該部分の重複説明は適宜に簡略化ないし省略する。

実施の形態１．
図１は実施の形態１における移動体測位システムの構成図である。

図１において、ランドマーク１は、建築物に設けられる。ランドマーク１は、画像認識し得るように設けられる。例えば、ランドマーク１は、二次元バーコードである。例えば、ランドマーク１は、建築物の一部で特徴的な形状の部分である。

移動体２は、自律移動し得るように設けられる。マーカー３は、移動体２の上面に設けられる。例えば、マーカー３は、二次元バーコードである。

移動体測位システムは、少なくとも一つのカメラ４と移動体測位装置５とを備える。

例えば、カメラ４は、建築物の天井に設けられる。カメラ４は、ランドマーク１が撮影範囲に入るように配置される。

移動体測位装置５は、画像処理部６と位置算出部７とを備える。

画像処理部６は、ランドマーク検出部６ａとランドマーク座標算出部６ｂとマーカー検出部６ｃとマーカー座標算出部６ｄとを備える。

ランドマーク検出部６ａは、カメラ４の画像からランドマーク１を検出する。ランドマーク座標算出部６ｂは、ランドマーク検出部６ａの検出結果に基づいてカメラ４の画像の内部におけるランドマーク１の座標を算出する。マーカー検出部６ｃは、移動体２がカメラ４の撮影範囲に入った際にカメラ４の画像からマーカー３を検出する。マーカー座標算出部６ｄは、マーカー検出部６ｃの検出結果に基づいてカメラ４の画像の内部におけるマーカー３の座標を算出する。

位置算出部７は、カメラ内部パラメータ記憶部７ａとランドマーク形状サイズ記憶部７ｆと画像内相対ベクトル算出部７ｂと実座標内相対ベクトル算出部７ｃとを備える。

カメラ内部パラメータ記憶部７ａは、カメラ４の内部パラメータの情報を記憶する。ランドマーク形状サイズ記憶部７ｆは、ランドマーク形状サイズの情報を記憶する。ランドマーク形状サイズの情報は、ランドマーク１と合同な図形を再現可能とするための情報である。例えば、ランドマーク１が多角形である場合、ランドマーク形状サイズの情報として、各辺の長さと対応する内角との情報があればよい。

画像内相対ベクトル算出部７ｂは、画像処理部６からのカメラ４の画像の内部におけるランドマーク１の座標とマーカー３の座標との相対ベクトルを算出する。実座標内相対ベクトル算出部７ｃは、カメラ内部パラメータ記憶部７ａに記憶された情報とランドマーク形状サイズ記憶部７ｆに記憶された情報とランドマーク検出部６ａが出力したランドマーク１の座標の情報とに基づいて、画像内相対ベクトル算出部７ｂにより算出された相対ベクトルを実座標におけるランドマーク１の座標とマーカー３の座標との相対ベクトルに変換する。

なお、画像の内部におけるランドマーク１の座標は、カメラ４による投影面上におけるランドマーク１の位置を表す。従って、カメラ４の座標系と実座標系との関係を示す投影行列は、ランドマーク形状サイズとランドマーク１の座標とから、例えば公知の手法であるｐｎｐ問題を解くことで算出される。次に、当該投影行列にカメラ４の内部パラメータの補正を加えて得た行列を、画像の内部における相対ベクトルに乗ずることで、実座標における相対ベクトルが得られる。

次に、図２を用いて、カメラ４の画像の内部におけるランドマーク１の座標とマーカー３の座標との相対ベクトルを説明する。
図２は実施の形態１における移動体測位システムにおいて算出される相対ベクトルを示す図である。

図２に示されるように、カメラ４の画像の内部において、平面座標は、ランドマーク１の位置を原点として予め設定される。平面座標において、ｘ軸とｙ軸とは、互いに直交する。相対ベクトルは、ランドマーク１とマーカー３との距離およびｘ軸に対するマーカー３の方向の角度で定義される。

次に、図３を用いて、移動体測位装置５の動作の概要を説明する。
図３は実施の形態１における移動体測位システムの移動体測位装置の動作の概要を説明するためのフローチャートである。

ステップＳ１では、移動体測位装置５は、ランドマーク１を検出する。その後、移動体測位装置５は、ステップＳ２の動作を行う。ステップＳ２では、移動体測位装置５は、カメラ４の画像の内部におけるランドマーク１の座標を算出する。

その後、移動体測位装置５は、ステップＳ３の動作を行う。ステップＳ３では、移動体測位装置５は、マーカー３が検出されたか否かを判定する。ステップＳ３でマーカー３が検出されない場合、移動体測位装置５は、ステップＳ３の動作を行う。ステップＳ３でマーカー３が検出された場合、移動体測位装置５は、ステップＳ４の動作を行う。ステップＳ４では、移動体測位装置５は、カメラ４の画像の内部におけるマーカー３の座標を算出する。

その後、移動体測位装置５は、ステップＳ５の動作を行う。ステップＳ５では、移動体測位装置５は、カメラ４の画像の内部におけるランドマーク１の座標とマーカー３の座標との相対ベクトルを算出する。

その後、移動体測位装置５は、ステップＳ６の動作を行う。ステップＳ６では、実座標におけるランドマーク１の座標とマーカー３の座標との相対ベクトルを算出する。その後、移動体測位装置５は、動作を終了する。

以上で説明した実施の形態１によれば、移動体測位装置５は、ランドマーク１とマーカー３との画像から実座標におけるランドマーク１に対する移動体２の相対座標を算出する。このため、移動体２の位置を精度よく算出することができる。

また、移動体測位装置５は、カメラ４の内部パラメータとランドマーク形状サイズ記憶部７ｆに記憶された情報とランドマーク検出部６ａが出力したランドマーク１の座標の情報とを用いて、カメラ４の画像の内部におけるランドマーク１の座標とマーカー３の座標との相対ベクトルを実座標におけるランドマーク１の座標とマーカー３の座標との相対ベクトルに変換することで、実座標におけるランドマーク１に対する移動体２の相対座標を算出する。このため、移動体２の位置をより確実に精度よく算出することができる。

なお、位置算出部７において、ランドマーク１の絶対座標の情報を記憶し、ランドマーク１の絶対座標と実座標におけるランドマーク１の座標とマーカー３の座標との相対ベクトルとに基づいて、移動体２の絶対座標を算出してもよい。この場合、移動体２の絶対位置をより確実に精度よく算出することができる。

次に、図４を用いて、移動体測位装置５の例を説明する。
図４は実施の形態１における移動体測位システムの移動体測位装置のハードウェア構成図である。

移動体測位装置５の各機能は、処理回路により実現し得る。例えば、処理回路は、少なくとも１つのプロセッサ１００ａと少なくとも１つのメモリ１００ｂとを備える。例えば、処理回路は、少なくとも１つの専用のハードウェア２００を備える。

処理回路が少なくとも１つのプロセッサ１００ａと少なくとも１つのメモリ１００ｂとを備える場合、移動体測位装置５の各機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせで実現される。ソフトウェアおよびファームウェアの少なくとも一方は、プログラムとして記述される。ソフトウェアおよびファームウェアの少なくとも一方は、少なくとも１つのメモリ１００ｂに格納される。少なくとも１つのプロセッサ１００ａは、少なくとも１つのメモリ１００ｂに記憶されたプログラムを読み出して実行することにより、移動体測位装置５の各機能を実現する。少なくとも１つのプロセッサ１００ａは、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、ＤＳＰともいう。例えば、少なくとも１つのメモリ１００ｂは、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ＥＰＲＯＭ、ＥＥＰＲＯＭ等の、不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ等である。

処理回路が少なくとも１つの専用のハードウェア２００を備える場合、処理回路は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ、ＦＰＧＡ、またはこれらの組み合わせで実現される。例えば、移動体測位装置５の各機能は、それぞれ処理回路で実現される。例えば、移動体測位装置５の各機能は、まとめて処理回路で実現される。

移動体測位装置５の各機能について、一部を専用のハードウェア２００で実現し、他部をソフトウェアまたはファームウェアで実現してもよい。例えば、画像処理部６の機能については専用のハードウェア２００としての処理回路で実現し、画像処理部６の機能以外の機能については少なくとも１つのプロセッサ１００ａが少なくとも１つのメモリ１００ｂに格納されたプログラムを読み出して実行することにより実現してもよい。

このように、処理回路は、ハードウェア２００、ソフトウェア、ファームウェア、またはこれらの組み合わせで移動体測位装置５の各機能を実現する。

実施の形態２．
図５は実施の形態２における移動体測位システムの構成図である。なお、実施の形態１の部分と同一又は相当部分には同一符号が付される。当該部分の説明は省略される。

画像処理部６は、マーカー設置高算出部６ｅを備える。

マーカー設置高算出部６ｅは、マーカー３の画像から高さ情報を読み取る。例えば、マーカー設置高算出部６ｅは、マーカー３の画像から情報を復号することで予めマーカー３に埋め込まれた高さ情報を読み込む。

位置算出部７は、高度補正部７ｄを備える。

高度補正部７ｄは、カメラ内部パラメータ記憶部７ａに記憶された情報と画像処理部６からの高さ情報とに基づいて、画像内相対ベクトル算出部７ｂにより算出された相対ベクトルの高度補正を行う。

実座標内相対ベクトル算出部７ｃは、カメラ内部パラメータ記憶部７ａに記憶された情報に基づいて、高度補正部７ｄにより補正された相対ベクトルを実座標における前記ランドマーク１の座標と前記マーカー３の座標との相対ベクトルに変換する。

次に、図６を用いて、移動体測位装置５の動作の概要を説明する。
図６は実施の形態２における移動体測位システムの移動体測位装置の動作の概要を説明するためのフローチャートである。

ステップＳ１１では、移動体測位装置５は、ランドマーク１を検出する。その後、移動体測位装置５は、ステップＳ１２の動作を行う。ステップＳ１２では、移動体測位装置５は、カメラ４の画像の内部におけるランドマーク１の座標を算出する。

その後、移動体測位装置５は、ステップＳ１３の動作を行う。ステップＳ１３では、移動体測位装置５は、マーカー３が検出されたか否かを判定する。ステップＳ１３でマーカー３が検出されない場合、移動体測位装置５は、ステップＳ１３の動作を行う。ステップＳ１３でマーカー３が検出された場合、移動体測位装置５は、ステップＳ１４の動作を行う。ステップＳ１４では、移動体測位装置５は、カメラ４の画像の内部におけるマーカー３の座標を算出する。

その後、移動体測位装置５は、ステップＳ１５の動作を行う。ステップＳ１５では、移動体測位装置５は、マーカー３の高さ情報を読み取る。その後、移動体測位装置５は、ステップＳ１６の動作を行う。ステップＳ１６では、移動体測位装置５は、カメラ４の画像の内部におけるランドマーク１の座標とマーカー３の座標との相対ベクトルを算出する。

その後、移動体測位装置５は、ステップＳ１７の動作を行う。ステップＳ１７では、移動体測位装置５は、カメラ４の画像の内部におけるランドマーク１の座標とマーカー３の座標との相対ベクトルの高度補正を行う。その後、移動体測位装置５は、ステップＳ１８の動作を行う。ステップＳ１８では、実座標におけるランドマーク１の座標とマーカー３の座標との相対ベクトルを算出する。その後、移動体測位装置５は、動作を終了する。

以上で説明した実施の形態２によれば、移動体測位装置５は、カメラ４の内部パラメータと画像処理部６により読み取られた高さ情報とランドマーク形状サイズ記憶部７ｆに記憶された情報とランドマーク検出部６ａが出力したランドマーク１の座標とに基づいて、ランドマーク１に対する移動体２の相対座標に対して高度補正を行う。このため、移動体２の位置をより確実に精度よく算出することができる。

実施の形態３．
図７は実施の形態３における移動体測位システムの構成図である。なお、実施の形態２の部分と同一又は相当部分には同一符号が付される。当該部分の説明は省略される。

画像処理部６は、識別情報読取部６ｆとランドマーク座標記憶部６ｇとランドマーク差分算出部６ｈとを備える。

識別情報読取部６ｆは、マーカー３の画像から識別情報を読み取る。ランドマーク座標記憶部６ｇは、識別情報ごとにランドマーク座標算出部６ｂにより算出された座標の情報を記憶する。ランドマーク差分算出部６ｈは、ランドマーク座標記憶部６ｇに記憶された情報に基づいて、識別情報ごとに前回のカメラ４の画像と今回のカメラ４の画像とを比較することでカメラ４の画像の内部におけるランドマーク１の画像の差分を算出する。

マーカー座標算出部６ｄは、識別情報ごとにカメラ４の画像の内部におけるマーカー３の座標を算出する。マーカー設置高算出部６ｅは、識別情報ごとにカメラ４の画像の内部におけるマーカー３の高さ情報を読み取る。

位置算出部７は、相対ベクトル補正部７ｅを備える。

相対ベクトル補正部７ｅは、識別情報ごとに実座標内相対ベクトル算出部７ｃにより算出された相対ベクトルを補正する。この際、相対ベクトル補正部７ｅは、カメラ内部パラメータ記憶部７ａに記憶された情報と画像処理部６からのランドマーク１の画像の差分の情報とを用いる。

次に、図８を用いて、移動体測位装置５の動作の概要を説明する。
図８は実施の形態３における移動体測位システムの移動体測位装置の動作の概要を説明するためのフローチャートである。

ステップＳ２１では、移動体測位装置５は、ランドマーク１を検出する。その後、移動体測位装置５は、ステップＳ２２の動作を行う。ステップＳ２２では、移動体測位装置５は、カメラ４の画像の内部におけるランドマーク１の座標を算出する。

その後、移動体測位装置５は、ステップＳ２３の動作を行う。ステップＳ２３では、移動体測位装置５は、マーカー３が検出されたか否かを判定する。ステップＳ２３でマーカー３が検出されない場合、移動体測位装置５は、ステップＳ２３の動作を行う。ステップＳ２３でマーカー３が検出された場合、移動体測位装置５は、ステップＳ２４の動作を行う。ステップＳ２４では、移動体測位装置５は、マーカー３の画像から識別情報を読み取る。その後、ステップＳ２５の動作を行う。ステップＳ２５では、移動体測位装置５は、カメラ４の画像の内部におけるマーカー３の座標を算出する。

その後、移動体測位装置５は、ステップＳ２６の動作を行う。ステップＳ２６では、移動体測位装置５は、マーカー３の高さ情報を読み取る。その後、移動体測位装置５は、ステップＳ２７の動作を行う。ステップＳ２７では、移動体測位装置５は、カメラ４の画像の内部におけるランドマーク１の座標とマーカー３の座標との相対ベクトルを算出する。

その後、移動体測位装置５は、ステップＳ２８の動作を行う。ステップＳ２８では、移動体測位装置５は、カメラ４の画像の内部におけるランドマーク１の座標とマーカー３の座標との相対ベクトルの高度補正を行う。その後、移動体測位装置５は、ステップＳ２９の動作を行う。ステップＳ２９では、移動体測位装置５は、実座標におけるランドマーク１の座標とマーカー３の座標との相対ベクトルを算出する。

その後、移動体測位装置５は、ステップＳ３０の動作を行う。ステップＳ３０では、移動体測位装置５は、カメラ４の画像の内部においてランドマーク１の座標の差分があるか否かを判定する。

ステップＳ３０でランドマーク１の画像の差分がある場合、移動体測位装置５は、ステップＳ３１の動作を行う。ステップＳ３１では、移動体測位装置５は、ランドマーク１の座標の差分を算出する。その後、移動体測位装置５は、ステップＳ３２の動作を行う。ステップＳ３２では、移動体測位装置５は、実座標におけるランドマーク１の座標とマーカー３の座標との相対ベクトルを補正する。

ステップＳ３０でランドマーク１の画像の差分がない場合またはステップＳ３２の後、移動体測位装置５は、その後、移動体測位装置５は、動作を終了する。

以上で説明した実施の形態３によれば、移動体測位装置５は、マーカー３の画像から識別情報を読み取り、当該識別情報に基づいて移動体２を識別する。このため、移動体２を容易に識別することができる。

なお、複数のマーカー３から複数の識別情報がそれぞれ読み取られた場合は、当該複数の識別情報に基づいて複数の移動体２を識別すればよい。この場合、複数の移動体２を容易に判別することができる。

また、移動体測位装置５は、前回のカメラ４の画像と今回のカメラ４の画像におけるランドマーク１の画像の差分に基づいて、実座標におけるランドマーク１の座標とマーカー３の座標との相対ベクトルを補正する。このため、カメラ４とランドマーク１との位置関係が意図せずに変動した場合でも、移動体２の位置をより確実に精度よく算出することができる。また、カメラ４の画角を変更した場合でも、移動体２の位置を精度よく算出することができる。

なお、移動体測位装置５において、識別情報と高さ情報とを対応付けて記憶してもよい。この場合、識別情報読取部６ｆが識別情報を読み取った際に当該識別情報に対応付けられた高さ情報に基づいてカメラ４の画像の内部におけるランドマーク１の座標とマーカー３の座標との相対ベクトルの高度補正を行ってもよい。

また、実施の形態１から実施の形態３において、向きを識別できるマーカー３を採用してもよい。この場合、移動体２の位置だけでなく向きも精度よく算出することができる。

また、実施の形態１から実施の形態３において、１つのカメラ４の撮影範囲の内部に複数のランドマーク１が入るようにしてもよい。この場合、カメラ４の画像において、ランドマーク１の１つが通行する人等により隠れていても、他のランドマーク１の画像を用いて移動体２の位置を精度よく算出することができる。

以上のように、この発明に係る移動体測位装置および移動体測位システムは、移動体を制御するシステムに利用できる。

１ ランドマーク、 ２ 移動体、 ３ マーカー、 ４ カメラ、 ５ 移動体測位装置、 ６ 画像処理部、 ６ａ ランドマーク検出部、 ６ｂ ランドマーク座標算出部、 ６ｃ マーカー検出部、 ６ｄ マーカー座標算出部、 ６ｅ マーカー設置高算出部、 ６ｆ 識別情報読取部、 ６ｇ ランドマーク座標記憶部、 ６ｈ ランドマーク差分算出部、 ７ 位置算出部、 ７ａ カメラ内部パラメータ記憶部、 ７ｂ 画像内相対ベクトル算出部、 ７ｃ 実座標内相対ベクトル算出部、 ７ｄ 高度補正部、 ７ｅ 相対ベクトル補正部、 ７ｆ ランドマーク形状サイズ記憶部、 １００ａ プロセッサ、 １００ｂ メモリ、 ２００ ハードウェア

Claims (6)

1. 建築物のランドマークが撮影範囲の内部に入るように設けられたカメラが移動体に設けられたマーカーを撮影した際の画像に基づいて、当該画像の内部における前記ランドマークと前記マーカーとの座標を算出する画像処理部と、
   前記画像処理部の算出結果に基づいて、実座標における前記ランドマークに対する前記移動体の相対座標を算出する位置算出部と、
   を備え、
   前記画像処理部は、前記マーカーの画像から高さ情報を読み取り、
   前記位置算出部は、前記カメラの内部パラメータとランドマーク形状サイズと前記ランドマークの座標とを用いて、前記カメラの画像の内部における前記ランドマークの座標と前記マーカーの座標との相対ベクトルを算出し、前記高さ情報に基づき前記相対ベクトルの高度補正を行い、前記高度補正された相対ベクトルを実座標における前記ランドマークの座標と前記マーカーの座標との相対ベクトルに変換することで、実座標における前記ランドマークに対する前記移動体の相対座標を算出する移動体測位装置。
2. 前記位置算出部は、前記ランドマークの絶対座標の情報を記憶し、前記ランドマークの絶対座標と実座標における前記ランドマークの座標と前記マーカーの座標との相対ベクトルとに基づいて、前記移動体の絶対座標を算出する請求項１に記載の移動体測位装置。
3. 前記画像処理部は、前記マーカーの画像から識別情報を読み取り、当該識別情報に基づいて移動体を識別する請求項１または請求項２に記載の移動体測位装置。
4. 前記画像処理部は、複数のマーカーの画像から複数の識別情報をそれぞれ読み取った場合は、当該複数の識別情報に基づいて複数の移動体を識別する請求項３に記載の移動体測位装置。
5. 前記画像処理部は、前回の前記カメラの画像と今回の前記カメラの画像とを比較することで前記カメラの画像の内部における前記ランドマークの画像の差分を算出し、
   前記位置算出部は、前記画像処理部により算出された差分に基づいて、実座標における前記ランドマークの座標と前記マーカーの座標との相対ベクトルを補正する請求項１から請求項４のいずれか一項に記載の移動体測位装置。
6. 建築物のランドマークが撮影範囲の内部に入るように設けられたカメラと、
   前記カメラが移動体に設けられたマーカーを撮影した際の画像に基づいて、実座標における前記ランドマークに対する前記移動体の相対座標を算出する請求項１から請求項５のいずれか一項に記載の移動体測位装置と、
   を備えた移動体測位システム。

Images