JP7286387B2 - 位置推定システム、位置推定装置、位置推定方法、及びプログラム - Google Patents

Description

本発明は、位置推定システム、位置推定装置、位置推定方法、及びプログラムに関する。

例えば移動前と移動後とで撮像装置が撮像して得られた画像に基づいて、三次元形状を推定する技術が知られている（例えば、特許文献１参照）。特許文献１の技術では、例えば道路面を基準面としたうえで、その上に存在する対象物の特徴点の位置を推定し、推定された特徴点の位置の集合により三次元形状を推定するようにされている。つまり、特許文献１の技術では、対象物の位置推定が行われる。

特開２０１０－１８１９１９号公報

しかしながら、上記の特許文献１による位置推定の技術では、他の物体によって一部が隠された状態の物体を対象物とした場合には、その対象物の距離を算出することができないために、位置推定が困難になる。

本発明は、このような事情に鑑みてなされたもので、撮像により得られる画像に基づいて対象物の位置を推定するにあたり、他の物体により一部が隠された対象物についても位置を推定できるようにすることを目的とする。

上述した課題を解決する本発明の一態様は、撮像装置と、前記撮像装置により撮像して得られた撮像画像を対象に実行した画像認識処理に基づいて対象物の高さを算出する高さ算出部と、前記高さ算出部により算出された高さに基づいて、地上面に対応して設定された前記撮像装置の投影面における前記対象物の位置を算出する位置算出部とを備える位置推定システムである。

また、本発明の一態様は、撮像装置により撮像して得られた撮像画像を対象に実行した画像認識処理に基づいて対象物の高さを算出する高さ算出部と、前記高さ算出部により算出された高さに基づいて、地上面に対応して設定された前記撮像装置の投影面における前記対象物の位置を算出する位置算出部とを備える位置推定装置である。

また、本発明の一態様は、撮像装置により撮像して得られた撮像画像を対象に実行した画像認識処理に基づいて対象物の高さを算出する高さ算出ステップと、前記高さ算出ステップにより算出された高さに基づいて、地上面に対応して設定された前記撮像装置の投影面における前記対象物の位置を算出する位置算出ステップとを備える位置推定方法である。

また、本発明の一態様は、撮像装置により撮像して得られた撮像画像を対象に実行した画像認識処理に基づいて対象物の高さを算出する高さ算出部、前記高さ算出部により算出された高さに基づいて、地上面に対応して設定された前記撮像装置の投影面における前記対象物の位置を算出する位置算出部として機能させるためのプログラムである。

以上説明したように、本発明によれば、撮像により得られる画像に基づいて対象物の位置を推定するにあたり、他の物体により一部が隠された対象物についても位置を推定できるようになるという効果が得られる。

本実施形態における位置推定システムの構成例を示す図である。 本実施形態における対象物の位置推定の手法例を説明する図である。 本実施形態における対象物の位置推定の手法例を説明する図である。 本実施形態における対象物の位置推定の手法例を説明する図である。 本実施形態における位置推定装置が実行する処理手順例を示すフローチャートである。

図１は、本実施形態の位置推定システム１の構成例を示している。本実施形態の位置推定システムは、例えば固定的に設置される監視カメラを備える監視システム等に適用されてもよいし、車両やロボット等の移動体が備えるものであってもよい。
同図の位置推定システム１は、撮像装置１００、位置推定装置２００、及び情報出力装置３００を備える。

撮像装置１００は、撮像を行う。本実施形態の撮像装置１００は、例えばステレオカメラなどのようなものではなく、例えば単眼によるものであってよい。

位置推定装置２００は、撮像装置１００により撮像して得られた画像（撮像画像）に基づいて、撮像画像にて被写体として含まれる対象物についての現実空間での位置を推定する装置である。
位置推定装置２００は、機能部として、入出力インターフェース部２０１、情報処理部２０２、及び記憶部２０３を備える。

入出力インターフェース部２０１は、位置推定装置２００と外部との情報の入出力を行う部位である。撮像装置１００が出力する撮像画像は、入出力インターフェース部２０１が入力し、情報処理部２０２に渡すようにされる。
また、情報処理部２０２が出力した画像、音声等の情報は、入出力インターフェース部２０１から情報出力装置３００に出力される。

情報処理部２０２は、対象物の位置推定に関する情報処理を実行する。情報処理部２０２としての機能は、位置推定装置２００において備えられるＣＰＵ（Central Processing Unit）が、プログラムを実行することにより実現される。同図の情報処理部２０２は、投影面設定部２２１、高さ算出部２２２、位置算出部２２３、及び位置変換部２２４を備える。
投影面設定部２２１は、撮像装置１００に対応する投影面を設定する。具体的に、投影面設定部２２１は、投影面として、地上面に対応する投影面（地上投影面）を設定する。
高さ算出部２２２は、撮像装置１００により撮像して得られた撮像画像を対象に実行した画像認識処理に基づいて対象物の高さを算出する。
位置算出部２２３は、高さ算出部２２２により算出された高さに基づいて、地上投影面における対象物の位置を算出する。
位置変換部２２４は、位置算出部２２３により算出された位置を現実空間における位置に変換する。

記憶部２０３は、位置推定装置２００に対応する各種の情報を記憶する。

情報出力装置３００は、位置推定装置２００から出力された情報を出力する。情報出力装置３００は、表示装置であってもよいし、音声出力装置であってもよいし、印刷装置であってもよい。

図２～図４を参照して、本実施形態の位置推定システム１よる位置推定の手法例について説明する。
図２は、撮像装置１００により撮像して得られた撮像画像の一例を示している。同図の撮像画像においては、画像認識処理による被写体の抽出結果が示される。なお、ここでは、説明を簡単にすることの便宜上、撮像装置１００の位置、撮像方向等の条件は、固定であって、既知である場合を例に挙げる。
同図の撮像画像Ｐ１においては、被写体ＯＢ１～ＯＢ６の６つの被写体が含まれている。被写体ＯＢ１～ＯＢ６について特に区別しない場合には、被写体ＯＢと記載する。
位置推定装置２００の高さ算出部２２２は、撮像画像Ｐ１について画像認識処理を行ったうえで、例えばニューラルネットワーク等のＡＩ（Artificial Intelligence：人工知能）フレームワーク（あるいは機械学習フレームワーク等でもよい）を利用した処理により、被写体ＯＢごとの属性を認識する。
単純な例の１つとして、高さ算出部２２２は、被写体ＯＢ１、ＯＢ２、ＯＢ３については成人の人であると認識し、被写体ＯＢ３については子供の人であると認識し、被写体ＯＢ５は、乗用車に該当する車両であると認識し、被写体ＯＢ６については、トラックとしての車両であると認識する。
そのうえで、高さ算出部２２２は、人としての被写体ＯＢについては、例えばさらに、顔、衣服、髪型、身に付けているアクセサリや持ち物などに応じた特徴量に基づいて女性と男性とのいずれであるのかを認識してもよい。また、人としての被写体ＯＢについては、顔等の特徴量に基づいて、例えばアジア系、ヨーロッパ系、アフリカ系といったように、どの民族系に該当するのかを認識するようにされてもよい。
また、高さ算出部２２２は、車両としての被写体ＯＢについては、例えばさらに乗用車であればミニバン、セダンといった区分での認識、トラックであれば小型、中型、大型といった区分での認識が行われてよい。さらに車両としての被写体ＯＢについては、車種、型番等の認識が行われるようにされてもよい。
そして、高さ算出部２２２は、認識された属性に対応する高さを算出する。高さ算出部２２２は、例えば属性ごとに高さが対応付けられた高さテーブルのデータを参照し、認識された属性に対応付けられた高さを取得し、取得された高さを高さの算出結果としてよい。あるいは、高さ算出部２２２は、機械学習により、属性の認識に伴って、認識された属性の高さも導出するようにされてもよい。
このようにして、高さ算出部２２２は、同図の撮像画像において抽出される被写体ＯＢごとの高さを算出することができる。

なお、高さ算出の対象となる対象物は、人や車両に限定されない。対象物は、例えば物、ロボット、動物、ランドマーク等であってもよい。本実施形態において高さが算出される対象物については、位置推定が可能とされる。つまり、本実施形態において位置空いての対象となる撮像画像内の対象物は、人や車両に限定されない。

図３は、撮像装置１００の投影面と、撮像画像Ｐ１に含まれていた被写体ＯＢとの関係を示している。
同図においては、撮像装置１００の投影中心Ｖが固定で定められている。また、同図において、投影中心Ｖから垂直に投影した地上面の点（位置）が垂直投影点Ｖ_ｈとなる。ここで、撮像装置１００の位置については固定であるので、距離ＶＶ_ｈは不変（一定）である。

また、同図においては、投影面ａｂｃｄが示されている。投影面ａｂｃｄは、撮像装置１００に対応して定められた投影中心Ｖとする透視投影モデルにより得られた二次元画像の投影面となる。このような投影面は、単眼カメラにより撮像して得られる二次元画像と等しい。
また、同図においては、地上面に対応する投影面ＡＢＣＤも示されている。以降の説明において、地上面に対応する投影面ＡＢＣＤについては、地上投影面ＡＢＣＤとも記載して、地上面に対応しない投影面ａｂｃｄと区別する。
同図に示される投影面ａｂｃｄにおける或る１つの座標ｍ_ｉ（x_image,y_image,1）は、地上投影面ＡＢＣＤにおいては、座標Ｍ_ｈｉ（x_h,y_h,-H）が対応する。Ｈは撮像装置１００の設置された高さである。
ここで、座標ｍ_ｉと座標Ｍ_ｈｉの関係は、以下の式１により表すことができる。

式１において、Ａは、変換マトリクスであり、撮像装置１００の内部パラメータ（画像中心、焦点距離、画素有効サイズ）と外部パラメータ（撮像装置１００の姿勢（高さ、撮像方向等）により求められる。

図４は、位置算出部２２３による対象物の位置についての算出手法を模式的に示している。
ここで、撮像装置１００の投影中心Ｖの高さＨは既知であり、ｉ番目としての対象物ＯＢ_ｉの高さはＨ_ｉであることが高さ算出部２２２により算出されている。
また、位置算出部２２３は、対象物ＯＢ_ｉの高さに対応する指示位置ｐｔ_ｉ（対象物の特定の位置の座標の一例、同図では人の頭部として定義されている例が示される）の撮像画像内の二次元座標を特定する。位置算出部２２３は、特定された撮像内の二次元座標に対応する投影面ａｂｃｄ内の座標ｍ_ｉを特定する。位置算出部２２３は、投影面ａｂｃｄ内の座標ｍ_ｉが特定されることに応じて、式１により、地上投影面ＡＢＣＤにおける座標Ｍ_ｈｉを一意に求めることができる。
そして、位置算出部２２３は、垂直投影点Ｖ_ｈから座標Ｍ_ｈｉまでの間において、対象物ＯＢ_ｉの指示位置ｐｔ_ｉが、投影中心Ｖと座標Ｍ_ｈｉとを結ぶ線分上に存在する状態のときの位置を、対象物ＯＢ_ｉの地上投影面ＡＢＣＤ上での位置Ｍｉとして特定する。
即ち、対象物ＯＢ_ｉの位置Ｍ_ｉについて、以下の式２により表すことができる。

従って、位置算出部２２３は、対象物ＯＢ_ｉの位置Ｍ_ｉを、例えば撮像装置１００の高さＨと、対象物ＯＢ_ｉについて算出された高さＨ_ｉと、投影面ａｂｃｄ上での対象物ＯＢ_ｉの指示位置ｐｔ_ｉの座標ｍ_ｉとを用いて以下の式３により算出することができる。

また、上記説明は、撮像装置１００の位置が固定である場合を例に挙げたが、撮像装置１００が移動体等に設けられたことで移動するものである場合、位置算出部２２３は、以下のようにして対象物ＯＢ_ｉの位置Ｍ_ｉを算出してよい。つまり、位置算出部２２３は、投影中心Ｖについて、時間ｔに応じて平行移動により変化する座標（Xo(t),Yo(t),0）として定義したうえで、以下の式４により対象物ＯＢ_ｉの位置Ｍ_ｉを算出してよい。

そして、位置変換部２２４は、上記のようにして位置算出部２２３により算出された対象物ＯＢ_ｉの位置Ｍ_ｉの座標を、例えば地図上の座標に変換することで、現実空間における位置（座標）に変換する。

このようにして、本実施形態においては、位置推定装置２００によって、撮像装置１００により撮像して得られた撮像画像内の被写体を対象物として、対象物の位置を推定することができる。例えば位置推定装置２００は、推定された位置が地図上で示されるようにして、例えば表示、印刷等により情報出力装置３００により出力させることができる。

上記のようにして対象物の位置推定を行う本実施形態の位置推定システム１では、例えば撮像画像において手前の被写体によって一部（特に地上面に対応する被写体部分）が隠されている被写体を対象物とした場合にも位置推定を行うことができる。そのうえで、本実施形態においては、撮像画像において一部が隠されていない対象物と一部が隠されている対象物とで、同じアルゴリズムを適用して位置を推定できる。つまり、本実施形態の位置推定システム１では、一部が隠されている対象物について、一部が隠されていない対象物と同じ精度で位置を推定できる。
また、本実施形態の位置推定システム１による位置推定手法であれば、例えばステレオカメラなどのような視差の相違に対応させた複数の撮像画像を得る必要がない。つまり、本実施形態の位置推定システム１は、対象物を撮像する撮像装置１００として、前述のように単眼によるものを採用することができる。これにより、例えばコストの削減、位置推定システム１を構成するハードウェアの小型化を図ることも可能になる。

なお、位置推定システム１のハードウェア構成としては、図１に示した撮像装置１００、位置推定装置２００、及び情報出力装置３００としての３つの装置による構成に限定されない。例えば、撮像装置１００、位置推定装置２００、及び情報出力装置３００のうちの所定の２以上が１つのハードウェアとして統合された構成であってもよい。さらに、撮像装置１００、位置推定装置２００、及び情報出力装置３００のうちの任意の装置について、さらに複数のハードウェアに分割された構成であってもよい。

図５のフローチャートは、位置推定装置２００が実行する処理手順例を示している。
ステップＳ１０１：位置推定装置２００において、投影面設定部２２１は、投影中心Ｖの座標を設定する。投影中心Ｖの座標は、ｘ軸座標、ｙ軸座標、及び高さＨに対応するｚ軸座標を含む三次元座標であってよい。投影中心Ｖの座標の設定は、撮像装置１００の位置と撮像方向とを決定することに相当する。
この場合において、撮像装置１００の位置、撮像方向が固定である場合には、既知である撮像装置１００の位置と撮像方向に基づいて予め１つの投影中心Ｖの座標を求めたうえで、求められた投影中心Ｖの座標を記憶部２０３に記憶させておいてよい。投影面設定部２２１は、当該ステップＳ１０１として、記憶部２０３に記憶された投影中心Ｖの座標を取得すればよい。
あるいは、撮像装置１００が移動体に設けられて時間経過に応じて移動するものである場合、投影面設定部２２１は、当該ステップＳ１０１として以下の処理を実行してよい。つまり、投影面設定部２２１は、例えば移動体が測位する自己の位置（方向も含まれてよい）に基づいて撮像装置１００の位置、撮像方向を導出する。投影面設定部２２１は、導出された撮像装置１００の位置、撮像方向に応じた投影中心Ｖの座標を算出してよい。

ステップＳ１０２：情報処理部２０２は、撮像装置１００により撮像して得られた撮像画像を、入出力インターフェース部２０１経由で取得する。

ステップＳ１０３：投影面設定部２２１は、ステップＳ１０１により設定された投影中心Ｖを原点とする地上投影面ＡＢＣＤを設定する。地上投影面ＡＢＣＤが設定されることで、撮像画像における１の二次元座標が対応する地上投影面ＡＢＣＤ上での１の座標を一意に特定できる。

ステップＳ１０４：高さ算出部２２２は、位置推定の対象となる対象物ＯＢ_ｉの高さＨ_ｉを算出する。高さ算出部２２２は、当該ステップＳ１０４の処理として、前述のように、撮像画像に対する画像認識、機械学習によって、撮像画像から対象物ＯＢ_ｉとしての被写体を抽出し、抽出された対象物ＯＢ_ｉの属性を認識し、認識された属性に応じて高さＨ_ｉを算出するようにされてよい。
ステップＳ１０５：位置算出部２２３は、対象物ＯＢ_ｉの地上投影面ＡＢＣＤ上での位置Ｍ_ｉを算出する。位置算出部２２３は、図４での説明のように、投影中心Ｖの高さＨと、対象物ＯＢ_ｉの高さＨ_ｉと、対象物ＯＢ_ｉの指示位置ｐｔ_ｉとを利用して、位置Ｍ_ｉを算出してよい。
ステップＳ１０６：位置変換部２２４は、ステップＳ１０５により算出された対象物ＯＢ_ｉの地上投影面ＡＢＣＤ上での位置Ｍ_ｉを、現実空間における位置（座標）に変換する。ステップＳ１０５により算出された位置Ｍ_ｉは、例えば図３、図４に例示したように、投影中心Ｖを原点として設定された仮想の地上投影面ＡＢＣＤ上にて特定された位置であり、現実空間におけるどの位置に対応するものであるのかは確定されていない。そこで、位置変換部２２４は、位置Ｍ_ｉを現実空間における位置に変換する処理を行う。つまり、位置変換部２２４は、位置Ｍｉが現実空間におけるいずれの位置に相当するのかを特定する。
このために、一例として、記憶部２０３は、現実空間に座標を設定した地図情報を記憶する。位置変換部２２４は、例えば現実空間において測位された撮像装置１００の位置に基づいて、投影中心Ｖを地図情報における１つの座標に対応付ける。位置変換部２２４は、例えば地図情報において、投影中心Ｖを基準として位置Ｍ_ｉが対応する座標を特定する。このようにして、位置Ｍ_ｉが現実空間における位置に変換される。

なお、上述の位置推定装置２００としての機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより上述の位置推定装置２００としての処理を行ってもよい。ここで、「記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行する」とは、コンピュータシステムにプログラムをインストールすることを含む。ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、通信回線を含むネットワークを介して接続された複数のコンピュータ装置を含んでもよい。記録媒体には、当該プログラムを配信するために配信サーバからアクセス可能な内部または外部に設けられた記録媒体も含まれる。

１ 位置推定システム、１００ 撮像装置、２００ 位置推定装置、２０１ 入出力インターフェース部、２０２ 情報処理部、２０３ 記憶部、２２１ 投影面設定部、２２２ 高さ算出部、２２３ 位置算出部、２２４ 位置変換部、３００ 情報出力装置

Claims (5)

1. 撮像装置と、
   前記撮像装置により撮像して得られた撮像画像を対象に実行した画像認識処理によって、前記撮像画像から対象物を抽出し、機械学習を用いた処理により、抽出された対象物の属性を認識し、認識された属性に応じて前記対象物の高さを算出する高さ算出部と、
   前記撮像装置の投影中心の地上面からの高さと、前記高さ算出部により算出された前記対象物の高さと、前記対象物の特定の位置とに基づいて、地上面に対応して設定された前記撮像装置の地上投影面における前記対象物の位置を算出する位置算出部と、
   前記位置算出部により算出された前記地上投影面における前記対象物の位置を、現実空間における位置に変換する位置変換部と
   を備える位置推定システム。
2. 前記撮像装置は単眼である
   請求項１に記載の位置推定システム。
3. 撮像装置により撮像して得られた撮像画像を対象に実行した画像認識処理によって、前記撮像画像から対象物を抽出し、機械学習を用いた処理により、抽出された対象物の属性を認識し、認識された属性に応じて前記対象物の高さを算出する高さ算出部と、
   前記撮像装置の投影中心の地上面からの高さと、前記高さ算出部により算出された前記対象物の高さと、前記対象物の特定の位置とに基づいて、地上面に対応して設定された前記撮像装置の地上投影面における前記対象物の位置を算出する位置算出部と、
   前記位置算出部により算出された前記地上投影面における前記対象物の位置を、現実空間における位置に変換する位置変換部と
   を備える位置推定装置。
4. 撮像装置により撮像して得られた撮像画像を対象に実行した画像認識処理によって、前記撮像画像から対象物を抽出し、機械学習を用いた処理により、抽出された対象物の属性を認識し、認識された属性に応じて前記対象物の高さを算出する高さ算出ステップと、
   前記撮像装置の投影中心の地上面からの高さと、前記高さ算出ステップにより算出された前記対象物の高さと、前記対象物の特定の位置とに基づいて、地上面に対応して設定された前記撮像装置の地上投影面における前記対象物の位置を算出する位置算出ステップと、
   前記位置算出ステップにより算出された前記地上投影面における前記対象物の位置を、現実空間における位置に変換する位置変換ステップと
   を備える位置推定方法。
5. コンピュータを、
   撮像装置により撮像して得られた撮像画像を対象に実行した画像認識処理によって、前記撮像画像から対象物を抽出し、機械学習を用いた処理により、抽出された対象物の属性を認識し、認識された属性に応じて前記対象物の高さを算出する高さ算出部、
   前記撮像装置の投影中心の地上面からの高さと、前記高さ算出部により算出された前記対象物の高さと、前記対象物の特定の位置とに基づいて、地上面に対応して設定された前記撮像装置の地上投影面における前記対象物の位置を算出する位置算出部、
   前記位置算出部により算出された前記地上投影面における前記対象物の位置を、現実空間における位置に変換する位置変換部
   として機能させるためのプログラム。

Images