JP2021043141A - 物体距離推定装置及び物体距離推定方法 - Google Patents

Abstract

【課題】検出対象の物体までの距離を精度良く推定する。【解決手段】物体距離推定装置１は、撮像装置２が撮像した撮像画像を、地面を示す地面領域と、地面領域とは異なる一以上の領域とを含む複数の領域に分割する領域分割部１２２と、撮像画像から検出対象の物体を示す矩形領域を検出する物体検出部１２３と、物体検出部１２３が検出した矩形領域の下端位置と、領域分割部１２２により分割された地面領域の位置との関係に基づいて、矩形領域に対応する物体が地面に接しているかを判定する判定部１２４と、物体が地面に接していると判定部１２４が判定すると、当該物体と撮像装置２との距離を推定する物体距離推定部１２６と、物体距離推定部１２６が物体に対して推定した距離を示す情報を含み、物体を検出したことを示す物体検出情報を出力する出力部１２７と、を備える。【選択図】図２

Description

本発明は、物体距離推定装置及び物体距離推定方法に関する。

従来、物体の下端領域が地面に接していると仮定して撮像装置から検出された物体までの距離を推定することが行われている（例えば、特許文献１を参照）。

特開２０１７−１５６１７７号公報

検出された物体の下端が実際には地面に接していない場合、当該下端に基づいて推定された撮像装置から当該物体までの距離と、実際の距離との誤差が大きいという問題が生じる。

そこで、本発明はこれらの点に鑑みてなされたものであり、検出対象の物体までの距離を精度良く推定することができる物体距離推定装置及び物体距離推定方法を提供することを目的とする。

本発明の第１の態様に係る物体距離推定装置は、撮像装置が撮像した撮像画像を、地面を示す地面領域と、前記地面領域とは異なる一以上の領域とを含む複数の領域に分割する領域分割部と、前記撮像画像から検出対象の物体を示す矩形領域を検出する物体検出部と、前記物体検出部が検出した前記矩形領域の下端位置と、前記領域分割部により分割された前記地面領域の位置との関係に基づいて、前記矩形領域に対応する前記物体が地面に接しているかを判定する判定部と、前記物体が地面に接していると前記判定部が判定すると、当該物体と前記撮像装置との距離を推定する物体距離推定部と、前記物体距離推定部が前記物体に対して推定した距離を示す情報を含み、前記物体を検出したことを示す物体検出情報を出力する出力部と、を備える。

前記判定部は、前記矩形領域の下端位置から上下の所定範囲内に前記地面領域が含まれる割合に基づいて、前記矩形領域に対応する前記物体が地面に接しているかを判定してもよい。

前記領域分割部は、前記撮像画像を、前記地面領域と、前記物体を示す領域である物体領域とを含む前記複数の領域に分割し、前記物体距離推定装置は、前記物体が地面に接していると前記判定部が判定すると、前記矩形領域の下端位置から上下の所定範囲内に含まれている前記物体領域の位置に基づいて、前記物体が地面に接している接地位置を特定する接地位置特定部をさらに備え、前記物体距離推定部は、前記接地位置特定部が特定した前記物体の前記接地位置に基づいて、当該物体と前記撮像装置との距離を推定してもよい。

前記出力部は、前記物体が地面に接していないと前記判定部が判定すると、前記物体が地面に接していないことを示す情報を含む前記物体検出情報を出力してもよい。

本発明の第２の態様に係る物体距離推定方法は、コンピュータが実行する、撮像装置が撮像した撮像画像を、地面を示す地面領域と、前記地面領域とは異なる一以上の領域とを含む複数の領域に分割するステップと、前記撮像画像から検出対象の物体を示す矩形領域を検出するステップと、検出された前記矩形領域の下端位置と、分割された前記地面領域の位置との関係に基づいて、前記矩形領域に対応する前記物体が地面に接しているかを判定するステップと、前記判定するステップにおいて前記物体が地面に接していると判定されると、当該物体と前記撮像装置との距離を推定するステップと、前記物体に対して推定された距離を示す情報を含み、前記物体を検出したことを示す物体検出情報を出力するステップと、を備える。

本発明によれば、検出対象の物体までの距離を精度良く推定することができるという効果を奏する。

本実施形態に係る物体距離推定装置の概要を説明する図である。 本実施形態に係る物体距離推定装置の構成を示す図である。 本実施形態に係る物体距離推定装置における処理の流れを示すフローチャートである。

図１は、本実施形態に係る物体距離推定装置の概要を説明する図である。物体距離推定装置は、例えば、乗用車、バス、トラック等の車両に搭載されるコンピュータである。物体距離推定装置は、同じく車両に搭載され、車両の前方を撮像する撮像装置から撮像画像を取得し、撮像装置から撮像画像に映る検出対象の物体までの距離を示す情報を含む物体検出情報を出力する装置である。ここで、検出対象の物体は、物体距離推定装置が搭載される車両の周辺を走行する他の車両や、当該車両の周辺に存在する障害物等である。また、撮像画像において、横方向は光軸方向に対し垂直、かつ、地面に対して平行となる方向を示し、縦方向は、地面からの高さ方向を示すものとする。

物体距離推定装置は、撮像画像を取得すると、領域分割処理及び物体検出処理を実行する。領域分割処理は、撮像画像の表示領域を、検出対象の物体を示す物体領域と、地面を示す地面領域と、当該物体領域及び地面領域とは異なる領域とを含む複数の領域に分割する処理である。図１に示す例では、領域Ｃが、物体領域を示しており、領域Ｇが地面領域を示している。

物体検出処理は、撮像画像から、検出対象の物体の少なくとも一部を囲む矩形領域を検出する処理である。図１に示す例では、矩形領域として、３つの矩形領域Ｏｂｊ１〜Ｏｂｊ３が検出されている。

物体距離推定装置は、物体検出処理により検出された矩形領域に対応する物体の距離を推定する。具体的には、物体距離推定装置は、矩形領域の下端位置と、領域分割部により分割された地面領域の位置との関係に基づいて、当該矩形領域に対応する物体が地面に接しているかを判定する接地判定処理を行う。

物体距離推定装置は、矩形領域に対応する物体が地面に接していると判定すると、当該物体の接地位置を特定し、当該接地位置と撮像装置との距離を、物体と撮像装置との距離として推定する。このように、地面と接していると判定した物体に限定して当該物体と撮像装置との距離を推定するので、物体距離推定装置は、誤差の大きい地面と接していない物体の距離の推定を回避し、検出対象の物体までの距離を精度良く推定することができる。
続いて、物体距離推定装置の詳細な説明を行う。

［物体距離推定装置１の構成］
図２は、本実施形態に係る物体距離推定装置１の構成を示す図である。物体距離推定装置１は、記憶部１１と、制御部１２とを備えている。

記憶部１１は、例えば、ＲＯＭ（Read Only Memory）又はＲＡＭ（Random Access Memory）である。記憶部１１は、制御部１２を機能させるための各種のプログラムを記憶する。記憶部１１は、制御部１２を、取得部１２１、領域分割部１２２、物体検出部１２３、判定部１２４、接地位置特定部１２５、物体距離推定部１２６及び出力部１２７として機能させる物体距離推定プログラムを記憶する。

制御部１２は、図示しないＣＰＵ（Central Processing Unit）等のプロセッサを含む計算リソースである。制御部１２は、記憶部１１に記憶されている物体距離推定プログラムを実行することにより、取得部１２１、領域分割部１２２、物体検出部１２３、判定部１２４、接地位置特定部１２５、物体距離推定部１２６及び出力部１２７として機能する。

取得部１２１は、撮像装置２が撮像した撮像画像を取得する。本実施形態において、撮像装置２は、一つの撮像手段を備える単眼カメラである。取得部１２１は、撮像装置２が生成した撮像画像を予め定められたタイムステップが経過するごとに取得する。

領域分割部１２２は、取得部１２１が取得した撮像画像について領域分割処理を実行することにより、当該撮像画像を、地面を示す地面領域と、検出対象の物体を示す物体領域と、地面領域及び物体領域とは異なる一以上の領域とを含む複数の領域に分割する。具体的には、領域分割部１２２は、撮像画像を構成する複数の画素のそれぞれに対して、対応する領域を示す情報を関連付けた分割領域情報を生成する。ここで、複数の領域には、検出対象の物体を示す物体領域と、地面を示す地面領域との他に、例えば、風景を示す風景領域が少なくとも含まれてもよい。なお、白線領域、歩道領域は、地面領域の一種とみなしてもよい。

物体検出部１２３は、取得部１２１が取得した撮像画像について物体検出処理を実行することにより、当該撮像画像から、検出対象の物体の位置及び大きさを示す矩形領域を検出する。物体検出部１２３は、撮像画像に検出対象の物体が複数映っている場合には、複数の当該物体のそれぞれを示す複数の矩形領域を検出する。物体検出部１２３は、検出した一以上の矩形領域のそれぞれについて、矩形領域が示す矩形の四つの頂点に対応する座標を示す矩形領域情報を生成する。

ここで、矩形領域は、検出対象の物体の少なくとも一部を囲む領域である。矩形領域の位置には誤差が含まれることから、必ずしも検出対象全体を囲わず、矩形領域から検出対象の物体の下端を示す部分がはみ出ることがある。

判定部１２４は、物体検出部１２３が検出した一以上の矩形領域のそれぞれについて、矩形領域の下端位置と、領域分割部１２２により分割された地面領域の位置との関係に基づいて、矩形領域に対応する物体が地面に接しているか否かを判定する。

具体的には、判定部１２４は、矩形領域の下端位置から上下の所定範囲内に地面領域が含まれる割合に基づいて、当該矩形領域に対応する物体が地面に接しているか否かを判定する。

例えば、判定部１２４は、矩形領域の下端位置から上下の所定範囲内の全画素数を特定するとともに、当該所定範囲内において、地面領域に分類されている画素の数を特定する。そして、判定部１２４は、所定範囲内の全画素数に対する、地面領域に分類されている画素の数が所定の割合（例えば５０％）以上である場合に、矩形領域に対応する物体が地面に接していると判定する。また、判定部１２４は、所定範囲内の全画素数に対する地面領域に分類されている画素の数が所定の割合未満である場合に、矩形領域に対応する物体が地面に接していないと判定する。

接地位置特定部１２５は、矩形領域に対応する物体が地面に接していると判定部１２４が判定すると、当該矩形領域の下端位置から上下の所定範囲内に含まれている物体領域の位置に基づいて、物体が地面に接している接地位置を特定する。例えば、接地位置特定部１２５は、矩形領域の下端位置から上下の所定範囲に対応する画素のうち、物体領域に分類されている画素を特定する。そして、接地位置特定部１２５は、物体領域に分類されている画素のうち、最も下方向に位置している画素の位置を、物体の接地位置と特定する。

なお、接地位置特定部１２５は、物体の接地位置の特定範囲を矩形領域の下端位置よりも下であって、当該下端位置から所定範囲内に限定し、当該所定範囲に含まれている物体領域の位置に基づいて、物体の接地位置を特定してもよい。この場合、接地位置特定部１２５は、矩形領域の下端位置よりも下の所定範囲内に物体領域が存在しない場合、矩形領域の下端位置を物体の接地位置として特定してもよい。

物体距離推定部１２６は、矩形領域に対応する物体が地面に接していると判定部１２４が判定すると、当該物体と撮像装置２との距離を推定する。物体距離推定部１２６は、接地位置特定部１２５が特定した物体の接地位置に基づいて、当該物体と撮像装置２との距離を推定する。例えば、物体距離推定部１２６は、実空間座標系において、特定した接地位置における高さが０であるとする制約条件の下で透視投影モデルにより距離を算出することで、物体と撮像装置２との距離を推定する。

出力部１２７は、物体距離推定部１２６が検出対象の物体に対して推定した距離を示す情報を含み、検出対象の物体を検出したことを示す物体検出情報を出力する。具体的には、出力部１２７は、物体検出部１２３が検出した物体に対応する矩形領域情報と、物体距離推定部１２６が当該物体に対して推定した距離を示す情報とを関連付けた物体検出情報を出力する。

また、出力部１２７は、物体が地面に接していないと判定部１２４が判定すると、距離を示す情報を含まずに、物体検出部１２３が検出した物体に対応する矩形領域情報と、物体が地面に接していないことを示す情報とを関連付けた物体検出情報を出力する。このようにすることで、物体距離推定装置１は、地面に接していないと判定された物体について、当該物体が誤った位置に存在するとみなされることを防止することができる。

［物体距離推定装置１における処理の流れ］
続いて、物体距離推定装置１における処理の流れについて説明する。図３は、本実施形態に係る物体距離推定装置１における処理の流れを示すフローチャートである。なお、物体距離推定装置１は、各タイムステップにおいて本フローチャートに係る処理を実行するものとする。

まず、取得部１２１は、撮像装置２から撮像画像を取得する（Ｓ１）。
続いて、領域分割部１２２は、Ｓ１において取得された撮像画像を、地面を示す地面領域及び検出対象の物体を示す物体領域を含む複数の領域に分割する（Ｓ２）。

物体検出部１２３は、Ｓ１において取得された撮像画像から、検出対象の物体を示す矩形領域を検出する（Ｓ３）。
なお、Ｓ２及びＳ３における処理は、図３に示す順番とは異なる順番で実行されてもよいし、並列して実行されてもよい。

続いて、判定部１２４は、Ｓ３において行われた矩形領域の検出に係る処理において、矩形領域が検出されたか否かを判定する（Ｓ４）。判定部１２４は、矩形領域が検出されたと判定すると、Ｓ５に処理を移し、矩形領域が検出されないと判定すると、本フローチャートに係る処理を終了する。

続いて、判定部１２４は、Ｓ３において検出された一以上の矩形領域のうち、一つの矩形領域を選択する（Ｓ５）。
続いて、判定部１２４は、Ｓ５において選択した矩形領域の下端位置と、Ｓ２において分割された地面領域の位置との関係に基づいて、当該矩形領域に対応する物体が地面に接しているか否かを判定する（Ｓ６）。判定部１２４は、物体が地面に接していると判定するとＳ７に処理を移し、物体が地面に接していないと判定するとＳ９に処理を移す。

続いて、接地位置特定部１２５は、Ｓ５において選択されている矩形領域の下端位置から上下の所定範囲内に含まれている物体領域の位置に基づいて、物体の接地位置を特定する（Ｓ７）。
続いて、物体距離推定部１２６は、Ｓ７において特定された接地位置に基づいて、撮像装置２から、Ｓ５において選択された矩形領域に対応する物体までの距離を推定する（Ｓ８）。

続いて、出力部１２７は、Ｓ５において選択された矩形領域に対応する矩形領域情報と、Ｓ８において推定された検出対象の物体までの距離を示す情報とを関連付けた物体検出情報を出力する（Ｓ９）。なお、出力部１２７は、Ｓ６において、物体が地面に接していないと判定すると、Ｓ５において選択された矩形領域に対応する矩形領域情報と、物体が地面に接していないことを示す情報とを関連付けた物体検出情報を出力する。

続いて、判定部１２４は、Ｓ３において検出された一以上の矩形領域のうち、全ての矩形領域を選択済であるか否かを判定する（Ｓ１０）。判定部１２４は、全ての矩形領域を選択済であると判定すると、本フローチャートに係る処理を終了し、全ての矩形領域を選択済ではないと判定すると、Ｓ５に処理を移す。

なお、物体距離推定装置１は、本フローチャートに示すように、各タイムステップにおいて、Ｓ２に示す領域分割に係る処理を行ったが、これに限らない。物体距離推定装置１は、Ｓ３に係る処理において矩形領域が検出されたことに応じて、Ｓ２に係る処理を実行するようにしてもよい。

［本実施形態の効果］
以上説明したように、本実施形態に係る物体距離推定装置１は、撮像装置２が撮像した撮像画像を、地面を示す地面領域と、地面領域とは異なる一以上の領域とを含む複数の領域に分割し、撮像画像から検出対象の物体を示す矩形領域を検出し、検出した矩形領域の下端位置と、分割された地面領域の位置との関係に基づいて、矩形領域に対応する物体が地面に接しているかを判定する。そして、物体距離推定装置１は、物体が地面に接していると判定すると、当該物体と撮像装置２との距離を推定し、当該距離を示す情報を含み、物体を検出したことを示す物体検出情報を出力する。このようにすることで、物体距離推定装置１は、地面に接している検出対象に限定して、物体までの距離を推定することができる。

また、物体距離推定装置１は、矩形領域の下端位置から上下の所定範囲内に含まれている物体領域の位置に基づいて、物体が地面に接している接地位置を特定し、当該接地位置に基づいて、当該物体と撮像装置との距離を推定するので、検出対象の物体までの距離の精度をさらに高めることができる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、上述の実施の形態では、物体距離推定装置１が乗用車、バス、トラック等の車両に設けられるものとしたが、これに限らない。物体距離推定装置１は、これらの車両に限らず、二輪車、電車等の、障害物との距離を推定することが必要な移動体に設けられてもよい。また、物体距離推定装置１は、車両の前方を撮像する撮像装置が撮像した撮像画像に基づいて、撮像装置と、車両の前方の検出対象の物体との距離を推定したが、これに限らない。例えば、撮像装置が車両の後方を撮像するものであってもよく、物体距離推定装置１は、撮像装置と、車両の後方の検出対象の物体との距離を推定してもよい。

また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。

１ 物体距離推定装置
１１ 記憶部
１２ 制御部
１２１ 取得部
１２２ 領域分割部
１２３ 物体検出部
１２４ 判定部
１２５ 接地位置特定部
１２６ 物体距離推定部
１２７ 出力部
２ 撮像装置

Claims (5)

1. 撮像装置が撮像した撮像画像を、地面を示す地面領域と、前記地面領域とは異なる一以上の領域とを含む複数の領域に分割する領域分割部と、
   前記撮像画像から検出対象の物体を示す矩形領域を検出する物体検出部と、
   前記物体検出部が検出した前記矩形領域の下端位置と、前記領域分割部により分割された前記地面領域の位置との関係に基づいて、前記矩形領域に対応する前記物体が地面に接しているかを判定する判定部と、
   前記物体が地面に接していると前記判定部が判定すると、当該物体と前記撮像装置との距離を推定する物体距離推定部と、
   前記物体距離推定部が前記物体に対して推定した距離を示す情報を含み、前記物体を検出したことを示す物体検出情報を出力する出力部と、
   を備える物体距離推定装置。
2. 前記判定部は、前記矩形領域の下端位置から上下の所定範囲内に前記地面領域が含まれる割合に基づいて、前記矩形領域に対応する前記物体が地面に接しているかを判定する、
   請求項１に記載の物体距離推定装置。
3. 前記領域分割部は、前記撮像画像を、前記地面領域と、前記物体を示す領域である物体領域とを含む前記複数の領域に分割し、
   前記物体が地面に接していると前記判定部が判定すると、前記矩形領域の下端位置から上下の所定範囲内に含まれている前記物体領域の位置に基づいて、前記物体が地面に接している接地位置を特定する接地位置特定部をさらに備え、
   前記物体距離推定部は、前記接地位置特定部が特定した前記物体の前記接地位置に基づいて、当該物体と前記撮像装置との距離を推定する、
   請求項１又は２に記載の物体距離推定装置。
4. 前記出力部は、前記物体が地面に接していないと前記判定部が判定すると、前記物体が地面に接していないことを示す情報を含む前記物体検出情報を出力する、
   請求項１から３のいずれか１項に記載の物体距離推定装置。
5. コンピュータが実行する、
   撮像装置が撮像した撮像画像を、地面を示す地面領域と、前記地面領域とは異なる一以上の領域とを含む複数の領域に分割するステップと、
   前記撮像画像から検出対象の物体を示す矩形領域を検出するステップと、
   検出された前記矩形領域の下端位置と、分割された前記地面領域の位置との関係に基づいて、前記矩形領域に対応する前記物体が地面に接しているかを判定するステップと、
   前記判定するステップにおいて前記物体が地面に接していると判定されると、当該物体と前記撮像装置との距離を推定するステップと、
   前記物体に対して推定された距離を示す情報を含み、前記物体を検出したことを示す物体検出情報を出力するステップと、
   を備える物体距離推定方法。