JP2016206774A - 立体物検出装置及び立体物検出方法 - Google Patents

Abstract

【課題】立体物を検出する精度を維持しつつ、演算負荷を軽減することができる立体物検出装置及び立体物検出方法を提供する。
【解決手段】第２分類部により、視差点が分類された集合それぞれについて、集合に属する視差点の視差画像における縦方向の位置の分布に基づいて、立体物カテゴリ、路面カテゴリ及び不明カテゴリのいずれかに集合が分類される。路面推定部により、路面カテゴリに分類された集合の視差点に基づいて路面が推定され、第３分類部により、推定された路面に基づいて、不明カテゴリに分類された集合の中から立体物に対応する集合が分類される。これにより、視差点と推定された路面とに基づいて立体物を検出する処理が、不明カテゴリに分類された視差点の集合に限定されるため、立体物を検出する精度を維持しつつ、演算負荷を軽減することができる。
【選択図】図２

Description

本発明の一側面及び他の側面は、立体物検出装置及び立体物検出方法に関する。

異なる視点それぞれから車載カメラにより車両の周囲を撮影することにより取得された互いに視差を有する複数の画像を表す画像データに基づいて、車両の周囲の立体物を検出する技術が提案されている。例えば、特許文献１の装置では、車載のステレオカメラにより取得された互いに視差を有する複数の画像を表す画像データが取得される。当該画像データに基づいて、複数の画像の各々において対応した点である視差点それぞれにおける視差を表す視差画像が生成される。生成された視差画像の視差点に関する情報に基づいて、車両の周囲の路面が推定される。視差点と推定された路面とに基づいて、路面から突出したバスや自動二輪車等の立体物が検出される。

米国特許出願公開第２０１４／００７１２４０号明細書

ところで、上記特許文献１の装置においては、立体物を高精度で検出することができるが、演算負荷が大きい欠点があり、改善が望まれている。

そこで本発明は、立体物を検出する精度を維持しつつ、演算負荷を軽減することができる立体物検出装置及び立体物検出方法を提供することを目的とする。

本発明の一側面は、異なる視点それぞれから車載カメラにより車両の周囲を撮影することにより、互いに視差を有する複数の画像を表す画像データを取得する撮影部と、画像データに基づいて、複数の画像の各々において対応した点である視差点それぞれにおける視差を表す視差画像を生成する視差画像生成部と、視差画像における視差点の視差を複数の範囲ごとに区分する視差範囲と、視差画像における視差点の横方向の位置を複数の範囲ごとに区分する横方向位置範囲とを条件とする複数の集合それぞれに視差点を分類する第１分類部と、視差点が分類された集合それぞれについて、集合に属する視差点の視差画像における縦方向の位置の分布に基づいて、立体物カテゴリ、路面カテゴリ及び不明カテゴリを含む複数のカテゴリのいずれかに集合を分類する第２分類部と、路面カテゴリに分類された集合の視差点に基づいて、車両の周囲の路面を推定する路面推定部と、推定された路面に基づいて、不明カテゴリに分類された集合の中から立体物に対応する集合を分類する第３分類部とを備えた立体物検出装置である。

この構成によれば、第１分類部により、視差画像における視差点の視差範囲と横方向位置範囲とを条件とする複数の集合それぞれに視差点が分類され、第２分類部により、視差点が分類された集合それぞれについて、集合に属する視差点の視差画像における縦方向の位置の分布に基づいて、立体物カテゴリ、路面カテゴリ及び不明カテゴリを含む複数のカテゴリのいずれかに集合が分類される。これにより、少ない演算負荷により、立体物の視差点の集合と、路面の視差点の集合と、立体物の視差点であるか路面の視差点であるか不明である視差点の集合とを概括的に分類することができる。路面推定部により、路面カテゴリに分類された集合の視差点に基づいて路面が推定され、第３分類部により、推定された路面に基づいて、不明カテゴリに分類された集合の中から立体物に対応する集合が分類される。これにより、視差点と推定された路面とに基づいて立体物を検出する処理が、不明カテゴリに分類された視差点の集合に限定されるため、立体物を検出する精度を維持しつつ、演算負荷を軽減することができる。

この場合、第２分類部は、視差点が分類された集合それぞれについて、集合に属する視差点の数が無効閾値未満である集合を、立体物カテゴリ、路面カテゴリ及び不明カテゴリのいずれにも属さない無効カテゴリに分類してもよい。

この構成によれば、第２分類部により、集合に属する視差点の数が少ないために単なるノイズ等であるとみなすことができる集合が、立体物カテゴリ、路面カテゴリ及び不明カテゴリのいずれにも属さない無効カテゴリに分類され、立体物を検出するための演算から除かれるため、演算負荷をさらに軽減することができる。

また、第２分類部は、視差点が分類された集合それぞれについて、集合に属する視差点が視差画像における縦方向の位置に分布する範囲が、立体物閾値以上である場合は、集合を立体物カテゴリに分類し、集合に属する視差点が視差画像における縦方向の位置に分布する範囲が、立体物閾値未満の路面閾値以下である場合は、集合を路面カテゴリに分類し、集合に属する視差点が視差画像における縦方向の位置に分布する範囲が、立体物閾値未満であり、且つ路面閾値を超えている場合は、集合を不明カテゴリに分類してもよい。

この構成によれば、第２分類部により、集合に属する視差点が視差画像における縦方向の位置に分布する範囲が立体物閾値以上に大きい場合は、当該視差点の集合は立体物である可能性が高いために、当該集合は立体物カテゴリに分類される。また、第２分類部により、集合に属する視差点が視差画像における縦方向の位置に分布する範囲が、立体物閾値未満の路面閾値以下に小さい場合は、当該視差点の集合は路面である可能性が高いために、当該集合は路面カテゴリに分類される。また、第２分類部により、立体物カテゴリにも路面カテゴリにも分類されなかった集合は、不明カテゴリに分類される。これにより、少ない演算負荷により、立体物の視差点の集合と、路面の視差点の集合と、立体物の視差点であるか路面の視差点であるか不明である視差点の集合とを概括的に分類することができる。

また、本発明の他の側面は、立体物検出装置の撮影部により、異なる視点それぞれから車載カメラにより車両の周囲を撮影することにより、互いに視差を有する複数の画像を表す画像データを取得する撮影工程と、立体物検出装置の視差画像生成部により、画像データに基づいて、複数の画像の各々において対応した点である視差点それぞれにおける視差を表す視差画像を生成する視差画像生成工程と、立体物検出装置の第１分類部により、視差画像における視差点の視差を複数の範囲ごとに区分する視差範囲と、視差画像における視差点の横方向の位置を複数の範囲ごとに区分する横方向位置範囲とを条件とする複数の集合それぞれに視差点を分類する第１分類工程と、立体物検出装置の第２分類部により、視差点が分類された集合それぞれについて、集合に属する視差点の視差画像における縦方向の位置の分布に基づいて、立体物カテゴリ、路面カテゴリ及び不明カテゴリを含む複数のカテゴリのいずれかに集合を分類する第２分類工程と、立体物検出装置の路面推定部により、路面カテゴリに分類された集合の視差点に基づいて、車両の周囲の路面を推定する路面推定工程と、立体物検出装置の第３分類部により、推定された路面に基づいて、不明カテゴリに分類された集合の中から立体物に対応する集合を分類する第３分類工程とを備えた立体物検出方法である。

この場合、第２分類工程では、視差点が分類された集合それぞれについて、集合に属する視差点の数が無効閾値未満である集合を、立体物カテゴリ、路面カテゴリ及び不明カテゴリのいずれにも属さない無効カテゴリに分類してもよい。

また、第２分類工程では、視差点が分類された集合それぞれについて、集合に属する視差点が視差画像における縦方向の位置に分布する範囲が、立体物閾値以上である場合は、集合を立体物カテゴリに分類し、集合に属する視差点が視差画像における縦方向の位置に分布する範囲が、立体物閾値未満の路面閾値以下である場合は、集合を路面カテゴリに分類し、集合に属する視差点が視差画像における縦方向の位置に分布する範囲が、立体物閾値未満であり、且つ路面閾値を超えている場合は、集合を不明カテゴリに分類してもよい。

本発明の一側面及び他の側面によれば、立体物を検出する精度を維持しつつ、演算負荷を軽減することができる。

実施形態の立体物検出装置を示すブロック図である。 図１の立体物検出装置の動作を示すフローチャートである。 視差画像中の横方向の位置を横軸とし、視差を縦軸とした視差マップを示す図である。 （ａ）は立体物カテゴリに分類された集合（ブロック）に属する視差点を示す図であり、（ｂ）は路面カテゴリに分類された集合に属する視差点を示す図であり、（ｃ）は不明カテゴリに分類された集合に属する視差点を示す図であり、（ｄ）は無効カテゴリに分類された集合に属する視差点を示す図である。 路面カテゴリに分類された集合それぞれに属する視差点をV-disparity平面にプロットした一例を示す図である。 画像に写った路面と道路壁とを示す図である。 推定された路面に基づいて、不明カテゴリに分類された集合の中から図６の道路壁に対応する集合を分類する方法を示す図である。 画像に写った路面とガードレールとを示す図である。 推定された路面に基づいて、不明カテゴリに分類された集合の中から図８のガードレールに対応する集合を分類する方法を示す図である。

以下、図面を参照して、本発明の実施形態に係る立体物検出装置及び立体物検出方法について説明する。

図１に示すように、第１実施形態に係る立体物検出装置１は、例えば、乗用車等の車両に搭載され、車両の周囲の立体物を検出する。立体物とは、例えば、車両の周囲の路面から突出した物体を意味し、路面と分離した物体及び路面と一体化した物体の両方を含む。路面とは、例えば、車両の走行可能な道路の表面である。なお、路面には、車両の走行する道路の表面の他、駐車場の通路及び駐車スペースの表面が含まれてもよい。

立体物検出装置１は、立体物を検出するためのＥＣＵ［Electronic Control Unit］２、及びステレオカメラ（車載カメラ）３を備えている。ＥＣＵ２は、ＣＰＵ[Central Processing Unit]、ＲＯＭ[Read Only Memory]、ＲＡＭ[Random Access Memory]等を有する電子制御ユニットである。ＥＣＵ２では、ＲＯＭに記憶されているプログラムをＲＡＭにロードし、ＣＰＵで実行することで、各種の処理を実行する。ＥＣＵ２は、複数の電子制御ユニットから構成されていてもよい。

ステレオカメラ３は、異なる視点それぞれから車載カメラにより車両の周囲を撮影することにより取得された互いに視差を有する複数の画像を取得する画像取得機器である。ステレオカメラ３は、両眼視差を再現するように配置された第１カメラ４及び第２カメラ５を有している。第１カメラ４及び第２カメラ５は、例えば、車両のフロントガラスの裏側に設けられ、車両の前方を撮像する。

第１カメラ４及び第２カメラ５は、例えば、水平方向に所定間隔を隔てて取り付けられているため、物体を撮影すると、視差を有する複数の画像である左画像及び右画像が得られる。得られた２つの画像は視差を有している。このため、２つの画像から、２つの画像間での対応する点である視差点それぞれにおける視差に関する情報を含んだ視差画像を取得することができる。視差画像に基づいて、三角測量の原理により、視差点ごとの路面及び立体物までの距離を求めることができる。

なお、第１カメラ４及び第２カメラ５は、車両の側部又は車両の後部（例えばリアガラスの裏側）に設けられ、車両の側方又は後方を撮像してもよい。また、ステレオカメラ３は、３つ以上のカメラにより、３つ以上の異なる視点から車両の周囲を撮影することにより、互いに視差を有する３つ以上の画像を取得してもよい。ステレオカメラ３は、撮影した互いに視差を有する複数の画像を表す画像データをＥＣＵ２へ送信する。

なお、立体物検出装置１は、ステレオカメラ３に代えて、単眼カメラを備えていてもよい。単眼カメラにおいても、周知の手法（例えば撮像の時間差を利用した手法）を用いることにより、視差画像を得ることができる。

次に、ＥＣＵ２の機能的構成について説明する。図１に示すように、ＥＣＵ２は、撮影部１１、視差画像生成部１２、第１分類部１３、第２分類部１４、路面推定部１５及び第３分類部１６を有している。撮影部１１は、第１カメラ４及び第２カメラ５の異なる視点それぞれからステレオカメラ３により車両の周囲を撮影することにより、互いに視差を有する２つの画像を表す画像データを取得する。

視差画像生成部１２は、撮影部１１により取得された画像データに基づいて、２つの画像の各々において対応した点である視差点それぞれにおける視差を表す視差画像を生成する。第１分類部１３は、視差画像生成部１２により生成された視差画像における視差点の視差を複数の範囲ごとに区分する視差範囲と、視差画像における視差点の横方向の位置を複数の範囲ごとに区分する横方向位置範囲とを条件とする複数の集合それぞれに視差点を分類する。

第２分類部１４は、第１分類部１３によって視差点が分類された集合それぞれについて、集合に属する視差点の視差画像における縦方向の位置の分布に基づいて、立体物カテゴリ、路面カテゴリ、不明カテゴリ及び無効カテゴリのいずれかに集合を分類する。路面推定部１５は、第２分類部１４により路面カテゴリに分類された集合の視差点に基づいて、車両の周囲の路面を推定する。第３分類部１６は、路面推定部１５により推定された路面に基づいて、不明カテゴリに分類された集合の中から立体物に対応する集合を分類する。

以下、本実施形態の立体物検出装置１の動作について説明する。図２に示すように、撮影工程として、立体物検出装置１のＥＣＵ２の撮影部１１により、第１カメラ４及び第２カメラ５の異なる視点それぞれからステレオカメラ３により車両の周囲を撮影することにより、互いに視差を有する２つの画像を表す画像データが取得される（Ｓ１）。

視差画像生成工程として、立体物検出装置１のＥＣＵ２の視差画像生成部１２により、撮影工程で取得された画像データに基づいて、２つの画像の各々において対応した点である視差点それぞれにおける視差（距離）を表す視差画像が生成される（Ｓ２）。２つの画像の視差点の視差の算出は、例えば、２つの画像それぞれの対応する複数の画素を所定の大きさの領域内に視差点を設定し、差分絶対和（ＳＡＤ）を用いて視差を算出することができる。視差点の視差は、差分の自乗和や正規化関数を用いて算出されてもよい。

第１分類工程として、立体物検出装置１のＥＣＵ２の第１分類部１３により、視差画像生成工程で生成された視差画像について、視差画像における視差点の視差を複数の範囲ごとに区分する視差範囲と、視差画像における視差点の横方向の位置を複数の範囲ごとに区分する横方向位置範囲とを条件とする複数の集合それぞれに視差点が分類される（Ｓ３）。

第１分類部１３は、図３に示すような視差投票マップを設定する。図３の視差投票マップでは、縦方向の辺が視差の大きさに対応するように定められ、且つ横方向の辺が視差画像の水平方向（横方向）の座標に対応するように定められた複数の矩形状のブロックを配列させて構成されている。視差投票マップの複数の矩形状のブロックそれぞれは、視差画像における視差点の視差を複数の範囲ごとに区分する視差範囲ｄと、視差画像における視差点の横方向の位置を複数の範囲ごとに区分する横方向位置範囲ｖとを条件とする視差点の集合を示す。

第１分類部１３は、図３に示すような視差投票マップのブロックそれぞれに対応した視差点を分類（投票）する。第１分類部１３は、視差投票マップのブロックそれぞれに、視差点それぞれの視差画像における水平方向の座標、視差点それぞれの視差、視差点それぞれの視差画像における垂直方向（縦方向）の座標及び視差点の数を関連付けて記憶する。

図２に示すように、第２分類工程として、立体物検出装置１の第２分類部１４により、第１分類工程で視差点が分類された集合それぞれについて、集合に属する視差点の視差画像における垂直方向（縦方向）の位置の分布に基づいて、立体物カテゴリ、路面カテゴリ、不明カテゴリ及び無効カテゴリのいずれかに集合が分類される（Ｓ４）。

図４（ａ）に示すように、集合に属する視差点の数が予め設定された無効閾値以上であって、且つ集合に属する視差点が視差画像における縦方向の位置に分布する範囲が予め設定された立体物閾値Ｏ_ｔｈ以上である場合は、第２分類部１４は当該集合を立体物カテゴリに分類する。無効閾値は、視差点の集合を立体物及び路面の検出に用いるか否かを決定するための視差点の数の閾値である。また、立体物閾値Ｏ_ｔｈは、視差点の集合が立体物を示しているか否かを決定するための視差点の視差画像における縦方向の位置に分布する範囲の閾値である。

図４（ａ）に示すように、同程度の視差（距離）を有する視差点が視差画像における縦方向の位置の広い範囲に分布している場合は、当該視差点の集合は立体物を示していると推定することができる。第２分類部１４は、集合に属する視差点それぞれについて、視差と視差画像における縦方向の位置とを座標軸とする座標平面上で直線近似をし、当該直線の視差に対する視差画像における縦方向の位置の勾配が予め設定された値よりも急峻である場合に、当該集合を立体物カテゴリに分類してもよい。

図４（ｂ）に示すように、集合に属する視差点の数が予め設定された無効閾値以上であって、且つ集合に属する視差点が視差画像における縦方向の位置に分布する範囲が立体物閾値Ｏ_ｔｈ未満である予め設定された路面閾値Ｓ_ｔｈ以下である場合は、第２分類部１４は当該集合を路面カテゴリに分類する。路面閾値Ｓ_ｔｈは、視差点の集合が路面を示しているか否かを決定するための視差点の視差画像における縦方向の位置に分布する範囲の閾値である。

図４（ｂ）に示すように、同程度の視差（距離）を有する視差点が視差画像における縦方向の位置の狭い範囲に分布し、視差が減少するにつれて（距離が増大するにつれて）、滑らかに視差画像における縦方向の位置が上昇している場合は、当該視差点の集合は路面を示していると推定することができる。第２分類部１４は、集合に属する視差点それぞれについて、視差と視差画像における縦方向の位置とを座標軸とする座標平面上で直線近似をし、当該直線の視差に対する視差画像における縦方向の位置の勾配が予め設定された値よりもなだらかである場合に、当該集合を路面カテゴリに分類してもよい。

図４（ｃ）に示すように、集合に属する視差点の数が予め設定された無効閾値以上であって、集合に属する視差点が視差画像における縦方向の位置に分布する範囲が、立体物閾値Ｏ_ｔｈ未満であり、且つ路面閾値Ｓ_ｔｈを超えている場合は、第２分類部１４は当該集合を不明カテゴリに分類する。第２分類工程の段階では路面との対比が未だ行われていないため、立体物を示している視差点であると高い精度で推定できない視差点の集合については、立体物であるか否かの推定が保留される。第２分類部１４は、集合に属する視差点それぞれについて、視差と視差画像における縦方向の位置とを座標軸とする座標平面上で直線近似をし、当該直線の視差に対する視差画像における縦方向の位置の勾配が予め設定された範囲内である場合に、当該集合を不明カテゴリに分類してもよい。

図４（ｄ）に示すように、集合に属する視差点の数が無効閾値未満である場合は、第２分類部１４は当該集合を、立体物カテゴリ、路面カテゴリ及び不明カテゴリのいずれにも属さない無効カテゴリに分類する。なお、第２分類部１４は、上記の立体物カテゴリ、路面カテゴリ、不明カテゴリ及び無効カテゴリ以外にも、任意のカテゴリに視差点の集合を分類してもよい。

図２に示すように、路面推定工程として、立体物検出装置１のＥＣＵ２の路面推定部１５により、路面カテゴリに分類された集合の視差点に基づいて、車両の周囲の路面が推定される（Ｓ５）。路面カテゴリに分類された集合の視差点に基づいた路面の推定は、例えば、公知のv-disparityにより行うことができる。図５に示すように、v-disparityは、横軸に視差（視差が示す距離）をとり、縦軸に視差画像での垂直方向の座標をとり、視差画像に対して水平方向のヒストグラムを求めたグラフである。視差画像において、路面の領域は、例えば、視差画像の垂直方向の座標が上方に変化するのに伴って、視差が滑らかに減少する（視差が示す距離が増大する）。そのため、図５に示すように、v-disparity平面においては、路面は斜め方向に伸びる線分として射影される。路面推定部１５は、路面を示す視差点であると推定された視差点を抽出する。路面推定部１５は、v-disparity以外にも公知の手法により、路面カテゴリに分類された集合の視差点に基づいて、車両の周囲の路面を推定してもよい。

図２に示すように、第３分類工程として、立体物検出装置１のＥＣＵ２の第３分類部１６により、推定された路面に基づいて、不明カテゴリに分類された集合の中から立体物に対応する集合が分類される（Ｓ６）。例えば、図６に示すように、路面１０１と道路壁１０２とが写っている画像Ｆ１において、範囲ｚ１において上記のように視差点の集合が分類された場合を想定する。図４（ｃ）に示したように、当該集合は、第２分類工程では、道路壁１０２の路面１０１からの高さが低く、視差点が視差画像における縦方向の位置に分布する範囲が狭いために、不明カテゴリに分類されている。

図７に示すように、第３分類工程では、当該集合に対して路面推定工程で路面を示す視差点であると推定された視差点Ｐ_１０１が示されている。路面を示す視差点Ｐ_１０１それぞれの中で視差画像における縦方向の位置が最も低い視差点Ｐ_１０１から、道路壁１０２を示す視差点Ｐ_１０２それぞれの中で視差画像における縦方向の位置が最も高い視差点Ｐ_１０２までの高さＨ_１０２が予め設定された再分類閾値Ｒ_ｔｈ以上である場合に、第３分類部１６は不明カテゴリに分類された集合を立体物に対応する集合として分類する。再分類閾値Ｒ_ｔｈは、不明カテゴリに分類された集合を立体物に対応する集合として分類するための視差画像における縦方向の位置の範囲の閾値である。

第３分類工程では、路面を示す視差点Ｐ_１０１それぞれの中で視差画像における縦方向の位置の平均値から、道路壁１０２を示す視差点Ｐ_１０２それぞれの中で視差画像における縦方向の位置の平均値までの高さが予め設定された再分類閾値Ｒ_ｔｈ以上である場合に、第３分類部１６は不明カテゴリに分類された集合を立体物に対応する集合として分類してもよい。また、第３分類工程では、路面を示す視差点Ｐ_１０１それぞれの中で視差画像における縦方向の位置が最も高い視差点Ｐ_１０１から、道路壁１０２を示す視差点Ｐ_１０２それぞれの中で視差画像における縦方向の位置が最も低い視差点Ｐ_１０２までの高さが予め設定された再分類閾値Ｒ_ｔｈ以上である場合に、第３分類部１６は不明カテゴリに分類された集合を立体物に対応する集合として分類してもよい。

また、例えば、図８に示すように、路面１０１とガードレール１０３とが写っている画像Ｆ２において、範囲ｚ２において上記のように集合が分類された場合を想定する。図９に示すように、路面を示す視差点Ｐ_１０１それぞれの中で視差画像における縦方向の位置が最も低い視差点Ｐ_１０１から、ガードレール１０３を示す視差点Ｐ_１０３それぞれの中で視差画像における縦方向の位置が最も高い視差点Ｐ_１０３までの高さＨ_１０３が予め設定された再分類閾値Ｒ_ｔｈ以上である場合に、第３分類部１６は不明カテゴリに分類された集合を立体物に対応する集合として分類する。

本実施形態では、第１分類部１３により、視差画像における視差点の視差範囲ｄと横方向位置範囲ｈとを条件とする複数の集合それぞれに視差点が分類され、第２分類部１４により、視差点が分類された集合それぞれについて、集合に属する視差点の視差画像における縦方向の位置の分布に基づいて、立体物カテゴリ、路面カテゴリ及び不明カテゴリを含む複数のカテゴリのいずれかに集合が分類される。これにより、少ない演算負荷により、立体物の視差点の集合と、路面の視差点の集合と、立体物の視差点であるか路面の視差点であるか不明である視差点の集合とを概括的に分類することができる。路面推定部１５により、路面カテゴリに分類された集合の視差点に基づいて路面が推定され、第３分類部１６により、推定された路面に基づいて、不明カテゴリに分類された集合の中から立体物に対応する集合が分類される。これにより、視差点と推定された路面とに基づいて立体物を検出する処理が、不明カテゴリに分類された視差点の集合に限定されるため、立体物を検出する精度を維持しつつ、演算負荷を軽減することができる。

また、本実施形態では、第２分類部１４により、集合に属する視差点の数が少ないために単なるノイズ等であるとみなすことができる集合が、立体物カテゴリ、路面カテゴリ及び不明カテゴリのいずれにも属さない無効カテゴリに分類され、立体物を検出するための演算から除かれるため、演算負荷をさらに軽減することができる。

また、本実施形態では、第２分類部１４により、集合に属する視差点が視差画像における縦方向の位置に分布する範囲が立体物閾値Ｏ_ｔｈ以上に大きい場合は、当該視差点の集合は立体物である可能性が高いために、当該集合は立体物カテゴリに分類される。また、第２分類部１４により、集合に属する視差点が視差画像における縦方向の位置に分布する範囲が、立体物閾値Ｏ_ｔｈ未満である路面閾値Ｓ_ｔｈ以下に小さい場合は、当該視差点の集合は路面である可能性が高いために、当該集合は路面カテゴリに分類される。また、第２分類部１４により、立体物カテゴリにも路面カテゴリにも分類されなかった集合は、不明カテゴリに分類される。これにより、少ない演算負荷により、立体物の視差点の集合と、路面の視差点の集合と、立体物の視差点であるか路面の視差点であるか不明である視差点の集合とを概括的に分類することができる。

尚、本発明の実施形態の立体物検出装置及び立体物検出方法は、上記した実施の形態に限定されるものではなく、本発明の実施形態の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。

例えば、上記実施形態において、必ずしも、第２分類部１４により、視差点の集合が無効カテゴリに分類されず、視差点の集合が立体物カテゴリ、路面カテゴリ及び不明カテゴリの３つのカテゴリのいずれかに分類されてもよい。これにより、集合に属する視差点の数が少ない集合についても立体物であるか路面であるかの推定が行われるため、立体物の検出の精度を向上させることができる。また、立体物検出装置１は、検出された立体物を車両の運転者に表示する表示部を備えていてもよい。また、立体物検出装置１は、検出された立体物に基づいて、車両の制動、加速又は操舵等の走行制御を実行する走行制御部を備えていてもよい。

１…立体物検出装置、２…ＥＣＵ、３…ステレオカメラ、４…第１カメラ、５…第２カメラ、１１…撮影部、１２…視差画像生成部、１３…第１分類部、１４…第２分類部、１５…路面推定部、１６…第３分類部、１０１…路面、１０２…道路壁、１０３…ガードレール、ｄ…視差範囲、ｈ…横方向位置範囲、Ｏ_ｔｈ…立体物閾値、Ｓ_ｔｈ…路面閾値、Ｒ_ｔｈ…再分類閾値、Ｆ１，Ｆ２…画像、ｚ１，ｚ２…範囲、Ｐ_１０１，Ｐ_１０２，Ｐ_１０３…視差点、Ｈ_１０２，Ｈ_１０３…高さ。

Claims (6)

1. 異なる視点それぞれから車載カメラにより車両の周囲を撮影することにより、互いに視差を有する複数の画像を表す画像データを取得する撮影部と、
   前記画像データに基づいて、前記複数の画像の各々において対応した点である視差点それぞれにおける前記視差を表す視差画像を生成する視差画像生成部と、
   前記視差画像における前記視差点の視差を複数の範囲ごとに区分する視差範囲と、前記視差画像における前記視差点の横方向の位置を複数の範囲ごとに区分する横方向位置範囲とを条件とする複数の集合それぞれに前記視差点を分類する第１分類部と、
   前記視差点が分類された前記集合それぞれについて、前記集合に属する前記視差点の前記視差画像における縦方向の位置の分布に基づいて、立体物カテゴリ、路面カテゴリ及び不明カテゴリを含む複数のカテゴリのいずれかに前記集合を分類する第２分類部と、
   前記路面カテゴリに分類された前記集合の前記視差点に基づいて、前記車両の周囲の路面を推定する路面推定部と、
   推定された前記路面に基づいて、前記不明カテゴリに分類された前記集合の中から立体物に対応する前記集合を分類する第３分類部と、
   を備えた立体物検出装置。
2. 前記第２分類部は、前記視差点が分類された前記集合それぞれについて、前記集合に属する前記視差点の数が無効閾値未満である前記集合を、前記立体物カテゴリ、前記路面カテゴリ及び前記不明カテゴリのいずれにも属さない無効カテゴリに分類する、請求項１に記載の立体物検出装置。
3. 前記第２分類部は、前記視差点が分類された前記集合それぞれについて、
   前記集合に属する前記視差点が前記視差画像における縦方向の位置に分布する範囲が、立体物閾値以上である場合は、前記集合を立体物カテゴリに分類し、
   前記集合に属する前記視差点が前記視差画像における縦方向の位置に分布する範囲が、前記立体物閾値未満の路面閾値以下である場合は、前記集合を路面カテゴリに分類し、
   前記集合に属する前記視差点が前記視差画像における縦方向の位置に分布する範囲が、立体物閾値未満であり、且つ前記路面閾値を超えている場合は、前記集合を不明カテゴリに分類する、請求項１又は２に記載の立体物検出装置。
4. 立体物検出装置の撮影部により、異なる視点それぞれから車載カメラにより車両の周囲を撮影することにより、互いに視差を有する複数の画像を表す画像データを取得する撮影工程と、
   前記立体物検出装置の視差画像生成部により、前記画像データに基づいて、前記複数の画像の各々において対応した点である視差点それぞれにおける前記視差を表す視差画像を生成する視差画像生成工程と、
   前記立体物検出装置の第１分類部により、前記視差画像における前記視差点の視差を複数の範囲ごとに区分する視差範囲と、前記視差画像における前記視差点の横方向の位置を複数の範囲ごとに区分する横方向位置範囲とを条件とする複数の集合それぞれに前記視差点を分類する第１分類工程と、
   前記立体物検出装置の第２分類部により、前記視差点が分類された前記集合それぞれについて、前記集合に属する前記視差点の前記視差画像における縦方向の位置の分布に基づいて、立体物カテゴリ、路面カテゴリ及び不明カテゴリを含む複数のカテゴリのいずれかに前記集合を分類する第２分類工程と、
   前記立体物検出装置の路面推定部により、前記路面カテゴリに分類された前記集合の前記視差点に基づいて、前記車両の周囲の路面を推定する路面推定工程と、
   前記立体物検出装置の第３分類部により、推定された前記路面に基づいて、前記不明カテゴリに分類された前記集合の中から立体物に対応する前記集合を分類する第３分類工程と、
   を備えた立体物検出方法。
5. 前記第２分類工程では、前記視差点が分類された前記集合それぞれについて、前記集合に属する前記視差点の数が無効閾値未満である前記集合を、前記立体物カテゴリ、前記路面カテゴリ及び前記不明カテゴリのいずれにも属さない無効カテゴリに分類する、請求項４に記載の立体物検出方法。
6. 前記第２分類工程では、前記視差点が分類された前記集合それぞれについて、
   前記集合に属する前記視差点が前記視差画像における縦方向の位置に分布する範囲が、立体物閾値以上である場合は、前記集合を立体物カテゴリに分類し、
   前記集合に属する前記視差点が前記視差画像における縦方向の位置に分布する範囲が、前記立体物閾値未満の路面閾値以下である場合は、前記集合を路面カテゴリに分類し、
   前記集合に属する前記視差点が前記視差画像における縦方向の位置に分布する範囲が、立体物閾値未満であり、且つ前記路面閾値を超えている場合は、前記集合を不明カテゴリに分類する、請求項４又は５に記載の立体物検出方法。
   

Images