JP2013161433A - 車両の周辺監視装置 - Google Patents

Abstract

【課題】障害物としてなり得ない立体物を除外することが可能な車両の周辺監視装置を提供する。
【解決手段】カメラ１１および１２は、車両の前方を異なる視点からステレオ画像で撮像する。物標検出部２１は、カメラ１１および１２で撮影された一対の画像に含まれている物標を検出する。立体物判定部２２は、物標検出部２１で検出された物標に関する情報に基づいて、画像で捉えられた立体物を判定する。立体物除外部３０は、立体物判定部２２で判定された各々の立体物の死角領域を求め、死角領域内に別の立体物が存在している立体物を検出結果から除外する。
【選択図】図１

Description

本発明は、車両の周辺監視装置に関し、より特定的には、車両に搭載され、車両の周囲を監視して立体物を検出する装置に関する。

近年、立体物との衝突回避や自動走行などの車両運転支援を実現するために、車両の周辺を監視して走行の障害となる立体物を検出する装置が種々開発されている。この立体物検出装置では、例えば、車両の周辺に存在する様々な物標を検出し、所定の手法に従って、この検出した物標が障害物となる立体物であるか否かを特定することを行う。このような技術は、特許文献１などで提案されている。

特許文献１に記載されている技術では、三次元の実空間を上下に延在する複数の区分空間に分割し、車両の周辺で検出された物標の検出点を複数の区分空間のいずれかに投影する。そして、この特許文献１に記載されている技術では、区分空間ごとに検出点の距離に関するヒストグラムを作成し、このヒストグラムの結果に基づいて各区分空間における立体物の特定および車両から立体物までの距離を算出している。

特開２００９−１７６０９１号公報

しかしながら、上記特許文献１に記載されている技術では、上下に延在する区分空間を利用しているので、道路面に近い位置にある物標（例えば、白線や縁石など）と車両の高さよりも高い位置にある物標（例えば、看板やトンネルの天井など）とが、車両から同じぐらいの距離および方向に存在していた場合、それぞれの物標に対して検出された検出点は同じ区分空間に投影されることになる。

このため、ヒストグラムの結果によっては、それぞれ個別には車両走行の障害となり得ない道路面に近い位置にある物標と車両の高さよりも高い位置にある物標とが、グルーピング処理されて１つのまとまった立体物、つまり障害物としてなり得る立体物として誤検出されてしまうおそれが生じる、という問題がある。この立体物の誤検出は、衝突回避などの運転支援制御における精度の低下を招く。

なお、上記特許文献１では、道路面からの高さが所定値以上である検出点については、ヒストグラムに反映させないことで誤検出を防ぐ手法も開示されている。しかし、道路面からの高さを正確に判断するには、道路面の推定が必須となり、装置の処理負荷が増大するという課題がある。また、道路面の推定に誤差が生じれば、立体物の検出に影響が及ぶことになる。さらに、上り坂や下り坂の走行中には道路面の勾配を正確に考慮する必要があり、立体物の道路面からの高さだけで処理の対象か否かを判断することは、非常に困難であるといえる。

それ故に、本発明の目的は、障害物としてなり得ない立体物を除外して、衝突回避などの運転支援制御における精度の低下を防ぐことが可能な車両の周辺監視装置を提供することである。

本発明は、車両の周辺を監視する装置に向けられている。そして、上記目的を達成するために、本発明の車両の周辺監視装置は、車両の周辺にある物標に関する情報を取得する物標情報取得部と、物標情報取得部で取得された物標の情報に基づいて、車両の周辺に存在する立体物を特定する立体物特定部と、立体物特定部において、第１の立体物と、車両から見て当該第１の立体物の死角領域に含まれる第２の立体物とが特定された場合、当該第１の立体物を特定結果から除外する立体物除外部とを備えることを特徴としている。

死角領域は、三次元空間に形成される死角領域であることが望ましい。
また、典型的には、立体物特定部は、三次元実空間を分割して形成される上下方向に延在する複数の区分空間のそれぞれについて、検出された物標に基づいたヒストグラムを作成し、当該ヒストグラムに基づいて立体物を特定することを行う。

上述した車両の周辺監視装置によれば、その死角領域に別の立体物が存在する立体物を立体物特定の結果から除外するので、衝突回避などの運転支援制御における精度の低下を防ぐことができる。

本発明の一実施形態に係る車両の周辺監視装置１の概略構成を示す図 走行車両が遭遇する周辺環境の一場面を示す図 図２Ａに示す一場面において検出される物標の検出点の一例を示す図 立体物判定部２２が定義する二次元平面領域の一例を説明するための図 図３Ａに示した二次元平面領域上に図２Ｂで検出された物標の検出点を投影した場合を説明するための図 図３Ｂに示した二次元平面領域上に投影された検出点に対するグルーピング処理を説明するための図 立体物判定部２２がグルーピング処理の結果として特定した立体物の一例を示す図 立体物除外部３０が行う誤検出の立体物を除外する処理の手順を示すフローチャート 立体物が形成する死角領域を説明するための図 死角領域内に別の立体物が存在している立体物を判断する手法を説明するための図 死角領域内に別の立体物が存在している立体物を除外した結果を示した俯瞰図 死角領域内に別の立体物が存在している立体物を除外した結果を示したカメラ撮影画像を示す図

以下、本発明の実施形態を、図面を参照しながら説明する。
図１は、本発明の一実施形態に係る車両の周辺監視装置１の概略構成を示す図である。図１において、本実施形態に係る車両の周辺監視装置１は、物標情報取得部１０と、立体物特定部２０と、立体物除外部３０とを備えている。

まず、本実施形態の車両の周辺監視装置１に含まれる各構成を説明する。
物標情報取得部１０は、車両の周辺に存在する障害物などの物標に関する情報を取得するために用いられる。この物標情報取得部１０には、典型的には、同じ物標を異なる２つの視点から撮影した画像を取得できるステレオカメラ装置を含んだ構成で実現されるか、または電磁波などのレーダ波を物標に向けて発信して反射波を受信できるレーダ装置を含んだ構成で実現されるか、あるいはステレオカメラ装置とレーダ装置とを含んだ構成で実現される。
以下の本実施形態では、ステレオカメラ装置を含んだ構成による物標情報取得部１０を一例に挙げて説明する。

物標情報取得部１０は、２台のカメラ１１およびカメラ１２を含む。このカメラ１１およびカメラ１２は、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor ）またはＣＣＤ（Charge Coupled Device ）などのイメージセンサである。好ましくは、カメラ１１およびカメラ１２は、画角および画素数が等しく、車両のフロントガラス内側に前方の視野領域を撮像可能な状態で、道路面から同じ高さ位置に所定の間隔を有して取り付けられている。そして、カメラ１１とカメラ１２とは、所定の周期で互いに同期して車両前方を撮像し、この撮像した一対の画像を立体物特定部２０へ出力する。

物標情報取得部１０がステレオカメラ装置である本実施形態の場合、立体物特定部２０は、画像処理装置に該当することとなる。この場合において、立体物特定部２０は、物標検出部２１および立体物判定部２２を含む。

物標検出部２１は、物標情報取得部１０のカメラ１１およびカメラ１２で撮影された異なる視点から撮影した一対の画像を入力し、この一対の画像に含まれている物標を検出する。
典型的には、物標検出部２１は、いわゆるステレオ法の技術を利用し、カメラ１１で撮像された画像とカメラ１２で撮像された画像とに対してステレオマッチング処理などを施して、２つの画像の相関を求める。そして、物標検出部２１は、同じ物標に対する視差を用いた三角測量の原理に基づいて、三次元実空間内における物標の存在位置、すなわち車両（の基準点）から物標までの距離、および車両（の基準点）から物標への方向を抽出する。

具体例を用いて、物標検出部２１で行われる処理を説明する。
一般的に、この物標検出部２１では、コントラスト差が大きい箇所などを物標の輪郭部分であると判断して、検出することが行われる。従って、例えば図２Ａに示すようなトンネル５０の出口付近を車両が走行している場面を考えると、トンネル５０を出ようとしている車両から撮像される画像領域５５に含まれる物標として、歩行者５１のみならず、コントラスト差による明暗の境界が生じているトンネル５０の天井部分５２や側壁部分５３および道路面上の陰影部分５４に対しても、図２Ｂに示すように物標の検出点（図中黒丸）が複数検出されることとなる。そして、物標検出部２１では、この検出された複数の検出点に関して、車両からの距離および車両からの方向に関する位置情報がそれぞれ抽出される。

立体物判定部２２は、この物標検出部２１で検出された物標の検出点に基づいて、立体物を判定する。
典型的には、立体物判定部２２は、格子状に複数の領域に区分された道路面に平行な二次元平面領域を定義しており、物標検出部２１で検出された三次元実空間上の物標の検出点を、この二次元平面領域上のいずれかの区分領域へ投影する。そして、立体物判定部２２は、検出点の二次元平面領域上への投影結果に従って、道路面上に存在している立体物を判定する。

上述した図２Ａに示すトンネル５０の出口付近を車両が走行している場面を用いて、立体物判定部２２で行われる処理を具体的に説明する。
立体物判定部２２において、図３Ａに示すような格子状に複数の区分領域６０に分割された二次元平面領域が定義されている場合を想定する。この場合、三次元の実空間は、区分領域６０を断面として道路面に垂直な角柱領域となる上下方向に延在した複数の区分空間に分割されることになる。立体物判定部２２は、図２Ｂのように検出された実空間上の複数の検出点を、図３Ｂのように該当する区分領域６０（投票箱ともいう）にそれぞれ投影する（投票するともいう）。すなわち、三次元空間上の高さ位置に関係なく、同じ区分空間に存在する検出点が、１つの区分領域６０に投影される。次に、立体物判定部２２は、各々の区分領域６０において投影された検出点の個数を判断して、予め定めた閾値以上の個数の検出点が投影された区分領域６０を求める。そして、立体物判定部２２は、この求めた検出点が閾値以上ある区分領域６０について、近接する領域を１つのグループにまとめ（グルーピングして）、立体物が存在する領域として判定する。図３Ｃにおいて、斜線で網掛けされた区分領域６１および区分領域６２が、立体物が存在すると判定された領域になる。

そして、立体物判定部２２は、立体物が存在すると判定した区分領域６１および区分領域６２について、それぞれ検出点の位置情報に基づいて、道路面に最も近い検出点から道路面から最も遠い検出点までを１つのまとまった立体物であると解釈する。
立体物判定部２２によって１つとして解釈された立体物は、例えば図４に示すように、矩形枠で表される１つの立体物６１ａおよび立体物６２ａとして特定され、後段の構成に出力されて利用される。

なお、上述した物標情報取得部１０および立体物特定部２０が行う処理は、立体物の特定に関する既存の技術である。従って、本実施形態で述べた構成や処理手法などはあくまで一例に過ぎず、特許文献１に記載されている技術（三次元の実空間を上下に延在する複数の区分空間に分割し、複数の区分空間のそれぞれについてヒストグラムを作成し、ヒストグラムに基づいて立体物を特定する技術）や、当業者に周知の慣用技術などを用いて、立体物の特定を行っても構わない。

上述したように、物標情報取得部１０および立体物特定部２０が実行する技術では、図２Ｂで示した車両から同じぐらいの距離（車両から所定の範囲内の距離）に障害物となり得ない複数の検出点（この実施形態では、明暗境界が生じているトンネル５０の天井部分５２や道路面上の陰影部分５４）が検出されてしまえば、当該距離の位置に車両走行の障害物となる物標が実際に存在しなくても、図４のように障害物としての立体物６２ａを認識してしまう。このため、この立体物特定の結果に従って衝突回避などを行ってしまうと、ドライバの予期せぬ制動や警報が行われて車両の挙動がおかしくなる。すなわち、衝突回避などの運転支援制御の精度が低下するおそれがある。

そこで、本発明は、立体物除外部３０の構成を新たに備えて、立体物特定部２０において特定された立体物（図４の例では立体物６１ａおよび立体物６２ａ）を解析し、上述した技術では実施することができなかった「障害物としてなり得ない立体物を除外する」ことを可能とする点を特徴としている。
以下に、本発明の特徴的な構成である立体物除外部３０を説明する。

図５は、図１に示した立体物除外部３０が行う立体物を除外する処理の手順を示すフローチャートである。
まず、立体物除外部３０は、立体物特定部２０で特定された全ての立体物について、車両からの死角領域をそれぞれ求める（ステップＳ５０１）。この死角領域とは、車両に対して立体物の背後に形成され、物体が領域内に存在していても車両から見た場合に立体物によって物体が隠れてしまう三次元空間の領域である。図６に、立体物６１ａおよび立体物６２ａのそれぞれの死角領域６１ｂおよび死角領域６２ｂを分かり易く二次元平面で説明した俯瞰図を示す。

図６において、立体物６２ａの死角領域６２ｂ内に別の立体物６１ａが存在することが理解できる。通常、このような位置（死角領域６２ｂ内）に立体物６１ａが存在するということは、立体物６２ａが車両走行の障害物となる立体物として実際には存在していないことを意味している。そこで、立体物除外部３０は、上記ステップＳ５０１で求めた立体物の死角領域のいずれか１つを選択して（ステップＳ５０２）、この選択された死角領域内に位置する別の立体物があるか否かを判断する（ステップＳ５０３）。この立体物除外部３０における判断は、例えば次のようにして行われる。

立体物除外部３０は、まず選択された立体物６２ａを表す矩形枠の左上座標（ｘ１、ｙ１）および右下座標（ｘ２、ｙ２）を求める（図７）。次に、立体物除外部３０は、判断対象となる別の立体物６１ａを表す矩形枠の左上座標（ａ１、ｂ１）および右下座標（ａ２、ｂ２）を求める（図７）。そして、立体物除外部３０は、左上座標同士および右下座標同士をそれぞれ比較する。比較の結果、下記の式［１］〜［４］を全て満足すれば、立体物除外部３０は、別の立体物６１ａが選択された立体物６２ａの死角領域内に存在すると判断する。ＸＹ座標軸は、図７に示している通りである。
ｘ１＜ａ１ … ［１］
ｙ１＜ｂ１ … ［２］
ｘ２＞ａ２ … ［３］
ｙ２＞ｂ２ … ［４］

そして、選択された立体物６２ａの死角領域内に位置する別の立体物６１ａがあると判断した場合（ステップＳ５０３：Ｙｅｓ）、立体物除外部３０は、死角領域を形成している原因である立体物６２ａを立体物判定部２２が出力する判定結果から除外する（ステップＳ５０４）。一方、選択された立体物の死角領域内に位置する別の立体物がないと判断した場合には（ステップＳ５０３：Ｎｏ）、立体物除外部３０は、選択された立体物を立体物判定部２２が出力する判定結果から除外しない。

上述した立体物の除外処理によって、図８の俯瞰図や図９のカメラ撮像画像に示すように、実際には障害物としてなり得ない立体物６２ａが立体物として認識されなくなり、障害物となり得る可能性のある立体物６１ａだけを正確に立体物判定の最終結果として出力することができる。

なお、上記ステップＳ５０３およびＳ５０４で説明した処理は、上記ステップＳ５０１で求めた全ての立体物の死角領域について実行される（ステップＳ５０２およびＳ５０５）。

以上のように、本発明の一実施形態に係る車両の周辺監視装置１によれば、立体物特定部２０において特定された立体物であっても、当該立体物の死角領域に別の立体物が存在する場合には、当該立体物を立体物特定の結果から除外することを行う。
これにより、障害物としてなり得ない立体物を立体物特定の結果から除外することができるので、衝突回避などの運転支援制御における精度の低下を防ぐことが可能となる。

なお、上述した実施形態では、カメラ１１およびカメラ１２が車両のフロントガラスの内側に設けられ、車両進行方向の画像を撮影する場合を説明している。しかし、これ以外にも、カメラ１１およびカメラ１２を車両のリアガラスやサイドガラスの内側に設けて、車両の後方や側方の画像を撮影しても構わない。

なお、本発明の実施形態における車両の周辺監視装置を構成する一部または全部の機能ブロックは、中央処理装置（ＣＰＵ）、記憶装置（メモリ（ＲＯＭ、ＲＡＭなど）、ハードディスクなど）、および入出力装置などのハードウエア資源を用いることで実現され、典型的には集積回路であるＩＣ（ＬＳＩ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩなどとも称される）として具現化される。これらの機能ブロックは、個別に１チップ化されてもよいし、一部または全部を含むように１チップ化されてもよい。
また、集積回路化の手法は、ＩＣに限るものではなく、専用回路または汎用プロセッサで実現してもよい。また、ＩＣ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＩＣ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
さらには、半導体技術の進歩または派生する別の技術により、ＩＣに置き換わる集積回路化の技術（バイオ技術など）が登場すれば、当然その技術を用いて機能ブロックの集積化を行ってもよい。

また、上述した本発明の一実施形態に係る車両の周辺監視装置が実行する立体物の特定方法は、記憶装置に格納された立体物の特定方法の手順を実行可能な所定のプログラムデータが、ＣＰＵによって解釈実行されることで実現されてもよい。この場合、プログラムデータは、ＣＤ−ＲＯＭやフレキシブルディスクなどの記録媒体を介して記憶装置内に導入されてもよいし、記録媒体上から直接実行されてもよい。なお、記録媒体は、ＲＯＭやＲＡＭやフラッシュメモリなどの半導体メモリ、フレキシブルディスクやハードディスクなどの磁気ディスクメモリ、ＣＤ−ＲＯＭやＤＶＤやＢＤなどの光ディスクメモリ、およびメモリカードなどをいう。また、記録媒体は、電話回線や搬送路などの通信媒体も含む概念である。

本発明の車両の周辺監視装置は、障害物との衝突回避や自動走行などの車両運転支援システムを搭載した車両などに利用可能であり、特に障害物としてなり得ない立体物を立体物特定の結果から排除して、運転支援制御における精度の低下を防ぎたい場合などに有用である。

１ 車両の周辺監視装置
１０ 物標情報取得部
１１、１２ カメラ
２０ 立体物特定部
２１ 物標検出部
２２ 立体物判定部
３０ 立体物除外部
５０ トンネル
５１ 歩行者
５２、５３、５４ 明暗境界部分
５５ 画像領域
６０、６１、６２ 区分領域
６１ａ、６２ａ 立体物
６１ｂ、６２ｂ 死角領域

Claims (3)

1. 車両の周辺を監視する装置であって、
   車両の周辺にある物標に関する情報を取得する物標情報取得部と、
   前記物標情報取得部で取得された物標の情報に基づいて、車両の周辺に存在する立体物を特定する立体物特定部と、
   前記立体物特定部において、第１の立体物と、車両から見て当該第１の立体物の死角領域に含まれる第２の立体物とが特定された場合、当該第１の立体物を特定結果から除外する立体物除外部とを備えることを特徴とする、車両の周辺監視装置。
2. 前記死角領域は、三次元空間に形成される死角領域であることを特徴とする、請求項１に記載の車両の周辺監視装置。
3. 前記立体物特定部は、三次元実空間を分割して形成される上下方向に延在する複数の区分空間のそれぞれについて、前記検出された物標に基づいたヒストグラムを作成し、当該ヒストグラムに基づいて立体物を特定することを特徴とする、請求項１に記載の車両の周辺監視装置。

Images