JP2014139766A

JP2014139766A - 路面形状推定装置

Info

Publication number: JP2014139766A
Application number: JP2013127747A
Authority: JP
Inventors: Shinya Kojima; 信矢小嶋
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2012-12-20
Filing date: 2013-06-18
Publication date: 2014-07-31
Anticipated expiration: 2033-06-18
Also published as: JP5754470B2; DE102013113960A1; US9489583B2; US20140180497A1

Abstract

【課題】路面標識の有無に関わらず路面形状の推定が可能な路面形状推定装置を提供する。
【解決手段】大きさ及び路面との位置関係が既知である既知物標のテンプレートを用いて検出された候補既知物標が所定個以上である場合（Ｓ３１０：ＹＥＳ）、物標検出部１３は、候補既知物標のそれぞれについて、候補既知物標の選択画像上での大きさ及び位置から実空間での位置座標（三次元座標）を求め（Ｓ３２０）、求めた位置座標から路面形状を推定し（Ｓ３３０）、Ｓ３３０で推定された路面との距離が許容距離以上の候補既知物標を、誤検出によるものとして除去する（Ｓ３４０）。
【選択図】図５

Description

本発明は、撮像画像から路面形状を推定する路面形状推定装置に関する。

車載カメラで撮像した撮像画像から、その撮像画像に映り込んだ物標に関する各種情報（物標までの距離や大きさ）を取得する場合、道路の三次元形状（以下「路面形状」という）を把握する必要がある。

従来、撮像画像から路面に描かれた白線を検出し、その白線の位置情報に基づいて路面形状を推定する装置が知られている（例えば、特許文献１参照）。

特開平８−５３８８号公報

しかし、上記従来装置では、白線等の路面標識が存在しない道路では、路面形状を推定することができず、物標の検出精度を低下させてしまうという問題があった。
本発明は、上記問題点を解決するために、路面標識の有無に関わらず路面形状の推定が可能な路面形状推定装置を提供することを目的とする。

本発明の路面形状推定装置では、大きさ及び路面との位置関係が既知である物標を既知物標として、物標検出手段が、車両前方を撮像した撮像画像から少なくとも既知物標を検出し、座標算出手段が、物標検出手段にて検出された既知物標の撮像画像上での大きさ及び位置から、既知物標のそれぞれについて三次元座標を求める。そして、推定手段が、座標算出手段にて算出された三次元座標を用いて路面形状を推定する。

なお、路面との位置関係が既知である物標とは、車両や歩行者等のように路面に接して存在する物標の他に、信号機等のように路面から決められた高さに設置される物標を含めてもよい。

つまり、撮像画面上での既知物標の大きさ及び位置がわかれば、既知の情報である既知物標の実際の大きさ、及び撮像装置（カメラ）のパラメータから、実空間での既知物標の位置（三次元座標）を推定することができ、更に、既知の情報である既知物標と路面との位置関係を考慮することで、路面の位置（三次元座標）を推定することができる。これにより、検出された既知物標の数だけ路面の位置を表す三次元座標が得られるため、それらの三次元座標から路面形状を推定することができる。

このように本発明の路面形状推定装置によれば、白線等の路面標識が存在しない道路でも路面形状を推定することができ、その結果、画像認識による物標検出時に、路面形状を正しく把握できないことに基づく誤検出や検出もれを低減することができる。

また、本発明の路面形状推定装置によれば、物標検出結果を用いており、路面形状を求めるためだけの特別な処理を行う必要がないため、路面形状の推定に必要な計算量を削減することができる。

車両制御システムの構成を示すブロック図である。物標検出処理のフローチャートである。探査範囲設定処理のフローチャートである。ピラミッド画像及び探査範囲を例示する説明図である。リジェクト処理のフローチャートである。（ａ）が候補既知物標に関する説明、（ｂ）が候補既知物標と推定された路面との関係を示す説明図である。路面を曲面で推定した場合に設定される探査範囲を例示する説明図である。

以下に本発明の実施形態を図面と共に説明する。
＜全体構成＞
図１に示す車両制御システム１は、車両に搭載され、カメラ１１と、車体姿勢検出センサ群１２と、物標検出部１３と、車両制御実行部１４とを備える。車両制御システム１において、物標検出部１３は、カメラ１１、車体姿勢検出センサ群１２及び物標検出部１３と通信可能である。なお、車両制御システム１において構成要素間の通信を実現するための手段は、特に限定されない。

カメラ１１は、自車両（車両制御システム１が搭載された車両）の前側における中央から前方を撮像するように取り付けられている。カメラ１１は、画像データ（自車両前方の撮像画像）を物標検出部１３へ送信する。

車体姿勢検出センサ群１２は、自車両のピッチ角，ロール角，ヨー角の検出のために使用される各種センサからなり、検出情報を物標検出部１３へ送信する。
物標検出部１３は、車両制御に用いる物標情報を生成する電子制御装置であって、ＣＰＵ、ＲＯＭ、ＲＡＭなどを備え、後述する物標検出処理を実行する。

車両制御実行部１４は、自車両の挙動等を制御する電子制御装置であって、ＣＰＵ、ＲＯＭ、ＲＡＭなどを備える。車両制御実行部１４は、物標検出部１３から取得する物標情報に基づく車両制御を実行する。具体的には、警報制御、衝突回避制御、オートクルーズ制御等が挙げられるが、これらの制御はいずれも周知のものであるため、その詳細については説明を省略する。

＜物標検出処理＞
次に、物標検出部１３が実行する物標検出処理について説明する。物標検出部１３が備える記憶部（例えばＲＯＭ）には、物標検出処理を実現するためのプログラムである物標検出プログラムが記憶されている。以下、物標検出プログラムに従い物標検出部１３（具体的にはＣＰＵ）が実行する物標検出処理について、図２に示すフローチャートを用いて説明する。なお、図２に示す物標検出処理は、自車両の走行中において、所定サイクルで繰り返し実行される。

物標検出部１３は、まず、カメラ１１から、画像データ（自車両前方の撮像画像）を取得する（Ｓ１１０）。
続いて、物標検出部１３は、Ｓ１１０で取得した撮像画像（以下「原画像」という）に基づき、ピラミッド画像を生成する（Ｓ１２０）。ピラミッド画像とは、テンプレートマッチングによって物標を検出する際に、検出対象となる対象物標についての単一サイズのテンプレートによって、原画像中で様々な距離に存在する対象物標の検出を可能とするために、原画像を拡大／縮小して生成された画像群のことをいう。

続いて、物標検出部１３は、Ｓ１２０で生成したピラミッド画像の一つを選択し（Ｓ１３０）、その選択した画像（以下「選択画像」という）について物標の探索範囲を設定する探索範囲設定処理を実行する（Ｓ１４０）。

ここで、探索範囲設定処理の詳細について、図３に示すフローチャートを用いて説明する。
物標検出部１３は、まず、車体姿勢検出センサ群１２の検出結果を取得して、自車両の車体姿勢（ピッチ角，ロール角，ヨー角）を求める（Ｓ２１０）。

続いて、物標検出部１３は、Ｓ２１０で求めた車体姿勢から選択画像の消失点の位置を算出する（Ｓ２２０）。消失点の位置は、例えば、原画像を画像処理してオプティカルフローを検出することによって求める等してもよい。

続いて、物標検出部１３は、後述するＳ１８０のリジェクト処理で推定される路面形状から路面の傾斜角度を算出する（Ｓ２３０）。
続いて、物標検出部１３は、Ｓ２２０で求めた消失点の位置、Ｓ２３０で求めた路面の傾斜角度、Ｓ１２０で選択した選択画像の拡大／縮小倍率に基づいて、選択画像における物標の探索範囲を設定して（Ｓ２４０）、本処理を終了する。

つまり、テンプレートのサイズと選択画像上での対象物標のサイズが、テンプレートのサイズと一致するときの実空間での対象物標までの距離は、選択画像の倍率毎に異なったものとなる。これに基づき、図４に示すように、選択画像の拡大／縮小倍率に応じて、選択画像上でテンプレートのサイズの対象物標が検出される可能性が高い領域を探索範囲として設定する。但し、このような探索範囲は、消失点の位置や路面の傾斜角度によって変化するため、これらを考慮して設定する。具体的には、消失点の位置が選択画像中でより上方に位置する場合、探索範囲の設定位置もより上方に設定する必要がある。また、路面が上り坂である場合は、その傾斜が急であるほど、探査範囲の設定位置を画面の上方に設定し、また下り坂である場合は、その傾斜が急であるほど、探査範囲の設定位置を画面の下方に設定する必要がある。

図２に戻り、続いて、物標検出部１３は、Ｓ１３０で選択された選択画像を、Ｓ１４０で設定した探索範囲についてテンプレートマッチングによる対象物標の探索を行う（Ｓ１５０）。対象物標には、実空間でのサイズ及び路面との位置関係が既知である既知物標が少なくとも含まれている。また、既知物標には、車両や歩行者等のように路面に接して存在する物標の他、信号機等のように路面から決められた高さに設置される物標を含む。また、ここではテンプレートの形状は矩形であるものとする。

続いて、物標検出部１３は、Ｓ１５０の探索によって抽出された矩形領域を候補領域として、全ての候補領域について、原画像でのサイズや位置を算出する（Ｓ１６０）。この計算は、選択画像の倍率の逆数を乗じる等の簡単な演算によって実現される。

続いて、物標検出部１３は、Ｓ１２０で生成されたピラミッド画像を構成する全ての画像がＳ１３０にて選択されたか否かを判断し（Ｓ１７０）、選択されていない画像があれば、Ｓ１３０に戻って上述のＳ１３０〜Ｓ１６０の処理を繰り返す。一方、全ての画像が選択済みであれば、抽出された候補領域の中から、誤検出であると推定されるものを除去するリジェクト処理（後述する）を実行する（Ｓ１８０）。

続いて、物標検出部１３は、Ｓ１８０にて除去されずに残った候補領域を検出物標として、その検出物標に関する情報（物標の種類，大きさ，三次元位置，相対速度等）である
物標情報を生成し、その物標情報を、物標情報に従って各種車両制御を実行する車両制御実行部１４に送信して、本処理を終了する。

＜リジェクト処理＞
次にＳ１８０で実行するリジェクト処理について、図５に示すフローチャートを用いて説明する。

物標検出部１３は、まず、探索によって既知物標のテンプレートを用いて検出された候補物標である候補既知物標が所定個（例えば５個）以上検出されているか否かを判断する（Ｓ３１０）、候補既知物標が所定個に満たない場合は、以下の処理をスキップして本処理を終了する。

一方、候補既知物標が所定個以上である場合、物標検出部１３は、候補既知物標のそれぞれについて三次元座標（実空間上の座標）を算出する（Ｓ３２０）。
具体的には、以下のようにして求める。即ち、候補既知物標の位置として、図６（ａ）に示すように、路面に接して存在する既知物標のテンプレートを用いて検出されたものについては、検出された範囲の下端の中心位置を採用する。また、路面から所定の高さ離れて存在する既知物標のテンプレートを用いて検出されたものについては、検出された範囲の下端の中心位置から所定の高さ分だけ下方の位置を採用する。以下では、この位置を接地位置と呼ぶ。

そして、原画像上でのｉ番目の候補既知物標の接地位置の画像中心からのオフセットを（ｐｉ，ｑｉ）、矩形領域（テンプレート）の横幅をｗｉとすると、候補位置物標の三次元座標（ｘｉ，ｙｉ，ｚｉ）は、（１）式から求められる。但し、Ｗは既知の情報である候補既知物標の実際の横幅、Ｃはカメラ１１の焦点距離を画像の１ピクセル幅で除した値、Ｄはカメラ１１の焦点距離を画像の１ピクセル高さで除した値である。

続いて、物標検出部１３は、Ｓ３２０で候補既知物標毎に求めた三次元座標から路面形状を推定する（Ｓ３３０）。ここでは、路面を平面と見なして、周知の線形回帰の手法（例えば、最小二乗法、リッジ回帰）を用いることによって路面形状を推定する（図６（ｂ）参照）。例えば、最小二乗法を用いる場合、（２）式に示す路面形状を表す式のパラメータ（ａ，ｂ，ｃ）を、（３）式を用いて求めればよい。

なお、図６（ｂ）において、点線、候補既知物標の位置を示す×印の下方に示された点線は、ＸＹ平面から推定された路面までの距離を表し、×印の下方に示された実線は、推
定された路面から候補既知物標までの距離を表す。

続いて、物標検出部１３は、Ｓ３３０で推定された路面との距離が許容距離を超える候補既知物標を、誤検出によるものとして除去して（Ｓ３４０）、本処理を終了する。
＜効果＞
以上詳述した実施形態によれば、以下の効果が得られる。

（１）物標検出部１３は、大きさ及び路面との位置関係が既知である既知物標の選択画像上での大きさ及び位置から実空間（三次元座標系）での位置座標を求め、求めた位置座標から路面形状を推定する。

従って、本実施形態によれば、白線等の路面標識が存在しない道路でも路面形状を推定することができ、その結果、画像認識による物標検出時に、路面形状を正しく把握できないことに基づく誤検出や検出もれを低減することができる。

（２）本実施形態では、路面形状の推定に、物標検出の際に必須となる情報を用いており、路面形状を求めるためだけの特別な情報を別途取得する必要がないため、路面形状の推定に必要な計算量を削減することができる。

（３）本実施形態では、路面形状の推定結果を用いて、路面との距離が予め設定された許容距離以上離れている候補物標を、誤検出であるものとして除去しているため、検出された物標の信頼性を向上させることができる。

（４）本実施形態では、選択画面における物標の探索範囲の設定に路面形状の推定結果を利用しているため、路面が傾斜している場合でも適切な探索範囲を設定することができ、誤検出や検出もれをより低減することができる。

（５）本実施形態では、候補既知物標が下限個以上検出されている場合に、路面形状の推定を行うため、精度の低い路面形状の推定が行われてしまうことを防止することができる。

＜他の実施形態＞
以上、本発明の実施形態について説明したが、本発明は、上記実施形態に限定されることなく、種々の形態を採り得ることは言うまでもない。

（１）上記実施形態では、複数種類の既知物標を用いているが、例えば、比較的サイズが大きくて検出し易い車両だけ、或いは路面に接して存在する物標だけを既知物標として用いるようにしてもよい。

（２）上記実施形態では、路面形状を推定する手法として、路面が平面であるものとして推定する線形回帰を用いているが、路面が曲面であるものとして推定する非線形回帰（例えば、カーネルリッジ回帰）を用いてもよい。このようにして推定された路面を使用して、探索範囲を設定する場合、図７に示すように、路面の形状に合わせて探索範囲を適宜傾けて設定してもよい。

（３）上記実施形態では、路面形状を推定する際に、地面の横断勾配（図６（ｂ）のＸ軸方向の勾配）を考慮しているが、これを無視できるものとして近似的な推定を行うようにしてもよい。この場合、推定すべき平面（路面形状を表す平面）は、（２）式ではなく、（４）式で表されることになる。つまり、算出すべきパラメータを一つ減らすことができるため、演算量を削減することができる。

更に、カメラが存在する地点を座標の原点として、路面形状を表す平面が原点を通る（カメラが地面に接地している）ものと仮定すると、推定すべき平面は（５）式で表される。これにより、算出すべきパラメータを更に一つ減らすことができる。しかも、この場合、算出すべきパラメータｃは、（６）式によって簡単に求めることができるため、演算量を大幅に削減することができる。但し、この場合、（６）式で求めたパラメータｃを用いて（５）式で表される平面を、カメラの地面からの高さ分だけ下方（ｚ軸方向）にシフトさせたものが、路面形状を表す平面となる。

（４）本発明の各構成要素は概念的なものであり、上記実施形態に限定されない。例えば、１つの構成要素が有する機能を複数の構成要素に分散させたり、複数の構成要素が有する機能を１つの構成要素に統合したりしてもよい。また、上記実施形態の構成の少なくとも一部を、同様の機能を有する公知の構成に置き換えてもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加、置換等してもよい。

１…車両制御システム１１…カメラ１２…車体姿勢検出センサ群１３…物標検出部１４…車両制御実行部

Claims

大きさ及び路面との位置関係が既知である物標を既知物標として、車両前方を撮像した撮像画像から少なくとも前記既知物標を検出する物標検出手段（１３、Ｓ１１０〜Ｓ１５０）と、
前記物標検出手段にて検出された前記既知物標の前記撮像画像上での大きさ及び位置から、前記既知物標のそれぞれについて三次元座標を求める座標算出手段（１３、Ｓ３２０）と、
前記座標算出手段にて算出された三次元座標を用いて路面形状を推定する推定手段（１３、Ｓ３３０）と、
を備えることを特徴とする路面形状推定装置。
前記推定手段での推定結果を用いて求めた路面との距離が予め設定された許容距離を超える前記既知物標を、前記物標検出手段での検出結果から除去する除去手段（１３、Ｓ３４０）を備えることを特徴とする請求項１に記載の路面形状推定装置。
前記推定手段での推定結果に従って、前記物標検出手段が前記撮像画像上で前記既知物標を探索する範囲を設定する探索範囲設定手段（１３、Ｓ１４０）を備えることを特徴とする請求項１又は請求項２に記載の路面形状推定装置。
前記推定手段は、前記物標検出手段にて前記既知物標が予め設定された下限個以上である場合に前記路面形状の推定を行うことを特徴とする請求項１乃至請求項３のいずれか１項に記載の路面形状推定装置。
前記推定手段は、前記路面形状を推定する手法として、線形回帰または非線形回帰を用いることを特徴とする請求項１乃至請求項４のいずれか１項に記載の路面形状推定装置。
前記推定手段は、横断勾配を無視して路面形状を推定することを特徴とする請求項１乃至請求項５のいずれか１項に記載の路面形状推定装置。
前記推定手段は、カメラが存在する地点を座標の原点として、路面形状を表す平面が原点を通るものと仮定して、路面形状を推定することを特徴とする請求項６に記載の路面形状推定装置。