JP5416026B2

JP5416026B2 - 車両の周辺監視装置

Info

Publication number: JP5416026B2
Application number: JP2010099536A
Authority: JP
Inventors: 昌樹根來; 裕次横地; 守道西垣; 敦央江口
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2010-04-23
Filing date: 2010-04-23
Publication date: 2014-02-12
Anticipated expiration: 2030-04-23
Also published as: JP2011227029A

Description

本発明は、車両の周辺監視装置に関し、より具体的には、車両の周辺監視装置におけるレーザとカメラの同期ずれ（位相ずれ）を検出し補正することに関する。

特許文献１は、歩行者検出装置を開示する。この歩行者検出装置は、スキャン式のレーザレーダと赤外線カメラを併用し、レーザレーダから得られる歩行者候補の検出情報を基に赤外線画像中の歩行者を検出する。

特開２００３−３０２４７０号公報

しかし、レーザレーダと赤外線カメラの出力信号に同期ずれ（位相ずれ）があると、両者の検出範囲（位置）がずれてしまい、レーザレーダの検出情報に対応した赤外線画像中の歩行者を検出することができない場合が生ずる。この同期ずれは、スキャンを伴うレーザレーダによる物体の検出時間（例えば約１２０ｍｓ）が赤外線カメラによる当該物体を含む画像の取得時間（例えば約３３ｍｓ）よりも長くなってしまうことが原因で生ずる。

特許文献１に記載の装置では、このレーザレーダと赤外線カメラの同期ずれに対する補正については何ら考慮していない。

したがって、本発明は、得られた画像情報からレーダとカメラの出力信号の同期ずれ（位相ずれ）を検知し補正することによって、レーダによって特定されたカメラ画像上での所定物体の抽出精度を向上させることを目的とする。

本発明は、車両の周辺の物体を検出するレーダと、車両の周辺の画像を撮像するカメラと、前記レーダが検出した物体の位置に対応する、前記カメラが撮像した対応画像上の所定領域を特定して当該所定領域内の前記物体を特定する手段とを備える、車両の周辺監視装置を提供する。その周辺監視装置は、特定された対応画像上の所定領域の移動量の時間変化と、カメラが撮像した画像上での所定物体の移動量の時間変化との位相ずれ量を算出する手段と、位相ずれ量がゼロになるように、レーダまたはカメラの出力信号の位相補正をおこなう位相補正手段と、を有する。

本発明によれば、カメラが撮像した画像上での移動量の時間変化をモニターすることで、レーダとカメラの出力信号の同期ずれ（位相ずれ）に起因する、レーダによって特定されるカメラ画像上の領域の位置とカメラによって撮像される所定物体の位置の位置ずれを補正することが可能となり、その結果レーダによって特定されたカメラ画像上での所定物体の特定（抽出）精度を向上させることが可能となる。

本発明の一形態によると、位相補正手段は、車両と所定物体との相対位置の時間変化量が所定量以上の場合に位相補正をおこなう。

本発明の一形態によれば、車両と所定物体との相対位置の時間変化量が所定量以上の場合における画像上の移動量の時間変化をモニターすることにより、レーダとカメラの出力信号の同期ずれ（位相ずれ）補正をより安定した適切なタイミングで確実におこなうことが可能となる。

本発明の一形態によると、位相補正手段は、車両の走行中において、レーダが複数の物体を検出した場合に、当該車両の進行にともなって発生する複数の物体の位置の時間変化を結合して得られる変化量が所定量以上の場合に位相補正をおこなう。

本発明の一形態によれば、車両の進行にともなってレーダによって検出される複数の静止物体の動き（移動量）を全体的に捉えた上で同期ずれ補正をおこなう区間（時間）を選択することで、レーダとカメラの出力信号の同期ずれ（位相ずれ）補正をより安定した適切なタイミングで確実におこなうことが可能となる。

本発明の一形態によると、位相補正手段は、相対位置の時間変化が所定時間以上の区間を結合して相対位置の時間変化量を得る。

本発明の一形態によれば、複数の相対位置の時間変化量を結合することでレーダとカメラの出力信号の同期ずれを検出できる必要十分なデータを得ることができ、その検出精度を向上させることが可能となる。

本発明の車両の周辺監視装置の構成を示すブロック図である。本発明の画像処理ユニットにおける処理フローを示す図である。本発明の変化量の時系列データの取得フローを示す図である。本発明の一実施例に従う画像上での所定領域と歩行者像を示す図である。本発明の位相ずれ量の算出フローを示す図である。本発明の位相補正のフローを示す図である。本発明の変化量の時系列データの取得を説明するための図である。本発明の変化量の時系列データの取得を説明するための図である。本発明の位相ずれ量の算出方法を説明するための図である。

図面を参照しながら本発明の実施の形態を説明する。図１は、この発明の一実施形態に従う、車両の周辺監視装置の構成を示すブロック図である。周辺監視装置は、車両に搭載され、レーザレーダ１０と、赤外線カメラ１２と、赤外線カメラ１２によって撮像された画像データに基づいて車両周辺の物体を検出するための画像処理ユニット１４と、その検出結果に基づいて音または音声で警報を発生するスピーカ１６と、赤外線カメラ１２の撮像を介して得られた画像を表示すると共に、運転者に車両周辺の物体を認識させるための表示を行う表示装置１８とを備える。

なお、レーザレーダ１０は、例えばスキャン式レーザレーダが該当し、各方向にスキャンするビームの物体からの反射光を受光することにより、検出点として各方向における物体（候補）の位置（領域）とそれまでの距離を検出する。なお、レーザレーダ１０は、他の種類のレーダ（例えばミリ波レーダ等）であってもよい。また、赤外線カメラ１２も、赤外線以外の他の波長帯の光（例えば可視光）を利用するカメラであってもよい。したがって、以下の説明では、赤外線カメラ１２が撮影したグレースケール画像を対象としているが、これに限定されるものではない。さらに、ナビゲーション装置を備える車両においては、スピーカ１６および表示装置１８として、ナビゲーション装置が備える該当機能を利用してもよい。

図１の画像処理ユニット１４は、ブロック１４１〜１４５で示される手段（機能）を含む（実行する）。すなわち、画像処理ユニット１４は、レーザレーダ１０からの信号を受けて車両の周辺の物体の位置を特定する物***置特定手段１４１と、赤外線カメラ１２が撮影した車両の周辺の画像をグレースケール画像として取得する画像取得手段１４２と、物***置特定手段１４１が特定した物体の位置に対応する、取得された対応するグレースケール画像上の所定領域を特定して当該所定領域内の物体を特定する手段１４３を含む。なお、物***置特定手段１４１は、レーザレーダ１０の一部の機能として構成、すなわちレーザレーダ１０に一体的に組み込んでもよい。

画像処理ユニット１４は、さらに、レーザレーダ１０により特定された対応画像上の所定領域の移動量の時間変化と、赤外線カメラ１２が撮像した画像上での所定物体の移動量の時間変化との位相ずれ量を算出する手段１４４と、位相ずれ量がゼロになるように、レーダまたはカメラの出力信号の位相補正をおこなう位相補正手段１４５と、を有する。

画像処理ユニット１４は、さらに、自車両の速度（車速）を検出する車速センサ、加速度センサ、ヨーレート（旋回方向への回転角の変化速度）を検出するヨーレートセンサ等からの検出信号を受けて必要な処理をおこなう機能を有する。

各ブロックの機能は、画像処理ユニット１４が有するコンピュータ（ＣＰＵ）によって実現される。なお、画像処理ユニット１４の構成は、ナビゲーション装置の中に組み込んでもよい。

画像処理ユニット１４は、ハードウエア構成として、例えば、入力アナログ信号をデジタル信号に変換するＡ／Ｄ変換回路、デジタル化した画像信号を記憶する画像メモリ、各種演算処理を行う中央演算処理装置（ＣＰＵ）、ＣＰＵが演算に際してデータを記憶するのに使用するＲＡＭ、ＣＰＵが実行するプログラムおよび用いるデータ（テーブル、マップを含む）を記憶するＲＯＭ、スピーカ１６に対する駆動信号および表示装置１８に対する表示信号などを出力する出力回路を備えている。レーザレーダ１０と赤外線カメラ１２の出力信号は、デジタル信号に変換されてＣＰＵに入力されるよう構成される。

次に、本発明の一実施形態におけるレーダまたはカメラの出力信号の位相補正の方法について説明する。

図２は、画像処理ユニット１４によって実行される処理フローを示す図である。図２の処理フローは、画像処理ユニット１４のＣＰＵがメモリに格納している処理プログラムを呼び出して、所定の時間間隔で実行される。図２のステップＳ１において、同期（位相）ずれ補正をおこなうためのデータ区間を特定するために時系列データを取得する。

図３は、図２のステップＳ１の変化量の時系列データを取得するフロー（ルーチン）を示す図である。図３のステップＳ１１において、レーザレーダ１０からの信号を受けて車両の周辺の所定の物体の位置を特定する。その特定には任意の方法を用いることができるが、例えば以下のようにおこなう。

レーザレーダ１０としてスキャン式レーザレーダを使用して、その検出点群の幅から物体、例えば歩行者候補の位置を特定する。具体的には、スキャン式レーザレーダでは、各方向にスキャンするビームの物体からの反射光を受光することにより、検出点として各方向における物体までの距離を測定する。レーザレーダの位置を原点としてＹ軸をレーダの正面方向とする２次元座標系にこれらの検出点の位置をプロットして検出点の集合を得る。これらの検出点の集合から、各検出点の相互の間隔が所定値以下のものを検出点群としてグループ化し、グループ化した検出点群のうち、広がり幅が所定値以下のものを所定の物体候補（例えば歩行者候補）とみなしてその位置を特定する。

ステップＳ１２において、赤外線カメラ１２の出力信号（すなわち、撮像画像のデータ）を入力として受け取り、これをＡ／Ｄ変換して、画像メモリに格納する。格納される画像データは、輝度情報を含んだグレースケール（白黒の濃淡）画像である。対象の温度が高い部分ほど高輝度となる赤外線カメラでは、高輝度部分の明暗値が高い画像データとなり、その温度が低く（低輝度に）なるにつれて明暗値が低い画像データとなる。

ステップＳ１３において、取得されたグレースケール画像に所定の物体を検知する範囲となる所定領域を設定する。この所定領域は、ステップＳ１２においてレーザレーダ１０によって特定された所定の物体候補の位置（領域）を含む領域である。この所定領域の設定は、任意の方法を用いることができるが、例えば物体の位置として歩行者の位置を特定する場合を例にとると、歩行者候補の位置を含む所定サイズの領域（検出点群）を赤外線カメラ１２のカメラ座標系に変換し、グレースケール画像中にマッピング（重畳）して、対応するグレースケール画像上の所定領域として設定する。

ステップＳ１４において、画像上での所定の物体を特定する。この特定は、ステップＳ１３において設定された画像上の所定領域を基準としてその領域内あるいはその近傍の領域内においておこなう。この特定は、任意の方法によりおこなうことができるが、例えば、グレースケール画像を２値化処理して得られる白黒画像から対象物を照合する。具体的には、最初に予めメモリに保管している除外対象物の特徴を有するか否かを調べる。除外対象物とは、例えば発熱体ではあるが明らかに形状等が異なる物体（４足動物、車両等）を意味する。除外対象物に該当しない場合、所定の物体の特徴に該当するか否かを調べる。例えば、所定の物体が歩行者である場合、歩行者の頭部の特徴として丸みを帯びた白部が存在し、その下に胴体、脚部の部分に相当する細長い白部が繋がっていること等が含まれる。また、周知のパターンマッチングを利用し、予め保管してある歩行者を表す所定のパターンとの類似度を算出し、その類似度を歩行者であるか否かの判断材料としてもよい。さらに、歩行者の歩行速度はほぼ一定であることから、レーザレーダ１０から得られる物体の移動速度の情報を判断材料の１つとして用いてもよい。

ステップＳ１５において、所定の物体が特定できたか否かを判定する。この判定がＮｏの場合は処理を終了して戻る。ステップＳ１５での判定がＹｅｓの場合、ステップＳ１６に進む。ステップＳ１６において、ステップＳ１３において設定された所定領域の重心を算出する。ステップＳ１７において、ステップＳ１４において特定された歩行者像の重心を算出する。

図４を参照しながらステップＳ１６およびＳ１７の重心の算出について説明する。図４は、２値化処理後の白黒画像上の所定領域と所定物体（歩行者）の例を示す図である。なお、図４では線を認識させるために、線の部分を除いて全体が白くなっているが、実際には所定物体である歩行者像２２、２４の回りの背景部分は黒く表示される。

図４において、赤外線カメラ１２により取得された２値化処理後の白黒画像２０内に所定物体として歩行者像２２、２４が映っている。（ａ）の像２２は歩行者が静止している場合であり、（ｂ）の像２４は歩行者が図の右方向に移動している場合に相当する。符号２１、２３で指示される枠はレーザレーダ１０により歩行者の位置（領域）として特定された所定領域である。（ａ）の歩行者像２２は所定領域２１内に収まっており両者の位置ずれは小さいのに対して、（ｂ）における両者の位置ずれは大きくなっている。（ｂ）での位置ずれは、主にレーザレーダ１０の出力信号（処理）の遅れに起因しており、レーダとカメラの同期ずれが比較的大きい場合に相当する。一方（ａ）の場合は両者の同期ずれがほとんどないか小さい場合に相当する。同期ずれ補正が特に必要となるのは（ｂ）のような場合である。

図４の（ａ）において、所定領域２１の重心はＱ１の位置上にあるとして、歩行者像２２の重心はＰ１の位置上にあるとしてそれぞれ算出される。両者の重心は、位置ずれ量ｄ１分だけずれているがその位置ずれ量は小さい。同様に（ｂ）において、所定領域２３の重心はＱ２の位置上にあるとして、歩行者像２４の重心はＰ２の位置上にあるとしてそれぞれ算出される。両者の重心は、位置ずれ量ｄ２分だけずれておりその位置ずれ量は大きい。なお、各重心は所定のタイミング毎に算出され、その位置情報および時間変化量がデータとしてメモリに保管される。また、ステップＳ１６およびＳ１７において、重心の代わりに他の任意の基準により定まる位置、例えば所定領域および歩行者像の水平方向の最大幅の中点等を算出してもよい。

図３のステップＳ１８において、所定領域の重心と物体の重心それぞれの時間変化量が所定量よりも大きいか否かを判定する。図４の例で言えば、同期ずれ補正が特に必要となる（ｂ）において、所定領域２３の重心と歩行者像２４の重心それぞれの時間変化量が所定量よりも大きいか否かを判定する。この判定を行うのは、時間変化量の比較的大きな箇所のデータのみを位相ずれ検出に利用するためである。この判定がＮｏの場合は処理を終了して戻る。この判定がＹｅｓの場合は、ステップＳ１９において、所定領域の重心のデータ（時間変化量を含む）を時系列データとしてメモリに保管する。同様に続くステップＳ２０において、物体の重心データ（時間変化量を含む）を時系列データとしてメモリに保管する。

図２に戻って、ステップＳ２において、ステップＳ１において得られた所定領域および重心の時系列データの量が所定量以上であるか否かを判定する。この判定を行うのは、時間変化量のデータが十分に蓄積し位相ずれ検出が効果的に得られる状態にするためである。この判定がＮｏの場合はステップＳ１に戻り、所定量以上の時系列データが得られるまでデータ取得が繰り返される。

ここで、この所定量以上の時系列データ取得に関してさらに説明する。位相ズレの補正には、レーダとカメラの位相ずれが比較的大きく発生する期間、すなわちレーダまたはカメラが検出する物体の時間的な位置変化量が比較的大きくレーダとカメラの位相ずれ量が検出しやすい期間においてその位相ずれ量を検出することが検出精度の観点等から好ましい。しかし、例えば車両が一般道を走行している場合、その補正に必要な変化を連続的に安定して観測することは困難である。そこで、例えば以下のような方法により、一定時間にわたってデータが時間的に変化している時系列データを取得する。

図７はレーダまたはカメラが検出する物体の時間的な位置変化量が大きい区間Ａ〜Ｄの部分のみを寄せ集めて、連続する区間Ａ´〜Ｄ´を作ることを説明するための図である。図７において、上側に示される時間的な位置変化量が大きい区間Ａ〜Ｄの各部分を寄せ集めて、図の下側の時間Ｔ１における連続する区間Ａ´〜Ｄ´を作る。図７における物体の時間的な位置変化量が大きい区間は、例えば車両の旋回中のヨーレート、あるいは加／減速時の車速等、車両状態の変化が大きい場合の車両の走行状態を示す各種検出信号から得ることが望ましい。このように、物体の時間的な位置変化量が大きい区間のみを結合し、その結合した区間でのレーザとカメラの位相ずれ量を検出して補正をおこなうことにより、その補正の精度、信頼度を向上させることが可能となる。

図８は、所定量以上の時系列データを取得する他の例を説明するための図である。自車が移動（走行）する車載環境では、静止ターゲットは頻繁に入れ替わるため、一般道で補正に必要な変化を連続的に安定して観測することは困難である。そこで、図８の例では、異なる静止ターゲット（歩行者等）の移動速度をつなげることで時間的に連続したデータを生成する。

図８の（ａ）では車両３０の進行方向において３つの静止ターゲット１〜３が存在する。車両３０の進行にともない３つの静止ターゲット１〜３は徐々に車両３０に近づいてくる。（ｂ）はその場合の車両３０の速度変化３２と静止ターゲット１〜３の速度変化３３を示している。静止ターゲット１〜３の速度変化３３は、図示したように、各静止ターゲット１〜３の速度変化Ａ〜Ｃをつなげることで得ており、車両３０の速度変化３２に対して対称（負）な関係（グラフ）となる。これにより、車両と静止ターゲットの相対的な速度が変化する区間を得ることができ、図７の場合と同様に、その区間におけるレーザとカメラの位相ずれ量を検出して補正をおこなうことにより、その補正の精度、信頼度を向上させることが可能となる。

図２のステップＳ２の判定がＹｅｓになった後、ステップＳ３において、レーダとカメラの出力信号の位相ずれ量を算出するルーチンを実行する。図５は、その位相ずれ量の算出フローを示す図である。ステップＳ３１において、所定領域の重心および物体の重心の時系列データから位相ずれ量ΔＴを算出する。

図９は、位相ずれ量ΔＴの算出方法を説明するための図である。（ａ）は図４の（ｂ）の部分を抜き出した２値化後の白黒画像２０であり、図４と同じ符号番号を付けてある。図４の説明において既に述べたように、レーザレーダ１０により歩行者の位置（領域）として特定された所定領域２３は、赤外線カメラ１２により取得された２値化処理後の歩行者像２４よりもずれて表示される。

図９の（ｂ）は（ａ）の場合に対応する白黒画像２０上の歩行者像２４の移動量の時間変化Ａと所定領域２３の移動量の時間変化Ｂを示す図である。（ｂ）のデータは、例えば上述した図７または図８の例によって得られるような比較的変化の大きい連続した区間における各移動量データを切り出して得られるデータの一部である。（ｂ）のグラフから、所定領域２３の移動量変化Ｂは、歩行者像２４の移動量変化ＡよりもΔＴ１時間だけ位相（信号の立ち上がり）が遅れていることがわかる。したがって、この場合の位相ずれ量はΔＴ１となる。この位相ずれ量ΔＴ１は、（ａ）の画像上での位置ずれ量ｄ２に対応している。

このように、所定区間（時間）における画像上の所定領域および所定物体像の移動量の時間的な変化をモニターすることで両者の位相ずれ量を得ることができる。この位相ずれ量はレーザレーダ１０と赤外線カメラ１２の出力信号の同期ずれ量に対応している。なお、２つの移動量変化の立ち上がり時刻のずれを見る代わりに、両者の相互相関係数を求めてあるいは位相限定相関法を利用して、得られる関数の周期から位相ずれ量を求めてもよい。

図２のステップＳ４において、位相補正をおこなうルーチンを実行する。図６は、その位相補正のフローを示す図である。ステップＳ４１において、ステップＳ４１において得られた位相ずれ量ΔＴが所定のしきい値ΔＴｔｈよりも大きいか否かを判定する。しきい値ΔＴｔｈは、位相補正の必要がある位相ずれ量がある場合のみを選択できるように設定される。例えば、上述した図４及び図９の例では、図４（ｂ）における位相ずれ量ΔＴ１はしきい値ΔＴｔｈよりも大きい場合に該当し、図４（ａ）における位相ずれ量はしきい値ΔＴｔｈよりも小さい場合に該当する。この判定がＮｏの場合、処理を終了して戻る。判定がＹｅｓの場合、次のステップＳ４２に進む。

ステップＳ４２において、カメラ画像上の物***置またはレーダによる特定領域（所定領域）をΔＴ分だけずらす。具体的には、レーザレーダ１０の出力信号の処理と赤外線カメラ１２の出力信号の画像処理において、図９（ｂ）の位相ずれ量ΔＴ１が無くなる（ゼロになる）ように補正（調整）する。例えば、赤外線カメラ１２の出力信号の立ち上がり時刻を位相ずれ量ΔＴ１に相当する分だけ遅らせる、あるいは所定のクロック（タイミング）信号に同期して、レーザレーダ１０および外線カメラ１２の出力信号が立ち上がるようにする等の処理をおこなう。

以上、本発明の実施の形態について説明したが、本発明はこのような実施形態に限定されることはなく、本発明の趣旨を逸脱しない範囲において改変して用いることができる。

１０レーザレーダ、
１２赤外線カメラ、
１４画像処理ユニット
１６スピーカ、
１８表示装置、
２０カメラ画像
２１、２３レーダで検出された所定領域
２２、２４歩行者像
３０車両

Claims

車両の周辺の物体を検出するレーダと、車両の周辺の画像を撮像するカメラと、前記レーダが検出した物体の位置に対応する、前記カメラが撮像した対応画像上の所定領域を特定して当該所定領域内の前記物体を特定する手段とを備える、車両の周辺監視装置であって、
前記物体の前記車両に対する相対位置の時間変化に伴う、繰り返し特定された前記対応画像上の所定領域の位置の、所定時間当たりの変化量の第１の時間変化波形と、前記カメラが繰り返し撮像した画像上での前記物体の位置の、所定時間当たりの変化量の第２の時間変化波形との、時間軸方向のずれ量である位相ずれ量を算出する手段と、
前記レーダまたは前記カメラの出力信号を、前記位相ずれ量が表す時間だけ互いにずらして、前記位相ずれ量がゼロになるように補正をおこなう位相補正手段と、
を有する、車両の周辺監視装置。
前記位相補正手段は、前記画像上での前記所定領域の位置の所定時間当たりの変化量又は前記画像上での前記物体の位置の所定時間当たりの変化量が所定量以上の場合に前記位相補正をおこなう、請求項１に記載の周辺監視装置。
前記位相補正手段は、前記車両の走行中において、前記レーダが複数の物体を検出した場合に、当該車両の進行にともなって発生する前記複数の各物体の、当該車両に対する相対位置の単位時間当たりの変化量の時間変化波形を結合し、当該変化量が時間的に変化する期間を特定して、当該特定された期間における前記レーダ及び前記カメラの出力信号に基づいて前記位相補正をおこなう、請求項１に記載の周辺監視装置。
前記位相補正手段は、第１又は第２の時間変化波形のいずれかについて、当該時間変化波形の振幅である所定時間当たりの前記所定領域の位置又は前記物体の位置の変化量が所定の時間以上連続して所定量以上である期間を特定し、当該特定された各期間における前記第１及び第２の時間変化波形をそれぞれ互いに結合して、当該結合後の第１及び第２の時間変化波形に基づいて、前記位相補正を行う、請求項２に記載の周辺監視装置。