JP5544408B2 - 車両周辺監視装置 - Google Patents

Description

本発明は、車両に設けられたカメラによる撮像画像から、車両周辺の監視対象物を検出する車両周辺監視装置に関する。

車両に設けられたカメラを用いて走行中に車両周辺を監視する場合、ピッチング（鉛直方向の車両の揺れ）等によりカメラの視軸が変位したときであっても、監視対象物を安定して検出できることが望ましい。

そこで、ジャイロセンサ等のピッチ検出器を車両に備えて、このピッチ検出器により検出した鉛直方向の変位量により、ピッチングによる画像のずれ量を補正するようにした移動車の環境認識装置が提案されている（例えば、特許文献１参照）。

また、車両に備えられたステレオカメラによる撮像画像の視差に基いて、自車両と対象物との距離を算出し、この距離のサンプル周期毎の変化から自車両と対象物の相対速度及び相対加減速度を算出して、所定量以上のピッチング変化が生じたことを判定するようにした車両用距離測定装置が提案されている（例えば、特許文献２参照）。この車両用距離測定装置においては、自車両と対象物との相対加速度に基づいてピッチングの程度に応じた画像位置の補正量を算出している。

特開平３−１１８６１１号公報 特開平１１−５１６４５号公報

上述した特許文献１に記載された構成によりピッチング補正を行うためには、ピッチ検出器が必要になるため、装置のコストがアップすると共に、装置の構成が複雑になるという不都合がある。さらに、ピッチ検出器により検出された変位量を撮像画像に反映させて補正をするタイミングのずれにより、ピッチング補正が不適切なものとなるおそれがある。

また、上記特許文献２に記載された構成は、ステレオカメラによる対象物との距離を測定するものであるため、単眼カメラによる構成には適用できないという不都合がある。

そこで、本発明は、ピッチ検出器を用いることなく、単眼カメラによる構成においてもピッチング補正を行うことができる機能を備えた車両周辺監視装置を提供することを目的とする。

第１発明の車両周辺監視装置は、所定の制御周期毎に、車両に搭載されたカメラによる撮像画像を取得する画像取得部と、今回の制御周期での撮像画像の前回の制御周期からの変位量を算出し、該変位量を用いて車両の挙動に起因する撮像画像の変位分を相殺するためのピッチング補正値を算出するピッチング補正値算出部と、今回の撮像画像に対して、前記ピッチング補正値による補正を行った補正画像を生成する補正画像生成部と、前記補正画像から対象物を検出する対象物検出部とを備え、前記ピッチング補正値算出部は、撮像画像から、自車両から所定距離内の先行車両を含む所定領域を監視領域として切出し、今回の制御周期における撮像画像の監視領域と前回の制御周期における撮像画像の監視領域間で前記変位量を求めることを特徴とする。

第１発明によれば、ピッチ検出器を用いることなく、単眼カメラによる構成においてもピッチング補正を行うことができる。

第２発明の車両周辺監視装置は、第１発明において、前記ピッチング補正値算出部は、前回の制御周期での撮像画像の監視領域と今回の制御周期での撮像画像の監視領域とにおける上下移動しない対象物の画像部分の相対変位量の相関値に基づいて、前記変位量を算出することを特徴とする。

車両周辺監視装置の構成図。 車両周辺監視処理のフローチャート。 ピッチング補正値による撮像画像の補正の説明図。 ピッチング補正値算出処理のフローチャート。 監視領域の設定態様の説明図。 位相相関関数の逆フーリエ変換マップに対する変位量の座標系の再配置の説明図。 改良した位相相関関数を用いることによる効果の説明図。 改良した位相相関関数を用いた場合の検証データ。 他の改良した位相相関関数を用いることによる効果の説明図。

本発明の実施形態について、図１〜図９を参照して説明する。

図１を参照して、本実施形態の車両周辺監視装置は車両に搭載して使用され、ＥＣＵ（Electronic Control Unit）１０と、ＥＣＵ１０に接続された赤外線カメラ２０（本発明のカメラに相当する）、ヨーレートセンサ２１、車速センサ２２、ディスプレイ３０、スピーカ３１、及びアクチュエータ３２とにより構成されている。

ＥＣＵ１０は図示しないＣＰＵ、メモリ等により構成された電子ユニットであり、メモリに保持された車両周辺監視用プログラムをＣＰＵに実行させることによって、ＥＣＵ１０は、所定の制御周期毎に赤外線カメラ２０による撮像画像を取り込む画像取得部１１、画像取得部１１により取得された今回の制御周期での撮像画像ｆについて、車両挙動による変位量を相殺するためのピッチング補正値ＰＹを算出するピッチング補正値算出部１２、ピッチング補正値ＰＹにより撮像画像ｆを補正した補正画像ｆ3を生成する補正画像生成部１３、補正画像ｆ3から対象物（歩行者等）を検出する対象物検出部１４、警報対象となる対象物が検出されたときにディスプレイ３０とスピーカ３１による警報を行う警報制御部１５、及び対象物との接触を回避するためにアクチュエータ３２（ブレーキ機構、操舵機構等）を作動させる車両制御部１６として機能する。

次に、図２に示したフローチャートに従って、ＥＣＵ１０による車両周辺監視処理の実行手順について説明する。ＥＣＵ１０は、運転者による車両周辺監視処理の開始操作がなされたときに、図２に示したフローチャートによる車両周辺開始処理を開始する。

ＥＣＵ１０は、ＳＴＥＰ１で初期化処理を行った後、ＳＴＥＰ１０で運転者による車両周辺監視処理の停止操作がなされるまで、ＳＴＥＰ２〜ＳＴＥＰ９の処理を所定の制御周期により繰り返し実行する。ＳＴＥＰ２は画像取得部１１による処理であり、画像取得部１１は、赤外線カメラ２０から出力される１フレーム分のアナログの映像信号をデジタル信号に変更して画像メモリ（図示しない）に保持する。

続くＳＴＥＰ３〜ＳＴＥＰ６は、ピッチング補正値算出部１２及び補正画像生成部１３による処理である。ピッチング補正値算出部１２は、ＳＴＥＰ３で車速センサ２２による検出速度から走行停止中でないと判断され、且つ、ＳＴＥＰ４でヨーレートセンサ２１により車両が旋回中でないと判断されたときに、ＳＴＥＰ５で車両挙動（ピッチング等）に起因する撮像画像の変位分を補正するためのピッチング補正値ＰＹを算出する。ピッチング補正値ＰＹは、撮像画像の変位分を相殺するためのシフト量（ピクセル値）である。

また、補正画像生成部１３は、ＳＴＥＰ３で車速センサ２２による検出速度から走行中であると判断され、且つ、ＳＴＥＰ４でヨーレートセンサ２１により車両が旋回中でないと判断されて、ＳＴＥＰ５でピッチング補正値算出部１２によりピッチング補正値ＰＹが算出されたときに、今回の撮像画像ｆ1をピッチング補正値ＰＹ分シフトさせて補正画像ｆ3を生成し、ＳＴＥＰ７に進む。

これにより、例えば、図３に示したように、今回の制御周期での撮像画像ｆがピッチングにより上側に変位しているときに、ｆをピッチング補正値ＰＹ分だけ下方向にシフトした補正画像ｆ3が生成される。この場合、撮像画像ｆでは対象物の検索領域Ｅから外れていた歩行者の画像部分５０の上側が、補正画像ｆ3では検索領域Ｅ内に入るため、補正画像ｆ3から歩行者の画像部分５０を検出することができる。

また、ＳＴＥＰ３で車両が停止中であると判断されたとき、及び、ＳＴＥＰ４で車両が旋回中であると判断されたときにはＳＴＥＰ１０に分岐する。この場合は、補正画像ｆ3は生成されず、また、後述するＳＴＥＰ７〜ＳＴＥＰ９による警報及び接触回避制御も実行されない。

ＳＴＥＰ７は対象物検出部１４による処理であり、対象物検出部１４は、ＳＴＥＰ６で補正画像ｆ3が生成されたときは補正画像ｆ3から、また、補正画像ｆ3が生成されなかったときには撮像画像ｆから、監視対象物（歩行者等）を検出する。

続くＳＴＥＰ８〜ＳＴＥＰ９は、警報制御部１５及び車両制御部１６による処理である。警報制御部１５は、ＳＴＥＰ８で対象物検出部１４により検出された対象物が警報対象であるか否かを判断し（自車両からの距離や対象物の進行方向等により判断される）、警報対象であると判断したときにはＳＴＥＰ９に進む。

そして、警報制御部１５は、ディスプレイ３０に対象物の位置を示して警告表示をし、また、スピーカ３１から対象物の存在を報知する音声を出力する。また、車両制御部１６は、警報対象である対象物との接触を回避するために、必要に応じてアクチュエータ（ブレーキ機構、操舵機構等）を作動させる。

一方、ＳＴＥＰ８で、対象物検出部１４により検出された対象物が警報対象ではないと判断されたとき、ＳＴＥＰ１０に分岐し、警報制御部１５及び車両制御部１６によるＳＴＥＰ９の処理は行われない。

次に、図４に示したフローチャートに従って、ピッチング補正値算出部１２によるピッチング補正値の設定処理について説明する。

ピッチング補正値算出部１２は、ＳＴＥＰ２０で、今回の制御サイクルでの撮像画像ｆから監視領域Ｗを切出す。ここで、監視領域Ｗは、図５（ａ）に示したように、撮像画像ｆの中央部に設定されている。

なお、上下移動しない対象物の画像が監視領域内に含まれるようにするという観点から、図５（ｂ）に示したように、監視領域Ｗを空側（地平線Ｈの上側、通常は建物や先行車両が撮像される）に設定してもよい。また、自車両の前後方向の移動に応じた画像上での移動量が小さいという観点から、図５（ｃ）に示したように、監視領域Ｗを地平線Ｈ付近をより広範囲に監視する領域に設定してもよい。

或いは、前回の制御周期での撮像画像から、自車両に近い先行車両の画像部分が検出されたときには、この先行車両は撮像画像上での上下変位が少ない対象物であるので、この画像部分を含むように監視領域を設定してもよい。

続くＳＴＥＰ２１で、監視領域にハミング窓（Hamming window）等による２次元のオペーレータを作用させる。ここで、監視領域に２次元のオペレータを作用させるのは、監視領域の境界が後述する高速フーリエ変換の結果に影響を及ぼすことを防ぐためである。そして、ＳＴＥＰ２２で、ピッチング補正値算出部１２は、今回の制御周期での撮像画像ｆの監視領域に対して、高速フーリエ変換を行ってフーリエ変換画像Ｆを生成する。

次のＳＴＥＰ２３で、ピッチング補正値算出部１２は、撮像画像ｆが初期画像（図２のフローチャートによる処理が開始されてから最初の撮像画像、及び、図２のＳＴＥＰ３，４で車両が停止中又は旋回中であると判断されてから最初の撮像画像）であるか否かを判断する。そして、撮像画像ｆが初期画像であったときはＳＴＥＰ４０に分岐し、ピッチング補正値算出部１２は、フーリエ変換画像ＦをＦ1（前回の制御周期でのフーリエ変換画像）としてメモリに保持する。続くＳＴＥＰ４１で、ピッチング補正値算出部１２は、フレームカウンタのカウント値ＦＲをクリア（０→ＦＲ）し、ＳＴＥＰ４２でピッチング補正値ＰＹをゼロに設定してＳＴＥＰ２９に進み、処理を終了する。

一方、ＳＴＥＰ２３で撮像画像ｆが初期画像でなかったときには、ＳＴＥＰ２４に進み、ピッチング補正値算出部１２は、フーリエ変換画像ＦをＦ2（今回の制御周期でのフーリエ変換画像）としてメモリに保持する。そして、続くＳＴＥＰ２５で、ピッチング補正値算出部１２は、以下の式（１）の位相相関関数Ｒa(ω)の逆フーリエ変換ＩＲaを求めて、前回の制御周期での撮像画像に対する今回の撮像画像の変位量を求める。

但し、Ｆ1：前回の制御周期でのフーリエ変換画像、Ｆ2：今回の制御周期でのフーリエ変換画像、ε1：今回の制御周期での撮像画像に含まれる前回の制御周期での撮像画像の残像分の影響を低減するための定数。

上記式（１）による位相相関関数Ｒa(ω)の逆フーリエ変換ＩＲaは、監視領域として切出した画像と同じサイズの複素数要素の２次元マップとなる。この２次元マップの要素の位置を、図６（ａ），図６（ｂ）に示したように入れ替えて、水平位置がＭ／２よりも大きいとき及び垂直位置がＮ／２よりも大きいときに負の座標値で示すようにする。

このようにして座標を設定したＩＲaのマップにおいて、実部が最大となる要素の水平位置ｉx及び垂直位置ｉyを求めると、水平位置ｉx及び垂直位置ｉyが、それぞれピクセル単位の撮像画像の変位量の水平成分及び垂直成分となる。なお、ＩＲaのマップの（ｉx，ｉy）近傍の要素の値を用いて、ＩＲaが離散系ではなく連続系としたときに実部が最大となるサブピクセル単位の位置を推定し、この位置を撮像画像の変位量の水平及び垂直成分としてもよい。

ここで、赤外線カメラ２０に用いられている赤外線撮像素子は、入射される赤外線を熱に変換して吸収し、吸収した熱量に応じて電気抵抗が変化する赤外線吸収膜を用いて構成されている。そして、一旦赤外線吸収膜に吸収された熱が放熱されるまでには、赤外線吸収膜の熱容量Ｃ及び周囲回路の熱コンダクタンスＧにより定まる熱時定数τに依存した時間を要する。

そのため、赤外線吸収膜に入力される赤外線のレベルの変化に対する赤外線検出信号の応答遅れにより、今回の制御周期での撮像画像に前回の制御周期での撮像画像が残像として重なる現象が生じる場合がある。

ここで、図７（ａ）は、一般的な位相相関関数である以下の式（２）のＲ(ω)を求めて、その逆高速フーリエ変換ＩＲのマップを、底面を複素数要素の２次元（ｘ−ｙ）座標とし、高さを複素数要素の実部の大きさとして示した３次元表示であり、実部が最大となる複数数要素（ピーク点）が２個（Ｐ1，Ｐ2）存在している。

この場合、２個のピーク点のうちの１個は車両の挙動による撮像画像の変位に応じたものであり、もう１個は前回の制御周期での撮像画像の残像に応じたものであるが、この２個のうちのいずれが車両の挙動による撮像画像の変位に応じたものであるかを、実部の大きさから区別することはできない。

そこで、本実施形態では、上記式（２）のＲ(ω)に代えて、上記式（１）のＲa(ω)を求めている。上記式（１）のε1は、赤外線カメラ２０の赤外線撮像素子が有する熱容量の影響により生じる残存分の影響を低減するための定数であり、実験やコンピュータシミュレーションにより決定される。残像分の影響の程度は、赤外線カメラ２０の特性に依るものであるため、一度適切なε1を設定すれば後は変更する必要がない。

図７（ｂ）は、図７（ａ）と同一のＦ1（前回の制御周期での高速フーリエ変換画像）及びＦ2（今回の制御周期での高速フーリエ変換画像）について、上記式（１）のＲa(ω)の逆フーリエ変換ＩＲaのマップを、上述した図７（ａ）と同様に示したものであり、図７（ａ）で見られたピーク点Ｐ2が消失している。そのため、残ったピーク点Ｐ1のマップ中心からのずれ量を、今回の制御周期での撮像画像の前回の制御周期での撮像画像からの変位量として求めることができる。

次のＳＴＥＰ２６で、ピッチング補正値算出部１２は、今回の制御周期のフーリエ変換画像Ｆ2で、前回の制御周期のフーリエ変換画像Ｆ1を更新する。また、ＳＴＥＰ２７で、フレームカウンタをカウントアップ（ＦＲ＋１→ＦＲ）し、以下の式（３）により、ピッチング補正値ＰＹに誤差が蓄積することを防ぐための減衰係数αを算出する。

但し、α：減衰係数、Ｄ：αの最大値（ＦＸが示す期間が経過した後のαの値）、ＦＲ：フレームカウンタのカウント値、ＦＸ：ピッチング補正値ＰＹを抑制する期間（旋回直後等の車両姿勢が不安定になる期間）に相当するフレーム数。

続くＳＴＥＰ２８で、ピッチング補正値算出部１２は、以下の式（４）によりピッチング補正値ＰＹを算出（更新）する。そして、ＳＴＥＰ２９に進み、ピッチング補正値算出部１２は処理を終了する。

ＰＹ：ピッチング補正値、ＳＹ：画像変位量、α：減衰係数。

ここで、図８は、実際のピッチング量（図中ａ）と、上記式（２）の位相相関関数Ｒ(ω)を用いて算出したピッチング補正値（図中ｂ）と、上記式（１）の位相相関関数Ｒa(ω)を用いて算出したピッチング補正値（図中ｃ）を、縦軸をピッチング量（ピクセル数）に設定し、横軸を撮像画像のフレーム番号に設定して示した比較グラフである。図８から明らかなように、上記式（１）の定数項ε1を加えた位相相関関数Ｒa(ω)を用いることによって、ピッチング補正値と実際のピッチング量との差を減少させることができる。

なお、上記式（１）の位相相関関数Ｆa(ω)に代えて、以下の式（５）の位相相関関数Ｆb(ω)を用いてもよい。

但し、Ｆ1：前回の制御周期でのフーリエ変換画像、Ｆ2：今回の制御周期でのフーリエ変換画像、ε2：今回の制御周期での撮像画像に含まれる前回の制御周期での撮像画像の残像分の影響を低減するための定数。

ここで、図９（ａ）は、上述した図７（ａ）と同様に、上記式（２）の位相相関関数Ｒ(ω)の逆高速フーリエ変換ＩＲのマップを、底面を複素数要素の２次元（ｘ−ｙ）座標とし、高さを複素数要素の実部の大きさとして示した３次元表示であり、実部が最大となる複数数要素（ピーク点）が２個（Ｐ3，Ｐ4）存在している。

それに対して、図９（ｂ）は、図９（ａ）と同一のＦ1（前回の制御周期での高速フーリエ変換画像）とＦ2（今回の制御周期での高速フーリエ変換画像）について、上記式（４）の位相相関関数Ｒb(ω)を求めて、その逆高速フーリエ変換ＩＲbのマップを図９（ａ）と同様にして示したものである。

図９（ｂ）では、Ｐ4の実部の大きさが減少して、ピーク点が１個（Ｐ5）になっている。そのため、ピッチング補正値算出部１２は、Ｐ5の中心（０，０）からのずれ量を、今回の制御周期での撮像画像の前記の制御周期での撮像画像からの変位量として求めることができる。

なお、本実施の形態では、赤外線カメラ２０を用いた場合の残像の影響を抑制するために、上記式（１）又は上記式（５）の位相相関関数を用いることを説明したが、可視カメラを含むカメラ一般において、撮像素子の特定の位置（定位置）に常時生じる固定ノイズによる画像の影響を抑制するときにも、上記式（１）又は上記式（５）の位相相関関数を用いることが有効である。

また、上記式（１）及び式（５）の位相相関関数を用いずに、上記式（２）の一般的な位相相関関数を用いて、撮像画像の変位量を求める場合にも、本発明の効果を得ることができる。この場合に、図７（ａ），図９（ａ）に示したように、ピーク点が複数存在するときには、逆高速フーリエ変換のマップの中心から最も離れたピーク点（図7（ａ）ではＰ1、図９（ａ）ではＰ2）の複素数要素の位置を、今回の制御周期での撮像画像の前回の制御周期での撮像画像からの変位量とすればよい。

また、本実施の形態では、車両挙動に起因する撮像画像の変位を、ｘ（左右）及びｙ（上下）という２方向について補正したが、上下方向についての位相相関を求めて、上下方向についてのみ補正をするようにしてもよい。

１０…ＥＣＵ、１１…画像取得部、１２…変位量算出部、１３…補正画像生成部、１４…対象物検出部、２０…赤外線カメラ。

Claims (2)

1. 所定の制御周期毎に、車両に搭載されたカメラによる撮像画像を取得する画像取得部と、
   今回の制御周期での撮像画像の前回の制御周期からの変位量を算出し、該変位量を用いて車両の挙動に起因する撮像画像の変位分を相殺するためのピッチング補正値を算出するピッチング補正値算出部と、
   今回の撮像画像に対して、前記ピッチング補正値による補正を行った補正画像を生成する補正画像生成部と、
   前記補正画像から対象物を検出する対象物検出部とを備え、
   前記ピッチング補正値算出部は、撮像画像から、自車両から所定距離内の先行車両を含む所定領域を監視領域として切出し、今回の制御周期における撮像画像の監視領域と前回の制御周期における撮像画像の監視領域間で前記変位量を求めることを特徴とする車両周辺監視装置。
2. 請求項１記載の車両周辺監視装置において、
   前記ピッチング補正値算出部は、前回の制御周期での撮像画像の監視領域と今回の制御周期での撮像画像の監視領域とにおける上下移動しない対象物の画像部分の相対変位量の相関値に基づいて、前記変位量を算出することを特徴とする車両周辺監視装置。