JP5687702B2 - 車両周辺監視装置 - Google Patents

Description

本発明は、車両に取り付けられたカメラの撮像画像により、車両周辺を監視する車両周辺監視装置に関する。

従来より、車両に取り付けられた１台のカメラにより、車両周辺を監視する車両周辺監視装置において、１台のカメラにより撮像された時系列画像から、同一の物体の画像部分であると想定される画像部分を抽出し、その大きさの変化率から物体と車両との距離を算出するようにしたものが知られている（例えば、特許文献１参照）。

特許第４２６７６５７号公報

上述した特許文献１に記載された車両周辺監視装置によれば、時系列画像から同一物体の画像部分を抽出することによって、物体と車両との距離を比較的精度良く算出することができる。

しかし、距離の算出対象である物体が、道路を横断する歩行者や野生動物等であって、車両から見たときの移動に伴う姿勢変化が大きい場合には、時系列の撮像画像間での物体の画像部分の形状変化が大きくなる。そのため、時系列画像から同一物体の画像部分を抽出することが困難になって、車両と物体間の距離の算出精度が低下するおそれがある。

本発明は上記背景を鑑みてなされたものであり、単一のカメラによる撮像画像に基づく、物体と車両間の距離の算出精度が低下することを抑制した車両周辺監視装置を提供することを目的とする。

本発明は上記目的を達成するためになされたものであり、車両に搭載された単一のカメラによる撮像画像に基づいて、該撮像画像から抽出した画像部分に対応する実空間上の物体と前記車両間の距離を算出する距離算出部と、前記画像部分に対応する実空間上の物体の種別を判定する物体種別判定部とを備えた車両周辺監視装置に関する。

そして、前記距離算出部は、所定期間における前記画像部分又は前記画像部分に対応する実空間上の物体の形状変化を判定し、前記形状変化が所定レベルを超えるときは、前記物体の種別を想定して設定された実空間上の前記車両からの距離と前記撮像画像での画像部分の大きさとの相関関係に、前記撮像画像から抽出された前記物体の画像部分の大きさを適用して、前記物体と前記車両との距離を算出する第１距離算出処理を実行し、
前記形状変化が前記所定レベル以下であるときには、前記カメラによる時系列の撮像画像から抽出した前記物体の画像部分の大きさの変化に基づいて、前記物体と前記車両との距離を算出する第２距離算出処理を実行することを特徴とする（第１発明）。

第１発明によれば、前記距離算出部は、所定期間における前記画像部分又は前記画像部分に対応する実空間上の物体の形状変化を判定し、該形状変化が前記所定レベルを超えているときは、前記第１距離算出処理を実行して、前記車両と物体との距離を算出する。そして、これにより、形状変化が大きい物体について前記第２距離算出処理を用いることによって、該物体と前記車両との距離の算出精度が低下することを抑制することができる。

また、前記物体は道路を横断する歩行者であり、前記距離算出部は、前記第１距離算出処理において、歩行者の高さが所定値であるとして設定された、実空間上の前記車両からの距離と前記撮像画像での画像部分の高さとの相関関係に、前記撮像画像から抽出された画像部分の高さを適用して、該画像部分に対応する実空間上の物体と前記車両との距離を算出することを特徴とする（第２発明）。

第２発明によれば、前記物体種別判定部により、前記撮像画像から抽出された画像部分に対応する実空間上の物体の種別が歩行者であると判定されたときは、前記距離算出部は、歩行者の高さが所定値であるとして設定された、実空間上の前記車両からの距離と前記撮像画像での画像部分の高さとの相関関係に基づいて、前記カメラにより撮像された道路を横断中の歩行者と前記車両との距離を算出することができる。

車両周辺監視装置の車両への取付態様の説明図。 車両周辺監視装置の構成図。 車両周辺監視装置の作動フローチャート。 歩行者判定の説明図。 道路を横断する歩行者の動きの説明図。 歩行者の画像部分の高さと距離との相関関係の説明図。 時系列画像中の対象物の画像部分の大きさの変化の説明図。 実空間における対象物の移動ベクトルの推定処理の説明図。 パターンマッチングによる物体の画像部分の変化率の算出処理の説明図。

本発明の実施形態について、図１〜図９を参照して説明する。図１を参照して、本実施形態の車両周辺監視装置１０は車両１に搭載して使用され、車両１には、遠赤外線を検出可能な赤外線カメラ２（本発明のカメラに相当する）が備えられている。

赤外線カメラ２は、車両１の前方を撮像するために車両１の前部に取り付けられており、車両１の前部を原点Ｏとして、車両１の左右方向をＸ軸、上下方向をＹ軸、前後方向をＺ軸とした実空間座標系が定義されている。なお、赤外線カメラ２に代えて、可視光等の他の波長域に感度を有するカメラを用いてもよい。

次に、図２を参照して、車両１には、車両１のヨーレートを検出するヨーレートセンサ３、車両１の走行速度を検出する車速センサ４、運転者によるブレーキの操作量を検出するブレーキセンサ５、音声による注意喚起等を行うためのスピーカ６、及び赤外線カメラ２により撮像された画像を表示すると共に、車両１と接触する可能性が高い物体を運転者に視認させる表示を行うためのヘッドアップディスプレイ（Head Up Display）７（以下、ＨＵＤ７という）が接続されている。ＨＵＤ７は、図１に示したように、車両１のフロントウインドウの運転者側の前方位置に画面７ａが表示されるように設けられている。

車両周辺監視装置１０は、ＣＰＵ，メモリ（図示しない）等により構成された電子ユニットであり、赤外線カメラ２から出力される映像信号をデジタルデータに変換して画像メモリ（図示しない）に取り込み、画像メモリに取り込んだ車両１の前方の撮像画像に対して、ＣＰＵにより各種の演算処理を行う機能を有している。

そして、ＣＰＵに車両周辺監視装置１０の制御用プログラムを実行させることによって、ＣＰＵが、赤外線カメラ２により撮像された画像から所定条件を有する画像部分を抽出する対象物抽出部１１、抽出された画像部分に対応する実空間上の物体の種別を判定する物体種別判定部１２、物体と車両１との距離を算出する距離算出部１３、物体の実空間位置を算出する実空間位置算出部１４、実空間における物体の移動ベクトルを算出する移動ベクトル算出部１５、及び、移動ベクトルに基づいて物体を警報の対象とするか否かを判断する警報判断部１６として機能する。

次に、図３に示したフローチャートに従って、車両周辺監視装置１０による一連の車両周辺監視処理について説明する。車両周辺監視装置１０は、所定の制御周期毎に図３に示したフローチャートによる処理を実行して、車両１の周辺を監視する。

車両周辺監視装置１０は、ＳＴＥＰ１で赤外線カメラ２から出力される映像信号を入力し、この映像信号をデジタルの諧調（輝度）データに変換したグレースケール画像を画像メモリに取り込む。

続くＳＴＥＰ２は対象物抽出部１１による処理である。対象物抽出部１１は、グレースケール画像の各画素について、輝度が所定の閾値以上である画素を「１」（白）とし、輝度が閾値よりも小さい画素を「０」（黒）とする２値化処理を行って２値画像を取得する。そして、対象物抽出部１１は、２値画像中の白の各領域のランレングスデータを算出し、ラベリング処理等を行って物体の画像部分を抽出する。

次のＳＴＥＰ３は物体種別判定部１２による処理である。物体種別判定部１２は、ＳＴＥＰ２で抽出された物体（以下、対象物という）の画像部分の特徴量に基づいて、対象物が道路を横断している歩行者（以下、横断歩行者という）であるか否かを判断する。

ここで、図４は横断歩行者の画像を例示したものであり、物体種別判定部１２は、横断歩行者の頭部と推定される画像部分Ｔkの上方の領域Ｍ(1)，Ｍ(2)と下方の領域Ｍ(3)〜Ｍ(8)を探索して、各領域の特徴を認識する。そして、物体種別判定部１２は、画像部分Ｔkの上方の領域Ｍ(1)，Ｍ(2)に特徴がある部分がなく、下方の領域Ｍ(3)〜Ｍ(8)に、横断歩行者に特有の特徴である下端部のハの字形状（上方で交差する２本の斜めエッジ）が認識されたときに、対象物の種別は横断歩行者であると判定する。また、物体種別判定部１２は、頭部と推定される画像部分Ｔkから下端部のＭ(7)までを含む対象物領域Ｒkを設定する。

なお、横断歩行者の判定は、画像の複雑度や輝度分散の変化、周期性等によってもよい。

続くＳＴＥＰ４〜ＳＴＥＰ５及びＳＴＥＰ２０は、距離算出部１３による処理である。距離算出部１３は、ＳＴＥＰ４で対象物の種別が横断歩行者であると判定されたか否かを判断し、横断歩行者であると判定されたとき（この場合は、対象物及びその画像部分の形状変化が大きく、所定レベルを超えると想定される）はＳＴＥＰ２０に分岐して第１距離算出処理を実行する。一方、対象物の種別が横断歩行者ではないと判定されたとき（この場合は、対象物及びその画像部分の形状変化が小さく、前記所定レベル以下になると想定される）には、ＳＴＥＰ５に進み、距離算出部１３は、第２距離算出処理を実行する。

ここで、第２距離算出処理は、後述するように、赤外線カメラ２により撮像された時系列画像から抽出された同一対象物の画像部分の大きさの変化率に基づいて、対象物と車両１との距離を算出するものである。

そして、図５に示したように、横断歩行者は、図５のＩk1〜Ｉk4に示したように、両手と両足を大きく動かして車両１の前方を横切るため、赤外線カメラ２の撮像画像における横断歩行者の画像部分の形状（幅Ｗ等）は大きく変化する。そのため、赤外線カメラ２により撮像された時系列画像間で、横断歩行者の画像部分を同一物体の画像部分として抽出することができない場合があり、また、抽出できても大きさの変化率を精度良く求めることが難しい。

そこで、距離算出部１３は、対象物の種別が横断歩行者であると判定されたときには、ＳＴＥＰ２０で、単一の撮像画像での対象物の画像部分の高さに基づいて、対象物と車両１との距離を算出する。

図６に示したように、歩行者の高さを一定（例えば１７０cm）とした場合、歩行者と車両１との距離が長くなるに従って、赤外線カメラ２の撮像画像Ｉm1における歩行者の画像部分の高さＨが低くなる。そのため、距離算出部１３は、実空間上の歩行者の高さを一定として、歩行者と車両１との実空間上の距離Ｌと、撮像画像上での歩行者の画像部分の高さＨとの相関関係を設定したマップ或いは相関式に、撮像画像上での対象物の画像部分の高さを適用して、対象物と車両１との実空間上での距離を算出する。

また、対象物の種別が横断歩行者ではないと判定されたときには、距離算出部１３は、ＳＴＥＰ５で、第２距離算出処理を実行して対象物と車両１との距離を算出する。第２距離算出処理では、図７に示したように、前回の制御周期（撮像時点ｔ₁₁）で撮像された画像Ｉm2と、今回の制御周期（撮像時点ｔ₁₂）で撮像された画像Ｉm3との間で、同一対象物の画像部分を追跡する処理を行う。なお、この追跡の処理については、例えば特開２００７−２１３５６１号公報に詳説されているので、ここでは説明を省略する。

そして、距離算出部１３は、以下の式（１）により、画像Ｉm2における画像部分３１の幅ｗ₁₁を画像Ｉm3における画像部分３２の幅ｗ₁₂で除して、変化率Ｒateを算出する。なお、車両１と対象物間の相対速度Ｖsは、車速センサ４により検出される車両１の走行速度で近似される。

但し、ｗ₁₁：前回の撮像時（撮像時点ｔ₁₁）における対象物の画像部分の幅、ｗ₁₂：今回の撮像時（撮像時点ｔ₁₂）における対象物の画像部分の幅、ｆ：ｆ＝Ｆ（赤外線カメラ２の焦点距離）／ｐ（撮像画像の画素ピッチ）、Ｗ：実空間における対象物の幅、Ｚ₁：前回の撮像時（撮像時点ｔ₁₁）における車両１から対象物までの距離、Ｚ₂：今回の撮像時（撮像時点ｔ₁₂）における車両１から対象物までの距離、Ｖs：車両と対象物間の相対速度、ｄＴ：撮像間隔、Ｔ：自車両到達時間（対象物が車両１に到達するまでの推定時間）。

続いて、距離算出部１３は、上記式（１）において、車両１と対象物間の相対速度Ｖs（＝車両１の走行速度Ｖj＋対象物の移動速度Ｖd）が、車両１の走行速度Ｖjが対象物の移動速度Ｖdよりも十分に高いとみなして、車両１の走行速度Ｖjに置き換えて変形した以下の式（２）により、今回の撮像時における車両１から対象物までの距離Ｚ₂を算出する。

但し、Ｚ₂：今回の撮像時における車両１から対象物までの距離、Ｒate：変化率、Ｖj：車両１の走行速度、ｄＴ：撮像間隔。

次のＳＴＥＰ６は実空間位置算出部１４による処理である。実空間位置算出部１４は、以下の式（３）により、前回の撮像時における車両１から対象物までの距離Ｚ₁を算出する。

但し、Ｚ₁：前回の撮像時における車両１から対象物までの距離、Ｚ₂：今回の撮像時における車両１から対象物までの距離、Ｖj：車両１の走行速度、ｄＴ：撮像間隔。

そして、実空間位置算出部１４は、今回及び前回の２値画像における対象物の画像部分の位置から、今回及び前回の撮像時における対象物の実空間位置を算出する。

ここで、図８（ａ）は、２値画像Ｉm4上の今回の対象物の画像部分の位置Ｐi_2（ｘ₁₂，ｙ₁₂）と、前回の対象物の画像部分の位置Ｐi_1（ｘ₁₁，ｙ₁₁）を示しており、縦軸ｙが画像の垂直方向に設定され、横軸ｘが画像の水平方向に設定されている。

また、図８（ｂ）は実空間上の対象物の移動状況を示しており、Ｚ軸が車両１の進行方向に設定され、Ｘ軸がＺ軸と直交する方向に設定されている。そして、図中Ｐr_2（Ｘ₁₂，Ｙ₁₂，Ｚ₁₂）は今回の撮像時における対象物の位置を示し、Ｐr_1（Ｘ₁₁，Ｙ₁₁，Ｚ₁₁）は前回の撮像時における対象物の位置を示している。また、Ｖmは、Ｐr_2とＰr_1から推定した実空間上の対象物の移動ベクトルである。

実空間位置算出部１４は、以下の式（４）により今回の撮像時における対象物の実空間座標Ｐr_2（Ｘ₁₂，Ｙ₁₂，Ｚ₁₂）を算出し、以下の式（５）により前回の撮像時における対象物の実空間座標Ｐr_1（Ｘ₁₁，Ｙ₁₁，Ｚ₁₁）を算出する。なお、Ｚ₁₁＝Ｚ₁、Ｚ₁₂＝Ｚ₂である。

但し、Ｘ₁₂，Ｙ₁₂：今回の撮像時における対象物の実空間座標値、ｘ₁₂，ｙ₁₂：今回の２値画像における対象物の画像部分の座標値、Ｚ₂：今回の撮像時における車両から対象物までの距離、ｆ：ｆ＝Ｆ（赤外線カメラの焦点距離）／ｐ（撮像画像の画素ピッチ）。

但し、Ｘ₁₁，Ｙ₁₁：前回の撮像時における対象物の実空間座標値、ｘ₁₁，ｙ₁₁：前回の２値画像における対象物の画像部分の座標値、Ｚ₁：前回の撮像時における車両から対象物までの距離、ｆ：ｆ＝Ｆ（赤外線カメラの焦点距離）／ｐ（撮像画像の画素ピッチ）。

また、実空間位置算出部１４は、車両１が回頭することによる画像上の位置ずれを、ヨーレートセンサ３の検出信号ＹRから認識される回頭角に基づいて補正する回頭角補正を行う。具体的には、前回の撮像時から今回の撮像時までの間における車両１の回頭角がθrであったときに、以下の式（６）により実空間座標値を補正する。

但し、Ｘr，Ｙr，Ｚr：回頭角補正後の実空間座標値、θr：回頭角、Ｘo，Ｙo，Ｚo：回頭角補正前の実空間座標値。

続くＳＴＥＰ７は移動ベクトル算出部１５による処理である。移動ベクトル算出部１５は、図８（ｂ）に示したように、同一の対象物についての前回の撮像時の実空間位置Ｐr_1と今回の撮像時の実空間位置Ｐr_2から、対象物と自車両１との相対移動ベクトルに対応する近似直線Ｖmを求める。

なお、過去の複数時点における対象物の実空間位置を用いて、相対移動ベクトルを求めるようにしてもよい。また、近似直線の具体的な算出処理は、例えば特開２００１−６０９６号公報に記載された手法による。

続くＳＴＥＰ９及びＳＴＥＰ３０〜ＳＴＥＰ３１は警報判断部１６による処理である。警報判断部１６は、ＳＴＥＰ９で、対象物が車両１の前方の接近判定領域内に存在しているか、対象物の移動ベクトルが接近判定領域内に向かっているときに、この対象物を警報の対象とする。

そして、対象物が警報対象とされたときには、警報判断部１６は、さらに、ブレーキセンサ５の出力から運転者によるブレーキ操作が行われているか否かを判断する。そして、ブレーキ操作が行われ、且つ、車両１の加速度（ここでは減速方向を正とする）が予め設定された加速度閾値よりも大きいとき（運転者により適切なブレーキ操作がなされていると想定される）は、回避操作がなされているために警報出力は不要であると判断して、ＳＴＥＰ１０に進む。

それに対して、ブレーキ操作が行われていないか、或いは車両１の加速度が加速度閾値以下であるときには、ＳＴＥＰ３０に分岐する。そして、警報判断部１６は、ＳＴＥＰ３０でスピーカ６から警報音を出力すると共に、ＳＴＥＰ３１でＨＵＤ７に対象物の強調画像を表示して、ＳＴＥＰ１０に進む。

なお、本実施の形態において、距離算出部１３は、第２距離算出処理において、図７に示した２値画像間の同一対象物の画像部分の時間追跡処理により変化率Ｒateを算出したが、図９に示した対象物の画像部分の相関演算により変化率Ｒateを算出するようにしてもよい。図９を参照して、Ｉm5は前回の撮像時におけるグレースケール画像であり、５１は対象物の画像部分を示している。また、Ｉm6は今回の撮像時におけるグレースケール画像であり、５２は対象物の画像部分を示している。

そして、距離算出部１３は、今回のグレースケール画像Ｉm６における対象物の画像部分５２の大きさをアフィン変換により縮小（対象物が自車両に近づいている場合）又は拡大（対象物が自車両から遠ざかっている場合）して、前回の撮像時における対象物の画像部分５１との相関度を算出する。具体的には、図示したように、画像部分５０を１．５倍した画像６０，１．２５倍した画像６１、１．０倍した画像６２、０．７５倍した画像６３、０．５倍した画像６４と、画像部分５１との相関度を算出する。そして、距離算出部１３は、相関度が最も高くなったときの画像部分５２の倍率を変化率Ｒateとして決定する。

また、本実施の形態においては、車両前方を撮像する構成を示したが、車両の後方や側方等、他の方向を撮像して監視対象物との接触可能性を判断するようにしてもよい。

また、本実施の形態では、本発明の特定種別が横断歩行者である場合を示したが、道路を横断する大型の野生動物等、時系列の撮像画像間における画像部分の形状が、同一物体の画像部分として抽出することが困難な程度に変化すると想定されるの他の種別の物体についても、該種別の物体の大きさ（高さ、幅等）を予め想定して、車両１からの距離と撮像画像での該物体の画像部分との相関関係を設定することで、本発明の適用が可能である。

また、本実施の形態では横断歩行者の判定を行って第１距離算出処理と第２距離算出処理とを切替えたが、時系列画像間での画像の形状変化が小さい物体（車両や所定の静止物等）であるか否かの判定を行い、形状変化が小さい物体であると判定されたときは第２距離算出処理を用い、形状変化が小さい物体であると判定されなかったときには第１距離算出処理を用いて、車両１と物体との距離を算出するようにしてもよい。

この場合は、図３のＳＴＥＰ４の横断歩行者の判定に代えて形状変化が小さい物体であるか否かの判定を行い、形状変化が小さい物体であるときはＳＴＥＰ５に進んで第２距離算出処理により車両１と物体との距離を算出し、形状変化が小さい物体でないときにはＳＴＥＰ２０に分岐して第１距離算出処理により車両１と物体との距離を算出する構成となる。

以上のように、本発明の車両周辺監視装置によれば、単一のカメラによる撮像画像に基づく、物体と車両間の距離の算出精度が低下することを抑制することができるため、車両周辺の物体と車両間の距離を算出して監視するために有用である。

１…車両、２…赤外線カメラ（撮像手段）、３…ヨーレートセンサ、４…車速センサ、５…ブレーキセンサ、６…スピーカ、７…ＨＵＤ、１０…車両周辺監視装置、１１…対象物抽出部、１２…物体種別判定部、１３…距離算出部、１４…実空間位置算出部、１５…移動ベクトル算出部、１６…警報判断部。

Claims (2)

1. 車両に搭載された単一のカメラによる撮像画像に基づいて、該撮像画像から抽出した画像部分に対応する実空間上の物体と前記車両間の距離を算出する距離算出部と、
   前記画像部分に対応する実空間上の物体の種別を判定する物体種別判定部と
   を備えた車両周辺監視装置において、
   前記距離算出部は、
   所定期間における前記画像部分又は前記画像部分に対応する実空間上の物体の形状変化を判定し、
   前記形状変化が所定レベルを超えるときは、前記物体の種別を想定して設定された実空間上の前記車両からの距離と前記撮像画像での画像部分の大きさとの相関関係に、前記撮像画像から抽出された前記物体の画像部分の大きさを適用して、前記物体と前記車両との距離を算出する第１距離算出処理を実行し、
   前記形状変化が前記所定レベル以下であるときには、前記カメラによる時系列の撮像画像から抽出した前記物体の画像部分の大きさの変化に基づいて、前記物体と前記車両との距離を算出する第２距離算出処理を実行することを特徴とする車両周辺監視装置。
2. 請求項１記載の車両周辺監視装置において、
   前記物体は道路を横断する歩行者であり、
   前記距離算出部は、前記第１距離算出処理において、歩行者の高さが所定値であるとして設定された、実空間上の前記車両からの距離と前記撮像画像での画像部分の高さとの相関関係に、前記撮像画像から抽出された画像部分の高さを適用して、該画像部分に対応する実空間上の物体と前記車両との距離を算出することを特徴とする車両周辺監視装置。

Images