JP2014085920A - 車両周辺監視装置 - Google Patents

Abstract

【課題】撮像画像から対象物の下端部の画像部分が抽出できない撮像状況下においても、実空間における対象物の接地位置に対応する撮像画像上の位置を推定することができる車両周辺監視装置を提供する。
【解決手段】車両周辺監視装置１０は、赤外線カメラ２による撮像画像Ｉm6から対象物の画像部分６３を抽出する対象物抽出部１２と、撮像画像Ｉm6から車道と路側帯又は歩道との境界の画像部分６１，６２を抽出する道路境界抽出部１４と、対象物の画像部分６３が境界の画像部分６１の上側に位置する場合に、対象物の画像部分６３から垂直下方向に引いた直線６５と境界の画像部分６１との交点６６を、実空間における対象物の接地位置に対応する撮像画像Ｉm6上での位置として推定する下端位置推定部１５とを備える。
【選択図】 図１０

Description

本発明は、車両に取り付けられたカメラの撮像画像により、車両周辺を監視する車両周辺監視装置に関する。

従来より、車両に取り付けられたカメラによる撮像画像から対象物（歩行者等の監視対象物）の画像部分を抽出して、実空間における対象物の位置を算出するようにした車両周辺監視装置が提案されている（例えば、特許文献１参照）。

特許文献１に記載された車両周辺監視装置においては、１台のカメラによる撮像画像から抽出された対象物の画像部分の大きさを、対象物の種別を想定して設定された実空間上での対象物と車両間の距離と画像上での対象物の画像部分の大きさとの相関関係に適用することによって、対象物と車両間の距離を算出している。

国際公開第２０１２／０２９３８２号

上述した特許文献１に記載された車両周辺監視装置においては、対象物の画像部分が実際の対象物の大きさ（実空間における対象物の大きさ）に対応したものとなっていることが、車両と対象物との距離を精度良く算出するための前提となる。しかしながら、カメラの撮像状況によっては、例えば対象物の脚部の画像部分が撮像画像から抽出されずに、対象物の画像部分の下端が本来の位置（脚部の画像部分が抽出されたときの位置）からずれてしまう場合がある。

そして、この場合には、対象物の画像部分の大きさ（高さ）が本来の大きさ（実際の対象物の大きさに対応した大きき）と異なるものとなるため、対象物の画像部分の大きさに基づいて、対象物と車両間の距離を精度良く算出することができない。

本発明はかかる背景に鑑みてなされたものであり、撮像画像から対象物の下端部の画像部分が抽出できない撮像状況下においても、実空間における対象物の接地位置に対応する撮像画像上の位置を推定することができる車両周辺監視装置を提供することを目的とする。

本発明は上記目的を達成するためになされたものであり、本発明の車両周辺監視装置は、
車両に搭載されたカメラによる撮像画像を取得する撮像画像取得部と、
前記撮像画像から対象物の画像部分を抽出する対象物抽出部と、
前記撮像画像から車道と路側帯又は歩道との境界の画像部分を抽出する道路境界抽出部と、
前記対象物の画像部分が前記境界の画像部分の上側に位置する場合に、前記対象物の画像部分から垂直下方向に引いた直線と前記境界の画像部分との交点に基づいて、実空間における前記対象物の接地位置に対応する前記撮像画像上での位置を推定する下端位置推定部とを備えたことを特徴とする（第１発明）。

第１発明によれば、前記対象部抽出部により抽出される対象物の画像部分において、下端部の画像部分（例えば、対象物が歩行者である場合の脚部の画像部分）が抽出されなかった場合であっても、前記下端位置推定部により、対象物の画像部分から垂直下方向に引いた直線と、車道と路側帯又は歩道との境界の画像部分との交点に基づいて、実空間における対象物の接地位置に対応する前記撮像画像上での位置を推定することができる。

また、第１発明において、
前記道路境界抽出部は、前記対象物の画像部分の水平方向の中心位置から垂直下方向に前記直線を引くことを特徴とする（第２発明）。

第２発明によれば、対象物の画像部分の水平方向の中心位置から垂直下方向に前記直線を引くことによって、実空間における対象物の接地位置に対応する前記撮像画像上での位置の推定精度を高めることができる。

また、第１発明又は第２発明において、
前記道路境界抽出部は、斜線抽出用のエッジフィルタを用いて、前記境界の画像部分を抽出することを特徴とする（第３発明）。

第３発明によれば、エッジフィルタを用いることにより、前記撮像画像において斜線となると想定される前記境界の画像部分を容易に抽出することができる。

また、第３発明において、
前記道路境界抽出部は、前記エッジフィルタを用いて抽出したエッジ線のうち、長さが第１所定値以上であり、且つ、傾き又は曲率が第２所定値に最も近いエッジ線を、前記境界の画像部分として抽出することを特徴とする（第４発明）。

第４発明によれば、前記エッジフィルタを用いて抽出したエッジ線のうち、前記境界の画像部分である可能性が高いエッジ線を選択することができる。

また、第４発明において、
前記車両が走行している道路の形状を認識する道路形状認識部と、
前記車両の挙動を検出する車両挙動検出部とを備え、
前記道路境界抽出部は、前記第２所定値を、前記車両が走行している道路の形状と前記車両の挙動とのうちの一方又は両方に基づいて決定することを特徴とする（第５発明）。

第５発明によれば、前記撮像画像における道路、路側帯、及び歩道の画像部分の形状は、前記車両が走行している道路の形状及び前記車両の挙動に応じて変化する。そこで、前記道路境界抽出部により、前記第２所定値を、前記車両が走行している道路の形状と前記車両の挙動とのうちの一方又は両方に基づいて決定することにより、前記境界の画像部分の抽出精度を高めることができる。

また、第１発明から第５発明のうちのいずれかにおいて、
前記道路境界抽出部は、前記道路境界抽出部は、前記撮像画像において前記境界の画像部分が位置すると想定される領域として予め設定された境界探索領域から、前記境界の画像部分を抽出することを特徴とする（第６発明）。

第６発明によれば、前記境界の画像部分を抽出する際の探索範囲を前記境界探索領域に絞り込むことにより、前記境界の画像部分の抽出に要する演算量を減少させることができる。

また、第１発明から第６発明のうちのいずれかにおいて、
前記下端位置推定部は、前記撮像画像における道路の消失点の位置が、直線の平坦路を想定して設定された基準位置から所定距離以上ずれているときに、前記対象物の画像部分から垂直下方向に引いた直線と前記境界の画像部分との交点の位置を、該ずれの方向に応じて補正した位置を、実空間における前記対象物の接地位置に対応する前記撮像画像上での位置として推定することを特徴とする（第７発明）。

第７発明において、前記撮像画像における道路の消失点の位置は、前記車両が走行している道路の形状（登坂路、曲線路等）に応じて、直線の平坦路を想定して設定された前記基準位置からずれる。そして、消失点がずれる方向は、道路の形状に対応したものとなる。また、前記対象物の画像部分から垂直下方向の引いた直線と前記境界の画像部分との交点が、前記対象物の実空間における接地位置に対応する前記撮像画像上の実際の位置からずれる方向は、道路の形状に対応したものとなる。

そのため、前記下端位置推定部により、前記対象物の画像部分から垂直下方向に引いた直線と前記境界の画像部分との交点の位置を、消失点のずれの方向に応じて補正することによって、前記対象物の実空間における接地位置に対応する前記撮像画像上の位置の推定精度を高めることができる。

車両周辺監視装置の車両への取り付け態様の説明図。 車両周辺監視装置の構成図。 車両周辺監視装置の作動フローチャート。 歩行者判定の説明図。 道路を横断する歩行者の動きの説明図。 歩行者の画像部分の高さと距離との相関関係の説明図。 酷暑環境下での撮像画像の説明図。 対象物の画像部分の高さを算出する処理のフローチャート。 路側エッジの抽出処理の説明図。 車両が直線の平坦路を走行しているときの撮像画像の説明図。 車両が右折するとき、及び下り坂を走行しているときの撮像画像の説明図。 時系列画像中の対象物の画像部分の大きさの変化の説明図。 実空間における対象物の移動ベクトルの推定処理の説明図。 パターンマッチングによる物体の画像部分の変化率の算出処理の説明図。

本発明の実施形態について、図１〜図１４を参照して説明する。図１を参照して、本実施形態の車両周辺監視装置１０は車両１に搭載して使用され、車両１には、遠赤外線を検出可能な赤外線カメラ２（本発明のカメラに相当する）が備えられている。赤外線カメラ２は、遠赤外域に感度を有し、撮像される物体の温度が高いほど出力される映像信号のレベルが高くなる（映像信号の輝度が高くなる）特性を有している。

赤外線カメラ２は、車両１の前方を撮像するために車両１の前部に取り付けられており、車両１の前部を原点Ｏとして、車両１の左右方向をＸ軸、上下方向をＹ軸、前後方向をＺ軸とした実空間座標系が定義されている。なお、赤外線カメラ２に代えて、可視光等の他の波長域に感度を有するカメラを用いてもよい。

次に、図２を参照して、車両周辺監視装置１０には、車両１のヨーレートを検出するヨーレートセンサ３（本発明の車両挙動検出部に相当する）、車両１の走行速度を検出する車速センサ４、運転者によるブレーキの操作量を検出するブレーキセンサ５、音声による注意喚起等を行うためのスピーカ６、赤外線カメラ２により撮像された画像を表示すると共に、車両１と接触する可能性が高い物体を運転者に視認させる表示を行うためのヘッドアップディスプレイ（Head Up Display）７（以下、ＨＵＤ７という）、及び、地図データを有してＧＰＳ（Global Positioning System）により検知した車両１の位置と地図データとを参照して、目的地への走行経路情報を提供するナビゲーション装置８（本発明の道路形状認識部の機能を含む）が接続されている。ＨＵＤ７は、図１に示したように、車両１のフロントウインドウの運転者側の前方位置に画面７ａが表示されるように設けられている。

車両周辺監視装置１０は、ＣＰＵ，メモリ（図示しない）等により構成された電子ユニットであり、撮像画像取得部１１によって、赤外線カメラ２から出力される映像信号をデジタルデータに変換して画像メモリ（図示しない）に取り込み、画像メモリに取り込んだ車両１の前方の撮像画像に対して、ＣＰＵにより各種の演算処理を行う機能を有している。

そして、ＣＰＵに車両周辺監視装置１０の制御用プログラムを実行させることによって、ＣＰＵが、赤外線カメラ２により撮像された画像から所定条件を有する画像部分を抽出する対象物抽出部１２、抽出された画像部分に対応する実空間上の物体の種別を判定する物体種別判定部１３、車道と歩道又は路側帯との境界の画像部分を抽出する道路境界抽出部１４、実空間上の対象物の下端位置に対応する撮像画像上の位置を推定する下端位置推定部１５、物体と車両１との距離を算出する距離算出部１６、物体の実空間位置を算出する実空間位置算出部１７、実空間における物体の移動ベクトルを算出する移動ベクトル算出部１８、及び、移動ベクトルに基づいて物体を警報の対象とするか否かを判断する警報判断部１９として機能する。

次に、図３に示したフローチャートに従って、車両周辺監視装置１０による一連の車両周辺監視処理について説明する。車両周辺監視装置１０は、所定の制御周期毎に図３に示したフローチャートによる処理を実行して、車両１の周辺を監視する。

［画像取込処理］
ＳＴＥＰ１は撮像画像取得部１１による処理である。撮像画像取得部１１は、赤外線カメラ２から出力される映像信号を入力し、この映像信号をデジタルの諧調（輝度）データに変換したグレースケール画像を画像メモリに取り込む。

［対象物抽出処理］
続くＳＴＥＰ２は対象物抽出部１２による処理である。対象物抽出部１２は、グレースケール画像の各画素について、輝度が所定の閾値以上である画素を「１」（白）とし、輝度が閾値よりも小さい画素を「０」（黒）とする２値化処理を行って２値画像を取得する。そして、対象物抽出部１２は、２値画像中の白の各領域のランレングスデータを算出し、ラベリング処理等を行って物体の画像部分を抽出する。

［物体種別判定処理］
次のＳＴＥＰ３は物体種別判定部１３による処理である。物体種別判定部１３は、ＳＴＥＰ２で抽出された物体（以下、対象物という）の画像部分の特徴量に基づいて、対象物が道路を横断している歩行者（以下、横断歩行者という）であるか否かを判断する。

ここで、図４は横断歩行者の画像を例示したものであり、物体種別判定部１３は、横断歩行者の頭部と推定される画像部分Ｔkの上側の領域Ｍ(1)，Ｍ(2)と下方の領域Ｍ(3)〜Ｍ(8)を探索して、各領域の特徴を認識する。

そして、物体種別判定部１３は、画像部分Ｔkの上側の領域Ｍ(1)，Ｍ(2)に特徴がある部分がなく、下方の領域Ｍ(3)〜Ｍ(8)に、横断歩行者に特有の特徴である下端部のハの字形状（上方で交差する２本の斜めエッジ）が認識されたときに、対象物の種別は横断歩行者であると判定する。

また、物体種別判定部１３は、頭部と推定される画像部分Ｔkから下端部のＭ(7)までを含む対象物領域Ｒkを設定する。なお、横断歩行者の判定は、画像の複雑度や輝度分散の変化、周期性等によってもよい。

［距離算出処理］
続くＳＴＥＰ４〜ＳＴＥＰ５は距離算出部１６による処理であり、ＳＴＥＰ２０は道路境界抽出部１４、下端位置推定部１５、及び距離算出部１６による処理である。距離算出部１６は、ＳＴＥＰ４で対象物の種別が横断歩行者であると判定されたか否かを判断し、横断歩行者であると判定されたとき（この場合は、対象物及びその画像部分の形状変化が大きく、形状変化の度合が所定レベルを超えると想定される）はＳＴＥＰ２０に分岐して第１距離算出処理を実行する。

一方、対象物の種別が横断歩行者ではないと判定されたとき（この場合は、対象物及びその画像部分の形状変化が小さく、形状変化の度合が前記所定レベル以下になると想定される）には、ＳＴＥＰ５に進み、距離算出部１６は、第２距離算出処理を実行する。

ここで、第２距離算出処理は、後述するように、赤外線カメラ２により撮像された時系列の画像から抽出された同一対象物の画像部分の大きさの変化率に基づいて、対象物と車両１との距離を算出するものである。

そして、図５に示したように、横断歩行者は、図５のＩk1〜Ｉk4に示したように、両手と両足を大きく動かして車両１の前方を横切るため、赤外線カメラ２の撮像画像における横断歩行者の画像部分の形状（幅Ｗ等）は大きく変化する。そのため、赤外線カメラ２により撮像された時系列の画像間で、横断歩行者の画像部分を同一物体の画像部分として抽出することができない場合があり、また、抽出できても大きさの変化率を精度良く求めることが難しい。

そこで、距離算出部１６は、対象物の種別が横断歩行者であると判定されたときには、ＳＴＥＰ２０で、単一の撮像画像での対象物の画像部分の高さに基づいて、対象物と車両１との距離を算出する第１距離算出処理を実行する。

［第１距離算出処理］
図６に示したように、歩行者の高さが一定（例えば１７０cm）であると仮定した場合、歩行者と車両１との距離が長くなるに従って、赤外線カメラ２の撮像画像Ｉm1における歩行者の画像部分２０〜２２の高さＨが低くなる。そのため、距離算出部１６は、実空間上の歩行者の高さを一定と仮定して、歩行者と車両１との実空間上の距離Ｌと、撮像画像上での歩行者の画像部分の高さＨとの相関関係を設定したマップ或いは相関式に、撮像画像上での対象物の画像部分の高さを適用して、対象物と車両１との実空間上での距離を算出する。

ここで、図７（ａ）に示したように、外気温が歩行者の体温付近まで上昇した酷暑環境下においては、歩行者と道路等との間の温度差が小さくなり、赤外線カメラ２による撮像画像Ｉm2（グレースケール画像）における歩行者の画像部分３０ａと道路の画像部分３１及び壁の画像部分３２との輝度差が小さくなる。

そのため、撮像画像Ｉm2を２値化したときに、図７（ｂ）に示したように、２値画像Ｉm3における歩行者の画像部分３０ｂが、脚部の一部が消失（画素が「０」になる）したものとなる場合がある。この場合には、本来は図７（ａ）に示したように、高さがＨ１である歩行者の画像部分が、図７（ｂ）に示したように高さがＨ２として抽出されてしまい、Ｈ２に基づいて歩行者と車両１との距離を算出したときの誤差が大きくなる。

また、赤外線カメラではなく可視カメラを用いた場合であっても、歩行者の画像部分と道路の画像部分の輝度差が小さいときには、同様にして、歩行者の脚部の一部が消失する場合がある。

そこで、このような距離の算出誤差が生じることを抑制するために、道路境界抽出部１４と下端位置推定部１５は、図８に示したフローチャートによる処理を行って、歩行者の画像部分の本来の下端位置（実空間における歩行者の脚の接地位置に対応する撮像画像上の位置）を推定する処理を行う。

図８のＳＴＥＰ５０〜ＳＴＥＰ５３は、道路境界抽出部１４による処理である。道路境界抽出部１４は、ＳＴＥＰ５０で、図９（ａ）に示したように赤外線カメラ２による撮像画像Ｉm4（グレースケール画像又は２値画像）において、車道と路側帯又は歩道との境界４０，４１が位置すると想定される領域４３，４４を、境界探索領域として設定する。

続くＳＴＥＰ５１で、道路境界抽出部１４は、左側の境界探索領域４３については右上がりの斜線を抽出する斜線検出用のエッジフィルタを適用して、境界４０のエッジ線（以下、左路側エッジという）を抽出する。また、道路境界抽出部１４は、右側の境界探索領域４４については右下がりの斜線を抽出する斜線検出用のエッジフィルタを適用して、境界４１のエッジ線（以下、右路側エッジという）を抽出する。

次のＳＴＥＰ５２で、道路境界抽出部１４は、車両１が走行している道路の形状を、ナビゲーション装置８からの情報（車両１の位置情報と地図情報）により認識し、道路の形状に応じて、左路側エッジ及び右路側エッジの傾きの判定基準値（道路の形状から想定される左路側エッジ及び右路側エッジの傾きの基準値）を設定する。

例えば、図９（ａ）は、車両１が直線の平坦路を走行している状況であるので、道路境界抽出部１４は、直線の平坦路を走行する状況で撮像したときの左路側エッジ及び右路側エッジを想定した傾きを、判定基準として設定する。また、図９（ｂ）は、車両１が曲線路を右折している状況であるので、道路境界抽出部１４は、曲線路を右折する状況で撮像したときの左路側エッジ及び右路側エッジを想定した傾きを、判定基準値として設定する。なお、曲線路に対しては、傾きに代えて曲率を判定基準値としてもよい。

なお、ナビゲーション装置８により認識される道路の形状ではなく、ヨーレートセンサ３等により検出される車両１の挙動に応じて、撮像画像における道路の画像部分の形状を推定することによって判定基準値を設定してもよい。或いは、ナビゲーション装置８により認識される道路の形状と、ヨーレートセンサ３等により検出される車両１の挙動の両方に基づいて、判定基準値を設定するようにしてもよい。

次のＳＴＥＰ５３で、道路境界抽出部１４は、抽出した左路側エッジと右路側エッジのうち、長さが所定値以上であり、且つ、傾きが判定基準値に最も近いものを、使用する左路側エッジと右路側エッジとして選別する。

続くＳＴＥＰ５４は、下端位置推定部１５による処理である。下端位置推定部１５は、図１０に示したように、２値画像Ｉm6において、対象物抽出部１２により抽出された歩行者の画像部分６３が、道路境界抽出部１４により抽出された左路側エッジ６１の上側に位置しているときに、歩行者の画像部分６３の水平方向（ｘ座標方向）の中心位置６４から、垂直下方向（ｙ座標の下方向）に引いた直線６５と左路側エッジ６１との交点６６を求める。

なお、左路側エッジとその上側の歩行者の画像部分について交点を求めるときは、歩行者の画像部分の水平方向の右端から垂直下方向に直線を引くようにしてもよい。また、右路側エッジとその上側の歩行者の画像部分について交点を求めるときには、歩行者の画像部分の水平方向の左端から垂直下方向に直線を引くようにしてもよい。

そして、下端位置推定部１５は、交点６６を歩行者の画像部分６３の本来の下端位置（実空間における歩行者の接地位置に対応する撮像画像上の位置、以下、下端推定位置という）として推定する。なお、図１０において、６２は右路側エッジであり、６０は道路の消失点である。

このように、歩行者の画像部分６３の下端推定位置を求めることにより、図７（ａ）及び図７（ｂ）を参照して上述したように、歩行者の画像部分が脚の一部が消失したものとなっている場合であっても、実空間における歩行者の接地位置に対応する撮像画像上の位置を推定することができる。

なお、図１０は、車両１が直線の平坦路を走行している状況で、左路側エッジ６１と右路側エッジ６２が抽出された撮像画像であるが、図１１（ａ）に示したように、車両１が右折している状況での撮像画像においては、歩行者の画像部分７４と右路側エッジ７２及び消失点７３との位置関係が異なるものとなる。

そして、図１１（ａ）の撮像画像Ｉm7において、歩行者の画像部分７４から垂直下方向に引いた直線７５と右路側エッジ７２との交点７６は、本来の画像部分７４の下端位置からのずれが大きくなってしまう。

そのため、下端位置推定部１５は、撮像画像Ｉm7において、消失点７３の位置が、直線の平坦路を走行しているときの撮像画像における消失点の位置を想定して設定した基準位置７０から所定距離以上ずれているときに、基準位置７０に対する消失点７３のずれ方向を判断し、ずれ方向が右方向であるときには、交点７６を右路側エッジ７２に沿って上側に移動させた点７７を下端推定位置とする。そして、これにより、下端推定位置の推定精度が低下することを抑制している。

また、図１１（ｂ）は、車両１が下り坂を走行している状況で、左路側エッジ７１と右路側エッジ７２が抽出された撮像画像であるが、この場合にも、歩行者の画像部分８４から垂直下方向に引いた直線８５と左路側エッジ８１との交点８６は、本来の画像部分８４の下端位置からのずれが大きくなってしまう。そして、図１１（ｂ）では、消失点８３が基準位置８０から上側にずれている。

そのため、下端位置推定部１５は、基準位置８０に対して消失点８３が上側にずれた撮像画像Ｉm8において、交点８６を左路側エッジ８１に沿って上側に移動させた点８７を、下端推定位置とする。そして、これにより、下端推定位置の推定精度が低下することを抑制している。

なお、図１１（ａ）では、基準位置７０に対して消失点７３が右側にずれた場合の右路側エッジ７２と歩行者の画像部分７４との関係について説明したが、基準位置に対して消失点が左側にずれた場合についても、左路側エッジと歩行者の画像部分について同様の処理を行うことにより、下端推定位置の推定精度が低下することを抑制することができる。また、このような消失点のずれに基づく補正を行わない場合であっても、本発明の効果を得ることができる。

そして、距離算出部１６は、ＳＴＥＰ５５で、歩行者の画像部分の上端から下端推定位置までを、歩行者の画像部分の高さとして算出し、上述したように、この高さを、歩行者と車両１との実空間上の距離Ｌと、撮像画像上での歩行者の画像部分の高さＨとの相関関係を設定したマップ或いは相関式に適用して、対象物と車両１との実空間上での距離を算出する。

［第２距離算出処理］
一方、対象物の種別が横断歩行者ではないと判定されたときには、距離算出部１６は、ＳＴＥＰ５で、第２距離算出処理を実行して対象物と車両１との距離を算出する。第２距離算出処理では、図１２に示したように、前回の制御周期（撮像時点ｔ₁₁）で撮像された画像Ｉm9と、今回の制御周期（撮像時点ｔ₁₂）で撮像された画像Ｉm10との間で、同一対象物の画像部分を追跡する処理を行う。なお、この追跡の処理については、例えば特開２００７−２１３５６１号公報に詳説されているので、ここでは説明を省略する。

そして、距離算出部１６は、以下の式（１）により、画像Ｉm9における画像部分９１の幅ｗ₁₁を画像Ｉm10における画像部分９２の幅ｗ₁₂で除して、変化率Ｒateを算出する。なお、車両１と対象物間の相対速度Ｖsは、車速センサ４により検出される車両１の走行速度で近似される。

但し、ｗ₁₁：前回の撮像時（撮像時点ｔ₁₁）における対象物の画像部分の幅、ｗ₁₂：今回の撮像時（撮像時点ｔ₁₂）における対象物の画像部分の幅、ｆ：ｆ＝Ｆ（赤外線カメラ２の焦点距離）／ｐ（撮像画像の画素ピッチ）、Ｗ：実空間における対象物の幅、Ｚ₁：前回の撮像時（撮像時点ｔ₁₁）における車両１から対象物までの距離、Ｚ₂：今回の撮像時（撮像時点ｔ₁₂）における車両１から対象物までの距離、Ｖs：車両と対象物間の相対速度、ｄＴ：撮像間隔、Ｔr：自車両到達時間（対象物が車両１に到達するまでの推定時間）。

続いて、距離算出部１６は、上記式（１）において、車両１と対象物間の相対速度Ｖs（＝車両１の走行速度Ｖj＋対象物の移動速度Ｖd）が、車両１の走行速度Ｖjが対象物の移動速度Ｖdよりも十分に高いとみなして、車両１の走行速度Ｖjに置き換えて変形した以下の式（２）により、今回の撮像時における車両１から対象物までの距離Ｚ₂を算出する。

但し、Ｚ₂：今回の撮像時における車両１から対象物までの距離、Ｒate：変化率、Ｖj：車両１の走行速度、ｄＴ：撮像間隔。

［実空間位置算出処理］
次のＳＴＥＰ６は実空間位置算出部１７による処理である。実空間位置算出部１７は、以下の式（３）により、前回の撮像時における車両１から対象物までの距離Ｚ₁を算出する。

但し、Ｚ₁：前回の撮像時における車両１から対象物までの距離、Ｚ₂：今回の撮像時における車両１から対象物までの距離、Ｖj：車両１の走行速度、ｄＴ：撮像間隔。

そして、実空間位置算出部１７は、今回及び前回の２値画像における対象物の画像部分の位置から、今回及び前回の撮像時における対象物の実空間位置を算出する。

ここで、図１３（ａ）は、２値画像Ｉm11上の今回の対象物の画像部分の位置Ｐi_2（ｘ₁₂，ｙ₁₂）と、前回の対象物の画像部分の位置Ｐi_1（ｘ₁₁，ｙ₁₁）を示しており、縦軸ｙが画像の垂直方向に設定され、横軸ｘが画像の水平方向に設定されている。

また、図１３（ｂ）は実空間上の対象物の移動状況を示しており、Ｚ軸が車両１の進行方向に設定され、Ｘ軸がＺ軸と直交する方向に設定されている。そして、図中Ｐr_2（Ｘ₁₂，Ｙ₁₂，Ｚ₁₂）は今回の撮像時における対象物の位置を示し、Ｐr_1（Ｘ₁₁，Ｙ₁₁，Ｚ₁₁）は前回の撮像時における対象物の位置を示している。また、Ｖmは、Ｐr_2とＰr_1から推定した実空間上の対象物の移動ベクトルである。

実空間位置算出部１７は、以下の式（４）により今回の撮像時における対象物の実空間座標Ｐr_2（Ｘ₁₂，Ｙ₁₂，Ｚ₁₂）を算出し、以下の式（５）により前回の撮像時における対象物の実空間座標Ｐr_1（Ｘ₁₁，Ｙ₁₁，Ｚ₁₁）を算出する。なお、Ｚ₁₁＝Ｚ₁、Ｚ₁₂＝Ｚ₂である。

但し、Ｘ₁₂，Ｙ₁₂：今回の撮像時における対象物の実空間座標値、ｘ₁₂，ｙ₁₂：今回の２値画像における対象物の画像部分の座標値、Ｚ₂：今回の撮像時における車両から対象物までの距離、ｆ：ｆ＝Ｆ（赤外線カメラの焦点距離）／ｐ（撮像画像の画素ピッチ）。

但し、Ｘ₁₁，Ｙ₁₁：前回の撮像時における対象物の実空間座標値、ｘ₁₁，ｙ₁₁：前回の２値画像における対象物の画像部分の座標値、Ｚ₁：前回の撮像時における車両から対象物までの距離、ｆ：ｆ＝Ｆ（赤外線カメラの焦点距離）／ｐ（撮像画像の画素ピッチ）。

また、実空間位置算出部１７は、車両１が回頭することによる画像上の位置ずれを、ヨーレートセンサ３の検出信号ＹRから認識される回頭角に基づいて補正する回頭角補正を行う。具体的には、前回の撮像時から今回の撮像時までの間における車両１の回頭角がθrであったときに、以下の式（６）により実空間座標値を補正する。

但し、Ｘr，Ｙr，Ｚr：回頭角補正後の実空間座標値、θr：回頭角、Ｘo，Ｙo，Ｚo：回頭角補正前の実空間座標値。

［移動ベクトル推定処理］
続くＳＴＥＰ７は移動ベクトル算出部１８による処理である。移動ベクトル算出部１８は、図１３（ｂ）に示したように、同一の対象物についての前回の撮像時の実空間位置Ｐr_1と今回の撮像時の実空間位置Ｐr_2から、対象物と自車両１との相対移動ベクトルに対応する近似直線Ｖmを求める。

なお、過去の複数時点における対象物の実空間位置を用いて、相対移動ベクトルを求めるようにしてもよい。また、近似直線の具体的な算出処理は、例えば特開２００１−６０９６号公報に記載された手法による。

［警報判断処理］
続くＳＴＥＰ９及びＳＴＥＰ３０〜ＳＴＥＰ３１は警報判断部１９による処理である。警報判断部１９は、ＳＴＥＰ９で、対象物が車両１の前方の接近判定領域内に存在しているか、対象物の移動ベクトルが接近判定領域内に向かっているときに、この対象物を警報の対象とする。

そして、対象物が警報の対象とされたときには、警報判断部１９は、さらに、ブレーキセンサ５の出力から運転者によるブレーキ操作が行われているか否かを判断する。そして、ブレーキ操作が行われ、且つ、車両１の加速度（ここでは減速方向を正とする）が予め設定された加速度閾値よりも大きいとき（運転者により適切なブレーキ操作がなされていると想定される）は、回避操作がなされているために警報出力は不要であると判断して、ＳＴＥＰ１０に進む。

それに対して、ブレーキ操作が行われていないか、或いは車両１の加速度が加速度閾値以下であるときには、ＳＴＥＰ３０に分岐する。そして、警報判断部１９は、ＳＴＥＰ３０でスピーカ６から警報音を出力すると共に、ＳＴＥＰ３１でＨＵＤ７に対象物の強調画像を表示して、ＳＴＥＰ１０に進む。

なお、本実施の形態において、距離算出部１６は、第２距離算出処理において、図１２に示した２値画像間の同一対象物の画像部分の時間追跡処理により変化率Ｒateを算出したが、図１４に示した対象物の画像部分の相間演算により変化率Ｒateを算出するようにしてもよい。図１４を参照して、Ｉm12は前回の撮像時におけるグレースケール画像であり、１０１は対象物の画像部分を示している。また、Ｉm13は今回の撮像時におけるグレースケール画像であり、１０２は対象物の画像部分を示している。

そして、距離算出部１６は、今回のグレースケール画像Ｉm13における対象物の画像部分１０２の大きさをアフィン変換により縮小（対象物が自車両に近づいている場合）又は拡大（対象物が自車両から遠ざかっている場合）して、前回の撮像時における対象物の画像部分１０１との相間度を算出する。具体的には、図示したように、画像部分１０２を１．５倍した画像１１０，１．２５倍した画像１１１、１．０倍した画像１１２、０．７５倍した画像１１３、０．５倍した画像１１４と、画像部分１０１との相間度を算出する。そして、距離算出部１６は、相間度が最も高くなったときの画像部分１０２の倍率を変化率Ｒateとして決定する。

また、本実施の形態においては、車両前方を撮像する構成を示したが、車両の後方や側方等、他の方向を撮像して監視対象物との接触可能性を判断するようにしてもよい。

また、本実施の形態では、本発明の特定種別が横断歩行者である場合を示したが、道路を横断する大型の野生動物等、時系列の撮像画像間における画像部分の形状が、同一物体の画像部分として抽出することが困難な程度に変化すると想定される他の種別の物体についても、該種別の物体の大きさ（高さ、幅等）を予め想定して、車両１からの距離と撮像画像での該物体の画像部分との相関関係を設定することで、本発明の適用が可能である。

また、本実施の形態では横断歩行者の判定を行って第１距離算出処理と第２距離算出処理とを切替えたが、時系列画像間での画像の形状変化が小さい物体（車両や所定の静止物等）であるか否かの判定を行い、形状変化が小さい物体であると判定されたときは第２距離算出処理により車両と物体との距離を算出し、また、形状変化が小さい物体であると判定されなかったときには第１距離算出処理により車両１と物体との距離を算出するようにしてもよい。

この場合は、図３のＳＴＥＰ４の横断歩行者の判定に代えて形状変化が小さい物体であるか否かの判定を行い、形状変化が小さい物体であるときはＳＴＥＰ５に進んで第２距離算出処理により車両１と物体との距離を算出し、形状変化が小さい物体でないときにはＳＴＥＰ２０に分岐して第１距離算出処理により車両１と物体との距離を算出する構成となる。

また、本実施形態では、第１距離算出処理を行う際の対象物の画像部分の大きさ（高さ）を求めるために、対象物の画像部分の本来の下端位置（下端推定位置）を推定したが、本発明の適用範囲はこれに限られず、実空間における対象物の接地位置に対応する撮像画像上の位置を求めることが必要な場合であれば、本発明の適用が可能である。

また、本実施形態では、図１０，図１１（ａ），図１１（ｂ）を参照して上述したように、消失点の位置の相違に基づく補正をして下端推定位置を決定する処理を行ったが、車両挙動（ヨーレート、傾斜センサ等により検出される）、撮像画像から認識される道路の形状、ナビゲーション装置からの情報等に基づく補正を行って、下端推定位置を決定するようにしてもよい。

１…車両、２…赤外線カメラ、３…ヨーレートセンサ、４…車速センサ、５…ブレーキセンサ、６…スピーカ、７…ＨＵＤ、８…ナビゲーション装置、１０…車両周辺監視装置、１１…撮像画像取得部、１２…対象物抽出部、１３…物体種別判定部、１４…道路境界抽出部、１５…下端位置推定部、１６…距離算出部、１７…実空間位置算出部、１８…移動ベクトル算出部、１９…警報判断部。

Claims (7)

1. 車両に搭載されたカメラによる撮像画像を取得する撮像画像取得部と、
   前記撮像画像から対象物の画像部分を抽出する対象物抽出部と、
   前記撮像画像から車道と路側帯又は歩道との境界の画像部分を抽出する道路境界抽出部と、
   前記対象物の画像部分が前記境界の画像部分の上側に位置する場合に、前記対象物の画像部分から垂直下方向に引いた直線と前記境界の画像部分との交点に基づいて、実空間における前記対象物の接地位置に対応する前記撮像画像上での位置を推定する下端位置推定部と
   を備えたことを特徴とする車両周辺監視装置。
2. 請求項１記載の車両周辺監視装置において、
   前記道路境界抽出部は、前記対象物の画像部分の水平方向の中心位置から垂直下方向に前記直線を引くことを特徴とする車両周辺監視装置。
3. 請求項１又は請求項２に記載の車両周辺監視装置において、
   前記道路境界抽出部は、斜線抽出用のエッジフィルタを用いて、前記境界の画像部分を抽出することを特徴とする車両周辺監視装置。
4. 請求項３に記載の車両周辺監視装置において、
   前記道路境界抽出部は、前記エッジフィルタを用いて抽出したエッジ線のうち、傾きが所定の判定基準値に最も近いエッジ線を、前記境界の画像部分として抽出することを特徴とする車両周辺監視装置。
5. 請求項４に記載の車両周辺監視装置において、
   前記車両が走行している道路の形状を認識する道路形状認識部と、
   前記車両の挙動を検出する車両挙動検出部とを備え、
   前記道路境界抽出部は、前記判定基準値を、前記車両が走行している道路の形状と前記車両の挙動とのうちの一方又は両方に基づいて決定することを特徴とする車両周辺監視装置。
6. 請求項１から請求項５のうちのいずれか１項に記載の車両周辺監視装置において、
   前記道路境界抽出部は、前記撮像画像において前記境界の画像部分が位置すると想定される領域として予め設定された境界探索領域から、前記境界の画像部分を抽出することを特徴とする車両周辺監視装置。
7. 請求項１から請求項６のうちのいずれか１項に記載の車両周辺監視装置において、
   前記下端位置推定部は、前記撮像画像における道路の消失点の位置が、直線の平坦路を想定して設定された基準位置から所定距離以上ずれているときに、前記対象物の画像部分から垂直下方向に引いた直線と前記境界の画像部分との交点の位置を、該ずれの方向に応じて補正した位置を、実空間における前記対象物の接地位置に対応する前記撮像画像上での位置として推定することを特徴とする車両周辺監視装置。