JP2013186664A - 横断歩道認識装置および横断歩道認識方法 - Google Patents

Abstract

【課題】単眼カメラを用いて横断歩道を高精度に認識することのできる横断歩道認識装置を提供する。
【解決手段】横断歩道認識装置は、撮像装置と、水平ラインの輝度変化を検出する輝度変化検出部、第１の輝度変化と第２の輝度変化とが交互に繰り返される分布のパターンを含む第１の水平ラインの存在を判定してグループ化するグループ化部、連続する複数の第１の水平ラインの組を横断歩道候補領域として抽出する横断歩道候補領域抽出部、各組までの距離を算出する距離算出部、閾値以上の距離にある組を除外し、閾値未満の距離にある組の領域を横断歩道を含む領域と判定して横断歩道を認識する横断歩道認識部、を備える画像認識装置とを備えている。
【選択図】図１

Description

本発明は、車両に搭載されるいわゆる運転支援システムに係り、特に、横断歩道を認識する装置に関するものである。

近年、車両の周囲環境を認識して搭乗者の安全を図る運転支援システムが盛んに開発されている。係る運転支援システムでは、例えば、撮像装置で撮像した周囲環境の画像を画像認識機能を有するＥＣＵ（Electronic Control Unit）によって処理し、運転者や搭乗者に必要な警告を発するようになっている。このような撮像される車両の周囲環境の１つとして横断歩道が挙げられる。

特許文献１には、メインカメラとサブカメラとで撮像した２枚のステレオ画像から横断歩道を認識する装置が開示されている。メインカメラとサブカメラとから出力された一対の画像は、ステレオマッチング処理およびフィルタリング処理により基準画像と比較画像とに変換される。そして、得られた２枚のステレオ画像の視差を算出し、画素ブロックに対して実空間における距離を算出する。視差から距離が算出されることを利用し、実空間において自車両から所定距離だけ離れた前方領域のみを探索して横断歩道を検出する。このとき、基準画像の道路面上に高輝度領域が所定の距離で出現していれば横断歩道と認識する。

また、特許文献２は、特許文献１の方法で横断歩道までの距離を検出しようとして、短い周期で撮像される画像から逐次横断歩道の検出のために広い画像領域を探索すると、計算に時間がかかりリアルタイム性を損なうことを改善することを提案している。この改善された手法では、ステレオカメラによる視差算出を行う点は特許文献１と同じであるが、車線の幅と横断歩道の幅とが区別できない場合があることに着目して認識処理を軽減している。検出した実空間における車線候補の高輝度領域の幅が横断歩道の幅に相当する場合にのみ、高輝度領域と低輝度領域とが水平方向に繰り返し現れるか否かを判定して横断歩道を認識し、横断歩道までの距離を求める。

特開２００６−３０９３１３号公報 特開２０１１−１１８５０９号公報

特許文献１および２などの従来の横断歩道認識技術は、ステレオ画像の視差から距離を算出しておりセンサのコストが高い。センサに単眼カメラを用いることができればコストは低減され、構成が簡略化される。しかしながら、単眼カメラを用いる場合には視差が求まらないため、実空間の距離を知ることが困難である。従って、単眼カメラで撮像した周囲環境に対して、水平方向にサーチした撮像パターンのみをグループ化して横断歩道を認識しようとすると、サーチ領域が確かに横断歩道の存在する領域であることを特定できず、横断歩道以外のものを横断歩道と誤認識する虞があるという問題がある。

例えば図１０に示すように、カメラの撮像範囲内の遠方に、電柱、電燈の柱、木々などの物体Ｍが複数並んでいる場合などがある。撮像画像上で画像認識を行うための注目領域内にこれらの物体Ｍが存在している。視差が分かればこの注目領域が車両から規定距離以上に離れているなどとしてサーチ対象領域から除外できるが、単眼カメラを用いた場合には、道路領域を認識するなどの特別な処理を行わない限り、これらのペイントや物体が横断歩道の候補にはならないことが即座には判定できない。そして、これらの撮像画像を一点鎖線で示すように水平方向にサーチしたときに、物体Ｍの並びが明暗の繰り返しパターンを形成したりしていると、これらの画像パターンが横断歩道であると誤認識されてしまう。

特に、遠方に存在する物体は撮像されたときに小さくぼけて映ることが多いため、これらの特徴点の検出条件を細かく設定すると、誤検出の割合が高くなる。

このように、従来の横断歩道の認識技術では、単眼カメラを用いて横断歩道を他物体から区別して高精度に認識することができなかった。

本発明は、上記課題を解決するものであり、単眼カメラを用いて横断歩道を高精度に認識することのできる横断歩道認識装置および横断歩道認識方法を提供することを目的とする。

本発明の第１の局面は、撮像装置と、前記撮像装置によって撮像された画像から横断歩道を認識する画像認識装置であって、前記画像の少なくとも一部の領域を構成する水平ラインのそれぞれについて、水平方向における輝度変化を検出する、輝度変化検出部と、 前記水平ラインの中に、前記輝度変化検出部によって検出された前記輝度変化が暗から明への第１の輝度変化と明から暗への第２の輝度変化とが交互に繰り返される分布を有するパターンを含む第１の水平ラインが複数存在するか否かを判定し、前記第１の水平ラインが複数存在すると判定した場合に前記第１の水平ラインを、連続して存在する組ごとにグループ化する、グループ化部と、前記グループ化部によってグループ化された前記第１の水平ラインの中に、連続して複数の前記第１の水平ラインが存在するか否かを判定し、連続して複数の前記第１の水平ラインが存在すると判定した場合に、連続する複数の前記第１の水平ラインの組で構成される領域を横断歩道候補領域として抽出する、横断歩道候補領域抽出部と、前記横断歩道候補領域抽出部によって抽出された前記組のそれぞれについて、各前記組の領域に横断歩道が存在すると仮定した場合の前記組までの距離を算出する距離算出部と、前記距離算出部によって算出された距離が閾値以上の前記組が存在する場合に前記距離が閾値以上の前記組の前記第１の水平ラインを前記横断歩道を通る前記水平ラインの候補から除外し、前記距離算出部によって算出された距離が閾値未満の前記組が存在する場合に前記距離が閾値未満の前記組の領域の垂直方向の範囲を前記横断歩道を含む領域の垂直方向の範囲として、前記横断歩道の垂直方向の範囲を認識する、横断歩道認識部と、を備える画像認識装置と、を備えている。

本発明の第２の局面は、前記第１の局面において、前記輝度変化が有する前記分布は、前記第１の輝度変化を伴う前記輝度変化点と前記第２の輝度変化を伴う前記輝度変化点との間の前記画像上での距離、前記第１の輝度変化を伴う前記輝度変化点どうしの間の前記画像上での距離、あるいは、前記第２の輝度変化を伴う前記輝度変化点どうしの間の前記画像上での距離が、前記画像上での距離に対応する２つの前記輝度変化点の組合せからなるペア間で比較して均一であると判定した分布である。

本発明の第３の局面は、前記第１の局面または前記第２の局面において、前記撮像装置は単眼カメラである。

本発明の第４の局面は、前記第１の局面から前記第３の局面までのいずれかにおいて、 前記距離算出部は、認識した前記横断歩道について、前記横断歩道の前記画像上の注目領域における水平方向の規格上の長さをＡ、前記注目領域の水平方向の画像の大きさをａ、前記撮像装置の角度分解能をＰ、前記撮像装置から前記注目領域までの道路面に沿った実空間における距離をＬとして、Ｌ＝Ａ／ｔａｎ（ａ×Ｐ）に基づいて、前記撮像装置を搭載した車両から前記横断歩道までの実空間における距離を算出する。

本発明の第５の局面は、前記横断歩道認識部は、前記距離が閾値未満の前記組において前記輝度変化点が前記水平方向に連続して複数並んでいる第１の範囲を有する前記第１の水平ラインから前記第１の範囲を抽出し、全ての前記第１の範囲からなる領域に基づいて前記横断歩道の前記水平方向の範囲を認識する。

本発明の第６の局面は、画像を撮像し、前記画像の少なくとも一部の領域を構成する水平ラインのそれぞれについて、水平方向における輝度変化を検出し、前記水平ラインの中に、前記輝度変化検出部によって検出された前記輝度変化が暗から明への第１の輝度変化と明から暗への第２の輝度変化とが交互に繰り返される分布を有するパターンを含む第１の水平ラインが複数存在するか否かを判定し、前記第１の水平ラインが複数存在すると判定した場合に前記第１の水平ラインを、連続して存在する組ごとにグループ化し、グループ化された前記第１の水平ラインの中に、連続して複数の前記第１の水平ラインが存在するか否かを判定し、連続して複数の前記第１の水平ラインが存在すると判定した場合に、連続する複数の前記第１の水平ラインの組で構成される領域を横断歩道候補領域として抽出し、抽出された前記組のそれぞれについて、各前記組の領域に横断歩道が存在すると仮定した場合の前記組までの距離を算出し、算出された距離が閾値以上の前記組が存在する場合に前記距離が閾値以上の前記組の前記第１の水平ラインを前記横断歩道を通る前記水平ラインの候補から除外し、前記距離算出部によって算出された距離が閾値未満の前記組が存在する場合に前記距離が閾値未満の前記組の領域の垂直方向の範囲を前記横断歩道を含む領域の垂直方向の範囲として、前記横断歩道の垂直方向の範囲を認識する。

本発明の第７の局面は、前記第６の局面において、前記輝度変化が有する前記分布は、前記第１の輝度変化を伴う前記輝度変化点と前記第２の輝度変化を伴う前記輝度変化点との間の前記画像上での距離、前記第１の輝度変化を伴う前記輝度変化点どうしの間の前記画像上での距離、あるいは、前記第２の輝度変化を伴う前記輝度変化点どうしの間の前記画像上での距離が、前記画像上での距離に対応する２つの前記輝度変化点の組合せからなるペア間で比較して均一であると判定した分布である。

本発明の第８の局面は、前記第６の局面または前記第７の局面において、認識した前記横断歩道について、前記横断歩道の前記画像上の注目領域における水平方向の規格上の長さをＡ、前記注目領域の水平方向の画像の大きさをａ、前記撮像装置の角度分解能をＰ、前記撮像装置から前記注目領域までの道路面に沿った実空間における距離をＬとして、Ｌ＝Ａ／ｔａｎ（ａ×Ｐ）に基づいて、前記撮像装置を搭載した車両から前記横断歩道までの実空間における距離を算出する。

本発明の第９の局面は、前記距離が閾値未満の前記組において前記輝度変化点が前記水平方向に連続して複数並んでいる第１の範囲を有する前記第１の水平ラインから前記第１の範囲を抽出し、全ての前記第１の範囲からなる領域に基づいて前記横断歩道の前記水平方向の範囲を認識する。

第１の局面によれば、距離が閾値未満であると算出された水平ラインの組で構成される領域を横断歩道を含む領域と判定するので、横断歩道が目前に迫っている車両にとっては、遠方の物体を安定して横断歩道の候補領域から除外することができる。これにより、遠方の物体の検出結果を横断歩道として誤認識することを防ぐことができる。

また、差し迫った認識を必要としない遠方にある横断歩道も、撮像装置によって横断歩道の輝度変化分布条件を満たすような歪みの無い画像として撮像されにくいことから、横断歩道を通る候補ラインから除外することができる。また、横断歩道の候補を認識するのに、撮像画像に対する実空間の距離を知る必要がなく、距離の各計算結果から横断歩道に適合する距離を選択するだけで済むので、撮像装置に単眼カメラを用いることができる。

このように、本発明によれば、単眼カメラを用いて横断歩道を高精度に認識することができる横断歩道認識装置を提供することができる。

第２の局面によれば、水平ラインを横断歩道を通る候補ラインとなる第１の水平ラインとしてグループ化するのに、エッジ点間の画像上での距離の均一度を評価するので、規格値に従った明暗の繰り返しパターンで構成される横断歩道に対して、容易かつ高精度にグループ化を行うことができる。

第３の局面によれば、撮像装置として単眼カメラを用いるので、横断歩道を認識するためにステレオカメラを用いて実空間の距離を知る必要のあった従来の装置よりも、大幅に構成および処理が簡略化された横断歩道認識装置を提供することができる。

第４の局面によれば、横断歩道の所定部位の規格上の大きさを加味して横断歩道までの距離を算出するので、横断歩道が自車両から遠方に存在する状況であっても、横断歩道までの距離を撮像装置による撮像画像から精度良く算出できる。

第５の局面によれば、横断歩道の白線領域の撮像画像から、第１の範囲を安定して抽出することができるので、横断歩道を認識する上で水平方向の最小限の範囲を容易かつ高精度に認識することができる。

第６の局面によれば、単眼カメラを用いて横断歩道を高精度に認識することができる横断歩道認識方法を提供することができる。

第７の局面によれば、規格値に従った明暗の繰り返しパターンで構成される横断歩道に対して、容易かつ高精度にグループ化を行うことができる。

第８の局面によれば、横断歩道が自車両から遠方に存在する状況であっても、横断歩道までの距離を撮像装置２による撮像画像から精度良く算出できる。

第９の局面によれば、横断歩道を認識する上で水平方向の最小限の範囲を容易かつ高精度に認識することができる。

本発明の実施形態を示すものであり、横断歩道認識装置の構成を示すブロック図 （ａ）ないし（ｅ）は、図１の横断歩道認識装置による横断歩道認識方法を説明する図 図１の横断歩道認識装置が実行する横断歩道認識の手順を説明するフローチャート 本発明の実施形態を示すものであり、横断歩道の各部の寸法を説明する平面図 本発明の実施形態を示すものであり、横断歩道までの距離と左右方向の撮像範囲との関係を示す図 本発明の実施形態を示すものであり、ピクセル幅と横断歩道までの距離との関係を示すグラフ 本発明の実施形態を示すものであり、（ａ）および（ｂ）は、一般道路環境下の実シーンにおける横断歩道までの距離の算出結果を示すグラフ 本発明の実施形態を示すものであり、算出する距離を補正する手順を説明するフローチャート 本発明の実施形態を示すものであり、横断歩道までの距離と上下方向の撮像範囲との関係を示す図 本発明が解決しようとする課題を説明する図

本発明の実施形態について図１ないし図９を用いて説明すれば以下の通りである。

図１に、本実施形態に係る横断歩道認識装置１の構成を示す。

横断歩道認識装置１は撮像装置２およびＥＣＵ（画像認識装置）３を備えている。撮像装置２は例えばＣＭＯＳセンサあるいはＣＣＤを備えた単眼カメラである。ＥＣＵ３は撮像装置２から出力された撮像画像データから横断歩道を認識する画像認識ＥＣＵである。

ＥＣＵ３は、ＣＰＵ３１、Ａ／Ｄ変換器３２、画像認識プロセッサ３３、ＲＯＭ３４、ＲＡＭ３５、および、表示制御／音声制御部３６を備えている。ＣＰＵ３１はＥＣＵ３の内部の処理の全体を監視し、必要な制御信号を各デバイスに与える。Ａ／Ｄ変換器３２は、撮像装置２から出力されるアナログの画像信号をデジタルの画像データに変換する。画像認識プロセッサ３３はＡ／Ｄ変換器３２から出力されたデジタルの画像データから画像処理を行って横断歩道を認識するＤＳＰ（Digital Signal Processor）である。ＲＯＭ３４はフラッシュメモリなどの不揮発性メモリからなり、ＣＰＵ３１が実行するプログラムおよび画像認識プロセッサ３３が実行するプログラムおよび必要なデータを格納している。ＲＡＭ３５はＤＲＡＭあるいはＳＲＡＭなどの揮発性メモリからなり、ＣＰＵ３１、Ａ／Ｄ変換器３２、画像認識プロセッサ３３、および、表示制御／音声制御部３６が必要に応じて処理データを展開する領域を提供する。表示制御／音声制御部３６は画像認識プロセッサ３３による画像認識処理の結果を受けて、運転者および搭乗者に知らせる警告画面あるいは警告音を生成する。

なお、画像認識プロセッサ３３は、以下に説明する画像認識処理の一部をＣＰＵ３１に実行させてもよいし、ＲＯＭ３４内に格納されている画像認識処理用のプログラムおよびデータを画像認識プロセッサ３３内に保持していてもよい。また、画像認識プロセッサ３３は、典型的には処理回路によるデータ処理にプログラムの実行を加えた画像認識処理を行うが、プログラムを使用せずに処理回路のみにより画像認識処理を行ってもよいし、プログラムの実行のみによって画像認識処理を行ってもよい。従って、ＣＰＵ３１は画像認識処理に関与しなくてもよく、ＥＣＵ３に必ずしも備えられていなくてよい。また、表示制御／音声制御部３６は便宜的に１つのブロックで示してあるが、適宜用途別に分離されたブロックとして設けられてもよいし、ＥＣＵ３以外の場所に設けられてもよい。さらに、ＥＣＵ３は他のＥＣＵとネットワークで接続されていてもよく、画像認識処理に関するデータを他のＥＣＵとやり取りしてもよい。

画像認識プロセッサ３３は、垂直エッジ抽出部（輝度変化検出部）３３ａ、輝度変化パターン分類部３３ｂ、横断歩道候補ライン抽出部３３ｃ、横断歩道候補領域抽出部３３ｄ、距離算出部３３ｅ、および、横断歩道認識部３３ｆを備えている。輝度変化パターン分類部３３ｂおよび横断歩道候補ライン抽出部３３ｃはグループ化部を構成している。

次に、画像認識プロセッサ３３による画像認識処理を含めた横断歩道認識装置１の動作について説明する。

図２（ａ）〜（ｅ）に、横断歩道を含む車両の周囲環境の画像から横断歩道を認識する過程を示す。

図２（ａ）は、撮像装置２が撮像した車両前方の周囲環境の画像を示す。この画像は、撮像画像から、画像認識処理を行うための注目領域１０を切り出したものである。当該画像には、横断歩道２１、車道区画線２２、車道外側線２３、木々５１、および、電柱５２の画像が含まれている。横断歩道２１は、長手方向が車線方向に延びる４つの白線領域ｐ１・ｐ２・ｐ３・ｐ４を、車道外側線２３側から車道区画線２２側に向ってこの順に所定の間隔で並ぶように備えている。撮像装置２から出力された画像信号はＥＣＵ３内のＡ／Ｄ変換器３２によってデジタルの画像データに変換される。図２（ａ）の画像は得られたデジタル画像を示し、ピクセル単位で輝度の大小が所定の階調数によって表現されている。注目領域１０は、１ピクセルあるいは複数ピクセルの幅を単位とする水平ラインが複数含まれる大きさに設定されている。また、注目領域１０は、画像上の水平方向に並ぶピクセルで構成される水平ラインＨＬが、画像上の垂直方向に連続して配置されることで構成されているとみなすことができる。

Ａ／Ｄ変換器２３から出力された画像データは画像認識プロセッサ３３に入力される。画像認識プロセッサ３３の垂直エッジ抽出部３３ａは、画像上で各水平ラインＨＬについて水平方向の輝度変化を検出する。左側から右側へと、あるいは、右側から左側へと１つの向きの水平方向に画像をサーチした場合に、画素の輝度が予め設定した正の変化率の閾値を超えて暗から明に変化するような立ち上がりの変化（第１の輝度変化）と、画素の輝度が予め設定した負の変化率の閾値を超えて明から暗に変化するような立ち下がりの変化（第２の輝度変化）との少なくともいずれか一方が含まれていると、それぞれを上記輝度変化として検出する。水平ラインが複数ピクセルの幅を有している場合には、水平ラインに含まれるいずれかのピクセルラインが上記輝度変化を含んでいれば水平位置が区別される輝度変化を全て検出対象とするなど、適宜検出ルールを決めることができる。但し、あまり多くのピクセルラインを含む水平ラインを設定すると、後述するような垂直方向への特徴点の連続性を検出するのに都合がよくないため、極力少ないピクセルライン数で水平ラインを構成したほうが好ましい。

垂直エッジ抽出部３３ａは、図２（ｂ）に白四角印で示すように、この輝度変化を、立ち上がりの変化と立ち下がりの変化とを区別せずに抽出する。抽出された輝度変化が生じている輝度変化点は、画像を水平方向にサーチしたときの、画像の垂直方向（縦方向）成分を有するエッジ点、すなわちいわゆる垂直エッジが有する特徴点として認識可能である。垂直エッジの検出精度を高めるために、輝度の変化率に加えて、昼夜それぞれにおいて立ち上がり変化および立ち下がり変化の前後点が有するべき明輝度および暗輝度の絶対値の範囲を条件に含めるなどしてもよい。

次いで、輝度変化パターン分類部３３ｂが、上記輝度変化を立ち上がりの変化と立ち下がりの変化とに分類する。図２（ｃ）は画像を左側から右側にサーチした場合の輝度変化を示し、立ち上がり変化を白四角印で、立ち下がり変化を黒四角印で区別したものである。各白四角印および各黒四角印は水平ラインの幅に対応した大きさを有し、例えば、水平ラインが１ピクセル分の幅を有しているときに上記印は１ピクセルの大きさに設定される。横断歩道２１の白線領域ｐ１・ｐ２・ｐ３・ｐ４が有する車道外側線２３側のエッジｐ１ａ・ｐ２ａ・ｐ３ａ・ｐ４ａ上で立ち上がりの変化としての輝度変化を生じている点は立ち上がりエッジ点として、白線領域ｐ１・ｐ２・ｐ３・ｐ４が有する車道区画線２２側のエッジｐ１ｂ・ｐ２ｂ・ｐ３ｂ・ｐ４ｂ上で立ち下がりの変化としての輝度変化を生じている点は立ち下がりエッジ点として、それぞれ検出されている。車道区画線２２および車道外側線２３のそれぞれの立ち上がりエッジ点および立ち下がりエッジ点も検出されている。また、木々５１と電柱５２とが並んでいる場所にも輝度変化点が検出されている。

画像を右側から左側にサーチした場合には、図２（ｃ）において立ち上がりの変化と立ち下がりの変化との位置が入れ替わる。横断歩道の白線領域ｐ１〜ｐ４を車線方向と直交する方向に横切る度に、理想的には、立ち上がりエッジから隣の立が下がりエッジまで続く高輝度領域が存在する。また、白線領域どうしの間の領域、白線領域ｐ１よりも車道外側線２３側の領域、および、白線領域ｐ４よりも車道区画線２２側の領域は、低輝度領域として存在する。

横断歩道候補ライン抽出部３３ｃは、輝度変化パターン分類部３３ｂによる分類結果から、立ち上がり変化と立が下がり変化とが交互に出現する水平ラインＨＬを検出すると、その水平ラインＨＬに輝度変化が立ち上がりの変化と立ち下がりの変化とが繰り返される分布を有するパターンが存在すると判定する。このパターンは横断歩道のエッジパターンである可能性があるパターンである。そして、当該パターンが存在すると判定された水平ラインＨＬについて、横断歩道候補ライン抽出部３３ｃは、当該パターンに含まれる立ち上がりエッジ点および立ち下がりエッジ点が規定の相互配置関係を満たすか否かを判定する。

例えば、１個の立ち上がりエッジ点と１個の立ち下がりエッジ点との組合せを１ペアとして、１本の水平ラインに３ペア以上が存在することを第１の条件とする。また、ペアを構成する２つのエッジ点間の画像上での距離が３ペア以上の間で所定の範囲にある（例えば、ペア間で比較した当該距離の比が０．９〜１．１の範囲にある）ことを第２の条件とする。この場合に、横断歩道候補ライン抽出部３３ｃは、第１の条件と第２の条件とを満たした水平ラインを抽出する。上記第２の条件として、異なるペアの立ち上がりエッジ間および立ち下がりエッジ間の画像上での距離を規定することなども可能である。上記の判定は、明暗の繰り返し分布が画像上での距離に対応する２つのエッジ点の組合せからなるペア間で比較して均一であるか否かを判定するものである。均一度の基準は上記例のように距離の比の許容範囲を定めておくことなどして設定することができる。

このようにして、横断歩道候補ライン抽出部３３ｃは、規定の相互配置関係を満たす複数のエッジ点を含む水平ラインＨＬを複数抽出すると、当該水平ラインＨＬを横断歩道候補ライン（第１の水平ライン）としてグループ化する。エッジ点間の画像上での距離の均一度を評価した結果を用いるので、規格値に従った明暗の繰り返しパターンで構成される横断歩道２１に対して、容易かつ高精度にグループ化を行うことができる。

水平ラインＨＬを横断歩道候補ラインとしてグループ化するのに、上記のようにエッジ点間の画像上での距離を評価するので、規格値に従った明暗の繰り返しパターンで構成される横断歩道に対して、容易かつ高精度にグループ化を行うことができる。

次いで、横断歩道候補領域抽出部３３ｄが、横断歩道候補ライン抽出部３３ｃによってグループ化された横断歩道候補ラインの中に、連続して複数の横断歩道候補ラインが存在するか否かを判定する。そして、横断歩道候補領域抽出部３３ｄは、連続して複数の横断歩道候補ラインが存在すると判定した場合には、連続する複数の横断歩道候補ラインの組で構成される領域を横断歩道候補領域として抽出する。図２（ｄ）には、横断歩道を通る候補ラインとなる複数の第１の横断歩道候補ライン４１と、後述のように最終的には横断歩道を通る候補ラインとはならないが前記規定の相互配置関係を満たすエッジ点を含むと判定された複数の第２の横断歩道候補ライン４２が示されている。複数の第１の横断歩道候補ライン４１および複数の第２の横断歩道候補ライン４２は、それぞれ、画像上で連続して並んでいる。第２の横断歩道候補ライン４２は、木々５１および電柱５２を通る複数の水平ラインＨＬのエッジ点が、横断歩道２１のエッジ点と区別できずにグループ化されたものである。なお、ここでは、各横断歩道候補ラインを前記規定の相互配置関係を満たすエッジ点間のみで表示して、横断歩道候補領域の水平方向の範囲が規定されるようにしている。なお、横断歩道は自車両にとって車線方向に迫っているか否かを認識できることが最も重要であるので、各横断歩道候補ラインを画像上の水平方向の全範囲でのみ処理してもよい。

次いで、距離算出部３３ｅが、横断歩道候補領域抽出部３３ｄによって抽出された各組について、撮像装置２からの路面に沿った距離を算出する。このとき、各組の領域に横断歩道が存在すると仮定して距離を算出する。具体的な算出方法については後述する。

次いで、横断歩道認識部３３ｆが、距離算出部３３ｅによって算出された距離が閾値以上となる組が存在する場合に、当該距離が閾値以上の組の横断歩道候補ラインを横断歩道を通る水平ラインＨＬの候補から除外する。図２（ｅ）では、第２の横断歩道候補ライン４２の組が除外されている。そして、横断歩道認識部３３ｆは、距離算出部３３ｅによって算出された距離が閾値未満となる組が存在する場合に、当該距離が閾値未満の組の領域の垂直方向の範囲を横断歩道を含む領域の垂直方向の範囲として、横断歩道２１の垂直方向の範囲を認識する。図２（ｅ）では、第１の横断歩道候補ライン４１の組で構成される横断歩道を含む領域の垂直方向の範囲である垂直範囲４１Ａが示されている。閾値として例えば７０ｍなどといった距離が設定される。

さらに、ここでは、図２（ｄ）で抽出した横断歩道を含む領域の水平方向の範囲である横断歩道候補ライン４１ごとの水平範囲４１Ｂも抽出している。水平範囲４１Ｂの定め方は任意でよく、例えば、各横断歩道候補ラインにおけるエッジ点を全て包含してもよいし、水平方向に連続して所定数以上並んでいるエッジ点のみを包含してもよい。図２（ｅ）では、垂直範囲４１Ａと各横断歩道候補ライン４１の水平範囲４１Ｂとが全て抽出されるため、横断歩道を含む領域４１Ｒが確定する。なお、横断歩道を含む領域はここでは１つであるが、複数の横断歩道が撮像される場合もあるので、抽出される横断歩道を含む領域は複数存在していてもよい。

横断歩道認識部３３ｆは、垂直範囲４１Ａそのものを横断歩道２１の垂直方向の範囲であると認識する。また、水平範囲４１Ｂそのものを横断歩道の水平方向の範囲であると認識する。ここでは、横断歩道を含む領域４１Ｒが確定しているため、横断歩道２１の認識結果を画像のより狭い領域に絞ることができる。垂直範囲４１Ａのみを抽出し、垂直範囲４１Ａに存在する水平ラインＨＬの全領域を横断歩道領域であると認識してもよい。垂直方向に連結される横断歩道候補ラインの領域に基づいてどのような領域を横断歩道領域として抽出するかは、設計の都合に合わせて選択すればよい。従って、横断歩道を含む領域４１Ｒの内側の領域を横断歩道領域と認識してもよい。

横断歩道認識部３３ｆは、横断歩道２１の認識結果に関する情報を表示制御／音声制御部３６に送信する。

図３に、以上の横断歩道認識処理の手順を説明するフローチャートを示す。

まずステップＳ３０１において、垂直エッジ抽出部３３ａが撮像装置２から定期的に送信されてデジタルデータに変換された画像データの注目領域１０に対して各水平ラインの画素の輝度分布を検出し、立ち上がりの変化あるいは立ち下がりの変化からなる輝度変化を伴う垂直エッジが存在するか否かを判定する。垂直エッジが存在すれば垂直エッジ抽出部３３ａが垂直エッジに含まれる輝度変化点を抽出し、ステップＳ３０２に進む。ステップＳ３０２においては、輝度変化パターン分類部３３ｂが、抽出された各輝度変化点の輝度変化を立ち上がりの変化と立ち下がりの変化とに分類する。

次いで、ステップＳ３０３において、横断歩道候補ライン抽出部３３ｃが輝度変化パターン分類部３３ｂによる輝度変化の分類結果を用いて、輝度変化が明暗変化の繰り返しとなるエッジパターンが存在する水平ラインが注目領域１０に含まれているか否かを判定する。そして、当該エッジパターンが存在すると判定された水平ラインが含まれていると、横断歩道候補ライン抽出部３３ｃは、当該エッジパターンに含まれる立ち上がりエッジ点および立ち下がりエッジ点が規定の相互配置関係を満たすか否かを判定する。

上記エッジパターンが存在する水平ラインが含まれていない場合と、規定の相互配置関係を満たすエッジ点が存在しない場合とには、横断歩道候補ラインが含まれていないと判定してステップＳ３０１に戻り、規定の相互配置関係を満たすエッジ点が複数存在すれば、当該エッジ点を含む水平ラインを横断歩道候補ラインとしてグループ化してステップＳ３０４に進む。なお、横断歩道候補ラインが所定数以下の少ない数しか含まれていない場合に、横断歩道領域が無いものとしてステップＳ３０１に戻るようにしてもよい。

ステップＳ３０４においては、横断歩道候補領域抽出部３３ｄが、横断歩道候補ラインについて、垂直方向へのサーチを行い、複数の横断歩道候補ラインが連続して並んでいるか否かを判定することで、横断歩道候補ラインどうしの連結性を判定する。続くステップＳ３０５において、サーチの結果、垂直方向に連結された横断歩道候補ラインの組が存在していなければステップＳ３０１へ戻り、垂直方向に連結された横断歩道候補ラインの組が存在していればステップＳ３０６に進む。

ステップＳ３０６においては、距離算出部３３ｅが、横断歩道候補ラインの各組までの距離を算出する。そして続くステップＳ３０７において、閾値以上の距離を有する遠方の組が存在すれば、ステップＳ３０８で横断歩道距離認識部３３ｆがこの候補外ラインを除外して、ステップＳ３０９で横断歩道を認識する。ステップＳ３０７において遠方の組が存在しなければ、すなわち閾値未満の距離を有する組のみが存在しれば、直接ステップＳ３０９に進む。

画像認識プロセッサ３３による以上のような画像認識処理によって、横断歩道とは異なる遠方の物体を横断歩道であると誤認識することを避けることができる。横断歩道は、数メートルから数十メートル手前といった目前に迫っているときに確実に認識されることが望ましい。前記処理によれば、距離が閾値未満であると算出された水平ラインの組で構成される領域を横断歩道を含む領域と判定するので、横断歩道が目前に迫っている車両にとっては、遠方の物体を安定して横断歩道の候補領域から除外することができる。

また、差し迫った認識を必要としない遠方にある横断歩道も、撮像装置２によって横断歩道の輝度変化分布条件を満たすような歪みの無い画像として撮像されにくいことから、横断歩道を通る候補ラインから除外することができる。また、横断歩道の候補を認識するのに、撮像画像に対する実空間の距離を知る必要がなく、距離の各計算結果から横断歩道に適合する距離を選択するだけで済むので、撮像装置に単眼カメラを用いることができる。これにより、横断歩道認識装置１については、横断歩道を認識するためにステレオカメラを用いて実空間の距離を知る必要のあった従来の装置よりも、大幅に構成および処理が簡略化される。

このように、本実施形態の横断歩道認識装置１によれば、単眼カメラを用いて横断歩道を高精度に認識することができる横断歩道認識装置を提供することができる。

次に、距離算出部３３ｅによる、認識した横断歩道までの距離を計算する手順について説明する。

図４は横断歩道２１を路面上方から見た図である。距離算出部３３ｅは、抽出された垂直範囲４１Ａに含まれるペアの中で、例えば、最も左側の白線領域ｐ１が有するペアの立ち上がりエッジであるエッジｐ１ａから、左から３番目の白線領域ｐ３が有するペアの立ち下がりエッジであるエッジｐ３ｂまでの距離に相当する３ペア分のピクセル幅ａを検出する。ピクセル幅ａは、白線領域ｐ１の幅ｂ１、白線領域ｐ１と白線領域ｐ２との間の距離ｃ１、白線領域ｐ２の幅ｂ２、白線領域ｐ２と白線領域ｐ３との間の距離ｃ２、および、白線領域ｐ３の幅ｂ３の和であるが、これらの幅および距離の実寸長には規格値が存在する。

そこで、横断歩道２１のその３ペア分の両端間の実寸長に対する規格上の長さ（すなわち、ピクセル幅ａの部分に対応する部位の規格上求められる値）をＡとし、撮像装置２の左右方向の角度分解能をＰとし、図５に示すように自車両２５に搭載された撮像装置２から横断歩道２１までの実空間における道路面に沿った距離をＬとすると、
Ｌ＝Ａ／ｔａｎ（ａ×Ｐ） ・・・（１）
という関係が成り立つ。ここで、角度分解能Ｐは、撮像装置２の左右方向の画角をα[度]、撮像装置２によって得られる撮像画像の左右のピクセル数をＷ[pix.]とすると、「Ｐ＝α／Ｗ[度／pix.]」によって表すことが可能な固定値である。つまり、距離算出部３３ｅは、式（１）に基づいて、横断歩道２１までの距離Ｌを算出することができる。図６に、ピクセル幅ａと横断歩道までの距離Ｌ[ｍ]との関係例を示す。横断歩道に対して数十メートル手前辺りから接近するにつれて、ピクセル幅ａが大きく変化するので、当該数十メートル範囲内での距離Ｌの算出分解能が高いことが分かる。

もちろん、抽出された垂直範囲４１Ａに含まれるエッジであれば、どのエッジ間のピクセル幅を検出してもよく、その検出されたピクセル幅をａとした場合、ピクセル幅ａの部分に対応する部位の規格値が固定値Ａに相当する。

算出された距離Ｌに基づいて、自車両２５から横断歩道２１までの実空間における距離を算出することができる。距離Ｌそのものを自車両２５から横断歩道２１までの距離と決定してもよいし、後述するように、距離Ｌに横断歩道の実寸長のばらつきを考慮したキャリブレーションを施した値を、自車両２５から横断歩道２１までの距離と決定してもよい。

従って、横断歩道認識装置１は、撮像装置２および画像認識プロセッサ３３の距離算出部３３ｅを備えていることにより横断歩道２１の所定部位の規格上の大きさを加味して横断歩道２１までの距離Ｌを算出するので、横断歩道２１が自車両２５から遠方に存在する状況であっても、横断歩道２１までの距離を撮像装置２による撮像画像から精度良く算出できる。撮像装置２に単眼カメラを用いることができる点で、横断歩道認識処理と併せてシステム構成を低コストで簡単に構成することができる。

図７は、一般道路環境下の実シーンにおける横断歩道までの距離の算出結果であって、図７（ａ）は本発明の実施例を示し、図７（ｂ）は、測距点の画像上の上下方向の位置を表す縦座標とその測距点までの距離との対応関係に基づいて、画像上の横断歩道領域の最下端の縦座標から横断歩道までの距離を算出する手法からなる比較例を示している。図７から明らかなように、本発明の実施例の方が、上下方向の位置を表す縦座標を基準に距離を算出する比較例に比べて、自車両のピッチ変動や道路勾配変化などの外乱の影響を受けにくいため、横断歩道までの距離の真値に対してずれが小さく、精度良く距離を算出できることが分かる。

ところで、横断歩道の所定部位の大きさの規格値には、ある程度の許容公差が認められている。例えば、横断歩道の１つの白線領域（すなわち、ある１つのペアの立ち上がりエッジと立ち下がりエッジとに挟まれた高輝度領域）の規格値は４５ｃｍ〜５０ｃｍであり、地域等によってその規格の範囲内で採用している値に差があるのが現状である。

このような差を吸収するために、横断歩道の所定部位が撮像画像上の上下方向で所定の位置にあるときの当該所定部位の撮像画像上の大きさ（例えば、左右方向の長さ）を用いて、その所定部位の大きさの規格値をキャリブレーションした値（キャリブレーション値）を算出する。このようなキャリブレーション値を次回以降の距離算出に用いることによって、その算出精度を向上させることができる。例えば、画像上で所定の位置にあるときの横断歩道の白線領域を構成するピクセル幅ｆを用いて、その白線領域の大きさの規格値Ｆについてのキャリブレーション値Ｆ１を算出し、次回以降の距離算出に用いる。

図８は、横断歩道の白線領域の大きさの規格値Ｆのキャリブレーション例を示したフローチャートである。図２（ｅ）のように、抽出された垂直範囲４１Ａの画像上の最下端の位置がＹａ（撮像画像の最下位またはそれよりわずかに上側の位置の縦座標）の位置にあるときに（ステップＳ８０１）、距離算出部３３ｅは、白線領域を構成するピクセル幅ｆを検出する（ステップ８０２）。自車両２５が横断歩道２１に近づくほど、規格値Ｆが最大値のときに検出されるピクセル幅ｆと規格値Ｆが最小値のときに検出されるピクセル幅ｆとの差分（ピクセル数の差）は大きくなり、また、道路勾配の影響を受けにくくなる。そこで、Ｙａの位置での白線領域のピクセル幅ｆを用いてキャリブレーションを行うことによって、そのキャリブレーションの効果を高めることができ、ひいては距離精度を高めることができる。

白線領域を構成するピクセル幅ｆを検出するには、具体的には、横断歩道候補ライン抽出部３３ｃによって抽出された一つのペアの立ち上がりエッジと立ち下がりエッジとのピクセル数を計測すればよい。Ｙａの位置での白線領域のピクセル幅をｆ、撮像装置２の路面からの取り付け高さをＨｃ、消失点のＹ座標をＹｖ、撮像装置２の左右方向の角度分解能をＰとし、撮像装置２の上下方向の角度分解能をＱとし、白線領域の左右方向の規格値Ｆのキャリブレーション値をＦ１とすると、

Ｆ１＝Ｈｃ×ｔａｎ（ｆ×Ｐ）／ｔａｎ（（Ｙａ−Ｙｖ）×Ｑ） ・・・（２）
という関係式が成り立つ。ここで、角度分解能Ｑは、上述の角度分解能Ｐと同様に考えることができる。すなわち、角度分解能Ｑは、撮像装置２の上下方向の画角をβ[度]、撮像装置２によって得られる撮像画像の上下方向のピクセル数をＨ[pix.]とすると、「Ｑ＝β／Ｈ[度／pix.]」によって表すことが可能な固定値である。つまり、距離算出部３３ｅは、式（２）に基づいて、白線領域の規格値Ｆのキャリブレーション値Ｆ１を算出することができる。

距離算出部３３ｅは、白線領域の大きさの規格値としてＲＯＭ３４に記憶されている値を、上述のように算出されたキャリブレーション値Ｆ１に更新する（ステップＳ８０３）。過去の複数のキャリブレーション値Ｆ１の履歴に基づいて平均された値に、白線領域の規格値を更新してもよい。距離算出部３３ｅは、キャリブレーション値Ｆ１に基づいて算出された長さＡを式（１）に代入することによって、横断歩道２１までの距離Ｌを正確に算出できる。

以上、本実施形態について説明した。

なお、撮像装置２は単眼カメラに限らず、ステレオカメラなどの複眼カメラを備えていてもよい。この場合に、ＥＣＵ３は各撮像画像を用いて認識処理を行ってもよい。また、撮像装置２を複数備え、ＥＣＵ３がそれぞれの撮像装置２の撮像画像について横断歩道認識処理を施してもよい。

本発明は、車両に搭載される運転支援システム等に適用可能である。

１ 横断歩道認識装置
２ 撮像装置
３ ＥＣＵ
１０ 注目領域
２１ 横断歩道
３３ 画像認識プロセッサ
３３ａ 垂直エッジ抽出
３３ｂ 輝度変化パターン分類部
３３ｃ 横断歩道候補ライン抽出部
３３ｄ 横断歩道候補領域抽出部
３３ｅ 距離算出部
３３ｆ 横断歩道認識部
４１〜４３ 横断歩道候補ライン
４１Ａ 垂直範囲
４１Ｂ 水平範囲
４１Ｒ 横断歩道を含む領域
ＨＬ 水平ライン
Ｌ 距離

Claims (9)

1. 撮像装置と、
   前記撮像装置によって撮像された画像から横断歩道を認識する画像認識装置であって、
   前記画像の少なくとも一部の領域を構成する水平ラインのそれぞれについて、水平方向における輝度変化を検出する、輝度変化検出部と、
   前記水平ラインの中に、前記輝度変化検出部によって検出された前記輝度変化が暗から明への第１の輝度変化と明から暗への第２の輝度変化とが交互に繰り返される分布を有するパターンを含む第１の水平ラインが複数存在するか否かを判定し、前記第１の水平ラインが複数存在すると判定した場合に前記第１の水平ラインを、連続して存在する組ごとにグループ化する、グループ化部と、
   前記グループ化部によってグループ化された前記第１の水平ラインの中に、連続して複数の前記第１の水平ラインが存在するか否かを判定し、連続して複数の前記第１の水平ラインが存在すると判定した場合に、連続する複数の前記第１の水平ラインの組で構成される領域を横断歩道候補領域として抽出する、横断歩道候補領域抽出部と、
   前記横断歩道候補領域抽出部によって抽出された前記組のそれぞれについて、各前記組の領域に横断歩道が存在すると仮定した場合の前記組までの距離を算出する距離算出部と、
   前記距離算出部によって算出された距離が閾値以上の前記組が存在する場合に前記距離が閾値以上の前記組の前記第１の水平ラインを前記横断歩道を通る前記水平ラインの候補から除外し、前記距離算出部によって算出された距離が閾値未満の前記組が存在する場合に前記距離が閾値未満の前記組の領域の垂直方向の範囲を前記横断歩道を含む領域の垂直方向の範囲として、前記横断歩道の垂直方向の範囲を認識する、横断歩道認識部と、を備える画像認識装置と、
   を備えていることを特徴とする横断歩道認識装置。
2. 前記輝度変化が有する前記分布は、前記第１の輝度変化を伴う前記輝度変化点と前記第２の輝度変化を伴う前記輝度変化点との間の前記画像上での距離、前記第１の輝度変化を伴う前記輝度変化点どうしの間の前記画像上での距離、あるいは、前記第２の輝度変化を伴う前記輝度変化点どうしの間の前記画像上での距離が、前記画像上での距離に対応する２つの前記輝度変化点の組合せからなるペア間で比較して均一であると判定した分布であることを特徴とする請求項１に記載の横断歩道認識装置。
3. 前記撮像装置は単眼カメラであることを特徴とする請求項１または２に記載の横断歩道認識装置。
4. 前記距離算出部は、認識した前記横断歩道について、前記横断歩道の前記画像上の注目領域における水平方向の規格上の長さをＡ、前記注目領域の水平方向の画像の大きさをａ、前記撮像装置の角度分解能をＰ、前記撮像装置から前記注目領域までの道路面に沿った実空間における距離をＬとして、
   Ｌ＝Ａ／ｔａｎ（ａ×Ｐ）
   に基づいて、前記撮像装置を搭載した車両から前記横断歩道までの実空間における距離を算出することを特徴とする請求項１から３までのいずれかに記載の横断歩道認識装置。
5. 前記横断歩道認識部は、前記距離が閾値未満の前記組において前記輝度変化点が前記水平方向に連続して複数並んでいる第１の範囲を有する前記第１の水平ラインから前記第１の範囲を抽出し、全ての前記第１の範囲からなる領域に基づいて前記横断歩道の前記水平方向の範囲を認識することを特徴とする請求項１から４までのいずれか１項に記載の横断歩道認識装置。
6. 画像を撮像し、
   前記画像の少なくとも一部の領域を構成する水平ラインのそれぞれについて、水平方向における輝度変化を検出し、
   前記水平ラインの中に、前記輝度変化検出部によって検出された前記輝度変化が暗から明への第１の輝度変化と明から暗への第２の輝度変化とが交互に繰り返される分布を有するパターンを含む第１の水平ラインが複数存在するか否かを判定し、前記第１の水平ラインが複数存在すると判定した場合に前記第１の水平ラインを、連続して存在する組ごとにグループ化し、
   グループ化された前記第１の水平ラインの中に、連続して複数の前記第１の水平ラインが存在するか否かを判定し、連続して複数の前記第１の水平ラインが存在すると判定した場合に、連続する複数の前記第１の水平ラインの組で構成される領域を横断歩道候補領域として抽出し、
   抽出された前記組のそれぞれについて、各前記組の領域に横断歩道が存在すると仮定した場合の前記組までの距離を算出し、
   算出された距離が閾値以上の前記組が存在する場合に前記距離が閾値以上の前記組の前記第１の水平ラインを前記横断歩道を通る前記水平ラインの候補から除外し、前記距離算出部によって算出された距離が閾値未満の前記組が存在する場合に前記距離が閾値未満の前記組の領域の垂直方向の範囲を前記横断歩道を含む領域の垂直方向の範囲として、前記横断歩道の垂直方向の範囲を認識することを特徴とする横断歩道認識方法。
7. 前記輝度変化が有する前記分布は、前記第１の輝度変化を伴う前記輝度変化点と前記第２の輝度変化を伴う前記輝度変化点との間の前記画像上での距離、前記第１の輝度変化を伴う前記輝度変化点どうしの間の前記画像上での距離、あるいは、前記第２の輝度変化を伴う前記輝度変化点どうしの間の前記画像上での距離が、前記画像上での距離に対応する２つの前記輝度変化点の組合せからなるペア間で比較して均一であると判定した分布であることを特徴とする請求項６に記載の横断歩道認識方法。
8. 認識した前記横断歩道について、前記横断歩道の前記画像上の注目領域における水平方向の規格上の長さをＡ、前記注目領域の水平方向の画像の大きさをａ、前記撮像装置の角度分解能をＰ、前記撮像装置から前記注目領域までの道路面に沿った実空間における距離をＬとして、
   Ｌ＝Ａ／ｔａｎ（ａ×Ｐ）
   に基づいて、前記撮像装置を搭載した車両から前記横断歩道までの実空間における距離を算出することを特徴とする請求項６または７に記載の横断歩道認識方法。
9. 前記距離が閾値未満の前記組において前記輝度変化点が前記水平方向に連続して複数並んでいる第１の範囲を有する前記第１の水平ラインから前記第１の範囲を抽出し、全ての前記第１の範囲からなる領域に基づいて前記横断歩道の前記水平方向の範囲を認識することを特徴とする請求項６から８までのいずれか１項に記載の横断歩道認識方法。

Images