JP2006350699A - 画像処理装置及び方法 - Google Patents

Abstract

【課題】障害物を検出する安価な画像処理装置及び方法を提供する。
【解決手段】自車両の周辺の熱画像を取得する赤外線カメラ１と、取得された熱画像から周辺画素との輝度変化が大きい画素を特徴点として抽出する特徴点抽出部３１と、自車両の周辺環境または自車両の状態に応じて、熱画像のうちで詳細に観察する注視領域を設定し、この注視領域までの自車両からの距離を算出する注視領域設定部３２と、注視領域までの距離及び検出対象に応じて、熱画像を分割して分割領域を設定する画像領域分割部３３と、設定された分割領域について、特徴点に基づく点数化を行なう分割領域点数化部３４と、点数化されたそれぞれの分割領域のうちで、得点の高い分割領域を障害物領域として抽出する障害物領域抽出部３５とを備える。
【選択図】 図１

Description

本発明は、自車両の周辺の歩行者等の障害物を検出する画像処理装置及び方法に関する。

走行している車両に設置されたカメラにより撮影された画像から歩行者を検出する技術として下記特許文献１がある。ここに記載された技術は、２台の赤外線カメラから得られる熱画像に対して温度帯で２値化を行ない、その２値化結果の形状から歩行者候補領域を検出する。２台の赤外線カメラの画像それぞれから検出された歩行者候補領域の視差を用いて三角測量の要領で歩行者までの距離を算出するものである。

また、赤外線カメラと可視カメラの組み合わせで歩行者を検出する技術として下記特許文献２がある。ここに記載された技術は、赤外線カメラと可視カメラの組み合わせにより、まず、可視カメラから道路上の白線を検出し、その領域内を歩行者検出対象領域として設定する。次に、赤外線カメラから歩行者検出対象領域の温度分布を観察し、予め用意されている歩行者のテンプレートのマッチングを行なうことで、歩行者の検出を行なう構成となっていた。また、検出された路面領域の形状から使用する歩行者のテンプレートの大きさを決定する構成となっていた。

特開２００４−３０３２１９号公報 特開２００２−９９９９７号公報

上記特許文献１では、赤外線カメラを２台使用する構成であるので、コストアップの要因となる。また、２台の赤外線カメラの関係から距離を算出する構成なので、２台のカメラの出力画像特性や位置関係を厳密に管理する必要があるため、これも同様にコストアップの要因となる。更に、形状のマッチングを用いて歩行者を認識するため、計算コストがかかる。

また、上記特許文献２では、処理領域の設定を可視カメラにより行なう構成なので、必ず赤外線カメラと可視カメラの２台以上必要な構成となり、コストアップの要因となる。更に、テンプレートマッチングであるため、千差万別に変化する歩行者の形状に追従するためには膨大な計算をする必要があり、安価なシステム構成を妨げる要因となる。
本発明の目的は、障害物を検出する安価な画像処理装置及び方法を提供することにある。

上記課題を解決するために、本発明は、自車両の周辺環境、自車両のうちの少なくとも一方の状態に応じて、取得した自車両の周辺の熱画像のうちで、詳細に観察する注視領域を設定するという構成になっている。

本発明によれば、障害物を検出する安価な画像処理装置及び方法を提供することができる。

以下、図面を用いて本発明の実施の形態について詳細に説明する。なお、以下で説明する図面で、同一機能を有するものは同一符号を付け、その繰り返しの説明は省略する。
《実施の形態１》
〈装置の構成〉
図１は本発明の実施の形態１の画像処理装置の構成図である。
図１において、１は赤外線カメラ、２は記憶部、３は演算部、２１は画像メモリ、２２はメモリ、３１は特徴点抽出部、３２は注視領域設定部、３３は画像領域分割部、３４は分割領域点数化部、３５は障害物領域抽出部である。

本実施の形態では、熱画像取得手段である赤外線カメラ１と、赤外線カメラ１により取得された熱画像及び演算部３の演算結果を記憶する記憶部２と、赤外線カメラ１により取得された熱画像から障害物が存在する領域を算出するための演算部３とを有する。このように熱画像取得手段としては、自車両の周辺の温度情報を遠赤外線により検知し、熱データを有する熱画像を取得する赤外線カメラ１を備えており、取得された熱画像は記憶部２の画像メモリ２１へと転送される。演算部３では、記憶部２の画像メモリ２１及びメモリ２２に記憶された情報に基づいて演算を行ない、自車両の前方などに障害物が存在する領域（以下、「障害物領域」と称す）を検出する。

赤外線カメラ１は、図２に示すような位置に車両に設置されている。図２は赤外線カメラ１の設置の様子を示す図であり、（ａ）は車両横方向から見たときの設置状態を示し、（ｂ）は車両上方から見たときの設置状態を示す。

図２に示すように、赤外線カメラ１は、例えば車両のグリル部に設置され、当該位置から車両前方の画像を熱データが含まれた形式で取得する構成となっている。なお、赤外線カメラ１の設置位置及び撮影方向は、図２に示すものに限定されず、他の設置位置及び撮影方向であっても良い。

ここで、赤外線カメラ１が取得する画像例について説明する。図３は赤外線カメラ１が取得する画像例を示す図である。図においてＷは歩行者、Ｅは電柱、Ｃは先行車両、Ｒは道路である。図３に示すように赤外線カメラ１は車両前方方向を撮影し、例えば、歩行者Ｗ、電柱Ｅ、先行車両Ｃ及び道路Ｒ等を含む熱画像を取得する。この熱画像は、複数の画素データで構成され、各画素データには座標データ及び熱データが含まれる。

再度、図１を参照する。記憶部２は、画像メモリ２１とメモリ２２を備えている。また、演算部３は特徴点抽出部３１と、注視領域設定部３２と、画像領域分割部（分割領域設定部）３３と、分割領域点数化部（分割領域投票部）３４と、障害物領域抽出部３５とを備えている。

画像メモリ２１は赤外線カメラ１から取得した熱画像のデータを時系列に保存していく。すなわち、画像メモリ２１は、図３に示したような熱画像を、各画素の座標データ及び熱データを含んで記憶していく。

図４（ａ）〜（ｄ）は特徴点について説明する図である。
図１の特徴点抽出部３１は、赤外線カメラ１により取得された熱画像の熱データから、周辺画素との輝度変化が大きい画素、例えば図４に示すように対象画素と周囲画素とを比較した時、領域の角となるような所定以上の輝度変化を持つ画素を特徴点Ｆとして抽出する。ここで、特徴点Ｆが持つ周囲との輝度差に応じて特徴点Ｆの強度を設定しても良い。例えば、図４（ｃ）と（ｄ）とを比較した場合、周囲との輝度差が大きな（ｃ）の方が（ｄ）より強度が高いとする。

特徴点Ｆを抽出する手法としては、画像処理では例えばコーナーフィルタと呼ばれるものを用いて抽出すればよい。具体的には例えば、Jianbo Shi, Carlo Tomasi, "Good Features to Track", IEEE Conference on Computer Vision and Pattern Recognition (CVPR'94) pp.593-600に、トラッキングを行なうのに適している画素を画像中から抽出する手法が述べられている。ここで取り出されるのは撮像された物体領域の角である。よって、特徴点はこの文献で提案されているような手法を用いることで抽出することが可能である。

図５は熱画像から抽出された特徴点、分割領域の設定、障害物領域の抽出について説明するための図である。図５において、Ｄ１、Ｄ２、Ｄ３は矩形（短冊状）の分割領域である。図３の熱画像から特徴点Ｆを抽出した結果、図５中に複数の丸で示される特徴点Ｆの出力結果が得られる。

図１の注視領域設定部３２は、例えば歩行者等の障害物が出現する可能性の高い領域を抽出し、処理を詳細に行なう領域（以下、「注視領域」と称す）の算出と、その注視領域までの自車両からの距離を算出する。

なお、車両に搭載されたカメラの位置・姿勢により、画像中での距離分布を算出することが可能である。このことを利用し、自車両から注視領域までの距離算出方法として注視領域の出現位置に応じて、対応する距離を算出する。また、予め道路形状が分かっている場合は、その道路形状に応じて距離分布を算出するようにしてもよい。

画像領域分割部３３は、注視領域設定部３２により算出された注視領域と、それ以外の領域のそれぞれに対して、画像の分割を行ない、形状の異なる矩形状の分割領域を設定する。

分割領域点数化部３４は、画面領域分割部３３で分割され、特徴点抽出部３１で抽出された特徴点Ｆが所属する位置にあるそれぞれの分割領域Ｄ１〜Ｄ３に投票し、各分割領域Ｄ１〜Ｄ３の点数化を行なう。
障害物領域抽出部３５は、分割領域点数化部３４にて点数化された分割領域Ｄ１〜Ｄ３の中から、障害物に相当する点数を持つ障害物領域を抽出する。

なお、メモリ２２は、特徴点抽出部３１、注視領域設定部３２、画像領域分割部３３、分割領域点数化部３４、障害物領域抽出部３５に接続されている。そして、特徴点抽出部３１にて抽出された特徴点（あるいは及びその強度）、注視領域設定部３２にて算出された注視領域、画像領域分割部３３にて分割された分割領域、分割領域点数化部３４にて点数化された分割領域ごとの点数、障害物領域抽出部３５にて抽出された障害物領域の情報が記憶され、また読み出しができるようになっている。

〈動作の流れ〉
次に、本実施の形態の動作の流れについて説明する。図６は本実施の形態の動作の流れを示すフローチャートである。
まず、Ｓ１１にて、赤外線カメラ１により撮像を行ない、図３に例示したような熱画像を取得する。なお、この後、画像に処理を行い、ノイズの低減を行なうことも可能である。このノイズ低減手法としては、例えば、隣接する４つの画素の平均値を出力値とする画素結合を行い、画像を縦横それぞれ１／２とした縮小画像を作る方法や、周囲画素との中央値を出力するメディアンフィルタ等を用いる手法がある。また、後に続く処理の性能向上のため、画像処理ではエッジ保存平滑化と呼ばれるような、エッジ部の情報は保存したまま、ノイズ除去をする手法を用いるとなお良い。

次に、Ｓ１２にて、熱画像において特徴点の抽出を行なう。この特徴点の抽出手法としては、例えば前述のように図４に示したような物体の領域の角（もしくは領域の角に隣接する画素）を特徴点として抽出するコーナーフィルタを用いることができる。また、前述のようにこの特徴点の抽出の過程で特徴点の強度も合わせて算出しておくことが望ましい。なお、この特徴点は、路面領域などの画像中で温度変化が連続的に現れる領域には出現しない。温度変化が密であったり、面構成が一様ではなく赤外線の放射方向が一様ではなかったり等の理由により、熱画像上では輝度値変化が現れやすい障害物が存在する障害物領域に多く出現する。

次に、Ｓ１３にて、熱画像において詳細に障害物の抽出処理を行ないたい注視領域を設定する。
図７（ａ）は本実施の形態における注視領域の例について説明する図である。
図７（ａ）において、Ｇ１は注視領域、ＨＬはヘッドランプ照射領域である。ここでは、図７（ａ）に示す自車両前方のヘッドランプ照射領域ＨＬより遠方の矩形の領域が詳細に見たい領域であるとしてＧ１を注視領域と設定し、その注視領域Ｇ１の画像を注視領域画像として抽出する。また、同時に注視領域Ｇ１までの距離を決定しておく。ここでは、ヘッドランプ照射領域ＨＬより遠方であるとするため、例えば５０ｍから６０ｍの領域であると決める。もちろん、それより遠方でも、近傍としても構わない。

次に、Ｓ１４にて、熱画像を対象となる障害物に対応したアスペクト比を持つ画像領域に分割し、分割領域を設定する。ここでは、Ｓ１３にて算出された注視領域に応じて、障害物がより詳細に検出できるように、分割する分割領域の幅や長さを変更する。例えば、取得された熱画像の全体を図５のＤ３で示されるような縦方向の長さが画面の縦方向の長さと同一の矩形の分割領域に分割するとしたら、注視領域画像の分割領域についてはＤ１、Ｄ２に示されるようなより短い矩形の分割領域とする。これにより、遠方にあるために、画面中で小さくなってしまい、通常の矩形であれば、他の物体と分離できなくなってしまう障害物についても、検出するために適切な矩形領域のサイズに設定することで、検出することが可能となる。このように画像全体の中で、詳細に見る注視領域を抽出して、個別に矩形の分割領域を設定することとしている。しかし、実際の処理においてはこれに限定されず、画像全体に対する障害物抽出処理と、注視領域として設定した注視領域画像のそれぞれを独立した情報として処理し、後段の障害物検出処理を行なっても構わない。

次に、Ｓ１５にて、Ｓ１４にて分割された分割領域に対して、Ｓ１２にて抽出された特徴点を、検出されたそれぞれの分割領域ごとに投票することで、分割領域の点数化を行なう。ここで、抽出された特徴点には、物体領域に属しているタイプと、物体領域に属してはいないが、隣接しているタイプのものと２つのタイプがある。しかし、投票を行なう際に、より大きな括りの分割領域に対して行なうため、どちらのタイプの特徴点を扱っても問題はない。また、Ｓ１２にて特徴点の強度が算出されている場合は、その強度に応じて投票する点数を重み付けすると良い。例えば特徴点が３００点抽出された場合、上位１／３となる１００点を３点、中位１／３の１００点を２点、下位１／３の１００点を１点とするなどである。もちろん、得点の傾斜配分についてはこれに限定されず、抽出目的とする障害物などによって変更しても構わない。

特徴点の強度について追記しておくと、特徴点自体は、周囲画素との相対的な変化を見るため、強度そのものの絶対値は重要ではない。これは、例えば夏季に気温が上昇した場合、構造物や路上の歩行者、その他の障害物のそれぞれの間での温度差が小さくなった場合、特徴点の出現位置は、温度差が大きい冬季などと比較しても大きく変らないが、その強度の絶対値は冬季と比較して夏季の方が弱くなる傾向にある。しかし、冬季と夏季のそれぞれの画像中で見た場合、冬季の画像中で相対的に強い強度を持つ特徴点の出現場所は、夏季の画像中で相対的に強い強度を持つ特徴点が出現する場所とほぼ同じである。このことから、分割領域への投票時の得点傾斜配分は特徴点の絶対値を利用するのではなく、画像全体から抽出された特徴点の中での相対的な強度を用いて得点の傾斜配分を行なう方が望ましい。

次に、Ｓ１６にて、Ｓ１５にて点数化されたそれぞれの分割領域の中から、予め定めたある閾値以上の値を持つ領域を障害物領域として抽出する。なお、熱画像の特性を利用し、検出対象物が持つと想定される温度と明らかに異なる温度を持つ領域については、Ｓ１２の特徴点の抽出の段階、もしくはＳ１５の特徴点の投票の段階で排除することが可能である。これにより、更なる性能の向上を図ることが可能である。

また、画像全体に対して特徴点の抽出をする場合、画像を例えば、縦横それぞれ１／２ずつの１／４の画像に縮小処理することも可能である。この場合、特徴点の位置精度は落ちることになるが、検出自体の性能を変えること無く、特徴点の抽出による演算量を減らすことが可能となり、計算コストの低減を図ることができる。また、Ｓ１２の特徴点の抽出とＳ１３の注視領域の算出の手順を入れ替えることも可能である。

以上説明したように本実施の形態の画像処理装置及び方法は、自車両の周辺の熱画像を取得し、自車両の周辺環境、自車両のうちの少なくとも一方の状態に応じて、熱画像のうちで詳細に観察する注視領域を設定するという構成になっている。また、自車両の周辺の熱画像を取得する赤外線カメラ１と、赤外線カメラ１により取得された熱画像から、周辺画素との輝度変化が大きい画素を特徴点として抽出する特徴点抽出部３１と、自車両の周辺環境、自車両のうちの少なくとも一方の状態に応じて、赤外線カメラ１により取得された熱画像のうちで詳細に観察する注視領域を設定する注視領域設定部３２と、注視領域設定部３２により算出された注視領域までの距離及び検出対象に応じて、赤外線カメラ１により取得された熱画像を分割して分割領域を設定する画像領域分割部３３と、画像領域分割部３３により設定された分割領域について、特徴点抽出部３１により抽出された特徴点に基づく点数化を行なう分割領域点数化部３４と、分割領域点数化部３４により点数化されたそれぞれの分割領域のうちで、得点の高い分割領域を障害物領域として抽出する障害物領域抽出部３５とを備えている。

また、注視領域設定部３２は、注視領域までの自車両からの距離を算出するようになっている。また、画像領域分割部３３は、注視領域設定部３２により算出された注視領域までの距離及び検出対象に応じて分割するようになっている。

前述のように上記特許文献１では、赤外線カメラを２台使用する構成であるので、コストアップの要因となった。また、２台の赤外線カメラの関係から距離を算出する構成なので、２台のカメラの出力画像特性や位置関係を厳密に管理する必要があるため、これも同様にコストアップの要因となる。また、位置関係を厳密に決める必要があるので、車両に搭載する場合の搭載位置に制限があり、車両の造形への規制が必要となる。更に、形状のマッチングを用いて歩行者を認識するため、計算コストがかかる。また、上記特許文献２では、処理領域の設定を可視カメラにより行なう構成なので、必ず赤外線カメラと可視カメラの２台以上必要な構成となり、コストアップの要因となる。また、処理領域の設定には可視カメラから検出された道路の白線を利用している。このため、白線が検出しにくい道路や、白線がない道路では、道路形状を正確に検出しにくい。このような場合には、処理領域の限定を行なうことが難しく、処理速度の低下を招いたり、使用する歩行者テンプレートのサイズを最適に設定することができず、検出性能が低下する恐れがある。また、検出処理領域の限定方法として、路面領域内のみを処理対象としているため、これから路面領域内へと飛び出して来る路面領域外にいる対象への対応ができなかったり、遅くなったりする可能性がある。また、可視カメラにてヘッドランプ照射範囲外の領域を検出することができないため、ヘッドランプの照射範囲より先にある、ある程度遠方で道路がカーブしていた場合、その道路形状を検出することができず、処理対象であるはずの領域を処理できなくなる問題が発生したり、適切なテンプレートサイズを設定することができなくなる可能性がある。また、歩行者の検出方法自体の問題として、歩行者の検出を赤外線カメラから得られる熱画像に対して、テンプレートマッチング適用することで実現するため、夏季に気温が上昇し、歩行者と同じ温度となる領域が多くなった場合には検出性能が大幅に低下してしまう可能性がある。更に、テンプレートマッチングであるため、千差万別に変化する歩行者の形状に追従するためには膨大な計算をする必要があり、安価なシステム構成を妨げる要因となる。

これに対して、上記のような構成の本実施の形態の画像処理装置及び方法によれば、処理対象領域のうちで、詳細に観察する注視領域を設けることで、検出したい領域の距離に適した検出パラメータを設定することが可能となり、検出領域の拡大や、検出性能（検出率）の向上を図ることが可能となる。また、全ての画面を詳細に計算する必要がなくなるため、計算コストの低減が可能となる。また、装置の構成としても、最小構成の構成であれば赤外線カメラ１台でよいため、安価に提供することが可能であり、また、車両搭載時のレイアウト自由度が大きく向上する。また、障害物の検出に周囲との輝度差から抽出される特徴点を利用しているため、夏季に、気温が抽出対象の障害物とほぼ同じような状態になった場合にも、遠赤外画像で撮像した障害物領域上に存在する温度の抑揚を捉え、特徴点として抽出することが可能であり、ロバストで、かつ、検出率を向上させた障害物検出を提供できる。また、特徴点抽出部３１は、赤外線カメラ１により取得された熱画像から、周辺画素との輝度変化が大きく、領域の角となる画素を特徴点として抽出するようになっている。これにより特徴点を容易に抽出することが可能である。

《実施の形態２》
次に、本発明の実施の形態２について説明する。本実施の形態では、上記実施の形態１における図６のＳ１３の注視領域の算出の手順に、下記の手順を追加するものである。
図７（ｂ）は本実施の形態における注視領域の例について説明する図である。
図７（ｂ）において、Ｇ２、Ｇ３は注視領域である。例えば、図７（ｂ）に示すような自車両の前方に先行車両Ｃが先行するシーンを想定する。この場合、まず、所定の先行車両検出手段により画面中の先行車両Ｃを検出する。この先行車両Ｃを検出する方法としては、熱画像から先行車両Ｃのマフラーに相当する高温部位を検出し、その高温部位を包含するような横長の熱領域を検出するなどの方法により可能である。また、レーザーレーダなど他のセンサを使用して先行車両Ｃを検出しても構わない。

次に、検出された先行車両Ｃの領域に基づいて、先行車両Ｃの両脇の２つの領域を注視領域Ｇ２、Ｇ３として算出する。このように先行車両Ｃが抽出された結果に基づいて、図７（ｂ）に示すように先行車両Ｃの両脇の領域を注視領域Ｇ２、Ｇ３として設定し、図６のＳ１３の手順へ進み、上記実施の形態１と同様に障害物の検出を行なうことができる。

上記のように本実施の形態では、注視領域設定部３２（図１）は、先行車両を検出する先行車両検出手段を有し、この先行車両検出手段により検出された先行車両の有無に基づいて注視領域を設定するようになっている。このように先行車両の有無を検出することで、先行車両がいる場合には障害物の検出処理をする領域をより限定することが可能となり、歩行者などの出現確率が高い領域に検出処理のための計算リソースをより振り分けることが可能となる。これによって検出性能の向上をより図ることが可能となる。

《実施の形態３》
次に、本発明の実施の形態３について説明する。本実施の形態では、上記実施の形態２の手順に加えて、所定の車両情報取得手段により自車両の車速情報を取得し、それに基づいて注視領域のサイズ（長さ）を変更するものである。図７（ｃ）は本実施の形態における注視領域の例のうち、自車両速度が高い場合の例を説明する図、（ｄ）自車両速度が低い場合の例を示す図である。Ｇ４、Ｇ５は自車両の車速が高い場合の注視領域、Ｇ６、Ｇ７は自車両の車速が低い場合の注視領域である。

自車両の車速が速くなった場合には、自車両と接触する可能性のある障害物が出現する可能性が高い領域が増加する。このため、図７（ｃ）に示すように注視領域Ｇ４、Ｇ５を画面の上方に伸ばす。逆に、車速が遅くなった場合には、自車両と接触する可能性がある障害物が出現する領域として、遠方を対象とする必要がなくなる。このため、図７（ｄ）に示すように注視領域Ｇ６、Ｇ７を画面下方に圧縮することが可能となる。

また、この際、実施の形態１における図６の手順Ｓ１４の画像領域の分割においては、遠方を検出する必要がある図７（ｃ）の場合は、図７（ｂ）の場合より細い矩形の分割領域にすることができる。これによって、遠方にあることにより画像中で障害物が小さく表示されることに対応することが可能となり、検出性能を向上させることができる。また、逆に、遠方を検出する必要の無い図７（ｄ）の場合には、図７（ｂ）の場合より太い矩形の分割領域に分割することができる。これによって、検出対象としたい領域における物体が分離して検出されることを抑制でき、遠方と同様に検出性能を向上させることが可能となる。

本実施の形態では、注視領域Ｇ２〜Ｇ５を上下方向にのみ拡張・圧縮するような例について説明したが、注視領域を変更する方法としてはこれに限定されない。例えば自車両の前に歩行者が飛び出してくる場合、低速で走行している場合には、歩行者が飛び出してから自車両と接触するまでの時間が長い。従って、歩行者との接触を防ぐため、注視領域を横方向に伸ばすことで、自車両に接触する可能性のある歩行者をより広い領域で検出するようにすることも可能である。

また、自車両の舵角情報を得ることで、自車両の進行方向を取得できるため、直線路を進行しているのか、カーブ路を進行しているのかを判別することが可能となる。図７（ｅ）は本実施の形態における注視領域の例のうち、前方道路がカーブしている場合の例について説明する図である。このようにカーブ路を進行しているのであれば、図７（ｅ）に示すようにカーブの先を注視領域Ｇ８として設定することが可能となる。

上記のように本実施の形態では、注視領域設定部３２（図１）は、自車両の車両情報を取得する車両情報取得手段を有し、この車両情報取得手段により取得される車両情報に基づいて注視領域を設定するようになっている。このように自車両の車速、舵角等の車両情報を用いることで、車速が低い場合等、遠方を検出する必要が無い場合、車両の近傍となる領域から障害物を検出するよう演算リソースをより振り分けることが可能となる。これによって検出性能の向上をより図ることが可能となる。また、詳細に観察する注視領域に対する検出処理において、パラメータの最適化を図ることができるため、検出性能の向上を図ることも可能となる。

《実施の形態４》
次に、本発明の実施の形態４について説明する。本実施の形態では、上記実施の形態１における図６のＳ１２の特徴点の抽出の手順の後、Ｓ１３の注視領域の算出の手順において、所定の車線領域周辺観察手段により、自車両が走行している走行車線の路面領域を抽出し、その情報に基づいて対向車線の領域（路面領域）を推定する。そして、所定の渋滞状況検出手段により、対向車線が渋滞しているかどうかを判断することにより注視領域を設定する。具体的な処理について、図８のフローチャートに沿って説明する。

図９（ａ）、（ｂ）は路面領域の抽出について説明する図で、図９（ａ）はメッシュ状の分割領域について説明する図、図９（ｂ）は路面端（道路端）の代表点について説明する図である。
まず、図３で示されたシーンを前提とした場合、図９（ａ）に示すように、図６のＳ１２の特徴点の抽出の手順にて抽出された特徴点Ｆが複数の点として抽出されたとする。この場合、図８のＳ４１にて、図９（ａ）に示すようなメッシュ状の投票空間として分割領域を設定する。次いで、図８のＳ４２にて、図６のＳ１２にて抽出された特徴点をそれぞれの分割領域に投票し、メッシュ状の各分割領域を点数化していく。すると、図９（ａ）の分割領域Ｄ４のように複数の特徴点が投票される分割領域と、ほとんど特徴点が投票されない分割領域Ｄ５とが出てくる。この結果に基づいて、図８のＳ４３にて、メッシュ状の分割領域のような投票点数がある閾値以下となる領域を、図９（ｂ）に示すように路面候補領域（図９（ｂ）の黒い点が路面端の代表点Ｎを示す）として抽出することができる。

次に、図８のＳ４４にて、路面候補領域であるメッシュ状の分割領域の画面下部から連続性に基づいて路面領域を抽出する。
次に、Ｓ４５にて、路面端を出力し、対向車線の推定を行なう。すなわち、図９（ｂ）においてメッシュ状の点数の低い最上位の分割領域の上端中央部を代表点Ｎとして抽出し、この点を結ぶことで、路面端の線とすることができ、これを出力する。この路面端は、道路上に障害物が存在する場合にはその領域は除外される。このため、対向車線に車両が存在する場合にはその領域が除外されて路面領域が抽出される。なお、通行している道路が左側通行の場合は、路面領域の右側の領域、もしくは右側に隣接する領域を対向車線の領域として推定できる。なお、Ｓ４２からＳ４５の手順である自車両の走行車線の領域の推定を、自車両の情報である舵角を用いて行なうことも可能である。

次に、Ｓ４６にて、Ｓ４５で推定された対向車線の領域を観察し、そこに車の渋滞が存在するかどうかを検出し、対向車線の渋滞状況を推定する。このＳ４６での対向車線領域の渋滞状況の検出は、対向車のグリル部やホイール部、マフラーの道路への照り返しなど、赤外線カメラ１にて高温部として検出される領域が車間距離が少ないために、連続的に検出されることを利用し、渋滞を検出することが可能である。

図７（ｆ）は本実施の形態における注視領域の例について説明する図である。このようにして求めた図７（ｆ）に示すような、対向車線の渋滞領域のうち、自車両の走行車線側の領域を注視領域Ｇ９として設定し、その後、図６のＳ１４へ進み、上記実施の形態１と同様の動作が行われ、障害物の検出処理を行なう。

なお、自車両の走行車線の路面領域の抽出方法については、ここに述べた方法に限定されず、他の方法を用いても構わない。また、対向車線の領域の抽出は、上記実施の形態２の先行車両の検出と組み合わせ、左側通行の道路であれば、先行車両の右側領域を対向車線とするなどしても構わない。

また、Ｓ４１にて設定するメッシュ状の分割領域の横方向の幅を、図６のＳ１４の画像領域の分割にて行われる矩形状の分割領域の幅と合わせるか、もしくは矩形状の分割領域の幅を、メッシュ状の分割領域の幅の整数倍とすることにより、Ｓ４２のメッシュ状の分割領域への投票結果を、図６のＳ１５の投票結果に利用することが可能となり、計算手順の低減を図ることが可能となる。
更に、自車両前方の道路形状の情報のみを用いることで、自車両前方の道路形状が図７（ｅ）に示すようにカーブしている場合は、これから自車両が進行していく領域を注視領域とすることも可能である。

上記のように本実施の形態では、注視領域設定部３２（図１）は、自車両が走行している走行車線領域及び該走行車線領域の周辺の状況を検出する車線領域周辺観察手段と、この車線領域周辺観察手段により検出される情報に基づいて、周辺車線の渋滞状況を検出する渋滞状況検出手段とを有し、この渋滞状況検出手段により検出される情報に基づいて注視領域を設定するようになっている。このように歩行者が車両と車両との間から飛び出してくる可能性が高い対向車線の渋滞を検出し、その領域を詳細に観察するため、不安全な状態に陥りやすい領域に予め計算リソースを振り分けることが可能となる。これによって検出性能の向上をより図ることが可能となる。

また、上記渋滞状況検出手段は、上記車線領域周辺観察手段から取得された自車両の走行車線領域の周辺の対向車線に相当する領域に連続的に高温部位が観察されるかを検出し、対向車線の渋滞状況を検出するようになっている。これにより赤外線カメラ１の単純な処理のみで対向車線の渋滞を検出することが可能となり、安価かつ簡便に構成を実現することが可能となる。

《実施の形態５》
次に、本発明の実施の形態５について説明する。本実施の形態では、上記実施の形態１における図６のＳ１２の特徴点の抽出の手順において、まず、上記実施の形態４と同様に、自車両の走行車線の路面領域の抽出の手順（図８のＳ４２〜４４）により抽出する。もちろん、上記とは違う方法を用いて走行車線の抽出を行なっても構わない。駐停車車両を検出するために、駐停車車両領域として、この検出された走行車線の路面領域に対して、例えば左側通行の道路であれば、路面領域の左端の領域、もしくは道路の左側に隣接する領域を観察する。この領域に駐停車している車両を、所定の駐停車車両検出手段により検出する。

なお、駐停車車両検出手段としては、上記実施の形態２の先行車両検出手段と同様の手法を取ることができる。具体的には、高温部として計測できるマフラーを検出し、その領域を包含するある温度帯を持った領域を検出することで、駐停車車両領域として検出する。その駐停車車両領域が車両が進行するに従って拡大され、自車両に対して接近していると判断できるならば、その車両は停止しているとして、検出することが可能である。なお、駐停車車両の検出方法としては、これに限定されず、この他の方法や、他のセンサを用いても構わない。

図７（ｇ）は本実施の形態における注視領域の例について説明する図である。上記の方法により検出された駐停車車両の周辺を、図７（ｇ）に示すように注視領域Ｇ１０として設定し、障害物の検出を行なう。

上記のように本実施の形態では、注視領域設定部３２（図１）は、自車両が走行している走行車線領域及び該走行車線領域周辺の状況を検出する車線領域周辺観察手段と、この車線領域周辺観察手段により検出された自車両の走行車線領域内、該走行車線領域より外側の隣接する領域の少なくとも一方で駐停車車両を検出する駐停車車両検出手段とを有し、この駐停車車両検出手段により検出された駐停車車両の周辺を注視領域とするようになっている。このように自車両の走行車線及び隣接する領域で駐停車車両を検出することで、駐停車車両の前後から飛び出す歩行者や、駐停車車両自体から降車する人、または乗車する人を効率的に検出することが可能となり、検出性能の向上をより図ることが可能となる。

《実施の形態６》
次に、本発明の実施の形態６について説明する。本実施の形態では、上記実施の形態１から５までのいずれかの実施の形態もしくはその他の手法により、所定時間前までに障害物の検出結果、もしくは障害物らしい領域の抽出が行われているとする。この所定時間前の障害物及びそれに準ずるものの抽出結果及びその周辺を注視領域として設定する。

具体的には所定時間前に抽出された領域を所定値分だけ拡張することにより実現する。例えば、障害物が移動していれば、その移動の結果、現在存在すると思われる領域まで領域を拡張するなどすれば良い。この注視領域を利用して、障害物の検出処理を行なう。

このように本実施の形態では、注視領域設定部３２（図１）は、障害物領域抽出部３５により、所定時間前に障害物が存在する可能性が高いとして抽出された障害物領域の周辺を前記注視領域とするようになっている。このように障害物領域抽出部３５による直前の障害物検出結果を利用することで、障害物を途中でロストしてしまうこと自体を防ぐことが可能となる。また、その障害物が自車両にとって、接近してきている障害物なのか、遠ざかっている障害物なのかを判別することが可能となる。これにより検出性能の向上をより図ることが可能となる。

《実施の形態７》
次に、本発明の実施の形態７について説明する。図１０は本実施の形態の動作の流れを示すフローチャートである。本実施の形態では、まず、上記実施の形態１と同様に、図１０のＳ７１にて熱画像を取得し、取得した熱画像からＳ７２にて特徴点の抽出を行なう。
次に、上記実施の形態４において示した路面領域の抽出方法等を用いてＳ７３にて路面領域の抽出を行ない、道路形状から路面端を検出する。

図１１（ａ）は路面領域と歩行者頻出ラインとの関係について説明する図、図１１（ｂ）は歩行者頻出ラインを用いた分割領域の分割の方法について説明する図である。図において、ＲＳは路面の形状、ＷＬは歩行者頻出ライン、ＲＦは路面端のうちの一番遠方の位置である。
次に、Ｓ７４にて、所定の歩行者頻出ライン抽出手段により、路面領域の路面端と、画像上での自車両と特徴点との間の距離分布、車両情報から得られる自車両の車速・舵角に基づいて、図１１（ａ）に示すように注視ラインとして歩行者頻出ラインＷＬを設定する。

具体的には、得られた路面情報のうち、路面の形状ＲＳに基づいて画面上の大まかな距離分布を算出する。この距離分布と、自車両の車速・舵角の情報を利用することで、歩行者の飛び出しなどがあった際、一定時間内に自車両と接触する可能性がある領域を算出することが可能となる。この領域を障害物の算出をしたい領域であるとして、路面端のうちの一番遠方の位置ＲＦの点を算出し、該点を画面垂直方向に通る直線を歩行者頻出ラインＷＬとして設定する。ここで、歩行者頻出ラインＷＬの設定は一本に限定されず、図１１（ｂ）に示すように２本、あるいは３本以上設定することも可能である。

次に、Ｓ７４にて設定された歩行者頻出ラインＷＬを用いて、Ｓ７５にて画面領域の分割を行なう。これにより分割される分割領域としては、図１１（ｂ）に示すように、歩行者頻出ラインＷＬの周囲については幅を細く設定し、そこから離れるに連れて徐々に幅を広くするような矩形状の分割領域とする。また、路面端から得られる距離分布を用い、その距離分布に応じて分割領域の幅を設定し、一番細い部位である歩行者頻出ラインＷＬに沿った分割領域の幅を１とした場合そこからの距離分布に比例させて分割領域の幅を広げて行き、歩行者頻出ラインＷＬに相当する位置から半分の距離分布に相当する位置では幅を２倍に、一番近傍にきた場合には幅を４倍にするなどすれば良い。また、分割領域の幅の変化は整数倍のみではなく、徐々に幅が変化するようにしても良い。
次に、分割されたそれぞれの分割領域に対して、Ｓ７６にて特徴点の投票を行ない、Ｓ７７にて障害物領域の抽出を行なう。

上記のように本実施の形態では、画像領域分割部３４（図１）は、路面領域を抽出する路面領域抽出手段と、この路面領域抽出手段により抽出された路面領域に基づいて、歩行者の出現頻度の高い位置を歩行者頻出ラインＷＬとして抽出する歩行者頻出ライン抽出手段とを有し、この歩行者頻出ライン抽出手段により抽出された歩行者頻出ラインＷＬの周辺をその他の領域より詳細に分割するようになっている。このように歩行者の出現可能性が高い部位を歩行者頻出ラインＷＬとして定義し、その歩行者頻出ラインＷＬの周辺を詳細観察領域とし、検出のための画面分割パラメータを設定する。これにより、その他の処理を全く変えること無く、計算コストの増大も抑えながら、画面全体に検出処理を掛けるのと同時に、歩行者の出現可能性が高い領域を詳細に見たような出力結果を得ることが可能となる。従って検出性能の向上をより図ることができる。

また、自車両の情報を検出する車両情報取得手段を有し、この車両情報取得手段により取得される車速及び舵角と、上記路面領域抽出手段により抽出される路面領域とから歩行者頻出ラインＷＬを設定するようになっている。このように自車両から得られる車速、舵角の車両情報と、路面領域の情報とを組み合わせることで、自車両にとって歩行者を検出する必要のある領域を算出することが可能になり、その検出対象の距離に応じたパラメータ設定を行なうことが可能となる。これにより検出性能の向上をより図ることができる。

《実施の形態８》
次に、本発明の実施の形態８について図１０のフローチャートに沿って説明する。まず、上記実施の形態１と同様に、図１０のＳ７１にて熱画像を取得し、取得した熱画像からＳ７２にて特徴点の抽出を行なう。

次に、上記実施の形態４において示した路面領域の抽出方法等を用いてＳ７３にて路面領域の抽出を行なう。この抽出された路面領域の路面端に注視ラインとして歩行者頻出ラインＷＬを設定する。図１２（ａ）は路面領域の路面端を歩行者頻出ラインＷＬとして設定する例について説明する図、図１２（ｂ）は歩行者頻出ラインＷＬ１〜３と、特徴点Ｆとの関係について説明する図である。
例えば、ここでは図１２（ａ）に示すように道路の左端を検出し、歩行者頻出ラインＷＬとして設定した場合について説明する。なお、歩行者頻出ラインＷＬとして設定するのは、検出したい状況に応じて、道路の両端としても、どちらか一方としても構わない。

次に、Ｓ７５にて、図５に示したように等間隔の矩形状に画面領域を分割し、Ｓ７２にて抽出された特徴点を、Ｓ７６にて各矩形状の分割領域に投票する。この投票時に、図１２（ｂ）に示すように注視ラインである歩行者頻出ラインＷＬ１に近接する特徴点Ｆは、投票点数を他の点よりも高い配点とする。これは、道路表面付近にある一定の高さ以下の障害物に対して、抽出感度を高めるようにするためである。具体的には、所定の特徴点距離算出手段を用いて、道路形状が抽出されていることから、画像上での距離分布の推定を行ない、得られた距離分布を用いて、路面端相当の歩行者頻出ラインＷＬ１から、例えば１．８ｍとなる歩行者相当高さの直線を歩行者頻出ラインＷＬ３とする。更に、歩行者の足元、子供を対象とした歩行者頻出ラインＷＬ１から高さ１ｍの直線を歩行者頻出ラインＷＬ２として算出する。そして、それぞれの歩行者頻出ラインＷＬ１〜３より道路表面に近い領域に存在する特徴点Ｆについて重み付けを行って投票する。すなわち、歩行者頻出ラインＷＬ２より下にある特徴点については３点、歩行者頻出ラインＷＬ３より下にある点は２点とし、それ以外は１点とする。この結果より、Ｓ７７にて点数が高い矩形の分割領域を抽出し、その分割領域のうちで特徴点の出現率が多い分割領域を障害物領域として抽出する。
ここでは、路面端の道路表面からの高さを算出した歩行者頻出ラインＷＬ１〜３を設けて投票点数の重み付けを行ったが、歩行者頻出ラインＷＬ１から何画素離れているかで単純に投票点数の配点を決めても良いし、また、重み付けの行ない方をより細かく設定するようにしても良い。

上記のように本実施の形態では、路面領域を抽出する路面領域抽出手段と、この路面領域抽出手段により抽出される路面領域により取得される路面端と、特徴点抽出部３１（図１）により抽出される特徴点との距離を算出する特徴点距離算出手段とを有し、分割領域点数化部３４は、上記路面領域抽出手段により取得される路面端と、上記特徴点距離抽出手段により算出される特徴点との距離に応じて分割領域の点数を変更するようになっている。このように検出された路面端の付近にて抽出された特徴点の重み付けを高くすることで、道路の脇を歩いている歩行者等の障害物を検出しやすくなり、検出性能の向上をより図ることができる。

以上の実施の形態１〜８に述べた構成とすることで、演算量を増大させること無く、障害物の検出性能を向上させる画像処理装置及び方法を提供することが可能となる。
なお、以上説明した実施の形態１〜８は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。従って、上記実施の形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。例えば、画像領域を分割するのに例えば矩形状の分割領域を設定する際、検出したい距離に応じて分割領域の幅を設定する。これにより、検出が可能となる領域を広げることが可能となり、歩行者の検出性能の向上に寄与することが可能となる。また、上記実施の形態１〜８を適宜組み合わせることも可能である。なお、注視領域という用語は注視ラインも含んでいる。
また、特許請求の範囲における各構成要素と、発明の実施の形態における各構成要素との対応について説明する。すなわち、実施の形態における赤外線カメラ１、図６のＳ１１、図１０のＳ７１が、特許請求の範囲の熱画像取得手段に、特徴点抽出部３１、図６のＳ１２、図１０のＳ７２が特徴点抽出手段に、注視領域設定部３２、図６のＳ１３、図８のＳ４３〜Ｓ４５、図１０のＳ７３、Ｓ７４が注視領域設定手段及び距離算出手段に、画像領域分割部３３、図６のＳ１４、図８のＳ４１、図１０のＳ７５が画像領域分割手段に、分割領域点数化部３４、図６のＳ１５、図８のＳ４２、図１０のＳ７６が分割領域点数化手段に、障害物領域抽出部３５、図６のＳ１６、図１０のＳ７７が障害物領域抽出手段にそれぞれ対応する。また、図８のＳ４３〜Ｓ４５が車線領域周辺観察手段に、図８のＳ４６が渋滞状況検出手段に、図１０のＳ７４が歩行者頻出ライン抽出手段にそれぞれ対応する。

本発明の実施の形態１〜８の画像処理装置の構成を示すブロック図である。 赤外線カメラの設置位置を示す図である。 赤外線カメラが取得する画像例を示す図である。 特徴点について説明する図である。 熱画像から抽出された特徴点、分割領域の設定、障害物領域の抽出について説明するための図である。 本発明の実施の形態１の動作の流れを示すフローチャートである。 本発明の実施の形態１〜５における注視領域の例について説明する図である。 本発明の実施の形態４の動作の流れを示すフローチャートである。 本発明の実施の形態４における路面領域の抽出について説明する図である。 本発明の実施の形態７の動作の流れを示すフローチャートである。 （ａ）は本発明の実施の形態７における路面領域と歩行者頻出ラインとの関係、（ｂ）は歩行者頻出ラインを用いた分割領域の分割の方法について説明する図である。 （ａ）は本発明の実施の形態８における路面領域の路面端を歩行者頻出ラインとして設定する例について説明する図、（ｂ）は歩行者頻出ラインと特徴点との関係について説明する図である。

符号の説明

１…赤外線カメラ ２…記憶部
３…演算部
２１…画像メモリ ２２…メモリ
３１…特徴点抽出部 ３２…注視領域設定部
３３…画像領域分割部 ３４…分割領域点数化部
３５…障害物領域抽出部
Ｗ…歩行者 Ｅ…電柱 Ｃ…先行車両 Ｒ…道路
Ｆ…特徴点
Ｄ１〜Ｄ３…分割領域
Ｇ１〜Ｇ１０…注視領域 ＨＬ…ヘッドランプ照射領域
Ｄ４、Ｄ５…分割領域 Ｎ…代表点
ＲＳ…路面の形状 ＷＬ…歩行者頻出ライン
ＲＦ…路面端のうちの一番遠方の位置
ＷＬ１〜ＷＬ３…歩行者頻出ライン

Claims (15)

1. 自車両の周辺の熱画像を取得し、
   前記自車両の周辺環境、前記自車両のうちの少なくとも一方の状態に応じて、前記熱画像のうちで詳細に観察する注視領域を設定することを特徴とする画像処理装置。
2. 自車両の周辺の熱画像を取得する熱画像取得手段と、
   前記熱画像取得手段により取得された熱画像から、周辺画素との輝度変化が大きい画素を特徴点として抽出する特徴点抽出手段と、
   前記自車両の周辺環境、前記自車両のうちの少なくとも一方の状態に応じて、前記熱画像取得手段により取得された熱画像のうちで詳細に観察する注視領域を設定する注視領域設定手段と、
   前記熱画像取得手段により取得された熱画像を分割して分割領域を設定する画像領域分割手段と、
   前記画像領域分割手段により設定された分割領域について、前記特徴点抽出手段により抽出された特徴点に基づく点数化を行なう分割領域点数化手段と、
   前記分割領域点数化手段により点数化されたそれぞれの分割領域のうちで、得点の高い分割領域を障害物領域として抽出する障害物領域抽出手段と
   を備えたことを特徴とする画像処理装置。
3. 前記注視領域設定手段により設定された注視領域までの前記自車両からの距離を算出する距離算出手段を備えたことを特徴とする請求項２記載の画像処理装置。
4. 前記画像領域分割手段は、前記距離算出手段により算出された前記注視領域までの距離及び検出対象に応じて分割することを特徴とする請求項３記載の画像処理装置。
5. 前記特徴点抽出手段は、前記熱画像取得手段により取得された熱画像から、周辺画素との輝度変化が大きく、領域の角となる画素を特徴点として抽出することを特徴とする請求項２記載の画像処理装置。
6. 前記注視領域設定手段は、先行車両を検出する先行車両検出手段を有し、
   前記先行車両検出手段により検出された先行車両の有無に基づいて前記注視領域を設定することを特徴とする請求項２記載の画像処理装置。
7. 前記注視領域設定手段は、前記自車両の車両情報を取得する車両情報取得手段を有し、
   前記車両情報取得手段により取得される車両情報に基づいて前記注視領域を設定することを特徴とする請求項２乃至６のいずれか記載の画像処理装置。
8. 前記注視領域設定手段は、
   前記自車両が走行している走行車線領域及び該走行車線領域の周辺の状況を検出する車線領域周辺観察手段と、
   前記車線領域周辺観察手段により検出される情報に基づいて、周辺車線の渋滞状況を検出する渋滞状況検出手段とを有し、
   前記渋滞状況検出手段により検出される情報に基づいて前記注視領域を設定することを特徴とする請求項２乃至７のいずれか記載の画像処理装置。
9. 前記渋滞状況検出手段は、前記車線領域周辺観察手段から取得された前記自車両の走行車線領域の周辺の対向車線に相当する領域に連続的に高温部位が観察されるかを検出し、対向車線の渋滞状況を検出することを特徴とする請求項８記載の画像処理装置。
10. 前記注視領域設定手段は、
    前記自車両が走行している走行車線領域及び該走行車線領域周辺の状況を検出する車線領域周辺観察手段と、
    前記車線領域周辺観察手段により検出された前記自車両の走行車線領域内、該走行車線領域より外側の隣接する領域の少なくとも一方で駐停車車両を検出する駐停車車両検出手段とを有し、
    前記停止車両検出手段により検出された駐停車車両の周辺を前記注視領域とすることを特徴とする請求項２乃至７のいずれか記載の画像処理装置。
11. 前記注視領域設定手段は、前記障害物領域抽出手段により、所定時間前に障害物が存在する可能性が高いとして抽出された障害物領域の周辺を前記注視領域とすることを特徴とする請求項２乃至９のいずれか記載の画像処理装置。
12. 前記画像領域分割手段は、
    路面領域を抽出する路面領域抽出手段と、
    前記路面領域抽出手段により抽出された路面領域に基づいて、歩行者の出現頻度の高い位置を歩行者頻出ラインとして抽出する歩行者頻出ライン抽出手段とを有し、
    前記歩行者頻出ライン抽出手段により抽出された歩行者頻出ラインの周辺をその他の領域より詳細に分割することを特徴とする請求項２乃至１１のいずれか記載の画像処理装置。
13. 前記自車両の情報を検出する車両情報取得手段を有し、
    前記車両情報取得手段により取得される車速及び舵角と、前記路面領域抽出手段により抽出される路面領域とから前記歩行者頻出ラインを設定することを特徴とする請求項１２記載の画像処理装置。
14. 路面領域を抽出する路面領域抽出手段と、
    前記路面領域抽出手段により抽出される路面領域により取得される道路端と、前記特徴点抽出手段により抽出される特徴点との距離を算出する特徴点距離算出手段とを有し、
    前記分割領域点数化手段は、前記路面領域抽出手段により取得される道路端と、前記特徴点距離抽出手段により算出される特徴点との距離に応じて前記分割領域の点数を変更することを特徴とする請求項２乃至１１のいずれか記載の画像処理装置。
15. 自車両の周辺の熱画像を取得し、
    前記自車両の周辺環境、前記自車両のうちの少なくとも一方の状態に応じて、前記熱画像のうちで詳細に観察する注視領域を設定することを特徴とする画像処理方法。

Images