JP6252727B2 - 画像処理装置、画像処理方法、画像処理プログラム、画像処理システム及び移動装置 - Google Patents

Description

本発明は、画像処理装置、画像処理方法、画像処理プログラム、画像処理システム及び移動装置に関する。

従来、車両、船舶、航空機、または産業用ロボット等（以降、車両等という）の移動において、移動の障害となる立体物を検知する技術の開発が進められている。特に、車両等が走行する道路を認識し、道路上に立体物が存在するか否かを判断する技術が知られている。

特許文献１には三次元的な位置情報を利用し、実際の道路上の白線だけを分離して道路形状を認識する技術が記載されている。特許文献１に記載の技術においては、２台のＣＣＤカメラを有するステレオ画像処理装置が撮影した画像を処理することによって、画像を表す二次元の情報と、撮像物までの距離データと、を含む三次元の情報を取得する。そして、三次元の情報が表す空間では白線は道路の平面上にあり、一方、先行車などの立体物は道路の平面より高い位置にあるとしている。このようにして、ステレオ画像処理装置は取得された三次元の情報により白線からの高さによって道路か立体物であるかを区別している。

また、一般的に車両等に搭載されている撮像装置によって撮像される撮像画像においては、撮像画像の左右それぞれに建物、ガードレール、壁等（以降、建物等という）が撮像される。特許文献２に記載の技術では、複数の撮像画像から算出された視差に基づいて建物等の壁に相当する部分を検出することによって、走行領域を検出している。ここで走行領域とは、左右に撮像されている建物等の間にある領域をいう。

しかしながら、路面が進行方向に対して右にカーブしている場合、図２４に示されるように撮像装置から離れるほど車両等が走行できる走行領域は右にあることが想定される。
走行領域が右にあることが想定されるにもかかわらず、画像内の全ての領域から走行領域を検出しようとすると、たとえばノイズ等のために、図２４のＣで示されるような画像内の左上端部の近傍で走行領域が検出されてしまうことがある。同様に、路面が進行方向に対して左にカーブしている場合、撮像装置から離れるほど走行領域は左にあることが想定される。それにもかかわらず、画像内の全ての領域で白線を検出しようとすると、画像内の右上端部の近傍の領域で走行領域が検出されてしまうことがある。
このように、画像内の全ての領域について走行領域であるか否かを判定すると誤判定が発生し、画像内に撮像されている走行領域を高い精度で検出することができないという課題が発生している。

上述した課題を解決するため請求項１に係る発明は、複数の境界が撮像された複数の画像を処理する画像処理装置であって、前記画像に撮像されている境界領域を検出する境界領域検出手段と、複数の前記画像を構成する小領域の視差を算出する視差算出手段と、前記視差算出手段によって算出された前記視差について、前記画像の水平方向の位置ごとに前記小領域の視差の度数を算出する度数算出手段と、前記境界領域検出手段によって検出された２つの境界領域の間にある所定の小領域である境界間小領域を算出する境界間小領域算出手段と、前記境界間小領域から前記画像内における水平方向の端部の小領域に向かって、前記度数に基づいて走行領域を検出する走行領域検出手段と、を有することを特徴とする画像処理装置である。

本発明によれば、視差算出手段によって算出された視差について、画像の水平方向の位置ごとに小領域の視差の度数を算出する度数算出手段と、境界領域検出手段によって検出された２つの境界領域の間にある所定の小領域である境界間小領域を算出する境界間小領域算出手段と、前記境界間小領域から前記画像内における水平方向の端部の小領域に向かって順に、前記度数に基づいて走行領域を検出する走行領域検出手段と、を有するため、画像内における走行領域を高い精度で判定することができるという効果を奏する。

画像処理システム１を搭載した車両等の一例を表す概略図である。 画像処理システム１のハードウェア構成図である。 画像処理システム１の機能構成図である。 撮像部が撮像した撮像画像の一例である。 視差ｄ_ｘｙについて説明するための図である。 基準画像Ｉａの一部Ａを拡大した図、一部Ａの小領域ごとの輝度を表した図、および一部Ａの小領域ごとの輝度差を表した図である。 白線エッジの位置を表すｙ座標とその位置における視差ｄ_ｅの対応関係を表す図である。 基準画像Ｉａから度数Ｃを算出するために用いる図である。 基準画像Ｉａにおける度数Ｃの分布を表す度数分布図である。 画像処理システム１の処理の概要を表すフロー図である。 信号変換部５２の処理を表すフロー図である。 エッジ候補検出部５５の第一の処理を表すフロー図である。 エッジ候補検出部５５の第二の処理の概要を説明するためのフロー図である。 エッジ候補検出部５５の第二の処理の詳細を表すフロー図である。 基準画像Ｉａの一部Ａを拡大した図である。 カーブ方向判定部５８の処理を表すフロー図である。 直線交点検出部５８１の処理を表すフロー図である。 消失点検出部５８２の処理を表すフロー図である。 白線視差決定部５６の処理を表すフロー図である。 走行領域検出部５７の処理を表すフロー図である。 度数判定部５７２の処理を表すフロー図である。 画像処理システム１の機能構成図の他の例である。 基準画像Ｉａの一部Ａの小領域ごとの輝度差を表した図、および一部Ａの小領域ごとの視差を表した図である。 撮像部が撮像した撮像画像の一例である。

本発明の実施形態について図１乃至図２４を用いて説明する。

〔画像処理システム１のハードウェア構成〕
まず、本発明の実施形態における画像処理システム１のハードウェア構成について説明する。図１は本実施形態に係る画像処理システム１を搭載した自動車を表す概念図である。図１（１）は画像処理システム１が設けられている車両等の一例である自動車の側面の概観図である。図１（２）は図１（１）に表されている自動車の前面の概観図である。図２は、画像処理システム１のハードウェア構成図である。

図１（１）及び（２）に示されるように、画像処理システム１は撮像装置１０ａ及び撮像装置１０ｂを備えており、撮像装置１０ａ及び撮像装置１０ｂは自動車の進行方向前方の光景を撮像するように設置されている。図２に示されるように、画像処理システム１は撮像装置１０ａ、撮像装置１０ｂ、信号変換装置２０ａ、信号変換装置２０ｂ、及び画像処理装置３０を有している。撮像装置１０ａは前方の光景を撮像して撮像画像を表すアナログ信号を生成するものであり、撮像レンズ１１ａ、絞り１２ａ、画像センサ１３ａを有している。

撮像レンズ１１ａは、撮像レンズ１１ａを通過する光を屈折させて被写体Ｓの像を結像させるための光学素子である。絞り１２ａは、撮像レンズ１１ａを通過した光の一部を遮ることによって、後述する画像センサ１３ａに入力される光の量を調整する。画像センサ１３ａは、撮像レンズ１１ａ及び絞り１２ａから入力された光を電気的なアナログの画像信号に変換する半導体の素子であり、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）によって実現される。

また、撮像装置１０ｂは撮像装置１０ａと同じ構成を有している。そのため撮像装置１０ｂについての説明は省略する。また、撮像レンズ１１ａに係る撮像面と撮像レンズ１１ｂに係る撮像面が同一平面内となるように、撮像レンズ１１ａ及び撮像レンズ１１ｂは設置されている。

信号変換装置２０ａは、撮像画像を表すアナログ信号をデジタル形式の撮像画像データに変換するものであり、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）２１ａ、ＡＧＣ（Ａｕｔｏ Ｇａｉｎ Ｃｏｎｔｒｏｌ）２２ａ、ＡＤＣ（Ａｎａｌｏｇ Ｄｅｇｉｔａｌ Ｃｏｎｖｅｒｔｅｒ）２３ａ、及びフレームメモリ２４ａを有している。

ＣＤＳ２１ａは、画像センサ１３ａによって変換されたアナログの画像信号から相関二重サンプリングによってノイズを除去する。ＡＧＣ２２ａは、ＣＤＳ２１ａによってノイズが除去されたアナログの画像信号の強度を制御する利得制御を行う。ＡＤＣ２３ａは、ＡＧＣ２２ａによって利得制御されたアナログの画像信号をデジタル形式の撮像画像データに変換する。フレームメモリ２４ａは、ＡＤＣ２３ａによって変換された撮像画像データを記憶する。

信号変換装置２０ｂは撮像装置１０ｂによって変換されたアナログの画像信号から撮像画像データを取得するものであり、ＣＤＳ２１ｂ、ＡＧＣ２２ｂ、ＡＤＣ２３ｂ、及びフレームメモリ２４ｂを有している。ＣＤＳ２１ｂ、ＡＧＣ２２ｂ、ＡＤＣ２３ｂ、及びフレームメモリ２４ｂはそれぞれＣＤＳ２１ａ、ＡＧＣ２２ａ、ＡＤＣ２３ａ、及びフレームメモリ２４ａと同じ構成であるため、それらについての説明は省略する。

画像処理装置３０は、信号変換装置２０ａ及び信号変換装置２０ｂによって変換された撮像画像データを処理するためのものであり、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）３１、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３２、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３３、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３４を有している。ＦＰＧＡ３１は、撮像画像データが表す撮像画像における視差ｄを算出する処理を行う。ＣＰＵ３２は、画像処理装置３０の各機能を制御する。ＲＯＭ３３は、ＣＰＵ３２が画像処理装置３０の各機能を制御するために実行する画像処理プログラムを記憶している。ＲＡＭ３４はＣＰＵ３２のワークエリアとして使用される。

上記画像処理プログラムは、インストール可能な形式又は実行可能な形式のファイルで、コンピュータで読み取り可能な記録媒体に記録して流通させてもよい。

〔画像処理システム１の機能構成〕
次に、本実施形態の画像処理システム１の機能構成について説明する。図３は、画像処理システム１の機能構成図である。画像処理システム１は、撮像部５１、信号変換部５２、視差算出部５３、距離算出部５４、エッジ候補検出部５５、白線視差決定部５６、走行領域検出部５７及びカーブ方向判定部５８を有している。

図４は撮像部５１が撮像した撮像画像の一例である。撮像部５１は図４（１）に示されるような自動車の進行方向前方の光景を撮像画像として生成するものであり、撮像装置１０ａ及び撮像装置１０ｂによって実現される。信号変換部５２は撮像部５１によって生成された撮像画像を表すアナログ信号をデジタル形式の撮像画像データに変換するものであり、信号変換装置２０ａ及び信号変換装置２０ｂによって実現される。

視差算出部５３、距離算出部５４、エッジ候補検出部５５、白線視差決定部５６、走行領域検出部５７及びカーブ方向判定部５８はＲＯＭ３３に記憶されているプログラムに従ったＣＰＵ３２によって実現される。

なお、本実施形態の説明においては撮像画像に撮像されている被写体Ｓの、撮像画像内における位置を表すために、図４（２）に示されるような座標を用いる。図４に示される座標の１単位は一の画素から構成されてもよいし、隣接する二以上の画素群から構成されてもよい。図４（２）に座標（ｘ，ｙ）で示される黒色で塗布された部分は、一または隣接する二以上の画素群から構成される一の小領域Ｐ_ｘｙという。以降における各機能部の構成及び動作の説明においては、各機能部は各小領域Ｐ_ｘｙに対して処理を行うものとする。また、撮像画像において図４（２）に示されるｙ座標は、路面に垂直な方向についての画像内の位置を表す情報である。

＜＜視差算出部＞＞
視差算出部５３は撮像画像の各小領域Ｐ_ｘｙに撮像されている被写体Ｓの視差ｄ_ｘｙを算出する。ここで図５を用いて視差ｄ_ｘｙについて説明する。図５は、視差ｄ_ｘｙについて説明するための図である。以降の説明では図５で示される撮像装置１０ａ、撮像装置１０ｂによって撮像された撮像画像をそれぞれ基準画像Ｉａ、比較画像Ｉｂという。また、撮像画像における各小領域Ｐ_ｘｙの位置は図４（２）に示されるように座標（ｘ，ｙ）（ｘ＝１〜１２８０、ｙ＝１〜９６０）で表されるとする。なお、基準画像Ｉａにおいて図４（２）に示されるｘ軸方向を画像の水平方向、ｙ軸方向を画像の鉛直方向という。また、基準画像Ｉａにおいてｘ座標が大きくなる方向を右方向、ｘ座標が小さくなる方向を左方向という。また、基準画像Ｉａにおいてｙ座標が大きくなる方向を上方向、ｙ座標が小さくなる方向を下方向という。

図５で、被写体Ｓの結像位置Ｓａにおける撮像レンズ１１ａの結像中心からの距離をΔａとし、被写体Ｓの結像位置Ｓｂにおける撮像レンズ１１ｂの結像中心からの距離をΔｂとした場合、視差ｄ_ｘｙはｄ_ｘｙ＝Δａ＋Δｂである。すなわち、視差ｄ_ｘｙとは基準画像Ｉａにおいて図５に示されるように被写体Ｓが撮像されている位置の座標（ｘ，ｙ）と、比較画像Ｉｂにおいて被写体Ｓが撮像されている位置の座標（ｘ’，ｙ）におけるｘ座標の差（ｘ’−ｘ）である。

視差算出部５３は、基準画像Ｉａにおける所定の小領域群に含まれる小領域Ｐ_ｘｙの各座標（ｘ，ｙ）について視差ｄ_ｘｙを算出する。なお、座標（ｘ，ｙ）と視差ｄ_ｘｙを関連付けた情報を視差画像データという。なお、所定の小領域群とは、基準画像Ｉａ、比較画像Ｉｂの両方の画像に撮像されている被写体Ｓに係る小領域Ｐ_ｘｙ以外の小領域Ｐ_ｘｙの集合である。たとえば基準画像Ｉａの左端近傍に撮像されている被写体Ｓのうち、比較画像Ｉｂの撮像範囲を超えているため比較画像Ｉｂには撮像されていない被写体Ｓがある。このような被写体Ｓに係る小領域Ｐ_ｘｙについては座標ｘ’を認識することができないため視差ｄ_ｘｙを算出できない。このような小領域Ｐ_ｘｙは所定の小領域群に含まれないものとする。

＜＜距離算出部＞＞
距離算出部５４は、視差算出部５３によって算出された視差ｄ_ｘｙを用いて、距離Ｚを算出する。距離Ｚとは撮像レンズ１１ａの中心と撮像レンズ１１ｂの中心を含み、撮像レンズ１１ａ及び撮像レンズ１１ｂの撮像面に平行な面から被写体Ｓまでの距離である。具体的には、図５に示されるように撮像レンズ１１ａ及び撮像レンズ１１ｂの焦点距離ｆ、撮像レンズ１１ａの中心と撮像レンズ１１ｂの中心との間の長さである基線長Ｂ、及び視差ｄを用いて、距離算出部５４が距離Ｚ＝（Ｂ×ｆ）／ｄと算出する。なお、基線長Ｂ、焦点距離ｆは一例としてそれぞれ５〜３０（ｃｍ）、４〜１５（ｍｍ）とすればよい。

ここで、距離Ｚと視差ｄの関係について更に説明する。Ｚ＝（Ｂ×ｆ）／ｄの計算式より、視差ｄが大きいほど距離Ｚは小さく、視差ｄが小さいほど距離Ｚは大きい。たとえば、図４（２）での座標（ｋ、ｌ）における視差ｄ_ｋｌは座標（ｊ，ｌ）における視差ｄ_ｊｌより大きい値であるとすれば、座標（ｋ，ｌ）における距離Ｚ_ｋｌは座標（ｊ，ｌ）における距離Ｚ_ｊｌより小さい値となる。

すなわち、座標（ｋ，ｌ）にある被写体（図４（２）においては自動車）は、座標（ｊ，ｌ）にある被写体（図４（２）においては白線）より近くにあると判定される。このようにして、各小領域Ｐ_ｘｙにおける視差ｄ_ｘｙを、白線が撮像されている画像内の小領域（白線領域Ｐ_ｗという。）における視差ｄ_ｗと比較することによって、各小領域Ｐ_ｘｙが路面を表すものか否かを判定することが可能となる。

＜＜エッジ候補検出部＞＞
エッジ候補検出部５５は、基準画像Ｉａに撮像されている路面上の白線のエッジ（以降、白線エッジという）を表す小領域Ｐ_ｘｙの候補（以降、白線エッジ候補領域Ｐ_ｅという）を検出する。ここで、白線とは、一般の路面において描かれている白線を表す画像の部分である。すなわち、本実施形態における白線とは、一次元の線ではなくｘ軸方向に幅をもった帯状の部分をいう。

図６を用いてエッジ候補検出部５５の機能について説明する。図６は基準画像Ｉａの一部を拡大した図である。図６（１）は図４（１）の一部である部分Ａを拡大して表しているものであり、白色で表される部分は基準画像Ｉａにおける白線の一部を表し、斜線で表される部分は基準画像Ｉａにおける白線以外の路面の一部を表している。

図６（２）は図６（１）に表される撮像画像の各小領域Ｐ_ｘｙを構成する画素の輝度Ｌを表す図である。図６（２）に示されるように白線の一部を形成する小領域Ｐ_ｘｙの画素の輝度は、白線以外の路面の一部を形成する小領域Ｐ_ｘｙの画素の輝度より高くなっている。図６（３）は図６（２）で表されている各小領域Ｐ_ｘｙを構成する画素の輝度差ΔＬを表す図である。なお、本実施形態において輝度Ｌは０から２５５の値をとるものとして説明する。

エッジ候補検出部５５は図６（２）に示されるような基準画像Ｉａを構成する各小領域Ｐ_ｘｙについてｘ軸方向に隣接する二つの小領域Ｐ_ｘｙの輝度Ｌの差（以降、輝度差ΔＬという）を算出する。具体的には、エッジ候補検出部５５は座標（ｘ，ｙ）にある小領域Ｐ_ｘｙの輝度Ｌ（ｘ，ｙ）から座標（ｘ＋１，ｙ）にある小領域Ｐ_ｘｙの輝度Ｌ（ｘ＋１，ｙ）を減算した輝度差ΔＬ（ｘ，ｙ）＝Ｌ（ｘ，ｙ）−Ｌ（ｘ＋１，ｙ）を算出する。

このようにして算出された輝度差ΔＬ（ｘ，ｙ）が図６（３）に示されており、白線のエッジ部分を表す小領域Ｐ_ｅ（図６（３）におけるＰ_ｅで示される小領域）における輝度差ΔＬ（ｘ，ｙ）はその他の部分に比べ大きくなる。

エッジ候補検出部５５は算出された輝度差ΔＬ（ｘ，ｙ）が所定の閾値、たとえば１２０以上であるか否かを判定する。そして、エッジ候補検出部５５は輝度差ΔＬ（ｘ，ｙ）が１２０以上と判定した場合には、その座標（ｘ，ｙ）における小領域Ｐ_ｘｙを白線エッジ候補領域Ｐ_ｅとして検出する。

なお、小領域Ｐ_ｘｙが２以上の画素からなる場合、エッジ候補検出部５５は、小領域Ｐ_ｘｙの輝度Ｌとはその小領域Ｐ_ｘｙを構成する画素群の輝度Ｌの平均値とすればよい。また、エッジ候補検出部５５は、各画素について隣接する画素との輝度差ΔＬを算出し輝度差ΔＬが１２０以上であると判定された画素を含む小領域Ｐ_ｘｙを白線エッジ候補領域Ｐ_ｅとして検出してもよい。

なお、エッジ候補検出部５５は、基準画像Ｉａのｙ座標一定の小領域Ｐ_ｘｙ群において、中央の小領域Ｐ_ｘｙ（図４（２）においてｘ＝６４０に位置する小領域）から左端の小領域Ｐ_ｘｙに向けて順に上記の算出及び判定を行う。また、エッジ候補検出部５５は左側の白線エッジ候補領域Ｐ_ｅｌが検出された時点で該ｙ座標に係る小領域Ｐ_ｘｙ群についての算出及び判定の処理を終了する。したがって、図６（３）に示される図において、輝度差ΔＬ（ｘ，ｙ）が１２０以上である小領域Ｐ_ｘｙより左側に位置する小領域Ｐ_ｘｙについての輝度差ΔＬ（ｘ，ｙ）は算出されない。

同様に、エッジ候補検出部５５は、基準画像Ｉａのｙ座標一定の小領域Ｐ_ｘｙ群における中央の小領域Ｐ_ｘｙ（図４（２）においてｘ＝６４０に位置する小領域）から右端の小領域Ｐ_ｘｙに向けて順に上記の算出及び判定を行う。また、エッジ候補検出部５５は右側の白線エッジ候補領域Ｐ_ｅｒを検出する。

＜＜白線視差決定部＞＞
白線視差決定部５６はエッジ候補検出部５５によって決定された白線エッジ候補領域Ｐ_ｅに基づいて、白線領域Ｐ_ｗの視差である白線視差ｄ_ｗを決定する。図３に示されるように白線視差決定部５６は回帰直線算出部５６１及び決定部５６２を有する。

＜回帰直線算出部＞
回帰直線算出部５６１はエッジ候補検出部５５によって検出された白線エッジ候補領域Ｐ_ｅのｙ座標と視差ｄ_ｅの回帰直線を算出する。ここで、回帰直線算出部５６１の機能について図７を用いて説明する。図７は白線エッジ候補領域Ｐ_ｅの位置を表すｙ座標とその位置における視差ｄ_ｅの対応関係を表す図である。図７においては縦軸にｙ座標、横軸に視差ｄ_ｅが示され、白線エッジ候補領域Ｐ_ｅ群の各ｙ座標と、対応する視差ｄ_ｅが点で表されている。これらの点に対して、回帰直線算出部５６１は公知の回帰直線算出方法であるＨｏｕｇｈ変換によって回帰直線Ｒｅｇ−Ｌｉｎｅを算出する。

＜決定部＞
決定部５６２は回帰直線Ｒｅｇ−Ｌｉｎｅ上にある視差ｄ_ｅを白線領域Ｐ_ｗにおける視差である白線視差ｄ_ｗとして決定する。

＜＜走行領域検出部＞＞
走行領域検出部５７は、基準画像Ｉａを形成する小領域Ｐ_ｘｙから走行領域を検出する。基準画像Ｉａに建物、ガードレール、壁等（以降、建物等という）が撮像されている小領域を物体領域Ｐ_ｂとしたとき、走行領域とは左側の物体領域Ｐ_ｂｌと右側の物体領域Ｐ_ｂｒの間にある小領域群である。走行領域検出部５７は、度数算出部５７１、度数判定部５７２、検出部５７３を有している。

＜度数算出部＞
度数算出部５７１は、視差算出部５３が算出した視差ｄ_ｘｙの度数Ｃを算出する。度数Ｃとは、基準画像Ｉａにおいて座標ｘで表される小領域Ｐ_ｘｙのうち視差ｄ_ｘｙが所定の値である小領域Ｐ_ｘｙの数である。

ここで、度数算出部５７１が度数Ｃを算出する機能について図８及び図９を用いて具体例によって説明する。図８は基準画像Ｉａから度数Ｃを算出するために用いる図であり、図９は基準画像Ｉａにおける度数Ｃの分布を表す度数分布図である。図８（１）は図４（１）に示される基準画像Ｉａについて各小領域Ｐ_ｘｙの位置を表す座標を示している。この具体例においては、説明を容易にするために小領域Ｐ_ｘｙを図４（２）に示される例より大きく設定しているが、この小領域Ｐ_ｘｙの大きさは適宜設定すればよい。

図８（２）は図８（１）に示される基準画像Ｉａの一部の小領域Ｐ_ｘｙについてその視差ｄ_ｘｙを表した図である。例えば図８（１）に示される座標（３，１）乃至座標（３，４）の小領域Ｐ_ｘｙについては被写体Ｓが路面であって高さが同一であるため、図８（２）では座標（３，１）乃至座標（３，４）の小領域Ｐ_ｘｙについてｙ座標が大きくなるに伴い撮像装置１０ａ、１０ｂからの距離Ｚが大きくなる。よって、基線長Ｂと焦点距離ｆが一定の下で先に説明したＺ＝（Ｂ×ｆ）／ｄの式より、視差ｄ_ｘｙが小さくなっていることが表されている。また、座標（３，５）乃至座標（３，１０）の小領域Ｐ_ｘｙについては被写体Ｓが建物の壁であるため、ｙ座標が大きくなっても撮像装置１０ａ、１０ｂからの距離Ｚは同一であるのでその視差ｄ_ｘｙはほぼ同じであることが表されている。さらに、座標（３，１１）及び座標（３，１２）については被写体Ｓが空であるため距離Ｚは無限大に近似されるので視差ｄ_ｘｙはほぼ０であることが表されている。図９は図８（２）に示される座標ｘを横軸に、視差ｄ_ｘｙを縦軸にし、座標ｘにある小領域Ｐ_ｘｙのうち視差ｄ_ｘｙの度数Ｃを表している図である。

図８（１）に示される基準画像Ｉａについて、度数算出部５７１が度数Ｃを算出すると、図８（２）に示されるようにｘ＝３である小領域Ｐ_ｘｙのうち、視差ｄ_ｘｙが１００であるものは６つある（図８（２）のＷ１を参照）。したがって、度数算出部５７１は図９に示される度数分布図上の（ｘ，ｄ_ｘｙ）＝（３，１００）に対応して度数Ｃ「６」を表している。同様にして、ｘ＝３である小領域Ｐ_ｘｙのうち、視差ｄ_ｘｙが１２０、１１５、１１０、１０５のものはそれぞれ１つずつあるため、度数算出部５７１は度数分布図の（ｘ，ｄ_ｘｙ）＝（３，１２０）、（３，１１５）、（３，１１０）、（３，１０５）に対応して度数Ｃ「１」を表している。

同様にして図８（２）に示されるようにｘ＝４である小領域Ｐ_ｘｙのうち、視差ｄ_ｘｙが９５であるものは５つある（図８（２）のＷ２を参照）ため、度数算出部５７１は度数Ｃを「５」と算出する。したがって、度数算出部５７１は図９に示される度数分布図上の（ｘ，ｄ_ｘｙ）＝（４，９５）に対応して度数Ｃ「５」を表している。また、図８（２）に示されるようにｘ＝１５である小領域Ｐ_ｘｙのうち視差ｄ_ｘｙが８０であるものは５つ（図８（２）のＷ３を参照）あるため、度数算出部５７１は度数Ｃを「５」と算出する。したがって、度数算出部５７１は度数分布図上の（ｘ，ｄ_ｘｙ）＝（１５，８０）に対応して度数Ｃ「５」を表している。このようにして、度数算出部５７１は所定の小領域群に含まれる小領域Ｐ_ｘｙのｘ座標について度数Ｃを算出する。

＜度数判定部＞
度数判定部５７２は度数算出部５７１によって算出された度数Ｃが所定の閾値Ｃｐ以上であるか否かを判定する。具体的には、度数判定部５７２はエッジ候補検出部５５によって検出された左白線エッジ候補領域Ｐ_ｅｌを横軸にｘ座標、縦軸に視差ｄ_ｘｙを表した度数分布図上に表示する。そして、所定の視差ｄ_ｘｙ未満に表示された左白線エッジ候補領域を直線近似し、近似直線（図９におけるｌｉｎｅＬ３を参照）を算出する。また、所定の視差ｄ_ｘｙ未満（本実施例では所定の視差ｄ_ｘｙ＝１００とする）に表示された左白線エッジ候補領域を曲線近似し、近似曲線（図９におけるｌｉｎｅＬ４を参照）を算出する。

図８及び図９に示される例によってこの機能を説明する。たとえば、エッジ候補検出部５５によって座標（３，２）で表される小領域Ｐ_ｘｙが左白線エッジ候補領域Ｐ_ｅｌであると検出されている。図８（２）に示されるように座標（３，２）で表される小領域Ｐ_ｘｙの視差ｄ_ｘｙ＝１１５であるから、度数判定部５７２は度数分布図の座標ｘ＝３、ｄ_ｘｙ＝１１５に左白線エッジ候補領域Ｐ_ｅｌである旨を表示する（図９の（ｖ）参照）。

同様に、エッジ候補検出部５５によって座標（４，３）で表される小領域Ｐ_ｘｙが左白線エッジ候補領域Ｐ_ｅｌであると検出されている。図８（２）に示されるように座標（４，３）で表される小領域Ｐ_ｘｙの視差ｄ_ｘｙ＝１１０であるから、度数判定部５７２は度数分布図の座標ｘ＝４、ｄ_ｘｙ＝１１０に左白線エッジ候補領域Ｐ_ｅｌである旨を表示する（図９（ｖｉ）印参照）。

同様にして全ての左白線エッジ候補領域を度数分布図に表示し、その近似直線を算出したものが図９に示されるｌｉｎｅＬ３となる。

同様にして、度数判定部５７２はエッジ候補検出部５５によって検出された右白線エッジ候補領域Ｐ_ｅｒを横軸にｘ座標、縦軸に視差ｄ_ｘｙを表した度数分布図上に表示する。そして、所定の視差ｄ_ｘｙ未満に表示された左白線エッジ候補領域を直線近似し、近似直線ｌｉｎｅＲ３を算出する。また、所定の視差ｄ_ｘｙ未満に表示された左白線エッジ候補領域を曲線近似し、近似曲線ｌｉｎｅＲ４を算出する。

さらに、度数判定部５７２は近似直線ｌｉｎｅＬ３と近似直線ｌｉｎｅＲ３における同一のｙ座標にあたる小領域の中間にある小領域を近似した直線（以降、二等分線ｌｉｎｅｈ３という）を算出する。また、度数判定部５７２は近似直線ｌｉｎｅＬ４と近似直線ｌｉｎｅＲ４における同一のｙ座標にあたる小領域の中間にある小領域を近似した直線（以降、二等分線ｌｉｎｅｈ４という）を算出する。さらに、二等分線ｌｉｎｅｈ３及び二等分線ｌｉｎｅｈ４を含む線ｌｉｎｅｈを表す数式（ｘ＝ｆ（ｄ_ｘｙ）とする。）を算出する。

この線分ｌｉｎｅｈにあたる度数分布図上の座標（ｆ（ｄ），ｄ）から度数分布図の端部の座標（１，ｄ_ｘｙ）及び座標（ｘ_ｍａｘ，ｄ_ｘｙ）に向かって順に各座標（ｘ，ｄ_ｘｙ）に対応する度数Ｃが所定の閾値Ｃｐ以上であるか否かを判定する。ここで、ｘ_ｍａｘは基準画像Ｉａ及び度数分布図におけるｘ座標の最大値であり、図９に示される具体例においてはｘ_ｍａｘ＝１６である。

度数判定部５７２によってＣ≧Ｃｐであると判定された場合、度数判定部５７２は度数分布図における座標（ｘ，ｄ_ｘｙ）に対応する基準画像Ｉａ上の小領域Ｐ_ｘｙは建物等を表すものとされる。また、度数判定部５７２によってＣ≧Ｃｐでないと判定された場合、度数判定部５７２は度数分布図における座標（ｘ，ｄ）に対応する基準画像Ｉａ上は建物等を表すものでないとされる。

＜検出部＞
検出部５７３は度数判定部５７２による判定に基づいて、基準画像Ｉａに撮像されている各小領域Ｐ_ｘｙのうち走行領域を検出する。先に説明したように被写体Ｓが建物等である小領域Ｐ_ｘｙの度数Ｃは被写体Ｓが路面である小領域Ｐ_ｘｙの度数Ｃより大きい。すなわち、度数Ｃが所定の閾値Ｃｐ以上である場合にはその度数Ｃに係る小領域Ｐ_ｘｙは建物等であるため、基準画像Ｉａ内において該小領域Ｐ_ｘｙを物体領域Ｐ_ｂとして検出する。検出部５７３は基準画像Ｉａに撮像されている左側の物体領域Ｐ_ｂｌおよび右側の物体領域Ｐ_ｂｒを検出し、これらの間にある小領域Ｐ_ｘｙを走行領域として検出する。

＜＜カーブ方向判定部＞＞
カーブ方向判定部５８は、基準画像Ｉａに撮像されている路面が右の方向へカーブしているか、左の方向へカーブしているかを判定する。カーブ方向判定部５８は直線交点検出部５８１、消失点検出部５８２及び判定部５８３を有している。

一般的にカーブしている路面が撮像された基準画像Ｉａにおいては、図４（２）に示されるように撮像装置１０からみて手前の部分、すなわち所定のｙ≦ｙ_Ｓの部分の白線は直線（以降、直線部分という）をなしている。また、そのような基準画像Ｉａにおいては、撮像装置１０からみて奥の部分、すなわち所定のｙ＞ｙ_Ｓの部分の白線は曲線（以降、曲線部分という）をなしている。

＜直線交点検出部＞
直線交点検出部５８１はｙ≦ｙ_Ｓの左側の白線エッジ候補領域Ｐ_ｅｌ、右側の白線エッジ候補領域Ｐ_ｅｒのそれぞれの近似直線の交点Ｐ_ｉを検出する。具体的には、直線交点検出部５８１は図４（２）の点で表される左側の白線エッジ候補領域Ｐ_ｅｌを直線近似し、近似直線ｌｉｎｅＬ１を算出する。同様にして、直線交点検出部５８１は図４（２）の点で表される右側の白線エッジ候補領域Ｐ_ｅｒを直線近似し、近似直線ｌｉｎｅＲ１を算出する。さらに、直線交点検出部５８１は近似直線ｌｉｎｅＬ１と近似直線ｌｉｎｅＲ１との交点となる小領域を表す座標（ｘ_ｉ、ｙ_ｉ）を算出し、直線交点Ｐ_ｉとして検出する。

＜消失点検出部＞
消失点検出部５８２は所定のｙ＞ｙ_Ｓの左側の白線エッジ候補領域Ｐ_ｅｌに係る近似曲線ｌｉｎｅＬ２と、右側の白線エッジ候補領域Ｐ_ｅｒに係る近似曲線ｌｉｎｅＲ２との交点となる小領域を表す座標（ｘ_ｖ、ｙ_ｖ）を算出し、その交点を消失点Ｐ_ｖとして検出する。なお、消失点検出部５８２は消失点検出手段の一例である。

＜判定部＞
判定部５８３は、消失点検出部５８２によって検出された消失点Ｐ_ｖ及び直線交点検出部５８１によって検出された交点Ｐ_ｉに基づいて路面がカーブしている方向を判定する。具体的には、判定部５８３は消失点Ｐ_ｖのｘ座標ｘ_ｖが交点Ｐ_ｉのｘ座標ｘ_ｉより小さいか、大きいか、またはｘ_ｉと同一であるかを比較する。

この比較によってｘ_ｖ＞ｘ_ｉであった場合は、カーブ方向判定部５８は路面が右にカーブしていると判定する。また、ｘ_ｖ＜ｘ_ｉであった場合は、カーブ方向判定部５８は路面が左にカーブしていると判定する。また、ｘ_ｖ＝ｘ_ｉであると判定された場合には、カーブ方向判定部５８は路面がカーブしていないと判定する。

なお、白線は境界の一例であり、白線領域Ｐ_ｗは境界領域の一例であり、エッジ候補検出部５５は境界領域検出手段の一例である。視差算出部５３は、視差算出手段の一例である。走行領域検出部５７は走行領域検出手段の一例である。度数算出部５７１は度数算出手段の一例である。度数判定部５７２は度数判定手段の一例である。

〔画像処理システム１の動作〕
続いて、図１０乃至図２１を用いて、本実施形態に係る画像処理システム１の動作について説明する。なお、図１０は、画像処理システム１の処理の概要を表すフロー図である。図１１は、信号変換部５２の処理を表すフロー図である。図１２は、エッジ候補検出部５５の第一の処理を表すフロー図である。図１３は、エッジ候補検出部５５の第二の処理の概要を説明するためのフロー図である。図１４は、エッジ候補検出部５５の第二の処理の詳細を表すフロー図である。図１５は、基準画像Ｉａの一部Ａを拡大した図である。図１６は、カーブ方向判定部５８の処理を表すフロー図である。図１７は、直線交点検出部５８１の処理を表すフロー図である。図１８は、消失点検出部５８２の処理を表すフロー図である。図１９は、白線視差決定部５６の処理を表すフロー図である。図２０は、走行領域検出部５７の処理を表すフロー図である。図２１は、度数判定部５７２の処理を表すフロー図である。

＜＜撮像画像の生成処理＞＞
図１０に示されるように、まず、撮像部５１が自動車の進行方向前方の光景を撮像して所定の時間間隔で撮像画像を生成する（ステップＳ１）。具体的には、撮像部５１を実現する撮像レンズ１１ａが通過する光を屈折させ、絞り１２ａが撮像レンズ１１ａを通過した光の一部を遮ることによって光の量を調整する。そして、撮像レンズ１１ａから入力された光が結像され、画像センサ１３ａは結像された像を電気的なアナログの画像信号に変換する。また、撮像レンズ１１ｂ、絞り１２ｂ、画像センサ１３ｂもそれぞれ撮像レンズ１１ａ、絞り１２ａ、画像センサ１３ａと同様に動作する。

＜＜信号変換をする処理＞＞
続いて、信号変換部５２がアナログの画像信号をデジタル形式の撮像画像データに変換する（ステップＳ２）。具体的には、図１１に示されるように、まずＣＤＳ２１ａがアナログの画像信号を相関二重サンプリングしてノイズを除去する（ステップＳ２１）。そして、ＡＧＣ２２ａが、ノイズが除去されたアナログの画像信号の強度を制御する利得制御を行う（ステップＳ２２）。ＡＧＣ２２ａによってアナログの画像信号が利得制御されると、ＡＤＣ２３ａがアナログの画像信号をデジタル形式の撮像画像データに変換する（ステップＳ２３）。ＡＤＣ２３ａがアナログの画像信号を撮像画像データに変換すると、フレームメモリ２４ａは撮像画像データを記憶する。また、ＣＤＳ２１ｂ、ＡＧＣ２２ｂ、ＡＤＣ２３ｂもそれぞれＣＤＳ２１ａ、ＡＧＣ２２ａ、ＡＤＣ２３ａと同様に動作する。

＜＜視差を算出する処理＞＞
図１０に戻って、次に、視差算出部５３は撮像画像データが表す基準画像Ｉａ内における所定の小領域群に含まれる小領域Ｐ_ｘｙについて視差ｄ_ｘｙを算出する（ステップＳ３）。

＜＜エッジ候補を検出する処理＞＞
次に、図１０に示されるように、エッジ候補検出部５５が基準画像Ｉａの白線エッジ候補領域Ｐ_ｅを検出する（ステップＳ４）。エッジ候補検出部５５は基準画像Ｉａにおいて、各小領域Ｐ_ｘｙについてｘ軸方向に隣接する小領域Ｐ_ｘｙにある画素との輝度差ΔＬ（ｘ，ｙ）＝Ｌ（ｘ，ｙ）−Ｌ（ｘ＋１，ｙ）を算出する。ΔＬ（ｘ，ｙ）が所定の閾値以上であれば、エッジ候補検出部５５はその小領域Ｐ_ｘｙをエッジ候補領域Ｐ_ｅとして検出する。

既に説明したように一般的に路面が撮像された基準画像Ｉａにおいては、図４（２）に示されるように撮像装置からみて手前の部分、すなわち所定のｙ座標ｙ_ｓ以下の部分の白線は直線をなしている（以降、この部分を直線部分という）。また、そのような基準画像Ｉａにおいては、撮像装置からみて奥の部分、すなわち所定のｙ座標ｙ_ｓより大きい部分の白線は曲線をなしている（以降、この部分を曲線部分という）。なお、ｙ_ｓは実験の結果から定められた値であり、カーブ路を走行しているときｙ座標がｙ_ｓ以下の小領域では白線は直線をなしているとして処理されるのが好適となる値である。一例としてｙ_ｓは基準画像Ｉａのｙ軸方向の中間付近の値とすることが好適である。

次に説明する＜エッジ候補領域の第一の検出処理＞では、エッジ候補検出部５５は白線の直線部分の白線エッジ候補領域Ｐ_ｅを検出する。また、白線の曲線部分については、精度を高めることを目的として後述する＜エッジ候補領域の第二の検出処理＞によって白線エッジ候補領域を検出する。

また、これらの処理の説明において、基準画像Ｉａにおける各小領域Ｐ_ｘｙの位置は図４（２）に示されるように座標（ｘ，ｙ）（ｘ＝１〜１２８０、ｙ＝１〜９６０）で表されるとする。

＜エッジ候補領域の第一の検出処理＞
第一の検出処理においては、図１２に示されるように、まず、エッジ候補検出部５５がｙ＝０（ステップＳ４１）に１を加算したｙ＝１（ステップＳ４２）、ｘ＝６４１（ステップＳ４３）から１を減算したｘ＝６４０（ステップＳ４４）に係る座標にある小領域Ｐ_ｘｙにある画素の輝度Ｌ（６４０，１）について輝度差ΔＬ（６４０，１）＝Ｌ（６４０，１）−Ｌ（６４１，１）を算出する（ステップＳ４５）。そして、ステップＳ４５で算出された輝度差ΔＬ（６４０，１）が１２０以上であるか否かをエッジ候補検出部５５が判定する（ステップＳ４６）。ステップＳ４６でΔＬ（６４０，１）が１２０以上でないと判定された場合には、その輝度差に係るｘ座標を１減算した（ステップＳ４４）座標にある小領域Ｐ_ｘｙに係る輝度差ΔＬ（６３９，１）＝Ｌ（６３９，１）−Ｌ（６４０，１）をエッジ候補検出部５５は算出する（ステップＳ４５）。そして、エッジ候補検出部５５は輝度差ΔＬ（６３９，１）が１２０以上であるか否かを判定する（ステップＳ４６）。

さらに、ステップＳ４６でΔＬ（６３９，１）が１２０以上でないと判定された場合には、ΔＬ（６３９，１）に係るｘ座標を１減算した（ステップＳ４４）座標にある小領域Ｐ_ｘｙの輝度差ΔＬ（６３８，１）＝Ｌ（６３８，１）−Ｌ（６３９，１）をエッジ候補検出部５５が算出する（ステップＳ４５）。そして、エッジ候補検出部５５は輝度差ΔＬ（６３８，１）が１２０以上であるか否かを判定する（ステップＳ４６）。このようにして、ｘ座標を１ずつ減算した座標にある小領域Ｐ_ｘｙに係る輝度差ΔＬの算出（ステップＳ４５）及び判定（ステップＳ４６）を繰り返し、輝度差ΔＬが１２０以上であると判定されたら、その輝度差ΔＬに係る小領域Ｐ_ｘｙを白線エッジ候補領域Ｐ_ｅとして検出する（ステップＳ４７）。

また、白線エッジ候補領域Ｐ_ｅが検出されたら、そのｙ座標についてｙ≧ｙ_ｓであるか否かをエッジ候補検出部５５が判定する（ステップＳ４８）。

ステップＳ４１８で白線エッジ候補領域Ｐ_ｅのｙ座標がｙ≧ｙ_ｓでないと判定された場合には、ｙ座標に１を加算し（ステップＳ４２）、ｘ＝６４１（ステップＳ４３）から１を減算した（ステップＳ４４）座標（６４０，２）に係る輝度差ΔＬ（６４０，２）＝Ｌ（６４０，２）−Ｌ（６４１，２）を算出する（ステップＳ４５）。そして、上述と同様にステップＳ４２乃至ステップＳ４８の処理を繰り返す。これらの処理を繰り返して、処理に係るｙ≧ｙ_ｓであると判定されたら白線エッジ候補領域Ｐ_ｅを検出する処理を終了する。

このようにして、基準画像Ｉａの各小領域Ｐ_ｘｙについて順に輝度差ΔＬを算出することによって、ｙ座標ごとに白線エッジ候補領域Ｐ_ｅを算出することができる。

なお、ステップＳ４３乃至ステップＳ４６の処理の説明で記載したように、基準画像Ｉａにおける中央部分の小領域Ｐ_ｘｙ（座標（６４０，ｙ））から外側の小領域Ｐ_ｘｙ（座標（１，ｙ））に向けて順にエッジ候補検出部５５は輝度差ΔＬを算出及び判定し、白線エッジ候補領域Ｐ_ｅが検出されたらこの処理を終了する。すなわち、白線エッジ候補領域Ｐ_ｅのｘ座標より小さいｘ座標の小領域Ｐ_ｘｙについてのこれらの処理は行わない。このため、エッジ候補検出部５５を実現するＣＰＵ３２の負荷を削減することが可能となる。

ステップＳ４８までの処理が終了すると、図６（３）に示されるように座標（ｘ，ｙ）ごとに輝度差ΔＬ（ｘ，ｙ）が算出される。

なお、図１２を用いて説明した処理は基準画像Ｉａにおける中央より左側の小領域（座標ｘ＝１〜６４０）に撮像されている白線エッジ候補領域Ｐ_ｅを検出することを目的とするものである。そのため、ここで検出された白線エッジ候補領域Ｐ_ｅは中央より左側の白線エッジを表す左白線エッジ候補領域Ｐ_ｅｌである。また、車両が走行する一般的な路面には、左側だけではなく右側にも白線が描かれている。このため、エッジ候補検出部５５は基準画像Ｉａにおける中央より右側の小領域（座標ｘ＝６４１〜１２８０）についても同様の処理を行う。そして、検出された白線エッジ候補領域Ｐ_ｅは右白線エッジ候補領域Ｐ_ｅｒとされる。

＜エッジ候補領域の第二の検出処理（概要）＞
図１３乃至図１５を用いて、エッジ候補領域の第二の検出処理について説明する。図１３は、エッジ候補検出部５５の第二の処理の概要を説明するためのフロー図である。図１４は、エッジ候補検出部５５の第二の処理の詳細を表すフロー図である。図１５は、基準画像Ｉａの一部Ａを拡大した図である。

ここで、第二の検出処理の詳細について説明する前に、カーブ方向判定部５８による判定の結果を第二の検出処理で用いることを説明する。既に説明したとおり、撮像部５１は所定の時間間隔で撮像画像を生成する（図１０のステップＳ１）。この所定の時間に画像処理システム１が搭載された車両等は進行方向に向かって所定の距離だけ移動するので、順次撮像される画像はそれぞれ異なったものとなる。図１３に示されるように撮像部が１回目に生成した（ステップＳ１−１）撮像画像については、上記＜エッジ候補領域の第一の検出処理＞に記載したようにエッジ候補検出部５５が白線の直線部分のエッジ候補領域Ｐ_ｅ及び白線の曲線部分のエッジ候補領域Ｐ_ｅを検出する（ステップＳ４−１）。そして、検出されたこれらのエッジ候補領域Ｐ_ｅに基づいて、カーブ方向判定部５８は路面がカーブしている方向を判定する（ステップＳ６−１）。なお、ステップＳ６−１でカーブ方向判定部５８が行う処理の詳細については追って説明する。

撮像部が２回目に生成した（ステップＳ１−２）撮像画像については、上記＜エッジ候補領域の第一の検出処理＞に記載したように白線の直線部分のエッジ候補領域Ｐ_ｅを検出する（ステップＳ４−２）。そして、１回目にカーブ方向判定部５８によって判定されたカーブの方向に基づいて＜エッジ候補領域の第二の検出処理（詳細）＞で追って説明するように白線の曲線部分のエッジ候補領域を検出する（ステップＳ５−２）。続いてこれらのエッジ候補領域Ｐ_ｅそれぞれを用いてカーブ方向判定部５８は、路面がカーブしている方向を判定する（ステップＳ６−２）。

同様に、撮像部がｎ回目（ｎ≧２）に生成した（ステップＳ１−ｎ）撮像画像については、上記＜エッジ候補領域の第一の検出処理＞に記載したように白線の直線部分のエッジ候補領域Ｐ_ｅを検出する（ステップＳ４−ｎ）。そして、（ｎ−１）回目にカーブ方向判定部５８によって判定された方向に基づいて＜エッジ候補領域の第二の検出処理（詳細）＞で追って説明するように白線の曲線部分のエッジ候補領域Ｐ_ｅを検出する（ステップＳ５−ｎ）。そして、これらのエッジ候補領域Ｐ_ｅそれぞれを用いてカーブ方向判定部５８は、路面がカーブしている方向を判定する（ステップＳ６−ｎ）。

＜エッジ候補領域の第二の検出処理（詳細）＞
次に、ステップＳ５でエッジ候補検出部５５が行う第二の検出処理の詳細について図１４及び図１５を用いて説明する。ここでは、まず、当該第二の検出処理に係る撮像画像が撮像された時刻の所定の時間前に撮像された撮像画像の路面が右にカーブしていると判定された場合の検出処理について説明する。上記、第一の検出処理においてｙ＝ｙ_ｓにおける白線エッジ候補領域Ｐ_ｅは既に検出されており、ここでの説明においてはその座標を（ｘ_ｓ，ｙ_ｓ）とする（図１５（ｉ）で示される小領域）。

まず、エッジ候補検出部５５はｙ＝ｙ_ｓ（ステップＳ５１）に１を加算したｙ＝ｙ_ｓ＋１（ステップＳ５２）、ｘ＝ｘ_ｓ−１（ステップＳ５３）に１を加算したｘ＝ｘ_ｓ（ステップＳ５４）に係る座標にある小領域Ｐ_ｘｙ（図１５（ｉｉ）を参照）の画素の輝度Ｌ（ｘ_ｓ，ｙ_ｓ＋１）について輝度差ΔＬ（ｘ_ｓ，ｙ_ｓ＋１）＝Ｌ（ｘ_ｓ，ｙ_ｓ＋１）−Ｌ（ｘ_ｓ＋１，ｙ_ｓ＋１）を算出する（ステップＳ５５）。そして、ステップＳ５５で算出された輝度差ΔＬ（ｘ_ｓ，ｙ_ｓ＋１）が１２０以上であるか否かをエッジ候補検出部５５が判定する（ステップＳ５６）。ステップＳ５６でΔＬ（ｘ_ｓ，ｙ_ｓ＋１）が１２０以上でないと判定された場合には、その輝度差に係るｘ座標に１を加算した（ステップＳ５４）座標にある小領域Ｐ_ｘｙ（図１５（iii）を参照）に係る輝度差ΔＬ（ｘ_ｓ＋１，ｙ_ｓ＋１）＝Ｌ（ｘ_ｓ＋１，ｙ_ｓ＋１）−Ｌ（ｘ_ｓ＋２，ｙ_ｓ＋１）をエッジ候補検出部５５は算出する（ステップＳ５５）。そして、エッジ候補検出部５５は輝度差ΔＬ（ｘ_ｓ１＋１，ｙ_ｓ＋１）が１２０以上であるか否かを判定する（ステップＳ５６）。

さらに、ステップＳ５６でΔＬ（ｘ_ｓ＋１，ｙ_ｓ＋１）が１２０以上でないと判定された場合には、ΔＬ（ｘ_ｓ＋１，ｙ_ｓ＋１）に係るｘ座標に１を加算した（ステップＳ５４）座標にある小領域Ｐ_ｘｙの輝度差ΔＬ（ｘ_ｓ＋２，ｙ_ｓ＋１）＝Ｌ（ｘ_ｓ＋２，ｙ_ｓ＋１）−Ｌ（ｘ_ｓ＋３，ｙ_ｓ＋１）をエッジ候補検出部５５が算出する（ステップＳ５５）。そして、エッジ候補検出部５５は輝度差ΔＬ（ｘ_ｓ＋２，ｙ_ｓ＋１）が１２０以上であるか否かを判定する（ステップＳ５６）。このようにして、ｘ座標を１ずつ加算した座標にある小領域Ｐ_ｘｙに係る輝度差ΔＬの算出（ステップＳ５５）及び判定（ステップＳ５６）を繰り返し、輝度差ΔＬ（ｘ_ｓ＋ｎ，ｙ_ｓ＋１）が１２０以上であると判定されたら、その輝度差ΔＬに係る小領域Ｐ_ｘｙを白線エッジ候補領域Ｐ_ｅとして検出する（ステップＳ５７）。

ステップＳ５７で白線エッジ候補領域Ｐ_ｅの輝度差ΔＬが１２０以上であると判定されたら、そのｙ座標が消失点Ｐ_ｖのｙ座標であるｙ_ｖ以上であるか否かをエッジ候補検出部５５が判定する（ステップＳ５８）。

ステップＳ５８で白線エッジ候補領域Ｐ_ｅのｙ座標がｙ_ｖ以上でないと判定された場合には、ｙ座標に１を加算し（ステップＳ５２）、ｘ＝ｘ_ｓ＋ｎ（＝ｘ_ｓ１とする）とした座標（ｘ_ｓ１，ｙ_ｓ＋２）にある小領域Ｐ_ｘｙ（図１５（ｉｖ））を参照）に係る輝度差ΔＬ（ｘ_ｓ１，ｙ_ｓ＋２）＝Ｌ（ｘ_ｓ１，ｙ_ｓ＋２）−Ｌ（ｘ_ｓ１＋１，ｙ_ｓ＋２）を算出する（ステップＳ５５）。そして、上述と同様にステップＳ５２乃至ステップＳ５８の処理を繰り返す。これらの処理を繰り返して、ｙ座標がｙ_ｖ以上であると判定されたら白線エッジ候補領域Ｐ_ｅを検出する処理を終了する。

所定の時間前に生成された基準画像Ｉａに撮像されている路面が右にカーブしている場合には、撮像画像内における白線エッジ候補領域Ｐ_ｅのｘ座標はｙ座標の増加に伴い増加するため、上記のようにｙ座標の増加に伴いｘ座標を増加させながら輝度差ΔＬの算出及び判定をする。すなわち、既に白線エッジ候補領域Ｐ_ｅが検出されている小領域Ｐ_ｘｙより右上の小領域Ｐ_ｘｙについて白線エッジ候補領域Ｐ_ｅを検出するために輝度差ΔＬが所定の値以上であるか否か判定する処理を行う。このような順に処理を行うことによって白線エッジ候補領域Ｐ_ｅの誤検出を減少させることができ、路面を判定する処理の精度が向上する。

同様にして、所定の時間前に生成された基準画像Ｉａに撮像されている路面が左にカーブしていると判定された場合には、ステップＳ５４でｘ座標を１ずつ減算した座標にある小領域Ｐ_ｘｙに係る輝度差ΔＬの算出（ステップＳ５５）及び判定（ステップＳ５６）を繰り返し、輝度差ΔＬが１２０以上であると判定されたら、その輝度差ΔＬに係る小領域Ｐ_ｘｙを白線エッジ候補領域Ｐ_ｅとして検出する（ステップＳ５７）。

路面が右にカーブしている場合にｙ座標の増加に伴いｘ座標を減少させながら白線エッジ候補領域Ｐ_ｅを検出したら、その白線エッジ候補領域Ｐ_ｅは誤検出である可能性が高い。そのため、ｙ座標の増加に伴いｘ座標を増加させながら輝度差ΔＬの算出及び判定をすることにより、白線エッジ候補領域Ｐ_ｅの誤検出を減少させることができ、路面を判定する処理の精度が向上する。

なお、路面が左にカーブしている場合には、撮像画像内における白線エッジ候補領域Ｐ_ｅのｘ座標はｙ座標の増加に伴い減少するため、上記のようにｙ座標の増加に伴いｘ座標を減少させながら輝度差ΔＬの算出及び判定をする。

＜＜カーブを判定する処理＞＞
図１０に戻って、エッジ候補検出部５５が白線エッジ候補領域Ｐ_ｅを検出する（ステップＳ４及びステップＳ５）と、カーブ方向判定部５８は基準画像Ｉａに撮像されている路面が右の方向へカーブしているか、左の方向へカーブしているかを判定する（ステップＳ６）。

＜近似直線の交点を検出する処理＞
まず、図１６に示されるように直線交点検出部５８１が基準画像Ｉａ上の左側の白線の直線部分の延長線と右側の直線部分の延長線との交点Ｐ_ｉを算出する（ステップＳ６１）
具体的には、図１７に示されるように直線交点検出部５８１が左側の直線部分についての白線エッジ候補領域Ｐ_ｅｌ群について直線近似し、左側の近似直線ｌｉｎｅＬ１（図４（２）を参照）を算出する（ステップＳ６１１）。同様にして、直線交点検出部５８１は右側の直線部分についての白線エッジ候補領域Ｐ_ｅｒ群を直線近似し、近似直線ｌｉｎｅＲ１（図４（２）を参照）を算出する（ステップＳ６１２）。そして、直線交点検出部５８１は右側の近似直線ｌｉｎｅＬ１と近似直線ｌｉｎｅＲ１との交点Ｐ_ｉの位置を表す座標（ｘ_ｉ、ｙ_ｉ）を算出する（ステップＳ６１３）。なお、左側の近似直線ｌｉｎｅＬ１を算出する処理、右側の近似直線ｌｉｎｅＲ１を算出する処理はいずれを先に行ってもよい。

＜消失点の検出処理＞
続いて、図１６に戻って消失点検出部５８２は左右の白線の消失点Ｐ_ｖを検出する（ステップＳ６２）。具体的には、図１８に示されるように消失点検出部５８２が左側の曲線部分の白線エッジ候補領域Ｐ_ｅｌ群について近似曲線ｌｉｎｅＬ２（図４（２）を参照）を算出する（ステップＳ６２１）。同様にして、消失点検出部５８２は右側の曲線部分の白線エッジ候補領域Ｐ_ｅｒ群について近似曲線ｌｉｎｅＲ２（図４（２）を参照）を算出する（ステップＳ６２２）。さらに、消失点検出部５８２は近似曲線ｌｉｎｅＬ２と近似曲線ｌｉｎｅＲ２との交点である消失点Ｐ_ｖの位置を表す座標（ｘ_ｖ、ｙ_ｖ）を算出する（ステップＳ６２３）。なお、左側の近似曲線ｌｉｎｅＬ２を算出する処理、右側の近似曲線ｌｉｎｅＲ２を算出する処理はいずれを先に行ってもよい。

＜判定処理＞
そして、再び図１６に戻って、近似直線ｌｉｎｅＬ１と近似直線ｌｉｎｅＲ１との交点Ｐ_ｉと消失点Ｐ_ｖに基づいて、判定部５８３が基準画像Ｉａに撮像されている路面が右の方向へカーブしているか、左の方向へカーブしているかを判定する（ステップＳ６３）。具体的には、交点Ｐ_ｉの座標を（ｘ_ｉ、ｙ_ｉ）としたときに、判定部５８３は消失点Ｐ_ｖの位置を表すｘ座標であるｘ_ｖがｘ_ｉより大きいか、小さいか、またはｘ_ｖ＝ｘ_ｉであるかを判定する。図４（２）に示されるようにｘ_ｖがｘ_ｉより大きいと判定された場合には、判定部５８３は路面が右にカーブしていると判定する。また、ｘ_ｖがｘ_ｉより小さいと判定された場合には、判定部５８３は路面が左にカーブしていると判定する。また、ｘ_ｖ＝ｘ_ｉであると判定された場合には、判定部５８３は路面が直線であると判定する。

＜＜白線視差を決定する処理＞＞
続いて、図１０に戻って、白線視差決定部５６はステップＳ４及びステップＳ５でエッジ候補検出部５５によって検出された白線エッジ候補領域Ｐ_ｅに基づいて白線領域Ｐ_ｗの視差ｄ_ｗを決定する（ステップＳ７）。具体的には、図１９に示されるように、まず回帰直線算出部５６１が白線エッジ候補領域Ｐ_ｅのｙ座標と視差ｄ_ｅの回帰直線を算出する（ステップＳ７１）。具体的には、白線エッジ候補領域Ｐ_ｅの各ｙ座標と視差ｄ_ｅについて、白線視差決定部５６がＨｏｕｇｈ変換によって図７に示される回帰直線Ｒｅｇ−ｌｉｎｅを決定する。そして、白線視差決定部５６は各ｙ座標における回帰直線Ｒｅｇ−ｌｉｎｅ上の視差ｄ_ｅを各ｙ座標の左白線視差ｄ_ｗと決定する（ステップＳ７２）。

基準画像Ｉａにおいてこのように回帰直線Ｒｅｇ−ｌｉｎｅを算出することによって白線エッジ候補領域Ｐ_ｅに含まれるノイズを除去することができ、白線視差ｄ_ｗを高い精度で決定することができる。これにより、距離Ｚを正確に算出することができる。

＜＜走行領域を検出する処理＞＞
続いて、図１０に戻って走行領域検出部５７が、基準画像Ｉａの所定の小領域群に含まれる小領域Ｐ_ｘｙから走行領域を検出する（ステップＳ８）。

＜度数を算出する処理＞
まず、図２０に示されるように度数算出部５７１が所定の小領域群に含まれる小領域Ｐ_ｘｙについて、基準画像Ｉａの座標ｘで表される小領域Ｐ_ｘｙのうち視差ｄ_ｘｙである小領域Ｐ_ｘｙの度数Ｃを算出する（ステップＳ８１）。既に説明したように度数算出部５７１によって算出された結果が図９に示されている。

＜度数を判定する処理＞
度数判定部５７２は度数算出部５７１によって算出された度数Ｃが閾値Ｃｐ以上であるか否かを判定する（ステップＳ８２）。＜度数算出部＞で説明したように被写体Ｓが建物等である小領域Ｐ_ｘｙに係る度数分布図上の度数Ｃは被写体Ｓが路面である小領域Ｐ_ｘｙに係る度数分布図上の度数Ｃより大きい。すなわち、度数Ｃが所定の閾値Ｃｐより大きいか否かを判定することにより小領域Ｐ_ｘｙが建物等を表すものであるか否かを判定することができる。

ここで、度数判定部５７２が、度数Ｃが所定の閾値Ｃｐより大きいか否かを判定する処理の詳細について図２１を用いて説明する。度数判定部５７２が判定する処理をするために、まず境界間小領域算出部５７４がエッジ候補検出部５５によって検出された左右の白線エッジ候補領域Ｐ_ｅ群の度数分布図上での近似直線ｌｉｎｅＬ３と近似直線ｌｉｎｅＲ３との二等分線ｌｉｎｅｈ３、近似曲線ｌｉｎｅＬ４と近似曲線ｌｉｎｅＲ４との二等分線ｌｉｎｅｈ４を含む線ｌｉｎｅｈ（図９参照）を算出する（ステップＳ８２１）。具体的には、境界間小領域算出部５７４は左白線エッジ候補領域Ｐ_ｅｒ、右白線エッジ候補領域Ｐ_ｅｒそれぞれのｘ座標、視差ｄを度数分布図に表示する。そして、図９に示されるように境界間小領域算出部５７４は左白線エッジ候補領域Ｐ_ｅｌの近似直線ｌｉｎｅＬ３と右白線エッジ候補領域Ｐ_ｅｒの近似直線ｌｉｎｅＲ３、及びそれらの二等分線ｌｉｎｅｈ３を算出する。また、図９に示されるように境界間小領域算出部５７４は左白線エッジ候補領域Ｐ_ｅｌの近似曲線ｌｉｎｅＬ４と右白線エッジ候補領域Ｐ_ｅｒの近似曲線ｌｉｎｅＲ４、及びそれらの二等分線ｌｉｎｅｈ４を算出する。以降の説明では、二等分線ｌｉｎｅｈ３および二等分線ｌｉｎｅｈ４を含む線をｌｉｎｅｈとし、ｌｉｎｅｈは度数分布図上で数式ｘ＝ｆ（ｄ）で表されるものとする。なお、ｌｉｎｅｈに対応する小領域Ｐ_ｘｙは所定の小領域の一例であり、境界間小領域算出部５７４は境界間小領域算出手段の一例である。

そして、度数判定部５７２は、座標（ｘ，ｄ）で表される度数分布図上で線分ｌｉｎｅｈ上にある座標（ｆ（ｄ），ｄ）（図９（ｉ）を参照）の度数Ｃについて（ステップＳ８２２）、Ｃ≧Ｃｐであるか否かを判定する（ステップＳ８２３）。ステップＳ８２３でＣ≧Ｃｐであると判定された場合、度数判定部５７２は度数分布図における座標（ｘ，ｄ）に対応する基準画像Ｉａ上の小領域Ｐ_ｘｙを建物等が表されているものであると判定する（ステップＳ８２４）。ステップＳ８２３でＣ≧Ｃｐでないと判定された場合、度数判定部５７２は度数分布図における座標ｘから１を減算した（ステップＳ８２５）座標（ｆ（ｄ）−１，ｄ）（図９（ii）を参照）に係る度数ＣについてＣ≧Ｃｐであるか否かを判定する（ステップＳ８２３）。

さらにＣ≧Ｃｐでないと判定された場合、度数判定部５７２は度数分布図における座標ｘから１を減算した（ステップＳ８２５）座標（ｆ（ｄ）−２，ｄ）（図９（iii）を参照）に係る度数ＣについてＣ≧Ｃｐであるか否かを判定する（ステップＳ８２３）。このように、順次、ｘ座標から１を減算しながら（ステップＳ８２５）度数Ｃについて判定を行い（ステップＳ８２３）、座標（ｆ（ｄ）−ｎ，ｄ）（図９（ｉｖ）を参照）に係る度数ＣについてＣ≧Ｃｐであると判定されたら、度数判定部５７２は座標ｘ＝ｆ（ｄ）−ｎ，視差ｄに対応する小領域Ｐ_ｘｙを建物等が表されているものであると判定する（ステップＳ８２４）。

ここで図９に示される度数分布図の具体例を用いて、度数判定部５７２が、度数Ｃが所定の閾値以上であるか否かを判定する処理について説明する。この具体例において上記の所定の閾値はＣｐ＝４であるとする。たとえば、度数分布図の視差ｄ＝１００についての処理は次のとおりである。度数判定部５７２は度数分布図上の二等分線ｌｉｎｅｈの視差ｄ＝１００に対応するｘ座標をｘ＝ｆ（１００）と算出する（ステップＳ８２２）。図９に示される具体例ではｘ＝ｆ（１００）＝９である。このとき度数判定部５７２は座標（ｘ，ｄ）＝（９，１００）（図９（ｉ）を参照）における度数ＣについてＣ≧Ｃｐであるか否かを判定する（ステップＳ８２３）。この具体例ではＣ＝１、Ｃｐ＝４であるため、Ｃ≧Ｃｐではないと判定される。

次に度数判定部５７２は座標ｘについて１を減算した（ステップＳ８２５）座標（ｘ，ｄ）＝（８，１００）（図９（ii）を参照）における度数ＣについてＣ≧Ｃｐであるか否かを判定する（ステップＳ８２３）。この処理を繰り返して座標（ｘ，ｄ）＝（３，１００）（図９（ｉｖ）を参照）における度数ＣについてＣ≧Ｃｐであるか否かを判定する（ステップＳ８２３）と、Ｃ＝６、Ｃｐ＝４であるためＣ≧Ｃｐであると判定される。これにより、度数判定部５７２は座標ｘ＝３、視差ｄ＝１００に対応する小領域Ｐ_ｘｙを建物等であると判定して（ステップＳ８２４）処理を終了する。建物等であると判定されたら、座標ｘ＝１〜２、視差ｄ＝１００における度数ＣがＣ≧Ｃｐであるか否かの判定は行わない。

上記において視差ｄ＝１００に係る処理を説明したが、度数分布図上の全ての視差ｄについて同様の処理を行う。また、上記においては線分ｌｉｎｅｈより左の座標（ｘ，ｄ）についての度数Ｃを処理の対象としていたが、ステップＳ８２５での処理を度数分布図における座標ｘに１を加算することによって線分ｌｉｎｅｈより右の座標（ｘ，ｄ）についての度数Ｃについても同様に建物等であるか否かを判定する。

＜検出する処理＞
検出部５７３は度数判定部５７２によって検出された左の物体領域Ｐ_ｂｒおよび右の物体領域Ｐ_ｂｒの間にある小領域Ｐ_ｘｙを走行領域として検出する。

このように、度数分布図において決定された線分ｌｉｎｅｈ上の座標（ｘ，ｄ）についての度数Ｃからｘ軸方向端部の座標（１，ｄ）に向かって順に建物等であるか否かを判定する処理を行う。そして、ある座標（ｘ，ｄ）に係る度数Ｃについて建物等であると判定されたら、該座標（ｘ，ｄ）より端部の座標（ｘ，ｄ）に係る度数Ｃについての判定を行わない。これによって、たとえば図４（１）に示される部分Ｂ、すなわちカーブの方向が右である場合の左側の部分については路面であるか否かの判定が行われない。そのため、ノイズ等による誤検出を防ぐことができ、画像内に撮像されている路面を高い精度で検出することができる。

〔実施形態の補足〕
上記の実施形態においては、度数判定部５７２は度数分布図上の線分ｌｉｎｅｈにあたる座標（ｆ（ｄ），ｄ）から端部の座標（１，ｄ）に向かって順に各座標（ｘ，ｄ）に対応する度数Ｃが閾値Ｃｐ以上であるか否かを判定している。しかし、線分ｌｉｎｅｈではなく近似直線ｌｉｎｅＬ３と近似直線ｌｉｎｅＲ３の間にある所定の座標（ｘ，ｄ）から端部の座標（１，ｄ）に向かって順に各座標（ｘ，ｄ）に対応する度数Ｃが閾値Ｃｐ以上であるか否かを判定してもよい。

また、消失点検出部５８２によって検出された消失点Ｐ_ｖに基づいて上述の判定を行ってもよい。具体的には、度数分布図において最も大きいｄ_ｘｙ座標に係る小領域Ｐ_ｘｙのうち中央に位置する小領域Ｐ_ｘｙと、消失点Ｐ_ｖとを結んだ線分ｌｉｎｅｈ’をｌｉｎｅｈの代わりに用いる。消失点Ｐ_ｖは無限遠に存在するものであるからｄ＝０であること及び消失点検出部５８２によって消失点Ｐ_ｖのｘ座標が検出されていることから、図９に示されるように度数分布図上の消失点の位置Ｐ_ｖは度数分布図上に表すことができ、これによりｌｉｎｅｈ’を算出すればよい。

また、判定部５８３によってカーブ方向が判定された場合、カーブ方向に応じて上述の判定を行ってもよい。具体的には、カーブ方向判定部５８によって路面が右方向にカーブしていると判定された場合、度数分布図上に表された消失点Ｐ_ｖを通りｌｉｎｅＬ３に平行な線分ｌｉｎｅｈ’’を算出し、これをｌｉｎｅｈの代わりに用いる。なお、ここではｌｉｎｅＬ３に平行な線分を用いているが、これに限るものではなく、カーブ方向に傾きをもつ線分を広く用いることが可能である。また、カーブ方向判定部５８によって路面が右方向にカーブしていると判定された場合、度数分布図上に表された消失点Ｐ_ｖを通りｌｉｎｅＲ３に平行な線分ｌｉｎｅｈ’’を算出し、これをｌｉｎｅｈの代わりに用いる。

このように度数判定部５７２は、消失点Ｐ_ｖに基づいて度数Ｃが所定の値Ｃｐ以上であるか否かを判定するため、近似曲線ｌｉｎｅＬ４と近似曲線ｌｉｎｅＲ４が正確に算出されないことがあっても、走行領域検出部５７は効率的に走行領域を検出することができる。

なお、上記消失点に基づいた判定においては、消失点と度数分布図におけるｄ_ｘｙ座標が最も大きい小領域Ｐ_ｘｙによって算出される線分を用いているが、ｄ_ｘｙ座標が最も大きい小領域Ｐ_ｘｙである必要はなく、度数分布図におけるｄ_ｘｙ座標が所定の値となる小領域Ｐ_ｘｙを線分ｌｉｎｅｈ’の算出に用いてもよい。ここでの所定の値とは、経験的に定められる最大の視差ｄ_ｘｙ等である。

図９の視差分布図に表されるように、ｄ_ｘｙ座標が大きい小領域Ｐ_ｘｙにおいてはｌｉｎｅＬ３、ＬｉｎｅＲ３が存在しない場合がある。このような場合に度数判定部５７２が既に説明した判定をしても判定部５７２を実現するＣＰＵ３２の負荷が高くなってしまう。したがって、このような場合にはｄ_ｘｙ座標が所定の値未満となる小領域Ｐ_ｘｙのみに対して度数判定部５７２が判定をすることによって効率的に処理することができる。これにより、画像処理装置のＣＰＵ３２等の負荷を軽減することが可能となる。

また、線分ｌｉｎｅｈではなく左白線エッジ候補画素Ｐ_ｅｌの近似直線ＬｉｎｅＬ３上の座標から端部の座標（１，ｄ）に向かって順に各座標（ｘ，ｄ）に対応する順に各座標（ｘ，ｄ）に対応する度数Ｃが閾値Ｃｐ以上であるか否かを判定してもよい。左白線エッジ候補領域Ｐ_ｅｌと右白線エッジ候補領域Ｐ_ｅｒの度数分布図における座標の間にある座標（ｘ，ｄ）に係る小領域Ｐ_ｘｙは建物等でないことが想定される。そのため、度数分布図において左白線エッジ候補領域Ｐ_ｅｌと右白線エッジ候補領域Ｐ_ｅｒの間にない座標（ｘ，ｄ）の度数Ｃのみについて閾値Ｃｐ以上であるか否かを判定する処理を行えばＣＰＵの負荷を削減することが可能となる。

図２２は画像処理システム１の機能構成図の他の例である。上記の実施形態において、白線視差決定部５６は図２２に示されるように白線確度決定部５６３を有することによって、白線エッジ候補領域Ｐ_ｅが白線エッジを表す小領域である確からしさ（以降、白線確度という。）を判定するとしてもよい。ここで、白線確度決定部５６３が白線確度を判定する処理について図２３を用いて説明する。図２３は図６に示される図と同様であり、エッジ候補検出部５５によって検出された白線エッジ候補領域Ｐ_ｅ群のうち、一の白線エッジ候補領域Ｐ_ｅ、及びその白線エッジ候補領域Ｐ_ｅに隣接する３つの小領域Ｐ_ｅ１、Ｐ_ｅ２、Ｐ_ｅ３に符号を付したものである。図２３は、基準画像Ｉａの一部を拡大した図である。

まず、白線確度決定部５６３はステップＳ４またはステップＳ５で図２３（１）に示されるエッジ候補領域Ｐ_ｅが検出されたら、図２３（２）に示される白線エッジ候補領域Ｐ_ｅとｘ軸方向に外側で隣接する３つの小領域Ｐ_ｅ１、Ｐ_ｅ２、Ｐ_ｅ３について視差を比較する。具体的には、白線エッジ候補領域Ｐ_ｅの視差ｄ_ｅと、小領域Ｐ_ｅ１、Ｐ_ｅ２、Ｐ_ｅ３の視差ｄ_ｅ１、ｄ_ｅ２、ｄ_ｅ３それぞれとの差ｄ_ｅ−ｄ_ｅ１、ｄ_ｅ−ｄ_ｅ２、ｄ_ｅ−ｄ_ｅ３（それぞれ、以降においては視差差分Δｄ_１、Δｄ_２、Δｄ_３という）を算出する。そして、視差差分Δｄ_１、Δｄ_２、Δｄ_３それぞれが所定の値、たとえば１０以下であるか否かを判定する。図２３（２）に示される例においてはｄ_ｅ＝１３２、ｄ_ｅ１＝１３０、ｄ_ｅ２＝１２８、ｄ_ｅ３＝１３２であるから、Δｄ_１＝１３２−１３０＝２、Δｄ_２＝１３２−１２８＝４、Δｄ_３＝１３２−１３２＝０となる。そして、これらの値が所定の値以下、すなわち１０以下であるか否かを判定する。

視差差分Δｄ_１、Δｄ_２、Δｄ_３がいずれも所定の値以下である場合、白線確度決定部５６３は、白線エッジ候補領域Ｐ_ｅが白線領域Ｐ_ｗであると判定する。また、視差差分Δｄ_１、Δｄ_２、Δｄ_３のいずれかが所定の範囲でない場合、白線確度決定部５６３は、白線エッジ候補領域Ｐ_ｅが白線領域Ｐ_ｗではないと判定する。図２３に示される例においては、上述のとおり視差差分Δｄ_１、Δｄ_２、Δｄ_３はいずれも１０以下であるため白線確度決定部５６３は、白線エッジ候補領域Ｐ_ｅが白線領域Ｐ_ｗであると判定する。さらに、これらの判定を全ての白線エッジ候補領域Ｐ_ｅについて行い、白線領域Ｐ_ｗであると判定されたエッジ候補領域Ｐ_ｅのみを用いて回帰直線算出部５６１が回帰直線を算出する処理を行う。

路面における白線はｘ軸方向に幅がある帯状の部分である。そのため、白線エッジ候補領域Ｐ_ｅから所定の幅（上記の例ではｘ軸方向に隣接する３つの小領域Ｐ_ｘｙ）における視差ｄ_ｅ１、ｄ_ｅ２、ｄ_ｅ３が白線エッジ候補領域Ｐ_ｅにおける視差ｄ_ｅに近似している値である場合、これらの小領域Ｐ_ｘｙが表す被写体Ｓは互いに近傍にあることを表している。すなわち白線エッジ候補領域Ｐ_ｅが路面上にある白線を表すものである確度が高いと考えられる。よって、このような確度が高い白線エッジ候補領域Ｐ_ｅのみを用いることによって走行領域検出部５７はより精度の高い路面判定を行うことが可能となる。

なお、上記の例では隣接する３つの小領域を用いて、白線エッジ候補領域Ｐ_ｅの確度を判定したが、撮像レンズ１１ａおよび撮像レンズ１１ｂの画角、解像度、白線の種類等により判定に用いられる小領域の数を決定するのが好ましい。

また、本実施形態では、基準画像Ｉａのｙ座標一定の小領域Ｐ_ｘｙ群において、中央の小領域Ｐ_ｘｙから左端の小領域Ｐ_ｘｙに向けて順に、エッジ候補検出部５５が輝度差ΔＬの算出及び判定を行うとしているが、中央の小領域Ｐ_ｘｙから所定数の小領域Ｐ_ｘｙおきに左端の小領域Ｐ_ｘｙに向けて輝度差ΔＬの算出及び判定を行うとしてもよい。

また、本実施形態では白線エッジを検出する処理を行っているが、ここで検出する対象は白色の帯状の部分ではなく、路面において車道と歩道の境界、または車線間の境界を表すために用いられる他の色の帯状の部分であってもよい。

また、本実施形態の＜エッジ候補領域の第一の検出処理＞では、エッジ候補検出部５５は基準画像Ｉａの中央にある小領域Ｐ_ｘｙ（ｘ座標６４０に位置する小領域）からｘ軸方向に左端及び右端の小領域Ｐ_ｘｙに向けて順に輝度差ΔＬの算出及び輝度差ΔＬに基づく判定を行っている。しかし、エッジ候補検出部５５は中央の小領域Ｐ_ｘｙではなく他の小領域Ｐ_ｘｙから順に算出及び判定を行ってもよい。基準画像Ｉａの特徴に応じてエッジ候補領域Ｐ_ｅが早く検出できるように算出及び判定を行うように適宜設定することが好ましい。

また、本実施形態においては撮像装置１０、信号変換装置２０及び画像処理装置３０が一つの筐体として構成されている。しかし、別の筐体として独立したステレオカメラが撮像装置１０及び信号変換装置２０を有し、画像処理装置３０が別の筐体として構成されてもよい。

また、本実施形態では画像処理システム１を自動車に搭載するものとしているが、自動車の他に車両、船舶、航空機、または産業用ロボット等を例とする移動装置に搭載してもよい。

１ 画像処理システム
１０ 撮像装置
１１ 撮像レンズ
１２ 絞り
１３ 画像センサ
２０ 信号処理部
２１ ＣＤＳ
２２ ＡＧＣ
２３ ＡＤＣ
２４ フレームメモリ
３０ 画像処理装置
３１ ＤＳＰ
３２ ＣＰＵ
３３ ＲＯＭ
３４ ＲＡＭ
５０ 画像処理部
５１ 撮像部
５２ 信号変換部
５３ 視差算出部
５５ エッジ候補検出部
５６ 白線視差決定部
５６１ 回帰直線算出部
５６２ 決定部
５７ 走行領域検出部
５７１ 度数算出部
５７２ 度数判定部
５７３ 検出部
５８ カーブ方向判定部
５８１ 直線交点検出部
５８２ 消失点検出部
５８３ 判定部

特開平５−２６５５４７号公報 Proceedings of the fifth international Conference on 3D Digital Imaging and Modeling 1550-6185/05 $20.00 2005 IEEE

Claims (11)

1. 複数の境界が撮像された複数の画像を処理する画像処理装置であって、
   前記画像に撮像されている境界領域を検出する境界領域検出手段と、
   複数の前記画像を構成する小領域の視差を算出する視差算出手段と、
   前記視差算出手段によって算出された前記視差について、前記画像の水平方向の位置ごとに前記小領域の視差の度数を算出する度数算出手段と、
   前記境界領域検出手段によって検出された２つの境界領域の間にある所定の小領域である境界間小領域を算出する境界間小領域算出手段と、
   前記境界間小領域から前記画像内における水平方向の端部の小領域に向かって、前記度数に基づいて走行領域を検出する走行領域検出手段と、
   を有することを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記境界間小領域は鉛直方向の位置が同じ２つの前記境界領域の中点であることを特徴とする画像処理装置。
3. 請求項１に記載の画像処理装置であって、
   前記境界間小領域は前記境界領域であることを特徴とする画像処理装置。
4. 請求項１乃至３のいずれか一項に記載の画像処理装置であって、
   前記度数算出手段によって算出された前記度数が所定の値以上であるか否かを判定する度数判定手段を有し、
   前記度数判定手段によって前記度数が所定の値以上であると判定された前記小領域を物体領域とし、
   前記画像内における左側の物体領域と右側の物体領域の間にある小領域を前記走行領域として検出することを特徴とする画像処理装置。
5. 請求項１乃至４のいずれか一項に記載の画像処理装置であって、
   前記境界領域検出手段は、
   前記画像を形成する画素の輝度に基づいて、前記境界領域を検出することを特徴とする画像処理装置。
6. 請求項１乃至５のいずれか一項に記載の画像処理装置であって、
   前記境界領域検出手段は、
   隣接する画素の輝度の差が所定の閾値以上である画素がある小領域を境界領域の候補として検出することを特徴とする画像処理装置。
7. 請求項１乃至６のいずれか一項に記載の画像処理装置であって、
   前記境界領域検出手段によって検出された２つの境界領域の交点である消失点を検出する消失点検出手段を有し、
   前記消失点検出手段は、前記消失点検出手段によって前記画像が撮像された時刻の所定の時間前に撮像された画像において検出された消失点に基づいて、前記画像の境界領域を検出することを特徴とする画像処理装置。
8. 複数の境界が撮像された複数の画像を処理する画像処理装置が実行する画像処理方法であって、
   前記画像に撮像されている境界領域を検出する境界領域検出工程と、
   複数の前記画像を構成する小領域の視差を算出する視差算出工程と、
   前記視差算出工程によって算出された前記視差について、前記画像の水平方向の位置ごとに前記小領域の視差の度数を算出する度数算出工程と、
   前記境界領域検出工程によって検出された２つの境界領域の間にある所定の小領域である境界間小領域を算出する境界間小領域算出工程と、
   前記境界間小領域から前記画像内における水平方向の端部の小領域に向かって、前記度数に基づいて走行領域を検出する走行領域検出工程と、
   を含むことを特徴とする画像処理方法。
9. コンピュータに、請求項８に記載の画像処理方法を実行させる画像処理プログラム。
10. 画像を撮像する撮像装置と、
    複数の境界が撮像された複数の画像を処理する画像処理装置であって、
    前記画像に撮像されている境界領域を検出する境界領域検出手段と、
    複数の前記画像を構成する小領域の視差を算出する視差算出手段と、
    前記視差算出手段によって算出された前記視差について、前記画像の水平方向の位置ごとに前記小領域の視差の度数を算出する度数算出手段と、
    前記境界領域検出手段によって検出された２つの境界領域の間にある所定の小領域である境界間小領域を算出する境界間小領域算出手段と、
    前記境界間小領域から前記画像内における水平方向の端部の小領域に向かって、前記度数に基づいて走行領域を検出する走行領域検出手段と、
    を有する画像処理装置と、
    を含むことを特徴とする画像処理システム。
11. 請求項１乃至７のいずれか一項に記載の画像処理装置または請求項１０に記載の画像処理システムを有することを特徴とする移動装置。

Images