JP2015184900A - 境界検出装置および境界検出方法 - Google Patents

Abstract

【課題】段差面の境界を精度よく検出することができる境界検出装置および境界検出方法を提供する。【解決手段】車両周囲環境を撮像した情報に基づいて視差画像を取得する取得部と、視差画像を構成する各々の画素領域４，６における視差勾配方向φ１，φ３に基づいて各々の画素領域から所定の画素領域７を抽出する抽出部と、抽出部によって抽出された複数の所定の画素領域の少なくとも一部を繋ぎ合わせることによって走路に沿って存在する段差面の境界を検出する検出部と、を備え、所定の画素領域は、所定の画素領域を挟む一方側の領域（例えば、Ｐｔｌ）の視差勾配方向φ３と、他方側の領域（例えば、Ｐｔｒ）の視差勾配方向φ１とのなす角度が、直角から所定角度範囲内である画素領域である。【選択図】図６

Description

本発明は、境界検出装置および境界検出方法に関する。

従来、画像から物体を判別する方法がある。例えば、特許文献１には、判別対象物の視差画像の各地点における面の勾配を求め、該面の勾配の連なり状況から、視差画像における面の折れ目の位置とその折れ目の方向をその判別対象物の特徴情報として抽出し、抽出した特徴情報に基づいて、判別対象物の種類を判別する物体判別方法の技術が開示されている。

特開２０１３−１１４４７６号公報

視差画像に基づいて、段差面の境界を精度よく検出できることが望まれている。例えば、視差値が変化する点を境界として検出することが考えられる。しかしながら、遠方を撮像した領域では、視差値が小さな値となる。これにより、遠方を撮像した領域では、視差値の変化点を境界として抽出しようとしても、精度よく抽出することが困難である。

本発明の目的は、段差面の境界を精度よく検出することができる境界検出装置および境界検出方法を提供することである。

本発明の境界検出装置は、車両周囲環境を撮像した情報に基づいて視差画像を取得する取得部と、前記視差画像を構成する各々の画素領域における視差勾配方向に基づいて前記各々の画素領域から所定の画素領域を抽出する抽出部と、前記抽出部によって抽出された複数の前記所定の画素領域の少なくとも一部を繋ぎ合わせることによって走路に沿って存在する段差面の境界を検出する検出部と、を備え、前記所定の画素領域は、前記所定の画素領域を挟む一方側の領域の前記視差勾配方向と、他方側の領域の前記視差勾配方向とのなす角度が、直角から所定角度範囲内である画素領域であることを特徴とする。

上記境界検出装置において、前記所定の画素領域は、第一方向において前記所定の画素領域を挟んで位置する２つの画素領域の前記視差勾配方向のなす角度が、直角から所定角度範囲内であり、かつ、前記第一方向と略直交する第二方向において前記所定の画素領域を挟んで位置する２つの画素領域の前記視差勾配方向のなす角度が、直角から所定角度範囲内である画素領域であることが好ましい。

上記境界検出装置において、前記抽出部は、前記第一方向において前記所定の画素領域を挟んで位置する２つの画素領域の前記視差勾配方向と、前記第二方向において前記所定の画素領域を挟んで位置する２つの画素領域の前記視差勾配方向とに基づいて、前記所定の画素領域が前記段差面の上側および下側の何れの境界を構成するかを分類し、前記検出部は、前記段差面の上側の境界に分類された前記所定の画素領域同士、および前記段差面の下側の境界に分類された前記所定の画素領域同士を繋ぎ合わせることが好ましい。

上記境界検出装置において、前記抽出部は、前記第一方向において前記所定の画素領域を挟んで位置する２つの画素領域の前記視差勾配方向と、前記第二方向において前記所定の画素領域を挟んで位置する２つの画素領域の前記視差勾配方向とに基づいて、前記所定の画素領域が走路の左右何れの側に位置する前記段差面の境界であるかを分類し、前記検出部は、左側に位置する前記段差面の境界に分類された前記所定の画素領域同士、および右側に位置する前記段差面の境界に分類された前記所定の画素領域同士を繋ぎ合わせることが好ましい。

本発明の境界検出方法は、車両周囲環境を撮像した情報に基づいて視差画像を取得する取得手順と、前記視差画像を構成する各々の画素領域における視差勾配方向に基づいて前記各々の画素領域から所定の画素領域を抽出する抽出手順と、前記抽出手順によって抽出された複数の前記所定の画素領域の少なくとも一部を繋ぎ合わせることによって走路に沿って存在する段差面の境界を検出する検出手順と、を備え、前記所定の画素領域は、前記所定の画素領域を挟む一方側の領域の前記視差勾配方向と、他方側の領域の前記視差勾配方向とのなす角度が、直角から所定角度範囲内である画素領域であることを特徴とする。

本発明に係る境界検出装置は、車両周囲環境を撮像した情報に基づいて視差画像を取得する取得部と、視差画像を構成する各々の画素領域における視差勾配方向に基づいて各々の画素領域から所定の画素領域を抽出する抽出部と、抽出部によって抽出された複数の所定の画素領域の少なくとも一部を繋ぎ合わせることによって走路に沿って存在する段差面の境界を検出する検出部と、を備える。

所定の画素領域は、所定の画素領域を挟む一方側の領域の視差勾配方向と、他方側の領域の視差勾配方向とのなす角度が、直角から所定角度範囲内である画素領域である。本発明に係る境界検出装置によれば、段差面の境界を精度よく検出することができ、例えば、遠方を撮像した画像領域においても段差面の境界を精度よく検出することができるという効果を奏する。

図１は、実施形態に係る動作を示すフローチャートである。 図２は、実施形態に係る境界検出装置の概略構成を示すブロック図である。 図３は、画像データの一例を示す図である。 図４は、距離画像の一例を示す図である。 図５は、視差勾配方向の説明図である。 図６は、所定の画素領域の抽出方法を説明する図である。 図７は、視差勾配方向を示す他の図である。 図８は、上端領域の抽出結果の一例を示す図である。 図９は、下端領域の抽出結果の一例を示す図である。 図１０は、直線当てはめ処理についての説明図である。 図１１は、境界線の検出結果の一例を示す図である。 図１２は、実施形態の第４変形例に係る視差画像を示す図である。 図１３は、実施形態の第４変形例に係るウィンドウを示す図である。 図１４は、実施形態の第５変形例に係る説明図である。

以下に、本発明の実施形態に係る境界検出装置および境界検出方法につき図面を参照しつつ詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記の実施形態における構成要素には、当業者が容易に想定できるものあるいは実質的に同一のものが含まれる。

［第１実施形態］
図１から図１１を参照して、第１実施形態について説明する。本実施形態は、境界検出装置および境界検出方法に関する。図１は、本発明の実施形態に係る動作を示すフローチャート、図２は、実施形態に係る境界検出装置の概略構成を示すブロック図、図３は、画像データの一例を示す図、図４は、距離画像の一例を示す図、図５は、視差勾配方向の説明図、図６は、所定の画素領域の抽出方法を説明する図、図７は、視差勾配方向を示す他の図、図８は、上端領域の抽出結果の一例を示す図、図９は、下端領域の抽出結果の一例を示す図、図１０は、直線当てはめ処理についての説明図、図１１は、境界線の検出結果の一例を示す図である。

本実施形態の境界検出装置および境界検出方法は、距離画像に基づいて縁石や歩道帯縁、側溝など、主にステップ状に高さが変化する道路境界位置を検出する。縁石等の道路境界を検出するためには、距離画像から高さ情報を算出し、高さ変化のある場所を抽出する手法が用いられることがある。しかしながら、縁石の上面と道路面との高さの差は１０〜２０ｃｍ程度と小さく、距離画像自身にも誤差が含まれることから、遠方の縁石を精度よく検出することは難しい。本実施形態の境界検出装置および境界検出方法は、このような課題に対し、縁石等の段差で構成される道路境界を距離画像から直接抽出する手法を開示する。

図２に示す境界検出装置１は、立体走路境界を検出するものであり、例えば、車両１００に搭載され、車両１００の前方の立体走路境界を検出する。本明細書において、立体走路境界とは、走路に沿って存在する段差面の境界である。境界としては、段差面の上端の角部や、下端の隅部が典型的である。段差面の典型的なものとしては、走路に沿って配置された縁石の側面が挙げられる。本実施形態では、縁石の側面の上端および下端の境界線を立体走路境界として検出する場合を例に説明する。

図２に示すように、本実施形態に係る境界検出装置１は、画像取得部１１と、距離データ取得部１２と、段差候補点抽出部１３と、座標変換部１４と、道路境界線検出部１５とを含んで構成されている。本実施形態では、距離データ取得部１２が取得部として機能し、段差候補点抽出部１３が抽出部として機能し、道路境界線検出部１５が検出部として機能する。

車両１００には、右カメラ２および左カメラ３が搭載されている。右カメラ２および左カメラ３は、それぞれ車両周囲環境を撮像する。本実施形態の右カメラ２および左カメラは、車両１００の前部に搭載され、車両１００の前方の環境を撮像する。本実施形態の右カメラ２および左カメラ３は、ステレオカメラを構成する。右カメラ２および左カメラ３は、車両１００の車幅方向において隣接して配置されており、互いの光軸が平行となっている。

右カメラ２および左カメラ３が同時あるいは近接したタイミングで撮像することにより、ステレオ画像が生成される。右カメラ２および左カメラ３によって撮像され、生成された画像データは、それぞれ画像取得部１１に送られる。画像取得部１１は、ステレオ構成の左右カメラ２，３から同じタイミングで輝度画像を取得する。画像取得部１１は、右カメラ２および左カメラ３に対して同期したタイミングで撮像させる撮像指令信号を出力する。画像取得部１１は、例えば、予め定められたフレームレートで右カメラ２および左カメラ３にそれぞれ車両前方を撮像させる。また、画像取得部１１は、右カメラ２および左カメラ３によって生成された画像情報を取得する。各カメラ２，３が生成する画像情報は、例えば、各画素の画像上における位置と、その画素の輝度や色の情報とを関連づけたものである。なお、画像取得部１１は、例えば、下記の参考文献１に記載された方法を用いるようにしてもよい。
（参考文献１）A. Geiger, M. Roser and R. Urtasun, \Ecient large-scale stereo matching“, Proc. Asian Conf. on Computer Vision, Queenstown, New Zealand, November 2010.

距離データ取得部１２は、車両周囲環境を撮像した情報に基づいて視差画像を取得する取得部としての機能を有する。距離データ取得部１２は、取得した左右カメラ２，３の画像から同一点の対応付けを行い３次元の距離情報である視差を算出する。言い換えると、距離データ取得部１２は、右カメラ２によって生成された画像情報と左カメラ３によって生成された画像情報とに基づいて、距離データを算出し、視差画像を取得する。なお、本明細書では、右カメラ２によって生成された画像情報を「右画像情報」と称し、左カメラ３によって生成された画像情報を「左画像情報」と称する。距離データ取得部１２は、例えば、右画像情報の着目画素に対応する画素（以下、単に「対応画素」と称する。）を左画像情報から抽出する。対応画素は、左画像情報の各画素のうち、最も着目画素との相関度合が高い画素である。距離データ取得部１２は、右画像情報における着目画素の位置と、左画像情報における対応画素の位置との間のシフト量を当該画素の視差の値（大きさ）として算出する。

距離データ取得部１２は、右画像情報の各画素について、当該画素の視差の値を算出し、算出された視差の値を当該画素の位置と関連づける。距離データ取得部１２は、例えば、上記の参考文献１に記載された方法を用いて視差画像を取得するようにしてもよい。視差画像は、上記のようにして得られた、画像上の各画素の視差の値を示す情報である。図３には、画像情報の一例として、左画像情報が示されている。図４には、図３の左画像情報と、これに対応する右画像情報とに基づいて生成された距離画像（視差画像）が示されている。視差の値は、カメラ２，３からの距離が近いものほど大きくなる。図４に示す視差画像では、視差の値が大きい画素、すなわちカメラ２，３との距離が小さい撮像対象を撮像した画素は輝度が小さく（黒っぽく）示されている。一方、視差の値が小さい画素、すなわちカメラ２，３との距離が大きい撮像対象を撮像した画素は輝度が大きく（白っぽく）示されている。視差画像を示す他の図においても、視差の値が同様に表現されている。

段差候補点抽出部１３は、視差画像を構成する各々の画素領域における視差勾配方向に基づいて各々の画素領域から所定の画素領域を抽出する抽出部としての機能を有する。本実施形態の段差候補点抽出部１３は、距離データである視差画像からステップ状の段差候補点を抽出する。

まず、図５を参照して、視差勾配方向について説明する。図５には、視差画像の一部が模式的に示されている。図５に示す画像には、路面領域４と、歩道領域５と、段差面領域６とが含まれている。路面領域４は、視差画像に含まれる各々の画像領域のうち、車両１００の前方の路面を撮像した領域である。歩道領域５は、路面に隣接する歩道を撮像した領域である。図５の歩道領域５は、走路の路面に対して車幅方向の左側に設けられた歩道の上面を撮像したものである。段差面領域６は、路面と歩道の上面とを接続する面を撮像した領域であり、例えば縁石の側面を撮像した領域である。本実施形態の段差面領域６は、路面や歩道の上面と直交する面や、略直交する面を撮像した領域である。

なお、視差画像において、車幅方向は画像横方向に対応している。以下の説明では、視差画像における位置を説明する場合、特に記載しない限り、「横方向」とは画像横方向を示し、「縦方向」とは画像縦方向を示すものとする。また、視差画像における位置の説明において、「左側」および「右側」とは、画像横方向における左側および右側を示し、「上側」および「下側」とは、画像縦方向における上側および下側を示すものとする。

図５に示す等視差線９は、視差画像における視差の値が等しい画素を結ぶ線である。図５に示すように、路面領域４および歩道領域５では、画像横方向に沿って等視差線９を引くことができる。路面領域４および歩道領域５では、等視差線９と直交する方向、すなわち画像縦方向において、視差の値の変化度合が最も大きい。例えば、路面領域４および歩道領域５では、画像上で所定距離離れた画素同士の視差の値の変化量を算出した場合、様々な方向のうち、等視差線９と直交する方向に並んだ画素同士の視差の値の変化量が最も大きい。また、路面領域４および歩道領域５では、画像縦方向の下側へ向かうに従い視差の値が大きくなる。つまり、路面領域４および歩道領域５では、画像縦方向の上側から下側へ向かう場合に、視差の値の増加度合が最も大きくなる。本明細書では、このように、視差画像において視差の値の増加度合が最も大きい方向を「視差勾配方向」と称する。

本実施形態では、視差画像における視差勾配方向を角度φ［ｒａｄ］で表す。視差勾配方向φの角度は、画像横方向の右側に向かう方向を０［ｒａｄ］とする反時計回りの角度である。従って、路面領域４の視差勾配方向φ１および歩道領域５の視差勾配方向φ２は、それぞれπ／２となる。

段差面領域６では、画像縦方向に沿って等視差線９を引くことができる。段差面領域６では、等視差線９と直交する方向、すなわち画像横方向において、視差の値の変化度合が最も大きい。また、路面に対して左側にある段差面を撮像した段差面領域６では、画像横方向の左側へ向かうに従い視差の値が大きくなる。つまり左側の段差面領域６では、画像横方向の右側から左側へ向かう場合に、視差の値の増加度合が最も大きくなる。従って、左側の段差面領域６の視差勾配方向φ３は、πとなる。

このように、水平面を撮像した２つの領域４，５と、２つの水平面を接続する段差面を撮像した段差面領域６とでは、視差勾配方向φが直交ないし略直交することになる。本実施形態の境界検出装置１は、隣接する領域同士の視差勾配方向φの変化に基づいて、立体走路境界を検出する。

具体的には、段差候補点抽出部１３は、下側境界線７や上側境界線８を構成する画素の候補となる画素領域を抽出する。ここで、下側境界線７は、段差面領域６と路面領域４との境界を撮像した画素領域である。言い換えると、下側境界線７は、路面と段差面との間の凹状の屈曲部を撮像した画素領域である。上側境界線８は、段差面領域６と歩道領域５との境界を撮像した画素領域である。言い換えると、上側境界線８は、歩道の上面と段差面との間の凸状の屈曲部を撮像した画素領域である。

図６を参照して抽出方法について説明する。図６には、着目画素Ｐｔと、着目画素Ｐｔの周辺の左側画素Ｐｔｌ、右側画素Ｐｔｒ、上側画素Ｐｔｕ、および下側画素Ｐｔｄが示されている。本実施形態では、着目画素Ｐｔと、周辺の各画素Ｐｔｌ，Ｐｔｒ，Ｐｔｕ，Ｐｔｄとの距離（画素数）Δは、同一である。つまり、左側画素Ｐｔｌは、着目画素Ｐｔに対して左側に距離Δだけ離れた画素であり、右側画素Ｐｔｒは、着目画素Ｐｔに対して右側に距離Δだけ離れた画素である。上側画素Ｐｔｕは、着目画素Ｐｔに対して上側に距離Δだけ離れた画素であり、下側画素Ｐｔｄは、着目画素Ｐｔに対して下側に距離Δだけ離れた画素である。段差候補点抽出部１３は、各画素Ｐｔｌ，Ｐｔｒ，Ｐｔｕ，Ｐｔｄから決まるウィンドウｗ内の視差勾配方向φの変化量に基づいて、着目画素Ｐｔが境界線７，８上の画素であるか否かを判定する。

図６に示すように着目画素Ｐｔが下側境界線７上の画素である場合、左側画素Ｐｔｌおよび上側画素Ｐｔｕはそれぞれ段差面領域６内の画素であり、右側画素Ｐｔｒおよび下側画素Ｐｔｄは、それぞれ路面領域４内の画素である。従って、左側画素Ｐｔｌおよび上側画素Ｐｔｕの視差勾配方向φはπである。一方、右側画素Ｐｔｒおよび下側画素Ｐｔｄの視差勾配方向φはπ／２である。つまり、視差画像の任意の画素を着目画素Ｐｔとした場合に、左側画素Ｐｔｌおよび上側画素Ｐｔｕの視差勾配方向φがπもしくはπの近傍の角度であり、右側画素Ｐｔｒおよび下側画素Ｐｔｄの視差勾配方向φがπ／２もしくはπ／２の近傍の角度である場合、当該着目画素Ｐｔは下側境界線７を構成する画素の候補とすることができる。

段差候補点抽出部１３は、視差画像の各画素を着目画素Ｐｔとして、着目画素Ｐｔの周辺にある左側画素Ｐｔｌ、右側画素Ｐｔｒ、上側画素Ｐｔｕ、および下側画素Ｐｔｄの視差勾配方向φを算出し、これらの視差勾配方向φの値や視差勾配方向φの組み合わせに基づいて、下側境界線７の候補点を抽出する。なお、本明細書では、段差面の境界を構成する画素の候補として抽出された画素や画素領域を「段差候補点」と称する。段差候補点は、抽出部によって抽出される所定の画素領域の一例である。

同様にして、段差候補点抽出部１３は、左側画素Ｐｔｌ、右側画素Ｐｔｒ、上側画素Ｐｔｕ、および下側画素Ｐｔｄの視差勾配方向φの値やその組み合わせに基づいて、上側境界線８を構成する画素の候補を抽出する。図７から分かるように、左側画素Ｐｔｌおよび上側画素Ｐｔｕの視差勾配方向φがπ／２もしくはπ／２の近傍の角度であり、かつ右側画素Ｐｔｒおよび下側画素Ｐｔｄの視差勾配方向φがπもしくはπ近傍の角度である着目画素Ｐｔを上側境界線８を構成する画素の候補とするようにすればよい。

また、図７を参照して説明するように、路面に対して右側に存在する段差面についても、段差候補点を抽出することができる。図７には、図６に示す各領域４，５，６に加えて、歩道領域２０および段差面領域２１が示されている。歩道領域２０は、視差画像のうち、車両１００の前方の路面に対して車幅方向の右側に配置された歩道を撮像した領域である。段差面領域２１は、視差画像のうち、車両１００の前方の路面と右側の歩道の上面とを接続する段差面を撮像した領域である。下側境界線２３は、路面領域４と右側の段差面領域２１との境界を撮像した画素領域である。上側境界線２２は、右側の段差面領域２１と歩道領域２０との境界を撮像した画素領域である。

右側の歩道領域２０の視差勾配方向φ４は、π／２であり、右側の段差面領域２１の視差勾配方向φ５は０である。路面の右側にある段差については、着目画素Ｐｔが境界線２２，２３上の画素である場合、左側画素Ｐｔｌと下側画素Ｐｔｄの視差勾配方向φが等しくなり、右側画素Ｐｔｒと上側画素Ｐｔｕの視差勾配方向φが等しくなる。例えば、着目画素Ｐｔが下側境界線２３上にある場合、左側画素Ｐｔｌと下側画素Ｐｔｄの視差勾配方向φがπ／２もしくはπ／２の近傍の角度となり、右側画素Ｐｔｒと上側画素Ｐｔｕの視差勾配方向φが０もしくは０の近傍の角度となる。また、着目画素Ｐｔが上側境界線２２上にある場合、左側画素Ｐｔｌと下側画素Ｐｔｄの視差勾配方向φが０もしくは０の近傍の角度となり、右側画素Ｐｔｒと上側画素Ｐｔｕの視差勾配方向φがπ／２もしくはπ／２の近傍の角度となる。

段差候補点抽出部１３による抽出方法について、数式を参照して説明する。段差候補点抽出部１３は、下記式（１）により、対象となる画素の視差勾配方向φを算出する。なお、(u,v)は、対象画素の視差画像中における位置を示す。図７に示すように、ｕ軸は、画像横方向の軸であり、右側へ向かう方向を正とする。ｖ軸は、画像縦方向の軸であり、下側へ向かう方向を正とする。本実施形態では、ｕ軸とｖ軸とは直交している。
φ(u,v)＝tan^−１[(d(u,v＋Δ)−d(u,v−Δ))／(d(u＋Δ,v)−d(u−Δ,v))]…（１）
なお、d(u,v)は、視差画像中の位置(u,v)にある画素の視差の値である。

段差候補点抽出部１３は、着目画素Ｐｔを間に挟んで位置する２つの画素の視差勾配方向φの変化量を算出する。図６を参照して説明したように、着目画素Ｐｔが下側境界線７上の点である場合、左側画素Ｐｔｌの視差勾配方向φ（＝π）と、右側画素Ｐｔｒの視差勾配方向φ（＝π／２）との角度差は、直角に近い大きな角度である。また、上側画素Ｐｔｕの視差勾配方向φ（＝π）と下側画素Ｐｔｄの視差勾配方向φ（＝π／２）との角度差は、直角に近い大きな角度である。

同様にして、着目画素Ｐｔが上側境界線８上の点である場合、左側画素Ｐｔｌと右側画素Ｐｔｒとの視差勾配方向φのなす角度は、直角に近い大きな角度である。また、下側画素Ｐｔｄと上側画素Ｐｔｕとの視差勾配方向φのなす角度は、直角に近い大きな角度である。これらの角度差の条件は、上側境界線２２や下側境界線２３についても成立する。つまり、着目画素Ｐｔに関して、上側の領域の視差勾配方向φと、下側の領域の視差勾配方向φとのなす角度が、直角から所定角度範囲内であり、かつ左側の領域の視差勾配方向φと、右側の領域の視差勾配方向φとのなす角度が、直角から所定角度範囲内である場合、着目画素Ｐｔは、境界線７，８，２２，２３のいずれかを構成する画素であると判定することが可能である。

所定角度範囲内は、例えば、直角に対して０度から±４５度の範囲内とされてもよい。また、所定角度範囲内は、直角に対して０度から±３０度の範囲内とされてもよい。また、所定角度範囲内は、直角に対して０度から±１５度の範囲内とされてもよい。その他、状況に応じて、適宜所定角度が定められてもよい。また、着目画素Ｐｔに関して、上側の領域の視差勾配方向φと下側の領域の視差勾配方向φとのなす角度について適用する所定角度範囲と、左側の領域の視差勾配方向φと右側の領域の視差勾配方向φとのなす角度について適用する所定角度範囲とが異なる角度範囲であってもよい。また、凸部（角部）を抽出する場合の所定角度範囲と、凹部（隅部）を抽出する場合の所定角度範囲とが異なる角度範囲であってもよい。

段差候補点抽出部１３は、下記式（２）によって、右側画素Ｐｔｒの視差勾配方向φ(u＋Δ,v)に対する左側画素Ｐｔｌの視差勾配方向φ(u−Δ,v)の変化量Pu(u,v)を算出する。
Pu(u,v)＝sin[φ(u＋Δ,v)−φ(u−Δ,v)]…（２）
また、段差候補点抽出部１３は、下記式（３）によって、下側画素Ｐｔｄの視差勾配方向φ(u,v＋Δ)に対する上側画素Ｐｔｕの視差勾配方向φ(u,v−Δ)の変化量Pv(u,v)を算出する。
Pv(u,v)＝sin[φ(u,v＋Δ)−φ(u,v−Δ)]…（３）

このようにsin関数を用いることで、各変化量Pu(u,v)、Pv(u,v)の値は−１〜１までの値をとる。着目画素Ｐｔを挟んだ２つの領域で視差勾配方向φが同じ角度である場合、各変化量Pu(u,v)、Pv(u,v)の値は０となる。一方、着目画素Ｐｔを挟んだ２つの領域の間で視差勾配方向φが直交する場合、各変化量Pu(u,v)、Pv(u,v)の値は、＋１または−１となる。

本実施形態では、着目画素Ｐｔが境界線７，８，２２，２３の何れを構成する画素であるかを判別する４つのスコアＣ_ＬＬ，Ｃ_ＬＲ，Ｃ_ＲＬ，Ｃ_ＲＲが算出される。第一スコアＣ_ＬＬは下記式（４）、第二スコアＣ_ＬＲは下記式（５）、第三スコアＣ_ＲＬは下記式（６）、第四スコアＣ_ＲＲは下記式（７）で定義される。
Ｃ_ＬＬ＝ Pu(u,v)＋Pv(u,v)…（４）
Ｃ_ＬＲ＝−Pu(u,v)−Pv(u,v)…（５）
Ｃ_ＲＬ＝−Pu(u,v)＋Pv(u,v)…（６）
Ｃ_ＲＲ＝ Pu(u,v)−Pv(u,v)…（７）

第一スコアＣ_ＬＬは、着目画素Ｐｔが左側の上側境界線８を構成する画素である場合に高得点となり、それ以外の境界線７，２２，２３を構成する画素である場合に低得点となる。具体的に説明すると、着目画素Ｐｔが上側境界線８上にある場合、図７に示すように、各画素Ｐｔｌ，Ｐｔｒ，Ｐｔｕ，Ｐｔｄの視差勾配方向φは、それぞれ以下のようになる。
左側画素Ｐｔｌ：φ(u−Δ,v)＝π／２
右側画素Ｐｔｒ：φ(u＋Δ,v)＝π
上側画素Ｐｔｕ：φ(u,v−Δ)＝π／２
下側画素Ｐｔｄ：φ(u,v＋Δ)＝π

従って、画像横方向における視差勾配方向φの変化量は、下記式（８）のように求められ、画像縦方向における視差勾配方向φの変化量は、下記式（９）のように求められる。
Pu(u,v)＝sin[π−π／２]＝１…（８）
Pv(u,v)＝sin[π−π／２]＝１…（９）
これにより、第一スコアＣ_ＬＬの値は＋２、第二スコアＣ_ＬＲの値は−２、第三スコアＣ_ＲＬの値は０、第四スコアＣ_ＲＲの値は０となる。

第二スコアＣ_ＬＲは、着目画素Ｐｔが左側の下側境界線７を構成する画素である場合に高得点となり、それ以外の境界線８，２２，２３を構成する画素である場合に低得点となる。着目画素Ｐｔが下側境界線７上にある場合、図６に示すように、各画素Ｐｔｌ，Ｐｔｒ，Ｐｔｕ，Ｐｔｄの視差勾配方向φは、それぞれ以下のようになる。
左側画素Ｐｔｌ：φ(u−Δ,v)＝π
右側画素Ｐｔｒ：φ(u＋Δ,v)＝π／２
上側画素Ｐｔｕ：φ(u,v−Δ)＝π
下側画素Ｐｔｄ：φ(u,v＋Δ)＝π／２

従って、画像横方向における視差勾配方向φの変化量は、下記式（１０）のように求められ、画像縦方向における視差勾配方向φの変化量は、下記式（１１）のように求められる。
Pu(u,v)＝sin[π／２−π]＝−１…（１０）
Pv(u,v)＝sin[π／２−π]＝−１…（１１）
これにより、第一スコアＣ_ＬＬの値は−２、第二スコアＣ_ＬＲの値は＋２、第三スコアＣ_ＲＬの値は０、第四スコアＣ_ＲＲの値は０となる。

第三スコアＣ_ＲＬは、着目画素Ｐｔが右側の下側境界線２３を構成する画素である場合に高得点となり、それ以外の境界線７，８，２２を構成する画素である場合に低得点となる。着目画素Ｐｔが下側境界線２３上にある場合、図７に示すように、各画素Ｐｔｌ，Ｐｔｒ，Ｐｔｕ，Ｐｔｄの視差勾配方向φは、それぞれ以下のようになる。
左側画素Ｐｔｌ：φ(u−Δ,v)＝π／２
右側画素Ｐｔｒ：φ(u＋Δ,v)＝０
上側画素Ｐｔｕ：φ(u,v−Δ)＝０
下側画素Ｐｔｄ：φ(u,v＋Δ)＝π／２

従って、画像横方向における視差勾配方向φの変化量は、下記式（１２）のように求められ、画像縦方向における視差勾配方向φの変化量は、下記式（１３）のように求められる。
Pu(u,v)＝sin[０−π／２]＝−１…（１２）
Pv(u,v)＝sin[π／２−０]＝１…（１３）
これにより、第一スコアＣ_ＬＬの値は０、第二スコアＣ_ＬＲの値は０、第三スコアＣ_ＲＬの値は＋２、第四スコアＣ_ＲＲの値は−２となる。

第四スコアＣ_ＲＲは、着目画素Ｐｔが右側の上側境界線２２を構成する画素である場合に高得点となり、それ以外の境界線７，８，２３を構成する画素である場合に低得点となる。着目画素Ｐｔが上側境界線２２上にある場合、図７に示すように、各画素Ｐｔｌ，Ｐｔｒ，Ｐｔｕ，Ｐｔｄの視差勾配方向φは、それぞれ以下のようになる。
左側画素Ｐｔｌ：φ(u−Δ,v)＝０
右側画素Ｐｔｒ：φ(u＋Δ,v)＝π／２
上側画素Ｐｔｕ：φ(u,v−Δ)＝π／２
下側画素Ｐｔｄ：φ(u,v＋Δ)＝０

従って、画像横方向における視差勾配方向φの変化量は、下記式（１４）のように求められ、画像縦方向における視差勾配方向φの変化量は、下記式（１５）のように求められる。
Pu(u,v)＝sin[π／２−０]＝１…（１４）
Pv(u,v)＝sin[０−π／２]＝−１…（１５）
これにより、第一スコアＣ_ＬＬの値は０、第二スコアＣ_ＬＲの値は０、第三スコアＣ_ＲＬの値は−２、第四スコアＣ_ＲＲの値は＋２となる。

なお、着目画素Ｐｔが何れの境界線７，８，２２，２３を構成する画素でもない場合、各スコアＣ_ＬＬ，Ｃ_ＬＲ，Ｃ_ＲＬ，Ｃ_ＲＲの値は、それぞれ絶対値が小さな値となる。例えば、着目画素Ｐｔおよび各画素Ｐｔｌ，Ｐｔｒ，Ｐｔｕ，Ｐｔｄが全て路面領域４を構成する画素である場合、これらの画素の視差勾配方向φは全てπ／２となる。これにより、画像横方向の変化量Pu(u,v)および画像縦方向の変化量Pv(u,v)は、それぞれ０となる。従って、全てのスコアＣ_ＬＬ，Ｃ_ＬＲ，Ｃ_ＲＬ，Ｃ_ＲＲは値が０となる。

以上のことから、着目画素Ｐｔについて算出された各スコアＣ_ＬＬ，Ｃ_ＬＲ，Ｃ_ＲＬ，Ｃ_ＲＲに基づいて、着目画素Ｐｔが境界線７，８，２２，２３を構成する画素であるか否か、およびどの境界線を構成する画素であるかを判別することができる。本実施形態の段差候補点抽出部１３は、視差画像の各画素について、スコアの値が最大となるラベルを割り当てる。例えば、各スコアＣ_ＬＬ，Ｃ_ＬＲ，Ｃ_ＲＬ，Ｃ_ＲＲの内で第一スコアＣ_ＬＬの値が最大となった画素に対しては、左上境界を示すラベルＬＬが割り当てられる。また、第二スコアＣ_ＬＲの値が最大となった画素に対しては左下境界を示すラベルＬＲ、第三スコアＣ_ＲＬの値が最大となった画素に対しては右下境界を示すラベルＲＬ、第四スコアＣ_ＲＲの値が最大となった画素に対しては右上境界を示すラベルＲＲが割り当てられる。

ただし、段差候補点抽出部１３は、画素のスコアＣ_ＬＬ，Ｃ_ＬＲ，Ｃ_ＲＬ，Ｃ_ＲＲの最大値が予め定められた閾値Ｃth（例えば、１）を下回る場合、その画素は境界線７，８，２２，２３の何れにも属さないと判定する。この閾値は、ｕ軸方向（第一方向）において着目画素Ｐｔを挟んで位置する２つの画素領域（左側画素Ｐｔｌ、右側画素Ｐｔｒ）の視差勾配方向φのなす角度が、直角から所定角度範囲内であり、かつｖ軸方向（第二方向）において着目画素Ｐｔを挟んで位置する２つの画素領域（上側画素Ｐｔｕ、下側画素Ｐｔｄ）の視差勾配方向φのなす角度が、直角から所定角度範囲内である場合に、段差候補点を精度よく抽出できるように定められる。

例えば、左側画素Ｐｔｌの視差勾配方向φと右側画素Ｐｔｒの視差勾配方向φとのなす角度の大きさが、（π／２）±所定角度であり、かつ上側画素Ｐｔｕの視差勾配方向φと下側画素Ｐｔｄの視差勾配方向φとのなす角度の大きさが、（π／２）±所定角度である場合に、着目画素Ｐｔの最大スコアが閾値Ｃth以上となるように、閾値Ｃthの値が定められる。段差候補点抽出部１３は、判定対象の画素が境界線７，８，２２，２３の何れにも属さないと判定した場合、当該画素にはラベルを割り当てない。段差候補点抽出部１３は、視差画像の各画素について、その画素の位置(u,v)と境界を示すラベルＬＬ，ＬＲ，ＲＬ，ＲＲとを関連づけた段差候補点情報を生成する。境界線７，８，２２，２３の何れにも属さないと判定された画素に対しては、段差候補点情報においていずれのラベルも関連づけられない。

図８には、以上のようにして抽出された左側の上側境界線８の候補である段差候補点が示されている。図３と比較して分かるように、左側の縁石の上側角部に沿って、連続的にかつ高い密度で段差候補点が抽出されている。また、遠方まで段差候補点が抽出されていることがわかる。

図９には、以上のようにして抽出された左側の下側境界線７の候補である段差候補点が示されている。左側の下側隅部に沿って、連続的にかつ高い密度で段差候補点が抽出されている。また、遠方まで段差候補点が抽出されていることがわかる。更に、図８と図９を比較すると分かるように、上側境界線８の候補点群と下側境界線７の候補点群は異なる領域に分布しており、２本の境界線を明確に識別できることがわかる。

座標変換部１４は、段差候補点抽出部１３によって抽出された視差画像上の段差候補点を道路平面上に投影する。すなわち、座標変換部１４は、視差画像上の段差候補点の３次元空間における座標(x,y,z)を算出する。ｘ軸は、車幅方向の軸であり、例えば車両右方向を正とする。ｙ軸は、鉛直方向の軸であり、例えば上方向を正とする。ｚ軸は、車両前後方向（カメラ２，３の光軸方向）の軸であり、例えば車両前方を正とする。座標値x,y,zは、下記［数１］により求められる。なお、算出される座標は、右カメラ２および左カメラ３の位置を基準とした座標である。［数１］において、ｆはカメラ２，３の焦点距離、Δｘはカメラ２，３間の距離、(cu,cv)は画像中心の位置である。

道路境界線検出部１５は、段差候補点抽出部１３によって抽出された複数の所定の画素領域の少なくとも一部をつなぎ合わせることによって走路に沿って存在する段差面の境界を検出する。道路境界線検出部１５は、算出された３次元の候補点群に対して走路モデルを当てはめて境界を推定する。道路境界線検出部１５は、座標変換された段差候補点(x,z)に対して、直線および二次曲線を当てはめることで立体走路境界を検出する。座標値として(x,z)を用いる場合、俯瞰図（２次元平面）上で直線や二次曲線を当てはめることができる。なお、２次元に代えて、高さｙも含めた３次元空間内でモデル当てはめがなされてもよい。

（直線当てはめ）
図１０を参照して、直線当てはめについて説明する。道路境界線検出部１５は、各境界線７，８，２２，２３について、個別に直線当てはめ処理を適用する。すなわち、道路境界線検出部１５は、左側の上側境界線８について、左上境界ＬＬが割り当てられた段差候補点群を対象として直線当てはめを行う。道路境界線検出部１５は、同様にして、左側の下側境界線７、右側の下側境界線２３、上側境界線２２のそれぞれについて、対応するラベルが付された段差候補点群を対象として直線当てはめを行う。本実施形態の道路境界線検出部１５は、まず、下側境界線７，２３について、直線および後述する二次曲線の当てはめを行う。

道路境界線検出部１５は、例えば、下記［数２］および［数３］によって、下側境界線７あるいは下側境界線２３の段差候補点群（xi,zi）(i＝1,2, ...,N)に対して直線を当てはめる。［数２］の関数ｆ_１(s)は、点群と直線との一致度を表す関数である。［数３］の関数ｇ(x)は、ｘの値が０に近いほど大きな値を返す関数である。直線パラメータｓ＝｛s_０,s_１｝を定めると、図１０に示す直線が決まる。ある段差候補点のｚ座標値ziに対応する直線上のｘ座標値(＝ｓ_０＋ｓ_１zi)と、当該段差候補点のｘ座標値xiとが近い値であるほど、その段差候補点についてのｇ(ｓ_０＋ｓ_１zi−xi)の値が大きくなる。その結果、総和としての関数ｆ_１(s)の値が大きくなる。道路境界線検出部１５は、関数ｆ_１(s)が最大となる直線パラメータｓ＝｛s_０,s_１｝を推定する。直線パラメータｓの初期値ｓ_iniは、例えば、ｓ_ini＝｛xiの中央値,0｝とされる。

なお、縁石等と車両１００との距離や角度を考慮して、値域は例えば下記式（１６）、（１７）のように定められる。また、σは０．１[ｍ]程度とすることが好ましい。非線形最適化手法（例えば、S. Johnson, The NLopt nonlinear-optimization package, http://ab-initio.mit.edu/nlopt）を用いることで、関数ｆ_１(s)およびパラメータの初期値、値域から最適なパラメータを求めるようにすればよい。
−１０＜ｓ_０＜１０…（１６）
−１＜ｓ_１＜１…（１７）

（二次曲線当てはめ）
道路境界線検出部１５は、曲線道路中の縁石に対応するため、二次曲線当てはめを行う。本実施形態の道路境界線検出部１５は、下記［数４］で定義する関数ｆ_２(s)が最大となる二次曲線パラメータｓ＝｛ｓ_０，ｓ_１，ｓ_２｝を推定する。二次曲線パラメータｓ＝｛ｓ_０，ｓ_１，ｓ_２｝のうち、ｓ_０，ｓ_１についての初期値は、直線当てはめ時の最適値をそのまま用いるようにすればよい。新規のパラメータｓ_２については、例えば、初期値０、値域−０．０１＜ｓ_２＜０．０１とされる。

二次曲線当てはめの最適化後に、直線と二次曲線のどちらのモデルを採用すべきかが決定される。道路境界線検出部１５は、関数ｆ_１(s)の最適値ｆ_１maxと関数ｆ_２(s)の最適値ｆ_２maxに基づいて、この決定を行う。一般に、ｆ_１max＜ｆ_２maxであるが、二次曲線は過適合を起こしている可能性がある。従って、最適値に重みを掛けて比較することが好ましい。例えば、下記式（１８）を満たす場合に直線モデルを採用し、下記式（１９）を満たす場合に二次曲線モデルを採用するようにしてもよい。
１．１×ｆ_１max＞ｆ_２max…（１８）
１．１×ｆ_１max＜ｆ_２max…（１９）

なお、最適値ｆ_１max，ｆ_２maxが所定の下限値τを下回る場合は、当てはめ精度が低いと考えられる。例えば、抽出された段差候補点群に、立体走路境界を撮像したものではない画素が多く含まれているなどの状況が考えられる。道路境界線検出部１５は、最適値ｆ_１max，ｆ_２maxが所定の下限値τを下回る場合、上側境界線８，２２について同様の境界線検出処理を行う。例えば、左側の下側境界線７について、最適値ｆ_１max，ｆ_２maxが所定の下限値τを下回る場合、上側境界線８について、直線および二次曲線の当てはめを行う。その結果、上側境界線８についても最適値ｆ_１max，ｆ_２maxが所定の下限値τを下回る場合、縁石等の段差面が存在しないと判定される。

図１のフローチャートを参照して、本実施形態の境界検出装置１の動作について説明する。図１に示す制御フローは、例えば、所定の周期、例えばカメラ２，３のフレームレートで繰り返し実行される。

まず、ステップＳ１０では、画像取得部１１および距離データ取得部１２により生成された視差画像が入力される。段差候補点抽出部１３は、距離データ取得部１２が生成した視差画像情報を記憶部等から取得する。ステップＳ１０が実行されると、ステップＳ２０に進む。

ステップＳ２０では、段差候補点抽出部１３により、視差勾配が算出される。段差候補点抽出部１３は、視差画像の各画素について、視差勾配方向φを算出する。ステップＳ２０が実行されると、ステップＳ３０に進む。

ステップＳ３０では、段差候補点抽出部１３により、視差勾配方向φの変化点が抽出される。段差候補点抽出部１３は、視差画像の各画素を着目画素Ｐｔとして、スコアＣ_ＬＬ，Ｃ_ＬＲ，Ｃ_ＲＬ，Ｃ_ＲＲを算出する。段差候補点抽出部１３は、各画素のスコアに基づいて、視差勾配方向φの変化点、言い換えると段差候補点を抽出する。ステップＳ３０が実行されると、ステップＳ４０に進む。

ステップＳ４０では、座標変換部１４により、座標変換がなされる。座標変換部１４は、ステップＳ３０で抽出された視差勾配方向φの変化点について、視差画像上の位置(u,v)と視差値ｄ(u,v)を実座標(x,y,z)に変換する。ステップＳ４０が実行されると、ステップＳ５０に進む。

ステップＳ５０では、道路境界線検出部１５により、境界線が検出される。道路境界線検出部１５は、ステップＳ４０で算出された座標(x,y,z)に基づいて、縁石等の段差面の境界線を検出する。ステップＳ５０が実行されると、ステップＳ６０に進む。

ステップＳ６０では、検出結果の出力がなされる。境界検出装置１は、ステップＳ５０で検出された境界線についての情報を出力する。ステップＳ６０が実行されると、本制御フローは終了する。出力された境界線情報は、例えば、車両制御装置に送られる。車両制御装置は、境界線情報に基づいて、認識支援、操作支援、走行支援等の制御を実行する。これらの支援制御は、例えば、縁石等の段差の存在を運転者に対して知らせることや、車両１００が縁石等に接近することを抑制するための運転操作のアシストや、自動走行制御等を含む。

図１１には、境界検出装置１による左側縁石の検出結果の一例として、下側境界線７の検出結果が示されている。図１１から、遠方の地点の下側境界線７まで精度よく検出できていることがわかる。このように、本実施形態の境界検出装置１によれば、視差画像中の視差値ｄの変化量が小さい領域であっても、精度よく立体走路境界を検出することができる。

以上説明したように、実施形態の境界検出装置１は、画像取得部１１と、距離データ取得部１２と、段差候補点抽出部１３と、道路境界線検出部１５と、を備え、段差候補点抽出部１３によって抽出される所定の画素領域は、所定の画素領域（着目画素Ｐｔ）を挟む一方側の領域（例えば、左側画素Ｐｔｌ）の視差勾配方向φ３と、他方側の領域（例えば、右側画素Ｐｔｒ）の視差勾配方向φ１とのなす角度が、直角から所定角度範囲内である画素領域である。

実施形態の境界検出装置１は、視差勾配方向φの変化に基づいて、撮像された車両周囲環境に存在する立体走路境界を精度よく検出することができる。視差勾配方向φに基づいて境界線を検出することで、視差値ｄの変化が小さい領域の境界線も精度よく検出することができる。本実施形態の境界検出装置１によれば、視差勾配方向φだけでなく、視差勾配方向φの変化量を算出することで、微小な段差の位置を精度よく抽出することができる。また、視差画像から縁石（段差）の上端・下端候補を直接抽出するため、高さマップなど離散化を伴う方式と比べて情報の損失が少ないという利点がある。また、輝度値の変化が小さい領域であっても、視差勾配方向φの角度差から候補点を抽出することが可能となる。段差候補点を予め画像上で求めた上で、離散化せずに座標変換するため、道路境界線の当てはめ精度が向上する。

また、本実施形態の所定の画素領域は、第一方向（ｕ軸方向）において所定の画素領域（着目画素Ｐｔ）を挟んで位置する２つの画素領域（左側画素Ｐｔｌ、右側画素Ｐｔｒ）の視差勾配方向φのなす角度が、直角から所定角度範囲内であり、かつ、第二方向（ｖ軸方向）において所定の画素領域を挟んで位置する２つの画素領域（上側画素Ｐｔｕ、下側画素Ｐｔｄ）の視差勾配方向φのなす角度が、直角から所定角度範囲内である画素領域である。略直交する２つの方向（第一方向、第二方向）のそれぞれにおいて、所定の画素領域を挟む２つの領域の視差勾配方向φのなす角度を判定することで、精度よく境界を検出することが可能である。

また、本実施形態の段差候補点抽出部１３は、第一方向において所定の画素領域を挟んで位置する２つの画素領域の視差勾配方向φと、第二方向において所定の画素領域を挟んで位置する２つの画素領域の視差勾配方向φとに基づいて、所定の画素領域が段差面の上側および下側の何れの境界であるかを分類する。例えば、第一スコアＣ_ＬＬが高得点である画素や、第四スコアＣ_ＲＲが高得点である画素は、上側の境界であると分類することができる。また、第二スコアＣ_ＬＲや第三スコアＣ_ＲＬが高得点である画素は、下側の境界であると分類することができる。道路境界線検出部１５は、段差面の上側の境界に分類された段差候補点同士を繋ぎ合わせ、段差面の下側の境界に分類された段差候補点同士を繋ぎ合わせる。上側境界の候補点群と下側境界の候補点群とが分けられた上でそれぞれに対してフィッティングが実行されることになり、直線や二次曲線へのフィッティング精度が向上する。

また、本実施形態の段差候補点抽出部１３は、第一方向において所定の画素領域を挟んで位置する２つの画素領域の視差勾配方向φと、第二方向において所定の画素領域を挟んで位置する２つの画素領域の視差勾配方向φとに基づいて、所定の画素領域が走路の左右何れの側に位置する段差面の境界であるかを分類する。例えば、２つの画素領域のうち、一方の画素領域の視差勾配方向φがπもしくはπの近傍の角度である場合、検出された境界線が左側の立体走路境界であると分類することが可能である。具体的に説明すると、図６に示すように、着目画素Ｐｔが左側の下側境界線７上にある場合、左側画素Ｐｔｌおよび上側画素Ｐｔｕの視差勾配方向φは、πもしくはπ近傍の角度である。また、図７に示すように、着目画素Ｐｔが左側の上側境界線８上にある場合、右側画素Ｐｔｒおよび下側画素Ｐｔｄの視差勾配方向φは、πもしくはπ近傍の角度である。

一方、２つの画素領域のうち、一方の画素領域の視差勾配方向φが０もしくは０近傍の角度である場合、検出された境界線が右側の立体走路境界であると分類することが可能である。図７に示すように、着目画素Ｐｔが右側の下側境界線２３上にある場合、右側画素Ｐｔｒおよび上側画素Ｐｔｕの視差勾配方向φは０もしくは０近傍の角度である。また着目画素Ｐｔが右側の上側境界線２２上にある場合、左側画素Ｐｔｌおよび下側画素Ｐｔｄの視差勾配方向φは０もしくは０近傍の角度である。道路境界線検出部１５は、左側に位置する段差面の境界に分類された段差候補点同士を繋ぎ合わせ、右側に位置する段差面の境界に分類された段差候補点同士を繋ぎ合わせる。左段差面の候補点群と右段差面の候補点群とが分けられた上でそれぞれに対してフィッティングが実行されることになり、直線や二次曲線へのフィッティング精度が向上する。

また、本実施形態には、以下の境界検出方法が開示されている。本実施形態の境界検出方法は、車両周囲環境を撮像した情報に基づいて視差画像を取得する取得手順（ステップＳ１０）と、視差画像を構成する各々の画素領域における視差勾配方向に基づいて各々の画素領域から所定の画素領域を抽出する抽出手順（ステップＳ２０，Ｓ３０）と、抽出手順によって抽出された複数の所定の画素領域の少なくとも一部を繋ぎ合わせることによって走路に沿って存在する段差面の境界を検出する検出手順（ステップＳ４０，Ｓ５０）と、を備える。

ここで、所定の画素領域は、所定の画素領域（着目画素Ｐｔ）を挟む一方側の領域（例えば、左側画素Ｐｔｌ）の視差勾配方向φ３と、他方側の領域（例えば、右側画素Ｐｔｒ）の視差勾配方向φ１とのなす角度が、直角から所定角度範囲内である画素領域である。所定の画素領域は、第一方向（ｕ軸方向）において所定の画素領域（着目画素Ｐｔ）を挟んで位置する２つの画素領域（左側画素Ｐｔｌ、右側画素Ｐｔｒ）の視差勾配方向φのなす角度が、直角から所定角度範囲内であり、かつ、第一方向と略直交する第二方向（ｖ軸方向）において所定の画素領域（着目画素Ｐｔ）を挟んで位置する２つの画素領域（上側画素Ｐｔｕ、下側画素Ｐｔｄ）の視差勾配方向φのなす角度が、直角から所定角度範囲内である画素領域である。本実施形態の境界検出装置１は、上記の境界検出方法によって、境界線７，８，２２，２３を精度よく検出することができる。

［実施形態の第１変形例］
（複数フレームの集約）
実施形態の第１変形例について説明する。各フレームで抽出された段差候補点にはノイズが多く含まれるため、複数フレームを集約してノイズを抑制することが有効である。そのため、減衰率αを設定し、以下の［数５］、［数６］に示す更新式により前時刻の勾配変化量Pu^(t-1)（u,v）、Pv^(t-1)(u,v)を重み付けて加算することが好ましい。更新式のαを小さすぎる値に設定すると、道路の曲率が変化する場合とピッチ角が変動する場合に望ましくない結果をもたらすことがある。減衰率αの値は、例えば、０．５とされる。

本変形例によれば、前時刻の勾配変化量を重み付け加算し、複数フレームを集約することで、抽出結果の安定性を向上させることができる。

［実施形態の第２変形例］
（フーリエ解析に基づく勾配計算）
実施形態の第２変形例について説明する。例えば、下記の参考文献２のように、解析信号を用い、大域的な勾配分布を考慮した勾配方向算出方式が用いられてもよい。視差勾配方向φは、例えば、以下の［数７］に示す式により求められる。この式のたたみ込み演算は、視差ｄ(u,v)をu（またはv）方向に１次元ＦＦＴを実施し、正の周波数成分を２倍、負の周波数成分を０として、逆ＦＦＴを実施した結果の虚数部分を求める操作と等価である。
（参考文献２）L. Cohen, Time Frequency Analysis, Prentice Hall Signal Processing Series, Prentice Hall, NJ, 1995.

本変形例の段差候補点抽出部１３は、視差勾配方向φを求める処理において、フーリエ位相差分に基づく勾配方向算出式を用いる。局所特徴のみに基づき視差勾配方向φを算出すると、局所的なノイズの影響を受けてしまう。本変形例では、局所特徴に加え、フーリエ位相差分解析による大域的な勾配分布も考慮することで、ノイズ要因を分散させ、段差候補点をより安定して抽出することができる。

［実施形態の第３変形例］
（ウィンドウサイズの変更）
実施形態の第３変形例について説明する。カメラ２，３からの距離に応じて、画像中における縁石段差の見かけの大きさが変化する。カメラ２，３から近い位置にある縁石は、画像中で大きく映り、遠い位置にある縁石は、画像中で小さく映る。これに対して、距離情報に基づいてウィンドウサイズ、すなわち着目画素Ｐｔと周囲の各画素Ｐｔｌ，Ｐｔｒ，Ｐｔｕ，Ｐｔｄとの距離Δが可変とされてもよい。距離情報は、例えば、着目画素Ｐｔの視差値ｄ(u,v)である。視差値ｄの値が小さい場合、視差値ｄの値が大きい場合よりも距離Δの値が小さくされる。これにより、適切なウィンドウサイズで視差勾配方向φの変化を検出することができ、より遠方まで精度よく段差候補点を抽出することが可能となる。距離Δは、距離情報の変化に応じて連続的に変化しても、段階的に変化してもよい。

また、ウィンドウサイズの縦横の比率が可変とされてもよい。例えば、同じ形状の縁石が配置されている場合であっても、前方の道路が直線路である場合と、カーブ路である場合とで画像中の形状が異なる。直線路に配置された左縁石に比べて、右カーブ路に配置された左縁石は、その垂直面（側面）がカメラ２，３の視線方向に向く。言い換えると、右カーブ路における左縁石の垂直面は、直線路の左縁石の垂直面よりも、横長の形状に映る。これに応じて、右カーブ路の左縁石に対しては、水平方向に広い横長なウィンドウ形状とした方が視差勾配方向φの変化を正しく捉えることができる。なお、前方の道路がカーブ路であるか否か（道路曲率）は、前回観測の境界線７，８，２２，２３の二次曲線当てはめの推定値から予測することができる。道路境界線検出部１５は、例えば、前方のカーブ路の道路曲率が大きいほど、言い換えると急なカーブ路であるほど、ウィンドウ形状を横長にすることが好ましい。ウィンドウ形状の縦横比は、道路曲率に応じて連続的に変化しても、段階的に変化してもよい。

本変形例の段差候補点抽出部１３は、着目画素Ｐｔの距離情報や境界曲率に合わせて勾配変化を抽出する際のウィンドウサイズ（距離Δ）やウィンドウの縦横比を変化させる。これにより、距離や、段差面の見え方に応じてウィンドウサイズを変更して、安定して段差候補点を抽出することができるという利点がある。

［実施形態の第４変形例］
（ウィンドウの回転）
実施形態の第４変形例について説明する。図１２は、実施形態の第４変形例に係る視差画像を示す図、図１３は、実施形態の第４変形例に係るウィンドウを示す図である。画像中において、画像横方向に対する境界線の傾きが小さくなった場合には、ウィンドウを回転させることも有効である。ウィンドウの回転は、上記のようにウィンドウサイズを変更することと組み合わせて実行されてもよい。図１２に示すように、境界線７，８と画像横方向とのなす角度θが小さい場合、視差勾配方向φの変化を精度よく検出できない可能性がある。図６のように、右側画素Ｐｔｒと左側画素Ｐｔｌが共にｕ軸上の点である場合、２つの画素の何れかが下側境界線７と重なってしまうなど、視差勾配方向φの変化が適切に検出できない可能性がある。角度θが小さくなる状況としては、例えば、前方のカーブ路に配置された縁石を検出する場合が挙げられる。車両１００の正面にカーブ路の縁石がある場合、上記の角度θが小さな角度となる。これにより、境界線７，８，２２，２３とｕ軸方向とのなす角度が小さな角度となりやすく、視差勾配方向φの変化が精度よく検出できない可能性がある。

これに対して、図６に示すウィンドウｗを回転させることが好ましい。図１２に示す立体走路境界に対しては、例えば、図１３に示すように、ウィンドウが回転される。回転後のウィンドウｗ’の軸は、図１３に示すｕ’軸およびｖ’軸である。左側の立体走路境界の段差候補点を抽出する場合、ウィンドウを時計回りに所定角度θ１回転させることが好ましい。これにより、回転後の第一方向の軸であるｕ’軸と境界線７，８とのなす角度を大きくすることができる。右側画素Ｐｔｒおよび左側画素Ｐｔｌは、それぞれｕ’軸方向において着目画素Ｐｔを挟む画素である。また、上側画素Ｐｔｕおよび下側画素Ｐｔｄは、それぞれｖ’軸方向において着目画素Ｐｔを挟む画素である。

境界線７，８の傾きは、例えば、前回の道路境界線検出部１５による検出結果から予測あるいは推定することが可能である。また、視差画像をカメラ２，３からの距離に応じて複数の領域に分割し、カメラ２，３からの距離が小さい領域から順に段差境界の抽出を実行するようにしてもよい。近い領域で実行した境界線の検出結果に基づいて遠方の領域で使用するウィンドウの傾きを設定することも効果的である。これにより、カーブ入口などで段差境界を抽出する場合に、より遠方まで精度よく段差候補点を抽出することが可能となる。

なお、右側の立体走路境界の段差候補点を抽出する場合には、図６に示すウィンドウｗを反時計回りに回転させることが好ましい。これにより、回転後の第一方向（ｕ’軸方向）と境界線２２，２３とのなす角度を大きくすることができる。

本変形例の段差候補点抽出部１３は、着目画素Ｐｔの周辺の視差勾配方向φの変化量を求める際に、参照する上下左右の画素を境界曲率に合わせて回転させる。これにより、段差面の見え方（段差境界の画像上での傾き）に合わせてウィンドウを回転させ、より安定的に段差候補点を抽出することができるという効果を奏する。

［実施形態の第５変形例］
実施形態の第５変形例について説明する。図１４は、実施形態の第５変形例に係る説明図である。上記実施形態の段差面は、走路の路面に対する角度が直角あるいは略直角の段差面であった。境界検出装置１によって検出可能な段差面の角度は、これには限定されない。境界検出装置１は、例えば、走路の路面に対して所定の角度で傾斜している段差面を検出することも可能である。こうした段差面としては、例えば、土手等の法面が挙げられる。境界検出装置１は、法面の下端の境界線や、上端の境界線を検出することも可能である。

図１４に示す視差画像には、路面領域４、歩道領域５および段差面領域２６が含まれる。段差面領域２６は、法面等の所定の傾斜角度で傾斜した段差面を撮像した領域である。段差面領域２６における視差勾配方向φ６は、ｕ軸およびｖ軸に対して傾斜した方向である。こうした傾斜した段差面についても、上記実施形態と同様にして下側境界線２７や上側境界線２８の段差候補点を抽出することが可能である。視差勾配方向φ６がｕ軸に対して傾斜している場合、視差勾配方向φ６がｕ軸方向と平行である場合よりも、各スコアＣ_ＬＬ，Ｃ_ＬＲ，Ｃ_ＲＬ，Ｃ_ＲＲの最大値が小さくなる。従って、傾斜した段差面を抽出対象とする場合、垂直面を抽出対象とする場合よりも閾値Ｃthを下げることが好ましい。閾値Ｃthは、検出対象に含めたい段差面の傾斜角に応じて適宜定めることが好ましい。

［実施形態の第６変形例］
実施形態の第６変形例について説明する。上記実施形態では、画素領域が主として単一の画素で構成されているが、画素領域は複数画素のまとまりであってもよい。例えば、着目画素Ｐｔが境界線７，８，２２，２３のいずれかであると判定された場合に、着目画素Ｐｔに隣接する画素についても同じ境界線７，８，２２，２３を構成する画素であると判定されてもよい。言い換えると、複数の画素からなる画素領域の代表画素を着目画素Ｐｔとした場合に、着目画素Ｐｔが境界線７，８，２２，２３を構成する画素である場合、当該画素領域を構成する画素は全てその境界線７，８，２２，２３に含まれると判定されてもよい。

また、各画素Ｐｔｌ，Ｐｔｒ，Ｐｔｕ，Ｐｔｄは、単一の画素でなくても、複数の画素からなる画素領域であってもよい。例えば、互いに隣接する複数の画素の視差勾配方向φの平均値や中央値が、各変化量Pu(u,v)、Pv(u,v)を算出する際の視差勾配方向φの値として用いられてもよい。一例として、左側画素Ｐｔｌおよび右側画素Ｐｔｒをそれぞれ複数画素からなる画素領域として、各画素領域の視差勾配方向φの中央値や平均値を用いて視差勾配方向φの変化量等が算出されてもよい。

［実施形態の第７変形例］
実施形態の第７変形例について説明する。上記実施形態のようにスコアＣ_ＬＬ，Ｃ_ＬＲ，Ｃ_ＲＬ，Ｃ_ＲＲに基づいて段差候補点を抽出することに代えて、視差勾配方向φのなす角度をそれぞれ算出して、段差候補点を抽出するようにしてもよい。例えば、上側画素Ｐｔｕの視差勾配方向φと下側画素Ｐｔｄの視差勾配方向φとのなす角度の大きさが、（π／２）±所定角度の範囲内である場合、あるいは（３π／２）±所定角度の範囲内である場合、段差候補点としての第１条件を満たすものとする。また、左側画素Ｐｔｌの視差勾配方向φと右側画素Ｐｔｒの視差勾配方向φとのなす角度の大きさが、（π／２）±所定角度の範囲内である場合、あるいは（３π／２）±所定角度の範囲内である場合、段差候補点としての第２条件を満たすものとする。段差候補点としての第１条件および第２条件がそれぞれ成立する場合、着目画素Ｐｔは段差候補点として抽出される。

［実施形態の第８変形例］
実施形態の第８変形例について説明する。上記実施形態では、右カメラ２および左カメラ３によって撮像されたステレオ画像に基づいて視差画像が生成されたが、これに限らず、単眼のカメラによって撮像されたステレオ画像に基づいて視差画像が生成されてもよい。

［実施形態の第９変形例］
実施形態の第９変形例について説明する。上記実施形態では、第一方向（例えば、ｕ軸方向）と第二方向（例えば、ｖ軸方向）とが直交していたが、第一方向と第二方向とは垂直に交わるものには限定されない。例えば、第二方向は、第一方向とほぼ直交する方向であってもよい。

上記の実施形態および変形例に開示された内容は、適宜組み合わせて実行することができる。

１ 境界検出装置
２ 右カメラ
３ 左カメラ
４ 路面領域
５ 歩道領域（左側）
６ 段差面領域（左側）
７ 下側境界線（左側）
８ 上側境界線（左側）
１１ 画像取得部
１２ 距離データ取得部
１３ 段差候補点抽出部
１４ 座標変換部
１５ 道路境界線検出部
２０ 歩道領域（右側）
２１ 段差面領域（右側）
２２ 上側境界線（右側）
２３ 下側境界線（右側）
１００ 車両
Ｐｔ 着目画素
Ｐｔｌ 左側画素
Ｐｔｒ 右側画素
Ｐｔｕ 上側画素
Ｐｔｄ 下側画素
φ 視差勾配方向

Claims (5)

1. 車両周囲環境を撮像した情報に基づいて視差画像を取得する取得部と、
   前記視差画像を構成する各々の画素領域における視差勾配方向に基づいて前記各々の画素領域から所定の画素領域を抽出する抽出部と、
   前記抽出部によって抽出された複数の前記所定の画素領域の少なくとも一部を繋ぎ合わせることによって走路に沿って存在する段差面の境界を検出する検出部と、
   を備え、
   前記所定の画素領域は、前記所定の画素領域を挟む一方側の領域の前記視差勾配方向と、他方側の領域の前記視差勾配方向とのなす角度が、直角から所定角度範囲内である画素領域である
   ことを特徴とする境界検出装置。
2. 前記所定の画素領域は、第一方向において前記所定の画素領域を挟んで位置する２つの画素領域の前記視差勾配方向のなす角度が、直角から所定角度範囲内であり、かつ、前記第一方向と略直交する第二方向において前記所定の画素領域を挟んで位置する２つの画素領域の前記視差勾配方向のなす角度が、直角から所定角度範囲内である画素領域である
   請求項１に記載の境界検出装置。
3. 前記抽出部は、前記第一方向において前記所定の画素領域を挟んで位置する２つの画素領域の前記視差勾配方向と、前記第二方向において前記所定の画素領域を挟んで位置する２つの画素領域の前記視差勾配方向とに基づいて、前記所定の画素領域が前記段差面の上側および下側の何れの境界を構成するかを分類し、
   前記検出部は、前記段差面の上側の境界に分類された前記所定の画素領域同士、および前記段差面の下側の境界に分類された前記所定の画素領域同士を繋ぎ合わせる
   請求項２に記載の境界検出装置。
4. 前記抽出部は、前記第一方向において前記所定の画素領域を挟んで位置する２つの画素領域の前記視差勾配方向と、前記第二方向において前記所定の画素領域を挟んで位置する２つの画素領域の前記視差勾配方向とに基づいて、前記所定の画素領域が走路の左右何れの側に位置する前記段差面の境界であるかを分類し、
   前記検出部は、左側に位置する前記段差面の境界に分類された前記所定の画素領域同士、および右側に位置する前記段差面の境界に分類された前記所定の画素領域同士を繋ぎ合わせる
   請求項２または３に記載の境界検出装置。
5. 車両周囲環境を撮像した情報に基づいて視差画像を取得する取得手順と、
   前記視差画像を構成する各々の画素領域における視差勾配方向に基づいて前記各々の画素領域から所定の画素領域を抽出する抽出手順と、
   前記抽出手順によって抽出された複数の前記所定の画素領域の少なくとも一部を繋ぎ合わせることによって走路に沿って存在する段差面の境界を検出する検出手順と、
   を備え、
   前記所定の画素領域は、前記所定の画素領域を挟む一方側の領域の前記視差勾配方向と、他方側の領域の前記視差勾配方向とのなす角度が、直角から所定角度範囲内である画素領域である
   ことを特徴とする境界検出方法。