JP3897337B2 - 路肩検出装置及び方法 - Google Patents
路肩検出装置及び方法 Download PDFInfo
- Publication number
- JP3897337B2 JP3897337B2 JP2002031871A JP2002031871A JP3897337B2 JP 3897337 B2 JP3897337 B2 JP 3897337B2 JP 2002031871 A JP2002031871 A JP 2002031871A JP 2002031871 A JP2002031871 A JP 2002031871A JP 3897337 B2 JP3897337 B2 JP 3897337B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- difference
- road
- vehicle
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、自動車に搭載したカメラで撮影した画像から道路の路肩を検出する路肩検出装置及び方法に関する。
【０００２】
【従来の技術】
自動車の安全走行を確保するための警報システムや自動車の自動運転システムにおいては、走行中の車両が走行レーンを逸脱するか否かを検出する技術が必要となる。車両が走行レーンを逸脱するか否かを検知するには、走行レーンの左右の両端を検出する必要がある。車載カメラで撮影した画像を用いて走行レーンの両端を検出する場合、路面上の白線等のレーンマーカーを検出する方法が一般的である。しかし、この方法では路面上にレーンマーカーが存在する道路にしか適用できない。高速道路や整備された幅の広い一般道ならば白線等のレーンマーカーの存在が期待できるが、比較的幅の狭い一般道では路面上に中央線や道路端を示す白線等が描かれていないことが多い。このように白線等で走行レーンが明示されていない道路では、歩道、中央分離帯、側壁、ガードレール、生け垣等を検知し、これらを路肩として検出する必要がある。
【０００３】
従来、路肩検出手法として、画像の輝度や色、あるいはテクスチャー等の情報を手がかりにして路肩を求める手法が提案されている。例えば、C.E.Thorpe, M.H.Herbert and T.Kanade,"Vision and Navigation for the Carnegie-Mellone Navlab," IEEE Trans. PAMI, vol.01, no.3, pp.362-373, 1988.では、テクスチャーが少ない灰色の領域を道路領域として抽出して、その左右両端を路肩として検出していた。また、L.S.Davis, D.Dementhon, S.Dickinson and P.Veatch,"Algorithms for road navigation,"Vision-based vehicle Guidance, Springer-Verlag, Chapter 3, 1992.では、画像から斜めエッジを抽出して、エッジ強度が強く、かつ長いエッジセグメントを有するものを路肩として検出していた。
【０００４】
しかし、道路と類似する輝度、色、あるいはテクスチャーを有する画素及び領域は画像中で多数存在する。さらに、道路面自体の輝度レベル、色、そしてテクスチャーも、同じ場所を撮影した画像であっても、天候、季節や時間の変化により時々刻々と変化するために、路肩を安定に検出することが困難である。
【０００５】
また、道路に射した建物や電柱の影の境界のように、長いエッジセグメントを持つ領域も画像中に多数現れ、これらの影も時々刻々と変化するために、路肩を安定かつ正確に検出することが困難である。
【０００６】
この他の手法として、２台のカメラによるステレオ画像から高さや距離情報を求めて、ガードレール等の側壁を検出する方法が特開平１１−２１３１３８号公報で提案されている。この手法では、ステレオ画像間で対応する画素を探索して高さや距離情報を算出して３次元座標データを算出しているが、画素の探索や３次元座標データのグループ化に多大な計算コストが必要となる。
【０００７】
【発明が解決しようとする課題】
このように、撮影した画像の輝度、色、テクスチャー等の情報を用いる従来手法には、道路と類似した輝度、色、あるいはテクスチャーを有する側壁等を道路として誤検出し、路肩位置が正しく求まらないという問題点がある。
【０００８】
また、エッジセグメントを用いる手法では、道路に射した影の境界のような長いエッジセグメントを路肩として誤検出するという問題点がある。
【０００９】
さらに、２台のカメラによるステレオ画像から高さや距離情報を計算して側壁を検出する手法は、計算量が多いという問題がある。
【００１０】
本発明は上記問題点を鑑みてなされたものであり、２台のカメラで撮影したステレオ画像を用いて、安定かつ計算量の少ない路肩検出装置及び方法を提供することを目的とする。
【００１１】
【課題を解決するための手段】
上記課題を解決するため本発明の路肩検出方法は、走行する車両から道路の路肩を検出する方法であって、前記車両の進行方向と垂直な方向に所定の間隔離して設置された第１、第２のカメラを用いて同時に第１、第２の画像を取得する画像取得ステップと、前記第１の画像及び第２の画像をそれぞれメモリに蓄積する画像蓄積ステップと、前記第１の画像の任意の画素が前記車両が走行する道路面上に存在すると仮定した場合の、前記第１の画像を第２のカメラからの見え方に変換する対応関係を用いて、前記第１の画像と前記第２の画像の差異を計算して第１の差異画像を生成し、前記第２の画像の任意の画素が前記車両が走行する道路面上に存在すると仮定した場合の、前記第２の画像を第１のカメラからの見え方に変換する対応関係を用いて、前記第１の画像と前記第２の画像の差異を計算して第１の差異画像を生成する差異画像生成ステップと、前記第１の差異画像から第２の画像を取得した位置に近い側の路肩を検出すし、前記第２の差異画像から第１の画像を取得した位置に近い側の路肩を検出する路肩検出ステップを有することを特徴とする。
【００１２】
また、本発明の路肩検出装置は、道路を走行する車両に設置され、道路の路肩を検出する装置であって、前記車両の進行方向と垂直な方向に所定の間隔離して前記車両に設置され、車両前方の画像を２台同時に撮影する第１、第２のカメラと、第１のカメラで撮影した第１の画像を画面単位で蓄積する第１の画像蓄積部と、第２のカメラで撮影した第２の画像を画面単位で蓄積する第２の画像蓄積部と、前記第１の画像の任意の画素が前記車両が走行する道路面上に存在すると仮定した場合の、前記第１の画像を第２のカメラからの見え方に変換する対応関係を用いて、前記第１の画像蓄積部からの前記第１の画像と前記第２の画像蓄積部からの前記第２の画像の差異を計算して第１の差異画像を生成する第１の差異画像生成部と、前記第２の画像の任意の画素が前記車両が走行する道路面上に存在すると仮定した場合の、前記第２の画像を第１のカメラからの見え方に変換する対応関係を用いて、前記第１の画像蓄積部からの前記第１の画像と前記第２の画像蓄積部からの前記第２の画像の差異を計算して第２の差異画像を生成する第２の差異画像生成部と、前記第１の差異画像から第２のカメラに近い側の路肩を検出する第１の路肩検出部と、前記第１の差異画像から第２のカメラに近い側の路肩を検出する第１の路肩検出部とを有することを特徴とする。
【００１３】
以上、本発明によれば、エッジセグメント等を用いた路肩検出方法及び装置に比べて誤検出が少なく安定して路肩を検出でき、また、従来のステレオ画像を用いた路肩検出方法及び装置のように高さや距離情報を計算していないので、少ない計算量で路肩を検出することが可能である。
【００１４】
【発明の実施の形態】
（第１の実施形態）以下、図面を参照して本発明の第１の実施形態を説明する。図１は本発明の第１の実施形態の路肩検出装置の構成を説明するブロック図である。
【００１５】
本実施形態の路肩検出装置は、動画像を撮影するためのカメラ１、２と、撮影した動画像を画像１枚毎に順次一時蓄積しておく画像蓄積部３、４とを有する。本装置はさらに、カメラ１、２で撮影した画像から差異画像Ｓ１、Ｓ２を求める差異計算部５、６と、差異画像を用いて路肩を検出する路肩検出部７、８とを有する。本装置はさらに、本装置の使用者に対するインターフェースであるＧＵＩを提供し、また本装置各部分の動作の調整を行う制御部９と、前述のＧＵＩ及びカメラ１、２で撮影した画像及び検出した路肩を表示する表示部１０とを有する。
【００１６】
本装置は自動車に搭載するためのものである。カメラ１、２は、図３に示すように、車両の進行方向に向かって左側にカメラ１を、右側にカメラ２を設置する。具体的には、車のフロントウインドウの内側左端にカメラ１を、内側右端にカメラ２を設置する。カメラ間隔やカメラ設置場所の路面からの高さは、車両の大きさ・種類等によるが、乗用車の場合でカメラ間隔が1.5m〜2.0m程度、高さが70cm〜1.5m程度になるように設置する。そして、設置時にカメラ１とカメラ２の視野がある程度重なるように向きを調整する。
【００１７】
カメラ１、２は受光部にＣＣＤ（電荷結合素子）を用いた可視光領域用カメラである。図４はカメラ１、２で撮影した画像を説明する図で、図４（ａ）は車両の左側にあるカメラ１が、図４（ｂ）は車両の右側にあるカメラ２が撮影した場合の見え方である。カメラ１で撮影した画像Ｉ１は画像蓄積部３へ出力し、カメラ２で撮影した画像Ｉ２は画像蓄積部４へ出力する。
【００１８】
画像蓄積部３はカメラ１からの画像を画面単位で一時記憶しておき、画像蓄積部４はカメラ２からの画像を画面単位で一時記憶しておく。
【００１９】
差異計算部５は、画像Ｉ１を変換画像Ｍ１に変換してから、この変換画像Ｍ１と画像Ｉ２から差異画像Ｓ１を生成する。差異計算部５は、まず、画像Ｉ１を画像Ｉ１中の全画素が、車両が走行している道路平面上に存在すると仮定（道路平面拘束仮定）した場合の、カメラ２からの見え方に変換して変換画像Ｍ１を生成する。そして、各画素毎に変換画像Ｍ１と画像Ｉ２の輝度の絶対値差分を計算して差異画像Ｓ１を生成する。
【００２０】
同様にして、差異計算部６は、画像Ｉ２を変換画像Ｍ２に変換してから、この変換画像Ｍ２と画像Ｉ１から差異画像Ｓ２を生成する。差異計算部６は、まず、画像Ｉ２を全画素を道路平面拘束仮定した場合の、カメラ１からの見え方に変換して変換画像Ｍ２を生成する。そして、各画素毎に画像Ｉ１と変換画像Ｍ２の絶対値差分を計算して差異画像Ｓ２を生成する。
【００２１】
路肩検出部７では差異計算部５で求めた差異画像Ｓ１から、道路の右側（カメラ２側）の路肩の検出を行い、路肩検出部８では差異計算部６で求めた差異画像Ｓ２から、道路の左側（カメラ１側）の路肩の検出を行う。
【００２２】
制御部９は路肩検出部７、８で検出した路肩の情報を表す路肩情報画像を生成して、画像蓄積部３、４から読み出したカメラ１、２で撮影した画像Ｉ１及びＩ２上に合成した走行路画像を生成する。制御部９は、生成した２枚（Ｉ１、Ｉ２に対応する）の走行路画像を、ＧＵＩ上に設けた走行路画像を表示するための枠内に合成して、ＧＵＩを表示部１０に出力する。
【００２３】
さらに制御部９は、制御部９に接続されたポインティングデバイスを通じて、本装置の使用者からの操作を受け付ける。そして、制御部９は本装置の設置時あるいは使用者からの要求によって本装置の初期化動作を行う。この初期化動作では、後述するように路肩を検出するために必要となる各種パラメータの算出などを行う。
【００２４】
表示部１０は、制御部９から出力されたＧＵＩを表示する。
【００２５】
以下、差異計算部５、６で行う変換画像Ｍ１、Ｍ２の生成方法と、差異画像Ｓ１、Ｓ２の生成方法を説明する。
【００２６】
道路平面（XY平面）上の任意の点(X,Y)を、カメラ１の画像面及びカメラ２の画像面への投影点を各々(u1,v1)、(u2,v2)とする。道路平面拘束仮定を行うと、
【００２７】
【数１】
【００２８】
という関係式が成り立つ。ただし、
【００２９】
【数２】
【００３０】
で、h、t、g、sはカメラ１、２の３次元位置と姿勢、及びカメラ１、２それぞれに装着したレンズの焦点距離、画像中心に関するパラメーターであり、車両の中心を原点として、車両に対して相対的に停止している３次元直交座標（車両座標）系におけるパラメータである。
【００３１】
数１からXとYを消去すると、
【００３２】
【数３】
【００３３】
となる。ここで、
【００３４】
【数４】
【００３５】
は数１から数３へ式変形した際のu1、v1の係数と定数項であり、h、gで表される定数である。
【００３６】
数４のパラメータＨはあらかじめ固定値で与えられるものではないが、数３の関係式により、画像Ｉ１中の点(u1,v1)を道路平面拘束仮定した時のカメラ２から見た場合の点(u2,v2)の座標を求めることが可能であるから、あらかじめ与えた画像Ｉ１と画像Ｉ２の対応点の座標を数３の関係式に代入して得られるパラメータＨの各成分についての連立方程式を解いて求めることが可能である。本装置では、制御部９が数４のパラメータＨを制御部９の初期化動作の際に求める。
【００３７】
差異計算部５は数３の関係式を用いて、差異計算部６は数３を(u1,v1)について解いた関係式を用いて変換画像Ｍ１、Ｍ２を生成する。尚、変換画像の生成速度を向上させるため、差異計算部５、６ともに制御部９からパラメータＨを受け取った際に、数３の関係式（差異計算部６は数３を(u1,v1)について解いたもの）を用いて変換画像を生成するための変換テーブルＴ1to2、Ｔ2to1を生成して差異計算部５及び６の内部で記憶しておき、実際の変換画像生成はこの変換テーブルＴ1to2、Ｔ2to1を用いて行う。変換テーブルＴ1to2、Ｔ2to1は２次元の配列データで、Ｔ1to2(u1,v1)=(u2,v2)、Ｔ2to1(u2,v2)=(u1,v1)である。
【００３８】
画像Ｉnと変換画像Ｍmから求める差異画像Ｓn（n=１,m=２あるいはn=２,m=１）の各画素の輝度値は、画像Ｉnと変換画像のＭmの各画素の輝度値を数５の式で変換した値を持つ。
【００３９】
【数５】
【００４０】
ただし、Ｓn(x,y)、Ｉn(x,y)、Ｍm(x,y)は、各画像上の点(x,y)の輝度値を表す。
【００４１】
画像Ｉ１を道路平面拘束に従ってカメラ２からの見え方に変換するためのパラメータＨ1to2を用いてカメラ２からの見え方に変換した変換画像Ｍ１では、道路に存在するガードレールや生垣などの立体物が右側に倒れこんだ形に変換される。立体物は道路と接する地点を中心にして倒れこんで変換されるので、道路より高い場所にあるもの（画素）ほど右側に大きく移動する。
【００４２】
従って、変換画像とＭ１と画像Ｉ２から差異画像Ｓ１を生成すると、道路面は輝度差が小さくなり、道路より高い場所にある物体は輝度差が大きくなる。このため、差異画像Ｓ１は図５に示すようにガードレール部分に輝度差の大きい領域Ｘ1が現れるので、この領域Ｘ1の境界を検出すれば路肩の位置を検出することができる。
【００４３】
画像Ｉ２を道路平面拘束に従ってカメラ１からの見え方に変換するためのパラメータＨ2to1を用いてカメラ１からの見え方に変換した変換画像Ｍ２では、道路に存在するガードレールや生垣などの立体物が左側に倒れこんだ形に変換される。立体物は道路と接する地点を中心にして倒れこんで変換されるので、道路より高い場所にあるもの（画素）ほど左側に大きく移動する。
【００４４】
従って、変換画像とＭ２と画像Ｉ１から差異画像Ｓ２を生成すると、道路面は輝度差が小さくなり、道路より高い場所にある物体は輝度差が大きくなる。このため、差異画像Ｓ２は図５に示すようにガードレール部分に輝度差の大きい領域Ｘ2が現れるので、この領域Ｘ2の境界を検出すれば路肩の位置を検出することができる。
【００４５】
路肩検出部７は、差異計算部５で求めた差異画像Ｓ１から領域Ｘ1を探索して、道路右側（カメラ２に近い側）の路肩を検出する。尚、路肩の検出には走行レーンが交わる消失点Ｖ１の座標を必要とするので、本装置では、制御部９が初期化動作の中で消失点Ｖ１の座標を求める。
【００４６】
路肩検出部７は、まず、図６（ａ）に示すように画像中の消失点Ｖ１を通る画面下端に対する水平線を求める。水平線と画像端の交点をそれぞれＨa1、Ｈa2とする。路肩検出部７は消失点Ｖ１と画像の端点Ｔm1を通る直線に沿って差異画像Ｓ１を走査する。走査範囲は端点Ｔm1が画像の端を通って反時計回りにＨa1からＨa2までである。路肩検出部７は直線Ｖ１Ｔm1を境界にして差異画像Ｓ１の画素値を比較して路肩を検出する。
【００４７】
路肩検出部７で行う画素値の比較の具体的方法を説明する。端点Ｔm1の前後所定距離（例えば5画素）離れた場所に点Ｔn1、Ｔp1をとり、三角形Ｖ１Ｔm1Ｔn1（領域Ｓn1）と三角形Ｖ１Ｔm1Ｔp1（領域Ｓp1）の領域に着目する。路肩検出部７は領域Ｓn1、Ｓp1内の平均輝度値ｍn1、ｍp1を求めて、平均輝度値と所定の閾値Ｄ1、Ｄ2が数６の関係を満たすかを判定する。
【００４８】
【数６】
【００４９】
路肩検出部７は、平均輝度値が数６の関係を満たした場合は、差異画像Ｓ１中の直線Ｖ１Ｔm1を路肩候補とし、数７で表される信頼度Ｒ1を計算して路肩検出部７に内蔵されたメモリ（図示せず）に登録しておく。
【００５０】
【数７】
【００５１】
路肩検出部７は数７で計算した信頼度Ｒ1が最小となる直線Ｖ１Ｔm1を道路右側の路肩として出力する。
【００５２】
尚、路肩検出部７では数７の式を路肩位置を判定する信頼度として用いたが、領域Ｓn1、Ｓp1の平均輝度ｍn1、ｍp1と、領域Ｓn1と領域Ｓp1を合わせた領域の平均輝度ｍT1を用いて、数８の関係式で定義した信頼度Ｒ1を用いても良い。
【００５３】
【数８】
【００５４】
ただし、数８で定義した信頼度Ｒ1を用いる場合は、信頼度Ｒ1が最大になる直線Ｖ１Ｔm1を道路右側の路肩として出力する。
【００５５】
以上のようにして路肩検出部７は道路右側の路肩を検出し、検出した路肩の情報を制御部９へ出力する。
【００５６】
路肩検出部８は、差異計算部６で求めた差異画像Ｓ２から領域Ｘ2を探索して、道路左側（カメラ１に近い側）の路肩を検出する。尚、路肩の検出には走行レーンが交わる消失点Ｖ２の座標を必要とするので、本装置では、制御部９が初期化動作の中で消失点Ｖ２の座標を求める。
【００５７】
路肩検出部８は、まず、図６（ｂ）に示すように画像中の消失点Ｖ２を通る画面下端に対する水平線を求める。水平線と画像端の交点をそれぞれＨb1、Ｈb2とする。路肩検出部８は消失点Ｖ２と画像の端点Ｔm2を通る直線に沿って差異画像Ｓ２を走査する。走査範囲は端点Ｔm2が画像の端を通って反時計回りにＨb1からＨb2までである。路肩検出部８は直線Ｖ２Ｔm2を境界にして差異画像Ｓ２の画素値を比較して路肩を検出する。
【００５８】
路肩検出部８で行う画素値の比較の具体的方法を説明する。端点Ｔm2の前後所定距離（例えば5画素）離れた場所に点Ｔn2、Ｔp2をとり、三角形Ｖ２Ｔm2Ｔn2（領域Ｓn2）と三角形Ｖ２Ｔm2Ｔp2（領域Ｓp2）の領域に着目する。路肩検出部８は領域Ｓn2、Ｓp2内の平均輝度値ｍn2、ｍp2を求めて、平均輝度値と所定の閾値Ｄ1、Ｄ2が数９の関係を満たすかを判定する。
【００５９】
【数９】
【００６０】
路肩検出部８は、平均輝度値が数９の関係を満たした場合は、差異画像Ｓ２中の直線Ｖ２Ｔm2を路肩候補とし、数１０で表される信頼度Ｒ2を計算して路肩検出部８に内蔵されたメモリ（図示せず）に登録しておく。
【００６１】
【数１０】
【００６２】
路肩検出部８は数１０で計算した信頼度Ｒ2が最小となる直線Ｖ２Ｔm2を道路左側の路肩として出力する。
【００６３】
尚、路肩検出部８では数１０の式を路肩位置を判定する信頼度として用いたが、領域Ｓn2、Ｓp2の平均輝度ｍn2、ｍp2と、領域Ｓn2と領域Ｓp2を合わせた領域の平均輝度ｍT2を用いて、数１１の関係式で定義した信頼度Ｒ2を用いても良い。
【００６４】
【数１１】
【００６５】
ただし、数１１で定義した信頼度Ｒ2を用いる場合は、信頼度Ｒ2が最大になる直線Ｖ２Ｔm2を道路左側の路肩として出力する。
【００６６】
以上のようにして路肩検出部８は道路左側の路肩を検出し、検出した路肩の情報を制御部９へ出力する。
【００６７】
制御部９は前述の通り、路肩検出部７、８で検出した路肩の情報を画像情報に変換して、ＧＵＩ及び画像蓄積部３、４から読み出したカメラ１、２で撮影した画像上に合成し、これをユーザーインターフェースであるＧＵＩと合成してＧＵＩを表示部１０に出力する。この他に、本装置の使用者からの操作を受け付けたり、本装置起動時及び使用者からの要求による初期化動作を行う。
【００６８】
以下、制御部９で行う初期化動作について説明する。
【００６９】
制御部９は初期化動作において、道路平面拘束を用いて画像を変換するパラメータＨ1to2とＨ2to1と、走行レーンの消失点を求める。
【００７０】
制御部９はＧＵＩ上で本装置の使用者にポインティングデバイスで画像Ｉ１の道路面上の特徴点（道路平面上に描かれた直線の交点やペイントの角点等）をＮ個（４個以上）と指定したＮ個の点に対応する画像Ｉ２上の点（対応点）と、画像Ｉ１、Ｉ２それぞれの走行レーンの消失点Ｖ２、Ｖ１を指定するように促し、画像Ｉ１での道路面上の特徴点Ｎ個の座標と、それぞれの特徴点について画像Ｉ２上での対応点Ｎ個の座標と、消失点の座標Ｖ１とＶ２を得る。制御部９は消失点の座標Ｖ１を路肩検出部７に、消失点の座標Ｖ２を路肩検出部８にそれぞれ出力する。
【００７１】
制御部９は、本装置の使用者が指定したＮ組の点の座標値を、画像Ｉ１上の点を(u1,v1)として、画像Ｉ２上の点を(u2,v2)として数３の関係式に代入して得られるＨについての２Ｎ本の連立方程式を解いて、画像Ｉ１を道路平面拘束に従ってカメラ２からの見え方に変換するためのパラメータＨ1to2を求める。制御部９は、求めたＨ1to2を差異計算部５に出力する。
【００７２】
同様にして、制御部９は、画像Ｉ２上の点を(u1,v1)として、画像Ｉ１上の点を(u2,v2)として数３の関係式に代入して得られるＨについての２Ｎ本の連立方程式を解いて、画像Ｉ２を道路平面拘束に従ってカメラ１からの見え方に変換するためのパラメータＨ2to1を求める。制御部９は、求めたＨ2to1を差異計算部６に出力する。
【００７３】
以上のようにして、制御部９は初期化動作を実施する際に路肩検出処理で必要となる各種のパラメータを計算する。
【００７４】
本実施形態では差異計算部５、６で、輝度値の絶対値差分を用いて差異画像Ｓ１、Ｓ２を求めているが、これに限らず、フーリエ変換値等のテクスチャーを示す尺度や各種の相関係数を用いても構わない。
【００７５】
また、本実施形態では車両の進行方向に対して左右の路肩を検出しているが、必ずしも両側の路肩を検出する必要はない。例えば日本のように左側通行の国であれば左側の路肩のみを本装置で検出して、走行車線右側の境界は本発明以外の別の方法で白線を検出するという使い方もある。このように恒常的に左側だけを検出する場合は本実施形態の差異計算部５及び路肩検出部７の構成を省いても良い。また、逆に右側だけを検出する場合は差異計算部６及び路肩検出部８の構成を省いても良い。
【００７６】
以上、本実施形態の路肩検出装置によれば、２台のカメラで撮影したステレオ画像から、車両が走行する道路面と高さが異なる領域を抽出し、その領域と道路面との境界線を求めているので、高さや距離を求める装置に比べて少ない計算量で路肩を検出することができる。
【００７７】
（第２の実施形態）以下、本発明の第２の実施形態の路肩検出装置について説明する。本発明第２の実施形態の路肩検出装置は、第１の実施形態の路肩検出装置と大部分の構成は同じである。よって、構成の異なる部分についてだけ説明する。
【００７８】
図２は本発明第２の実施形態の路肩検出装置の路肩検出部７、８の構成を説明するブロック図である。第１の実施形態と異なり、路肩検出部７は、逆投影部１１と境界検出部１３を有し、路肩検出部８は、逆投影部１２と境界検出部１４を有している。
【００７９】
路肩検出部７は差異計算部５から得られた差異画像Ｓ１を車両が存在する道路面上に逆投影する逆投影部１１へ入力して、逆投影部１１からの逆投影した差異画像ＲＳ１から、道路面と高さが異なる領域を求め、その境界線を道路の右側の路肩として検出する境界検出部１３を用いて路肩を検出している。
【００８０】
路肩検出部８は差異計算部６から得られた差異画像Ｓ２を車両が存在する道路面上に逆投影する逆投影部１２へ入力して、逆投影部１２からの逆投影した差異画像ＲＳ２から、道路面と高さが異なる領域を求め、その境界線を道路の右側の路肩として検出する境界検出部１４を用いて路肩を検出している。
【００８１】
逆投影部１１は、差異計算部５で求めた差異画像Ｓ１を数１２の式により、車両が存在する道路面上に逆投影して逆投影差異画像ＲＳ１を生成する。図７（ａ）に示すような態様をしている差異画像Ｓ１は、車両が存在する道路面上に逆投影されると図７（ｂ）に示すような逆投影差異画像ＲＳ１になる。逆投影部１１は生成した逆投影差異画像ＲＳ１を境界検出部１３へ出力する。
【００８２】
【数１２】
【００８３】
数１２において、(x,y)は図７（ａ）に示すように差異画像Ｓ１中の点であり、座標系の原点は差異画像Ｓ１の消失点位置である。また、(u,v)は図７（ｂ）に示すように逆投影画像中の点であり、座標系の原点は逆投影差異画像ＲＳ１の上部中央位置である。yminは差異画像Ｓ１上において逆投影変換を行う下限ラインであり、Ｒx、Ｒyは逆投影差異画像ＲＳ１を適正な画像サイズに収めるための縮小率である。ymin、Ｒx、Ｒyは制御部９が初期化動作を行う時に、本装置の使用者にそれぞれの値を設定するように促して設定される値である。
【００８４】
逆投影画像では、ガードレール、壁面、生垣、歩道の段差などの路肩部分が道路と路肩の境界位置から外側に倒れこむ形で表現される。また、道路部分は道路を真上から見下ろす形で表現されるので、逆投影前の画像では消失点に向かって幅が狭くなっていく一定幅の直線道路が、逆投影画像では一定幅の道路として表現される。
【００８５】
境界検出部１３は、逆投影画像ＲＳ１を走査して道路と道路右側路肩との境界を検出する。境界検出部１３は、逆投影画像ＲＳ１を図９（ｂ）に示すように水平方向の領域Ｗi2(i=1〜n)に分割して、各領域Ｗi2内を水平方向に走査する。境界検出部１３は図９（ｂ）に示すように、走査地点Ｐ２を中心に、高さが領域Ｗi2と同じ高さで、予め設定しておいた固定幅ｄl2、ｄr2を有する領域Ｑl2、Ｑr2を設定して、領域Ｑl2、Ｑr2内の平均輝度値ｍQl2、ｍQr2をそれぞれ計算して、所定の閾値ＤＤ1、ＤＤ2と数１３の関係を満たすかを判定する。
【００８６】
【数１３】
【００８７】
境界検出部１３は、平均輝度値が数１３の関係を満たした場合は、逆投影画像ＲＳ１中の走査地点Ｐ２を領域Ｗi2内の路肩境界線候補地点とし、数１４で表される信頼度ＲＲP2を計算して境界検出部１３に内蔵のメモリ（図示せず）に登録しておく。
【００８８】
【数１４】
【００８９】
境界検出部１３は、各領域Ｗi2毎に、信頼度ＲＲP2の値が最小となる走査地点Ｐ２を領域Ｗi2内に存在する道路右側の路肩位置として、座標のu成分を走査地点Ｐ２の水平位置、v成分を領域Ｗi2の高さ方向の中点のv成分とする路肩位置代表点Ａi2を境界検出部１３に内蔵のメモリ（図示せず）に順次記憶する。境界検出部１３は、図１０（ｂ）に示すように順次記憶した路肩位置代表点Ａi2を結んだ折れ線を道路右側の路肩情報として制御部９へ出力する。
【００９０】
尚、境界検出部１３では路肩位置を判定する信頼度として数１４の関係式を用いたが、領域Ｑl2とＱr2を合わせた領域の平均輝度値ｍT2を求めて数１５の関係式を信頼度として用いても良い。
【００９１】
【数１５】
【００９２】
数１５を信頼度ＲＲP2として用いた場合は、信頼度ＲＲP2が最大となる走査地点Ｐ２を領域Ｗi2の路肩位置とみなせばよい。
【００９３】
逆投影部１２は、差異計算部５で求めた差異画像Ｓ２を数１２の式により、車両が存在する道路面上に逆投影して図８（ａ）に示すような逆投影差異画像ＲＳ２を生成する。逆投影部１２は生成した逆投影差異画像ＲＳ２を境界検出部１４へ出力する。
【００９４】
境界検出部１４は、逆投影画像ＲＳ２を走査して道路と道路左側路肩との境界を検出する。境界検出部１４は、逆投影画像ＲＳ２を図９（ａ）に示すように水平方向の領域Ｗi1(i=1〜n)に分割して、各領域Ｗi1内を水平方向に走査する。境界検出部１４は図９（ａ）に示すように、走査地点Ｐ１を中心に、高さが領域Ｗi1と同じ高さで、予め設定しておいた固定幅ｄl1、ｄr1を有する領域Ｑl1、Ｑr1を設定して、領域Ｑl1、Ｑr1内の平均輝度値ｍQl1、ｍQr1をそれぞれ計算して、所定の閾値ＤＤ1、ＤＤ2と数１６の関係を満たすかを判定する。
【００９５】
【数１６】
【００９６】
境界検出部１４は、平均輝度値が数１６の関係を満たした場合は、逆投影画像ＲＳ２中の走査地点Ｐ１を領域Ｗi1内の路肩境界線候補地点とし、数１７で表される信頼度ＲＲP1を計算して境界検出部１４に内蔵のメモリ（図示せず）に登録しておく。
【００９７】
【数１７】
【００９８】
境界検出部１４は、各領域Ｗi1毎に、信頼度ＲＲP1の値が最小となる走査地点Ｐ１を領域Ｗi1内に存在する道路右側の路肩位置として、座標のu成分を走査地点Ｐ１の水平位置、v成分を領域Ｗi1の高さ方向の中点のv成分とする路肩位置代表点Ａi1を境界検出部１４に内蔵のメモリ（図示せず）に順次記憶する。境界検出部１４は、図１０（ａ）に示すように順次記憶した路肩位置代表点Ａi1を結んだ折れ線を道路左側の路肩情報として制御部９へ出力する。
【００９９】
尚、境界検出部１３では路肩位置を判定する信頼度として数１７の関係式を用いたが、領域Ｑl1とＱr1を合わせた領域の平均輝度値ｍT1を求めて数１８の関係式を信頼度として用いても良い。
【０１００】
【数１８】
【０１０１】
数１８を信頼度ＲＲP1として用いた場合は、信頼度ＲＲP1が最大となる走査地点Ｐ１を領域Ｗi1の路肩位置とみなせばよい。
【０１０２】
本実施形態においても第１の実施形態と同様で、車両の進行方向に対して片側の路肩を検出すればよい場合は、検出を行わない側の差異計算部及び路肩検出部の構成を省略しても構わない。
【０１０３】
以上、本実施形態の路肩検出装置によれば、第１の実施形態の路肩検出装置の利点に加えて、路肩検出の際の画像の走査方向が画面に対して水平方向であるので、特にハードウエアで実装する場合に実装が容易であるという利点がある。
【０１０４】
（第３の実施形態）図１１は本発明の路肩検出装置を用いた自動車の車両制御装置の構成を説明するブロック図である。
【０１０５】
本実施形態の車両制御装置の路肩検出装置部分の構成は、第１及び第２の実施形態で説明した路肩検出装置とほぼ同等である。異なる点は、初期化動作を行う制御部９と検出結果を表示するための表示部１０を取り除いた点である。尚、路肩検出装置部分としては、第１の実施形態の路肩検出装置を用いても、第２の実施形態の路肩検出装置のいずれを用いても構わない。
【０１０６】
出力部１５は路肩の検出結果を路肩検出装置部分の外部に出力するためのインターフェースである。
【０１０７】
車両制御部１６は出力部１５から出力された路肩検出結果をもとに、本装置を設置した車両の走行車線における位置を判断して、走行車線から外れてそうな場合に運転者に注意を促したり、事故や衝突の危険がある場合にはステアリングやブレーキを操作して回避するための制御部分である。
【０１０８】
路肩検出装置部分での路肩検出処理に必要なＨ1to2、Ｈ2to1、走行レーン消失点などの各種パラメータは、予めパラメータ算出用装置（図示せず）を用いて算出して、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）に記憶させて工場出荷時に組み込んで与える。そのため、第１、第２の実施形態のような初期化動作を行う機能は不要となっている。
【０１０９】
以上、本実施形態の車両制御装置ならば、路肩を自動的に検出して路肩から外れそうになったときは注意を促し、場合によっては回避動作を自動的に行うことが可能なので、居眠り運転などによる事故を減らせる。
【０１１０】
【発明の効果】
本発明によれば、２台のカメラで撮影したステレオ画像から車両が走行する道路面と高さが異なる領域を抽出し、その領域と道路面との境界線を求めることで安定かつ計算量の少ない路肩検出装置及びその方法を提供することができる。
【図面の簡単な説明】
【図１】 本発明の第１、第２の実施形態の路肩検出装置の構成を示すブロック図。
【図２】 本発明の第２の実施形態の路肩検出装置の路肩検出部の構成を説明するブロック図。
【図３】 本発明の第１、第２の実施形態の路肩検出装置におけるカメラの設置位置を示す図。
【図４】 （ａ）カメラ１から得られる画像Ｉ１を説明する図。（ｂ）カメラ２から得られる画像Ｉ２を説明する図。
【図５】 （ａ）差異画像Ｓ２を説明する図。（ｂ）差異画像Ｓ１を説明する図。
【図６】 （ａ）本発明の第１の実施形態の路肩検出装置で差異画像Ｓ２から路肩を検出する方法を説明する図。（ｂ）本発明の第１の実施形態の路肩検出装置で差異画像Ｓ１から路肩を検出する方法を説明する図。
【図７】 （ａ）カメラで得られる画像を説明する図。（ｂ）逆投影画像を説明する図。
【図８】 （ａ）差異画像Ｓ２の逆投影画像ＲＳ２を説明する図。（ｂ）差異画像Ｓ１の逆投影画像ＲＳ１を説明する図。
【図９】 （ａ）本発明の第２の実施形態の路肩検出装置で、逆投影画像ＲＳ２から路肩を検出する方法を説明する図。（ｂ）本発明の第２の実施形態の路肩検出装置で、逆投影画像ＲＳ１から路肩を検出する方法を説明する図。
【図１０】 （ａ）本発明の第２の実施形態の路肩検出装置で検出されたカメラ１側の路肩を示す折れ線を説明する（ｂ）本発明の第２の実施形態の路肩検出装置で検出されたカメラ２側の路肩を示す折れ線を説明する図。
【図１１】 本発明の第３の実施形態である、車両制御装置の構成を説明する図。
【符号の説明】
１、２ カメラ
３、４ 画像蓄積部
５、６ 差異計算部
７、８ 路肩検出部
９ 制御部
１０ 表示部
１１、１２ 逆投影部
１３、１４ 境界検出部
Ｖ１、Ｖ２ 消失点
Ｐ１、Ｐ２ 走査地点
【発明の属する技術分野】
本発明は、自動車に搭載したカメラで撮影した画像から道路の路肩を検出する路肩検出装置及び方法に関する。
【０００２】
【従来の技術】
自動車の安全走行を確保するための警報システムや自動車の自動運転システムにおいては、走行中の車両が走行レーンを逸脱するか否かを検出する技術が必要となる。車両が走行レーンを逸脱するか否かを検知するには、走行レーンの左右の両端を検出する必要がある。車載カメラで撮影した画像を用いて走行レーンの両端を検出する場合、路面上の白線等のレーンマーカーを検出する方法が一般的である。しかし、この方法では路面上にレーンマーカーが存在する道路にしか適用できない。高速道路や整備された幅の広い一般道ならば白線等のレーンマーカーの存在が期待できるが、比較的幅の狭い一般道では路面上に中央線や道路端を示す白線等が描かれていないことが多い。このように白線等で走行レーンが明示されていない道路では、歩道、中央分離帯、側壁、ガードレール、生け垣等を検知し、これらを路肩として検出する必要がある。
【０００３】
従来、路肩検出手法として、画像の輝度や色、あるいはテクスチャー等の情報を手がかりにして路肩を求める手法が提案されている。例えば、C.E.Thorpe, M.H.Herbert and T.Kanade,"Vision and Navigation for the Carnegie-Mellone Navlab," IEEE Trans. PAMI, vol.01, no.3, pp.362-373, 1988.では、テクスチャーが少ない灰色の領域を道路領域として抽出して、その左右両端を路肩として検出していた。また、L.S.Davis, D.Dementhon, S.Dickinson and P.Veatch,"Algorithms for road navigation,"Vision-based vehicle Guidance, Springer-Verlag, Chapter 3, 1992.では、画像から斜めエッジを抽出して、エッジ強度が強く、かつ長いエッジセグメントを有するものを路肩として検出していた。
【０００４】
しかし、道路と類似する輝度、色、あるいはテクスチャーを有する画素及び領域は画像中で多数存在する。さらに、道路面自体の輝度レベル、色、そしてテクスチャーも、同じ場所を撮影した画像であっても、天候、季節や時間の変化により時々刻々と変化するために、路肩を安定に検出することが困難である。
【０００５】
また、道路に射した建物や電柱の影の境界のように、長いエッジセグメントを持つ領域も画像中に多数現れ、これらの影も時々刻々と変化するために、路肩を安定かつ正確に検出することが困難である。
【０００６】
この他の手法として、２台のカメラによるステレオ画像から高さや距離情報を求めて、ガードレール等の側壁を検出する方法が特開平１１−２１３１３８号公報で提案されている。この手法では、ステレオ画像間で対応する画素を探索して高さや距離情報を算出して３次元座標データを算出しているが、画素の探索や３次元座標データのグループ化に多大な計算コストが必要となる。
【０００７】
【発明が解決しようとする課題】
このように、撮影した画像の輝度、色、テクスチャー等の情報を用いる従来手法には、道路と類似した輝度、色、あるいはテクスチャーを有する側壁等を道路として誤検出し、路肩位置が正しく求まらないという問題点がある。
【０００８】
また、エッジセグメントを用いる手法では、道路に射した影の境界のような長いエッジセグメントを路肩として誤検出するという問題点がある。
【０００９】
さらに、２台のカメラによるステレオ画像から高さや距離情報を計算して側壁を検出する手法は、計算量が多いという問題がある。
【００１０】
本発明は上記問題点を鑑みてなされたものであり、２台のカメラで撮影したステレオ画像を用いて、安定かつ計算量の少ない路肩検出装置及び方法を提供することを目的とする。
【００１１】
【課題を解決するための手段】
上記課題を解決するため本発明の路肩検出方法は、走行する車両から道路の路肩を検出する方法であって、前記車両の進行方向と垂直な方向に所定の間隔離して設置された第１、第２のカメラを用いて同時に第１、第２の画像を取得する画像取得ステップと、前記第１の画像及び第２の画像をそれぞれメモリに蓄積する画像蓄積ステップと、前記第１の画像の任意の画素が前記車両が走行する道路面上に存在すると仮定した場合の、前記第１の画像を第２のカメラからの見え方に変換する対応関係を用いて、前記第１の画像と前記第２の画像の差異を計算して第１の差異画像を生成し、前記第２の画像の任意の画素が前記車両が走行する道路面上に存在すると仮定した場合の、前記第２の画像を第１のカメラからの見え方に変換する対応関係を用いて、前記第１の画像と前記第２の画像の差異を計算して第１の差異画像を生成する差異画像生成ステップと、前記第１の差異画像から第２の画像を取得した位置に近い側の路肩を検出すし、前記第２の差異画像から第１の画像を取得した位置に近い側の路肩を検出する路肩検出ステップを有することを特徴とする。
【００１２】
また、本発明の路肩検出装置は、道路を走行する車両に設置され、道路の路肩を検出する装置であって、前記車両の進行方向と垂直な方向に所定の間隔離して前記車両に設置され、車両前方の画像を２台同時に撮影する第１、第２のカメラと、第１のカメラで撮影した第１の画像を画面単位で蓄積する第１の画像蓄積部と、第２のカメラで撮影した第２の画像を画面単位で蓄積する第２の画像蓄積部と、前記第１の画像の任意の画素が前記車両が走行する道路面上に存在すると仮定した場合の、前記第１の画像を第２のカメラからの見え方に変換する対応関係を用いて、前記第１の画像蓄積部からの前記第１の画像と前記第２の画像蓄積部からの前記第２の画像の差異を計算して第１の差異画像を生成する第１の差異画像生成部と、前記第２の画像の任意の画素が前記車両が走行する道路面上に存在すると仮定した場合の、前記第２の画像を第１のカメラからの見え方に変換する対応関係を用いて、前記第１の画像蓄積部からの前記第１の画像と前記第２の画像蓄積部からの前記第２の画像の差異を計算して第２の差異画像を生成する第２の差異画像生成部と、前記第１の差異画像から第２のカメラに近い側の路肩を検出する第１の路肩検出部と、前記第１の差異画像から第２のカメラに近い側の路肩を検出する第１の路肩検出部とを有することを特徴とする。
【００１３】
以上、本発明によれば、エッジセグメント等を用いた路肩検出方法及び装置に比べて誤検出が少なく安定して路肩を検出でき、また、従来のステレオ画像を用いた路肩検出方法及び装置のように高さや距離情報を計算していないので、少ない計算量で路肩を検出することが可能である。
【００１４】
【発明の実施の形態】
（第１の実施形態）以下、図面を参照して本発明の第１の実施形態を説明する。図１は本発明の第１の実施形態の路肩検出装置の構成を説明するブロック図である。
【００１５】
本実施形態の路肩検出装置は、動画像を撮影するためのカメラ１、２と、撮影した動画像を画像１枚毎に順次一時蓄積しておく画像蓄積部３、４とを有する。本装置はさらに、カメラ１、２で撮影した画像から差異画像Ｓ１、Ｓ２を求める差異計算部５、６と、差異画像を用いて路肩を検出する路肩検出部７、８とを有する。本装置はさらに、本装置の使用者に対するインターフェースであるＧＵＩを提供し、また本装置各部分の動作の調整を行う制御部９と、前述のＧＵＩ及びカメラ１、２で撮影した画像及び検出した路肩を表示する表示部１０とを有する。
【００１６】
本装置は自動車に搭載するためのものである。カメラ１、２は、図３に示すように、車両の進行方向に向かって左側にカメラ１を、右側にカメラ２を設置する。具体的には、車のフロントウインドウの内側左端にカメラ１を、内側右端にカメラ２を設置する。カメラ間隔やカメラ設置場所の路面からの高さは、車両の大きさ・種類等によるが、乗用車の場合でカメラ間隔が1.5m〜2.0m程度、高さが70cm〜1.5m程度になるように設置する。そして、設置時にカメラ１とカメラ２の視野がある程度重なるように向きを調整する。
【００１７】
カメラ１、２は受光部にＣＣＤ（電荷結合素子）を用いた可視光領域用カメラである。図４はカメラ１、２で撮影した画像を説明する図で、図４（ａ）は車両の左側にあるカメラ１が、図４（ｂ）は車両の右側にあるカメラ２が撮影した場合の見え方である。カメラ１で撮影した画像Ｉ１は画像蓄積部３へ出力し、カメラ２で撮影した画像Ｉ２は画像蓄積部４へ出力する。
【００１８】
画像蓄積部３はカメラ１からの画像を画面単位で一時記憶しておき、画像蓄積部４はカメラ２からの画像を画面単位で一時記憶しておく。
【００１９】
差異計算部５は、画像Ｉ１を変換画像Ｍ１に変換してから、この変換画像Ｍ１と画像Ｉ２から差異画像Ｓ１を生成する。差異計算部５は、まず、画像Ｉ１を画像Ｉ１中の全画素が、車両が走行している道路平面上に存在すると仮定（道路平面拘束仮定）した場合の、カメラ２からの見え方に変換して変換画像Ｍ１を生成する。そして、各画素毎に変換画像Ｍ１と画像Ｉ２の輝度の絶対値差分を計算して差異画像Ｓ１を生成する。
【００２０】
同様にして、差異計算部６は、画像Ｉ２を変換画像Ｍ２に変換してから、この変換画像Ｍ２と画像Ｉ１から差異画像Ｓ２を生成する。差異計算部６は、まず、画像Ｉ２を全画素を道路平面拘束仮定した場合の、カメラ１からの見え方に変換して変換画像Ｍ２を生成する。そして、各画素毎に画像Ｉ１と変換画像Ｍ２の絶対値差分を計算して差異画像Ｓ２を生成する。
【００２１】
路肩検出部７では差異計算部５で求めた差異画像Ｓ１から、道路の右側（カメラ２側）の路肩の検出を行い、路肩検出部８では差異計算部６で求めた差異画像Ｓ２から、道路の左側（カメラ１側）の路肩の検出を行う。
【００２２】
制御部９は路肩検出部７、８で検出した路肩の情報を表す路肩情報画像を生成して、画像蓄積部３、４から読み出したカメラ１、２で撮影した画像Ｉ１及びＩ２上に合成した走行路画像を生成する。制御部９は、生成した２枚（Ｉ１、Ｉ２に対応する）の走行路画像を、ＧＵＩ上に設けた走行路画像を表示するための枠内に合成して、ＧＵＩを表示部１０に出力する。
【００２３】
さらに制御部９は、制御部９に接続されたポインティングデバイスを通じて、本装置の使用者からの操作を受け付ける。そして、制御部９は本装置の設置時あるいは使用者からの要求によって本装置の初期化動作を行う。この初期化動作では、後述するように路肩を検出するために必要となる各種パラメータの算出などを行う。
【００２４】
表示部１０は、制御部９から出力されたＧＵＩを表示する。
【００２５】
以下、差異計算部５、６で行う変換画像Ｍ１、Ｍ２の生成方法と、差異画像Ｓ１、Ｓ２の生成方法を説明する。
【００２６】
道路平面（XY平面）上の任意の点(X,Y)を、カメラ１の画像面及びカメラ２の画像面への投影点を各々(u1,v1)、(u2,v2)とする。道路平面拘束仮定を行うと、
【００２７】
【数１】
という関係式が成り立つ。ただし、
【００２９】
【数２】
で、h、t、g、sはカメラ１、２の３次元位置と姿勢、及びカメラ１、２それぞれに装着したレンズの焦点距離、画像中心に関するパラメーターであり、車両の中心を原点として、車両に対して相対的に停止している３次元直交座標（車両座標）系におけるパラメータである。
【００３１】
数１からXとYを消去すると、
【００３２】
【数３】
となる。ここで、
【００３４】
【数４】
は数１から数３へ式変形した際のu1、v1の係数と定数項であり、h、gで表される定数である。
【００３６】
数４のパラメータＨはあらかじめ固定値で与えられるものではないが、数３の関係式により、画像Ｉ１中の点(u1,v1)を道路平面拘束仮定した時のカメラ２から見た場合の点(u2,v2)の座標を求めることが可能であるから、あらかじめ与えた画像Ｉ１と画像Ｉ２の対応点の座標を数３の関係式に代入して得られるパラメータＨの各成分についての連立方程式を解いて求めることが可能である。本装置では、制御部９が数４のパラメータＨを制御部９の初期化動作の際に求める。
【００３７】
差異計算部５は数３の関係式を用いて、差異計算部６は数３を(u1,v1)について解いた関係式を用いて変換画像Ｍ１、Ｍ２を生成する。尚、変換画像の生成速度を向上させるため、差異計算部５、６ともに制御部９からパラメータＨを受け取った際に、数３の関係式（差異計算部６は数３を(u1,v1)について解いたもの）を用いて変換画像を生成するための変換テーブルＴ1to2、Ｔ2to1を生成して差異計算部５及び６の内部で記憶しておき、実際の変換画像生成はこの変換テーブルＴ1to2、Ｔ2to1を用いて行う。変換テーブルＴ1to2、Ｔ2to1は２次元の配列データで、Ｔ1to2(u1,v1)=(u2,v2)、Ｔ2to1(u2,v2)=(u1,v1)である。
【００３８】
画像Ｉnと変換画像Ｍmから求める差異画像Ｓn（n=１,m=２あるいはn=２,m=１）の各画素の輝度値は、画像Ｉnと変換画像のＭmの各画素の輝度値を数５の式で変換した値を持つ。
【００３９】
【数５】
ただし、Ｓn(x,y)、Ｉn(x,y)、Ｍm(x,y)は、各画像上の点(x,y)の輝度値を表す。
【００４１】
画像Ｉ１を道路平面拘束に従ってカメラ２からの見え方に変換するためのパラメータＨ1to2を用いてカメラ２からの見え方に変換した変換画像Ｍ１では、道路に存在するガードレールや生垣などの立体物が右側に倒れこんだ形に変換される。立体物は道路と接する地点を中心にして倒れこんで変換されるので、道路より高い場所にあるもの（画素）ほど右側に大きく移動する。
【００４２】
従って、変換画像とＭ１と画像Ｉ２から差異画像Ｓ１を生成すると、道路面は輝度差が小さくなり、道路より高い場所にある物体は輝度差が大きくなる。このため、差異画像Ｓ１は図５に示すようにガードレール部分に輝度差の大きい領域Ｘ1が現れるので、この領域Ｘ1の境界を検出すれば路肩の位置を検出することができる。
【００４３】
画像Ｉ２を道路平面拘束に従ってカメラ１からの見え方に変換するためのパラメータＨ2to1を用いてカメラ１からの見え方に変換した変換画像Ｍ２では、道路に存在するガードレールや生垣などの立体物が左側に倒れこんだ形に変換される。立体物は道路と接する地点を中心にして倒れこんで変換されるので、道路より高い場所にあるもの（画素）ほど左側に大きく移動する。
【００４４】
従って、変換画像とＭ２と画像Ｉ１から差異画像Ｓ２を生成すると、道路面は輝度差が小さくなり、道路より高い場所にある物体は輝度差が大きくなる。このため、差異画像Ｓ２は図５に示すようにガードレール部分に輝度差の大きい領域Ｘ2が現れるので、この領域Ｘ2の境界を検出すれば路肩の位置を検出することができる。
【００４５】
路肩検出部７は、差異計算部５で求めた差異画像Ｓ１から領域Ｘ1を探索して、道路右側（カメラ２に近い側）の路肩を検出する。尚、路肩の検出には走行レーンが交わる消失点Ｖ１の座標を必要とするので、本装置では、制御部９が初期化動作の中で消失点Ｖ１の座標を求める。
【００４６】
路肩検出部７は、まず、図６（ａ）に示すように画像中の消失点Ｖ１を通る画面下端に対する水平線を求める。水平線と画像端の交点をそれぞれＨa1、Ｈa2とする。路肩検出部７は消失点Ｖ１と画像の端点Ｔm1を通る直線に沿って差異画像Ｓ１を走査する。走査範囲は端点Ｔm1が画像の端を通って反時計回りにＨa1からＨa2までである。路肩検出部７は直線Ｖ１Ｔm1を境界にして差異画像Ｓ１の画素値を比較して路肩を検出する。
【００４７】
路肩検出部７で行う画素値の比較の具体的方法を説明する。端点Ｔm1の前後所定距離（例えば5画素）離れた場所に点Ｔn1、Ｔp1をとり、三角形Ｖ１Ｔm1Ｔn1（領域Ｓn1）と三角形Ｖ１Ｔm1Ｔp1（領域Ｓp1）の領域に着目する。路肩検出部７は領域Ｓn1、Ｓp1内の平均輝度値ｍn1、ｍp1を求めて、平均輝度値と所定の閾値Ｄ1、Ｄ2が数６の関係を満たすかを判定する。
【００４８】
【数６】
路肩検出部７は、平均輝度値が数６の関係を満たした場合は、差異画像Ｓ１中の直線Ｖ１Ｔm1を路肩候補とし、数７で表される信頼度Ｒ1を計算して路肩検出部７に内蔵されたメモリ（図示せず）に登録しておく。
【００５０】
【数７】
路肩検出部７は数７で計算した信頼度Ｒ1が最小となる直線Ｖ１Ｔm1を道路右側の路肩として出力する。
【００５２】
尚、路肩検出部７では数７の式を路肩位置を判定する信頼度として用いたが、領域Ｓn1、Ｓp1の平均輝度ｍn1、ｍp1と、領域Ｓn1と領域Ｓp1を合わせた領域の平均輝度ｍT1を用いて、数８の関係式で定義した信頼度Ｒ1を用いても良い。
【００５３】
【数８】
ただし、数８で定義した信頼度Ｒ1を用いる場合は、信頼度Ｒ1が最大になる直線Ｖ１Ｔm1を道路右側の路肩として出力する。
【００５５】
以上のようにして路肩検出部７は道路右側の路肩を検出し、検出した路肩の情報を制御部９へ出力する。
【００５６】
路肩検出部８は、差異計算部６で求めた差異画像Ｓ２から領域Ｘ2を探索して、道路左側（カメラ１に近い側）の路肩を検出する。尚、路肩の検出には走行レーンが交わる消失点Ｖ２の座標を必要とするので、本装置では、制御部９が初期化動作の中で消失点Ｖ２の座標を求める。
【００５７】
路肩検出部８は、まず、図６（ｂ）に示すように画像中の消失点Ｖ２を通る画面下端に対する水平線を求める。水平線と画像端の交点をそれぞれＨb1、Ｈb2とする。路肩検出部８は消失点Ｖ２と画像の端点Ｔm2を通る直線に沿って差異画像Ｓ２を走査する。走査範囲は端点Ｔm2が画像の端を通って反時計回りにＨb1からＨb2までである。路肩検出部８は直線Ｖ２Ｔm2を境界にして差異画像Ｓ２の画素値を比較して路肩を検出する。
【００５８】
路肩検出部８で行う画素値の比較の具体的方法を説明する。端点Ｔm2の前後所定距離（例えば5画素）離れた場所に点Ｔn2、Ｔp2をとり、三角形Ｖ２Ｔm2Ｔn2（領域Ｓn2）と三角形Ｖ２Ｔm2Ｔp2（領域Ｓp2）の領域に着目する。路肩検出部８は領域Ｓn2、Ｓp2内の平均輝度値ｍn2、ｍp2を求めて、平均輝度値と所定の閾値Ｄ1、Ｄ2が数９の関係を満たすかを判定する。
【００５９】
【数９】
路肩検出部８は、平均輝度値が数９の関係を満たした場合は、差異画像Ｓ２中の直線Ｖ２Ｔm2を路肩候補とし、数１０で表される信頼度Ｒ2を計算して路肩検出部８に内蔵されたメモリ（図示せず）に登録しておく。
【００６１】
【数１０】
路肩検出部８は数１０で計算した信頼度Ｒ2が最小となる直線Ｖ２Ｔm2を道路左側の路肩として出力する。
【００６３】
尚、路肩検出部８では数１０の式を路肩位置を判定する信頼度として用いたが、領域Ｓn2、Ｓp2の平均輝度ｍn2、ｍp2と、領域Ｓn2と領域Ｓp2を合わせた領域の平均輝度ｍT2を用いて、数１１の関係式で定義した信頼度Ｒ2を用いても良い。
【００６４】
【数１１】
ただし、数１１で定義した信頼度Ｒ2を用いる場合は、信頼度Ｒ2が最大になる直線Ｖ２Ｔm2を道路左側の路肩として出力する。
【００６６】
以上のようにして路肩検出部８は道路左側の路肩を検出し、検出した路肩の情報を制御部９へ出力する。
【００６７】
制御部９は前述の通り、路肩検出部７、８で検出した路肩の情報を画像情報に変換して、ＧＵＩ及び画像蓄積部３、４から読み出したカメラ１、２で撮影した画像上に合成し、これをユーザーインターフェースであるＧＵＩと合成してＧＵＩを表示部１０に出力する。この他に、本装置の使用者からの操作を受け付けたり、本装置起動時及び使用者からの要求による初期化動作を行う。
【００６８】
以下、制御部９で行う初期化動作について説明する。
【００６９】
制御部９は初期化動作において、道路平面拘束を用いて画像を変換するパラメータＨ1to2とＨ2to1と、走行レーンの消失点を求める。
【００７０】
制御部９はＧＵＩ上で本装置の使用者にポインティングデバイスで画像Ｉ１の道路面上の特徴点（道路平面上に描かれた直線の交点やペイントの角点等）をＮ個（４個以上）と指定したＮ個の点に対応する画像Ｉ２上の点（対応点）と、画像Ｉ１、Ｉ２それぞれの走行レーンの消失点Ｖ２、Ｖ１を指定するように促し、画像Ｉ１での道路面上の特徴点Ｎ個の座標と、それぞれの特徴点について画像Ｉ２上での対応点Ｎ個の座標と、消失点の座標Ｖ１とＶ２を得る。制御部９は消失点の座標Ｖ１を路肩検出部７に、消失点の座標Ｖ２を路肩検出部８にそれぞれ出力する。
【００７１】
制御部９は、本装置の使用者が指定したＮ組の点の座標値を、画像Ｉ１上の点を(u1,v1)として、画像Ｉ２上の点を(u2,v2)として数３の関係式に代入して得られるＨについての２Ｎ本の連立方程式を解いて、画像Ｉ１を道路平面拘束に従ってカメラ２からの見え方に変換するためのパラメータＨ1to2を求める。制御部９は、求めたＨ1to2を差異計算部５に出力する。
【００７２】
同様にして、制御部９は、画像Ｉ２上の点を(u1,v1)として、画像Ｉ１上の点を(u2,v2)として数３の関係式に代入して得られるＨについての２Ｎ本の連立方程式を解いて、画像Ｉ２を道路平面拘束に従ってカメラ１からの見え方に変換するためのパラメータＨ2to1を求める。制御部９は、求めたＨ2to1を差異計算部６に出力する。
【００７３】
以上のようにして、制御部９は初期化動作を実施する際に路肩検出処理で必要となる各種のパラメータを計算する。
【００７４】
本実施形態では差異計算部５、６で、輝度値の絶対値差分を用いて差異画像Ｓ１、Ｓ２を求めているが、これに限らず、フーリエ変換値等のテクスチャーを示す尺度や各種の相関係数を用いても構わない。
【００７５】
また、本実施形態では車両の進行方向に対して左右の路肩を検出しているが、必ずしも両側の路肩を検出する必要はない。例えば日本のように左側通行の国であれば左側の路肩のみを本装置で検出して、走行車線右側の境界は本発明以外の別の方法で白線を検出するという使い方もある。このように恒常的に左側だけを検出する場合は本実施形態の差異計算部５及び路肩検出部７の構成を省いても良い。また、逆に右側だけを検出する場合は差異計算部６及び路肩検出部８の構成を省いても良い。
【００７６】
以上、本実施形態の路肩検出装置によれば、２台のカメラで撮影したステレオ画像から、車両が走行する道路面と高さが異なる領域を抽出し、その領域と道路面との境界線を求めているので、高さや距離を求める装置に比べて少ない計算量で路肩を検出することができる。
【００７７】
（第２の実施形態）以下、本発明の第２の実施形態の路肩検出装置について説明する。本発明第２の実施形態の路肩検出装置は、第１の実施形態の路肩検出装置と大部分の構成は同じである。よって、構成の異なる部分についてだけ説明する。
【００７８】
図２は本発明第２の実施形態の路肩検出装置の路肩検出部７、８の構成を説明するブロック図である。第１の実施形態と異なり、路肩検出部７は、逆投影部１１と境界検出部１３を有し、路肩検出部８は、逆投影部１２と境界検出部１４を有している。
【００７９】
路肩検出部７は差異計算部５から得られた差異画像Ｓ１を車両が存在する道路面上に逆投影する逆投影部１１へ入力して、逆投影部１１からの逆投影した差異画像ＲＳ１から、道路面と高さが異なる領域を求め、その境界線を道路の右側の路肩として検出する境界検出部１３を用いて路肩を検出している。
【００８０】
路肩検出部８は差異計算部６から得られた差異画像Ｓ２を車両が存在する道路面上に逆投影する逆投影部１２へ入力して、逆投影部１２からの逆投影した差異画像ＲＳ２から、道路面と高さが異なる領域を求め、その境界線を道路の右側の路肩として検出する境界検出部１４を用いて路肩を検出している。
【００８１】
逆投影部１１は、差異計算部５で求めた差異画像Ｓ１を数１２の式により、車両が存在する道路面上に逆投影して逆投影差異画像ＲＳ１を生成する。図７（ａ）に示すような態様をしている差異画像Ｓ１は、車両が存在する道路面上に逆投影されると図７（ｂ）に示すような逆投影差異画像ＲＳ１になる。逆投影部１１は生成した逆投影差異画像ＲＳ１を境界検出部１３へ出力する。
【００８２】
【数１２】
数１２において、(x,y)は図７（ａ）に示すように差異画像Ｓ１中の点であり、座標系の原点は差異画像Ｓ１の消失点位置である。また、(u,v)は図７（ｂ）に示すように逆投影画像中の点であり、座標系の原点は逆投影差異画像ＲＳ１の上部中央位置である。yminは差異画像Ｓ１上において逆投影変換を行う下限ラインであり、Ｒx、Ｒyは逆投影差異画像ＲＳ１を適正な画像サイズに収めるための縮小率である。ymin、Ｒx、Ｒyは制御部９が初期化動作を行う時に、本装置の使用者にそれぞれの値を設定するように促して設定される値である。
【００８４】
逆投影画像では、ガードレール、壁面、生垣、歩道の段差などの路肩部分が道路と路肩の境界位置から外側に倒れこむ形で表現される。また、道路部分は道路を真上から見下ろす形で表現されるので、逆投影前の画像では消失点に向かって幅が狭くなっていく一定幅の直線道路が、逆投影画像では一定幅の道路として表現される。
【００８５】
境界検出部１３は、逆投影画像ＲＳ１を走査して道路と道路右側路肩との境界を検出する。境界検出部１３は、逆投影画像ＲＳ１を図９（ｂ）に示すように水平方向の領域Ｗi2(i=1〜n)に分割して、各領域Ｗi2内を水平方向に走査する。境界検出部１３は図９（ｂ）に示すように、走査地点Ｐ２を中心に、高さが領域Ｗi2と同じ高さで、予め設定しておいた固定幅ｄl2、ｄr2を有する領域Ｑl2、Ｑr2を設定して、領域Ｑl2、Ｑr2内の平均輝度値ｍQl2、ｍQr2をそれぞれ計算して、所定の閾値ＤＤ1、ＤＤ2と数１３の関係を満たすかを判定する。
【００８６】
【数１３】
境界検出部１３は、平均輝度値が数１３の関係を満たした場合は、逆投影画像ＲＳ１中の走査地点Ｐ２を領域Ｗi2内の路肩境界線候補地点とし、数１４で表される信頼度ＲＲP2を計算して境界検出部１３に内蔵のメモリ（図示せず）に登録しておく。
【００８８】
【数１４】
境界検出部１３は、各領域Ｗi2毎に、信頼度ＲＲP2の値が最小となる走査地点Ｐ２を領域Ｗi2内に存在する道路右側の路肩位置として、座標のu成分を走査地点Ｐ２の水平位置、v成分を領域Ｗi2の高さ方向の中点のv成分とする路肩位置代表点Ａi2を境界検出部１３に内蔵のメモリ（図示せず）に順次記憶する。境界検出部１３は、図１０（ｂ）に示すように順次記憶した路肩位置代表点Ａi2を結んだ折れ線を道路右側の路肩情報として制御部９へ出力する。
【００９０】
尚、境界検出部１３では路肩位置を判定する信頼度として数１４の関係式を用いたが、領域Ｑl2とＱr2を合わせた領域の平均輝度値ｍT2を求めて数１５の関係式を信頼度として用いても良い。
【００９１】
【数１５】
数１５を信頼度ＲＲP2として用いた場合は、信頼度ＲＲP2が最大となる走査地点Ｐ２を領域Ｗi2の路肩位置とみなせばよい。
【００９３】
逆投影部１２は、差異計算部５で求めた差異画像Ｓ２を数１２の式により、車両が存在する道路面上に逆投影して図８（ａ）に示すような逆投影差異画像ＲＳ２を生成する。逆投影部１２は生成した逆投影差異画像ＲＳ２を境界検出部１４へ出力する。
【００９４】
境界検出部１４は、逆投影画像ＲＳ２を走査して道路と道路左側路肩との境界を検出する。境界検出部１４は、逆投影画像ＲＳ２を図９（ａ）に示すように水平方向の領域Ｗi1(i=1〜n)に分割して、各領域Ｗi1内を水平方向に走査する。境界検出部１４は図９（ａ）に示すように、走査地点Ｐ１を中心に、高さが領域Ｗi1と同じ高さで、予め設定しておいた固定幅ｄl1、ｄr1を有する領域Ｑl1、Ｑr1を設定して、領域Ｑl1、Ｑr1内の平均輝度値ｍQl1、ｍQr1をそれぞれ計算して、所定の閾値ＤＤ1、ＤＤ2と数１６の関係を満たすかを判定する。
【００９５】
【数１６】
境界検出部１４は、平均輝度値が数１６の関係を満たした場合は、逆投影画像ＲＳ２中の走査地点Ｐ１を領域Ｗi1内の路肩境界線候補地点とし、数１７で表される信頼度ＲＲP1を計算して境界検出部１４に内蔵のメモリ（図示せず）に登録しておく。
【００９７】
【数１７】
境界検出部１４は、各領域Ｗi1毎に、信頼度ＲＲP1の値が最小となる走査地点Ｐ１を領域Ｗi1内に存在する道路右側の路肩位置として、座標のu成分を走査地点Ｐ１の水平位置、v成分を領域Ｗi1の高さ方向の中点のv成分とする路肩位置代表点Ａi1を境界検出部１４に内蔵のメモリ（図示せず）に順次記憶する。境界検出部１４は、図１０（ａ）に示すように順次記憶した路肩位置代表点Ａi1を結んだ折れ線を道路左側の路肩情報として制御部９へ出力する。
【００９９】
尚、境界検出部１３では路肩位置を判定する信頼度として数１７の関係式を用いたが、領域Ｑl1とＱr1を合わせた領域の平均輝度値ｍT1を求めて数１８の関係式を信頼度として用いても良い。
【０１００】
【数１８】
数１８を信頼度ＲＲP1として用いた場合は、信頼度ＲＲP1が最大となる走査地点Ｐ１を領域Ｗi1の路肩位置とみなせばよい。
【０１０２】
本実施形態においても第１の実施形態と同様で、車両の進行方向に対して片側の路肩を検出すればよい場合は、検出を行わない側の差異計算部及び路肩検出部の構成を省略しても構わない。
【０１０３】
以上、本実施形態の路肩検出装置によれば、第１の実施形態の路肩検出装置の利点に加えて、路肩検出の際の画像の走査方向が画面に対して水平方向であるので、特にハードウエアで実装する場合に実装が容易であるという利点がある。
【０１０４】
（第３の実施形態）図１１は本発明の路肩検出装置を用いた自動車の車両制御装置の構成を説明するブロック図である。
【０１０５】
本実施形態の車両制御装置の路肩検出装置部分の構成は、第１及び第２の実施形態で説明した路肩検出装置とほぼ同等である。異なる点は、初期化動作を行う制御部９と検出結果を表示するための表示部１０を取り除いた点である。尚、路肩検出装置部分としては、第１の実施形態の路肩検出装置を用いても、第２の実施形態の路肩検出装置のいずれを用いても構わない。
【０１０６】
出力部１５は路肩の検出結果を路肩検出装置部分の外部に出力するためのインターフェースである。
【０１０７】
車両制御部１６は出力部１５から出力された路肩検出結果をもとに、本装置を設置した車両の走行車線における位置を判断して、走行車線から外れてそうな場合に運転者に注意を促したり、事故や衝突の危険がある場合にはステアリングやブレーキを操作して回避するための制御部分である。
【０１０８】
路肩検出装置部分での路肩検出処理に必要なＨ1to2、Ｈ2to1、走行レーン消失点などの各種パラメータは、予めパラメータ算出用装置（図示せず）を用いて算出して、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）に記憶させて工場出荷時に組み込んで与える。そのため、第１、第２の実施形態のような初期化動作を行う機能は不要となっている。
【０１０９】
以上、本実施形態の車両制御装置ならば、路肩を自動的に検出して路肩から外れそうになったときは注意を促し、場合によっては回避動作を自動的に行うことが可能なので、居眠り運転などによる事故を減らせる。
【０１１０】
【発明の効果】
本発明によれば、２台のカメラで撮影したステレオ画像から車両が走行する道路面と高さが異なる領域を抽出し、その領域と道路面との境界線を求めることで安定かつ計算量の少ない路肩検出装置及びその方法を提供することができる。
【図面の簡単な説明】
【図１】 本発明の第１、第２の実施形態の路肩検出装置の構成を示すブロック図。
【図２】 本発明の第２の実施形態の路肩検出装置の路肩検出部の構成を説明するブロック図。
【図３】 本発明の第１、第２の実施形態の路肩検出装置におけるカメラの設置位置を示す図。
【図４】 （ａ）カメラ１から得られる画像Ｉ１を説明する図。（ｂ）カメラ２から得られる画像Ｉ２を説明する図。
【図５】 （ａ）差異画像Ｓ２を説明する図。（ｂ）差異画像Ｓ１を説明する図。
【図６】 （ａ）本発明の第１の実施形態の路肩検出装置で差異画像Ｓ２から路肩を検出する方法を説明する図。（ｂ）本発明の第１の実施形態の路肩検出装置で差異画像Ｓ１から路肩を検出する方法を説明する図。
【図７】 （ａ）カメラで得られる画像を説明する図。（ｂ）逆投影画像を説明する図。
【図８】 （ａ）差異画像Ｓ２の逆投影画像ＲＳ２を説明する図。（ｂ）差異画像Ｓ１の逆投影画像ＲＳ１を説明する図。
【図９】 （ａ）本発明の第２の実施形態の路肩検出装置で、逆投影画像ＲＳ２から路肩を検出する方法を説明する図。（ｂ）本発明の第２の実施形態の路肩検出装置で、逆投影画像ＲＳ１から路肩を検出する方法を説明する図。
【図１０】 （ａ）本発明の第２の実施形態の路肩検出装置で検出されたカメラ１側の路肩を示す折れ線を説明する（ｂ）本発明の第２の実施形態の路肩検出装置で検出されたカメラ２側の路肩を示す折れ線を説明する図。
【図１１】 本発明の第３の実施形態である、車両制御装置の構成を説明する図。
【符号の説明】
１、２ カメラ
３、４ 画像蓄積部
５、６ 差異計算部
７、８ 路肩検出部
９ 制御部
１０ 表示部
１１、１２ 逆投影部
１３、１４ 境界検出部
Ｖ１、Ｖ２ 消失点
Ｐ１、Ｐ２ 走査地点
Claims (8)
- 走行する車両から立体物で区切られた走行路の境界を検出する方法であって、
前記車両の進行方向の第１の側に設置した第１のカメラと第２の側に設置した第２のカメラを用いて同時に第１の画像と第２の画像を取得する画像取得ステップと、
前記第１の画像と前記第２の画像をそれぞれメモリに蓄積する画像蓄積ステップと、
前記第２の画像の全画素が前記車両が走行する道路面を撮影したものであると仮定して、前記第２の画像を前記第１のカメラからの見え方に変換する対応関係を用いて、前記第１の画像と前記第２の画像との対応する画素間の輝度値の絶対値差分を計算して差異画像を生成する差異画像生成ステップと、
前記差異画像を前記車両が走行する道路面上に逆投影して逆投影画像を生成する逆投影ステップと、
前記逆投影画像を水平方向に走査して輝度の変化が予め定めた条件を満たす点を求めることにより、進行方向の第１の側に存在する立体物で区切られた走行路の境界を検出する境界検出ステップと、
を有する路肩検出方法。 - 前記第１の側は、車両の進行方向に向かって左側であることを特徴とする請求項１記載の路肩検出方法。
- 走行する車両から立体物で区切られた走行路の境界を検出する方法であって、
前記車両の進行方向の左側に設置した第１のカメラと右側に設置した第２のカメラとを用いて同時に第１の画像と第２の画像を取得する画像取得ステップと、
前記第１の画像と前記第２の画像をそれぞれメモリに蓄積する画像蓄積ステップと、
前記第２の画像の全画素が前記車両が走行する道路面を撮影したものであると仮定して、前記第２の画像を前記第１のカメラからの見え方に変換する対応関係を用いて、前記第１の画像と前記第２の画像との輝度値の絶対値差分を計算して第１の差異画像を生成するとともに、前記第１の画像の全画素が前記車両が走行する道路面を撮影したものであると仮定して、前記第１の画像を前記第２のカメラからの見え方に変換する対応関係を用いて、前記第１の画像と前記第２の画像との輝度値の絶対値差分を計算して第２の差異画像を生成する差異画像生成ステップと、
前記第１の差異画像の端にある第１の端点と前記差異画像での走行路の消失点とを結ぶ線分を挟んで接する２つの領域の画素値の平均値を、前記第１の端点を前記第１の差異画像の端に沿って移動させながら求め、前記平均値が予め定めた条件を満たすときの前記第１の端点と前記消失点とを結ぶ線分を走行路の右側の境界として検出するとともに、前記第２の差異画像の端にある第２の端点と前記差異画像での走行路の消失点とを結ぶ線分を挟んで接する２つの領域の各々の画素値の平均値を、前記第２の端点を前記第２の差異画像の端に沿って移動させながら求め、前記平均値が予め定めた条件を満たすときの前記第２の端点と前記消失点とを結ぶ線分を走行路の左側の境界として検出する境界検出ステップと、
を有する路肩検出方法。 - 走行する車両から立体物で区切られた走行路の境界を検出する方法であって、
前記車両の進行方向の左側に設置した第１のカメラと右側に設置した第２のカメラとを用いて同時に第１の画像と第２の画像を取得する画像取得ステップと、
前記第１の画像と前記第２の画像をそれぞれメモリに蓄積する画像蓄積ステップと、
前記第２の画像の全画素が前記車両が走行する道路面を撮影したものであると仮定して、前記第２の画像を前記第１のカメラからの見え方に変換する対応関係を用いて、前記第１の画像と前記第２の画像との輝度値の絶対値差分を計算して第１の差異画像を生成し、前記第１の画像の全画素が前記車両が走行する道路面を撮影したものであると仮定して、前記第１の画像を前記第２のカメラからの見え方に変換する対応関係を用いて、前記第１の画像と前記第２の画像との輝度値の絶対値差分を計算して第２の差異画像を生成する差異画像生成ステップと、
前記第１の差異画像及び前記第２の差異画像を前記車両が走行する道路面上に逆投影して第１の逆投影画像と第２の逆投影画像を生成する逆投影ステップと、
前記第１の逆投影画像を水平方向に走査して輝度の変化が予め定めた条件を満たす点を求めることにより進行方向の左側に存在する立体物で区切られた走行路の境界を検出するとともに、前記第２の逆投影画像を水平方向に走査して輝度の変化が予め定めた条件を満たす点を求めることにより進行方向の右側に存在する立体物で区切られた走行路の境界を検出する境界検出ステップと、
を有する路肩検出方法。 - 道路を走行する車両に設置され、立体物で区切られた走行路の境界を検出する装置であって、
前記車両の進行方向の第１の側に設置した第１のカメラ及び第２の側に設置した第２のカメラと、
前記第１、第２のカメラで同時に撮影した第１、第２の画像を画面単位で蓄積する第１、第２の画像蓄積部と、
前記第２の画像の全画素が前記車両が走行する道路面を撮影したものであると仮定して、前記第２の画像を前記第１のカメラからの見え方に変換する対応関係を用いて、前記第１の画像と前記第２の画像との対応する画素間の輝度値の絶対値差分を計算して差異画像を生成する差異画像生成部と、
前記差異画像を前記道路面上に逆投影して逆投影画像を生成する逆投影部と、
前記逆投影画像を水平方向に走査して輝度の変化が予め定めた条件を満たす点を求めることにより、前記第１のカメラ側の立体物で区切られた走行路の境界を検出する境界検出部と、
を有する路肩検出装置。 - 前記第１の側は車両の進行方向に向かって左側であることを特徴とする請求項５記載の路肩検出装置。
- 道路を走行する車両に設置され、立体物で区切られた走行路の境界を検出する装置であって、
前記車両の進行方向の左側に設置した第１のカメラ及び右側に設置した第２のカメラと、
前記第１、第２のカメラで同時に撮影した第１、第２の画像を画面単位で蓄積する第１、第２の画像蓄積部と、
前記第２の画像の全画素が前記車両が走行する道路面を撮影したものであると仮定して、前記第２の画像を前記第１のカメラからの見え方に変換する対応関係を用いて、前記第１の画像と前記第２の画像との対応する画素間の輝度値の絶対値差分を計算して第１の差異画像を生成するとともに、前記第１の画像の全画素が前記車両が走行する道路面を撮影したものであると仮定して、前記第１の画像を前記第２のカメラからの見え方に変換する対応関係を用いて、前記第１の画像と前記第２の画像との対応する画素間の輝度値の絶対値差分を計算して第２の差異画像を生成する差異画像生成部と、
前記第１の差異画像の端にある第１の端点と前記差異画像での走行路の消失点とを結ぶ線分を挟んで接する２つの領域の各々の画素値の平均値を、前記第１の端点を前記第１の差異画像の端に沿って移動させながら求め、前記平均値が予め定めた条件を満たすときの前記第１の端点と前記消失点とを結ぶ線分を走行路の右側の境界として検出するとともに、前記第２の差異画像の端にある第２の端点と前記差異画像での走行路の消失点とを結ぶ線分を挟んで接する２つの領域の各々の画素値の平均値を、前記第２の端点を前記第２の 差異画像の端に沿って移動させながら求め、前記平均値が予め定めた条件を満たすときの前記第２の端点と前記消失点とを結ぶ線分を走行路の左側の境界として検出する境界検出部と、
を有する路肩検出装置。 - 道路を走行する車両に設置され、立体物で区切られた走行路の境界を検出する装置であって、
前記車両の進行方向の左側に設置した第１のカメラ及び右側に設置した第２のカメラと、
前記第１、第２のカメラで同時に撮影した第１、第２の画像を画面単位で蓄積する第１、第２の画像蓄積部と、
前記第２の画像の全画素が前記車両が走行する道路面を撮影したものであると仮定して、前記第２の画像を前記第１のカメラからの見え方に変換する対応関係を用いて、前記第１の画像と前記第２の画像との対応する画素間の輝度値の絶対値差分を計算して第１の差異画像を生成するとともに、前記第１の画像の全画素が前記車両が走行する道路面を撮影したものであると仮定して、前記第１の画像を前記第２のカメラからの見え方に変換する対応関係を用いて、前記第１の画像と前記第２の画像との対応する画素間の輝度値の絶対値差分を計算して第２の差異画像を生成する差異画像生成部と、
前記第１の差異画像を前記道路面上に逆投影して第１の逆投影画像を生成し、前記第２の差異画像を前記道路面上に逆投影して第２の逆投影画像を生成する逆投影部と、
前記第１の逆投影画像を水平方向に走査して輝度の変化が予め定めた条件を満たす点を求めることにより、進行方向の左側の立体物で区切られた走行路の境界を検出するとともに、前記第２の逆投影画像を水平方向に走査して輝度の変化が予め定めた条件を満たす点を求めることにより、進行方向の右側の立体物で区切られた走行路の境界を検出する境界検出部と、
を有する路肩検出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002031871A JP3897337B2 (ja) | 2002-02-08 | 2002-02-08 | 路肩検出装置及び方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002031871A JP3897337B2 (ja) | 2002-02-08 | 2002-02-08 | 路肩検出装置及び方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003233899A JP2003233899A (ja) | 2003-08-22 |
| JP3897337B2 true JP3897337B2 (ja) | 2007-03-22 |
Family
ID=27775152
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002031871A Expired - Fee Related JP3897337B2 (ja) | 2002-02-08 | 2002-02-08 | 路肩検出装置及び方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3897337B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10853666B2 (en) * | 2017-09-29 | 2020-12-01 | Toyota Jidosha Kabushiki Kaisha | Target object estimating apparatus |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5089545B2 (ja) | 2008-09-17 | 2012-12-05 | 日立オートモティブシステムズ株式会社 | 道路境界検出判断装置 |
| JP5325765B2 (ja) * | 2009-12-28 | 2013-10-23 | 日立オートモティブシステムズ株式会社 | 路肩検出装置及び路肩検出装置を用いた車両 |
| US9959595B2 (en) | 2010-09-21 | 2018-05-01 | Mobileye Vision Technologies Ltd. | Dense structure from motion |
| US9280711B2 (en) | 2010-09-21 | 2016-03-08 | Mobileye Vision Technologies Ltd. | Barrier and guardrail detection using a single camera |
| JP5389002B2 (ja) * | 2010-12-07 | 2014-01-15 | 日立オートモティブシステムズ株式会社 | 走行環境認識装置 |
| JP5817331B2 (ja) * | 2011-08-23 | 2015-11-18 | 株式会社リコー | 車両運転支援装置、車両が走行する道路の路肩を検出する方法および該方法に基づく車両運転支援方法 |
| KR101927155B1 (ko) * | 2012-10-19 | 2018-12-10 | 현대자동차 주식회사 | 도로 갓길의 공간 인지 방법 및 시스템 |
| JP6548312B2 (ja) * | 2017-09-19 | 2019-07-24 | 株式会社Ｓｕｂａｒｕ | 画像処理装置 |
| JP7296340B2 (ja) * | 2018-08-07 | 2023-06-22 | 住友建機株式会社 | ショベル |
| CN114202625B (zh) * | 2021-12-10 | 2023-03-14 | 北京百度网讯科技有限公司 | 路肩线的提取方法、装置及电子设备 |
-
2002
- 2002-02-08 JP JP2002031871A patent/JP3897337B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10853666B2 (en) * | 2017-09-29 | 2020-12-01 | Toyota Jidosha Kabushiki Kaisha | Target object estimating apparatus |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003233899A (ja) | 2003-08-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11763571B2 (en) | Monocular cued detection of three-dimensional structures from depth images | |
| US9330320B2 (en) | Object detection apparatus, object detection method, object detection program and device control system for moveable apparatus | |
| JP6550881B2 (ja) | 立体物検出装置、立体物検出方法、立体物検出プログラム、及び移動体機器制御システム | |
| JP4871909B2 (ja) | 物体認識装置、および物体認識方法 | |
| JP5714940B2 (ja) | 移動***置測定装置 | |
| EP2924653B1 (en) | Image processing apparatus and image processing method | |
| EP0747870B1 (en) | An object observing method and device with two or more cameras | |
| US7899211B2 (en) | Object detecting system and object detecting method | |
| US7046822B1 (en) | Method of detecting objects within a wide range of a road vehicle | |
| WO2017090326A1 (ja) | 画像処理装置、撮像装置、機器制御システム、分布データ生成方法、及びプログラム | |
| KR20160123668A (ko) | 무인자동주차 기능 지원을 위한 장애물 및 주차구획 인식 장치 및 그 방법 | |
| US20170124725A1 (en) | Image processing apparatus, imaging device, device control system, frequency distribution image generation method, and recording medium | |
| US20040057599A1 (en) | Image processing apparatus and method | |
| JP2002352225A (ja) | 障害物検出装置及びその方法 | |
| JP4872769B2 (ja) | 路面判別装置および路面判別方法 | |
| JP3897337B2 (ja) | 路肩検出装置及び方法 | |
| JP3562751B2 (ja) | 前方車両検出方法及び装置 | |
| JP2009245042A (ja) | 交通流計測装置及びプログラム | |
| Janda et al. | Road boundary detection for run-off road prevention based on the fusion of video and radar | |
| JP2005217883A (ja) | ステレオ画像を用いた道路平面領域並びに障害物検出方法 | |
| JP4256992B2 (ja) | 障害物検出装置 | |
| CN114120254A (zh) | 道路信息识别方法、装置及存储介质 | |
| JP2010055340A (ja) | 走行路推定装置及びプログラム | |
| JP4106163B2 (ja) | 障害物検出装置及びその方法 | |
| Onoguchi et al. | Planar projection stereopsis method for road extraction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040225 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20050414 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20050606 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060719 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060818 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061012 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061215 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061218 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110105 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |