JP2019156276A - 車両検出方法及び車両検出装置 - Google Patents

Abstract

【課題】撮像した画像中における光点を絞り込み、車両を正確にかつ迅速に検出することを可能にした車両検出方法及び車両検出装置を提供する。【解決手段】車両に搭載されて他車両を含めた車両の周囲を撮像する撮像手段（カメラ）２と、撮像した画像に写された光点から車両を検出する車両検出手段（ランプＥＣＵ６（画像解析部６２））を備える。車両検出手段は、画像中に存在する複数の光点から車両検出対象となる対象光点と、それ以外の非対象光点を識別する光点識別部６５と、画像中における対象光点の挙動から車両を検出する車両検出部６６を備える。光点識別部は複数の光点の形状を認識し、この認識に基づいて対象光点と前記非対象光点を識別する。【選択図】 図２

Description

本発明は自動車等の車両に搭載されて対向車や先行車等の他車両を検出するための車両検出方法及び車両検出装置に関するものである。

自車両の前方領域の視認性を向上するために、前方領域に存在する他車両を検出し、当該他車両を眩惑することがないようにヘッドランプの配光を制御するＡＤＢ（Adaptive Driving Beam）制御やＡＨＢ（Automatic High Beam）制御が行われている。また近年では自動運転制御のために他車両を検出することが行われている。このような他車両を検出する技術として、撮像手段により自車両の周囲領域を撮像し、撮像により得られた画像を解析して他車両を検出する技術が提案されている。

特許文献１には、撮像手段で得られた画像中の光点を検出し、検出した光点の属性、例えば光点の色や挙動（移動状態）から、街路灯や建造物の照明光と、他車両のヘッドランプやテールランプとを判別して他車両を検出する技術が提案されている。また、特許文献１には、検出した光点の属性に基づいて他車両を検出するための検出領域を所定の領域に設定し、設定した領域について判別を行うことで検出時間を短縮する技術も提案されている。

特開２０１２−２０６６２号公報

特許文献１の技術は、検出領域を限定することにより検出時間を短縮する上では有効であるが、自動車の走行環境が多様化している近年の状況では、広い領域にわたって他車両を検出することが要求されるため、この要求に対応することが難しい。また、これと同時に道路標識や広告等の発光体が増加し、撮像した画像中の光点の数が多くなる傾向にある。そのため、これら光点の全ての挙動に基づいて他車両を判別する処理が必要になり、検出工数が増加して検出時間が増加する。

本発明の目的は、撮像した画像中における光点を絞り込み、車両を正確にかつ迅速に検出することを可能にした車両検出方法及び車両検出装置を提供することにある。

本発明の車両検出方法は、車両に搭載されて当該車両の周囲を撮像し、撮像により得られた画像に写された光点の挙動から車両を検出する検出方法であって、前記画像中に存在する複数の光点の形状を認識する工程と、認識した形状のうち車両検出対象となる光点を対象光点とし、それ以外の光点を非対象光点としてそれぞれ識別する工程と、画像中における対象光点の挙動を検出し、所定の挙動をする光点を車両として検出する工程を含んでいる。

本発明の車両検出装置は、車両に搭載されて当該車両の周囲を撮像する撮像手段と、前記撮像手段で撮像した画像に写された光点から車両を検出する検出手段を備え、前記画像中に存在する複数の光点から車両検出対象となる対象光点と、それ以外の非対象光点を識別する光点識別部と、前記画像中における識別した対象光点の挙動から車両を検出する車両検出部を備え、前記光点識別部は前記複数の光点の形状を認識し、この認識に基づいて前記対象光点と前記非対象光点を識別する。

本発明によれば、撮像手段で撮像した画像中の光点の形状を識別し、この形状から車両である可能性の高い光点を対象光点として識別し、この識別した対象光点についてのみ車両を検出するための処理を実行する。これにより、画像中に多数の光点が存在している場合においても、車両の光点ではない可能性の高い光点についての検出処理を行う必要がなくなり、車両の検出に際しての処理工数を低減し、迅速な車両検出ができる。

本発明を適用したヘッドランプの概略水平断面図。 車両検出手段を含むランプＥＣＵのブロック構成図。 カメラで撮像する自車両の前方領域の一例の概略図。 カメラで撮像して得られた光点の概略図。 光点の抽出領域と形状認識を説明するための概念図。 対象光点の概略図。 車両の光点として検出された概略図。 カメラが高位置にあるときの車両検出方法を説明する概念図。 カメラが低位置にあるときの車両検出方法を説明する概念図。 画像が傾いたときの車両検出方法を説明する概念図。 白線の光点を利用した車両検出方法を説明する概念図。

次に、本発明の実施の形態について図面を参照して説明する。図１は本発明にかかる車両検出装置を自動車の車体８の前部左右に備えられるヘッドランプＨＬに組み込んだ実施形態の概略水平断面図である。この図１は右ヘッドランプＨＬの内部構成を示しているが、左ヘッドランプも同様の構成である。ヘッドランプＨＬのランプハウジング３はランプボディ３１と、透光性の前面カバー３２で構成されており、このランプハウジング３内にランプユニット１とカメラ２が内装されている。これらランプユニット１とカメラ２はベースプレート５に支持されており、エイミングスクリュ４１等を備えるエイミング機構４によりそれぞれの光軸方向が調整可能とされている。

前記ランプユニット１は、図示を簡略した複数のＬＥＤを配列した光源１１と、この光源１１の出射光を自動車の前方に向けて投影する投影レンズ１２を備えており、光源１１の発光を制御することにより、自動車の前方領域を所望の配光で照明することが可能とされている。

前記カメラ２は、本発明における撮像手段であり、図には表れないが、撮像素子を備えるデジタルカメラで構成されている。このカメラ２は、自車両の前方領域、少なくとも前記ランプユニット１で光照射する領域を含む領域を撮像して撮像信号を出力する。このカメラ２で撮像される対象物には、自車両が走行する領域に存在する標識、看板、及び前方に存在する先行車や対向車等の車両が含まれる。

また、前記ランプハウジング３内にはランプＥＣＵ６が内装されており、前記ランプユニット１と前記カメラ２にそれぞれ接続されている。このランプＥＣＵ６は前記カメラ２で撮像して得られる画像に基づいて好適な配光を設定し、この設定に基づいて前記ランプユニット１の配光、例えばＡＤＢ制御を行うことができる。また、ランプＥＣＵ６はＣＡＮ（Controller Area Network）１００を介して図には表れない車両ＥＣＵ等に接続され、これらとの間で所要の信号を送受するようになっている。

前記ランプＥＣＵ６は、図２にブロック構成図を示すように、前記カメラ２の撮像素子から出力される撮像信号を信号処理して画像データとしての画像信号を生成する信号処理部６１と、この画像信号を画像解析して画像を形成し、この画像中に存在している車両を検出する画像解析部６２と、検出された車両を認識して前記ランプユニット１の配光を制御する点灯制御部６３を備えている。

このランプＥＣＵ６では、前記信号処理部６１と画像解析部６２とで車両を検出するための動作を行うので、これらは広義の車両検出手段を構成しているが、特に車両を直接に検出するという意味では、前記画像解析部６２が狭義の車両検出手段を構成する。したがって、前記ランプＥＣＵ６は、カメラ２で撮像して得られた画像信号に基づいて画像解析部６２、すなわち車両検出手段において車両を検出し、検出した車両が存在する領域を遮光するように点灯制御部６３においてランプユニット１の配光を制御することにより、ＡＤＢ制御が実行されることになる。

車両検出手段としての前記画像解析部６２は、図２に示すように、画像中に存在する光点を抽出する光点抽出部６４と、抽出された光点の形状を識別して車両以外の光点を除去する光点識別部６５と、識別した光点の挙動、ここでは光点の画像中における移動状態を判定して車両を検出する車両検出部６６を備えている。

車両検出手段としての前記画像解析部６２における車両検出動作を説明する。ここでは、ヘッドランプＨＬのＡＤＢ制御が行われる自動車の夜間走行時に、カメラ２で撮像して得られた前方領域の画像が図３の状態である場合について説明する。この画像では、白線（黄色線を含む）ＬＩＮＥが描かれている道路上を、ランプを点灯した先行車ＣＡＲ１と対向車ＣＡＲ２，ＣＡＲ３が走行している。また、道路脇には道路照明灯Ｂ、デリニエータＤ等の照明設備が配設されるとともに、標識面が照明されている矩形の道路標識Ｓ１と菱形の道路標識Ｓ２が配設されている。なお、ここでは各種看板も標識に含まれているものとする。

この前方領域をカメラ２で撮像し、撮像信号を信号処理部６１において信号処理することにより画像信号（画像データ）が得られる。さらに、この画像信号から図４に示す画像が得られる。この画像は、カメラ２の撮像素子に対応した明暗の画素（光ドット）がＸ方向（行方向）とＹ方向（列方向）に配列されることにより得られる。そして、この画像中には、撮像された車両や照明設備、標識等が光点として表示される。ここでは、便宜的に背景の暗黒領域を白地で表し、光点を点描画している。

通常では、車両ＣＡＲ１〜ＣＡＲ３のヘッドランプ又はテールランプによる光点ＬＰ１〜ＬＰ３や、照明設備Ｂ，Ｄによる光点ＬＰ４，ＬＰ５は、発光体を直接にカメラ２で撮像しているため、円形又は円形に近い形状の光点となる。また、標識Ｓ１，Ｓ２による光点ＬＰ６，ＬＰ７は、発光体からの光で照明されている輝度の高い面がカメラ２で撮像されるため、それぞれの形状、すなわち矩形（正方形、長方形）や菱形の形状をした光点となる。路面の白線ＬＩＮＥは細長い光点ＬＰ８となる。

光点抽出部６４は、この画像から検査対象の候補となる光点を抽出する。例えば、所定レベルの輝度値をしきい値として設定しておき、このしきい値よりも高輝度の領域を検出する。これにより、単に物体で反射された光による低輝度の光点、例えば自車両のヘッドランプで照明した路面領域は除外され、発光体を備える標識やランプを備える車両による光点が検出される。図４の場合には、このような光点が全て検出される。

光点抽出部６４は、さらに検出した光点について、画像中のｘｙ座標でその光点領域を設定する。すなわち、矩形の光点ＬＰ６については、図５（ａ）に破線で示すように、対角の座標（ｘａ，ｙａ）〜（ｘｂ，ｙｂ）で示される矩形をした光点領域を設定する。図５（ｂ）に示す菱形の光点ＬＰ７、図５（ｃ）に示す円形の光点ＬＰ１〜ＬＰ５、図５（ｄ）に示す白線の光点ＬＰ８についても同様であり、それぞれｘｙ方向の最大値の座標（ｘｍ，ｙｍ）〜（ｘｎ，ｙｎ）で光点領域を設定する。これらの図におけるｎ，ｍは各光点にそれぞれ設定される値である。

次いで、光点識別部６４は、設定された各光点領域について、それぞれの光点の形状を識別する。例えば、図５（ａ）に矢印で示すように、設定された光点領域の底辺の左側の位置、すなわち（ｘａ，ｙａ）の位置から右側に向けてｘ方向（行方向）に走査しながら１行中の画素の輝度を測定する。この測定においては、前記した輝度のしきい値を利用することができる。次にその上の行について行い、これをｙ方（列方向）に向けて数ライン、例えば２〜５行繰り返す。実際には３行程度でよい。

図５（ａ）のように、測定した各行での画素の大部分がしきい値よりも高輝度である場合には、当該光点の形状は矩形であると識別する。しきい値よりも高輝度の画素の数が上側の行に行くほど少なくなる場合には、図５（ｂ）または図５（ｃ）のように、当該光点の形状は菱形または円形であると識別する。この場合には、測定する行数を数行増やし、高輝度の画素の減少状態を測定する。減少の割合が大きい場合には、図５（ｂ）の菱形であると識別し、減少の割合がそれよりも小さい場合には図５（ｃ）の円形であると識別する。

また、しきい値よりも高輝度の画素の数がほぼ同じであるが、上側の行に行くのにしたがって高輝度の画素が徐々に左又は右に変化して行く場合には、図５（ｄ）のように、当該交点の形状は線状であると識別する。位置の変化量が一定の場合には直線形状であると識別し、位置の変化量が変化して行く場合には曲線形状であると識別する。

なお、前記した識別において、図５（ｂ）の菱形あるいは図５（ｃ）の円形であると識別するときには、光点領域の左辺のｙ方向の中央から底辺のｘ方向の中央に向けて１行ずつ下に階段状に数行測定するようにしてもよい。あるいは、光点領域の右辺から、また上方に階段状に測定してもよい。このようにしたときに、画素がいずれも高輝度であれば菱形である可能性は高くなる。円形の場合には測定途中の画素の輝度が低下し、最後に再び輝度の高い画素が測定されることになる。この円形には楕円も含まれる。

そして、矩形又は菱形と識別した場合には、これらの光点は標識による光点である可能性が高いので検出対象とはならない「非対象光点」のタグを付す。また、線形状と識別した場合にも、この光点は道路の白線による光点であると考えられるので「非対象光点」のタグを付す。一方、円形と識別した光点は車両による光点である可能性が高いので、検出対象となる「対象光点」のタグを付する。そして、光点識別部６５は、これらのタグを付した各光点を車両検出部６６に出力する。図６は「対象光点」のタグを付した光点を示している。ここでは、光点ＬＰ６，ＬＰ７に「非対象光点」のタグ付されて、抽出から除外されている。

車両検出部６６は、識別された光点のうち、「対象光点」のタグが付いた図６の光点について、その挙動、ここでは画像中における移動状態を判定することにより車両を検出する。この検出手法は、例えば特許文献１と同様に、自車両に対する光点の相対的な位置変化、すなわち移動方向や移動速度について経時的な追跡を行い、その結果に基づいて当該道路を走行している先行車あるいは対向車を検出する。図７はこのようにして検出された車両の光点を示している。ここでは、光点ＬＰ１，ＬＰ２が先行車ＣＡＲ１と対向車ＣＡＲ２として検出される。なお、対向車ＣＡＲ３による光点ＬＰ３はサイズが小さいので、遠方に存在していることが検出でき、現時点では自車両のヘッドランプにより対向車ＣＡＲ３を眩惑するおそれが少ないため除外されている。

このようにして車両検出部６６で検出した対向車や先行車の情報は点灯制御部６３に出力される。点灯制御部６３はこの情報に基づいて、先行車ＣＡＲ１や対向車ＣＡＲ２を眩惑しないような配光を設定し、ランプユニット１での配光制御を実行する。これにより、好適なＡＤＢ制御が実行される。

以上のように、実施形態では、カメラ２で撮像して得られた画像に基づいて、光点識別部６５が車両である可能性の高い光点を識別し、車両検出部６６ではこの識別した光点についてのみ車両を検出するための処理を実行する。したがって、撮像した画像中に多数の光点が存在している場合においても、車両によるものではないことが明らかな光点や、車両のものではない可能性の高い光点についての検出処理を行う必要がなくなり、車両の検出に際しての処理工数を低減し、迅速な車両検出ができる。

ここで、車両の検出に際し、特に対向車を検出する場合においては光点の移動方向について修正を行うことが好ましい。すなわち、実施形態ではカメラ２はヘッドランプＨＬに一体的に設けられており、対向車のヘッドランプと略同じ高さ位置にある。場合によっては対向車のヘッドランプよりも低い位置にある。そのため、カメラが対向車のランプよりも高い位置に配設されている場合、例えば自動車のフロントウインドやサイドミラーに配設されている場合に比べて、撮像した画像中における対向車の移動方向が相違する。

図８Ａはカメラが自車両のフロントウインドの上部に配設されている場合のように対向車ＣＡＲ２のヘッドランプＨＬよりも高い位置にある場合の画像である。この場合には対向車ＣＡＲ２のヘッドランプＨＬによる光点ＬＰ２の移動方向は、矢印で示すように画像中の水平線Ｈに対して右下方に向けられる。

図８Ｂはこの実施形態のようにカメラがヘッドランプに一体に配設されていて、対向車ＣＡＲ２のヘッドランプＨＬとほぼ等しい高さあるいは低い位置にある場合の画像である。この場合には対向車ＣＡＲ２のヘッドランプＨＬによる光点ＬＰ２の移動方向は画像中の水平線Ｈに沿った右方向、ないしは当該水平線Ｈよりも幾分だけ右下方に向けられる。

したがって、実施形態の車両検出部６６では画像中の水平方向、ないしは水平方向よりも右下方向に移動する光点を対向車の光点であると検出することができる。しかし、自車両に設けたカメラ２がロール方向（自動車の前後方向の軸を中心とした回転方向）に傾斜している状態のとき、例えばカメラ２が左下がり方向に傾いて取り付けられている場合、あるいは自車両の積載重量の偏りにより車体が同方向に傾いて走行している場合には、カメラ２で撮像した画像も図８Ｃのように左下がりに傾いた状態となる。

このような画像では、対向車ＣＡＲ２のヘッドランプＨＬの光点ＬＰ２は画像中の水平線Ｈよりも右上方に移動されることになる。そのため、光点を画像中の移動方向のみで検出した場合には、対向車の光点ＬＰ２を車両以外の光点、例えば標識や道路照明灯であると誤って検出してしまうことがある。したがって、車両を検出する際には、画像中における光点の移動方向のみではなく移動速度についても検出を行うことが必要とされている。

そこで、車両検出部６６では、光点識別部６５において「非対象光点」として識別されていた光点を参照する。例えば、図８Ｃの例では、形状が矩形であるとして識別された標識Ｓ１の光点ＬＰ６を参照し、検出した矩形の横辺、すなわち底辺や上辺の方向を補正水平方向ＤＨとして設定する。その上で、矢印で示す画像中での対向車ＣＡＲ２の光点ＬＰ２の移動方向をこの補正水平方向ＤＨに対する方向として修正する。

通常、矩形をした標識Ｓ１の横辺は水平方向に向けられているので、この修正を行うことにより、カメラ２や車体にロール方向の傾きが生じている場合でも、画像の水平方向を補正水平方向ＤＨに修正することができる。そして、この補正水平方向ＤＨを基準にして対向車ＣＡＲ２の光点ＬＰ６の移動方向を検出すれば、当該光点ＬＰ６は水平方向ないし右下方向に移動していると検出でき、対向車ＣＡＲ２を正確に検出することが可能になる。すなわち、検出に際して光点の移動速度を検出しなくても、移動方向の検出のみで車両を正確に検出できるようになり、処理の簡略化を図り、検出の迅速化が可能になる。

この場合、画像中に複数の矩形の光点が識別された場合には、これら複数の矩形の底辺や上辺の平均を取って基準水平方向とするようにしてもよい。あるいは、形状を高い精度で識別することが容易な、最も大きな寸法をした矩形の光点の底辺や上辺を採用してもよい。矩形の光点が識別されていない場合には、他の形状の光点を利用して基準水平方向を設定してもよい。例えば菱形の光点の場合には水平方向の対角線を基準水平方向としてもよい。なお、車高センサ等を備えた自動車であって、自車両のロール角が検出可能な場合には、検出されたロール角に基づいて画像中における光点の移動方向を修正するようにしてもよい。

本発明において、さらに車両の検出の正確性、特に対向車の検出の正確性を高めるために、光点識別部６５で識別した白線ＬＩＮＥの光点ＬＰ８を利用してもよい。この実施形態では、カメラ２はヘッドランプＨＬに一体的に設けられており、フロントウインドやサイドミラーに設けられている場合に比較して路面に近い低い位置に設けられているので、路面に描かれている白線ＬＩＮＥをより鮮明に撮像することができる。特に、白線ＬＩＮＥは対向車や自車両のヘッドランプから出射された光を反射した光を撮像して得られる光点であるため、通常では高い輝度で撮像することは難しいが、カメラをヘッドランプに設けることにより高い輝度の光点として撮像できる。

したがって、自車両のヘッドランプで照明されたやや遠方の白線ＬＩＮＥや、対向車ＣＡＲ２のヘッドランプＨＬで照明された近傍の白線の各光点ＬＰ８をそれぞれ高い輝度で鮮明に撮像できるようになり、白線ＬＩＮＥの認識が容易かつ正確になる。これに伴ない、自車両が走行している道路が直線道路または曲線道路であるかの道路状態を正確に認識できるようになる。

道路状態を正確に認識することができると、車両検出部６６では、光点識別部６５において識別した複数の「対象光点」の光点のうち、認識した白線の光点ＬＰ８の近傍でかつ当該光点ＬＰ８の延長方向に沿った位置に存在し、かつその延長方向に移動する光点のみを車両の光点として検出することが可能になる。したがって、この検出した光点についてのみ光点の移動方向や移動速度等に基づく車両検出を行うことにより、車両検出の正確性が高められ、かつ車両検出に際しての処理工程を簡略化し、検出の迅速化が可能になる。

また、このように白線による光点ＬＰ８を利用して道路状態を認識することにより、画像中における光点の移動方向が白線の光点ＬＰ８に近接しかつその延長方向に沿った方向であることを検出するだけでも、車両を正確に検出することが可能になる。すなわち、自車両がロールしてカメラや車体が傾斜している状態においても、図８Ｃで説明したような補正水平方向を考慮することなく正確な車両検出が可能になり、その分だけ車両検出の処理が複雑になることが回避できる。

白線が曲線のとき、すなわち道路状態が曲路のときには、車両検出部６６は光点識別部６５で識別された際の当該光点ＬＰ８の形状から曲率を演算する。画像中の対象光点が横方向に移動しているときには、曲路の方向と、演算した曲率に基づいてその移動量を減算あるいは加算する等の補正を行うようにしてもよい。これにより、当該光点から車両を正確に検出することが可能になる。

以上の実施形態では、本発明の車両検出装置をヘッドランプのＡＤＢ制御による配光制御の例を示したが、ＡＨＢ制御やその他の配光制御を行うのに利用してもよい。また、車両を迅速かつ正確に検出することが可能であることから、自動車の自動運転制御に利用することも可能である。

また、本発明の車両検出装置は、自動車の側方領域や後方領域を撮像し、自車両の側方や後方の領域に存在する他車両を検出するように構成することも可能である。この場合においては、カメラはサイドミラーやテールランプに一体的に組み込むようにしてもよい。

ＨＬ ヘッドランプ
１ ランプユニット
２ カメラ（撮像手段）
３ ランプハウジング
６ ランプＥＣＵ
６１ 信号処理部
６２ 画像解析部（車両検出手段）
６３ 点灯制御部
６４ 光点抽出部
６５ 光点識別部
６６ 車両検出部
ＬＰ１〜ＬＰ８ 光点

Claims (9)

1. 車両に搭載されて当該車両の周囲を撮像し、撮像により得られた画像に写された光点の挙動から車両を検出する車両検出方法であって、前記画像中に存在する複数の光点の形状を認識する工程と、認識した形状のうち車両検出対象となる光点を対象光点とし、それ以外の光点を非対象光点としてそれぞれ識別する工程と、画像中の対象光点の挙動を検出し、所定の挙動をする光点を車両として検出する工程を含むことを特徴とする車両検出方法。
2. 前記対象光点の挙動を検出する際に、前記非対象光点の形状を参照する請求項１に記載の車両検出方法。
3. 車両に搭載されて当該車両の周囲を撮像する撮像手段と、前記撮像手段で撮像した画像に写された光点から車両を検出する検出手段を備える車両検出装置であって、前記画像中に存在する複数の光点から車両検出対象となる対象光点と、それ以外の非対象光点を識別する光点識別部と、前記画像中における識別した対象光点の挙動から車両を検出する車両検出部を備え、前記光点識別部は前記複数の光点の形状を認識し、この認識に基づいて前記対象光点と前記非対象光点を識別することを特徴とする車両検出装置。
4. 前記光点識別部は、矩形、菱形又は線状をした光点を非対象光点とし、円形またはこれに近い形状をした光点を対象光点として識別する請求項３に記載の車両検出装置。
5. 前記車両検出部は、前記画像中における前記対象光点の移動方向に基づいて車両を検出する請求項３又は４に記載の車両検出装置。
6. 前記車両検出部は、前記非対象光点で認識された形状に基づいて前記対象光点の移動方向を補正する請求項５に記載の車両検出装置。
7. 前記車両検出部は、非対象光点から認識される形状が矩形のときに、当該矩形の底辺または上辺の方向を基準水平方向に設定し、この基準水平方向に基づいて前記対象光点の移動方向を補正する請求項６に記載の車両検出装置。
8. 前記車両検出部は、線状をした非対象光点から道路の白線を認識し、この白線に沿った移動方向の光点を車両として検出する請求項５に記載の車両検出装置。
9. 前記撮像手段は、車両のランプに一体に設けられている請求項３ないし８のいずれかに記載の車両検出装置。
   
   
   
   

Images