JP2021196789A - 車間距離計測装置および車両制御システム - Google Patents
車間距離計測装置および車両制御システム Download PDFInfo
- Publication number
- JP2021196789A JP2021196789A JP2020102074A JP2020102074A JP2021196789A JP 2021196789 A JP2021196789 A JP 2021196789A JP 2020102074 A JP2020102074 A JP 2020102074A JP 2020102074 A JP2020102074 A JP 2020102074A JP 2021196789 A JP2021196789 A JP 2021196789A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- inter
- unit
- license plate
- vehicle distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Traffic Control Systems (AREA)
Abstract
【課題】処理負荷の増大を抑えつつ、先行車両までの適切な車間距離を求めることが可能な技術を提供することにある。【解決手段】先行車両の画像から前記先行車両を認識するための車両認識部と、前記先行車両の画像から前記先行車両のナンバープレートを認識するためのナンバープレート認識部と、を備える画像認識部と、前記先行車両の画像から算出した、前記ナンバープレートの位置と、前記先行車両の車幅と車高の比と、前記先行車両の車両面積と前記ナンバープレートの面積の比と、から前記先行車両と自車との車間距離を推定する第1車間距離推定部と、を備える技術が提供される。【選択図】図1
Description
本発明は、カメラなどの画像センサからの情報に基づいて、自車前方の車両等を検知する外界認識機能、および自車前方の車両との車間距離を算出する車間距離計測装置、および、それを用いた車両制御システムに関するものである。
自動車の事故を未然に防ぐため、衝突被害軽減ブレーキ(AEB)などの予防安全システムが実用化されている。予防安全システムには、自車前方の物体を検知、および、この物体との車間距離を推定するため、複数のカメラ(ステレオカメラ)もしくは単一のカメラ(以下、単眼カメラという)を用いる場合がある。複数のカメラを用いた場合と比較して、単眼カメラを用いる場合、比較的安価に予防安全システムを実現できる。
単眼カメラを用いる場合において、撮像から自車と先行車両との車間距離を計測する複数の手法が提案されている。以下に、その例を示す。
特許文献1は、先行車両のナンバープレートのサイズを用いて距離を算出する方法を開示している。すなわち、先行車両のナンバープレートの分類番号を認識し、この分類番号に予め対応付けられた実際のナンバープレートのサイズを照合し、撮像されたサイズとの比較により車間距離を算出する。
特許文献2は、カメラの撮像から得られた先行車両の特徴量を予め記憶していたテンプレートと比較し、一致した車両型式に紐づいた車体寸法を利用して距離を算出する方法を開示している。すなわち、車両型式ごとに車両固有の車体寸法、例えば車幅情報を利用して車間距離を求めるため、走行環境によらず先行車両までの適正な距離を求められる。
また、先行車両の有無を検出するために、撮像された画像内から先行車両を検出するパターン認識技術が広く利用されている。
しかしながら、上記の車間距離推定方法では次のような課題が生じる。
特許文献1に開示された手法は、ナンバープレートの分類番号を認識するのが困難な遠方車両の距離を算出できないという欠点がある。この欠点を補うためにズーミング可能なレンズを使用する手法も開示されているが、高価なカメラが必要になる。
特許文献2に開示された手法は、撮像から抽出した特徴量をテンプレートとマッチングすることで類似度算出しているため、処理負荷が増大する。また、テンプレートを用意するためには膨大なサンプル画像が必要になるという欠点がある。
また、特許文献1に開示された手法の欠点を補うために、遠方車両の距離を算出する場合は特許文献2に開示された手法を適用することが考えられる。しかし、特許文献1に開示された手法と特許文献2に開示された手法の両方を同時に適用する場合には、処理負荷が増大するという課題が生じる。
本発明の課題は、処理負荷の増大を抑えつつ、先行車両までの適切な車間距離を求めることが可能な技術を提供することにある。
その他の課題と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。
一実施の形態によれば、先行車両の画像から前記先行車両を認識するための車両認識部と、前記先行車両の画像から前記先行車両のナンバープレートを認識するためのナンバープレート認識部と、を備える画像認識部と、前記先行車両の画像から算出した、前記ナンバープレートの位置と、前記先行車両の車幅と車高の比と、前記先行車両の車両面積と前記ナンバープレートの面積の比と、から前記先行車両と自車との車間距離を推定する第1車間距離推定部と、を備える技術が提供される。
一実施の形態によれば、処理負荷の増大を抑えつつ、先行車両までの適切な車間距離を求めることができる。
以下、図面を用いて実施例を説明する。
本実施例では、処理負荷の増大を抑えつつ、車間距離に応じて先行車両までの適切な車間距離を求められる車間距離計測装置の構成例、および、車両制御システムの構成例を説明する。
図1は本実施例に係る車両制御システムの構成例を示す図である。図2は図1のハードウェアの構成例を示す図である。図3は、車両縦横比算出部221の処理内容の例を示す概念図である。図4は、車両-NP面積比算出部222の処理内容の例を示す概念図である。図5は、NP位置算出部223の処理内容の例を示す概念図である。図6は、車種推定部224の処理内容の例を示す概念図である。
図1に示す様に、車両制御システム10は、カメラ100、画像処理部200を含む車間距離計測装置150、車両制御装置300を有する。車両制御システム10は、車間距離計測システムと見做すこともできる。
カメラ100は自車両に搭載されており、前方を走行する先行車両を撮影する撮像装置である。カメラ100で得られた画像のデータは、車間距離計測装置150の画像処理部200に入力される。画像処理部200は、後述する図2のCPU153が実行するアプリケーションプログラムにより構成されており、画像認識部210、車間距離推定方法決定部201、第1車間距離推定部A220、第2車間距離推定部B230、所定車間距離出力部202を有する。車間距離計測装置150の画像処理部200の出力信号は、車両制御装置300に入力される。
図2に示す様に、カメラ100で得られた画像のデータは、車間距離計測装置150の画像入力部151を経て画像メモリ152に記録される。車間距離計測装置150では、入力された画像のデータを基に、自車と画像中の先行車両までの距離を計測する。不揮発性メモリであるリードオンリメモリ(ROM)155には車間距離計測のための所定の処理がソフトウェアプログラム(アプリケーションプログラム)としてプログラミングされており、中央処理装置(CPU)153や揮発性メモリであるランダムアクセスメモリ(RAM)154で、車間距離計測のための画像処理や演算処理等が、予め定められた周期で繰り返し実行される。車間距離計測結果は計測結果記録部156に記録される。計測結果は、通信インタフェース(I/F)157を通じて適切な形にデータ変換され、車両制御装置300へ出力される。車両制御装置300は、受信した計測結果データに基づいて自車両の制御を実施する。車両制御装置300は、たとえば、先行車両との距離を一定に保つようにアクセルおよびブレーキを制御する追従走行制御や、衝突被害軽減ブレーキなどのブレーキ制御等を行う。
図1に戻って、車間距離計測装置150の画像処理部200の構成をさらに説明する。
画像認識部210は、車両認識部211、ナンバープレート認識部(NP認識部)212、分類番号認識部213を有する。
車両認識部211は、カメラ100から入力された画像フレーム中から先行車両CARの画像を認識して切り出し、さらに、切り出した先行車両の車両画像から先行車両の車幅の画素数(Wp)と車高の画素数(Hp)とを出力する。先行車両CARは、たとえば、図3に示されている。
ナンバープレート認識部212は、車両認識部211から入力された先行車両の車両画像中からナンバープレートNP部分の画像を認識して切り出し、さらに、切り出したナンバープレート画像からナンバープレートNPの横の画素数(W’p)と縦の画素数(H’p)とを出力する。ナンバープレートNPは、たとえば、図3に示されている。
分類番号認識部213は、ナンバープレート認識部212から入力されたナンバープレートNP画像中から分類番号CNを検出して出力する。ここで、分類番号CNとは、ナンバープレートNP上に記載された、車両の種類やナンバープレートNPの種類などを示す番号であり、種類によってナンバープレートNPの縦横の寸法などが異なる。分類番号CNは、たとえば、図3に示されている。
車間距離推定方法決定部201は、画像認識部210から出力された各情報を基に、先行車両の車間距離の推定方法として、車間距離推定部A220、車間距離推定部B230および所定車間距離決定部203のいずれか1つを決定する。決定方法としては、先行車両CAR、ナンバープレートNPおよび分類番号CNが認識されているか否かによって凡その車間距離を決定し、判断する。凡その車間距離によって詳細な車間距離の推定方法を決定することで、複数の推定方法を同時に実施することなく、処理負荷を軽減しつつ適切な車間距離を求めることができる。
先行車両CAR、ナンバープレートNP及び分類番号CNの3つが認識されている場合には、凡その車間距離は近距離と判断し、車間距離の推定方法として車間距離推定部B230に決定する。ここで、近距離とは、一例では、10m〜20mの様な車間距離である。
車両CAR及びナンバープレートNPの2つは認識されており、分類番号CNが認識できない場合には、凡その車間距離は中距離と判断し、車間距離の推定方法として車間距離推定部A220に決定する。ここで、中距離とは、一例では、50m〜60mの様な車間距離である。
車両CARは認識されており、ナンバープレートNP及び分類番号CNの2つが認識できない場合には、凡その車間距離は長距離と判断し、所定車間距離決定部203にて車間距離を決定する。ここで、長距離とは、一例では、100mの様な車間距離である。
車間距離推定部A220は、車両縦横比算出部221、車両-ナンバープレート面積比算出部(車両-NP面積比算出部)222、ナンバープレート位置算出部(NP位置算出部)223、車種推定部224、車種推定用DB225、車間距離算出部A226、車体寸法算出部A227を有する。
車両縦横比算出部221は、図3に示すように、車両認識部211から出力された車幅画素数Wp501と車高画素数Hp502の比から車両縦横比(Wp/Hp)503を算出する。車両縦横比503は車両毎に異なるため、車種を推定するための特徴量として利用できる。
車両-NP面積比算出部222は、図4に示すように、車両認識部211から出力された車幅画素数Wp501と車高画素数Hp502の積(Wp×Hp)を先行車両の車両背面面積(S)601として算出する。車両-NP面積比算出部222は、また、ナンバープレート認識部212から出力されたナンバープレートの横画素数(NP横画素数)W’p602とナンバープレートの縦画素数(NP縦画素数)H’p603の積(W’p×H’p)をナンバープレートの面積(NP面積)(S’)604として算出し、車両背面面積(S)601とNP面積(S’)604の比から車両-NP面積比(S/S’)605を算出する。車両-NP面積比605は車両毎に異なるため、車種を推定するための特徴量として利用できる。また、例えば、大型バスやミニバンなどのように車両の縦横比が近似している場合でも、車両背面面積601とナンバープレート(NP)面積604の比によって区別することができる。
NP位置算出部223は、図5に示すように、車両認識部211から出力された車両画像中において、ナンバープレート認識部212から出力されたナンバープレート画像が、どのような位置にあるか、例えば車両画像の左下端を原点0と置き、相対的な位置関係として、NP縦位置h701およびNP横位置w702を算出する。ナンバープレートNPの位置は車両毎に異なるため、車種推定するための特徴量として利用できる。また例えばクレーン車などのナンバープレート位置が、一般車両と異なる位置にある特殊形状車両なども区別することができる。
車種推定用DB225は、図6に示すように、予め登録した車種(A、B、C等)毎に、車両縦横比と車両-NP面積比とナンバープレート(NP)位置と、車両の車幅や車高などの車体寸法情報を格納した第1データベースである。なお、ここで定める車種(A、B、C)とは、例えば二輪車、軽乗用車、普通乗用車、バス、トラックなどのように分類してもよい。さらにはボディタイプもしくは車両型式などに細分化して詳細に分類してもよい。
車種推定部224は、図6に示すように、車両縦横比算出部221から出力された先行車両の車両縦横比と、車両-NP面積比算出部222から出力された先行車両の車両-NP面積比と、NP位置算出部223から出力された先行車両のNP位置であるNP横位置およびNP縦位置を、車種推定用DB225に照合し、車種推定用DB225から対応する車種の車体寸法(車両の車幅や車高)を取得して出力する。この例では、車種推定用DB225内の車種Cが先行車両に対応すると判断されて、車種推定部224は車種推定用DB225から車種Cの車幅(2400mm)や車高(3500mm)を取得して出力する。
第1車間距離算出部A226は、車両認識部211から出力された車幅または車高の画素数と、車種推定部224から出力された車幅または車高に基づき、先行車両までの車間距離を算出し、車両制御装置300へ出力する。
第1車体寸法算出部A227は、車種推定部224から出力された、車幅や車高の情報を車体寸法として車両制御装置300へ出力する。
車間距離推定部B230は、NP寸法推定部231、分類番号・NP寸法用DB232、車間距離算出部B233、車体寸法算出部B234を有する。
分類番号・NP寸法用DB232は、予め登録した分類番号ごとに、ナンバープレートの幅や高さなどの寸法情報を格納した第2データベースである。
NP寸法推定部231は、分類番号認識部213から出力されたナンバープレートの分類番号を分類番号・NP寸法用DB232に照合してナンバープレート寸法を出力する。
第2車間距離算出部B233は、NP認識部212から出力されたナンバープレートの横幅の画素数と、NP寸法推定部231から出力されたナンバープレートの幅や高さに基づき、先行車両までの車間距離を算出し、車両制御装置300へ出力する。
第2車体寸法算出部B234は、車両認識部211から出力された車幅または車高の画素数と、車間距離算出部B233から出力された車間距離に基づき、先行車両の車幅や車高を算出し、車両制御装置300へ出力する。
所定車間距離出力部202は、車幅の画素数の第1閾値と車高の画素数の第2閾値とを保有しており、車両認識部211から出力された車幅の画素数と車高の画素数とを各閾値と比較し、比較結果に基づき所定の車間距離情報また認識異常情報を車両制御装置300へ出力する。
車幅の画素数が閾値以内および車高の画素数が閾値以内の場合は、所定車間距離出力部202は、凡その車間距離が長距離として車間距離情報に所定値を設定する。また、車幅の画素数または車高の画素数が閾値を超過していた場合は、ナンバープレートが認識できていないかつ、凡その車間距離が長距離未満である、つまりレンズの汚れや、車両認識の誤りである恐れがあるため適切な車間距離の推定ができない状態と判断し、認識異常を示す情報を出力する。
車両制御装置300はCPU上のアプリケーションで構成されており、画像処理部200から出力された車間距離情報や車体寸法情報などに基づき、先行車追従(ACC)制御や衝突被害軽減ブレーキ(AEB)制御などの車両挙動に関わる各種制御を実施する。
本実施例は、単眼カメラを用いたシステムに適用することを主な目的としている。ただし複数のカメラを用いたシステムにおいても、車間距離推定方法を複数併せ持つことによる機能の信頼性向上の目的や、カメラ故障の際のフェールセーフ機構の目的としても利用可能である。
(車間距離計測装置の全体的な処理動作)
次に、図7−図9を用いて、車間距離計測装置150の全体的な処理動作を説明する。図7は、車間距離計測装置の全体処理を説明するフローチャートである。図8は、車間距離推定部A220の処理を説明するフローチャートである。図9は、車間距離推定部Bの処理を説明するフローチャートである。
次に、図7−図9を用いて、車間距離計測装置150の全体的な処理動作を説明する。図7は、車間距離計測装置の全体処理を説明するフローチャートである。図8は、車間距離推定部A220の処理を説明するフローチャートである。図9は、車間距離推定部Bの処理を説明するフローチャートである。
図7に示す様に、車間距離計測装置150では、カメラでの撮像、その画像情報に基づく車間距離計測を特定周期で繰り返し処理するものである。つまり、開始(ステップ701)から終了(ステップ716)を特定周期で繰り返し処理する。以下、各ステップについて説明する。
(ステップ702)
カメラ100で前方を走行する先行車両を撮影する。カメラ100で撮影した先行車両の撮影画像は画像入力部151を介して取得され、画像メモリ152に記録される。
カメラ100で前方を走行する先行車両を撮影する。カメラ100で撮影した先行車両の撮影画像は画像入力部151を介して取得され、画像メモリ152に記録される。
(ステップ703)
車両認識部211は、カメラ100から入力された画像フレーム中から先行車両の画像を認識できるか否かを判断する。認識できる場合(Yes)、ステップ704へ移行する。認識できない場合(No)、ステップ716へ移行し、ステップ701を経由して、ステップ702へ移行し、再度、車間距離計測が実施される。
車両認識部211は、カメラ100から入力された画像フレーム中から先行車両の画像を認識できるか否かを判断する。認識できる場合(Yes)、ステップ704へ移行する。認識できない場合(No)、ステップ716へ移行し、ステップ701を経由して、ステップ702へ移行し、再度、車間距離計測が実施される。
(ステップ704)
車両認識部211は、画像フレーム中から先行車両の画像を認識して切り出し、切り出した先行車両の車両画像から先行車両の車幅の画素数(Wp)と車高の画素数(Hp)とを算出して、それらを出力する。
車両認識部211は、画像フレーム中から先行車両の画像を認識して切り出し、切り出した先行車両の車両画像から先行車両の車幅の画素数(Wp)と車高の画素数(Hp)とを算出して、それらを出力する。
(ステップ705)
ナンバープレート認識部212は、車両認識部211から入力された先行車両の車両画像中からナンバープレート部分の画像を認識できるか否かを判断する。認識できる場合(Yes)、ステップ706へ移行する。認識できない場合(No)、ステップ712へ移行する。
ナンバープレート認識部212は、車両認識部211から入力された先行車両の車両画像中からナンバープレート部分の画像を認識できるか否かを判断する。認識できる場合(Yes)、ステップ706へ移行する。認識できない場合(No)、ステップ712へ移行する。
(ステップ706)
ナンバープレート認識部212は、車両認識部211から入力された先行車両の車両画像中からナンバープレート部分の画像を認識して切り出し、切り出したナンバープレート画像からナンバープレートの横の画素数(W’p)と縦の画素数(H’p)とを算出して、それらを出力する。
ナンバープレート認識部212は、車両認識部211から入力された先行車両の車両画像中からナンバープレート部分の画像を認識して切り出し、切り出したナンバープレート画像からナンバープレートの横の画素数(W’p)と縦の画素数(H’p)とを算出して、それらを出力する。
(ステップ707)
分類番号認識部213は、ナンバープレート認識部212から入力されたナンバープレート画像中から分類番号を認識できるか否かを判断する。認識できる場合(Yes)、ステップ708へ移行する。認識できない場合(No)、ステップ709へ移行する。
分類番号認識部213は、ナンバープレート認識部212から入力されたナンバープレート画像中から分類番号を認識できるか否かを判断する。認識できる場合(Yes)、ステップ708へ移行する。認識できない場合(No)、ステップ709へ移行する。
(ステップ708)
車間距離推定方法決定部201は、先行車両、ナンバープレート及び分類番号の3つが認識したと判断し、車間距離の推定方法として車間距離推定部B230に決定する。車間距離推定部B230の動作については、図9で説明する。
車間距離推定方法決定部201は、先行車両、ナンバープレート及び分類番号の3つが認識したと判断し、車間距離の推定方法として車間距離推定部B230に決定する。車間距離推定部B230の動作については、図9で説明する。
(ステップ709)
車間距離推定方法決定部201は、車両及びナンバープレートの2つは認識されており、分類番号が認識できないと判断し、車間距離の推定方法として車間距離推定部A220に決定する。車間距離推定部A220の動作については、図8で説明する。
車間距離推定方法決定部201は、車両及びナンバープレートの2つは認識されており、分類番号が認識できないと判断し、車間距離の推定方法として車間距離推定部A220に決定する。車間距離推定部A220の動作については、図8で説明する。
(ステップ710)
ステップ708またはステップ709で算出された車間距離を推定値として、車両制御装置300へ出力する。
ステップ708またはステップ709で算出された車間距離を推定値として、車両制御装置300へ出力する。
(ステップ711)
ステップ708またはステップ709で算出された車体寸法を推定値として、車両制御装置300へ出力する。その後、ステップ716へ移行する。そして、ステップ701を経由して、ステップ702へ移行し、再度、車間距離計測が実施される。なお、ステップ710とステップ711の順番は、逆とされても良い。
ステップ708またはステップ709で算出された車体寸法を推定値として、車両制御装置300へ出力する。その後、ステップ716へ移行する。そして、ステップ701を経由して、ステップ702へ移行し、再度、車間距離計測が実施される。なお、ステップ710とステップ711の順番は、逆とされても良い。
(ステップ712)
所定車間距離出力部202は、車幅の画素数の閾値と車両認識部211から出力された車幅の画素数とを比較する。車幅の画素数が閾値以内の場合(Yes)、ステップ713へ移行する。車幅の画素数が閾値を超過していた場合(No)、ステップ715へ移行する。
所定車間距離出力部202は、車幅の画素数の閾値と車両認識部211から出力された車幅の画素数とを比較する。車幅の画素数が閾値以内の場合(Yes)、ステップ713へ移行する。車幅の画素数が閾値を超過していた場合(No)、ステップ715へ移行する。
(ステップ713)
所定車間距離出力部202は、車高の画素数の閾値と車両認識部211から出力された車高の画素数とを比較する。車高の画素数が閾値以内の場合(Yes)、ステップ714へ移行する。車幅の画素数が閾値を超過していた場合(No)、ステップ715へ移行する。なお、ステップ712とステップ713の順番は、逆とされても良い。
所定車間距離出力部202は、車高の画素数の閾値と車両認識部211から出力された車高の画素数とを比較する。車高の画素数が閾値以内の場合(Yes)、ステップ714へ移行する。車幅の画素数が閾値を超過していた場合(No)、ステップ715へ移行する。なお、ステップ712とステップ713の順番は、逆とされても良い。
(ステップ714)
所定車間距離出力部202は、凡その車間距離が長距離として車間距離情報に所定値を設定し、所定値を車両制御装置300へ出力する。その後、ステップ716へ移行し、ステップ701を経由して、ステップ702へ移行し、再度、車間距離計測が実施される。
所定車間距離出力部202は、凡その車間距離が長距離として車間距離情報に所定値を設定し、所定値を車両制御装置300へ出力する。その後、ステップ716へ移行し、ステップ701を経由して、ステップ702へ移行し、再度、車間距離計測が実施される。
(ステップ715)
車幅の画素数または車高の画素数が閾値を超過していた場合、所定車間距離出力部202は、車両認識の誤りである恐れがあるため適切な車間距離の推定ができない状態と判断し、認識異常を示す認識情報を車両制御装置300へ出力する。その後、ステップ716へ移行し、ステップ701を経由して、ステップ702へ移行し、再度、車間距離計測が実施される。
車幅の画素数または車高の画素数が閾値を超過していた場合、所定車間距離出力部202は、車両認識の誤りである恐れがあるため適切な車間距離の推定ができない状態と判断し、認識異常を示す認識情報を車両制御装置300へ出力する。その後、ステップ716へ移行し、ステップ701を経由して、ステップ702へ移行し、再度、車間距離計測が実施される。
(車間距離推定部A220の動作)
つぎに、図8を用いて、車間距離推定部A220の動作を説明する。車間距離推定部A220は、図8に示すように、車両縦横比を算出し(ステップ801)、車両-NP面積比を算出し(ステップ802)、NP位置を算出し(ステップ803)、これらの一次元的な車両特徴量を車種推定用データベースDB225と照合することで、車両画像情報をデータベースと照合する方法と比較して、処理負荷およびメモリ使用量を抑えることができる。
つぎに、図8を用いて、車間距離推定部A220の動作を説明する。車間距離推定部A220は、図8に示すように、車両縦横比を算出し(ステップ801)、車両-NP面積比を算出し(ステップ802)、NP位置を算出し(ステップ803)、これらの一次元的な車両特徴量を車種推定用データベースDB225と照合することで、車両画像情報をデータベースと照合する方法と比較して、処理負荷およびメモリ使用量を抑えることができる。
(ステップ801)(図3参照)
ステップ801において、車両縦横比算出部221は、車両認識部211から出力された車幅画素数Wp501と車高画素数Hp502の比から車両縦横比(Wp/Hp)503を算出する。
ステップ801において、車両縦横比算出部221は、車両認識部211から出力された車幅画素数Wp501と車高画素数Hp502の比から車両縦横比(Wp/Hp)503を算出する。
(ステップ802)(図4参照)
ステップ802において、車両-NP面積比算出部222は、車両認識部211から出力された車幅画素数Wp501と車高画素数Hp502の積(Wp×Hp)を先行車両の車両背面面積(S)601として算出する。車両-NP面積比算出部222は、また、ナンバープレート認識部212から出力されたナンバープレートの横画素数(NP横画素数)W’p602と縦画素数(NP縦画素数)H’p603の積(W’p×H’p)をナンバープレートの面積(NP面積)(S’)604として算出し、車両背面面積(S)601とNP面積(S’)604の比から車両-NP面積比(S/S’)605を算出する。
ステップ802において、車両-NP面積比算出部222は、車両認識部211から出力された車幅画素数Wp501と車高画素数Hp502の積(Wp×Hp)を先行車両の車両背面面積(S)601として算出する。車両-NP面積比算出部222は、また、ナンバープレート認識部212から出力されたナンバープレートの横画素数(NP横画素数)W’p602と縦画素数(NP縦画素数)H’p603の積(W’p×H’p)をナンバープレートの面積(NP面積)(S’)604として算出し、車両背面面積(S)601とNP面積(S’)604の比から車両-NP面積比(S/S’)605を算出する。
(ステップ803)(図5参照)
ステップ803において、NP位置算出部223は、車両認識部211から出力された車両画像中において、ナンバープレート認識部212から出力されたナンバープレート画像が、どのような位置にあるか、例えば車両画像の左下端を原点0と置き、相対的な位置関係として、NP縦位置h701およびNP横位置w702を算出する。
ステップ803において、NP位置算出部223は、車両認識部211から出力された車両画像中において、ナンバープレート認識部212から出力されたナンバープレート画像が、どのような位置にあるか、例えば車両画像の左下端を原点0と置き、相対的な位置関係として、NP縦位置h701およびNP横位置w702を算出する。
(ステップ804)(図6参照)
ステップ803において、車種推定部224は、ステップ801により得られた先行車両の車両縦横比と、ステップ802により得られた先行車両の車両-NP面積比と、ステップ803により得られた先行車両のNP位置であるNP横位置およびNP縦位置を、車種推定用DB225に照合して、車種を推定する。そして、車種推定用DB225から対応する車種の車体寸法(車両の車幅や車高)を取得して出力する。
ステップ803において、車種推定部224は、ステップ801により得られた先行車両の車両縦横比と、ステップ802により得られた先行車両の車両-NP面積比と、ステップ803により得られた先行車両のNP位置であるNP横位置およびNP縦位置を、車種推定用DB225に照合して、車種を推定する。そして、車種推定用DB225から対応する車種の車体寸法(車両の車幅や車高)を取得して出力する。
(ステップ805)
ステップ805において、車間距離算出部A226は、車両認識部211から出力された車幅または車高の画素数と、ステップ804により推定された車種の車幅または車高に基づき、先行車両までの車間距離を算出し、車両制御装置300へ出力する。
ステップ805において、車間距離算出部A226は、車両認識部211から出力された車幅または車高の画素数と、ステップ804により推定された車種の車幅または車高に基づき、先行車両までの車間距離を算出し、車両制御装置300へ出力する。
(ステップ806)
ステップ806において、車体寸法算出部A227は、ステップ804により推定された車種の車幅または車高の情報を車体寸法として車両制御装置300へ出力する。
ステップ806において、車体寸法算出部A227は、ステップ804により推定された車種の車幅または車高の情報を車体寸法として車両制御装置300へ出力する。
(車間距離推定部B230の動作)
つぎに、図9を用いて、車間距離推定部B230の動作を説明する。
つぎに、図9を用いて、車間距離推定部B230の動作を説明する。
(ステップ901)
ステップ901において、NP寸法推定部231は、分類番号認識部213から出力されたナンバープレートの分類番号を分類番号・NP寸法用DB232に照合してナンバープレート寸法を出力する。
ステップ901において、NP寸法推定部231は、分類番号認識部213から出力されたナンバープレートの分類番号を分類番号・NP寸法用DB232に照合してナンバープレート寸法を出力する。
(ステップ902)
ステップ902において、車間距離算出部B233は、NP認識部212から出力されたナンバープレートの横幅の画素数と、ステップ901により得られたナンバープレートの幅や高さに基づき、先行車両までの車間距離を算出し、車両制御装置300へ出力する。
ステップ902において、車間距離算出部B233は、NP認識部212から出力されたナンバープレートの横幅の画素数と、ステップ901により得られたナンバープレートの幅や高さに基づき、先行車両までの車間距離を算出し、車両制御装置300へ出力する。
(ステップ903)
ステップ903において、車体寸法算出部B234は、車両認識部211から出力された車幅または車高の画素数と、ステップ902により得られた車間距離に基づき、先行車両の車幅や車高を算出し、車両制御装置300へ出力する。
ステップ903において、車体寸法算出部B234は、車両認識部211から出力された車幅または車高の画素数と、ステップ902により得られた車間距離に基づき、先行車両の車幅や車高を算出し、車両制御装置300へ出力する。
実施例によれば、処理負荷の増大を抑えつつ、先行車両までの適切な車間距離を求めることができる。
以上、本発明者によってなされた発明を実施例に基づき具体的に説明したが、本発明は、上記実施形態および実施例に限定されるものではなく、種々変更可能であることはいうまでもない。
10:車両制御システム、100:カメラ、200:画像処理部、201:車間距離推定方法決定部、202:所定車間距離出力部、210;画像認識部、211;車両認識部、212:NP認識部、213:分類番号認識部、220:車間距離推定部A、221:車両縦横比算出部、222:車両-NP面積比算出部、223:NP位置算出部、224:車種推定部、225:車種推定用DB、226:車間距離算出部A、227:車体寸法算出部A、230:車間距離推定部B、231:NP寸法推定部、232:分類番号・NP寸法用DB、233:車間距離算出部B、234:車体寸法算出部B、300:車両制御部、501:車幅画素数、502:車高画素数、503:車両縦横比、601:車両背面面積、602:NP横画素数、603:NP縦画素数、604:NP面積、605:車両-NP面積比、701:NP縦位置、702:NP横位置。
Claims (9)
- 先行車両の画像から前記先行車両を認識するための車両認識部と、前記先行車両の画像から前記先行車両のナンバープレートを認識するためのナンバープレート認識部と、を備える画像認識部と、
前記先行車両の画像から算出した、前記ナンバープレートの位置と、前記先行車両の車幅と車高の比と、前記先行車両の車両面積と前記ナンバープレートの面積の比と、から前記先行車両と自車との車間距離を推定する第1車間距離推定部と、を備える、
ことを特徴とする車間距離計測装置。 - 前記先行車両との車間距離を前記ナンバープレートの寸法から推定する第2車間距離推定部と、
前記先行車両との車間距離を所定値として設定する所定車間距離出力部と、
車間距離推定方法決定部と、
をさらに備え、
前記画像認識部は、さらに、前記先行車両の前記ナンバープレートから分類番号を認識するための分類番号認識部を備え、
前記車間距離推定方法決定部は、
A)前記車両認識部による前記先行車両の認識と、
B)前記ナンバープレート認識部による前記先行車両のナンバープレートの認識と、
C)前記分類番号認識部による前記分類番号の認識と、
に基づいて、前記第1車間距離推定部、前記第2車間距離推定部および前記所定車間距離出力部から1つを車間距離推定方法として決定する、
ことを特徴とする請求項1に記載の車間距離計測装置。 - 前記車間距離推定方法決定部は、
前記A)、前記B)および前記C)が認識できる場合、前記第2車間距離推定部を選択し、
前記A)および前記B)が認識でき、かつ、前記C)が認識できない場合、前記第1車間距離推定部を選択し、
前記A)が認識でき、かつ、前記B)および前記C)が認識できない場合、前記所定車間距離出力部を選択する、
ことを特徴とする請求項2に記載の車間距離計測装置。 - 前記第1車間距離推定部は、
前記先行車両の車幅と車高の比を算出する車両縦横比算出部と、
前記先行車両の車両面積と前記ナンバープレートの面積の比を算出する車両−ナンバープレート面積比算出部と、
前記ナンバープレートの位置を算出するナンバープレート位置算出部と、
前記先行車両の車幅と車高の比、前記先行車両の車両面積と前記ナンバープレートの面積の比および前記ナンバープレートの位置とに基づいて第1データベースを照合し、前記先行車両の車幅と車高とを出力する車種推定部と、
第1車間距離算出部と、を具備し、
前記車両認識部は、前記先行車両の画像から、前記先行車両の車幅の画素数と車高の画素数とを出力し、
第1車間距離算出部は、前記車両認識部から出力された前記先行車両の車幅の画素数と車高の画素数と、前記車種推定部から出力された前記先行車両の車幅と車高とに基づき、前記先行車両までの車間距離を算出する、
ことを特徴とする、請求項3に記載の車間距離計測装置。 - 前記第1車間距離推定部は、さらに、
前記車種推定部によって推定された車種に基づいて前記先行車両の車体寸法を決定する第1車体寸法算出部を備える、
ことを特徴とする、請求項4に記載の車間距離計測装置。 - 前記第2車間距離推定部は、
前記分類番号認識部から出力された前記ナンバープレートの前記分類番号に基づいて、第2データベースに照合してナンバープレート寸法を出力するナンバープレート寸法推定部と、
前記ナンバープレート認識部から出力された前記ナンバープレートの横幅の画素数と、ナンバープレート寸法推定部から出力された前記ナンバープレートの幅や高さに基づき、前記先行車両までの車間距離を算出する第2車間距離算出部と、を備える、
ことを特徴とする請求項3に記載の車間距離計測装置。 - 前記第2車間距離推定部は、
前記車両認識部から出力された前記先行車両の車幅の画素数と車高の画素数と、第2車間距離算出部から出力された前記車間距離とに基づき、前記先行車両の車幅および車高を算出する第2車体寸法算出部を備える、
ことを特徴とする、請求項6に記載の車間距離計測装置。 - 所定車間距離出力部は、
車幅の画素数の第1閾値と車高の画素数の第2閾値とを保有し、
前記車両認識部から出力された前記先行車両の車幅の画素数と車高の画素数を前記第1閾値と前記第2閾値と比較し、
前記車幅の画素数が前記第1閾値以内および前記車高の画素数が前記第2閾値以内の場合、車間距離を所定値として出力し、
前記車幅の画素数が前記第1閾値を超過していた場合、または、前記車高の画素数が前記第2閾値を超過していた場合、認識異常を出力する、
ことを特徴とする、請求項2に記載の車間距離計測装置。 - 先行車両の画像を取得するカメラと、
前記先行車両の画像を受ける、請求項1から請求項8のいずれか一項に記載の車間距離計測装置と、
前記車間距離計測装置から出力された前記車間距離に基づいて、車両挙動に関わる制御を実施する車両制御装置と、を具備する、
ことを特徴とする車両制御システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020102074A JP2021196789A (ja) | 2020-06-12 | 2020-06-12 | 車間距離計測装置および車両制御システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020102074A JP2021196789A (ja) | 2020-06-12 | 2020-06-12 | 車間距離計測装置および車両制御システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021196789A true JP2021196789A (ja) | 2021-12-27 |
Family
ID=79195484
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020102074A Pending JP2021196789A (ja) | 2020-06-12 | 2020-06-12 | 車間距離計測装置および車両制御システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2021196789A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116665440A (zh) * | 2023-05-24 | 2023-08-29 | 南京理工大学 | 一种高速公路行车间距测量方法、***及设备 |
-
2020
- 2020-06-12 JP JP2020102074A patent/JP2021196789A/ja active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116665440A (zh) * | 2023-05-24 | 2023-08-29 | 南京理工大学 | 一种高速公路行车间距测量方法、***及设备 |
CN116665440B (zh) * | 2023-05-24 | 2024-05-24 | 南京理工大学 | 一种高速公路行车间距测量方法、***及设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5690688B2 (ja) | 外界認識方法,装置,および車両システム | |
Alonso et al. | Lane-change decision aid system based on motion-driven vehicle tracking | |
US7817848B2 (en) | Apparatus, method, and computer product for discriminating object | |
US6838980B2 (en) | Camera-based precrash detection system | |
US7250593B2 (en) | Mobile body surrounding surveillance apparatus, mobile body surrounding surveillance method, control program, and readable recording medium | |
US9280900B2 (en) | Vehicle external environment recognition device | |
JP2013057992A (ja) | 車間距離算出装置およびそれを用いた車両制御システム | |
JP3230642B2 (ja) | 先行車検出装置 | |
US11691585B2 (en) | Image processing apparatus, imaging device, moving body device control system, image processing method, and program product | |
JP6687039B2 (ja) | 物体検出装置、機器制御システム、撮像装置、物体検出方法、及びプログラム | |
US20140160252A1 (en) | Redundant object detection for driver assistance systems | |
JP2009086787A (ja) | 車両検出装置 | |
JP2010019589A (ja) | 車間距離検出装置、ドライブレコーダ装置 | |
US20110164790A1 (en) | Lane marking detection apparatus, lane marking detection method, and lane marking detection program | |
JP2017187864A (ja) | 車両制御装置、車両制御方法 | |
TWI559267B (zh) | Method of quantifying the reliability of obstacle classification | |
KR20180109497A (ko) | Ecu, 상기 ecu를 포함하는 무인 자율 주행 차량, 및 이의 주변 차량 인지 방법 | |
JPH1062162A (ja) | 障害物検出装置 | |
JP2021196789A (ja) | 車間距離計測装置および車両制御システム | |
JP4772622B2 (ja) | 周辺監視システム | |
US20090073000A1 (en) | Method and apparatus for alerting about driving state of vehicle | |
JP5717416B2 (ja) | 運転支援制御装置 | |
US20200391728A1 (en) | Object recognition apparatus and driving assistance system | |
CN112513573B (zh) | 立体摄像机装置 | |
KR100880919B1 (ko) | 멀티패턴마스크를 이용한 이동차량인식방법 |