JP2005339176A - 車両認識装置、ナビゲーション装置および車両認識方法 - Google Patents

Abstract

【課題】 車両の種類を認識する際の処理すべきデータ量を大幅に削減することが可能な「車両認識装置、ナビゲーション装置および車両認識方法」を提供する。
【解決手段】 車両認識処理部１０１ａは、レーダ装置１０２で検出された相手車両の自己車両（Ｏ）に対する位置と走行中の道路の幅と車高制限の最大値とに基づいて当該相手車両が映し出された領域を算出する。また、車両認識処理部１０１ａは、算出した領域を切り出し、この領域に対して画像認識処理を実施することで、映し出された相手車両の種類を認識する。
【選択図】 図２

Description

本発明は、車両認識装置、ナビゲーション装置および車両認識方法に関する。

従来の車両に搭載されたナビゲーション装置では、自己車両の走行位置や目的地までの誘導経路や周囲のランドマークなどの情報をドライバに提供するだけであった。しかしながら、近年では、自己車両周囲、特に前方や後方を走行する車両の種類など、より詳細な情報が求められ始めている。

このような中、ＣＣＤ（Charge-Coupled Devices）カメラなどの撮像デバイスが低価格化され、周辺車両やその他の道路状況を検出する目的のセンサとして車載されるようになってきた。

一般的に、撮像デバイスで得られた画像から物体を認識するための手法の多くは、正解データとして予め与えられた正解画像の特徴を抽出したものを用意し、検出対象画像の特徴と正解画像の特徴との相関を用いて検出を行う、いわゆるパターン認識の手法が採用されている。しかしながら、このような特徴点抽出処理を用いた画像認識処理は、膨大な量のデータを処理する必要があるため、処理コストが非常に大きくなる場合が多い。

そこで従来技術では、車両認識における特徴点抽出の処理コストを下げるために、画像から車両が写っている領域を切り出し、その領域のみを処理対象とする手法が一般的に行われている。ただし、この手法が用いられるのは、定点カメラを用いた車両の検出など、元々対象とする画像のうち、処理対象領域が限定しやすい条件の場合が多い。これに対し、車載カメラによる周辺車両の認識を目的とした場合には、カメラの取付位置を常に一定にできるとは限らず、また、距離に応じて写る車両の大きさも様々であるため、単純に切り出し領域を限定することは難しい。

このような問題を解決するための技術として、たとえば以下に示す特許文献１には、車両にレーザレーダとステレオカメラとを設け、レーザレーダを用いて車両前方をスキャンすることで、先行する車両と自己車両との位置関係を検出し、この結果に基づいてステレオカメラで撮影した画像における処理領域を絞り込む技術が開示されている。
特開平７−１２５５６７号公報

しかしながら、上記特許文献１が開示するところの従来技術は、車両の種類を特定するためのものではない。このため、車両の全体が含まれるような処理領域を決定するようには構成されていない。

そこで本発明は、上記の問題に鑑みてなされたものであり、車両の種類を認識する際の処理すべきデータ量を大幅に削減することが可能な車両認識装置、ナビゲーション装置および車両認識方法を提供することを目的とする。

かかる目的を達成するために、本発明は、車両を撮影した画像から当該車両が映し出された領域を切り出し、当該領域を認識処理することで当該車両の種類を認識する対象物認識装置であって、前記画像を撮影した撮影手段が設置された位置に対する前記車両の位置と道路の幅と車高制限の最大値とに基づいて当該車両が映し出された領域を処理対象領域として切り出すように構成される。車両が映し出された領域を切り出し、この領域のみに画像処理を行うように構成することで、車両の種類を認識する際の処理すべきデータ量を大幅に削減することが可能となる。また、現実の世界での定数値を用い、且つこの定数に道路の道幅と車高の高さ制限とを適用することで、確実に車両を切り出し領域内に収めることができる。

また、本発明の車両認識装置は、車両を検出するレーダ手段と、車両を撮影する撮影手段と、前記レーダ手段で検出された車両の前記撮影手段が設置された位置に対する位置と走行中の道路の幅と車高制限の最大値とに基づいて当該車両が映し出された領域を前記撮影手段で得られた画像から切り出す領域切出し手段と、前記領域切出し手段で切り出した領域を認識処理することで車両の種類を認識する車両認識手段とを有して構成される。車両が映し出された領域を切り出し、この領域のみに画像処理を行うように構成することで、車両の種類を認識する際の処理すべきデータ量を大幅に削減することが可能となる。また、現実の世界での定数値を用い、且つこの定数に道路の道幅と車高の高さ制限とを適用することで、確実に車両を切り出し領域内に収めることができる。

また、上記車両認識装置は、前記車両が走行中の道路の道幅と当該道路に設定された車高制限の最大値とを所定の蓄積手段から読み出す条件読出し手段を有し、前記領域切出し手段は、前記条件読出し手段で読み出された道幅と車高制限の最大値とに基づいて前記切り出す領域を算出するように構成されても良い。道路に設定された条件に合わせて切り出し領域を変更することで、認識処理の対象とする画像領域を最小限としつつ、この切り出し領域内に確実に車両を含めることが可能となる。

また、本発明のナビゲーション装置は、自己車両周囲の車両を検出するレーダ手段と、自己車両周囲を撮影する撮影手段と、前記レーダ手段で検出された車両の前記自己車両に対する位置と走行中の道路の幅と車高制限の最大値とに基づいて当該車両が映し出された領域を前記撮影手段で得られた画像から切り出す領域切出し手段と、前記領域切出し手段で切り出した領域を認識処理することで車両の種類を認識する車両認識手段とを有して構成される。車両が映し出された領域を切り出し、この領域のみに画像処理を行うように構成することで、自己車両周囲を走行する車両の種類を認識する際の処理すべきデータ量を大幅に削減することが可能となる。また、現実の世界での定数値を用い、且つこの定数に道路の道幅と車高の高さ制限とを適用することで、確実に車両を切り出し領域内に収めることができる。

また、前記ナビゲーション装置は、前記車両認識手段で認識された結果をドライバへ提示するナビゲーション手段を有しても良い。認識結果をナビゲーションに利用することで、ドライバに周囲の状況を的確に認識させることができる。

また、本発明の車両認識方法は、車両を検出する第１ステップと、撮影手段で車両を撮影する第２ステップと、前記第１ステップで検出された車両の前記撮影手段が設置された位置に対する位置と走行中の道路の幅と車高制限の最大値とに基づいて当該車両が映し出された領域を前記撮影手段で得られた画像から切り出す第３ステップと、前記第３ステップで切り出した領域を認識処理することで車両の種類を認識する第４ステップとを有して構成される。車両が映し出された領域を切り出し、この領域のみに画像処理を行うように構成することで、車両の種類を認識する際の処理すべきデータ量を大幅に削減することが可能となる。また、現実の世界での定数値を用い、且つこの定数に道路の道幅と車高の高さ制限とを適用することで、確実に車両を切り出し領域内に収めることができる。

本発明によれば、車両の種類を認識する際の処理すべきデータ量を大幅に削減することが可能な車両認識装置、ナビゲーション装置および車両認識方法を実現することができる。

以下、本発明を実施するための最良の形態を図面と共に詳細に説明する。

まず、本発明による実施例１について図面を用いて詳細に説明する。図１は、本実施例によるカーナビゲーション装置１００の構成を示すブロック図である。図１に示すように、カーナビゲーション装置１００は、ＣＰＵ（Central Processing Unit）１０１と、レーダ装置１０２とＣＣＤ（Charge Coupled Devices）カメラ１０３とＤＶＤ（Digital Versatile Disk）ドライブ１１１とＧＰＳ（Global Positioning System）受信部１１２と自立航法センサ１１３と送受信部１１４と操作部１１５と表示部１１６とスピーカ１１７とを有する。これら各部は、バス１１８により通信可能に接続されている。

上記の構成において、ＤＶＤドライブ１１１は、地図データやその他の案内データを格納したＤＶＤ（Digital Versatile Disk）−ＲＯＭ等の記録媒体を読み込むため構成である。ただし、本発明では、このほかにもＣＤ（Compact Disk）−ＲＯＭ（Read Only Memory）ドライブやハードディスクドライブなどのような、地図データやその他の案内データを蓄積することが可能な蓄積手段を適用することができる。

ＧＰＳ受信部１１２は、ＧＰＳ衛星から送信されてくるＧＰＳ信号を受信して自己車両（Ｏ）の現在位置の緯度及び経度を検出するための構成である。検出された現在位置情報は、ＣＰＵ１０１に入力され、ナビゲーションにおける所定の処理に使用される。

自立航法センサ１１３は、車両方位を検出するためのジャイロ等を含む角度センサ１１３ａと、一定の走行距離毎にパルスを発生する距離センサ１１３ｂとを有して構成されており、車両の進行方向や速度を検出する。送受信部１１４は、各種サービスセンタ等と通信するための車載電話機等で構成される。

操作部１１５は、ユーザがナビゲーション装置１００に各種操作・設定を入力するための構成である。これは、リモートコントローラ装置やコントロールパネル等のように個別に構成されていても、後述の表示部１１６と一体にタッチパネル式の入力装置として構成されていても良い。更には、音声入力用のマイクロフォン等で構成されてもよい。

表示部１１６は、例えば液晶表示方式のディスプレイ装置等で構成され、地図や誘導経路や車両の現在位置やその他ランドマーク等の各種情報をユーザへ表示するための構成である。尚、誘導経路とは、ユーザへ実際に提供する目的地までの経路であり、表示部１１６において地図画像と重畳される経路である。スピーカ１１７は、音声案内情報等をユーザへ出力するための構成である。尚、スピーカ１１７はその他、音響装置等から入力された音楽等も出力することができる。

また、ＣＰＵ１０１は、ＤＶＤドライブ１１１から読み出した各種プログラムを実行することで、ナビゲーション機能と共に、レーダ装置１０２およびＣＣＤカメラ１０３から入力された情報に基づいて自己車両（Ｏ）の周囲に存在する車両を認識する機能（以下、これを車両認識機能という）を実現する。これら機能を実現するための構成を、本説明では車両認識装置１１０と呼び、以下に図面と共に詳細に説明する。

図２は、車両認識装置１１０の構成を示すブロック図である。図２に示すように、車両認識装置１１０は、レーダ装置１０２とＣＣＤカメラ１０３とＣＰＵ１０１とを含んで構成される。ＣＰＵ１０１はたとえばＤＶＤドライブ１１１から所定のプログラムを読み出すことで、車両認識処理部１０１ａおよびナビゲーション処理部１０１ｃを実現する。

レーダ装置１０２は、たとえばミリ波レーダなど、自己車両（Ｏ）周囲に存在する車両（以下、これを相手車両という）までの距離や相手車両の方向などを検出することができるレーダ装置であれば、如何なるものも適用することができる。このレーダ装置１０２は自己車両（Ｏ）周囲、特に前方および後方に取り付けられ、自己車両（Ｏ）周囲に存在する相手車両を検出可能に取り付けられることが好ましい。したがって、たとえばレーダ装置１０２に指向性がある場合、レーダ装置１０２のアンテナを回転可能とするか、少なくとも前方と後方とに１つのレーダ装置１０２が備えつけられる。

ＣＣＤカメラ１０３は、レーダ装置１０２で検出可能とされた領域と略同一の領域を撮影可能に取り付けられることが好ましい。したがって、ＣＣＤカメラ１０３も撮影方向が回転可能に取り付けられるか、少なくとも前方と後方とに１つのＣＣＤカメラ１０３が備えつけられる。なお、レーダ装置１０２で検出可能な領域の中心線とＣＣＤカメラ１０３の光軸とは略一致するように調整される。これにより、相手車両が映し出された画像上の領域を検出結果から簡単に導き出すことが可能となる。

レーダ装置１０２で取得された検出情報およびＣＣＤカメラ１０３で取得された画像（これを以下、取得画像という）は、バス１１８を介してＣＰＵ１０１の車両認識処理部１０１ａに入力される。なお、検出情報には、上述したように、自己車両（Ｏ）からの相手車両の距離と相手車両が存在する方向（以下、単に方向という）との情報が含まれる。

車両認識処理部１０１ａは、入力された検出情報および取得画像に基づいて、自己車両（Ｏ）から検出可能エリア内に存在する相手車両を認識する処理を実行する。この認識処理は、所定のサイクルで繰返し実行される。

次に、車両認識処理部１０１ａの動作について図面と共に説明する。図３は、車両認識処理部１０１ａの動作を示すフローチャートである。図３に示すように、車両認識処理部１０１ａは検出情報および取得画像を入力する（ステップＳ１０１，Ｓ１０２）。ここで、検出情報に含まれる情報の一例を図４に、取得画像の一例を図５に示す。図４および上述した内容から読み取れるように、検出情報には、自己車両（Ｏ）から相手車両までの距離や方向などの情報が含まれる。また、図５から読み取れるように、取得画像には相手車両（Ｃ１）が撮影されている。なお、説明の簡略化のため、以下では、自己車両（Ｏ）の前方（図４における車線領域）を撮影した取得画像のみに着目して説明する。

以上のように検出情報と取得画像とが入力されると、車両認識処理部１０１ａは、検出情報から相手車両までの距離Ｌを算出し（ステップＳ１０３）、また、相手車両の方向、すなわちレーダ検出位置の方向を特定する（ステップＳ１０４）。

次に車両認識処理部１０１ａは、算出した距離Ｌと特定した方向とから、相手車両が映し出された取得画像上の領域（以下、切り出し領域という）を算出し（ステップＳ１０５）、この領域を切り出す（ステップＳ１０６）。

ここで、切り出し領域の算出方法について、より詳細に説明する。切り出し領域を算出するにあたり、本実施例では、切り出し領域の幅ｗと高さｈとに、現実世界での固定値を用いる。すなわち、本実施例では、切り出し領域の幅ｗを現実世界の尺度に換算した場合にたとえば一般的な車線の幅である３ｍ（メートル）程度となるような値から算出する。また、切り出し領域の高さｈを現実世界の尺度に換算した場合たとえば一般的に制限されている最大車高である４ｍ程度となるような値から算出する。このように、現実の世界での定数値を用いることで、本実施例では、確実に相手車両を切り出し領域内に収めることができる。なお、以下の説明では現実世界での幅をＷとし、高さをＨとする。

次に、切り出し領域の幅ｗと高さｈとを算出するための式を示す。まず、幅ｗを算出する際の手順について説明する。ここで、図６に示すように、ＣＣＤカメラ１０３の光軸をｘ軸とし、相手車両の検出された方向がＣＣＤカメラ１０３の光軸に対してφ₁傾いているとすると、自己車両（Ｏ）から相手車両までの光軸に沿った距離Ｄは以下の式１となる。

また、ＣＣＤカメラ１０３の撮影領域の光軸からの広がりをθ₁とすると、自己車両（Ｏ）から距離Ｄ前方において映し出された現実世界の横の長さＥ_W、すなわち取得画像に映し出された風景の横全体の長さＥ_Wは以下の式２となる。

したがって、定数である幅Ｗが取得画像の横幅Ｅ_Wにおいて占める割合Ｒ_wは、以下の式３となる。

ここで、取得画像全体の横のビット数をＢ_Wとすると、切り出し領域の横のビット数ｂ_wは以下の式４となる。なお、端数が出た場合は切り捨て若しくは四捨五入する。

次に、切り出し領域の高さｈを算出する際の手順について説明する。図７に示すように、ＣＣＤカメラ１０３の撮影領域の光軸からの広がりをθ₂とすると、自己車両（Ｏ）から距離Ｄ前方において映し出された現実世界の縦の長さＥ_H、すなわち取得画像に映し出された風景の縦全体の長さＥ_Hは以下の式５となる。

したがって、定数である領域の高さＨが取得画像の高さＥ_Hにおいて占める割合Ｒ_Hは、以下の式６となる。

ここで、取得画像全体の縦のビット数をＢ_Hとすると、切り出し領域の縦のビット数ｂ_hは以下の式７となる。なお、端数が出た場合は切り捨て若しくは四捨五入する。

以上のように切り出し領域の横のビット数ｂ_wおよび縦のビット数ｂ_hを求めると、次に車両認識処理部１０１ａは、図８に示すように、レーダ検出位置を基準としてこの大きさの領域を取得画像に割り当て、囲まれた領域を切り出す。

なお、本実施例では、ＣＣＤカメラ１０３の光軸は水平方向に向いているとする。したがって、地面からレーダ検出位置までの現実世界での高さＨ₂は固定された値となる。一方、レーダ検出位置の高さＨ₂から最大車高Ｈまでの高さＨ₁（＝Ｈ−Ｈ₂）も固定された値となる。したがって、切り出し領域におけるレーダ検出位置の左上画素を基準とした座標（ｘ，ｙ）は以下の式８のようになる。

図４に戻って説明する。以上のように相手車両が映し出された領域を切り出すと、次に車両認識処理部１０１ａは、切り出し領域に対して、予め与えられた正解画像の特徴と、切り出した領域における特徴との相関を求めることで、映し出された車両の種類（セダンや軽自動車やワゴンやミニバンや１ＢＯＸなど）を特定する（ステップＳ１０７）。すなわち、パターン認識を実行して車種を特定する。その後、車両認識処理部１０１ａは、認識結果をナビゲーション処理部１０１ｃへ出力する（ステップＳ１０８）。

以上のように認識結果が入力されると、ナビゲーション処理部１０１ｃは、入力された結果を必要または目的に応じてドライバへ通知する。また、同様の構成および動作を自己車両（Ｏ）後方に対しても行うことで、自己車両（Ｏ）後方に存在する相手車両を認識することも可能となる。

以上のように構成及び動作することで、本実施例によれば、車両周囲、特に前方または後方を走行する車両の種類を認識する際の処理すべきデータ量を大幅に削減することが可能となるため、認識結果を迅速に得ることが可能となる。

また、本発明では、以上の構成における切り出し領域の幅ｗ及び高さｈを算出する際に使用する現実世界の幅Ｗと高さＨとを、道路ごとに設定しておいても良い。この値はナビゲーション装置１００で使用する地図データに蓄積させ、道路ごとに道幅や車高の制限などの情報が付加される。したがって、自己車両（Ｏ）の走行経路に応じてこれらのデータを読み出し、演算に使用するように構成することで、道路状況（道路条件とも言う）に的確に応じた処理を実現することが可能となる。

さらに、以上の構成では、切り出し領域の幅ｗに現実世界での定数（幅Ｗ）を採用していたが、本発明ではこれに限らず、たとえば取得画像における車線（白線など）の間隔を画像処理により求め、これを切り出し領域の幅ｂ_wとしてもよい。この場合、幅ｂ_wを算出するための演算処理は省略される。

なお、上記実施例１は本発明を実施するための例にすぎず、本発明はこれらに限定されるものではなく、これらの実施例を種々変形することは本発明の範囲内であり、更に本発明の範囲内において、他の様々な実施例が可能であることは上記記載から自明である。

本発明の実施例１によるカーナビゲーション装置１００の構成を示すブロック図である。 本発明の実施例１による車両認識装置１１０の構成を示すブロック図である。 車両認識処理部１０１ａの動作を示すフローチャートである。 レーダ装置１０２で取得された検出情報に含まれる情報の概要の一例を示す図である。 ＣＣＤカメラ１０３で取得された取得画像の一例を示す図である。 本発明の実施例１における切り出し領域の幅ｗを算出する際の概念を説明するための図である。 本発明の実施例１における切り出し領域の高さｈを算出する際の概念を説明するための図である。 本発明の実施例１において算出された切り出し領域の具体例を示す図である。

符号の説明

１００ ナビゲーション装置
１０１ ＣＰＵ
１０１ａ 車両認識処理部
１０１ｃ ナビゲーション処理部
１０２ レーダ装置
１０３ ＣＣＤカメラ
１１１ ＤＶＤドライブ
１１２ ＧＰＳ受信部
１１３ 自立航法センサ
１１３ａ 角度センサ
１１３ｂ 距離センサ
１１４ 送受信部
１１５ 操作部
１１６ 表示部
１１７ スピーカ
１１８ バス
Ｃ１ 相手車両
Ｏ 自己車両

Claims (6)

1. 車両を撮影した画像から当該車両が映し出された領域を切り出し、当該領域を認識処理することで当該車両の種類を認識する対象物認識装置であって、
   前記画像を撮影した撮影手段が設置された位置に対する前記車両の位置と道路の幅と車高制限の最大値とに基づいて当該車両が映し出された領域を処理対象領域として切り出すことを特徴とする対象物認識装置。
2. 車両を検出するレーダ手段と、
   車両を撮影する撮影手段と、
   前記レーダ手段で検出された車両の前記撮影手段が設置された位置に対する位置と走行中の道路の幅と車高制限の最大値とに基づいて当該車両が映し出された領域を前記撮影手段で得られた画像から切り出す領域切出し手段と、
   前記領域切出し手段で切り出した領域を認識処理することで車両の種類を認識する車両認識手段とを有することを特徴とする車両認識装置。
3. 前記車両が走行中の道路の道幅と当該道路に設定された車高制限の最大値とを所定の蓄積手段から読み出す条件読出し手段を有し、
   前記領域切出し手段は、前記条件読出し手段で読み出された道幅と車高制限の最大値とに基づいて前記切り出す領域を算出することを特徴とする請求項２記載の車両認識装置。
4. 自己車両周囲の車両を検出するレーダ手段と、
   自己車両周囲を撮影する撮影手段と、
   前記レーダ手段で検出された車両の前記自己車両に対する位置と走行中の道路の幅と車高制限の最大値とに基づいて当該車両が映し出された領域を前記撮影手段で得られた画像から切り出す領域切出し手段と、
   前記領域切出し手段で切り出した領域を認識処理することで車両の種類を認識する車両認識手段とを有することを特徴とするナビゲーション装置。
5. 前記車両認識手段で認識された結果をドライバへ提示するナビゲーション手段を有することを特徴とする請求項４記載のナビゲーション装置。
6. 車両を検出する第１ステップと、
   撮影手段で車両を撮影する第２ステップと、
   前記第１ステップで検出された車両の前記撮影手段が設置された位置に対する位置と走行中の道路の幅と車高制限の最大値とに基づいて当該車両が映し出された領域を前記撮影手段で得られた画像から切り出す第３ステップと、
   前記第３ステップで切り出した領域を認識処理することで車両の種類を認識する第４ステップとを有することを特徴とする車両認識方法。

Images