JP2024013451A - 車両用検出装置 - Google Patents

Abstract

【課題】カメラと検出器とでそれぞれ検出された車両を紐付けし易くする。【解決手段】自車両の周囲の車両を検出する車両用検出装置５０であって、自車両の周囲をイメージセンサで撮像して画像情報を取得するカメラ１ａと、カメラ１ａの撮像領域内の車両からの反射信号を受信して車両までの第１距離情報を取得する検出器１ｂと、画像情報に含まれる車両の像の大きさに基づいて車両までの第２距離情報を推定する距離推定部１４ａと、第２距離情報を、検出器１ｂで取得された第１距離情報に近づけるように補正する補正部１４ｂと、を備える。【選択図】図２

Description

本発明は、外界を検出するセンサからの情報に基づいて自車両の周囲に存在する車両を検出する車両用検出装置に関する。

この種の技術として、カメラとレーダとを用いたセンサフュージョンにより、自車両に先行して走行する先行車両を認識し、認識結果に基づいて速度制御等の自車両の走行制御を行う技術が知られている（特許文献１参照）。

特許第３６１９６２８号公報

しかしながら、例えば、センサで検出する先行車両が自車両から遠方に存在する場合に、カメラの画像情報に基づいて検出した車両とレーダで検出した車両とを同一車両とみなせない場合がある。

本発明の一態様である車両用検出装置は、自車両の周囲の車両を検出する車両用検出装置であって、自車両の周囲をイメージセンサで撮像して画像情報を取得するカメラと、カメラの撮像領域内の車両からの反射信号を受信して車両までの第１距離情報を取得する検出器と、画像情報に含まれる車両の像の大きさに基づいて車両までの第２距離情報を推定する距離推定部と、第２距離情報を、検出器で取得された第１距離情報に近づけるように補正する補正部と、を備える。

本発明によれば、カメラと検出器とでそれぞれ検出された車両を紐付けし易くすることが可能になる。

実施の形態に係る車両用検出装置を有する車両制御システムの全体構成を概略的に示すブロック図。 実施の形態に係る車両用検出装置の要部構成を示すブロック図。 演算部が実行する処理の流れを説明するフローチャート。 換算情報としての理論値の曲線を例示する図。 式（４）で算出される差と、自車両から先行車両までの距離との関係を例示する図。 理論値の曲線とともにサンプルデータをプロットした図。 式（８）中の符号ｗiおよびＷiを説明する図。 式（８）中の符号ｗiおよびＷiを説明する図。

以下、図１～８を参照して発明の実施の形態について説明する。
本発明の実施の形態に係る車両用検出装置は、自動運転機能を有する車両、すなわち自動運転車両と、自動運転機能を有しない手動運転車両の両方に適用することができる。手動運転車両は、運転支援機能を備える車両を含む。以下では、車両用検出装置を自動運転車両に適用する例を説明する。
なお、実施の形態に係る車両用検出装置が適用される車両を、他車両と区別して自車両と呼ぶことがある。

自車両は、内燃機関（エンジン）を走行駆動源として有するエンジン車両、走行モータを走行駆動源として有する電気自動車、エンジンと走行モータとを走行駆動源として有するハイブリッド車両のいずれであってもよい。自車両（自動運転車両）は、ドライバによる運転操作が不要な自動運転モードでの走行だけでなく、ドライバの運転操作による手動運転モード（運転支援機能を使用可能）での走行も可能である。

＜自動運転に係る概略構成＞
先ず、自動運転に係る概略構成について説明する。図１は、実施の形態に係る車両用検出装置を有する自動運転車両の車両制御システム１００の全体構成を概略的に示すブロック図である。図１に示すように、車両制御システム１００は、コントローラ１０と、ＣＡＮ通信線等を介してコントローラ１０にそれぞれ通信可能に接続された外部センサ群１と、内部センサ群２と、入出力装置３と、測位ユニット４と、地図データベース５と、ナビゲーション装置６と、通信ユニット７と、走行用のアクチュエータＡＣと、を主に有する。

外部センサ群１は、自車両の周辺情報である外部状況を検出する複数のセンサ（外部センサと呼ぶ）の総称である。例えば、外部センサ群１にはレーザ（Laser）光を照射して反射光を検出することで、自車両の周辺の物体の位置（自車両からの距離および方向）を検出するライダ(LiDAR;Laser Imaging Detection and Ranging)、電磁波を照射し反射波を検出することで、自車両の周辺の物体の位置を検出するレーダ(Radar)、ＣＣＤ(Charge Coupled Device)またはＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサ等の撮像素子を有し、自車両の周辺を撮像するカメラ等が含まれる。撮像素子は、イメージセンサ(image sensor)とも称される。ライダおよびレーダは、カメラの撮像領域内で物体を検出することができる。ライダおよびレーダを、検出器と呼んでもよい。

内部センサ群２は、自車両の走行状態を検出する複数のセンサ（内部センサ）の総称である。内部センサ群２には、例えば、自車両の走行速度（車速）を検出する車速センサ、自車両の前後方向および左右方向の加速度を検出する加速度センサ、自車両の回転や向きの変化を角速度として検知するジャイロセンサ、走行駆動源の回転数を検出する回転数センサ等が含まれる。手動運転モードでのドライバの運転操作、例えばアクセルペダルの操作、ブレーキペダルの操作、ステアリングホイールの操作等を検出するセンサも内部センサ群２に含まれる。

入出力装置３は、ドライバから指令が入力されたり、ドライバに対し情報が出力されたりする装置の総称である。例えば入出力装置３には、操作部材の操作によりドライバが各種指令を入力する各種スイッチ、ドライバが音声で指令を入力するマイク、ドライバに表示画像を介して情報を提供するディスプレイ、ドライバに音声で情報を提供するスピーカ等が含まれる。

測位ユニット（ＧＮＳＳ(Global Navigation Satellite System)ユニット）４は、測位衛星から送信された測位用の信号を受信する測位センサを有する。測位センサを内部センサ群２に含めることもできる。測位衛星は、ＧＰＳ衛星や準天頂衛星等の人工衛星である。測位ユニット４は、測位センサが受信した測位情報を利用して、自車両の現在位置（緯度、経度、高度）を測定する。

地図データベース５は、ナビゲーション装置６に用いられる一般的な地図情報を記憶する装置であり、例えばハードディスクや半導体素子により構成される。地図情報には、道路の位置情報、道路形状（曲率等）の情報、交差点や分岐点の位置情報が含まれる。
なお、地図データベース５に記憶される地図情報は、コントローラ１０の記憶部１２に記憶される高精度な地図情報とは異なる。

ナビゲーション装置６は、ドライバにより入力された目的地までの道路上の目標経路を探索するとともに、目標経路に沿った案内を行う。目的地の入力および目標経路に沿った案内は、入出力装置３を介して行われる。目標経路は、測位ユニット４により測定された自車両の現在位置と、地図データベース５に記憶された地図情報とに基づいて演算される。外部センサ群１の検出値を用いて自車両の現在位置を測定することもでき、この現在位置と記憶部１２に記憶された高精度な地図情報とに基づいて目標経路を演算するようにしてもよい。

通信ユニット７は、インターネット網や携帯電話網等に代表される無線通信網を含むネットワークを介して図示しない各種サーバと通信し、地図情報、走行履歴情報および交通情報等を定期的に、あるいは任意のタイミングでサーバから取得する。ネットワークには、公衆無線通信網だけでなく、所定の管理地域毎に設けられた閉鎖的な通信網、例えば無線ＬＡＮ、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等も含まれる。取得した地図情報は、地図データベース５や記憶部１２に出力され、地図情報が更新される。

アクチュエータＡＣは、自車両の走行を制御するための走行用アクチュエータである。走行駆動源がエンジンである場合、アクチュエータＡＣには、エンジンのスロットルバルブの開度（スロットル開度）を調整するスロットル用アクチュエータが含まれる。走行駆動源が走行モータである場合、走行モータがアクチュエータＡＣに含まれる。自車両の制動装置を作動するブレーキ用アクチュエータと転舵装置を駆動する転舵用アクチュエータもアクチュエータＡＣに含まれる。

コントローラ１０は、電子制御ユニット（ＥＣＵ; Electronic Control Unit）により構成される。より具体的には、コントローラ１０は、ＣＰＵ（マイクロプロセッサ）等の演算部１１と、ＲＯＭ(Read Only Memory)、ＲＡＭ(Random Access Memory)等の記憶部１２と、Ｉ／Ｏインターフェース等の図示しないその他の周辺回路とを有するコンピュータを含んで構成される。なお、エンジン制御用ＥＣＵ、走行モータ制御用ＥＣＵ、制動装置用ＥＣＵ等、機能の異なる複数のＥＣＵを別々に設けることができるが、図１では、便宜上、これらＥＣＵの集合としてコントローラ１０が示される。

記憶部１２には、高精度の道路地図情報が記憶される。この道路地図情報には、道路の位置情報、道路形状（曲率等）の情報、道路の勾配の情報、交差点や分岐点の位置情報、車線数の情報、車線の幅員および車線毎の位置情報（車線の中央位置や車線位置の境界線の情報）、地図上の目印としてのランドマーク（信号機、標識、建物等）の情報、路面の凹凸等の路面プロファイルの情報が含まれる。ランドマークの情報（ランドマーク情報）には、ランドマークの形状（輪郭）、特性、位置等の情報が含まれる。
記憶部１２はさらに、後述する換算情報を記憶する。

演算部１１は、機能的構成として、自車位置認識部１３と、外界認識部１４と、行動計画生成部１５と、走行制御部１６と、センサ群管理部１７とを有する。

自車位置認識部１３は、測位ユニット４で得られた自車両の位置情報および地図データベース５の地図情報に基づいて、地図上の自車両の位置（自車位置）を認識する。記憶部１２に記憶された地図情報と、外部センサ群１が検出した自車両の周辺情報とを用いて自車位置を認識してもよく、これにより自車位置を高精度に認識することができる。なお、道路上や道路脇の外部に設置されたセンサで自車位置を測定可能であるとき、そのセンサと通信ユニット７を介して通信することにより、自車位置を認識することもできる。
自車位置認識部１３はさらに、外部センサ群１を構成するカメラが撮像する方向の方位角を、内部センサ群２を構成するジャイロセンサの出力に基づいて算出することも可能である。

外界認識部１４は、検出器およびカメラ等の外部センサ群１からの信号に基づいて自車両の周囲の外部状況を認識する。例えば、自車両の周辺を走行する周辺車両（前方車両や後方車両）の位置、速度、加速度、自車両の周囲に停車または駐車している周辺車両の位置、および他の物体の位置や状態等を認識する。他の物体には、標識、信号機、道路の区画線や停止線等の標示、建物、ガードレール、電柱、看板、歩行者、自転車、トンネル入口等が含まれる。他の物体の状態には、信号機の色（赤、青、黄）、歩行者や自転車の移動速度や向き等が含まれる。

外部センサ群１の検出対象である物体を物標と呼ぶ。物標には、人と物の両方および移動体と静止物体の両方が含まれる。外界認識部１４は、外部センサ群１を構成する異なる種類のセンサ（例えばカメラと検出器）の検出データを統合的に処理（フュージョン処理）し、各センサに基づいて検出された物標を同一物標として扱うか否かを判定するとともに、物標の位置データを導出する。一般に、上記検出器はカメラに比べて計測精度の点において優れており、カメラは上記検出器に比べて近距離における分解能の点において優れている。フュージョン処理により、これらの各センサの特徴を適切に組み合わせることが可能になる。例えば、自動ブレーキ（例えば衝突軽減ブレーキ）およびＡＣＣ(Adaptive Cruise Control)等の車両制御に用いる先行車両等の距離情報について、カメラの検出データに基づく距離情報を使用したり、検出器の検出データに基づく距離情報を使用したりすることが可能になる。

外界認識部１４は、異なる種類のセンサに基づいて検出された物標を同一物標として扱える場合に、検出データの座標変換やデータの補完、平均化等のフュージョン処理を行って物標の位置データを導出する。つまり、各センサに基づいて検出された車両を紐付けて（関連付けと呼んでもよい）、車両の位置を精度よく認識することが可能になる。
また、外界認識部１４は、異なる種類のセンサに基づいて検出された物標を同一物標として扱えない場合には、カメラの検出データに基づく距離情報を補正する。この補正により、各センサに基づいて検出された車両の紐付けがし易くなる。
なお、外界認識部１４が各センサに基づいて検出された物標を同一物標として扱うか否かを判定する処理の詳細については後述する。

行動計画生成部１５は、例えばナビゲーション装置６で演算された目標経路と、記憶部１２に記憶された地図情報と、自車位置認識部１３で認識された自車位置と、外界認識部１４で認識された外部状況（物標の位置等）とに基づいて、現時点から所定時間先までの自車両の走行軌道（目標軌道）を生成する。目標経路上に目標軌道の候補となる複数の軌道が存在するときには、行動計画生成部１５は、その中から法令を順守し、かつ効率よく安全に走行する等の基準を満たす最適な軌道を選択し、選択した軌道を目標軌道とする。そして、行動計画生成部１５は、生成した目標軌道に応じた行動計画を生成する。行動計画生成部１５は、先行車両を追い越すための追い越し走行、走行車線を変更する車線変更走行、先行車両に追従する追従走行、走行車線を逸脱しないように車線を維持するレーンキープ走行、定速走行、減速走行または加速走行等に対応した種々の行動計画を生成する。行動計画生成部１５は、目標軌道を生成する際に、まず走行態様を決定し、走行態様に基づいて目標軌道を生成する。

走行制御部１６は、自動運転モードにおいて、行動計画生成部１５で生成された目標軌道に沿って自車両が走行するように各アクチュエータＡＣを制御する。より具体的には、走行制御部１６は、自動運転モードにおいて道路勾配等により定まる走行抵抗を考慮して、行動計画生成部１５で算出された単位時間毎の目標加速度を得るための要求駆動力を算出する。そして、例えば内部センサ群２により検出された実加速度が目標加速度となるようにアクチュエータＡＣをフィードバック制御する。すなわち、自車両が目標車速および目標加速度で走行するようにアクチュエータＡＣを制御する。
なお、手動運転モードでは、走行制御部１６は、内部センサ群２により取得されたドライバからの走行指令（ステアリング操作等）に応じて各アクチュエータＡＣを制御する。

センサ群管理部１７は、外部センサ群１を構成する異なる種類のセンサ（カメラと検出器）の状態を管理する。例えば、逆光または天候等に起因するカメラの撮像環境の悪化を判断したり、壁面等の反射物によるレーダの計測環境の悪化を判断したりする。

＜車両制御に用いる情報＞
上述した車両制御システム１００を構成するコントローラ１０は、異なる種類のセンサによる検出データに基づいてそれぞれ検出された物標のうち、同一の物標として紐付けした物標に関する情報を用いて各アクチュエータＡＣを制御する。例えば、異なる種類のセンサの双方でそれぞれ検出されている物標の情報のうち、一方のセンサの検出データに基づく情報を自動ブレーキおよびＡＣＣ等の車両制御に用いる。このように構成することにより、仮に、一方のセンサの状態が悪化した場合でも、他方のセンサに基づいて得られる情報を車両制御に用いるように、冗長性を高めて安全性を担保することが可能になる。
また、演算部１１は、異なる種類のセンサに基づいてそれぞれ検出された物標を紐付けできない場合には、一方のセンサに基づいて検出された情報を補正した上で紐付けを行う。このように構成することにより、各センサによる検出データに基づいてそれぞれ検出された物標を紐付けし易くすることが可能になる。ただし、補正した情報は自動ブレーキおよびＡＣＣ等の車両制御に用いずに、他方のセンサに基づいて検出された情報を車両制御に用いる。車両制御には補正を必要としない情報を用いることにより、より安全性を高めることが可能になる。
このようなコントローラ１０で行う処理の詳細について、図２および図３を参照してさらに説明する。

＜車両用検出装置の要部構成＞
図２は、実施の形態に係る車両用検出装置５０の要部構成を示すブロック図である。車両用検出装置５０は、図１の車両制御システム１００の一部を構成する。図２に示すように、車両用検出装置５０は、カメラ１ａと、検出器１ｂと、コントローラ１０と、アクチュエータＡＣとを有する。

カメラ１ａは、上記ＣＣＤまたはＣＭＯＳセンサ等の撮像素子を有する単眼カメラであり、図１の外部センサ群１の一部を構成する。カメラ１ａは、例えば自車両の前部の所定位置に取り付けられ、自車両の前方空間を連続的に撮像し、物標の画像（カメラ画像）を取得する。物標には自車両の前方を走行する先行車両と、人や構造物等が含まれる。カメラ画像に基づいて、物標の位置と種類とを認識することができる。すなわち、二次元のカメラ画像の横（水平）方向をＹ方向、縦（鉛直）方向をＸ方向とすると、カメラ画像上のＹ方向の位置により物標の車幅方向の位置が、Ｘ方向の位置により物標の高さ方向と進行方向における位置とを求めることができる。つまり、カメラ１ａの画像情報に基づいて物標の位置データ（位置情報）を取得することが可能である。

検出器１ｂは、検出対象（物標）からの反射波に基づいて自車両から物標までの距離を検出する検出器であり、レーダおよびライダのいずれか一方または両方を含む。検出器１ｂにより、自車両を基準とした物標の位置データ（位置情報）を取得することができる。位置データには物標の位置と速度のデータとが含まれる。検出器１ｂによる検出範囲は、カメラ１ａの撮像領域に含まれる。したがって、カメラ１ａで撮像された物標と検出器１ｂで検出された物標とが同一である場合、フュージョン処理を行うことで、当該物標の位置および速度を導出できる。

図２のコントローラ１０は、演算部１１（図１）が担う機能的構成として、距離推定部１４ａと、補正部１４ｂと、紐付け部１４ｃと、決定部１４ｄと、を有する。距離推定部１４ａは、カメラ１ａで撮像された画像情報に基づいて距離情報を推定するために設けられている。補正部１４ｂは、距離推定部１４ａで推定された距離情報を補正するために設けられている。また、紐付け部１４ｃは、カメラ１ａおよび検出器１ｂに基づいてそれぞれ検出された車両を紐付けるために設けられている。決定部１４ｄは、車両制御に用いる距離情報等を決定するために設けられている。

＜フローチャートの説明＞
図３は、異なる種類のセンサ（カメラ１ａと検出器１ｂ）で取得した情報を、自動ブレーキおよびＡＣＣ等の車両制御に用いる場合に、演算部１１が実行する処理の流れを説明するフローチャートである。
カメラ１ａおよび検出器１ｂは、それぞれ撮像または計測を所定のフレームレート（Frame rate）で繰り返し実行して検出データを出力する。演算部１１は、カメラ１ａおよび検出器１ｂから検出データが出力される毎に、図３に例示する処理を実行する。

ステップＳ１において、演算部１１の距離推定部１４ａは、カメラ１ａで撮像された画像情報に基づいて距離情報を推定する。
実施の形態では、センサの一つとして単眼のカメラ１ａを用いる。カメラ１ａは単眼カメラのため、ステレオカメラのように撮像した画像情報から距離情報を直接的に得ることができない。そのため、距離推定部１４ａは、撮像された先行車両の像の大きさに基づいて、自車両から先行車両までの距離情報を推定する（距離推定）。

― 距離推定 ―
距離推定部１４ａは、ステップＳ１の距離推定を以下の手順で行う。
手順１．先行車両をクラス分けする。
手順２．クラスに対応する換算情報を選択する。
手順３．換算情報に基づき、自車両から先行車両までの距離を推定する。

距離推定の各手順について説明する。
１．クラス分け
距離推定部１４ａは、カメラ１ａで撮像された先行車両の像の形状等（例えば、先行車両の像の輪郭）に基づいてパターンマッチング処理等を行うことにより、車種に対応させたクラスに先行車両をクラス分けする。クラスは、トラック等（トラック、トレーラー、バス等を含む大型車両）、四輪車等（大型車両よりも小さい中型および小型車両）、軽車両等（小型車両よりも小さい四輪車両等）、および二輪車等の４クラスを設けるものとする。
なお、クラス分けするクラスの数は、４つに限らず適宜変更してよい。

２．換算情報
実施の形態では、４つのクラスにそれぞれ含まれる標準的な車両（基準車両と呼ぶ）の車幅（基準車幅と呼ぶ）を、例えばトラック等は２．５ｍ、四輪車等は１．８ｍ、軽車両等は１．５ｍ、および二輪車等は１．０ｍと定めている。
記憶部１２は、車幅Ｗｃが基準車幅と等しい先行車両をカメラ１ａで撮像した場合に得られる先行車両の像の理論上の大きさ（例えば、イメージセンサ上の先行車両の像の理論上の水平方向の幅）ｄｒと、自車両から先行車両までの距離Ｚｒとの関係を示す換算情報を、クラス毎（換言すると、車種毎）に記憶している。
なお、換算情報は、基準車幅を有する基準車両をカメラ１ａで撮像した場合に得られる基準車両の像の大きさｄｒと、自車両から基準車両までの距離Ｚｒとの関係を示すものでもよい。

換算情報は、次式（１）により表される。
ｄｒ＝Ｗｃ×ｆ/Ｚｒ ・・・・・（１）
符号Ｗｃは、先行車両の車幅（上記基準車幅）に対応する。符号ｆは、カメラ１ａの光学系の焦点距離を示す。符号Ｚｒは、自車両から基準車両までの距離を示す。
カメラ１ａのイメージセンサの１ピクセル(pixel)当たりのサイズ（画素ピッチと呼んでもよい）をλとすると、カメラ１ａで撮像された先行車両の像を構成する理論上の車幅方向（水平方向）のピクセル数ｄｒｐは、次式（２）により表される。
ｄｒｐ＝ｄｒ/λ＝Ｗｃ×ｆ/（Ｚｒ×λ） ・・・・・（２）

― 理論値の曲線 ―
図４は、上式（２）で算出されるピクセル数ｄｒｐと、距離Ｚｒとの関係を示す換算情報としての理論値の曲線を例示する図である。縦軸は先行車両の像の車幅方向のピクセル数（画像幅と呼ぶ）ｄｒｐを示し、横軸は自車両から先行車両までの距離Ｚｒを示す。
曲線４１は、先行車両がトラック等である場合の理論値を示し、曲線４２は、先行車両が軽車両等である場合の理論値を示す。
例えば曲線４１は、車幅Ｗｃ＝２．５ｍのトラックが自車両の前方３２ｍに位置する場合に、カメラ１ａで撮像されるトラックの像を構成する理論上の水平方向のピクセル数ｄｒｐが１２０であることを示す。
なお、図示を省略するが、曲線４１および４２の他に、先行車両が四輪車等である場合の理論値の曲線と、先行車両が二輪車等である場合の理論値の曲線とを示す情報が、それぞれ換算情報に含まれている。
手順２において、距離推定部１４ａは、上記４つのクラスに対応する４通りの換算情報の中から、手順１でクラス分けしたクラスに対応する換算情報を選択する。

上記換算情報は、テーブル値として記憶部１２に記憶していてもよい。換算情報をテーブル値として記憶することにより、距離または画素数を引数として、対応する画素数または距離を記憶部１２から読み出すことが可能になる。

３．距離推定
手順３において、距離推定部１４ａは、カメラ１ａで実際に撮像された先行車両の像の大きさ（例えばイメージセンサ上の先行車両の像の水平方向の幅）ｄｃを検出し、クラス分けしたクラスに対応して選択した換算情報に基づき、像の大きさｄｃに対応する距離情報を推定する。
カメラ１ａの画素ピッチとして上記符号λを用いると、カメラ１ａで撮像された先行車両の像を構成する水平方向のピクセル数ｄｃｐは、次式（３）により算出される。
ｄｃｐ＝ｄｃ／λ ・・・・・（３）

距離推定部１４ａは、上記換算情報を参照して、上式（３）により算出した水平方向のピクセル数ｄｃｐに対応する距離を推定する。推定した距離は、カメラ画像上の縦方向（Ｘ方向）の距離に対応するので縦距離ｘと呼んでもよい。
演算部１１は、以上説明したように距離情報を推定すると図３のステップＳ２へ進む。

ステップＳ２において、演算部１１（外界認識部１４）は、検出器１ｂで計測された距離情報を取得してステップＳ３へ進む。

ステップＳ３において、演算部１１（補正部１４ｂ）は、カメラ１ａで撮像された画像情報に基づいて推定した距離情報の正しさを判定する。補正部１４ｂは、距離情報が正しいと判定した場合は、ステップＳ３を肯定判定してステップＳ５へ進む。補正部１４ｂは、距離情報が正しくないと判定した場合は、ステップＳ３を否定判定してステップＳ４へ進む。

補正部１４ｂは、距離情報の正しさ判定を、ステップＳ１でクラス分けしたクラスが妥当であるか否かに基づいて行う。
ステップＳ１でクラス分けしたクラスが妥当であるか否かについては、検出器１ｂで検出された距離情報に対応する、先行車両の像の理論上の大きさｄｒ（ピクセル数ｄｒｐでもよい）と、カメラ１ａで実際に撮像された先行車両の像の大きさｄｃ（ピクセル数ｄｃｐでもよい）とを比較することにより判定する。
先ず、補正部１４ｂは、現在のクラスに対応して選択した換算情報に基づき、上記理論上のピクセル数ｄｒｐを取得する。

次に補正部１４ｂは、理論上のピクセル数ｄｒｐと、カメラ１ａで実際に撮像された先行車両の像のピクセル数ｄｃｐとの差Ｒを次式（４）により算出する。
Ｒ＝│ｄｒｐ－ｄｃｐ│ ・・・・・（４）

図５は、上式（４）で算出される差Ｒと、自車両から先行車両までの距離Ｚｒとの関係を例示する図である。自車両を実際に走行させながら、自車両から先行車両までの距離Ｚｒを検出器１ｂで所定時間毎に繰り返し検出するとともに、カメラ１ａで先行車両を繰り返し撮像して複数のサンプルデータを集め、各データに基づいて算出した差Ｒを距離別にプロットした図である。曲線（または直線）５１は、集めたサンプルデータを２つのグループに分ける境界線を示す関数Ｇ（ｘ）である。曲線（または直線）５１の下側のデータ群は、ステップＳ１でクラス分けしたクラスが妥当である場合（ＯＫ）を示し、曲線（または直線）５１の上側のデータ群は、ステップＳ１でクラス分けしたクラスが妥当でない場合（ＮＧ）を示す。

複数のサンプルデータを上記２つのグループに分ける関数Ｇ（ｘ）は、多数のサンプルデータを検証して経験的に生成してもよいし、ＳＶＭ(Support Vector Machine)等の機械学習手法を用いて算出してもよい。
図５によれば、自車両から先行車両までの距離がｄより短い場合は、ｄより長い場合と比べて差Ｒが大きくても「ＯＫ」のグループに入りやすい。この理由の１つは、距離が短いほどカメラ１ａで撮像した像を構成する水平方向のピクセル数ｄｃｐが大きくなるため、相対的に差Ｒの許容値が大きくなるためである。

補正部１４ｂは、ステップＳ１で距離情報の推定に用いた画像情報を用いて上式（４）により算出した差Ｒと、ステップＳ２で取得した距離情報（自車両から先行車両までの距離）とのデータが図５の「ＯＫ」領域に含まれる場合、ステップＳ１でクラス分けしたクラスが妥当であると判定する。そして、クラス分けしたクラスが妥当であればカメラ１ａに基づいて推定されている距離情報の信頼性が高い（換言すると、検出器１ｂおよびカメラ１ａに基づいて検出または推定した距離情報の差が所定値よりも小さい）ので、ステップＳ３を肯定判定する。これに対し、補正部１４ｂは、上記差Ｒと距離とのデータが図５の「ＮＧ」領域に含まれる場合、ステップＳ１でクラス分けしたクラスが妥当でないと判定する。そして、クラス分けしたクラスが妥当でないためカメラ１ａに基づいて推定されている距離情報の信頼性が低い（換言すると、検出器１ｂおよびカメラ１ａに基づいて検出または推定した距離情報の差が所定値よりも大きい）ので、ステップＳ３を否定判定する。

ステップＳ３を否定判定して進むステップＳ４において、演算部１１（補正部１４ｂ）は、カメラ１ａに基づいて推定した距離情報（縦距離ｘ）を補正する。

補正部１４ｂは、距離情報の補正の一例として、上記距離推定の手順１で選択したクラスの変更を行う。より具体的には、図４と同様の座標上にＮ（例えば５）個の実際のサンプルデータ（検出器１ｂで検出した自車両から先行車両までの距離Ｚｒと、カメラ１ａで実際に撮像した先行車両の像のピクセル数ｄｃｐとを示すＮ個のデータ）をプロットし、Ｎ個のデータによる回帰曲線と最も類似する換算情報の曲線（上記理論値の曲線）に対応するクラスへ変更する。

図６は、図４と同様の２つの理論値の曲線４１、４２とともに、Ｎ個のサンプルデータをプロットした図である。図６の横軸および縦軸は、それぞれ、検出器１ｂで検出した自車両から先行車両までの距離Ｚｒと、カメラ１ａで実際に撮像した先行車両の像のピクセル数（画像幅）ｄｃｐとを示す。
なお、上述した通り距離Ｚｒはカメラ１ａで撮像したカメラ画像上の縦方向（Ｘ方向）の縦距離ｘに対応するので、上式（２）を次式（５）のように縦距離ｘの関数Ｆ(ｘ)として書き直す。
Ｆ(ｘ)＝Ｗｃ×ｆ/（ｘ×λ） ・・・・・（５）
符号Ｗｃは、先行車両の車幅（上記基準車幅）に対応する。符号ｆは、カメラ１ａの光学系の焦点距離を示す。符号ｘは、自車両から先行車両までの縦距離、符号λは、カメラ１ａの画素ピッチを示す。

補正部１４ｂは、Ｎ個のデータによる回帰曲線を次式（６）により算出する。
ｆ(ｘ)＝ａｘ³＋ｂｘ²＋ｃｘ＋ｄ ・・・・・（６）
係数ａ、ｂ、ｃ、ｄは、それぞれ次式（７）の最小二乗法により求める。

補正部１４ｂは、理論値の曲線Ｆ(ｘ)と、回帰曲線ｆ(ｘ)との類似度Ｄを次式（８）により算出し、４つのクラスの曲線Ｆ(ｘ)の中で類似度Ｄが最も小さくなる曲線Ｆ(ｘ)に対応するクラスを真のクラスとし、現時点で選択されているクラスからこのクラスへ変更する。クラスの変更に伴って換算情報としての理論値の曲線が変更されるため、カメラ１ａで実際に撮像された先行車両の像の大きさｄｃに対応する距離情報が、クラス変更前と比べて実質的に補正される。

図７および図８は、それぞれ式（８）の中の符号ｗiおよびＷiを説明する図である。両図は図６の一部を拡大した図であり、いずれも横軸は、自車両から先行車両までの縦距離ｘを示し、いずれも縦軸は、カメラ１ａで実際に撮像した先行車両の像のピクセル数（画像幅）ｄｃｐを示す。図７および図８における等間隔のサンプリング幅ｌは、例えば１ｍである。

演算部１１は、以上説明したように、カメラ１ａに基づいて得た距離情報を補正すると図３のステップＳ５へ進む。

ステップＳ５において、演算部１１（紐付け部１４ｃ）は、検出器１ｂおよびカメラ１ａに基づいて距離情報を検出または推定した車両を同一車両として扱う紐付け処理を行う。
紐付け部１４ｃは、例えば、外部センサ群１を構成する検出器１ｂおよびカメラ１ａで検出または推定された物標の距離情報（例えば自車両から先行車両までの距離を示す）に対応するベクトルと、速度情報（単位時間当たりの上記距離情報）とに対応するベクトルが、マハラノビス距離と呼ばれる経験的に求めた所定の閾値内にある場合に、各センサによりそれぞれ検出された物標を同一物標として扱うように、各センサで検出された物標を紐付ける。物標としての先行車両を紐付けした場合は、異なるセンサの検出データの座標変換やデータの補完、平均化等を行って先行車両の位置データを導出することにより、先行車両の位置情報を精度よく認識することが可能になる。
演算部１１は、このような紐付け処理を行うとステップＳ６へ進む。

ステップＳ６において、演算部１１（決定部１４ｄ）は、自動ブレーキおよびＡＣＣ等の車両制御に用いる情報を決定する。
決定部１４ｄは、ステップＳ３の処理結果に基づいて車両制御に必要な制御用データを決定する。より具体的には、車両制御に用いる情報として、カメラ１ａに基づいて検出した距離情報、または、検出器１ｂに基づいて検出した距離情報を選択する。

決定部１４ｄは、ステップＳ３を肯定判定している場合（換言すると、カメラ１ａに基づいて得た距離情報の信頼度が高い）は、紐付け部１４ｃで紐付けした物標の距離情報のうち、カメラ１ａに基づいて得た距離情報を選択し決定する。また、演算部１１は、ステップＳ３を否定判定している場合（換言すると、カメラ１ａに基づいて得た距離情報の信頼度が低い）は、外界認識部１４で紐付けした物標の距離情報のうち、検出器１ｂに基づいて得た距離情報を選択し決定する。
演算部１１は、このように車両制御に用いる距離情報を決定すると、図３による処理を終了する。

以上説明した実施の形態によれば、以下のような作用効果を奏する。
（１）自車両の周囲の車両を検出する車両用検出装置５０は、自車両の周囲をイメージセンサで撮像して画像情報を取得するカメラ１ａと、カメラ１ａの撮像領域内の先行車両からの反射信号を受信して先行車両までの第１距離情報としての距離Ｚｒを取得する検出器１ｂと、画像情報に含まれる先行車両の像の大きさｄｃに基づいて先行車両までの第２距離情報としての縦距離ｘを推定する距離推定部１４ａと、縦距離ｘを、検出器１ｂで取得された距離Ｚｒに近づけるように補正する補正部１４ｂとを備える。
このように構成したので、異なる種類のセンサであるカメラ１ａおよび検出器１ｂによる検出データに基づいてそれぞれ検出された物標を、補正後の縦距離ｘと距離Ｚｒとに基づいて紐付けし易くすることが可能になる。

（２）上記（１）の車両用検出装置５０において、距離推定部１４ａは、基準車両の像の大きさと基準車両までの距離との関係を示す換算情報に基づいて、画像情報に含まれる先行車両の像の大きさに対応する距離を、縦距離ｘとして推定する。
このように構成したので、カメラ１ａで撮像した先行車両の像の大きさに基づいて、自車両から先行車両までの縦距離ｘを適切に推定することが可能になる。

（３）上記（１）の車両用検出装置５０において、補正部１４ｂは、換算情報に基づいて、検出器１ｂで取得された距離Ｚｒに対応する基準車両の像の大きさｄｒを取得し、当該基準車両の像の大きさｄｒと、カメラ１ａで撮像した画像情報に含まれる先行車両の像の大きさｄｃとの差に基づいて、縦距離ｘを補正する。
このように構成したので、カメラ１ａによる画像情報に基づいて推定した縦距離ｘを、適切に補正することが可能になる。

（４）上記（２）、（３）の車両用検出装置５０において、換算情報は、複数の車種に対応させた複数の基準車両の像の大きさｄｒと、複数の基準車両までの距離Ｚｒとの関係をそれぞれ示す４つの換算情報を含み、距離推定部１４ａは、画像情報に含まれる先行車両の像の形状に基づいて、複数の換算情報の中から縦距離ｘの推定に用いる換算情報を選択する。
このように構成したので、複数の車種に対応する複数の換算情報の中から、先行車両の像の形状に基づいてクラス分けしたクラスに対応する換算情報を、適切に選択することが可能になる。

（５）上記（４）の車両用検出装置５０において、補正部１４ｂは、距離推定部１４ａにより選択されている換算情報を変更することにより、縦距離ｘを補正する。
このように構成したので、例えば、遠方の先行車両の像の大きさが小さいことに起因して、先行車両と異なる車種の換算情報が選択された結果として誤った縦距離ｘが推定されている場合に、正しい車種の換算情報に変更して正しい縦距離ｘに補正することが可能になる。

（６）上記（１）～（５）の車両用検出装置５０において、補正部１４ｂは、縦距離ｘと距離Ｚｒとの差が所定値よりも大きい場合に縦距離ｘを補正する。また、車両用検出装置５０は、補正前または補正後の縦距離ｘと距離Ｚｒとの差が所定値以下の場合に、カメラ１ａで取得された画像情報に含まれる先行車両と、検出器１ｂで距離Ｚｒを取得した先行車両とを関連付ける関連付け部としての紐付け部１４ｃをさらに備える。
このように構成したので、異なる種類のセンサであるカメラ１ａおよび検出器１ｂによる検出データに基づいてそれぞれ検出された物標を、画像情報に基づいて推定した縦距離ｘと、検出器１ｂで取得された距離Ｚｒとに基づいて、適切に紐付けることが可能になる。

上記実施の形態は、種々の形態に変形することができる。以下、変形例について説明する。
（変形例１）
上述した図３のステップＳ４において、理論値の曲線Ｆ(ｘ)と、回帰曲線ｆ(ｘ)との類似度Ｄを算出する際に、次式（９）を用いて算出してもよい。

変形例１において、補正部１４ｂは、理論値の曲線Ｆ(ｘ)と、回帰曲線ｆ(ｘ)との類似度Ｄを上式（９）により算出し、４つのクラスの曲線Ｆ(ｘ)の中で類似度Ｄが最も小さくなる曲線Ｆ(ｘ)に対応するクラスを真のクラスとし、現時点で選択されているクラスからこのクラスへ変更する。クラスの変更に伴って換算情報としての理論値の曲線が変更されるため、カメラ１ａで実際に撮像された先行車両の像の大きさｄｃに対応する距離情報（縦距離ｘ）が、クラス変更前と比べると実質的に補正されたことになる。

（変形例２）
図６～図８において例示したサンプルデータ（検出器１ｂで検出した自車両から先行車両までの距離Ｚｒと、カメラ１ａで実際に撮像した先行車両の像のピクセル数ｄｃｐとを示すデータ）の数Ｎは、図中に例示した５点に限らず、適宜変更して構わない。

以上の説明はあくまで一例であり、本発明の特徴を損なわない限り、上述した実施の形態および変形例により本発明が限定されるものではない。上記実施の形態と変形例の１つまたは複数を任意に組み合わせることも可能であり、変形例同士を組み合わせることも可能である。

１ａ カメラ、１ｂ 検出器、１０ コントローラ、１２ 記憶部、１４ 外界認識部、１４ａ 距離推定部、１４ｂ 補正部、１４ｃ 紐付け部、１４ｄ 決定部、１６ 走行制御部、１７ センサ群管理部、５０ 車両用検出装置、ＡＣ アクチュエータ

Claims (6)

1. 自車両の周囲の車両を検出する車両用検出装置であって、
   前記自車両の周囲をイメージセンサで撮像して画像情報を取得するカメラと、
   前記カメラの撮像領域内の車両からの反射信号を受信して前記車両までの第１距離情報を取得する検出器と、
   前記画像情報に含まれる前記車両の像の大きさに基づいて前記車両までの第２距離情報を推定する距離推定部と、
   前記第２距離情報を、前記検出器で取得された前記第１距離情報に近づけるように補正する補正部と、
   を備えることを特徴とする車両用検出装置。
2. 請求項１に記載の車両用検出装置において、
   前記距離推定部は、基準車両の像の大きさと前記基準車両までの距離との関係を示す換算情報に基づいて、前記画像情報に含まれる前記車両の像の大きさに対応する距離を、前記第２距離情報として推定することを特徴とする車両用検出装置。
3. 請求項２に記載の車両用検出装置において、
   前記補正部は、前記換算情報に基づいて、前記検出器で取得された前記第１距離情報に対応する前記基準車両の像の大きさを取得し、当該基準車両の像の大きさと前記画像情報に含まれる前記車両の像の大きさとの差に基づいて前記第２距離情報を補正することを特徴とする車両用検出装置。
4. 請求項２または３に記載の車両用検出装置において、
   前記換算情報は、複数の車種に対応させた複数の基準車両の像の大きさと、前記複数の基準車両までの距離との関係をそれぞれ示す複数の換算情報を含み、
   前記距離推定部は、前記画像情報に含まれる前記車両の像の形状に基づいて、前記複数の換算情報の中から前記第２距離情報の推定に用いる換算情報を選択することを特徴とする車両用検出装置。
5. 請求項４に記載の車両用検出装置において、
   前記補正部は、前記距離推定部により選択されている前記換算情報を変更することにより、前記第２距離情報を補正することを特徴とする車両用検出装置。
6. 請求項１に記載の車両用検出装置において、
   前記補正部は、前記第２距離情報と前記第１距離情報との差が所定値よりも大きい場合に前記第２距離情報を補正し、
   前記補正前または前記補正後の第２距離情報と、前記第１距離情報との差が所定値以下の場合に、前記カメラで取得された前記画像情報に含まれる車両と、前記検出器で前記第１距離情報を取得した車両とを関連付ける関連付け部をさらに備えることを特徴とする車両用検出装置。

Images