JP4289210B2 - 車両用物体検出装置 - Google Patents

Description

本発明は、車両の周囲の障害物等の物体を検出することができる車両用物体検出装置に関する。

従来より、例えば車両の前方の障害物を検出する車両用物体検出装置として、例えば電波を用いて障害物との距離等を検出する車載用レーダ装置（測距センサ：レーダ）が知られている。また、この種の装置の検知精度を高めるために、様々な方法が提案されている。

特に、前記レーダに、カメラを用いた画像処理装置（画像センサ：カメラ）を組み合わせることで、レーダ単独では検出できない物体（物標）の種類や正確な中心位置及び幅を算出し、より検出精度を高める方法が提案されている。

このカメラで行う画像処理は処理負荷が高く、物標の検出の全てを画像処理で行うことはコストの点で現実的でないため、レーダの検出した物標の位置を利用して、処理する画像の処理範囲を限定する方法も提案されている（特許文献１参照）
特許３１２３３０３号公報 （第７頁、図１３）

しかしながら、レーダ及びカメラなどの物体を検出する装置は、一般的に、その検出性能を維持するために、ある瞬間だけの検出結果に頼って物標を検出するのではなく、数制御周期分にわたり時間的に確からしい動きをしているかどうかを判断して、物標を検出する処理が必要である。従って、この物標の検出処理にはある程度の時間が必要である。

例えば、図１６（ａ）に示す様に、レーダが検出した結果をカメラでさらに処理して、物標の属性、位置、幅等を検出する場合には、レーダ及びカメラの各処理にそれぞれ時間が必要になる。即ち、物標を正確に検出（確定）するためには、多くの時間を要するという問題がある。

また、検出時間を短くするために、図１６（ｂ）に示す様に、レーダが物標を検出したら、カメラでの検出が完了するしないにかかわらず、物標検出結果を仮出力することも考えられる。

しかし、この場合には、実際には物標が存在しないにもかかわらず、物標が存在すると誤検出する可能性がある。
尚、図１６（ｃ）は、図１６（ａ）、（ｂ）の記号を説明する説明図である。

本発明は上記問題点を解決するものであり、その目的は、短時間で精度の高い判定を行って物体を確実に検出できる車両用物体検出装置を提供することである。

（１）請求項１の発明は、周囲に検出波を照射しその反射波によって物体を検出するレーダ装置からの情報と、カメラによって撮像した画像によって前記物体を検出するカメラ装置からの情報と、に基づいて、前記物体を確定する車両用物体検出装置において、前記レーダ装置では、当該前記レーダ装置によって得られた物体に関する所定回の未確定の情報に基づいて、前記物体を確定（レーダ装置における確定）する構成を備えるとともに、前記レーダ装置によって得られた前記物体の未確定の情報を、前記カメラ装置に送信することを特徴とする車両用物体検出装置を要旨とする。

本発明では、従来の様に、レーダ装置にて物体であると確定された情報をカメラ装置に送信するのではなく、未確定の情報をカメラ装置に送信するので、カメラ装置では、その未確定の情報に基づいて、例えば未確定の物体に対応する画像領域を優先的にチェックすることにより、未確定の物体がノイズ等でなく物体であるかどうかを速やかに判定できる。

従って、カメラ装置における物体の確定、レーダ装置における物体の確定、更には、両確定結果による最終的な物体の確定を速やかに行うことができる。
（２）請求項２の発明は、前記レーダ装置によって得られた前記物体の未確定の情報を、当該物体の未確定の情報が得られる毎に、逐次前記カメラ装置に送信することを特徴とする前記請求項１に記載の車両用物体検出装置を要旨とする。

本発明では、レーダ装置によって得られた物体の未確定の情報を、逐次カメラ装置に送信するので、カメラ装置では速やかに必要な処理を実施することができる。
（３）請求項３の発明は、前記カメラ装置では、前記レーダ装置から送信された物体の未確定の情報に基づいて、前記カメラにより撮像された画像から、前記未確定の物体が実際に物体であるか否かを判断することを特徴とする前記請求項１又は２に記載の車両用物体検出装置を要旨とする。

本発明は、カメラ装置側の処理を例示したものである。ここでは、レーダ装置から送信された物体の未確定の情報に基づき、その未確定の物体に対応する画像（例えば物体の位置に対応する所定領域の画像）から、未確定の物体が実際に物体であるかどうかを、効率良く判断することができる。

（４）請求項４の発明は、前記カメラ装置における判断結果を、前記レーダ装置に送信することを特徴とする前記請求項３に記載の車両用物体検出装置を要旨とする。
本発明では、未確定の物体が実際に物体であるかどうかの判断結果を、レーダ装置に送信するので、レーダ装置では、その判断結果を利用して、未確定の物体の情報の精度のチェックを行うことができる。また、レーダ装置における物体の確定を速やかに行うこともできる。

（５）請求項５の発明は、前記レーダ装置では、前記カメラ装置から送信された判断結果に基づいて、未確定の物体を確定させるための条件を変更することを特徴とする前記請求項４に記載の車両用物体検出装置を要旨とする。

本発明では、カメラ装置から送信された判断結果に基づいて、未確定の物体を確定させるための条件を変更するので、実際の物体の検出状況に応じて最適な確定判定を行うことができる。

例えば判断結果が「物体である」とされた場合には、実際に物体である可能性が高いので、レーダ装置における物体の確定のための判定回数を低減することができる。これにより、物体の確定の精度を低減することなく、物体の確定するための時間を短縮することができる。

また、例えば判断結果が「物体ではない」とされた場合には、レーダ装置における物体の確定のための判定回数を増加させたり又は初期設定値を変更しない様にすることにより、物体の確定の際の精度を保持することができる。

（６）請求項６の発明は、前記未確定の物体を確定させるための条件を変更する場合に、各未確定の物体の検出毎に増加するカウンタを用いるときには、前記物体を確定させる際の判定の基準となる閾値を変更する手段、又はカウンタ値を変更する手段を用いることを特徴とする前記請求項５に記載の車両用物体検出装置を要旨とする。

例えば物体の確定のための閾値を５に設定するとともに、未確定の物体を検出する毎にカウンタ値を１アップする構成の場合に、カメラ装置で物体であると判断されたときには、閾値を１低減して４に設定する。これにより、カウンタは早めに閾値に達するので、早めに物体の確定を行うことができる。或いは、閾値を変更せずに、増加するカウンタ値を変更しても同様な効果が得られる。

（７）請求項７の発明は、前記レーダ装置によって得られた前記物体の情報を未確定の情報として扱うとともに、前記未確定の情報に基づく前記カメラ装置による判断により、物体であると判断された場合に、前記レーダ装置における物体の情報を確定するための閾値を小さくすることを特徴とする前記請求項１に記載の車両用物体検出装置を要旨とする。
これによって、レーダ装置における数サイクル分の物体の確定のための回数（サイクル数）を少なくすることができるので、物体の確定の精度を落とすことなく、物体の確定のための時間を短縮することができる。
（８）請求項８の発明は、前記レーダ装置にて物体であると確定された場合でも、前記カメラ装置にて物体であると判断されなかったときには、前記レーダ装置における物体の確定の判定をキャンセルすることを特徴とする前記請求項４〜７のいずれかに記載の車両用物体検出装置を要旨とする。

一般に、レーダ装置の物体の認識の精度はカメラ装置より低いと考えられるので、本発明では、レーダ装置にて物体であると確定された場合でも、カメラ装置にて物体であると判断されなかったときには、レーダ装置における物体の確定の判定をキャンセルする。これにより、ノイズ等を物体と誤検出する可能性が低減するので、より精度の高い物体の確定を行うことができる。

（９）請求項９の発明は、前記レーダ装置にて、過去に検出されたが今回検出されなかった物体に関して今回検出されたと仮定する外挿処理を行う場合には、前記カメラ装置における物体の判断結果に基づいて、前記レーダ装置にて外挿された未確定の物体の確認を行うことを特徴とする前記請求項４〜８のいずれかに記載の車両用物体検出装置を要旨とする。

いわゆる外挿処理を行った未確定の物体の情報は、仮想の情報であるので、実際にその物体が存在するかどうかをカメラ装置にて確認する。これにより、物体の確定の精度を高めることができる。

例えば外挿処理の回数を（例えば外挿カウンタで）カウントする場合には、カメラ装置にてそのデータが物体であると判断されると、外挿カウンタをリセットすることで、レーダ装置が外挿回数の制限によって物体を見失うことを防止できる。

（１０）請求項１０の発明は、前記カメラ装置による判断結果に基づいて前記外挿された未確定の物体が確認された場合には、該外挿された未確定の物体の情報を、外挿処理された情報ではなく前記レーダ装置によって得られた未確定の物体の情報とすることを特徴とする前記請求項９に記載の車両用物体検出装置を要旨とする。

外挿処理が何度も行われるとその情報の信頼性が低減するが、一旦カメラ装置にてその情報が物体であると判断されると信頼性が高まる。従って、この場合には、その確認された情報は外挿処理された情報ではなく、実際にレーダ装置により検出された情報（未確定の物体の情報）として扱うのである。

（１１）請求項１１の発明は、前記レーダ装置にて物体であると確定された情報と、前記カメラ装置にて物体であると確定された情報とに基づいて、総合的に物体と確定することを特徴とする前記請求項１〜１０のいずれかに記載の車両用物体検出装置を要旨とする。

本発明では、レーダ装置における確定情報とカメラ装置における確定情報とに基づいて、総合的に物体と確定（フュージョンによる確定）するので、物体を確定する精度が高いという効果がある。

次に、本発明の最良の形態の例（実施例）について説明する。

ａ）まず、本実施例の車両用物体検出装置を搭載した車両のシステム構成を、図１に基づいて説明する。
図１に示す様に、車両（自動車）には、ＦＭＣＷレーダにより車両前方の障害物等の物体（物標）を検出するＦＭＣＷレーダ装置１と、カメラにより撮像した画像により物標を検出するカメラ装置３とを備えた車両用物体検出装置５が搭載されている。

前記レーダ装置１は、周知の様に、周波数変調した連続波であるレーダ波（ミリ波）を送信する送信アンテナ７と、送信されたレーダ波が物体に当たって反射した反射波を受信する受信アンテナ９と、ミキサ１１と、フィルタ１３と、Ａ／Ｄコンバータ１５と、マイクロコンピュータを主要部とするレーダ信号処理部１７とを備えている。

また、前記カメラ装置３は、周知の様に、ＣＣＤカメラ１９と、Ａ／Ｄコンバータ２１と、マイクロコンピュータを主要部とする画像処理部２３とを備えている。
そして、後に詳述する様に、レーダ信号処理部１７から画像処理部２３へは、レーダ装置１にて未確定の物標が検出される毎にその未確定の物標のデータを逐次送信し、画像処理部２３からレーダ信号処理部１７へは、カメラ装置３にて（前記未確定の物標のデータに基づいて）物標の有無がチェックされた結果のデータを送信する。そして、レーダ信号処理部１７では、カメラ装置３から送信されたデータに基づいて、物標の確定を行う。

また、レーダ信号処理部１７と画像処理部２３とは、ＬＡＮ等を介して互いに通信可能となっており、レーダ信号処理部１７にて確定した物標のデータと画像処理部２３にて確定した物標のデータとに基づいて、最終的に確定した物標の情報が、レーダ信号処理部１７から外部（例えば車両制御装置等）に出力されるようになっている。

尚、レーダ信号処理部１７及び画像処理部２３では、それぞれ複数回物標が検出された場合に、それぞれ物標であると判断（確定）している。
ｂ）次に、レーダ装置１及びカメラ装置３にて処理されるデータについて説明する。

図２に示す様に、レーダ装置１では、各レーダ物標候補を区別する物標ＩＤ、物標候補の前方距離を示す縦位置（図３参照）、物標候補の横方向の距離を示す横位置（図３参照）、物標候補の速度を示す速度、物標候補の幅を示す幅値、新規検出のための点数を示す検出値、物標候補の確定の有無を示す認識フラグ、外挿された物標候補であるかどうかを示す外挿フラグ、外挿の回数を示す外挿カウンタ、１サイクル前の物標候補との同一性を示す履歴接続フラグ、外部に出力するかどうかを示す外部出力フラグの処理（設定や記憶等の処理）を行う。

尚、前記外挿とは、１サイクル前に検出された物標候補がその後のサイクルで検出されなかった場合に、外挿して物標候補が検出されたと見なす処理のことである。
また、図４に示す様に、カメラ装置３では、各カメラ物標候補を区別する物標ＩＤ、物体と思われる領域の画像上の範囲を示す画像範囲、物標候補の（自車からの）横方向の距離を示す横位置、物標候補の幅を示す幅値、立体か非立体かを示す属性値、新規検出のための点数を示す検出値、カメラ内で検出が確定したかどうかを示す確定フラグの処理（設定や記憶等の処理）を行う。

尚、前記物標候補とは、レーダ装置１やカメラ装置３で一応検出された物標、即ち、物標と確定される可能性のある物標データ（従って、未確定の物標のデータ）のことである。

そして、図５（ａ）に示す様に、レーダ装置１からカメラ装置３へは、所定の通信データフォーマットＡにて通信を行う。つまり、レーダ装置１からカメラ装置３へは、物標ＩＤ、縦位置、横位置、速度を送信する。

また、図５（ｂ）に示す様に、カメラ装置３からレーダ装置１へは、所定の通信データフォーマットＢにて通信を行う。つまり、カメラ装置３からレーダ装置１へは、物標ＩＤ、属性値、確定フラグ、横位置、幅値を送信する。

ｃ）次に、レーダ装置１にて行われる処理等を説明する。
(1)まず、主な動作の手順を示すメインルーチンについて説明する。
図６のフローチャートに示す様に、ステップ１００では、周波数変調しながら送信アンテナ７から送信波を出力する。

ステップ１１０では、受信アンテナ９にて受信したビート信号をＡＤ変換しながらメモリ（図示せず）に取り込む。
ステップ１２０では、所定の時間になると変調波の出力を停止し、メモリに取り込んだデータから処理を開始する。

ステップ１３０では、メモリに取り込んだ値を使って周波数解析を実施する。実際にはＦＦＴを用いて周波数解析を行い、その周波数スペクトルを作成する。
ステップ１４０では、周波数スペクトルから物標の反射と思われる周波数を抽出する。この場合は、ある値以上の周波数スペクトルの極大点（ピーク）を、物標からの反射と特定し、このピークを抽出する。

ステップ１５０では、抽出したピーク情報から物標と思われるものの距離や方位を演算し、物標候補を作成する。ここでは、ＦＭＣＷ方式であるので、周波数上昇区間と下降区間とのピーク同士を組み合わせることで、距離と相対速度とを算出する。また、物標の方位も同時に算出する。この方位の算出方法は何でも良いが、実際には、アレイアンテナを用いたビーム形成処理という手法で行う。そして、距離と方位が揃えば、物標候補の縦位置、横位置が決まり、相対速度によって速度が決まる。

ステップ１６０では、１制御周期（１サイクル）前に送信した物標候補データに関する（後述する）カメラ装置３による計算結果を受信する。
ステップ１７０では、後述する出力物標データ作成処理を行う（図７参照）。この処理は、カメラ装置３からの受信結果と、１サイクル前の物標外挿処理（ステップ２５０）までに算出されたレーダ装置１が検出している物標のデータとを合わせて、最終出力物標データを作成する処理である。

ステップ１８０では、最終出力物標データを外部に送信する。即ち最終的に物標と確定されたデータの出力を行う。
ステップ１９０では、後述する物標検出値調整処理を行う（図８参照）。この処理は、カメラ装置３から得られた物標候補の算出結果をもとに、時間的な確からしさを見て、物標を検出する物標検出の閾値を上下させる処理である。つまり、物標が時間的に確からしいかどうかの値（検出値）が、その閾値に達すると、物標候補から物標として確定するようになっているので、これによって、カメラ装置３の検出結果に基づいて、物標の検出性能を変えることが可能になる。

ステップ２００では、後述する１サイクル前外挿データ更新処理を行う（図９参照）。この処理は、既に検出まで達している物標でかつ１サイクル前にレーダ装置１が検出できなくて予測値を外挿している物標に対して、カメラ装置３から得られた物標候補の算出結果を適用して、予測で外挿した位置を書き換えるとともに、外挿の回数制限カウンタ（外挿カウンタ）をクリアして、あたかも検出できたことに変更する処理である。

これは、レーダ装置１が検出できなくても、カメラ装置３によって確からしい場所に物標が検出されている場合には、レーダ装置１としても検出したというように、カメラ装置３を使って補完するものである。これによって、１サイクル前のレーダ検出結果が正確になり、次の履歴接続処理における精度が増す働きがある。

ステップ２１０では、後述する履歴接続処理を行う（図１０参照）。この処理は、１サイクル前の物標候補または検出している物標と、今回のサイクルの物標候補とを比べて、時間的に確からしい働きをしているもの同士を結びつける処理である。ここで結びつけられたものには、本処理内にて物標ＩＤが割り当てられる。

ステップ２２０では、履歴ＩＤ割り当て処理を行う。この処理は、先の履歴接続処理にて物標ＩＤが割り当てられなかった物標候補に対して、物標ＩＤを割り当てる処理である。ここでは、割り当てられる物標ＩＤは、今サイクル、１サイクル前の物標候補に割り当てられた番号以外のものを割り振る。これによって、カメラ装置３側では、受け取った物標ＩＤ値によって時間的連続性があるのか無いのかが確認できる。

ステップ２３０では、カメラ装置３に物標候補を送信する処理を行う。つまり、今サイクルで得られた物標候補データのすべてから、図５（ａ）で表される「（レーダ→カメラ）送信データフォーマットＡ」を作成し、データをレーダ装置１からカメラ装置３側に送信する。

ステップ２４０では、後述する物標認識処理を行う（図１１参照）。この処理は、先の履歴接続処理において算出された検出値が、ある閾値以上となった場合には、物標として確からしい動きをしているとして、物標候補を物標として登録する処理である。これによって、物標が確定される。

ステップ２５０では、後述する物標外挿処理を行い（図１２参照）、一旦本処理を終了する。この処理は、既に検出されている物標について、今サイクルの履歴接続処理において何も新しい物標候補が履歴接続されなかった場合には、今までの位置と速度とから予測値を算出して物標を外挿する処理である。この処理をするのは、ノイズなどの影響で、レーダ装置１がたまたま一瞬物標を見失ったものと考えられるからである。

(2)次に、前記ステップ１７０の出力物標データ作成処理について説明する。
この処理は、レーダ装置１が検出まで到達した物標と、カメラ装置３から受信した受信結果とを組み合わせて、最終出力を作成する処理である。

ここでは、レーダ装置１が検出した物標を、認識フラグという変数で表現していることと、カメラ装置３からの出力結果とレーダ装置１で検出した物標との間の調停をＩＤという番号を使って処理していることがポイントである。以下、具体的に説明する。

図７のフローチャートに示す様に、ステップ３００では、１サイクル前のレーダ装置１による物標候補の個数が０か否かを判定する。ここで肯定判断されると一旦本処理を終了し、一方否定判断されるとステップ３１０に進む。

ステップ３１０では、１サイクル前のレーダ装置１による物標候補Ａｉを取り出す。
続くステップ３２０では、Ａｉの認識フラグが１か否か（即ちその物標が確定しているか否か）を判定する。ここで肯定判断されるとステップ３３０に進み、一方否定判断されると前記ステップ３１０に戻る。

ステップ３３０では、Ａｉの物標ＩＤridが対応するカメラ装置３にて得られた検出結果Ｂｊを取り出す。
続くステップ３４０では、Ｂｊの物標識別結果（属性値）crが立体（＝１）で、かつ、確定フラグcdが１であるか否かを判定する。ここで肯定判断されるとステップ３５０に進み、一方否定判断されるとステップ３７０に進む。

ステップ３５０では、Ａｉの中心値、幅値の書き換えを行う。つまり、Ａｉの横位置rrxにＢｊの横位置crxを代入し、Ａｉの幅値rwにＢｊの幅値を代入する。
続くステップ３６０では、Ａｉの外部出力フラグroutを１に設定する。

続くステップ３７０では、１サイクル前のレーダ装置１による物標候補を全て検索したか否かを判定する。ここで肯定判断されると一旦本処理を終了し、一方否定判断されると前記ステップ３１０に戻って、全ての物標候補の検索が終了するまで同様な処理を繰り返す。

(3)次に、前記ステップ１９０の物標検出値調整処理について説明する。
この処理は、カメラ装置３から得られた物標候補の算出結果をもとに、物標検出値を上下させる処理である。

ここでは、１サイクル前の物標候補の結果が帰ってきているので、その結果に対応する物標ＩＤの検出値を上下させる。また、既に検出されている物標の場合は、閾値の上下は行わない。以下、具体的に説明する。

図８のフローチャートに示す様に、ステップ４００では、カメラ装置３の演算結果によって得られた物標候補の個数が０か否かを判定する。ここで肯定判断されると一旦本処理を終了し、一方否定判断されるとステップ４１０に進む。

ステップ４１０では、カメラ装置３での演算結果である物標候補Ｂｊを取り出す。
続くステップ４２０では、Ｂｊの物標ＩＤcidが対応する１サイクル前のレーダ装置１による物標候補Ａｉを取り出す。

続くステップ４３０では、Ａｉにおける認識フラグrdが０か否かを判定する。ここで肯定判断されるとステップ４４０に進み、一方否定判断されると一旦本処理を終了する。
ステップ４４０では、Ｂｊの物体識別結果（属性値）crが立体であるか否かを判定する。ここで肯定判断されるとステップ４６０に進み、一方否定判断されるとステップ４５０に進む。

ステップ４５０では、Ｂｊの確定フラグcfが１か否かを判定する。ここで肯定判断されるとステップ４７０に進み、一方否定判断されるとステップ４８０に進む。
ステップ４７０では、Ａｉの検出値rsを「rs＋ＳＰ１」に設定し、ステップ５１０に進む。

一方、ステップ４７０では、Ａｉの検出値rsを「rs＋ＳＰ２」に設定し、ステップ５１０に進む。
また、前記ステップ４４０で肯定判断されて進むステップ４６０では、Ｂｊの確定フラグcfが１か否かを判定する。ここで肯定判断されるとステップ５００に進み、一方否定判断されるとステップ４９０に進む。

ステップ４９０では、Ａｉの検出値rsを「rs＋ＳＰ３」に設定し、ステップ５１０に進む。
一方、ステップ５００では、Ａｉの検出値rsを「rs＋ＳＰ４」に設定し、ステップ５１０に進む。

尚、ＳＰ１は検出値を大きく下げる値であり、ＳＰ２は検出値を下げる値であり、ＳＰ３は検出値を上げる値であり、ＳＰ４は検出値を大きく上げる値である。
ステップ５１０では、カメラ装置３での演算結果を全て使用した否かを判定する。ここで肯定判断されると一旦本処理を終了し、一方否定判断されると前記ステップ４１０に戻って同様な処理を繰り返す。

(4)次に、前記ステップ２００の１サイクル前外挿データ更新処理について説明する。
この処理は、既に検出まで達している物標でかつ１サイクル前にレーダ装置１が検出できなくて予測値を外挿している物標に対して、カメラ装置３から得られた物標候補の算出結果を適用し、予測で外挿した位置を書き換える処理である。

この処理を行う理由は、レーダ装置１が外挿した値というのは、レーダ装置１が推定した値であり、実際の値ではないからである。つまり、実際の値をカメラ装置３が算出できているのならば、その値を使用することによって、より正確な位置の検出が可能となるからである。

この例では、カメラ装置３の出力は、次のサイクルに受信されるので、１サイクル前のレーダ検出外挿結果を書き換えることで、次の処理となる履歴接続処理における履歴接続正確に行うことができる。

処理内のポイントは、うまく書き換えることができた場合には、外挿の回数を制限する外挿カウンタをリセットする部分である。これによって、レーダ装置１の苦手な状況が長く続いた場合でも、カメラ装置３が検出できていれば、全体としては物標の検出がとぎれることは無く、また、本当に物標が検出範囲に無くなった場合には、直ぐに外挿を停止することができる。即ち、連続的な物標の検出と適切な外挿の停止とを両立できる。以下、具体的に説明する。

図９のフローチャートに示す様に、ステップ６００では、カメラ装置３の演算結果によって得られた物標候補の個数が０か否かを判定する。ここで肯定判断されると一旦本処理を終了し、一方否定判断されるとステップ６１０に進む。

ステップ６１０では、カメラ装置３での演算結果である物標候補Ｂｊを取り出す。
続くステップ６２０では、Ｂｊの物標ＩＤcidが対応する１サイクル前のレーダ装置１による物標候補Ａｉを取り出す。

続くステップ６３０では、Ａｉにおける認識フラグrdが１で、かつ、外挿フラグrxが１か否かを判定する。ここで肯定判断されるとステップ６４０に進み、一方否定判断されるとステップ６８０に進む。

ステップ６４０では、Ｂｊの物体識別結果（属性値）crが立体であるか否かを判定する。ここで肯定判断されるとステップ６５０に進み、一方否定判断されるとステップ６８０に進む。

ステップ６５０では、Ａｉの中心位置rrxにＢｊの中心位置crxを代入する。
続くステップ６６０では、Ｂｊの確定フラグcfが１か否かを判定する。ここで肯定判断されるとステップ６７０に進み、一方否定判断されるとステップ６８０に進む。

ステップ６７０では、Ａｉの外挿カウンタrxcを０に設定し、Ａｉの幅値rwをＢｊの幅値cwに設定し、ステップ６８０に進む。
ステップ６８０では、カメラ装置３での演算結果を全て使用した否かを判定する。ここで肯定判断されると一旦本処理を終了し、一方否定判断されると前記ステップ６１０に戻って同様な処理を繰り返す。

(5)次に、前記ステップ２１０の履歴接続処理について説明する。
この処理は、１サイクル前の物標候補と今サイクルの物標候補とを比べて、時間的に確からしい動きをしているもの同士を結びつける処理である。

つまり、１サイクル前と今サイクルの物標同士を組み合わせ、今サイクルに予測される位置と今サイクルの物標候補の位置差及び相対速度差が、ある範囲内に入っているかどうかで判断する。この範囲に入るものが複数ある場合には、最も評価値の良いもの１つだけを選ぶようになっている。

この様な物標の結びつきがあった場合には、履歴接続されたと呼び、その場合には、１サイクル前の物標データをコピーして値を引き継いでゆく。特に、検出値は値を引き継ぎ更に加算してゆく。そして、この検出値がある閾値を超えると、物標として検出される仕組みである。

また、履歴接続された１サイクル前の物標候補は、接続があったことを記憶させるために、履歴接続フラグに１を立てる。尚、この値は物標の外挿の際に使用する。以下、具体的に説明する。

図１０のフローチャートに示す様に、ステップ７００では、今サイクルのレーダ装置１による物標候補の個数が０か否かを判定する。ここで肯定判断されると一旦本処理を終了し、一方否定判断されるとステップ７１０に進む。

ステップ７１０では、今サイクルのレーダ装置１による物標候補Ａｉを取り出す。そして、drminにＤＲＴＳＤ（距離における履歴接続閾値）を設定し、dvminにＤＶＴＳＤ（速度における履歴接続閾値）を設定する。

続くステップ７２０では、１サイクル前のレーダ装置１による物標候補の個数が０か否かを判定する。ここで肯定判断されると一旦本処理を終了し、一方否定判断されるとステップ７３０に進む。

ステップ７３０では、１サイクル前のレーダ装置１による物標候補Ｃｋを取り出す。
続くステップ７４０では、Ｃｋの今サイクルの予測位置、予測速度を演算する。
続くステップ７５０では、Ｃｋの今サイクルの予測位置、予測速度と、Ａｉの位置、速度とのそれぞれの差分（位置差分dr、速度差分dv）を演算する。

続くステップ７６０では、位置差分dr＜ＤＲＴＳＤ かつ、速度差分dv＜ＤＶＴＳＤか否かを判定する。ここで肯定判断されるとステップ７７０に進み、一方否定判断されるとステップ７９０に進む。

ステップ７７０では、位置差分dr×速度差分dv＜drmin×dvminであるか否かを判定する。ここで肯定判断されるとステップ７８０に進み、一方否定判断されるとステップ７９０に進む。

ステップ７８０では、接続物標候補番号minをｋに設定し、drminをdrに設定し、dvminをdvに設定し、ステップ７９０に進む。
ステップ７９０では、１サイクル前のレーダ装置１による物標候補を全て検索したか否かを判定する。ここで肯定判断されるとステップ８００に進み、一方否定判断されると前記ステップ７３０に戻る。

ステップ８００では、drminがＤＲＴＳＤか否かを判定する。ここで肯定判断されるとステップ８１０に進み、一方否定判断されると８３０に進む。
ステップ８１０では、レーダ装置１による物標候補Ｓｉの検出値rsに「Ｃminの検出値rs＋６ＰＳ」を設定する。

尚、ＰＳは履歴接続による検出値加算ポイントであり、Ｃminとは、今サイクルで検出している物標候補Ａｉに対して、１サイクル前のレーダ装置１による物標候補のなかで最も時間的結びつきの強いと思われる（評価値のよい）ものである。

また、幅値rwにＣminの幅値rwを設定し、物標ＩＤridにＣminの物標ＩＤridを設定し、認識フラグrdにＣminの認識フラグrdを設定する。
続くステップ８２０では、１サイクル前のレーダ装置１による物標候補Ｃminの履歴接続フラグrcを１に設定する。

続くステップ８３０では、１サイクル前のレーダ装置１による物標候補全て検索したか否かを判定する。ここで肯定判断されると一旦本処理を終了し、一方否定判断されると前記ステップ７１０に戻って、同様な処理を繰り返す。

(6)次に、前記ステップ２４０の物標認識処理について説明する。
この処理は、今サイクルにて得られた物標候補のうちで、既に検出されている物標と履歴接続されたものや、検出値が新たに閾値を超えた物標候補を物標として登録する処理である。尚、物標かどうかの判断は、認識フラグに１を代入することで行う。以下、具体的に説明する。

図１１のフローチャートに示す様に、ステップ９００では、今サイクルのレーダ装置１による物標候補の個数が０か否かを判定する。ここで肯定判断されると一旦本処理を終了し、一方否定判断されるとステップ９１０に進む。

ステップ９１０では、今サイクルのレーダ装置１による物標候補Ａｉを取り出す。
続くステップ９２０では、Ａｉの認識フラグrdが１か否かを判定する。ここで肯定判断されるとステップ９４０に進み、一方否定判断されるとステップ９３０に進む。

ステップ９３０では、Ａｉの検出値rsがＤＥＴＴＳＤ（検出値がこの値を超えたら検出状態にする閾値）を上回るか否かを判定する。ここで肯定判断されるとステップ９４０に進み、一方否定判断されるとステップ９５０に進む。

続くステップ９５０では、物標候補全て検索したか否かを判定する。ここで肯定判断されると一旦本処理を終了し、一方否定判断されると前記ステップ９１０に戻って、同様な処理を繰り返す。

(7)次に、前記ステップ２５０の物標外挿処理について説明する。
この処理は、既に検出されている物標が、今サイクルの履歴接続処理において、何も新しい物標候補が接続されなかった場合、今までの位置と速度から予測値を算出して物標候補を新たに作成し、外挿する処理である。

ここでは、外挿カウンタを使用して、外挿できる回数に制限を設けており、ある回数以上連続で外挿を行うことができないようになっている。この外挿カウンタは、外挿があると値を１ずつ減算し、０になると次の外挿はできなくなるものである。以下、具体的に説明する。

図１２のフローチャートに示す様に、ステップ１０００では、１サイクル前のレーダ装置１による物標候補の個数が０か否かを判定する。ここで肯定判断されると一旦本処理を終了し、一方否定判断されるとステップ１０１０に進む。

ステップ１０１０では、１サイクル前のレーダ装置１による物標候補Ｃｋを取り出す。
続くステップ１０２０では、Ｃｋの認識フラグrdが１か否かを判定する。ここで肯定判断されるとステップ１０３０に進み、一方否定判断されるとステップ１０９０に進む。

ステップ１０３０では、Ｃｋの履歴接続フラグrxcが１か否かを判定する。ここで肯定判断されるとステップ１０７０に進み、一方否定判断されるとステップ１０４０に進む。
ステップ１０７０では、Ｃｋの物標ＩＤに対する今サイクルの物標候補Ａｉの検索を行う。

続くステップ１０８０では、Ａｉの外挿カウンタrxcにＥＸＭＡＸ（このＥＸＭＡＸとは、外挿可能な残り回数の最大値であり、外挿回数をリセットするという意味である）を設定し、また、Ａｉの外挿フラグrxに０を設定し、ステップ１０９０に進む。

一方、前記ステップ１０３０にて否定判断されて進むステップ１０４０では、Ｃｋの外挿カウンタrxcが０を下回るか否かを判定する。ここで肯定判断されるとステップ１０５０に進み、一方否定判断されるとステップ１０９０に進む。

ステップ１０５０では、Ｃｋの位置や速度を推定し、今サイクルの物標候補Ａｉを作成する。
続くステップ１０６０では、物標候補Ａｉの外挿カウンタrxcに「Ｃｋの外挿カウンタrxc−１」を設定する。また、Ａｉの認識フラグrdに１を設定し、Ａｉの外挿フラグrxに１を設定し、Ａｉの幅値rwに（カメラ装置３による）幅値cwを設定し、ステップ１０９０に進む。

ステップ１０９０では、１サイクル前のレーダ装置１による物標候補全て検索したか否かを判定する。ここで肯定判断されると一旦本処理を終了し、一方否定判断されると前記ステップ１０１０に戻って、同様な処理を繰り返す。

ｄ）次に、カメラ装置３にて行われる処理等を説明する。
(1)まず、メインルーチンについて説明する。
図１３のフローチャートに示す様に、ステップ１１００では、カメラ１９により撮像された画像データをメモリに取り込む。

続くステップ１１１０では、レーダ装置１のレーダ信号処理部１７から送信される物標候補のデータを受け取り、画像処理部２３のメモリ（図示せず）に取り込む。
続くステップ１１２０では、後述する物標判定処理を行う（図１４参照）。この処理は、画像と物標候補それぞれに対して画像処理を実施し、物標の位置と幅を算出するとともに、属性決定（立体か非立体かの区別）を行う処理である。

続くステップ１１３０では、物標判定した結果を、前記図５（ｂ）に示す（カメラ→レーダ）通信データフォーマットＢにて、通信データとして作成し、レーダ装置１のレーダ信号処理部１７に送信し、一旦本処理を終了する。これより、１サイクルの処理が終了する。

(2)次に、前記ステップ１１２０の物標判定処理について説明する。
この処理は、画像と物標候補それぞれに対して画像処理を実施し、物標の位置と幅を算出するとともに、属性決定（立体か非立体かの区別）を行う処理である。以下、具体的に説明する。

図１４のフローチャートに示す様に、ステップ１２００では、今サイクルのレーダ装置１から送信された物標候補の受信個数が０か否かを判定する。ここで肯定判断されると一旦本処理を終了し、一方否定判断されるとステップ１２１０に進む。

ステップ１２１０では、レーダ装置１から送信された物標候補を取り出す。
続くステップ１２２０では、画像処理範囲を決定する。ここでは、各物標候補ごとに、その縦位置と横位置から、画像上のどこの位置に対応するかを算出する。

続くステップ１２３０では、画像の切り出し及び正規化を行う。ここでは、画像をある大きさに切り出し、処理時間を安定させるために正規化を行う。実際の系では、車両の幅を算出する目的であるので、１車線が十分に入るように、例えば切り出し幅を４ｍ、高さを３ｍとして切り出す。

続くステップ１２４０では、属性識別処理を行う。ここでは、切り出した画像を立体か非立体かの区別を行うために、切り出した画像を識別と呼ばれる処理にかける。この識別とは、入力された画像が立体か非立体かのどちらに近いかを判断するものである。一般的に、この様な識別を行うのに有効な処理として、ニューラルネットワークに代表される学習型識別器による処理があり、ここでも同様な処理を行う。

続くステップ１２５０では、中心・幅算出処理を行う。つまり、識別によって立体と判断されたものは、物体の部分を切り出すために、縦及び横エッジ処理を行って、物体と道路との境界部分を算出する。ここまでの処理により、物体の幅と中心位置が算出される。

続くステップ１２６０では、画像トラッキングによる確定フラグ決定処理を行う。ここでは、１サイクル前のカメラ装置３による物標候補と今サイクルのカメラ装置３による物標候補で、同じ物標ＩＤを持つものがあった場合に、その二つの画像の模様を比較して同じものであるかどうかを判断する。尚、同じものであるかどうかを判断する処理が画像トラッキング処理である。

この処理で同じであると判断された場合には、レーダ装置１と同様に、数サイクル連続するときには、確定フラグに１を立てて、確からしい結果として判断する。これにより、カメラ装置３にて物標が確定されたことになる。

続くステップ１２７０では、１サイクル前にレーダ装置１から出力された物標候補全て検索したか否かを判定する。ここで肯定判断されると一旦本処理を終了し、一方否定判断されると前記ステップ１２１０に戻って、同様な処理を繰り返す。

ｅ）次に、本実施例による効果を説明する。
(1)本実施例では、レーダ装置１によって、物標かも知れないもの（物標候補）が生成されると、すぐさまそのデータがレーダ信号処理部１７からにカメラ装置３の画像処理部２３に送信される。

画像処理部２３では、未確定の物標データ（物標候補データ）を含む所定の画像領域が決定され、周知の画像処理によって、物標らしいかどうかや、正確な位置や幅が検出できるかどうかを判断する。その判断結果は、画像処理部２３からレーダ信号処理部１７に送信される。

レーダ信号処理部１７は、画像処理部２３から送信された判断結果に従って、物標を時間的に確からしいかどうかを判断する閾値を変化させる。
ここで、物標らしいと判断された場合は、閾値を変化させることにより、検出チェックにかかる時間を短縮させることで早期検出が可能になる。また、仮にカメラ装置３から物標らしくないと送信されてきた場合には、その検出チェックにかかる時間を延長すること（又は初期設定値のままとすること）で誤検出を防止できる。

このとき、カメラ装置３もレーダ装置１から検出可能性のある物標候補データが送信されているので、レーダ装置１が物標を確定させるまでに、そのデータから幅や位置及び属性といった値の算出に対して、十分な精度を確保することができる。

まとめると、本実施例では、レーダ装置１の検出した結果をもとに、カメラ装置３での画像の処理範囲を押さえるということを使用しながらも、その際に発生する検出時間遅れや誤検出の低減の可能性を低減することができ、精度の良い検出が可能である。

(2)更に、上述した本実施例の動作を、図１５に基づいてより詳細に説明する。
図１５（ａ）に示す様に、レーダ装置１で物標を検出した場合には、その判定精度を高めるために、直ぐに物標と判断（物標と確定）するのではなく、最初の数サイクル分は、物標は未確定とする。

このとき、未確定の物標のデータは、即座にカメラ装置３に送信される。カメラ装置３では、レーダ装置１から送信された未確定の物標の画像処理を行い、その物標が物標としての属性（立体か非立体か等）を有しているかどうかを判断する。そして、この判断結果をレーダ装置１に送信する。

レーダ装置１では、カメラ装置３から送信された判断結果に応じて、物標を確定するための閾値を変化させる。例えばある物標候補がノイズ等ではなく物体（物標）であると判断された場合には、閾値を小さくする。これによって、レーダ装置１における数サイクル分の物標の確定のための回数（サイクル数）を少なくすることができるので、物標確定の精度を落とすことなく、物標確定のための時間を短縮することができる。尚、例えばある未確定の物標がカメラ装置３により物標でないと判断された場合には、閾値を変化させないので、検出精度が低下することはない。

一方、カメラ装置３においても、カメラ装置３単体における（同じ物標に対する）数回の判断結果から、その物標が確かに物標であると確定することができる（カメラ装置３における確定）。

従って、レーダ装置１における物標の確定とカメラ装置３における物標の確定とにより、総合的にセンサフュージョンの結果として物標の確定を行うことができる。
また、図１５（ｂ）に示す様に、レーダ装置１で物標を検出した場合には、カメラ装置３に未確定の物標のデータが送信されるが、カメラ装置３にて、物標でないと判断された場合には、その判断結果がレーダ装置１に送信される。

ここで、仮にレーダ装置１にて、物標を確定するための所定のサイクル分物標が検出された場合でも、カメラ装置１により物標と判断されないときには、レーダ装置１における物標の確定をキャンセルする。これによって、物標の確定の精度を高めることができる。

尚、図１５（ｃ）は、図１５（ａ）、（ｂ）の記号を説明する説明図である。
尚、本発明は前記実施例になんら限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の態様で実施しうることはいうまでもない。

（１）前記実施例では、レーダ信号処理部をレーダ装置に配置された電子制御装置とし、画像処理部をカメラ装置に配置された電子制御装置として説明したが、単一の電子制御装置にて、レーダ信号処理部及び画像処理部の機能を実現するようにしてもよい。この場合は、レーダ信号処理部と画像処理部との間の通信とは、レーダ信号処理部及び画像処理部に対応する処理を行う演算部におけるデータのやりとりとみなすことができる。

（２）また、本発明は、車両用物体検出装置のレーダ信号処理部及び画像処理部の機能を、コンピュータのプログラムにより実行される処理により実現したもの、即ち前記機能を実現するためのプログラムにも適用できる。

つまり、上述した車両用物体検出装置のレーダ信号処理部及び画像処理部における制御処理の機能は、コンピュータのプログラムにより実行される処理により実現することができる。

このようなプログラムの場合、例えば、ＦＤ、ＭＯ、ＤＶＤ−ＲＯＭ、ＣＤ−ＲＯＭ、ハードディスク等のコンピュータ読み取り可能な記録媒体に記録し、必要に応じてコンピュータにロードして起動することにより用いることができる。この他、ＲＯＭやバックアップＲＡＭをコンピュータ読み取り可能な記録媒体として本プログラムを記録しておき、そのＲＯＭあるいはバックアップＲＡＭをコンピュータに組み込んで用いても良い。

実施例１の車両用物体検出装置のシステム構成を示す説明図である。 レーダ装置にて用いられるレーダ物標候補のデータを示す説明図である。 自車と物標との縦位置及び横位置の関係を示す説明図である。 カメラ装置にて用いられるカメラ物標候補のデータを示す説明図である。 （ａ）レーダからカメラへの通信データフォーマットを示す説明図、（ｂ）カメラからレーダへの通信データフォーマットを示す説明図である。 レーダ装置にて実施される処理手順を示すメインのフローチャートである。 レーダ装置の出力物標データ作成処理を示すフローチャートである。 レーダ装置の物標検出値調整処理を示すフローチャートである。 １サイクル前外挿データ更新処理を示すフローチャートである。 履歴接続処理を示すフローチャートである。 物標認識処理を示すフローチャートである。 物標外挿処理を示すフローチャートである。 カメラ装置にて実施される処理手順を示すメインのフローチャートである。 カメラ装置の物標判定処理を示すフローチャートである。 車両用物体検出装置の動作を示す説明図である。 従来技術の車両用物体検出装置の動作を示す説明図である。

符号の説明

１…ＦＭＣＷレーダ装置
３…カメラ装置
５…車両用物体検出装置
７…送信アンテナ
９…受信アンテナ
１７…レーダ信号処理部
１９…ＣＣＤカメラ
２１…画像処理部

Claims (11)

1. 周囲に検出波を照射しその反射波によって物体を検出するレーダ装置からの情報と、カメラによって撮像した画像によって前記物体を検出するカメラ装置からの情報と、に基づいて、前記物体を確定する車両用物体検出装置において、
   前記レーダ装置では、当該レーダ装置によって得られた物体に関する所定回の未確定の情報に基づいて、前記物体を確定する構成を備えるとともに、
   前記レーダ装置によって得られた前記物体の未確定の情報を、前記カメラ装置に送信することを特徴とする車両用物体検出装置。
2. 前記レーダ装置によって得られた前記物体の未確定の情報を、当該物体の未確定の情報が得られる毎に、逐次前記カメラ装置に送信することを特徴とする前記請求項１に記載の車両用物体検出装置。
3. 前記カメラ装置では、前記レーダ装置から送信された物体の未確定の情報に基づいて、前記カメラにより撮像された画像から、前記未確定の物体が実際に物体であるか否かを判断することを特徴とする前記請求項１又は２に記載の車両用物体検出装置。
4. 前記カメラ装置における判断結果を、前記レーダ装置に送信することを特徴とする前記請求項３に記載の車両用物体検出装置。
5. 前記レーダ装置では、前記カメラ装置から送信された判断結果に基づいて、未確定の物体を確定させるための条件を変更することを特徴とする前記請求項４に記載の車両用物体検出装置。
6. 前記未確定の物体を確定させるための条件を変更する場合に、各未確定の物体の検出毎に増加するカウンタを用いるときには、前記物体を確定させる際の判定の基準となる閾値を変更する手段、又はカウンタ値を変更する手段を用いることを特徴とする前記請求項５に記載の車両用物体検出装置。
7. 前記レーダ装置によって得られた前記物体の情報を未確定の情報として扱うとともに、前記未確定の情報に基づく前記カメラ装置による判断により、物体であると判断された場合に、前記レーダ装置における物体の情報を確定するための閾値を小さくすることを特徴とする前記請求項１に記載の車両用物体検出装置。
8. 前記レーダ装置にて物体であると確定された場合でも、前記カメラ装置にて物体であると判断されなかったときには、前記レーダ装置における物体の確定の判定をキャンセルすることを特徴とする前記請求項４〜７のいずれかに記載の車両用物体検出装置。
9. 前記レーダ装置にて、過去に検出されたが今回検出されなかった物体に関して今回検出されたと仮定する外挿処理を行う場合には、前記カメラ装置における物体の判断結果に基づいて、前記レーダ装置にて外挿された未確定の物体の確認を行うことを特徴とする前記請求項４〜８のいずれかに記載の車両用物体検出装置。
10. 前記カメラ装置による判断結果に基づいて前記外挿された未確定の物体が確認された場合には、該外挿された未確定の物体の情報を、外挿処理された情報ではなく前記レーダ装置によって得られた未確定の物体の情報とすることを特徴とする前記請求項９に記載の車両用物体検出装置。
11. 前記レーダ装置にて物体であると確定された情報と、前記カメラ装置にて物体であると確定された情報とに基づいて、総合的に物体と確定することを特徴とする前記請求項１〜１０のいずれかに記載の車両用物体検出装置。

Images