JP2005005978A

JP2005005978A - Surrounding condition recognition system

Info

Publication number: JP2005005978A
Application number: JP2003166438A
Authority: JP
Inventors: Ichiro Yoshida; 一郎吉田
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2003-06-11
Filing date: 2003-06-11
Publication date: 2005-01-06
Anticipated expiration: 2023-06-11
Also published as: JP4214841B2

Abstract

<P>PROBLEM TO BE SOLVED: To quickly and exactly recognize a neighboring body with reduced burden for processing image data taken by a camera. <P>SOLUTION: An information processor 1 processes to recognize the surrounding conditions. A vehicle-mounted surveillance camera system 2 takes an image of the surroundings; an ACC radar 3, a position information acquirer 4, etc. measure the distance and the position; and a vehicle-to-vehicle communication unit 7 obtains information directly from a party vehicle. The recognition system determines approximately its position from image information, recognizes the situation of the target existing in its direction in detail, and displays it on a display 9. Unlike analyzing the image data, the system quickly processes the data to improve the safety. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、自車の周囲の車両や人の状況を認識するようにした周囲状況認識システムに関する。
【０００２】
【従来の技術】
一般に、自動車を運転する際には、走行中の安全を確保するために、運転者は、車両の周囲をバックミラー、サイドミラー、ガラス越しの視覚、音、振動等で監視し、他車と衝突しないようにステアリング、アクセル、ブレーキ等を操作することが行われる。
【０００３】
しかし、運転中にこのように周囲の状況を確認するのは非常な注意力が必要であると共に、集中力が必要となるので、このような状況から運転者を解放させて疲労度を少なくして快適な運転を行うことができるようにするべく、種々の支援システムが提案されつつある。
【０００４】
自動車の走行や運転あるいは緊急事態が発生したときに支援するシステムとしては、例えば、ナンバープレートに交通事故を記録するための撮影手段と、記録手段を内蔵する構成のものがある（例えば、特許文献１参照）。
【０００５】
また、特許文献２に示されるような技術もある。これには、ナビゲーションの地図と、障害物検出部として、画像処理による車線検出、車両検出、レーザレーダ等による自車との相対位置、相対速度、相対加速度を測定し、地図と合成する技術が開示されている。
【０００６】
また、この特許文献２では、オブジェクトモデルとして、車両や従来の建物の地図に関して３Ｄオブジェクトや、２Ｄマップを３Ｄに変換することが記載されている。また、引例では車両を表示するために、モデルの重心を抽出した領域の重心に合わせてあてはめ、表示を行なっている。
【０００７】
さらには、運転者の運転を支援するために、前方車両の位置をレーザやミリ波を用いて計測し、前方車両の速度や位置（車間距離）を設定条件に保つためのＡＣＣ（ＡｄａｐｔｉｖｅＣｒｕｉｓｅＣｏｎｔｒｏｌ）の技術が用いられるようになってきた。この技術では、設定された条件を維持するように前方を走行する車両を追尾する方式であるので、その前方車両が急激に進行方向を変えたり、道路の起伏やカーブにより前車の進行方向が急激に変化すると、車両を追跡し損なってしまう可能性が高いものである。この理由は、ＡＣＣでは前述のように車間距離と速度程度しかわからないためである。
【０００８】
【特許文献１】
特開２００１−０９７２５１号公報
【０００９】
【特許文献２】
特開２００２−０４６５０６号公報
【００１０】
【発明が解決しようとする課題】
上記の点について改善するために種種の精度を向上させることが検討されている。例えば、カメラとしてステレオカメラを用い、画像だけで対象物までの距離を測定するようにしたものである。
【００１１】
しかし、この方法では、対象物を検知してその対象物までの距離をもとめるためには、莫大な画像データを取り扱う必要があり、その画像データから自車両の移動を考慮しながら、移動体をまず捕らえ、その移動体までの位置関係を２台のカメラ画像のピクセルデータをマッチングさせることで、最終的に距離のデータを得るため、データの処理能力が要求されることになる。
【００１２】
また、画像内に複数の移動体があり、それが画像で重なった状態で存在する場合は、それぞれを分離して、個々の移動体を解析する必要が出てくるため、このような場合には、解析に多大な時間が必要となるため、安全運転支援等のリアルタイム性を要求される用途に使用することは実用上で難しい。
【００１３】
本発明は、上記事情に鑑みてなされたもので、その目的は、カメラにより撮影した画像データについて行う処理の負担を軽減して迅速且つ正確に周囲に存在する移動体の認識をすることができるようにした安全な走行を支援するシステムとしての周囲状況認識システムを提供することにある。
【００１４】
【課題を解決するための手段】
請求項１の発明によれば、情報処理装置は、撮像手段により撮影した画像データと移動体通信装置により取得した情報とから自車の周囲に存在する車両もしくは人の存在範囲を算定し、この情報処理手段により算定され利用者が知覚可能な情報に変換された情報を表示装置に表示させるので、撮像手段からの画像データだけでなく対象となる車両に搭載された移動体通信装置もしくは人が携帯している移動体通信装置との間の通信により得られた情報を用いて存在範囲を算定することができることで迅速且つ正確に周囲に存在する車両や人などの移動体の認識をすることができるようになる。
【００１５】
請求項２の発明によれば、上記請求項１の発明において、撮像手段を、自車の周囲を撮影する場合に自車の一部を含んだ状態で撮影するように設定しているので、周囲の画像データについて自車の位置との相対関係を認識しやすい状態で得ることができ、周囲の状況把握をしやすくなる。
【００１６】
請求項３の発明によれば、上記各発明において、移動体通信装置を、設定された距離内にある車両と通信するために通信距離を変更可能に構成しているので、例えば通信距離を短距離側から長く設定していって通信が可能となった時点での設定状態から逆に通信距離を測定することができるようになる。
【００１７】
請求項４の発明によれば、上記各発明において、移動体通信装置を、設定された方向にある車両と通信するために通信方向を変更可能に構成しているので、通信が可能となった時点での通信方向から対象となる車両の存在方向を認識することができるようになる。
【００１８】
請求項５の発明によれば、上記各発明において、移動体通信装置を、設定された方向にある人の携帯する移動体通信装置と通信するために通信距離を変更可能に構成しているので、人が携帯する移動体通信装置について前述した車両の場合と同様の処理で距離を測定することができるようになる。
【００１９】
請求項６の発明によれば、上記各発明において、移動体通信装置を、設定された方向にある人の移動体通信装置と通信するために通信方向を変更可能に構成しているので、前述同様に対象となる人の存在する方向を認識することができるようになる。
【００２０】
請求項７の発明によれば、上記各発明において、情報処理装置により、自車の周囲に存在する車両もしくは人の存在範囲を示す算定結果の出力データとして、車両もしくは人の位置座標と進行方向を示すために、絶対座標データと絶対方向データもしくは自車位置を原点とした相対座標データと相対方向を出力するように構成したので、表示装置により、自車の位置と共に周囲に存在する車両や人を距離や方向を関係付けて的確に表示させることができ、これによって、周囲の状況を確実に認識することができるようになる。
【００２１】
請求項８の発明によれば、上記請求項７の発明において、情報処理装置を、算定した結果および周囲に存在する車両の移動体通信装置との間で得た車両の大きさ情報に基づいて周囲に存在する車両または人について表示装置に遠近法を用いた描画処理を行うように構成したので、使用者にとっては視覚的に認識しやすい状態で表示装置の画面を見ることができるようになり、周囲の状況の把握を迅速且つ的確に行うことができるようになる。
【００２２】
請求項９の発明によれば、上記請求項８の発明において、情報処理装置を、移動体通信装置により自車の周囲に存在する車両の電子ナンバープレートと通信を行って車両の大きさ情報を得るように構成したので、電子ナンバープレートに記憶されている情報を移動体通信装置により通信を行って得ることができるようになり、迅速且つ確実な情報を得ることができるようになる。
【００２３】
請求項１０の発明によれば、上記各発明において、情報処理装置を、撮像手段の撮影条件により設定された標準ピクセルサイズと撮影対象物のピクセルサイズとを比較することでその撮影対象物の大きさを推定するように構成したので、概略的な大きさを迅速に推定することができると共に、距離情報などと関連付けることで距離と大きさとの関係を概略的に推定することができるようになる。
【００２４】
請求項１１の発明によれば、上記請求項１０の発明において、情報処理装置を、撮像手段の撮影条件として設定される距離条件について、ＡＣＣ（ＡｄａｐｔｉｖｅＣｒｕｉｓｅＣｏｎｔｒｏｌ）による測定結果により求めるように構成したので、撮影対象物までの距離を迅速且つ的確に測定して撮影条件として反映させることができるようになる。
【００２５】
請求項１２の発明によれば、上記請求項１０および１１の発明において、情報処理装置を、ＡＣＣによる距離測定に際して、撮像手段による撮影画像で距離測定対象物の方向の絞り込みを行うように構成したので、ＡＣＣによる距離測定対象物の方向設定を撮影画像から概略的に判定することで迅速に設定することができるようになる。
【００２６】
請求項１３の発明によれば、上記請求項１０ないし１２の発明において、情報処理装置を、撮像手段の撮影条件として設定される距離条件について、対象となる車両に搭載された移動体通信装置との間の通信距離情報により得るように構成したので、通信可能な距離を特定することで通信距離情報を得て距離条件を概略的に設定することができるようになる。
【００２７】
請求項１４の発明によれば、上記請求項８ないし１３の発明において、表示装置を、自車の周囲の状況を少なくとも左右に分けて表示可能とするように複数個設ける構成としているので、視覚的に左右に対応した位置に配置をすることで使用者にとって認識しやすい状態で確認することができるようになる。
【００２８】
請求項１５の発明によれば、上記各発明において、撮像手段および移動体通信装置を、自車の前後に設けられるナンバープレートに一体に配設したので、ワイヤーハーネスの配設量を少なくしてコンパクトで信頼性の高い実装状態とすることができるようになる。
【００２９】
【発明の実施の形態】
（第１の実施形態）
以下、本発明を周辺監視システムに適用した場合の第１の実施形態について図１ないし図１０を参照して説明する。
図１は、対象としている自動車（車両）に搭載するシステムの概略的な構成を示すものである。全体の情報処理の統合的な処理を行う情報処理装置１は、ＣＰＵを主体としてＲＯＭ、ＲＡＭや各種入手出力インターフェースなどを備えた構成とされており、後述する周囲状況認識プログラムにしたがって自車の周囲の状況を把握することができるようにした画像表示を行うための処理を行う。
【００３０】
情報処理装置１には、車載周囲監視カメラシステム２、ＡＣＣ・レーダー３、位置情報取得装置４、自車情報提供装置５などが接続されると共に、Ｇ／Ｗ（Ｇａｔｅｗａｙ）６を介して車車間通信装置７、路上道路監視システム８などが接続されている。また、情報処理装置１には、情報を表示するための表示手段として表示装置９が接続された構成とされている。また、カーナビゲーション装置と連動した動作をすることができるように、地図データ記憶部１０が接続されている。
【００３１】
車載周囲監視カメラシステム２は、例えば図２に示すように、撮像手段としての８台のカメラ１１ａ〜１１ｈを自動車１２の車体に設けた構成としている。それぞれは、前方右側カメラ１１ａ、前方左側カメラ１１ｂ、後方右側カメラ１１ｃ、後方左側カメラ１１ｄ、右側方前方向カメラ１１ｅ、右側方後ろ方向カメラ１１ｆ、左側方前方向カメラ１１ｇ、左側方後ろ方向カメラ１１ｈである。
【００３２】
図示のように、例えば、右側方前方向カメラ１１ｅでは、車体１２の右側方の前方を視野Ｖａとして撮影するように配置されており、右前方を走行する車両１３ａなどを車体１２の一部を含んだ画像として撮影することができる。また、同様に、右側方後ろ方向カメラ１１ｆでは、右後方を視野Ｖｂとして撮影するように配置され、右後方を走行する車両１３ｂなどを車体１２の一部を含んだ画像として撮影することができる。
【００３３】
そして、車載周囲監視カメラシステム２は、同様にして前方を走行する車両１３ｃや左側方を走行する車両１３ｄなども画像として撮影することができ、これら８台のカメラ１１ａ〜１１ｈにより撮影して得られた撮影データを適宜統合して得た映像を情報処理装置１に送るように構成されている。
【００３４】
ＡＣＣ・レーダー３は、レーザやミリ波を用いて前方車両との車間距離や前方車両の速度を測定するもので、上記したカメラ１１ａ〜１１ｄに付随して設けられており、前方右側、前方左側、後方右側、後方左側のそれぞれの方向に対して測定対象物までの距離あるいは速度を測定して情報処理装置１に送信する。
【００３５】
車車間通信装置７は、自車の周囲に存在する車両と直接通信を行い、周囲車両情報（車両サイズ、速度、ブレーキ、アクセル、位置座標、車種、型番）の送受信を行うように構成されている。通信により得られた周囲車両情報は、情報処理装置１に送信される。
【００３６】
また、この車車間通信装置７は、通信距離可変機能を備えていて、通信出力を変化させることで通信可能な距離を設定することにより、相手との距離を測定することができるように構成されている。
【００３７】
図３は車車間通信装置７の通信距離可変機能を利用して距離を測定する場合を説明するものである。ここでは、通信距離が出力に比例する特性のアンテナを用いることで、他の通信できる機器との間の距離を測定する。具体的には、アンテナ入力パワーを上げていくことで通信が可能となった時点でその機器との距離をアンテナ入力パワーから求めるのである。角度依存性についても、予めアンテナの指向性がわかっていれば求めることができる。
【００３８】
同図（ｂ）はアンテナ７ａの通信エリアをアンテナ入力パワーに対応して模式的に示しており、同図（ａ）では、アンテナ入力パワー（ｄＢ）に対するエリアサイズ（ｍ）を示す。また、パラメータθはアンテナの中心方向からの振れ角度である。このような関係をデータとして記憶しておくことで、通信相手との間の距離を推定することができるのである。
【００３９】
路上道路監視システム８は、走行中に路上に固定してある路上通信器との間で通信を行うように構成されている。これはたとえば、ＤＳＲＣ通信方式で通信を行うもので、通信距離を変更設定することができるように構成されている。これにより、出力レベルを変化させていって通信が可能となったときの出力レベルを測定することで距離を検出することができる。
【００４０】
位置情報取得装置４は、ＧＰＳ信号を受信して現在位置を特定する装置で、図示しないＧＰＳアンテナと受信装置とから構成される。ここでは、ＧＰＳ測位方式として例えばＲＴＫ（ＲｅａｌＴｉｍｅＫｉｎｅｍａｔｉｃｓ）−ＧＰＳ方式を採用しており、高精度で自車の絶対位置を測定することができるようになっている。
【００４１】
自車情報提供装置５は、車両内に搭載されているＥＣＵなどと通信を行って自車の速度、加速度あるいは種々の状態を示す情報を取得し、これを情報処理装置１に送信するように構成されている。情報処理装置１は、自車の走行情報を得て、他車との相対的な位置関係や走行状態などを必要に応じて求めるように構成されている。
【００４２】
表示装置９は、例えば、図４に示すように、車室内の運転席上部の視野を妨げないようにして安全運転が確保できる条件で、左右の側部に対応した２つのディスプレイ９ａ，９ｂが配設されている。これらにディスプレイ９ａ，９ｂは、情報処理装置１により画像データが与えられて表示動作を行うが、情報処理装置１は、表示対象物である車両について、絶対位置と相対位置関係から、検知された物体を仮想空間に配置し、３Ｄレンダリング処理と呼ばれる描画処理を行うように構成されている。
【００４３】
表示の態様としては、これ以外にも自車１２を中心として上方から見た周囲の車両や人との関係を相対的に表示することができる。また、表示という方法で運転者に情報を伝達することに加えて、自車１２と周囲車両の位置関係から、どの周囲車両との位置関係が危険かを、乗員に音声で報知することもできる。
【００４４】
なお、この実施形態では２つのディスプレイ９ａ，９ｂを設ける構成で示しているが、さらに多くのディスプレイを設けるマルチディスプレイ方式の構成とすることもできる。これにより、運転者に多様な情報を的確に提供することができる。
【００４５】
上記のディスプレイ９ａ，９ｂの構成では、車両の右側と左側を死角なしに表示を行うために曲面ミラーを２つ用いてそのミラーの画像をＣＣＤカメラで撮影したものを表示する例を示している。このようにすると、車両の左右の死角がなくなるため、従来死角にある人を見逃して起こった事故を防止することができる。また、１つのディスプレイで前後の車両の存在がわかるため、画像を見慣れる必要はあるが、これによって視認性を向上させることも可能である。
【００４６】
図５は上記した構成を機能ブロックの構成図として示したものである。この周辺監視システムＡとしては、４つのシステムＢ〜Ｅから構成されている。車間距離計測システムＢ、画像認識システムＣ、車両認識システムＤ、歩行者認識システムＥの４つのシステムである。
【００４７】
この周辺監視システムＡには、位置情報取得装置４などの現在位置計測手段Ｆから現在位置情報が入力され、また、自車情報提供装置５などの車載機器Ｇから自車の走行状態に関する情報が入力される。地図データ記憶部１０に相当するデジタルマップ入出力部Ｈは、位置座標データを指定するとその位置に対応した地図情報を表示データとして出力する。
【００４８】
周辺監視システムＡが出力する表示用データに対応して表示制御器Ｊは表示装置９に対して表示動作を行わせる。この表示装置９は、ナビゲーションシステムからも表示用データが与えられて表示動作を行うようになっている。
【００４９】
さて、上記した周辺監視システムＡが備える４つのシステムＢ〜Ｅは、それぞれ次のようなデータを生成して出力するようになっている。車間距離計測システムＢは、前方車両車間距離データ、前方車両速度データなどを出力する。画像認識システムＣは、移動体有無データ、移動体推定位置データ、移動体分類データ、固定物有無データ、固定物推定位置データ、固定物分類データなどを出力する。
【００５０】
車両認識システムＤは、車両データ、車両位置座標データ、進行方向データ、車両移動速度データ、加速（アクセル）データ、減速（ブレーキ）データ、運転モードデータ、通信機能データなどを出力する。歩行者認識システムＥは、歩行者有無ＩＤデータ、歩行者位置座標データ、進行方向データ、歩行者移動速度データなどを出力する。
【００５１】
次に、本実施形態の作用について図６の制御プログラムのフローチャートおよび図７〜９を参照して周囲状況の認識処理について説明する。
【００５２】
情報処理装置１は、図６の制御プログラムを実行する。まず、８台のカメラ１１ａ〜１１ｈにより周囲の画像を撮影し、撮影した画像についてそのピクセルデータを解析し、自車の車速と周囲の固定物の動きから、固定物を画素データから取り除く。これにより、移動体を画面から抽出する（ステップＳ１）。
【００５３】
情報処理装置１は、この処理で、画面に移動体があると判定した場合（ステップＳ２で「ＹＥＳ」と判断）、移動体の存在位置をサーチターゲットに指定する（ステップＳ３）。この後、情報処理装置１は、ＡＣＣ・レーダ３によりサーチターゲットに指定した移動体までの距離を測定する（ステップＳ４）。
【００５４】
情報処理装置１は、ここで、距離測定がＯＫになるまでステップＳ３，Ｓ４を繰り返し実行する。距離測定がＯＫになると、情報処理装置１は、次に車車間通信装置７を用いて、通信距離を変化させながら物体との通信を試みる（ステップＳ６）。
【００５５】
ここでは、車車間通信装置７は、車車間通信あるいは人が持つ電子タグとの通信が行えた場合、その通信結果から対象物のＩＤを読み取って記憶する。もし複数の移動体があれば、複数の物体に同等の処理を繰り返す。渋滞や、人の混雑により、一定期間ですべての検知ができない場合は、車車間および車と人との通信距離を短くしたりして、設定時間内で通信が完了できる検知数に絞る。このようにして得られた通信結果は情報処理装置１に定期的に送信するようになっている。
【００５６】
情報処理装置１は、車車間通信装置７から上記したデータを受け取ると（ステップＳ６，Ｓ７，Ｓ８）、データに適合する仮想オブジェクトを選定し、それを自車を原点とした仮想空間へ配置する（ステップＳ９）。もし、他車の具体的オブジェクトＩＤ（形状モデルＩＤ）があれば、情報処理装置１はそのデータを選択する。また、ユーザが表示視野を設定している場合は、仮想空間内のカメラ位置を変更して、ユーザの視野にあった画像が描画されるように、描画処理が行われる（ステップＳ１０）。
【００５７】
次に、上記の処理を進めるのに際して採用している座標系について図７を参照して概略的に説明する。ここでは、自車１２の位置を原点（０，０）としてＡＣＣレーダー３，車車間通信装置７、カメラ１１ａ〜１１ｈの画像より、相対的な距離を求めることができるので、その値をもとに周囲の車両や人を表示するためのデータを作成することができる。
【００５８】
また、地図にマッピングするには、自車１２の緯度経度を示す絶対位置の座標データを原点Ｏ（０，０）にして地図データに対応させて表示すると共に、周囲の車両の相対的な位置座標データを原点Ｏを基準にして地図データに対応させて表示することができる。これにより、自車１２以外の表示対象物は全て相対座標で示すことができるようになる。
【００５９】
なお、この実施形態においては、道路の白線ではなく、道路両端の位置座標データ列をもとに道路が規定されるようになっている（図中△印で表示）。そして、車両の認識は画像だけではなく、ＡＣＣレーダ３や車車間通信装置７により、存在確率に対応した表示を行うようになっている。さらに、電子ナンバープレート等が配設されている場合にはそこに記憶される車両情報を読み出し、正確に車両の形やサイズを表示できるようになっている。
【００６０】
また、ガードレール、電柱、標識、樹木等の衝突も回避できるように、それらが３次元のオブジェクトで地図上に配置表示されるようになっており、それらのオブジェクトに接近しないようにすることで、物損事故の回避が行なえる。加えて、人の認識機能を合わせもち、人を発見した場合、最優先で人を避けることにも利用することができる。
【００６１】
情報処理装置１による表示装置９への表示制御は次のようにして行うようになっている。情報処理装置１は、自車１２の周囲を移動する物体として検知した対象物（車両、人）を仮想空間へ配置して、レンダリング描画することで、例えば図８に示すような表示画面を提供する。
【００６２】
ここでは、自車１２の運転席から前方を見たときの状況を簡易的なグラフィック描画で表示するようになっている。ディスプレイ９ａ，９ｂには、道路、横断歩道、歩道、建物、人物、車などを識別可能で且つ簡単な形状で示している。また、移動する人物や車などの表示においては、その移動方向がわかるように移動方向ベクトルも表示するようになっている。
【００６３】
表示装置９への表示の態様としては、三次元的な表示を行う場合で、例えば、図９に示すように、ターゲット車両までの距離を画面内にものさし（ルーラ）を表示することもできる。このように表示することにより、自車とターゲット車両との間の相対的な位置関係が距離で具体的に把握することができるようになり、車間距離等が安全か否かが明確にわかるようになる。
【００６４】
次に、図１０を参照して周囲車両の位置（距離、方向）を求める方法について説明する。周囲車両との距離の測定においては、自車１２の車車間通信装置７の送信電力を定期的に変更し、どの電力レベルで送信が行えなくなったかを測定することで、対応する距離を概略的に測定することができる。
【００６５】
このとき、正確な測定距離を測るために、たとえば前方車両と通信を行う場合は、車車間通信装置７を後方のランプの中央に設置する。このようにすると、レーザ方式のＡＣＣレーダー３の距離測定結果と車車間通信の結果をマッチングさせることが容易になる。
【００６６】
ＡＣＣレーダー３と車車間通信装置７とを比較すると、ＡＣＣレーダー３の方が測定可能な距離が長いので、これを利用して、通常はＡＣＣレーダー３で車車間通信を行う場合の距離と方向を設定して、目標を定めておいて車車間通信を行うようにする。つまり、車車間通信装置７の送信電力と通信方向を設定することができるのである。
【００６７】
ここで、車車間通信の通信方向を設定するために、アンテナ指向性をＡＣＣレーダー３の測定距離と方向に合わせることができる構成のアンテナか、あるいは機械的にアンテナ方向を変更できる機構をもつアンテナを用いることが有効である。
【００６８】
このような第１の実施形態によれば、車載周辺監視カメラシステム２を設けて自車１２の周囲を撮影して他車や人物を認識し、その位置や大きさなどをＡＣＣレーダー３や車車間通信装置７を用いて測定したり情報を得るなどして、情報処理装置１により、これを表示装置９に表示させるようにしたので、迅速且つ確実に周囲の状況を認識して表示させることができるようになり、安全な走行を支援することができるようになる。
【００６９】
カメラ１１ｆ〜１１ｈによる撮影では、自車１２の一部を画像内に含めるように周囲を撮影するので、自車との相対的な位置関係や大きさなどの把握をよりわかりやすい状態で行うことができるようになる。
【００７０】
車車間通信装置７により通信距離を変化させることができるようにしたので、通信相手との間の通信が可能となるときの出力レベルから概略的な通信距離を迅速に測定することができる。
【００７１】
（第２の実施形態）
図１１は本発明の第２の実施形態を示すもので、第１の実施形態と異なるところは、車載周辺監視カメラシステム２を構成しているカメラの配置状態である。すなわち、第１の実施形態で述べた車体１２の四隅に配設していたカメラ１１ａ〜１１ｄに代えて、カメラ１４ａ〜１４ｄを設ける構成としている。具体的には、カメラ１４ａ，１４ｂが前のナンバープレート１５に、カメラ１４ｃ，１４ｄが、後ろのナンバープレート１５ｂに一体に組み込まれた構成となっている。また、図示はしていないが、これらのナンバープレート１５ａ，１５ｂには車車間通信装置７やＡＣＣレーダー３も一体に組み込まれた構成とされている。
【００７２】
そして、これらのナンバープレート１５ａ，１５ｂは電子ナンバープレートと呼ばれるものとして構成されており、内部には自車１２に関する情報として、車両の大きさや車型等の車両を識別するデータを記憶する手段が組み込まれ、路上機などからの問いかけの通信に応じて車両情報を送信するなどの機能を持ったものである。
【００７３】
このようにナンバープレート１５ａ，１５ｂにカメラ１４ａ〜１４ｄや車車間通信装置７、ＡＣＣレーダー３などの車両や人の認識用の構成を一体に組み込むことで、ワイヤーハーネスが少なくなり、システム間の距離も短くなるため、画像データを迅速に処理するために都合がよい構成となる。これらのナンバープレート１５ａ，１５ｂの裏面には、画像情報処理装置１やディスプレイ９ａ，９ｂに送るための広帯域通信が可能なハーネス（ファイバ、同軸ケーブル）が配設されている。
【００７４】
そして、このような第２の実施形態によっても第１の実施形態と同様の作用効果を得る事ができると共に、上記したように、周囲を認識するための構成をコンパクトに収容してワイヤーハーネスも削減した構成とすることができるようになる。
【００７５】
（第３の実施形態）
図１２は本発明の第３の実施形態を示すもので、第１の実施形態と異なるところは、ディスプレイ９ａ，９ｂなどへの表示の仕方を簡素化したところである。図１２において、表示態様としては、ＬＣＤやプラズマディスプレイ等の平板ディスプレイへのピクセルによる表示を用いたが、簡易的に、自車１２や周囲の車両Ａ〜Ｅなどを適宜文字（「白，○○○（車種名）」あるいは「軽トラック」等）で表すようにしてもよい。
【００７６】
さらに、図示はしないが、簡易的な表示を補い、さらには運転手に対してディスプレイ９ａ，９ｂを見ないで状況の伝達を簡易的にすることができるように、音声により簡単な対話で報知する構成とすることもできる。この場合には、音声認識装置を設けると共に音声合成装置を設けてプログラムにより対話形式で応答することができるように構成するものである。
【００７７】
例えば、運転手の声による問いかけに対して、音声認識装置により問いかけの内容を認識する。このとき、問いかけの内容が認識できているか否かを「ＹＥＳ」あるいは「ＮＯ」の簡単な返事で確認できるように質問を確認するための応答を一度行うことで確実な処理を行うことができる。次に、問いかけに応える内容を情報提供処理装置１により作成し、これを音声合成装置で合成音声に変換してスピーカから応答として出力する。
【００７８】
このようなやり取りの具体例として例えば次のようなものである。
運転手「右後方を確認してほしい。」
応答「右後方の確認ですね。」
運転手「はい（そうだ、ＹＥＳ）」
応答「右後方１００ｍに白色の○○○が時速８０ｋｍで走行しています。」
といった応答例である。
【００７９】
このような第３の実施形態によっても第１の実施形態と同様の作用効果を得ることができると共に、簡易的な表示をすることで表示に要する時間を短縮したり、表示のためのコストを低減することができるようになる。
【００８０】
（他の実施形態）
本発明は、上記実施形態にのみ限定されるものではなく、次のように変形また拡張できる。
位置情報の取得は、ＧＰＳ信号を受信する方法以外に、外部から位置情報を直接取得する構成を取り入れることもできるし、それらを併用する構成とすることもできる。トンネルや高層ビルの立ち並ぶ領域などＧＰＳ信号の受信が難しくなる状況になるため、トンネル内で走行位置を送信する信号を受信して現在位置を知る方法や、高層ビル間ではギャップフィラーと呼ばれる機器から送られる位置信号を受信する機能を設けることが有効な手段となる。
【００８１】
表示装置９として、２つのディスプレイ９ａ，９ｂを設ける構成の場合で説明したが、３個以上設ける構成としても良いし、あるいは１つのディスプレイですべてが表示できるようにすることもできる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態を示す電気的なブロック構成図
【図２】車載周辺監視カメラシステムのカメラの配置状態を示す図
【図３】車車間通信装置のアンテナの指向性と距離の判定を説明するための図
【図４】表示装置の配置状態を示す図
【図５】機能ブロックで示した構成図
【図６】認識プログラムのフローチャート
【図７】自車と周囲の車両との位置関係を表示するための説明図
【図８】表示装置の表示例を示す図
【図９】表示画面に距離の指標を示した図
【図１０】通信と距離測定との関係を示す説明図
【図１１】本発明の第２の実施形態を示す図２相当図
【図１２】本発明の第３の実施形態を示す図８相当図
【符号の説明】
１は情報処理装置、２は車載周辺監視カメラシステム、３はＡＣＣレーダー、４は位置情報取得装置、５は自動車情報提供装置、６はゲートウェイ（Ｇ／Ｗ）、７は車車間通信装置、８は路上道路監視システム、９は表示装置、９ａ，９ｂはディスプレイ、１０は地図データ記憶部、１１ａ〜１１ｈはカメラ、１２は自車、１３ａ〜１３ｄは他の車両である。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a surrounding situation recognition system that recognizes the situation of vehicles and people around a host vehicle.
[0002]
[Prior art]
In general, when driving a car, in order to ensure safety while driving, the driver monitors the surroundings of the vehicle with a rearview mirror, side mirror, vision through the glass, sound, vibration, etc. The steering, accelerator, brake, etc. are operated so as not to collide.
[0003]
However, checking the surroundings in this way requires a great deal of attention and concentration, so it is necessary to release the driver from these situations and reduce the degree of fatigue. Various support systems are being proposed to enable comfortable driving.
[0004]
As a system for assisting when an automobile travels or drives or an emergency situation occurs, for example, there is an imaging device for recording a traffic accident on a license plate, and a configuration incorporating a recording device (for example, Patent Documents). 1).
[0005]
There is also a technique as disclosed in Patent Document 2. This includes a technology for measuring the relative position, relative speed, and relative acceleration of the navigation map and the vehicle as an obstacle detection unit, such as lane detection by image processing, vehicle detection, and laser radar, and combining it with the map. It is disclosed.
[0006]
Further, in Patent Document 2, as an object model, it is described that a 3D object or a 2D map is converted into 3D regarding a map of a vehicle or a conventional building. Further, in the reference, in order to display the vehicle, the display is performed by fitting the center of gravity of the model to the center of gravity of the extracted region.
[0007]
Furthermore, in order to assist the driver's driving, the position of the vehicle ahead is measured using a laser or millimeter wave, and the ACC (Adaptive Cruise Control) for maintaining the speed and position (distance between the vehicles) of the vehicle ahead in a set condition. ) Technology has come to be used. In this technology, the vehicle traveling ahead is tracked so as to maintain the set conditions. Therefore, the forward vehicle suddenly changes its traveling direction, or the traveling direction of the preceding vehicle changes due to road undulations or curves. If it changes suddenly, there is a high possibility that the vehicle will not be tracked. This is because ACC only knows the distance between vehicles and the speed as described above.
[0008]
[Patent Document 1]
JP 2001-097251 A
[0009]
[Patent Document 2]
JP 2002-046506 A
[0010]
[Problems to be solved by the invention]
In order to improve the above points, it has been studied to improve various kinds of accuracy. For example, a stereo camera is used as a camera, and the distance to an object is measured only by an image.
[0011]
However, in this method, in order to detect an object and determine the distance to the object, it is necessary to handle enormous image data. First, it captures and matches the positional relationship to the moving body with the pixel data of the two camera images, so that the data processing capability is required to finally obtain the distance data.
[0012]
In addition, if there are multiple moving objects in the image and they exist in an overlapping state in the image, it will be necessary to separate each other and analyze each moving object. Since much time is required for analysis, it is practically difficult to use it for applications requiring real-time performance such as safe driving support.
[0013]
The present invention has been made in view of the above circumstances, and an object thereof is to reduce the burden of processing performed on image data captured by a camera and to quickly and accurately recognize a moving object existing in the vicinity. An object of the present invention is to provide a surrounding situation recognition system as a system for supporting safe driving.
[0014]
[Means for Solving the Problems]
According to the first aspect of the present invention, the information processing device calculates the existence range of a vehicle or a person existing around the own vehicle from the image data captured by the imaging means and the information acquired by the mobile communication device, Since the information calculated by the information processing means and converted into information perceivable by the user is displayed on the display device, not only the image data from the imaging means but also the mobile communication device or person mounted on the target vehicle Recognizing a mobile object such as a vehicle or a person in the vicinity quickly and accurately by calculating the existence range using information obtained by communication with a portable mobile communication device Will be able to.
[0015]
According to the invention of claim 2, in the invention of claim 1, the imaging means is set to shoot in a state including a part of the own vehicle when shooting the surroundings of the own vehicle. The surrounding image data can be obtained in a state where the relative relationship with the position of the vehicle can be easily recognized, and the surrounding situation can be easily grasped.
[0016]
According to the invention of claim 3, in each of the above inventions, the mobile communication device is configured to be able to change the communication distance in order to communicate with a vehicle within a set distance. On the contrary, the communication distance can be measured from the set state at the time when communication is possible by setting the distance longer.
[0017]
According to the invention of claim 4, in each of the above inventions, the mobile communication device is configured to be able to change the communication direction in order to communicate with the vehicle in the set direction, so that communication is possible. The presence direction of the target vehicle can be recognized from the communication direction at the time.
[0018]
According to the invention of claim 5, in each of the above inventions, the mobile communication device is configured to be able to change the communication distance in order to communicate with the mobile communication device carried by a person in the set direction. The distance can be measured by the same processing as that of the vehicle described above for the mobile communication device carried by a person.
[0019]
According to the invention of claim 6, in each of the above inventions, the mobile communication device is configured to be able to change the communication direction in order to communicate with a human mobile communication device in a set direction. Similarly, the direction in which the target person exists can be recognized.
[0020]
According to the invention of claim 7, in each of the above-described inventions, the position information of the vehicle or person and the traveling direction are output as the output data of the calculation result indicating the existence range of the vehicle or person existing around the own vehicle by the information processing device. In order to indicate the absolute coordinate data and the absolute direction data or the relative coordinate data and the relative direction with the own vehicle position as the origin, the display device is used to output the A person can be accurately displayed in relation to a distance and a direction, and thereby, the surrounding situation can be surely recognized.
[0021]
According to the invention of claim 8, in the invention of claim 7, the information processing device is based on the calculated result and the vehicle size information obtained between the mobile communication device of the vehicle existing in the vicinity. Since the display device is configured to perform drawing processing using perspective on the surrounding vehicle or person, it is possible for the user to see the screen of the display device in a state that is easy to visually recognize. This makes it possible to quickly and accurately grasp the surrounding situation.
[0022]
According to the invention of claim 9, in the invention of claim 8 above, the information processing device communicates with the electronic license plate of the vehicle existing around the own vehicle by the mobile communication device to obtain the vehicle size information. Since the information is stored in the electronic license plate, the information can be obtained by communicating with the mobile communication device, so that quick and reliable information can be obtained.
[0023]
According to the invention of claim 10, in each of the above-described inventions, the information processing apparatus compares the standard pixel size set according to the imaging conditions of the imaging means with the pixel size of the imaging object, thereby increasing the size of the imaging object. Since it is configured to estimate the height, the approximate size can be quickly estimated, and the relationship between the distance and the size can be roughly estimated by associating with the distance information or the like. .
[0024]
According to the invention of claim 11, in the invention of claim 10, the information processing apparatus is configured to obtain the distance condition set as the imaging condition of the imaging means based on the measurement result by ACC (Adaptive Cruise Control). Therefore, the distance to the object to be imaged can be measured quickly and accurately and reflected as the image capturing condition.
[0025]
According to the invention of claim 12, in the inventions of claims 10 and 11, the information processing apparatus is configured to narrow down the direction of the distance measurement object with the photographed image by the imaging means when measuring the distance by the ACC. Therefore, the direction setting of the distance measurement object by ACC can be quickly set by roughly determining from the captured image.
[0026]
According to a thirteenth aspect of the present invention, in any of the tenth to twelfth aspects of the present invention, the information processing apparatus includes a mobile communication device mounted on a target vehicle with respect to a distance condition set as a photographing condition of the imaging means. Therefore, the distance condition can be roughly set by obtaining the communication distance information by specifying the communicable distance.
[0027]
According to the invention of claim 14, in the inventions of claims 8 to 13, a plurality of display devices are provided so that the situation around the host vehicle can be displayed divided into at least left and right. In particular, by arranging at positions corresponding to the left and right, it is possible to confirm in a state that is easy for the user to recognize.
[0028]
According to the invention of claim 15, in each of the above inventions, since the image pickup means and the mobile communication device are integrally disposed on the number plate provided in front of and behind the own vehicle, the amount of the wire harness is reduced. It becomes possible to achieve a compact and highly reliable mounting state.
[0029]
DETAILED DESCRIPTION OF THE INVENTION
(First embodiment)
Hereinafter, a first embodiment in which the present invention is applied to a periphery monitoring system will be described with reference to FIGS.
FIG. 1 shows a schematic configuration of a system mounted on a target automobile (vehicle). The information processing apparatus 1 that performs integrated processing of the entire information processing is configured to include a ROM, a RAM, various acquisition output interfaces, and the like, with a CPU as a main body. Processing is performed to display an image so that the surrounding situation can be grasped.
[0030]
The information processing apparatus 1 is connected to an on-vehicle surroundings monitoring camera system 2, an ACC / radar 3, a position information acquisition apparatus 4, a host vehicle information provision apparatus 5, and the like, and between the vehicles via a G / W (Gateway) 6. A communication device 7, a road monitoring system 8 and the like are connected. Further, the information processing apparatus 1 is configured to be connected to a display device 9 as a display unit for displaying information. In addition, a map data storage unit 10 is connected so as to be able to operate in conjunction with the car navigation device.
[0031]
For example, as shown in FIG. 2, the in-vehicle surrounding monitoring camera system 2 has a configuration in which eight cameras 11 a to 11 h as imaging means are provided on the vehicle body of the automobile 12. The front right camera 11a, the front left camera 11b, the rear right camera 11c, the rear left camera 11d, the right front camera 11e, the right rear camera 11f, the left front camera 11g, and the left rear camera 11h, respectively. It is.
[0032]
As shown in the figure, for example, the right-side forward camera 11e is arranged so that the right front side of the vehicle body 12 is photographed as a field of view Va. It can be taken as an included image. Similarly, the right rear direction camera 11f is arranged so that the right rear is photographed with the field of view Vb, and the vehicle 13b traveling on the right rear can be photographed as an image including a part of the vehicle body 12. .
[0033]
The in-vehicle surroundings monitoring camera system 2 can also capture images of the vehicle 13c traveling in front and the vehicle 13d traveling on the left side in the same manner, and can be obtained by capturing these eight cameras 11a to 11h. An image obtained by appropriately integrating the captured data is sent to the information processing apparatus 1.
[0034]
The ACC / radar 3 measures the inter-vehicle distance from the preceding vehicle and the speed of the preceding vehicle using a laser or millimeter wave, and is provided along with the cameras 11a to 11d described above. The distance or speed to the measurement object is measured in each of the right rear side and the left rear direction, and is transmitted to the information processing apparatus 1.
[0035]
The inter-vehicle communication device 7 is configured to directly communicate with vehicles existing around the own vehicle and to transmit / receive surrounding vehicle information (vehicle size, speed, brake, accelerator, position coordinates, vehicle type, model number). Yes. The surrounding vehicle information obtained by communication is transmitted to the information processing apparatus 1.
[0036]
The inter-vehicle communication device 7 has a communication distance variable function, and is configured to measure the distance to the other party by setting a communicable distance by changing the communication output. ing.
[0037]
FIG. 3 illustrates a case where the distance is measured using the communication distance variable function of the inter-vehicle communication device 7. Here, the distance between other devices capable of communication is measured by using an antenna having a characteristic that the communication distance is proportional to the output. Specifically, when communication becomes possible by increasing the antenna input power, the distance to the device is obtained from the antenna input power. The angle dependency can also be obtained if the antenna directivity is known in advance.
[0038]
FIG. 5B schematically shows the communication area of the antenna 7a corresponding to the antenna input power, and FIG. 4A shows the area size (m) with respect to the antenna input power (dB). The parameter θ is a deflection angle from the center direction of the antenna. By storing such a relationship as data, the distance to the communication partner can be estimated.
[0039]
The road monitoring system 8 is configured to communicate with a road communicator fixed on the road during traveling. For example, the communication is performed by the DSRC communication method, and the communication distance can be changed and set. Accordingly, the distance can be detected by measuring the output level when communication is possible while changing the output level.
[0040]
The position information acquisition device 4 is a device that receives a GPS signal and identifies a current position, and includes a GPS antenna and a receiving device (not shown). Here, for example, the RTK (Real Time Kinetics) -GPS method is adopted as the GPS positioning method, and the absolute position of the own vehicle can be measured with high accuracy.
[0041]
The own vehicle information providing device 5 communicates with an ECU or the like mounted in the vehicle to acquire information indicating the speed, acceleration, or various states of the own vehicle, and transmits the information to the information processing device 1. It is configured. The information processing apparatus 1 is configured to obtain traveling information of the own vehicle and obtain a relative positional relationship, a traveling state, and the like with other vehicles as necessary.
[0042]
For example, as shown in FIG. 4, the display device 9 includes two displays 9 a and 9 b corresponding to the left and right side portions on the condition that safe driving can be secured without obstructing the field of view of the upper part of the driver's seat in the passenger compartment. It is arranged. The displays 9a and 9b receive image data from the information processing device 1 and perform a display operation. The information processing device 1 detects the vehicle that is the display target from the absolute position and the relative positional relationship. An object is arranged in a virtual space, and a drawing process called a 3D rendering process is performed.
[0043]
In addition to this, it is possible to relatively display the relationship with surrounding vehicles and people viewed from above with the host vehicle 12 as the center. In addition to transmitting information to the driver by a display method, it is also possible to inform the occupant by voice of which positional relationship with the surrounding vehicle is dangerous based on the positional relationship between the vehicle 12 and the surrounding vehicle. .
[0044]
In this embodiment, the two displays 9a and 9b are provided. However, a multi-display configuration in which more displays are provided may be used. Thereby, various information can be accurately provided to the driver.
[0045]
In the configuration of the above-described displays 9a and 9b, an example is shown in which two curved mirrors are used to display the right and left sides of the vehicle without blind spots, and images of the mirrors taken by a CCD camera are displayed. . In this way, since the left and right blind spots of the vehicle are eliminated, it is possible to prevent an accident that has conventionally occurred when a person in the blind spot is missed. In addition, since the presence of the front and rear vehicles can be seen on one display, it is necessary to familiarize the images, but this can also improve the visibility.
[0046]
FIG. 5 shows the above-described configuration as a functional block configuration diagram. This periphery monitoring system A is composed of four systems B to E. There are four systems: an inter-vehicle distance measurement system B, an image recognition system C, a vehicle recognition system D, and a pedestrian recognition system E.
[0047]
In this periphery monitoring system A, the current position information is input from the current position measuring means F such as the position information acquisition device 4, and information on the traveling state of the own vehicle is received from the in-vehicle device G such as the own vehicle information providing device 5. Entered. The digital map input / output unit H corresponding to the map data storage unit 10 outputs map information corresponding to the position as display data when the position coordinate data is designated.
[0048]
Corresponding to the display data output from the peripheral monitoring system A, the display controller J causes the display device 9 to perform a display operation. The display device 9 is configured to perform display operation by receiving display data from the navigation system.
[0049]
The four systems B to E included in the periphery monitoring system A each generate and output the following data. The inter-vehicle distance measurement system B outputs front vehicle inter-vehicle distance data, front vehicle speed data, and the like. The image recognition system C outputs moving object presence / absence data, moving object estimated position data, moving object classification data, fixed object presence / absence data, fixed object estimated position data, fixed object classification data, and the like.
[0050]
The vehicle recognition system D outputs vehicle data, vehicle position coordinate data, traveling direction data, vehicle moving speed data, acceleration (accelerator) data, deceleration (brake) data, operation mode data, communication function data, and the like. The pedestrian recognition system E outputs pedestrian presence / absence ID data, pedestrian position coordinate data, traveling direction data, pedestrian movement speed data, and the like.
[0051]
Next, the operation of this embodiment will be described with reference to a flowchart of the control program in FIG. 6 and FIGS.
[0052]
The information processing apparatus 1 executes the control program shown in FIG. First, surrounding images are taken by the eight cameras 11a to 11h, the pixel data of the taken images are analyzed, and the fixed object is removed from the pixel data from the vehicle speed of the host vehicle and the movement of the surrounding fixed object. Thereby, a mobile body is extracted from a screen (step S1).
[0053]
If it is determined in this process that there is a moving object on the screen ("YES" is determined in step S2), the information processing apparatus 1 designates the position of the moving object as a search target (step S3). Thereafter, the information processing apparatus 1 measures the distance to the moving body designated as the search target by the ACC / radar 3 (step S4).
[0054]
Here, the information processing apparatus 1 repeatedly executes steps S3 and S4 until the distance measurement is OK. When the distance measurement is OK, the information processing apparatus 1 next attempts to communicate with the object while changing the communication distance using the inter-vehicle communication apparatus 7 (step S6).
[0055]
Here, the inter-vehicle communication device 7 reads and stores the ID of the object from the communication result when the inter-vehicle communication or the communication with the electronic tag held by the person can be performed. If there are a plurality of moving objects, the same processing is repeated for the plurality of objects. If all detection is not possible in a certain period due to traffic jams or crowded people, the number of detections that can be completed within the set time is reduced by shortening the communication distance between cars and between cars and people. The communication result obtained in this way is periodically transmitted to the information processing apparatus 1.
[0056]
When the information processing apparatus 1 receives the above-described data from the inter-vehicle communication apparatus 7 (steps S6, S7, S8), it selects a virtual object that matches the data and places it in a virtual space with the own vehicle as the origin. (Step S9). If there is a specific object ID (shape model ID) of another vehicle, the information processing apparatus 1 selects the data. If the user has set the display field of view, the camera position in the virtual space is changed, and drawing processing is performed so that an image that fits the user's field of view is drawn (step S10).
[0057]
Next, a coordinate system employed when the above processing is performed will be schematically described with reference to FIG. Here, the relative distance can be obtained from the images of the ACC radar 3, the inter-vehicle communication device 7, and the cameras 11a to 11h with the position of the own vehicle 12 as the origin (0, 0). Data for displaying surrounding vehicles and people can be created.
[0058]
In order to map to the map, the coordinate data of the absolute position indicating the latitude and longitude of the vehicle 12 is set to the origin O (0, 0) and displayed in correspondence with the map data, and the relative position of the surrounding vehicles is displayed. The coordinate data can be displayed corresponding to the map data with reference to the origin O. Thereby, all the display objects other than the own vehicle 12 can be indicated by relative coordinates.
[0059]
In this embodiment, the road is defined based on the position coordinate data strings at both ends of the road, not the white line of the road (indicated by Δ in the figure). The vehicle is recognized not only by the image but also by the ACC radar 3 and the inter-vehicle communication device 7 so that the display corresponding to the existence probability is performed. Further, when an electronic license plate or the like is provided, vehicle information stored therein can be read and the vehicle shape and size can be accurately displayed.
[0060]
Also, in order to avoid collisions such as guardrails, utility poles, signs, trees, etc., they are arranged and displayed on the map with three-dimensional objects, so that they do not approach these objects, Avoiding property damage accidents. In addition, it has a human recognition function, and when a person is found, it can be used to avoid the person with the highest priority.
[0061]
Display control on the display device 9 by the information processing apparatus 1 is performed as follows. The information processing apparatus 1 provides a display screen as shown in FIG. 8, for example, by placing an object (vehicle, person) detected as an object moving around the host vehicle 12 in the virtual space and rendering the rendering. To do.
[0062]
Here, the situation when looking forward from the driver's seat of the vehicle 12 is displayed in a simple graphic drawing. On the displays 9a and 9b, roads, pedestrian crossings, sidewalks, buildings, people, cars and the like are identifiable and shown in a simple shape. In the display of a moving person or car, a moving direction vector is also displayed so that the moving direction can be understood.
[0063]
As a display mode on the display device 9, three-dimensional display is performed. For example, as shown in FIG. 9, the distance to the target vehicle can be displayed on the screen as a ruler. By displaying in this way, the relative positional relationship between the host vehicle and the target vehicle can be specifically grasped by the distance, and it can be clearly seen whether the inter-vehicle distance or the like is safe. become.
[0064]
Next, a method for obtaining the position (distance, direction) of surrounding vehicles will be described with reference to FIG. In measuring the distance to the surrounding vehicle, the transmission power of the inter-vehicle communication device 7 of the host vehicle 12 is periodically changed, and the corresponding distance is roughly determined by measuring at which power level the transmission cannot be performed. Can be measured.
[0065]
At this time, in order to measure an accurate measurement distance, for example, when communicating with the vehicle ahead, the inter-vehicle communication device 7 is installed at the center of the rear lamp. In this way, it becomes easy to match the distance measurement result of the laser-type ACC radar 3 with the result of inter-vehicle communication.
[0066]
When the ACC radar 3 and the inter-vehicle communication device 7 are compared, the ACC radar 3 has a longer measurable distance. Therefore, the distance and direction when the ACC radar 3 performs the inter-vehicle communication normally. Is set, the target is set, and vehicle-to-vehicle communication is performed. That is, the transmission power and communication direction of the vehicle-to-vehicle communication device 7 can be set.
[0067]
Here, in order to set the communication direction of inter-vehicle communication, an antenna having a configuration in which the antenna directivity can be matched to the measurement distance and direction of the ACC radar 3, or an antenna having a mechanism capable of mechanically changing the antenna direction. It is effective to use.
[0068]
According to the first embodiment as described above, the on-vehicle periphery monitoring camera system 2 is provided to photograph the surroundings of the own vehicle 12 to recognize other vehicles and people, and the position, size, etc., of the ACC radar 3 and the vehicle are recognized. Since the information processing apparatus 1 displays the information on the display device 9 by using the inter-vehicle communication device 7 or obtaining information, the surrounding situation can be recognized and displayed quickly and reliably. Will be able to support safe driving.
[0069]
In photographing with the cameras 11f to 11h, the surroundings are photographed so that a part of the own vehicle 12 is included in the image, so that the relative positional relationship and size with the own vehicle can be easily understood. become able to.
[0070]
Since the communication distance can be changed by the inter-vehicle communication device 7, the approximate communication distance can be quickly measured from the output level when communication with the communication partner becomes possible.
[0071]
(Second Embodiment)
FIG. 11 shows the second embodiment of the present invention. The difference from the first embodiment is the arrangement state of the cameras constituting the in-vehicle periphery monitoring camera system 2. That is, instead of the cameras 11a to 11d arranged at the four corners of the vehicle body 12 described in the first embodiment, the cameras 14a to 14d are provided. Specifically, the cameras 14a and 14b are integrated into the front license plate 15, and the cameras 14c and 14d are integrated into the rear license plate 15b. Although not shown in the figure, the vehicle-to-vehicle communication device 7 and the ACC radar 3 are integrally incorporated in these number plates 15a and 15b.
[0072]
These license plates 15a and 15b are configured as electronic license plates, and a means for storing data for identifying the vehicle such as the size and type of the vehicle is incorporated therein as information relating to the own vehicle 12. In addition, it has a function of transmitting vehicle information in response to an inquiry communication from a roadside machine.
[0073]
In this way, the number of wire harnesses is reduced and the distance between the systems is reduced by integrating the vehicle and human recognition components such as the cameras 14a to 14d, the inter-vehicle communication device 7, and the ACC radar 3 into the license plates 15a and 15b. Therefore, the configuration is convenient for processing image data quickly. On the back surfaces of these license plates 15a and 15b, harnesses (fibers and coaxial cables) capable of broadband communication for sending to the image information processing apparatus 1 and the displays 9a and 9b are disposed.
[0074]
The second embodiment can obtain the same effects as those of the first embodiment, and as described above, the configuration for recognizing the surroundings can be accommodated in a compact manner and the wire harness can be used. The configuration can be reduced.
[0075]
(Third embodiment)
FIG. 12 shows a third embodiment of the present invention. The difference from the first embodiment is that the display method on the displays 9a and 9b is simplified. In FIG. 12, as a display mode, pixel display on a flat panel display such as an LCD or a plasma display is used. For simplicity, however, the vehicle 12 and surrounding vehicles A to E are appropriately displayed with characters (“white, ○ XX (model name) "or" light truck ").
[0076]
Furthermore, although not shown in the figure, a simple dialog is used to inform the driver that the simple display is supplemented and that the situation can be easily communicated to the driver without looking at the displays 9a and 9b. It can also be set as the structure to do. In this case, a speech recognition device and a speech synthesizer are provided so that a program can respond in an interactive manner.
[0077]
For example, in response to an inquiry by a driver's voice, the content of the inquiry is recognized by a voice recognition device. At this time, a reliable process can be performed by performing a response for confirming the question once so that it can be confirmed by a simple answer of “YES” or “NO” whether or not the contents of the question can be recognized. . Next, the contents that respond to the question are created by the information provision processing device 1, converted into synthesized speech by the speech synthesizer, and output as a response from the speaker.
[0078]
A specific example of such exchange is as follows.
Driver "I want you to check the right rear."
Response “Check right back.”
Driver "Yes (yes, yes)"
Response "White OOOO is running at 80km / h 100m right rear."
It is a response example.
[0079]
The third embodiment can provide the same operational effects as those of the first embodiment, and can reduce the time required for display by simple display, and can reduce the cost for display. Can be reduced.
[0080]
(Other embodiments)
The present invention is not limited to the above embodiment, and can be modified or expanded as follows.
In addition to the method of receiving GPS signals, the position information can be acquired by directly acquiring the position information from the outside, or using both of them. Since it becomes difficult to receive GPS signals such as in areas where tunnels and high-rise buildings are lined up, it is possible to receive a signal to transmit the traveling position in the tunnel to know the current position, and between high-rise buildings from a device called a gap filler It is an effective means to provide a function for receiving a position signal to be sent.
[0081]
The display device 9 has been described in the case of the configuration in which the two displays 9a and 9b are provided. However, the display device 9 may be configured to provide three or more, or may be configured to display all on one display.
[Brief description of the drawings]
FIG. 1 is an electrical block configuration diagram showing a first embodiment of the present invention.
FIG. 2 is a diagram showing a camera arrangement state of the in-vehicle periphery monitoring camera system
FIG. 3 is a diagram for explaining determination of antenna directivity and distance of an inter-vehicle communication device;
FIG. 4 is a diagram showing an arrangement state of a display device
FIG. 5 is a block diagram showing functional blocks.
FIG. 6 is a flowchart of a recognition program.
FIG. 7 is an explanatory diagram for displaying a positional relationship between the own vehicle and surrounding vehicles.
FIG. 8 is a diagram showing a display example of the display device
FIG. 9 shows a distance index on the display screen.
FIG. 10 is an explanatory diagram showing the relationship between communication and distance measurement
FIG. 11 is a view corresponding to FIG. 2 showing a second embodiment of the present invention.
FIG. 12 is a view corresponding to FIG. 8 showing a third embodiment of the present invention.
[Explanation of symbols]
1 is an information processing device, 2 is an on-vehicle periphery monitoring camera system, 3 is an ACC radar, 4 is a position information acquisition device, 5 is an automobile information providing device, 6 is a gateway (G / W), 7 is an inter-vehicle communication device, 8 Is a road monitoring system, 9 is a display device, 9a and 9b are displays, 10 is a map data storage unit, 11a to 11h are cameras, 12 is a host vehicle, and 13a to 13d are other vehicles.

Claims

自車の周囲を撮影するための撮像手段と、
自車に備えられ周囲に存在する移動体通信装置との間で通信が可能な移動体通信装置と、
前記撮像手段により撮影した画像データと前記移動体通信装置により取得した情報とから自車の周囲に存在する車両もしくは人の存在範囲を算定する情報処理装置と、
この情報処理手段により算定され利用者が知覚可能な情報に変換された情報を表示させる表示装置とを備えたことを特徴とする周囲状況認識システム。Imaging means for photographing the surroundings of the vehicle;
A mobile communication device that can be communicated with a mobile communication device that is provided in the vehicle and that exists in the surroundings;
An information processing device that calculates the presence range of a vehicle or a person existing around the vehicle from image data captured by the imaging means and information acquired by the mobile communication device;
A surrounding situation recognition system comprising: a display device for displaying information calculated by the information processing means and converted into information perceivable by a user.

請求項１に記載の周囲状況認識システムにおいて、
前記撮像手段は、自車の周囲を撮影する場合に自車の一部を含んだ状態で撮影するように設定されていることを特徴とする周囲状況認識システム。The ambient situation recognition system according to claim 1,
The surrounding state recognition system is characterized in that the imaging means is set to take a picture including a part of the own vehicle when photographing the surroundings of the own vehicle.

請求項１または２に記載の周囲状況認識システムにおいて、
前記移動体通信装置は、設定された距離内にある車両と通信するために、通信距離を変更可能に構成されていることを特徴とする周囲状況認識システム。In the surrounding situation recognition system according to claim 1 or 2,
The ambient state recognition system, wherein the mobile communication device is configured to be able to change a communication distance in order to communicate with a vehicle within a set distance.

請求項１ないし３のいずれかに記載の周囲状況認識システムにおいて、
前記移動体通信装置は、設定された方向にある車両と通信するために、通信方向を変更可能に構成されていることを特徴とする周囲状況認識システム。The ambient situation recognition system according to any one of claims 1 to 3,
The ambient state recognition system, wherein the mobile communication device is configured to be able to change a communication direction in order to communicate with a vehicle in a set direction.

請求項１ないし４のいずれかに記載の周囲状況認識システムにおいて、
前記移動体通信装置は、設定された方向にある人の携帯する移動体通信装置と通信するために、通信距離を変更可能に構成されていることを特徴とする周囲状況認識システム。In the surrounding situation recognition system according to any one of claims 1 to 4,
The ambient communication recognition system, wherein the mobile communication device is configured to be able to change a communication distance in order to communicate with a mobile communication device carried by a person in a set direction.

請求項１ないし５のいずれかに記載の周囲状況認識システムにおいて、
前記移動体通信装置は、設定された方向にある人の移動体通信装置と通信するために、通信方向を変更可能に構成されていることを特徴とする周囲状況認識システム。The ambient situation recognition system according to any one of claims 1 to 5,
The ambient state recognition system, wherein the mobile communication device is configured to be able to change a communication direction in order to communicate with a mobile communication device of a person in a set direction.

請求項１ないし６のいずれかに記載の周囲状況認識システムにおいて、
前記情報処理装置は、自車の周囲に存在する車両もしくは人の存在範囲を示す算定結果の出力データとして、車両もしくは人の位置座標と進行方向を示すために、絶対座標データと絶対方向データもしくは自車位置を原点とした相対座標データと相対方向を出力するように構成されていることを特徴とする周囲状況認識システム。The ambient situation recognition system according to any one of claims 1 to 6,
The information processing device outputs absolute coordinate data and absolute direction data or output direction data to indicate the position coordinates and traveling direction of the vehicle or person as the output data of the calculation result indicating the existence range of the vehicle or person existing around the own vehicle. A surrounding situation recognition system configured to output relative coordinate data and a relative direction with the vehicle position as an origin.

請求項７に記載の周囲状況認識システムにおいて、
前記情報処理装置は、前記算定した結果および周囲に存在する車両の移動体通信装置との間で得た車両の大きさ情報に基づいて周囲に存在する車両または人について前記表示装置に遠近法を用いた描画処理を行うように構成されていることを特徴とする周囲状況認識システム。The ambient situation recognition system according to claim 7,
The information processing device applies a perspective method to the display device for a vehicle or a person existing in the vicinity based on the calculated result and vehicle size information obtained with a mobile communication device of the vehicle existing in the vicinity. An ambient situation recognition system configured to perform a drawing process used.

請求項８に記載の周囲状況認識システムにおいて、
前記情報処理装置は、前記移動体通信装置により自車の周囲に存在する車両の電子ナンバープレートと通信を行って車両の大きさ情報を得るように構成されていることを特徴とする周囲状況認識システム。The surrounding situation recognition system according to claim 8,
The information processing device is configured to communicate with an electronic license plate of a vehicle existing around the vehicle by the mobile communication device to obtain size information of the vehicle. system.

請求項１ないし９のいずれかに記載の周囲状況認識システムにおいて、
前記情報処理装置は、前記撮像手段の撮影条件により設定された標準ピクセルサイズと撮影対象物のピクセルサイズとを比較することでその撮影対象物の大きさを推定するように構成されていることを特徴とする周囲状況認識システム。The ambient situation recognition system according to any one of claims 1 to 9,
The information processing apparatus is configured to estimate a size of the photographing object by comparing a standard pixel size set according to a photographing condition of the imaging unit and a pixel size of the photographing object. A feature recognition system.

請求項１０に記載の周囲状況認識システムにおいて、
前記情報処理装置は、前記撮像手段の撮影条件として設定される距離条件をＡＣＣ（ＡｄａｐｔｉｖｅＣｒｕｉｓｅＣｏｎｔｒｏｌ）による測定結果により求めるように構成されていることを特徴とする周囲状況認識システム。The ambient situation recognition system according to claim 10,
The ambient information recognition system, wherein the information processing apparatus is configured to obtain a distance condition set as an imaging condition of the imaging unit based on a measurement result by ACC (Adaptive Cruise Control).

請求項１０または１１に記載の周囲状況認識システムにおいて、
前記情報処理装置は、前記ＡＣＣによる距離測定に際して、前記撮像手段による撮影画像で距離測定対象物の方向の絞り込みを行うように構成されていることを特徴とする周囲状況認識システム。The ambient situation recognition system according to claim 10 or 11,
The ambient information recognition system, wherein the information processing apparatus is configured to narrow down a direction of a distance measurement object with a photographed image obtained by the imaging unit when the distance is measured by the ACC.

請求項１０ないし１２のいずれかに記載の周囲状況認識システムにおいて、
前記情報処理装置は、前記撮像手段の撮影条件として設定される距離条件を対象となる車両に搭載された移動体通信装置との間の通信距離情報により得るように構成されていることを特徴とする周囲状況認識システム。The ambient situation recognition system according to any one of claims 10 to 12,
The information processing device is configured to obtain a distance condition set as a photographing condition of the imaging means based on communication distance information with a mobile communication device mounted on a target vehicle. Ambient situation recognition system.

請求項８ないし１３のいずれかに記載の周囲状況認識システムにおいて、
前記表示装置は、自車の周囲の状況を少なくとも左右に分けて表示可能とするように複数個設ける構成としたことを特徴とする周囲状況認識システム。The ambient situation recognition system according to any one of claims 8 to 13,
A plurality of the display devices are provided so as to be able to display the situation around the own vehicle at least divided into left and right.

請求項１ないし１４のいずれかに記載の周囲状況認識システムにおいて、
前記撮像手段および前記移動体通信装置は、自車の前後に設けられるナンバープレートに一体に配設されていることを特徴とする周囲状況認識システム。The ambient situation recognition system according to any one of claims 1 to 14,
The surrounding state recognition system, wherein the imaging means and the mobile communication device are integrally disposed on a number plate provided in front of and behind the own vehicle.