JP4613738B2 - 交差点認識システム及び交差点認識方法 - Google Patents

Description

本発明は、交差点認識システム及び交差点認識方法に関するものである。

従来、道路に沿って車両を走行させているときに、車両の前方にある停止線を認識し、該停止線の認識結果に従って、車両の交差点への進入を認識するようにした第１の交差点認識方法が提供されている（例えば、特許文献１参照。）。

また、車両の側方をカメラにより撮影し、撮影に伴って取得された画像に基づいて車両の走行方向に沿う走行路道路線を検出し、該走行路道路線が車両の走行方向の前方で途切れていて、途切れている位置から、走行路道路線と異なる方向に伸びる走行路交差線を検出した場合に、車両の交差点への進入を認識するようにした第２の交差点認識方法が提供とされている（例えば、特許文献２参照。）。
特開２００３−８５５６２号公報 特開２００４−１０２８２７号公報

しかしながら、前記従来の第１、第２の交差点認識方法においては、第１の交差点認識方法の場合、停止線がある交差点については、車両の交差点への進入を認識することができるが、停止線のない交差点については、車両の交差点への進入を認識することができない。

また、第２の交差点認識方法においては、走行路道路線及び走行路交差線をエッジで検出することができないことがあり、車両の交差点への進入を正確に認識することができない。

本発明は、前記従来の第１、第２の交差点認識方法の問題点を解決して、車両の交差点への進入を正確に認識することができる交差点認識システム及び交差点認識方法を提供することを目的とする。

そのために、本発明の交差点認識システムにおいては、車両の所定の箇所に取り付けられ、車両の前方を撮影する撮像装置と、照射媒体に対して照射して被照射物までの距離を測定するレーダ装置と、前記撮像装置から送られた複数のフレームの画像データに対して画像認識処理を行い、交差点を移動する交差車両を車両候補物として検出する画像認識処理手段と、各フレーム間における、前記検出された車両候補物の実際の移動量を算出するとともに、該実際の移動量及び各フレームの切替りの周期に基づいて車両候補物の移動速度を算出する移動変数算出処理手段と、前記移動速度をパラメータとして前記レーダ装置に与え、該レーダ装置によって測定された車両候補物までの距離を取得する距離取得処理手段とを有する。

本発明によれば、画像データに対して画像認識処理を行い、交差点を移動する交差車両を車両候補物として検出し、検出された車両候補物の移動速度を算出し、該移動速度をパラメータとして前記レーダ装置に与え、該レーダ装置によって測定された車両候補物までの距離を取得するようになっているので、車両の交差点への進入を正確に認識することができる。

以下、本発明の実施の形態について図面を参照しながら詳細に説明する。

図１は本発明の実施の形態における車両制御システムを示す図である。

図において、１０は制御部であり、該制御部１０は、所定の変速比で変速を行うパワートレイン、例えば、自動変速機としての無段変速機（ＣＶＴ）、有段変速機（オートマチックトランスミッション）、電動駆動装置等の制御を行ったり、他の各種の制御を行ったりする。そのために、前記制御部１０は、制御部１０の全体の制御を行う制御装置としての、かつ、演算装置としてのＣＰＵ２１、該ＣＰＵ２１が各種の演算処理を行うに当たってワーキングメモリとして使用されるＲＡＭ２２、制御用のプログラムのほか、目的地までの経路の探索、経路案内等を行うための各種のプログラムが記録されたＲＯＭ２３、各種のデータ、プログラム等を記録するために使用される図示されないフラッシュメモリ等を備える。

そして、１４は情報端末、例えば、車両に搭載された車載装置としてのナビゲーション装置、６３はネットワーク、５１は情報提供者としての情報センタであり、前記制御部１０、ナビゲーション装置１４、ネットワーク６３、情報センタ５１等によって車両制御システムが構成される。

前記ナビゲーション装置１４は、現在地を検出する現在地検出部としてのＧＰＳ（グローバルポジショニングシステム）センサ１５、地図データのほかに各種の情報が記録された情報記録部としてのデータ記録部１６、入力された情報に基づいて、ナビゲーション処理等の各種の演算処理を行うナビゲーション処理部１７、自車方位を検出する方位検出部としての方位センサ１８、操作者である運転者が操作することによって所定の入力を行うための第１の入力部としての操作部３４、図示されない画面に表示された画像によって各種の表示を行い、運転者に通知するための第１の出力部としての表示部３５、音声によって所定の入力を行うための第２の入力部としての音声入力部３６、音声によって各種の表示を行い、運転者に通知するための第２の出力部としての音声出力部３７、及び通信端末として機能する送受信部としての通信部３８を備え、前記ナビゲーション処理部１７に、ＧＰＳセンサ１５、データ記録部１６、方位センサ１８、操作部３４、表示部３５、音声入力部３６、音声出力部３７及び通信部３８が接続される。

また、前記ナビゲーション処理部１７には、前記制御部１０、運転者によるアクセルペダルの操作をアクセル開度で検出するエンジン負荷検出部としてのアクセルセンサ４２、運転者によるブレーキペダルの操作をブレーキ踏込量で検出する制動検出部としてのブレーキセンサ４３、車速を検出する車速検出部としての車速センサ４４、照射装置としての図示されないヘッドライトの配光を行うための配光装置４６、車両の前端の所定の箇所に取り付けられ、車両の前方を監視する前方監視装置４８、車両の所定の箇所に取り付けられ、車両の周辺を撮影する撮像装置４９、ステアリングホイールに配設され、車両の舵（だ）角を検出する舵角検出部としてのステアリングセンサ５０等が接続される。前記撮像装置４９は、車両の前端に配設され、車両の前方を撮影するフロントカメラ等の撮像装置４９Ｆ、車両の後端に配設され、車両の後方を撮影するバックカメラ等の撮像装置４９Ｂ、及び車両の左右のサイドミラーに配設され、車両の側方を撮影するサイドカメラ等の撮像装置４９Ｌ、４９Ｒから成る。なお、アクセルセンサ４２、ブレーキセンサ４３、ステアリングセンサ５０等は運転者による車両の操作情報を検出するための操作情報検出部を構成する。また、車速センサ４４、ステアリングセンサ５０は車両情報を検出するための車両情報検出部を構成する。

前記ＧＰＳセンサ１５は、人工衛星によって発生させられた電波を受信することによって地球上における現在地を検出し、併せて時刻を検出する。本実施の形態においては、現在地検出部としてＧＰＳセンサ１５が使用されるようになっているが、該ＧＰＳセンサ１５に代えて、前記ステアリングセンサ５０、図示されない距離センサ、高度計等を単独で、又は組み合わせて使用することもできる。また、前記方位センサ１８としてジャイロセンサ、地磁気センサ等を使用することができる。

前記データ記録部１６は、地図データファイルから成る地図データベースを備え、該地図データベースに地図データが記録される。該地図データには、交差点に関する交差点データ、ノードに関するノードデータ、道路リンクに関する道路データ、探索用に加工された探索データ、施設に関する施設データ等が含まれるほか、地物に関する地物データが含まれる。

前記地物は、運転者に各種の走行上の情報を提供したり、各種の走行上の案内を行ったりするために道路上に設置、又は形成された表示物であり、表示線、路上標識、横断歩道、マンホール、信号機等から成る。前記表示線には、車両を停止させるための停止線、各レーンを区分する車両通行帯境界線、駐車スペースを表す区画線等が含まれ、前記路上標識には、各レーンにおける進行方向を矢印によって表す通行区分標識、「止まれ」等のように一時停止箇所を予告する案内標識等が含まれる。そして、前記地物データには、各地物の位置を座標等で表す位置情報、各地物をイメージで表す画像情報等が含まれる。なお、前記一時停止箇所には、非優先道路から優先道路への進入箇所、踏切、赤信号が点滅する交差点等が含まれる。

また、前記道路データとして、道路上の各レーンごとに付与されたレーン番号、レーンの位置情報等から成るレーンデータが含まれる。前記データ記録部１６には、所定の情報を音声出力部３７によって出力するためのデータも記録される。

さらに、前記データ記録部１６には、統計データファイルから成る統計データベース、走行履歴データファイルから成る走行履歴データベース等が形成され、前記統計データファイルに統計データが、前記走行履歴データファイルに走行履歴データが、いずれも実績データとして記録される。

前記統計データは、過去に提供された交通情報の実績、すなわち、履歴を表す履歴情報であり、情報提供者としてのＶＩＣＳ（登録商標：Ｖｅｈｉｃｌｅ Ｉｎｆｏｒｍａｔｉｏｎ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｙｓｔｅｍ）センタ等の図示されない道路交通情報センタ等によって過去に提供された交通情報、国土交通省によって提供された道路交通センサスによる交通量を表すデータである道路交通センサス情報、国土交通省によって提供された道路時刻表情報等を単独で、又は組み合わせて使用し、必要に応じて、加工し、統計処理を施すことによって作成される。なお、前記統計データに、渋滞状況を予測する渋滞予測情報等を加えることもできる。その場合、前記統計データを作成するに当たり、履歴情報に、日時、曜日、天候、各種イベント、季節、施設の情報（デパート、スーパーマーケット等の大型の施設の有無）等の詳細な条件が加えられる。

前記統計データのデータ項目には、各道路リンクについてのリンク番号、走行方向を表す方向フラグ、情報の種類を表す情報種別、所定のタイミングごとの渋滞度、前記各道路リンクを走行したときの、所定のタイミングごとの所要時間を表すリンク所要時間、該リンク所要時間の各曜日ごとの平均的なデータ（例えば、曜日平均データ）等から成る。

また、走行履歴データは、情報センタ５１によって複数の車両、すなわち、自車又は他車から収集され、各車両が走行した道路における車両の走行の実績、すなわち、走行実績を表す実績情報であり、走行データに基づいてプローブデータとして算出され、蓄積される。

前記走行履歴データのデータ項目は、各道路リンクを走行したときの、所定のタイミングごとのリンク所要時間、各道路リンクを走行したときの、所定のタイミングごとの渋滞度等から成る。なお、前記統計データに、走行履歴データを加えることができる。また、本実施の形態において、渋滞度は、渋滞の度合いを表す渋滞指標として使用され、渋滞、混雑及び非渋滞の別で表される。

前記データ記録部１６は、前記各種のデータを記録するために、ハードディスク、ＣＤ、ＤＶＤ、光ディスク等の図示されないディスクを備えるほかに、各種のデータを読み出したり、書き込んだりするための読出・書込ヘッド等の図示されないヘッドを備える。前記データ記録部１６にメモリカード等を使用することができる。

本実施の形態においては、前記データ記録部１６に、前記地図データベース、統計データベース、走行履歴データベース等が配設されるようになっているが、情報センタ５１において、前記地図データベース、統計データベース、走行履歴データベース等を配設することもできる。

また、前記ナビゲーション処理部１７は、ナビゲーション装置１４の全体の制御を行う制御装置としての、かつ、演算装置としてのＣＰＵ３１、該ＣＰＵ３１が各種の演算処理を行うに当たってワーキングメモリとして使用されるＲＡＭ３２、制御用のプログラムのほか、目的地までの経路の探索、経路案内等を行うための各種のプログラムが記録されたＲＯＭ３３、各種のデータ、プログラム等を記録するために使用される図示されないフラッシュメモリを備える。

本実施の形態においては、前記ＲＯＭ３３に各種のプログラムを記録し、前記データ記録部１６に各種のデータを記録することができるが、プログラム、データ等をディスク等に記録することもできる。この場合、ディスク等から前記プログラム、データ等を読み出してフラッシュメモリに書き込むことができる。したがって、ディスク等を交換することによって前記プログラム、データ等を更新することができる。また、前記制御部１０の制御用のプログラム、データ等もディスク等に記録することができる。さらに、通信部３８を介して前記プログラム、データ等を受信し、ナビゲーション処理部１７のフラッシュメモリに書き込むこともできる。

前記操作部３４は、運転者が操作することによって、走行開始時の現在地を修正したり、出発地及び目的地を入力したり、通過点を入力したり、通信部３８を作動させたりするためのものであり、前記操作部３４として、表示部３５とは独立に配設されたキーボード、マウス等を使用することができる。また、前記操作部３４として、前記表示部３５に形成された画面に画像で表示された各種のキー、スイッチ、ボタン等の画像操作部をタッチ又はクリックすることによって、所定の入力操作を行うことができるようにしたタッチパネルを使用することができる。

前記表示部３５としてディスプレイが使用される。そして、表示部３５に形成された各種の画面に、車両の現在地を自車位置として、車両の方位を自車方位として表示したり、地図、探索経路、該探索経路に沿った案内情報、交通情報等を表示したり、探索経路における次の交差点までの距離、次の交差点における進行方向を表示したりすることができるだけでなく、前記画像操作部、操作部３４、音声入力部３６等の操作案内、操作メニュー、キーの案内を表示したり、ＦＭ多重放送の番組等を表示したりすることができる。

また、音声入力部３６は、図示されないマイクロホン等によって構成され、音声によって必要な情報を入力することができる。さらに、音声出力部３７は、図示されない音声合成装置及びスピーカを備え、音声出力部３７から、前記探索経路、案内情報、交通情報等が、例えば、音声合成装置によって合成された音声で出力される。

前記通信部３８は、前記道路交通情報センタから送信された現況の交通情報、一般情報等の各種の情報を、道路に沿って配設された電波ビーコン装置、光ビーコン装置等を介して電波ビーコン、光ビーコン等として受信するためのビーコンレシーバ、ＦＭ放送局を介してＦＭ多重放送として受信するためのＦＭ受信機等を備える。なお、前記交通情報には、渋滞情報、規制情報、駐車場情報、交通事故情報、サービスエリアの混雑状況情報等が含まれ、一般情報には、ニュース、天気予報等が含まれる。また、前記ビーコンレシーバ及びＦＭ受信機は、ユニット化されてＶＩＣＳレシーバとして配設されるようになっているが、別々に配設することもできる。

前記交通情報は、情報の種別を表す情報種別、メッシュを特定するためのメッシュ番号、二つの地点（例えば、交差点）間を連結する道路リンクを特定し、かつ、上り／下りの別を表すリンク番号、該リンク番号に対応させて提供される情報の内容を表すリンク情報を含み、例えば、交通情報が渋滞情報である場合、前記リンク情報は、前記道路リンクの始点から渋滞の先頭までの距離を表す渋滞先頭データ、渋滞度、渋滞区間を前記渋滞の先頭から渋滞の末尾までの距離を表す渋滞長、道路リンクを走行するのに必要な時間を表すリンク所要時間等から成る。

そして、通信部３８は、前記情報センタ５１から、前記地図データ、統計データ、走行履歴データ等のデータのほか、交通情報、一般情報等の各種の情報をネットワーク６３を介して受信することができる。

そのために、前記情報センタ５１は、サーバ５３、該サーバ５３に接続された通信部５７、情報記録部としてのデータベース（ＤＢ）５８等を備え、前記サーバ５３は、サーバ５３の全体の制御を行う制御装置としての、かつ、演算装置としてのＣＰＵ５４、該ＣＰＵ５４が各種の演算処理を行うに当たってワーキングメモリとして使用されるＲＡＭ５５、制御用のプログラムのほか、目的地までの経路の探索、経路案内等を行うための各種のプログラムが記録されたＲＯＭ５６等を備える。また、前記データベース５８に、前記データ記録部１６に記録された各種のデータと同様のデータ、例えば、前記地図データ、統計データ、走行履歴データ等が記録される。さらに、情報センタ５１は、前記道路交通情報センタから送信された現況の交通情報、一般情報等の各種の情報、及び複数の車両（自車又は他車）から収集した走行履歴データをリアルタイムに提供することができる。

また、前記配光装置４６は、ヘッドライトの光軸の傾きを変更し、ロービーム及びアップビームの光を照射する。

さらに、前記前方監視装置４８は、ミリ波レーダ、レーザレーダ等のレーダ装置から成り、照射媒体としてのミリ波、レーザ等を前方の被照射物に対して照射し、該被照射物までの距離を測定したり、先行して走行している車両、すなわち、先行車両を監視したり、一時停止箇所、障害物等を監視したりする。また、前方監視装置４８は、自車周辺情報として先行車両に対する相対的な車速を表す相対速度、一時停止箇所に対する接近速度、障害物に対する接近速度等を検出したり、車間距離、車間時間等を算出したりする。前記測定、監視、検出、算出等は、ミリ波レーダ、レーザレーダ等の照射範囲に含まれる先行車両、障害物等に対して一定の測定周期（例えば、１００〔ｍｓ〕）ごとに行われる。

前記撮像装置４９は、本実施の形態においては、カラーのＣＣＤ素子から成り、自車の周辺を監視するために、光軸を斜め下方に向けて取り付けられ、走行している道路のほかに、道路脇の建造物、構造物等を被撮影物として撮影し、撮影された被撮影物の画像のデータ、すなわち、画像データを発生させ、ＣＰＵ２１に送る。該ＣＰＵ２１は、前記画像データを読み込み、画像データに対して画像認識処理を行うことによって、画像中の前記各被撮影物を認識対象物として認識する。本実施の形態においては、撮像装置４９としてＣＣＤ素子が使用されるようになっているが、ＣＣＤ素子に代えてＣ−ＭＯＳ素子等を使用することができる。

なお、前記車両制御システム、制御部１０、ナビゲーション処理部１７、ＣＰＵ２１、３１、５４、サーバ５３等は、単独で又は二つ以上組み合わせることによってコンピュータとして機能し、各種のプログラム、データ等に基づいて演算処理を行う。また、データ記録部１６、ＲＡＭ２２、３２、５５、ＲＯＭ２３、３３、５６、データベース５８、各フラッシュメモリ等によって記録媒体が構成される。そして、演算装置として、ＣＰＵ２１、３１、５４に代えてＭＰＵ等を使用することもできる。

次に、前記構成の車両制御システムを交差点認識システムとして利用したときの基本動作について説明する。

まず、運転者によって操作部３４が操作され、ナビゲーション装置１４が起動されると、ＣＰＵ３１の図示されないナビ初期化処理手段は、ナビ初期化処理を行い、ＧＰＳセンサ１５によって検出された自車の現在地、方位センサ１８によって検出された自車方位を読み込むとともに、各種のデータを初期化する。次に、前記ＣＰＵ３１の図示されないマッチング処理手段は、マッチング処理を行い、読み込まれた現在地の軌跡、及び現在地の周辺の道路を構成する各道路リンクの形状、配列等に基づいて、現在地がいずれの道路リンク上に位置するかの判定を行うことによって、現在地を特定する。

続いて、ＣＰＵ３１の図示されない基本情報取得処理手段は、基本情報取得処理を行い、前記地図データを、データ記録部１６から読み出して取得するか、又は通信部３８を介して情報センタ５１等から受信して取得する。なお、地図データを情報センタ５１等から取得する場合、前記基本情報取得処理手段は、受信した地図データをフラッシュメモリに記録する。

そして、前記ＣＰＵ３１の図示されない表示処理手段は、表示処理を行い、前記表示部３５に各種の画面を形成する。例えば、表示処理手段の地図表示処理手段は、地図表示処理を行い、表示部３５に地図画面を形成し、該地図画面に周囲の地図を表示するとともに、現在地を自車位置として、車両の方位を自車方位として表示する。

したがって、運転者は、前記地図、自車位置及び自車方位に従って車両を走行させることができる。

また、運転者が操作部３４を操作して目的地を入力すると、ＣＰＵ３１の図示されない目的地設定処理手段は、目的地設定処理を行い、目的地を設定する。なお、必要に応じて出発地を入力し、設定することもできる。また、あらかじめ所定の地点を登録しておき、登録された地点を目的地として設定することができる。続いて、運転者が操作部３４を操作して探索条件を入力すると、ＣＰＵ３１の図示されない探索条件設定処理手段は、探索条件設定処理を行い、探索条件を設定する。

このようにして、目的地及び探索条件が設定されると、ＣＰＵ３１の図示されない経路探索処理手段は、経路探索処理を行い、前記現在地、目的地、探索条件等を読み込むともに、データ記録部１６から探索データ等を読み出し、現在地、目的地及び探索データに基づいて、現在地で表される出発地から目的地までの経路を前記探索条件で探索し、探索経路を表す経路データを出力する。このとき、各道路リンクごとに付与されたリンクコストの合計が最も小さい経路が探索経路とされる。

また、道路に複数のレーンが形成されている場合で、かつ、走行レーンが検出されている場合、前記経路探索処理手段は、レーン単位の探索経路を探索する。その場合、前記経路データにはレーン番号等も含まれる。

続いて、前記ＣＰＵ３１の図示されない案内処理手段は、案内処理を行い、経路案内を行う。そのために、前記案内処理手段の経路表示処理手段は、経路表示処理を行い、前記経路データを読み込み、該経路データに従って前記地図画面に探索経路を表示する。レーン単位の探索経路が探索されている場合は、所定の地点、例えば、案内交差点において、レーン単位の経路案内が行われ、交差点拡大図に走行レーンが表示される。また、必要に応じて、前記案内処理手段の音声出力処理手段は、音声出力処理を行い、音声出力部３７から探索経路を音声で出力して経路案内を行う。

なお、前記情報センタ５１において経路探索処理を行うことができる。その場合、ＣＰＵ３１は現在地、目的地、探索条件等を情報センタ５１に送信する。該情報センタ５１は、現在地、目的地、探索条件等を受信すると、ＣＰＵ５４の図示されない経路探索処理手段は、ＣＰＵ３１と同様の経路探索処理を行い、データベース５８から探索データ等を読み出し、現在地、目的地及び探索データに基づいて、出発地から目的地までの経路を前記探索条件で探索し、探索経路を表す経路データを出力する。続いて、ＣＰＵ５４の図示されない送信処理手段は、送信処理を行い、前記経路データをナビゲーション装置１４に送信する。したがって、ナビゲーション装置１４において、前記基本情報取得処理手段が情報センタ５１からの経路データを受信すると、前記案内処理手段は、前述されたような経路案内を行う。

そして、探索経路上に案内交差点が存在する場合、車両が案内交差点より所定の距離（例えば、Ｘ〔ｍ〕）だけ手前の経路案内地点に到達すると、前記案内処理手段の交差点拡大図表示処理手段は、交差点拡大図表示処理を行い、地図画面の所定の領域に前述されたような交差点拡大図を形成し、交差点拡大図による経路案内を行い、該交差点拡大図に、案内交差点の周辺の地図、探索経路、案内交差点において目印になる施設等の陸標、レーン単位の経路案内が行われている場合には走行レーン等を表示する。また、必要に応じて、前記音声出力処理手段は、音声出力部３７から、例えば、「この先Ｘ〔ｍ〕で左方向です。」のような音声を出力し、経路案内を行う。

ところで、本実施の形態においては、制御部１０及び撮像装置４９Ｆによって画像認識システムが構成されるとともに、制御部１０及び前方監視装置４８によって前方監視システムが構成されるようになっていて、前記画像認識システム及び前方監視システムによって交差点を認識することができるようになっている。

そのために、制御部１０において、ＣＰＵ２１の図示されない交差点認識処理手段は、交差点認識処理を行い、自車の前方の交差点を横方向に移動する他車（以下「交差車両」という。）を検出し、交差点を認識するとともに、自車から他車までの距離を算出するようにしている。

図２は本発明の実施の形態における交差点認識処理手段の動作を示すメインフローチャート、図３は本実施の形態における画像認識処理のサブルーチンを示す図、図４は本発明の実施の形態における撮像装置の取付状態を示す図、図５は本発明の実施の形態における撮像領域を示す図、図６は本発明の実施の形態における撮像装置の取付状態の詳細を示す図、図７は本発明の実施の形態における検出結果補正処理を説明する第１の図、図８は本発明の実施の形態における検出結果補正処理を説明する第２の図である。

ところで、前記前方監視装置４８（図１）としてはミリ波レーダ、レーザレーダ等のレーダ装置を使用することができ、本実施の形態においては、ミリ波レーダを使用するようになっている。該ミリ波レーダにおいては、前方において自車の進行方向に対して前後方向に移動する移動物体が検出されると、ミリ波レーダの特性（ドップラー効果）によって、一度の検出で移動物体の速度を測定することができるとともに、測定された移動物体の速度に基づいて移動物体の測定周期ごとの移動距離を予測することができ、同一の移動物体として検出することができる。ところが、ミリ波レーダは、前方において自車の進行方向に対して横方向に移動する移動物体に対しては、ミリ波レーダの特性によって移動物体の速度を測定することができない。したがって、測定周期ごとの移動距離を予測することができず、同一の移動物体として検出することができない。

これに対して、撮像装置４９Ｆによって撮影された画像データに従って画像認識を行うことにより、前方において横方向に移動する移動物体を容易に検出することができるが、撮像装置４９Ｆは、単眼の構成になるので、撮像装置４９Ｆから移動物体までの距離を画像認識で検出するのが困難であり、検出精度が低くなってしまう。

そこで、本実施の形態においては、撮像装置４９Ｆからフレームごとに所定の周期で送られた画像データに対して画像認識処理を行うことによって、交差車両を車両候補物として検出し、自車から車両候補物までの概算の距離を算出し、続いて、ミリ波レーダによって、前記概算の距離に基づいて、自車から車両候補物までの距離を測定するようになっている。

そのために、前記交差点認識処理手段の起動判定処理手段は、起動判定処理を行い、画像認識システムが起動しているかどうかを判断し、画像認識システムが起動している場合、前方監視システムが起動しているかどうかを判断する。そして、前方監視システムが起動している場合、交差点認識処理手段の画像認識処理手段は、画像認識処理を行う。

すなわち、該画像認識処理手段の昼夜判定処理手段は、昼夜判定処理を行い、配光装置４６に送られるイルミ信号のオン・オフによって、昼であるか夜であるかどうかを判断し、昼である場合、前記画像認識処理手段の第１の認識処理手段としての昼用画像認識処理手段は、第１の認識処理としての昼用画像認識処理を行い、夜である場合、前記画像認識処理手段の第２の認識処理手段としての夜用画像認識処理手段は、第２の認識処理としての夜用画像認識処理を行う。

前記昼用画像認識処理手段は、以下の手順で車両候補物を検出する。

すなわち、昼用画像認識処理手段は、まず、撮像装置４９Ｆから送られた第１のフレームの画像データを受け、該画像データから成る画像領域に対してエッジ特徴を用いた特徴量マッチング等を行い、前記画像領域から同じ色の物体を抽出する。続いて、前記昼用画像認識処理手段は、さらに、ラベリング処理を行い、形状が車両に類似する特徴を持つ物体を抽出する。

そして、前記昼用画像認識処理手段は、抽出された物体に対して所定の形状パラメータを与えることによって、抽出された物体の形状と車両の形状との類似度を算出する。続いて、前記昼用画像認識処理手段は、類似度が閾（しきい）値より高い物体を車両候補物として抽出し、検出する。

なお、前記昼用画像認識処理のアルゴリズムでは、夜間において特徴量マッチングを行ったり、同じ色の物体を抽出したり、形状が車両に類似する特徴を持つ物体を抽出したりするのが困難であるが、夜間においては、ヘッドライト、テールランプ等の白色発光物、赤色発光物等を検出することができるので、前記夜用画像認識処理手段は、前記夜用画像認識処理のアルゴリズムを使用し、同じ色の物体を抽出したり、形状が車両に類似する特徴を持つ物体を抽出したりすることなく、車両候補物を抽出し、検出する。

このようにして、車両候補物が検出されると、前記交差点認識処理手段の距離算出処理手段は、距離算出処理を行い、画像領域における自車から車両候補物までの距離を算出する。

図４〜６において、６１は撮像素子としてのＣＣＤ素子、ｆは撮像装置４９Ｆの焦点、Ｒａは路面、ｈは該路面Ｒａからの焦点ｆまでの距離で表される撮像装置４９Ｆの高さ（厳密には焦点ｆの高さであるが、実質的に撮像装置４９Ｆの高さを表す。）である。また、Ｅ１は焦点ｆから直下に向けて延びるライン、Ｅ２は撮影範囲の下縁を示すライン、Ｅ３は撮像装置４９Ｆの光軸、Ｅ４は焦点ｆから車両候補物に向けて延びるライン、Ｅ５は焦点ｆから消失点に向けて延びるライン、Ｅ６は撮影範囲の上縁を示すラインである。

そして、Ｐ１はラインＥ１と路面Ｒａとが交差する直下点、Ｐ２はラインＥ２と路面Ｒａとが交差する下縁点、Ｐ３は光軸Ｅ３と路面Ｒａとが交差する光軸点、Ｐ４はラインＥ４と路面Ｒａとが交差する車両候補物点、Ｌ１は直下点Ｐ１から下縁点Ｐ２までの距離、Ｌ２は直下点Ｐ１から光軸点Ｐ３までの距離、Ｌａは直下点Ｐ１から車両候補物点Ｐ４までの距離、Ｌｂは下縁点Ｐ２から車両候補物点Ｐ４までの距離、Ｐｃは画像領域上の中心から車両候補物までの画素の数、Ｐｄは画像領域上の中心から上縁又は下縁までの画素の数である。なお、ＣＣＤ素子６１から焦点ｆまでの焦点距離Ｌｆは、距離Ｌａに対して無視することができるので、前記距離Ｌａは、実質的に撮像装置４９Ｆから車両候補物までの水平方向の距離を表す。

また、θ１は撮像装置４９Ｆの垂直方向の撮影範囲を角度で表す垂直画角、θ２は光軸Ｅ３からラインＥ２までの範囲を角度で表す半画角であり、該半画角θ２は、
θ２＝θ１／２
である。そして、θ３は撮像装置４９Ｆの俯角、θ４は光軸Ｅ３とラインＥ４との成す角度である。

ところで、図４において、
ｔａｎ（θ３−θ２）＝Ｌ１／ｈ
であるので、
ｔａｎθ２＝（ｈ・ｔａｎθ３−Ｌ１）／（ｈ＋Ｌ１・ｔａｎθ３） ……（１）
になる。また、
ｔａｎ（θ３＋θ４）＝Ｌａ／ｈ
であるので、距離Ｌａは、
Ｌａ＝ｈ・（ｔａｎθ３＋ｔａｎθ４）
／（１−ｔａｎθ３・ｔａｎθ４） ……（２）
になる。

ここで、各画素がユニットサイズρを有するので、
ｔａｎθ２＝Ｐｄ・ρ／Ｌｆ ……（３）
ｔａｎθ４＝Ｐｃ・ρ／Ｌｆ
であり、
ｔａｎθ４＝Ｐｃ・ｔａｎθ２／Ｐｄ ……（４）
になる。したがって、前記式（４）に式（１）のｔａｎθ２を代入すると、
ｔａｎθ４＝Ｐｃ・｛（ｈ・ｔａｎθ３−Ｌ１）
／（ｈ＋Ｌ１・ｔａｎθ３）｝／Ｐｄ ……（５）
になる。

したがって、式（２）に式（５）のｔａｎθ４を代入すると、距離Ｌａを、距離Ｌ１、数Ｐｃ、Ｐｄ、高さｈ及び俯角θ３で表すことができる。前記距離Ｌ１、高さｈ及び俯角θ３は撮像装置４９Ｆの取付状態で決まり、数Ｐｃ、Ｐｄは撮像装置４９Ｆの仕様で規定されるので、前記距離Ｌａを算出することができる。

なお、図５においては、撮像装置４９Ｆによって撮影された画像データの画像領域における各直下点Ｐ１、下縁点Ｐ２、光軸点Ｐ３、車両候補物点Ｐ４、距離Ｌ１、Ｌ２、Ｌａ、Ｌｂが示される。前記光軸点Ｐ３及び車両候補物点Ｐ４を通る直線は、画像領域の下端からそれぞれ距離Ｌ２−Ｌ１、距離Ｌｂを示す線である。

本実施の形態においては、前記式（４）に、式（１）のｔａｎθ２を代入するようになっているが、式（３）のｔａｎθ２を代入することができる。ところが、前記数Ｐｃ、Ｐｄ及びユニットサイズρは、撮像装置４９Ｆの仕様によって規定されるので、撮像装置４９Ｆの公差、撮像装置４９Ｆへの陽の当たり具合等によって式（２）ｔａｎθ２の値が変動し、距離Ｌａの算出精度が低くなってしまう。一方、式（１）のｔａｎθ２は、距離Ｌ１、高さｈ及び俯角θ３で表されるので、ｔａｎθ２の値が変動することはなく、距離Ｌａの算出精度を高くすることができる。

次に、前記画像認識処理手段は、撮像装置４９Ｆから送られた第２のフレームの画像データを受け、該画像データから成る画像領域に対して同様の画像認識処理を行い、車両候補物を検出し、車両候補物が検出されると、前記距離算出処理手段は、図５に示される自車（撮像装置４９Ｆ）から車両候補物までの距離Ｌａを算出する。

そして、前記交差点認識処理手段の類似度判定処理手段は、類似度判定処理を行い、前記各車両候補物、本実施の形態においては、２回の画像認識処理で検出された二つの車両候補物が類似しているかどうかを判断する。そのために、前記類似度判定処理手段は、二つの車両候補物の類似度Ｑを算出し、該類似度Ｑが閾値Ｑｔｈ以上であるかどうかによって、各車両候補物が類似しているかどうかを判断する。

類似度Ｑが閾値Ｑｔｈ以上であり、各車両候補物が類似している場合、前記交差点認識処理手段の車両情報取得処理手段は、車両情報取得処理を行い、補正用変数として、自車の車両情報のうちの車速及び舵角を読み込む。そして、前記交差点認識処理手段の交差車両情報算出処理手段は、交差車両情報算出処理を行い、前記車速、舵角及び各フレームの切替りの周期τに基づいて、自車から車両候補物までの距離Ｌａを補正する。

ところで、図７及び８において、Ｒ１、Ｒ２は道路、Ｃ１は該道路Ｒ１、Ｒ２が交差する交差点、ｗｈ１は自車、ｗｈ２は交差車両である。そして、最初の撮影が行われ、前記第１のフレームの画像データが撮像装置４９Ｆから送られてくる第１のタイミングで、自車ｗｈ１は地点ｐ１を、交差車両ｗｈ２は地点ｐ２を走行していて、次の撮影が行われ、前記第２のフレームの画像データが撮像装置４９Ｆから送られてくる第２のタイミングで、自車ｗｈ１が地点ｐ３に、交差車両ｗｈ２が地点ｐ４に移動していたとする。

その場合、第１、第２のタイミング間で自車ｗｈ１が移動する距離、すなわち、自車移動距離ΔＬ１は、第１、第２のタイミング間の時間で表される各フレームの切替りの周期をτとすると、該周期τ及び車速Ｖで表され、
ΔＬ１＝Ｖ・τ
となり、車速Ｖ及び周期τの関数ｆ（Ｖ，τ）で表される。

また、第１のタイミングにおける自車ｗｈ１から交差車両ｗｈ２までの距離ＬａをＬａｆとし、第２のタイミングにおける自車ｗｈ１から交差車両ｗｈ２までの距離ＬａをＬａｓとすると、
Ｌａｓ＝Ｌａｆ−ΔＬ１
となる。

ところで、第１のタイミングから第２のタイミングまでの間に、自車ｗｈ１が移動して交差点Ｃ１に近づくと、図８に示されるように、画像領域内の画像は交差点Ｃ１に近くなった分だけ拡大され、任意の地点間の画像領域内における距離も同様に長くなる。

したがって、第１のタイミングにおける交差車両ｗｈ２の位置から第２のタイミングにおける交差車両ｗｈ２の位置までの画像領域上の移動量をＬＥとし、実際の移動量をＬＡとすると、前記移動量ＬＥは、距離Ｌａｆ、Ｌａｓの比だけ移動量ＬＡより長くなり、
ＬＥ＝ＬＡ・Ｌａｓ／Ｌａｆ
になる。

そこで、前記交差点認識処理手段の移動変数算出処理手段は、移動変数算出処理を行い、画像領域内の移動量ＬＥを算出し、該移動量ＬＥを距離Ｌａｆ、Ｌａｓに基づいて補正し、交差車両ｗｈ２の第１の移動変数としての移動量ＬＡ
ＬＡ＝ＬＥ・Ｌａｆ／Ｌａｓ
を算出する。なお、舵角θを使用して移動量ＬＡを算出することもできる。続いて、前記移動変数算出処理手段は、前記移動量ＬＡを周期τで除算することによって、交差車両ｗｈ２の第２の移動変数としての移動速度Ｖｗｈ２
Ｖｗｈ２＝ＬＡ／τ
を算出する。

ところで、ミリ波レーダは、前述されたように、通常、自車ｗｈ１から前後方向に移動する移動物体までの距離を、ドップラー効果によって一度のスキャンでミリ波レーダ単体で検出し、移動速度を検出することができるが、横方向に移動する移動物体までの距離については検出することができない。そこで、本実施の形態においては、画像認識処理に基づいて算出された移動速度をミリ波レーダに与えると、横方向に移動する移動物体までの距離を予測することができ、周期τごとに同一の物体として検出することができる。したがって、ミリ波レーダによって横方向に移動する移動物体までの距離を検出することができるようになる。また、前記ミリ波レーダは車両の進行方向に対して照射されるので、ミリ波レーダによって測定した自車ｗｈ１から移動物体までの距離を交差点までの距離とすることができる。

本実施の形態においては、前記交差点認識処理手段の距離取得処理手段は、距離取得処理を行い、前記移動速度Ｖｗｈ２を、ミリ波レーダにおける交差車両ｗｈ２のパラメータとして算出し、該パラメータをミリ波レーダに与える。そして、該ミリ波レーダはパラメータを読み込み、該パラメータに基づいて、自車ｗｈ１から交差車両ｗｈ２までの距離Ｌｒを測定する。したがって、前記距離取得処理手段は、測定された距離Ｌｒを取得し、自車ｗｈ１から交差点Ｃ１までの距離Ｒとする。なお、前記パラメータとして、前記移動速度Ｖｗｈ２のほかに、ミリ波の照射軸から交差車両ｗｈ２の前端及び後端までの広がり角をミリ波レーダに与えることができる。

このように、画像認識処理によって交差車両ｗｈ２の移動速度Ｖｗｈ２を算出し、該移動速度Ｖｗｈ２をパラメータとしてミリ波レーダに与えることによって、自車ｗｈ１から交差車両ｗｈ２までの距離Ｌｒを測定することができる。その結果、自車ｗｈ１から交差点Ｃ１までの正確な距離Ｒを取得することができる。

したがって、交差点Ｃ１に停止線等がなくても、自車ｗｈ１の交差点Ｃ１への進入を正確に認識することができる。また、自車ｗｈ１の走行方向に沿う走行路道路線を検出したり、走行路道路線が途切れている位置から、走行路道路線と異なる方向に伸びる走行路交差線を検出したりする必要がないので、交差点Ｃ１を精度よく検出することができ、自車ｗｈ１の交差点Ｃ１への進入を一層正確に認識することができる。

さらに、自車ｗｈ１から交差点Ｃ１までの距離Ｒを正確に取得することができるので、ナビゲーション装置１４におけるマッチング処理において、前記自車ｗｈ１から交差点Ｃ１までの距離Ｒに基づいて、現在地がいずれの道路リンク上に位置するかの判定を行うことができる。したがって、現在地を精度良く特定することができる。

次に、図２のフローチャートについて説明する。
ステップＳ１ 画像認識システムが起動しているかどうかを判断する。画像認識システムが起動している場合はステップＳ２に進み、起動していない場合は処理を終了する。
ステップＳ２ 前方監視システムが起動しているかどうかを判断する。前方監視システムが起動している場合はステップＳ３に進み、起動していない場合は処理を終了する。
ステップＳ３ 画像認識処理を行う。
ステップＳ４ 車両候補物が検出されたかどうかを判断する。車両候補物が検出された場合はステップＳ５に進み、検出されなかった場合は処理を終了する。
ステップＳ５ 車両候補物までの距離を算出する。
ステップＳ６ 画像認識処理を行う。
ステップＳ７ 車両候補物が検出されたかどうかを判断する。車両候補物が検出された場合はステップＳ８に進み、検出されなかった場合は処理を終了する。
ステップＳ８ 車両候補物までの距離Ｌａを算出する。
ステップＳ９ 類似度Ｑを算出する。
ステップＳ１０ 類似度Ｑが閾値Ｑｔｈ以上であるかどうかを判断する。類似度Ｑが閾値Ｑｔｈ以上である場合はステップＳ１１に進み、閾値Ｑｔｈ以上でない場合は処理を終了する。
ステップＳ１１ 車両情報を取得する。
ステップＳ１２ 交差車両ｗｈ２の移動速度Ｖｗｈ２を算出する。
ステップＳ１３ 交差車両ｗｈ２の移動速度Ｖｗｈ２をパラメータとする。
ステップＳ１４ ミリ波レーダによって距離Ｌｒを測定する。
ステップＳ１５ 測定された距離Ｌｒを交差点Ｃ１までの距離Ｒとし、処理を終了する。

次に、図３のフローチャートについて説明する。
ステップＳ３−１ 昼であるかどうかを判断する。昼である場合はステップＳ３−２に、昼でない場合はステップＳ３−３に進む。
ステップＳ３−２ 昼用画像認識処理を行い、リターンする。
ステップＳ３−３ 夜用画像認識処理を行い、リターンする。

本実施の形態においては、移動速度Ｖｗｈ２を算出するために第１、第２のフレームの画像データについて画像認識処理を行うようになっているが、他の実施の形態においては、三つ以上のフレームの画像データについて画像認識処理を行うことができる。

また、本実施の形態においては、画像認識処理によって移動速度Ｖｗｈ２を算出し、該移動速度Ｖｗｈ２をミリ波レーダのパラメータとして使用することによって、自車ｗｈ１から交差車両ｗｈ２までの距離Ｌｒを算出するようになっているが、画像認識処理によって、交差車両ｗｈ２が自車ｗｈ１のミリ波レーダの照射範囲に入ったことを認識し、その時点におけるミリ波レーダの自車ｗｈ１から交差車両ｗｈ２までの距離Ｌｒを算出し、自車ｗｈ１から交差点Ｃ１までの距離Ｒを取得することもできる。

なお、本発明は前記実施の形態に限定されるものではなく、本発明の趣旨に基づいて種々変形させることが可能であり、それらを本発明の範囲から排除するものではない。

本発明の実施の形態における車両制御システムを示す図である。 本発明の実施の形態における交差点認識処理手段の動作を示すメインフローチャートである。 本実施の形態における画像認識処理のサブルーチンを示す図である。 本発明の実施の形態における撮像装置の取付状態を示す図である。 本発明の実施の形態における撮像領域を示す図である。 本発明の実施の形態における撮像装置の取付状態の詳細を示す図である。 本発明の実施の形態における検出結果補正処理を説明する第１の図である。 本発明の実施の形態における検出結果補正処理を説明する第２の図である。

符号の説明

１０ 制御部
１４ ナビゲーション装置
２１ ＣＰＵ
４８ 前方監視装置
４９Ｆ 撮像装置
５１ 情報センタ
６３ ネットワーク
Ｃ１ 交差点
ｗｈ２ 交差車両

Claims (3)

1. 車両の所定の箇所に取り付けられ、車両の前方を撮影する撮像装置と、
   照射媒体に対して照射して被照射物までの距離を測定するレーダ装置と、
   前記撮像装置から送られた複数のフレームの画像データに対して画像認識処理を行い、交差点を移動する交差車両を車両候補物として検出する画像認識処理手段と、
   各フレーム間における、前記検出された車両候補物の実際の移動量を算出するとともに、該実際の移動量及び各フレームの切替りの周期に基づいて車両候補物の移動速度を算出する移動変数算出処理手段と、
   前記移動速度をパラメータとして前記レーダ装置に与え、該レーダ装置によって測定された車両候補物までの距離を取得する距離取得処理手段とを有することを特徴とする交差点認識システム。
2. 各フレームの画像データに基づいて、各フレームの画像データについて撮影が行われたときの車両から車両候補物までの距離を算出する距離算出処理手段を有するとともに、
   前記移動変数算出処理手段は、前記各フレームの画像データに基づいて、各フレーム間の画像領域上の車両候補物の移動量を算出するとともに、該各フレーム間の画像領域上の車両候補物の移動量、及び各フレームの画像データについて撮影が行われたときの車両から車両候補物までの距離に基づいて、各フレーム間における前記車両候補物の実際の移動量を算出する請求項１に記載の交差点認識システム。
3. 車両の前方を車両の所定の箇所に取り付けられた撮像装置によって撮影し、
   レーダ装置によって照射媒体に対して照射して被照射物までの距離を測定し、
   撮像装置から送られた複数のフレームの画像データに対して画像認識処理を行い、交差点を移動する交差車両を車両候補物として検出し、
   各フレーム間における、前記検出された車両候補物の実際の移動量を算出するとともに、該実際の移動量及び各フレームの切替りの周期に基づいて車両候補物の移動速度を算出し、
   該移動速度をパラメータとして前記レーダ装置に与え、該レーダ装置によって測定された車両候補物までの距離を取得することを特徴とする交差点認識方法。

Images