JP2008139295A - カメラを用いた車両用ナビゲーションの交差点案内装置及びその方法 - Google Patents

Abstract

【課題】カメラを用いて獲得した車両前方映像と、当該前方映像から認識された交通標識を用いて交差点の中心点を求め、車両のターンバイターン情報とをオーバーレイすることにより、交差点での運転者の混乱を最小化し、かつ正確な道案内をする、カメラを用いた車両用ナビゲーションの交差点案内装置を提供する。
【解決手段】車両の現在位置情報と、航法情報手段からの交差点位置情報とを用いて、予め設定された距離以内の交差点に接近しているか否かを判断する交差点確認手段と、映像認識手段からの交通標識認識情報を用いて交差点の中心点を確認する交差点中心確認手段と、交差点の中心点、交差点位置情報、及び現在位置を用いて表すターンバイターン情報を、車両の交差点への接近に応じて変動させる制御手段と、該制御手段で変動したターンバイターン情報を前方映像にオーバーレイすることにより、映像出力手段を介して提供する方向表示手段とを備える。
【選択図】図２Ａ

Description

本発明は、カメラを用いた車両用ナビゲーションの交差点案内装置及びその方法に関し、より詳細には、カメラを用いて獲得した車両前方映像と、当該前方映像から認識された交通標識を用いて交差点の中心点を求め、車両のターンバイターン（Ｔｕｒｎ−Ｂｙ−Ｔｕｒｎ：ＴＢＴ）情報とをオーバーレイすることにより、交差点での運転者の混乱を最小化し、かつ正確な道案内をする、カメラを用いた車両用ナビゲーションの交差点案内装置及びその方法に関する。

また、本発明は、カメラを用いて、車両の位置から交差点の位置までの距離及び交差点のターンバイターン情報に対応する画面に表示される座標情報を予め格納し、走行中において、車両の位置から交差点の位置までの距離及び交差点のターンバイターン情報に対応する前記座標情報に基づき、実際に撮影された映像にオーバーレイ表示する、カメラを用いた車両用ナビゲーションの交差点案内装置及びその方法に関する。

本発明は、情報通信部及び情報通信研究振興院のＩＴ新成長動力核心技術開発事業の一環として行われた研究から導かれたものである［課題管理番号：２００５−Ｓ−１１４、課題名：テレマティクス用実感コンテンツの構築／管理技術開発］。

従来の車両用ナビゲーションは、衛星を介して現在位置情報を得るＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信機を用いて、走行中の地域の地図、現在位置、及び経路を画面上に表示し、運転者の所望する目的地を容易に見つけ出すことができるようにする。

以下、従来の車両用ナビゲーションの交差点案内方式について説明する。図１は、従来の車両用ナビゲーションの交差点案内方式を示すフローチャートである。

同図に示すように、従来の車両用ナビゲーションは、目的地及び主要経由地情報を設定した後、走行を開始する（Ｓ１、Ｓ２）。従来の車両用ナビゲーションは、ＧＰＳ受信機を用いて現在位置を確認し、交差点に接近すると（Ｓ３）、交差点との距離を抽出し、設定距離以内に接近しているか否かを確認する（Ｓ４、Ｓ５）。このとき、従来の車両用ナビゲーションは、車両が交差点との設定距離以内に接近すると、方向情報メッセージを送出し、交差点での走行方向を矢印で案内する（Ｓ６、Ｓ７）。その後、従来の車両用ナビゲーションは、交差点を通過して一定距離を走行すると（Ｓ８）、交差点案内を終了する（Ｓ９）。

一般的に、従来の車両用ナビゲーションは、地図を基にしているが、運転者に提供する地図データの容量が膨大で、製作費用が高くなる短所がある。特に、従来の車両用ナビゲーションは、地図を基にしているため、運転者が見る走行画面と一致しない場合も発生する。これに対し、日本では、建物などの地図データを３次元（３Ｄ）情報として提供する車両用ナビゲーションが提案された。しかし、前記３次元の車両用ナビゲーションは、全国の主要交差点の建物を３次元情報として構築しなければならないため、主な建物や道標を中心に構築するほかなく、実際の走行画面との違いから可読性が低下する短所がある。

上のような地図に基づく車両用ナビゲーションの短所を克服するために提案されたビデオに基づく車両用ナビゲーションは、カメラを用いて運転者の走行画面を撮影し、走行画面に交差点での方向情報を提供する。すなわち、前記ビデオに基づく車両用ナビゲーションは、運転者の走行画面に交差点での方向情報を表示する。

しかしながら、従来のビデオに基づく車両用ナビゲーションは、道路の地形データを用いて方向情報を表示するが、前記道路の地形データを構築する費用及び時間がかかるうえに、更新時間も長いとの問題がある。また、従来のビデオに基づく車両用ナビゲーションは、正確なＧＰＳ情報とカメラの姿勢情報とを仮定することにより、ＧＰＳ情報の受信が円滑でない都心では使用できない短所がある。すなわち、従来のビデオに基づく車両用ナビゲーションは、ＧＰＳ情報がなければ、所期の目的の達成は困難である。

そこで、本発明は、上記のような問題を解決し、かつ上記のような必要性に鑑みてなされたものであって、その目的は、カメラを用いて獲得した車両前方映像と、当該前方映像から認識された交通標識を用いて交差点の中心点を求め、車両のターンバイターン情報とをオーバーレイすることにより、交差点での運転者の混乱を最小化し、かつ正確な道案内をする、カメラを用いた車両用ナビゲーションの交差点案内装置及びその方法を提供することにある。

また、本発明の目的は、カメラを用いて、車両の位置から交差点の位置までの距離及び交差点のターンバイターン情報に対応する画面に表示される座標情報を予め格納し、走行中において、車両の位置から交差点の位置までの距離及び交差点のターンバイターン情報に対応する前記座標情報に基づき、実際に撮影された映像にオーバーレイ表示する、カメラを用いた車両用ナビゲーションの交差点案内装置及びその方法を提供することにある。

本発明の他の目的及び長所は、下記の説明により理解することができ、本発明の実施形態により更に明確になるはずである。また、本発明の目的及び長所は、特許請求の範囲に示す手段及びその組み合わせにより実現可能であることが容易にわかるであろう。

上記の目的を達成するための本発明は、映像入力手段、映像出力手段、ＧＰＳ受信手段、車両の走行経路上に位置する交差点位置情報及びターンバイターン情報を格納する航法情報手段、及び前方映像から交通標識を認識する映像認識手段を備える車両用ナビゲーションの交差点案内装置において、前記ＧＰＳ受信手段で測定された車両の現在位置情報と、航法情報手段からの交差点位置情報とを用いて、予め設定された距離以内の交差点に接近しているか否かを判断する交差点確認手段と、該交差点確認手段で予め設定された距離以内の交差点への接近が判断されることにより、前記映像認識手段からの交通標識認識情報を用いて交差点の中心点を確認する交差点中心確認手段と、該交差点中心確認手段で確認された交差点の中心点、前記航法情報手段の交差点位置情報、及び前記ＧＰＳ受信手段で確認された現在位置を用いて表すターンバイターン情報を、車両の交差点への接近に応じて変動させる制御手段と、該制御手段で変動したターンバイターン情報を前方映像にオーバーレイすることにより、前記映像出力手段を介して提供する方向表示手段とを備える。

また、本発明は、カメラによって実際に撮影された車両の前方映像を用いた車両用ナビゲーションの交差点案内方法において、走行経路が設定されると、車両の走行経路上にある交差点を抽出して前記交差点のターンバイターン情報を生成する第１ステップと、車両の走行に伴い、車両の現在位置から交差点の位置までの距離を確認して交差点のターンバイターン情報を提供するため、予め設定された臨界距離に接近すると、交通標識に対する認識情報があるか否かを確認する第２ステップと、交通標識に対する認識情報があれば、当該交通標識認識情報を用いて、前方映像における交差点の中心点を確認する第３ステップと、車両の現在位置を用いて表されたターンバイターン情報を、車両の交差点への接近に応じて変動させる第４ステップと、該変動したターンバイターン情報を前方映像にオーバーレイ表示し、交差点を所定の距離走行した後、交差点のターンバイターン情報の提供を終了する第５ステップとを含む。

更に、本発明の他の実施形態は、映像入力手段、映像出力手段、ＧＰＳ受信手段、及び車両の走行経路上に位置する交差点位置情報及びターンバイターン情報を格納する航法情報手段を備える車両用ナビゲーションの交差点案内装置において、車両の位置から交差点の位置までの距離及びターンバイターン情報に基づき、前記映像出力手段の画面に表示される座標情報を格納する座標情報格納手段と、前記ＧＰＳ受信手段で確認された車両の現在位置から航法情報手段で確認された交差点の位置までの距離及び前記航法情報手段で確認された交差点のターンバイターン情報に対応する前記座標情報格納手段で確認された座標情報を用いて、ターンバイターン情報を、前記映像入力手段で実際に撮影した前方映像にオーバーレイする制御手段とを備える。

また、本発明の他の実施形態は、カメラによって実際に撮影された車両の前方映像を用いた車両用ナビゲーションの交差点案内方法において、車両の走行に伴い、予め設定された経路上における交差点案内地点なのか否かを確認する第１ステップと、交差点案内地点として確認されると、車両の現在位置から交差点の位置までの距離及びターンバイターン情報を確認する第２ステップと、車両の現在位置から交差点の位置までの距離及びターンバイターン情報に基づき、画面に表示するための座標情報を確認する第３ステップと、前記車両の現在位置から交差点の位置までの距離及びターンバイターン情報に基づき、確認された座標情報に実際に撮影された映像をオーバーレイ表示する第４ステップと、車両が交差点を一定距離以上走行すると、交差点案内を終了する第５ステップとを含む。

上述した目的、特徴及び長所は、添付された図面に関する以下の詳細な説明を通じてより明確になるはずであり、それにより、本発明の属する技術分野における通常の知識を有する者が本発明の技術的思想を容易に実施することができる。また、本発明の説明において、本発明に係る公知技術に対する具体的な説明が本発明の要旨を不明瞭にする可能性があると判断された場合、その詳細な説明を省略する。以下、添付された図面を参照して本発明の好ましい実施形態を詳細に説明する。

図２Ａは、本発明の一実施形態に係るカメラを用いた車両用ナビゲーションの交差点案内装置（以下、「交差点案内装置」とする。）を示す構成図である。

同図に示すように、本発明に係る交差点案内装置は、映像入力部２００、映像出力部２１０、ＧＰＳ受信部２２０、航法情報部２３０、映像認識部２４０、交差点確認部２５０、交差点中心確認部２６０、方向表示部２７０、及び制御部２８０を備える。

映像入力部２００は、車両に装着されたカメラを用いて車両の前方映像を撮影する。このとき、前記映像入力部２００は、通常の映像処理方法を用いて、撮影された映像のぶれ、ノイズなどを除去する。また、前記映像入力部２００は、撮影された映像を通常の映像処理方法に従って処理した後、映像出力部２１０及び映像認識部２４０に提供する。

映像出力部２１０は、映像入力部２００からの撮影された映像をリアルタイムで出力する。このとき、前記映像出力部２１０は、液晶表示装置（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：ＬＣＤ）のような車両内に搭載された自体のディスプレイ画面や車両用コンピュータ、個人携帯端末、テレマティクス端末などを介して映像を出力することにより、運転者に走行中の前方映像を提供する。

更に、映像出力部２１０は、制御部２８０を介して、方向表示部２７０から伝達された交差点のターンバイターン情報と、映像入力部２００で撮影された前方映像とをともにオーバーレイすることにより、交差点での車両の走行方向を表示する。

ＧＰＳ受信部２２０は、通常のＧＰＳ位置測定方式に従って車両の現在位置を測定する。すなわち、前記ＧＰＳ受信部２２０は、衛星から伝送される信号を受信して車両の現在位置を正確に確認することができる。このとき、前記ＧＰＳ受信部２２０は、確認された車両の現在位置情報であるＧＰＳ情報を制御部２８０に提供する。

航法情報部２３０は、車両の走行経路上に位置する道路情報、交差点位置情報、交差点でのターンバイターン情報、交通標識（すなわち、信号灯、標示板など）の属性情報といった航法情報を管理する。このとき、前記航法情報部２３０は、これらの情報を確認し得る最小容量の大きさを有する電子地図の形態で格納及び管理することが好ましい。

映像認識部２４０は、映像入力部２００から提供された映像から交通標識を認識する。

また、前記映像認識部２４０は、交通標識を認識するため、交通標識の色情報、交通標識の位置情報（すなわち、標識が道路上にあるといった情報など）、交通標識の形状（すなわち、球状、四角形状など）などを用いて認識する。ここで、前記映像認識部２４０は、交通標識を認識するため、様々な方式による検出方法の適用が可能であり、当業者であれば容易に理解することができるため、これに関する詳細な説明は省略する。

交差点確認部２５０は、運転者に走行経路上に位置する交差点のターンバイターン情報を提供するための臨界距離情報（以下、「交差点認識距離情報」とする。）が制御部２８０から伝達されると、前記交差点認識距離情報を用いて、走行中の車両が走行経路上に位置する交差点に接近しているか否かを判断する。すなわち、前記交差点確認部２５０は、走行中の車両が交差点認識距離以内に接近しているか否かを判断する。一例として、前記交差点確認部２５０は、ＧＰＳ受信部２２０により確認された車両の現在位置情報と、航法情報部２３０により確認された交差点位置情報とを対比し、交差点認識距離に接近しているか否かを確認する。

その後、前記交差点確認部２５０は、車両が交差点認識距離以内に接近すると、交差点中心確認部２６０及び方向表示部２７０に通知する。

交差点中心確認部２６０は、交差点確認部２５０から車両が交差点認識距離以内に接近していることを知らせる信号が入力されると、映像認識部２４０で認識された交通標識認識情報が制御部２８０から伝達される。このとき、前記交差点中心確認部２６０は、交通標識認識情報に含まれている交差点までの距離に応じたピクセル情報及び交通標識の高さ情報を用いて、前方映像における交差点の中心点を確認する。

具体的に、前記交差点中心確認部２６０は、映像認識部２４０で認識された交通標識の信号灯を用いて、前方映像における交差点の中心点を、下記のように確認する。

ここで、交差点の中心点は、映像座標（ｘ，ｙ）である。前記交差点の中心点は、前方映像において信号灯の位置を確認し、信号灯の高さだけ下がった地点に位置する。このため、前記ｘ座標を前方映像の中心点に置き、前記ｙ座標は比例式を用いて計算する。付加的に、前記ｘ座標は、現在の車線の中心点の座標を求め得る場合、車線の中心点の座標としてあてることもできる。

図２Ｂは、本発明の交差点中心確認部２６０において、信号灯を用いて交差点の中心点を確認する比例式を誘導するための説明図である。

同図による比例式において、「カメラが捕らえた信号灯の大きさ」を誘導するための比例式は、下記［数１］のとおりである。ここで、前記「カメラが捕らえた信号灯の大きさ」を映像に表すため、上記［数１］を用いて計算された「カメラが捕らえた信号灯の大きさ」に「ピクセルサイズ」をかけて求める。これを下記［数２］に示す。

このとき、前記信号灯の高さは、通常、固定値（例えば、５ｍなど）に設定され、前記ピクセルサイズは、カメラの物理的なセルの大きさを表すため、容易に確認することができる。

一方、交差点の中心点のｙ座標は、上記［数２］で求められた「カメラが捕らえた信号灯の大きさ」及び「信号灯のｙ座標」を用いて、下記［数３］のように計算される。

これとは異なり、前記交差点中心確認部２６０は、他車両の干渉や天気などのような要因により、映像認識部２４０で交通標識の認識に失敗した場合、及び車両が交差点認識距離以内に接近していない状態の場合、航法情報部２３０から交通標識の位置情報を抽出し、前方映像における交差点の中心点（すなわち、映像座標）を確認する。このとき、前記交差点中心確認部２６０は、確認された交差点の中心点に関する情報を方向表示部２７０に提供する。一例として、前記交差点中心確認部２６０は、航法情報部２３０から「（ｘ，ｙ）」のような交差点の中心点である映像座標を確認することができる。

方向表示部２７０は、交差点確認部２５０で車両の交差点認識距離以内への接近が確認されると、制御部２８０を介して提供された交差点のＧＰＳ情報と、これに対応するターンバイターン情報とを映像出力部２１０に伝達する。更に付け加えると、前記方向表示部２７０は、ターンバイターン情報を映像出力部２１０に伝達することにより、映像出力部２１０を介して、車両の交差点における走行すべきターンバイターン情報を、映像入力部２００のカメラによって撮影された前方映像にオーバーレイして運転者に提供できるようにする。

特に、前記方向表示部２７０は、ＧＰＳ受信部２２０の現在位置情報と、航法情報部２３０の交差点位置情報とを用いることにより、距離に応じて大きさが変化する車両の走行方向を示す表示を、ターンバイターン情報とともに、映像出力部２１０に提供する。すなわち、前記方向表示部２７０は、ＧＰＳ受信部２２０の現在位置情報「（ｘ，ｙ，ｚ）」と、航法情報部２３０の交差点位置情報「（ｘ１，ｙ１，ｚ１）」とを用いて、３次元における２点間の距離を求め、交差点中心確認部２６０の交差点の中心点の映像位置において、距離に応じて大きさが変化する車両の走行方向を示す表示を、ターンバイターン情報とともに、映像出力部２１０に提供する。

ＧＰＳ受信部２２０の現在位置から交差点中心確認部２６０の交差点の中心点までの距離に応じて大きさが変化する車両の走行方向を示す表示を、ターンバイターン情報とともに、映像出力部２１０に提供する。

制御部２８０は、映像入力部２００、映像出力部２１０、ＧＰＳ受信部２２０、航法情報部２３０、映像認識部２４０、交差点確認部２５０、交差点中心確認部２６０、及び方向表示部２７０を制御する。

また、前記制御部２８０は、航法情報部２３０を用いて、交差点の案内地点及び次の交差点の位置、道路の曲率などを、通常の方式に従って計算することにより、交差点認識距離情報を予め設定する。このとき、前記制御部２８０は、交差点認識距離に関する情報を交差点確認部２５０に伝達し、当該交差点確認部２５０で車両が交差点に接近しているか否かを判断できるようにする。

更に、制御部２８０は、航法情報部２３０を用いて通常の経路案内を行う。すなわち、前記制御部２８０は、車両の出発時に、出発地から目的地までの経路と、当該経路に沿った主要経由地に対する最適な走行経路とを、通常の方式に従って設定する。特に、前記制御部２８０は、航法情報部２３０を用いて、走行経路上に位置する交差点を抽出及び設定し、このとき抽出された交差点のターンバイターン情報及びＧＰＳ情報もともに生成する。これにより、前記制御部２８０は、抽出された交差点のＧＰＳ情報に対応するターンバイターン情報を方向表示部２７０に提供することにより、最終的に映像出力部２１０を介して出力される前方映像にターンバイターン情報をオーバーレイした後に出力できるようにする。

ここで、前記制御部２８０は、車両が走行経路上にある交差点に接近するにつれ、車両の現在位置から交差点の中心点までの距離をターンバイターン情報に反映して提供する。一般的に、車両の現在位置から交差点の中心点までの距離は、車両が走行経路上にある交差点に接近するにつれて短くなる。これにより、前記制御部２８０は、車両が走行経路上にある交差点に接近するにつれ（すなわち、車両の現在位置から交差点の中心点までの距離が短くにつれ）、これを映像出力部２１０を介して出力される前方映像のターンバイターン情報に反映する。

例えば、前記制御部２８０は、交差点中心確認部２６０で確認された交差点の中心点の座標（ｘ，ｙ）と、ＧＰＳ受信部２２０で測定された車両の現在位置の映像における座標（ｘ１，ｙ１）とを用いて、２つの座標を結ぶ線を平面に投影させ、ターンバイターン情報を表す。ここで、前方映像の中心点を基準とする座標平面上において、横軸をｘ軸、縦軸をｙ軸とすると、前記車両の現在位置の座標（ｘ１，ｙ１）は、前方映像の表す前記座標平面において座標（前方映像の中心点のｘ座標、前方映像の中心点のｙ軸の最下位の座標）で示すことが好ましい。

これにより、前記制御部２８０は、車両が走行経路上にある交差点に接近するにつれ、交差点の中心点と車両の現在位置との距離も短くなり、前方映像の中心点のｘ座標が一定で、かつ前方映像の中心点のｙ座標が距離に応じて変動し、ターンバイターン情報を自然に表す。

また、制御部２８０は、ＧＰＳ受信部２２０の現在位置情報を用いて交差点を一定距離以上走行した後、方向表示部２７０を介して映像出力部２１０に表す交差点のターンバイターン情報に対する案内を終了し、通常の方式による経路案内を引き続き行う。

図３Ａ及び図３Ｂは、本発明の一実施形態に係る交差点案内装置において、距離に応じたターンバイターン情報を表す前方映像の出力画面の一例を示す図である。

前記図３Ａは、車両が前方１００ｍにある交差点に接近している場合を示しており、前記図３Ｂは、車両が前方５０ｍにある交差点に接近している場合を示している。

これらの図に示すように、前記ターンバイターン情報は、実際に撮影された前方映像にオーバーレイ表示される。すなわち、図３Ａは、図３Ｂのように、前記ターンバイターン情報が上から下に下がっていることがわかる。

また、前記図３Ａにおける車両の走行方向を示す表示、すなわち、図中の矢印「３０１」は、前記図３Ｂの「３０２」のように、車両が走行経路上にある交差点に接近するにつれて拡大表示される。

そのため、本発明に係る交差点案内装置は、車両が走行経路上にある交差点に接近することにより、ターンバイターン情報を、実際に撮影された前方映像と自然にオーバーレイして提供する。

図４は、本発明が適用される３次元上における仮想カメラを用いてターンバイターン情報を表す例を示す図である。

同図は、他の例を示したものであって、３次元上における仮想カメラを用いてターンバイターン情報を表し、これを実際のカメラで撮影した映像に合成する方法によってターンバイターン情報を表すものである。

同図に示すように、カメラが車両の天井に設置されており、交通標識の認識がない場合は、カメラが道路に対して平行な方向を向いていると仮定する。また、交通標識の認識がある場合は、実際のカメラが交通標識の映像座標を向いているときの角度を求め、仮想カメラをその角度だけ回転した方向に向かうようにする。

仮想カメラは、実際のカメラと同じ画角を有し、交差点までの距離は、ＧＰＳ受信部２２０の現在位置情報と、航法情報部２３０の交差点位置情報とを用いて求める。

カメラの位置は、任意で地面からの車両の高さを用いて定め［例えば、（０，２，０）など］、交差点が３次元でｚ軸上にあると仮定し［例えば、（０，０，交差点までの距離）］、仮想カメラを用いて、ターンバイターン情報をレンダリングして映像を獲得し、実際のカメラで撮影した映像に合成してターンバイターン情報を表す。このように、仮想カメラとの距離情報を用いて３次元の仮想オブジェクトを構成した後、これをカメラで撮影した２次元映像に合成することは、３次元オブジェクトを扱う映像処理（例えば、ＯｐｅｎＧＬを用いた映像処理）に係る当業者であれば容易に理解することができるため、詳細な説明は省略する。

付加的に、図５Ａ及び図５Ｂを参照して、本発明の交差点案内装置において、距離に応じたターンバイターン情報を表す他の実施形態について説明する。

これらの図は、本発明の他の実施形態に係る交差点案内装置において、距離に応じたターンバイターン情報を表す前方映像の出力画面の一例を示す図である。このとき、出力画面は、４８０×２７２の画面を例に挙げて説明する。

また、出力画面において最下位の真ん中にある座標情報「（２４０，２７２）」は、車両の現在位置に該当する座標点を表す。

このとき、左方向ターンバイターン情報において、座標情報「（２４０，０≦ｙ≦２７２）」は、交差点のターンバイターン情報の方向を示すための出発点であり、座標情報「（０，０≦ｙ≦２７２）」は、交差点のターンバイターン情報の方向を示すための終点である。右方向ターンバイターン情報において、座標情報「（２４０，０≦ｙ≦２７２）」は、交差点のターンバイターン情報の方向を示すための出発点であり、座標情報「（４８０，０≦ｙ≦２７２）」は、交差点のターンバイターン情報の方向を示すための終点である。そして、前記出発点及び前記終点は等しいことが好ましい。

これらの図に示すように、前記交差点案内装置は、距離に応じたターンバイターン情報を、下記のように提供することもできる。

前記交差点案内装置は、距離に応じたターンバイターン情報をオーバーレイするため、ターンバイターン情報を距離に応じて表示する画面の座標情報［すなわち、（ｘ，ｙ）］を予め指定して格納し、これを映像入力部２００で撮影された実際の映像にオーバーレイする。このため、前記交差点案内装置は、図２Ａに示されていない座標情報格納部を備える。

前記座標情報格納部は、車両の位置から交差点の位置までの距離に応じて画面に表示される座標情報をテーブルに格納する。このとき、前記座標情報格納部は、車両の位置から交差点の位置までの距離に応じてターンバイターン情報の左方向又は右方向が画面上に線表示されるため、車両の位置から交差点の位置までの距離に対応する座標情報である出発点（ａ）及び終点（ｂ）を予め格納する。ここで、前記座標情報格納部は、出発点（ａ）から終点（ｂ）までを結ぶ線が運転者によって認識され得るように、出発点（ａ）から終点（ｂ）までを結ぶ線と、出発点（ａ）から車両の現在位置に該当する座標点を中心に、その表示範囲を「±α」で上下の画素が更に表示され得るようにすることが好ましい。このとき、前記表示範囲の「±α」は、ユーザによって調整可能である。

以下、前記座標情報格納部は、これらの図に示すような、ターンバイターン情報を表すためのテーブルを、下記［表１］のように示すことができる。

制御部２８０は、ＧＰＳ受信部２２０から車両の現在位置情報を確認し、航法情報部２３０から交差点位置情報を確認する。これにより、前記制御部２８０は、車両の現在位置から交差点の位置までの距離を確認する。例えば、前記制御部２８０は、車両の前方に位置する交差点まで、１００ｍ、９０ｍ、８０ｍなどのように近づいてくることを確認することができる。前記制御部２８０は、航法情報部２３０により交差点のターンバイターン情報を確認する。すなわち、前記制御部２８０は、航法情報部２３０により交差点のターンバイターン情報が左側なのか右側なのかを確認することができる。

更に、制御部２８０は、車両の現在位置から交差点の位置までの距離及びターンバイターン情報を確認すると、座標情報格納部に格納されたテーブルから、前記距離に応じて画面に表示される出発点、終点、及び表示範囲を確認する。その後、前記制御部２８０は、確認された出発点、終点、及び表示範囲を用いて、左方向ターンバイターン情報又は右方向ターンバイターン情報を、実際に撮影される前方映像にオーバーレイする。

図６は、本発明の一実施形態に係るカメラを用いた車両用ナビゲーションの交差点案内方法を示すフローチャートである。

同図に示すように、本発明に係る交差点案内装置は、ナビゲーションが動作すると、目的地及び主要経由地情報を設定して最適な走行経路を設定する（Ｓ５０１）。このとき、前記交差点案内装置は、走行経路上に位置する交差点を抽出して設定し、このとき抽出された交差点のターンバイターン情報及びＧＰＳ情報もともに生成する。また、前記交差点案内装置は、交差点認識距離を予め設定する。

その後、前記交差点案内装置は、走行が開始されると、車両の走行位置を確認し、抽出された交差点との距離を確認する（Ｓ５０２）。このとき、前記交差点案内装置は、ＧＰＳ情報を用いて現在の位置情報を確認する。

一方、前記交差点案内装置は、設定された最適な走行経路に沿って走行しながら、予め設定された交差点認識距離以内に接近しているか否かを確認する（Ｓ５０３）。

その後、前記交差点案内装置は、交差点認識距離以内に接近すると（Ｓ５０３）、カメラを通して前方映像にある交通標識に対する認識情報があるか否かを確認する（Ｓ５０４）。

ここで、前記交差点案内装置は、交通標識に対する認識情報があれば（Ｓ５０４）、交通標識認識情報を用いて交差点の中心点の映像座標を確認する（Ｓ５０５）。

反面、前記交差点案内装置は、交通標識に対する認識情報がなければ（Ｓ５０４）、予め設定された航法情報を用いて交差点の中心点の映像座標を確認する（Ｓ５０６）。

その後、前記交差点案内装置は、車両の現在位置及び交差点の中心点を用いて表したターンバイターン情報を、車両の交差点への接近に応じて変動させる（Ｓ５０７）。このとき、前記交差点案内装置は、前記のように変動したターンバイターン情報を、実際に撮影された前方映像にオーバーレイ表示する（Ｓ５０８）。

次いで、前記交差点案内装置は、交差点を所定の距離以上走行した後、運転者に提供される交差点のターンバイターン情報の提供を終了する（Ｓ５０９）。

図７は、本発明の他の実施形態に係るカメラを用いた車両用ナビゲーションの交差点案内方法を示すフローチャートである。

同図に示すように、交差点案内装置は、走行が開始されると、走行位置を確認する（Ｓ６０１）。このとき、前記交差点案内装置は、車両から交差点までの距離の確認を続ける。すなわち、前記交差点案内装置は、ＧＰＳ受信部２２０から車両の現在位置を確認し、航法情報部２３０から交差点の位置を確認することにより、距離を確認することができる。

しかる後、前記交差点案内装置は、予め設定された交差点案内地点なのか否かを確認する（Ｓ６０２）。このとき、前記交差点案内装置は、交差点案内地点として確認されると、車両の現在位置から交差点の位置までの距離を確認し、交差点のターンバイターン情報を確認する（Ｓ６０３）。

次いで、前記交差点案内装置は、前記「Ｓ６０３」で確認された車両の現在位置から交差点の位置までの距離及びターンバイターン情報に基づき、画面に表示される座標情報（すなわち、出発点、終点、及び表示範囲）を確認する（Ｓ６０４）。

その後、前記交差点案内装置は、画面に表示されるターンバイターン情報を、確認された座標情報に基づき、実際に撮影された映像にオーバーレイ表示する（Ｓ６０５）。

これに加え、前記交差点案内装置は、車両が交差点を一定距離以上走行したか否かを確認するが（Ｓ６０６）、車両が交差点を一定距離以上走行すると、交差点案内を終了する（Ｓ６０７）。

上記のような本発明は、カメラで撮影した実際の映像を認識して正確な交差点のターンバイターン情報を提供することにより、運転者が複雑な交差点を走行するのに寄与する効果がある。

また、本発明は、ＧＰＳ情報の受信が円滑でない複雑な都心の交差点における交通標識などを、カメラから入力される情報を用いることにより、より正確な交差点案内に寄与する効果がある。

更に、本発明は、カメラを用いて実際に撮影した映像を用いることにより、道路の地形データを構築する費用の軽減及び時間の短縮を図る一方で、地図データの更新を必要としない効果がある。

上述した本発明の方法は、プログラムとして実現され、コンピュータで読み取り可能な形態で記録媒体（ＣＤ−ＲＯＭ、ＲＡＭ、ＲＯＭ、フロッピーディスク、ハードディスク、光磁気ディスクなど）に格納され得る。このような過程は、本発明の属する技術分野における通常の知識を有する者が容易に実施できるため、これ以上の詳細な説明は省略する。

以上で説明した本発明は、本発明の属する技術分野における通常の知識を有する者にとって、本発明の技術的思想を逸脱しない範囲内で様々な置換、変形及び変更が可能なため、上述した実施形態及び添付された図面により限定されるものではない。

従来の車両用ナビゲーションの交差点案内方式を示すフローチャートである。 本発明の一実施形態に係るカメラを用いた車両用ナビゲーションの交差点案内装置を示す構成図である。 本発明の交差点中心確認部において、信号灯を用いて交差点の中心点を確認する比例式を誘導するための説明図である。 本発明の一実施形態に係る交差点案内装置において、距離に応じたターンバイターン情報を表す前方映像の出力画面の一例を示す図である。 本発明の一実施形態に係る交差点案内装置において、距離に応じたターンバイターン情報を表す前方映像の出力画面の一例を示す図である。 本発明が適用される３次元上における仮想カメラを用いてターンバイターン情報を表す例を示す図である。 本発明の他の実施形態に係る交差点案内装置において、距離に応じたターンバイターン情報を表す前方映像の出力画面の一例を示す図である。 本発明の他の実施形態に係る交差点案内装置において、距離に応じたターンバイターン情報を表す前方映像の出力画面の一例を示す図である。 本発明の一実施形態に係るカメラを用いた車両用ナビゲーションの交差点案内方法を示すフローチャートである。 本発明の他の実施形態に係るカメラを用いた車両用ナビゲーションの交差点案内方法を示すフローチャートである。

符号の説明

２００ 映像入力部
２１０ 映像出力部
２２０ ＧＰＳ受信部
２３０ 航法情報部
２４０ 映像認識部
２５０ 交差点確認部
２６０ 交差点中心確認部
２７０ 方向表示部
２８０ 制御部

Claims (12)

1. 映像入力手段、映像出力手段、ＧＰＳ受信手段、車両の走行経路上に位置する交差点位置情報及びターンバイターン情報を格納する航法情報手段、及び前方映像から交通標識を認識する映像認識手段を備える車両用ナビゲーションの交差点案内装置において、
   前記ＧＰＳ受信手段で測定された車両の現在位置情報と、航法情報手段からの交差点位置情報とを用いて、予め設定された距離以内の交差点に接近しているか否かを判断する交差点確認手段と、
   該交差点確認手段で予め設定された距離以内の交差点への接近が判断されることにより、前記映像認識手段からの交通標識認識情報を用いて交差点の中心点を確認する交差点中心確認手段と、
   該交差点中心確認手段で確認された交差点の中心点、前記航法情報手段の交差点位置情報、及び前記ＧＰＳ受信手段で確認された現在位置を用いて表すターンバイターン情報を、車両の交差点への接近に応じて変動させる制御手段と、
   該制御手段で変動したターンバイターン情報を前方映像にオーバーレイすることにより、前記映像出力手段を介して提供する方向表示手段と
   を備えることを特徴とするカメラを用いた車両用ナビゲーションの交差点案内装置。
2. 前記交差点中心確認手段が、
   前記映像認識手段からの交通標識認識情報を用いて、前方映像における交通標識の高さを用いて交差点の中心点を確認することを特徴とする請求項１に記載のカメラを用いた車両用ナビゲーションの交差点案内装置。
3. 前記交差点中心確認手段が、
   前記映像認識手段で交通標識を認識できない場合、前記航法情報手段から交通標識の位置情報を抽出して交差点の中心点を確認することを特徴とする請求項１に記載のカメラを用いた車両用ナビゲーションの交差点案内装置。
4. 前記方向表示手段が、
   前記ＧＰＳ受信手段で測定された車両の現在位置から前記交差点中心確認手段で確認された交差点の中心点までの距離に応じて大きさが変化する走行方向表示を提供することを特徴とする請求項１に記載のカメラを用いた車両用ナビゲーションの交差点案内装置。
5. カメラによって実際に撮影された車両の前方映像を用いた車両用ナビゲーションの交差点案内方法において、
   走行経路が設定されると、車両の走行経路上にある交差点を抽出して前記交差点のターンバイターン情報を生成する第１ステップと、
   車両の走行に伴い、車両の現在位置から交差点の位置までの距離を確認して交差点のターンバイターン情報を提供するため、予め設定された臨界距離に接近すると、交通標識に対する認識情報があるか否かを確認する第２ステップと、
   交通標識に対する認識情報があれば、当該交通標識認識情報を用いて、前方映像における交差点の中心点を確認する第３ステップと、
   車両の現在位置を用いて表されたターンバイターン情報を、車両の交差点への接近に応じて変動させる第４ステップと、
   該変動したターンバイターン情報を前方映像にオーバーレイ表示し、交差点を所定の距離走行した後、交差点のターンバイターン情報の提供を終了する第５ステップと
   を含むことを特徴とするカメラを用いた車両用ナビゲーションの交差点案内方法。
6. 前記第２ステップの後に、
   交通標識に対する認識情報がなければ、予め設定された航法情報を用いて交差点の中心点を確認するステップを更に含むことを特徴とする請求項５に記載のカメラを用いた車両用ナビゲーションの交差点案内方法。
7. 前記第４ステップにおいて、
   車両が交差点に接近することにより、大きさが変化する交差点の走行方向の表示を、ターンバイターン情報とともに示すことを特徴とする請求項５に記載のカメラを用いた車両用ナビゲーションの交差点案内方法。
8. 映像入力手段、映像出力手段、ＧＰＳ受信手段、及び車両の走行経路上に位置する交差点位置情報及びターンバイターン情報を格納する航法情報手段を備える車両用ナビゲーションの交差点案内装置において、
   車両の位置から交差点の位置までの距離及びターンバイターン情報に基づき、前記映像出力手段の画面に表示される座標情報を格納する座標情報格納手段と、
   前記ＧＰＳ受信手段で確認された車両の現在位置から航法情報手段で確認された交差点の位置までの距離及び前記航法情報手段で確認された交差点のターンバイターン情報に対応する前記座標情報格納手段で確認された座標情報を用いて、ターンバイターン情報を、前記映像入力手段で実際に撮影した前方映像にオーバーレイする制御手段と
   を備えることを特徴とするカメラを用いた車両用ナビゲーションの交差点案内装置。
9. 前記座標情報格納手段が、
   前記座標情報を、車両の位置から交差点の位置までの距離及びターンバイターン情報に基づき、画面に表示する出発点、終点、及び表示範囲に関するテーブルに格納し、
   前記制御手段が、
   車両の位置から交差点の位置までの距離及びターンバイターン情報に対応する前記座標情報格納手段で確認された座標情報に基づき、出発点から終点までを線で結び、当該線に沿って表示範囲領域を画面に表示することを特徴とする請求項８に記載のカメラを用いた車両用ナビゲーションの交差点案内装置。
10. 前記座標情報格納手段に格納された表示範囲が、ユーザによって調節可能であることを特徴とする請求項８に記載のカメラを用いた車両用ナビゲーションの交差点案内装置。
11. カメラによって実際に撮影された車両の前方映像を用いた車両用ナビゲーションの交差点案内方法において、
    車両の走行に伴い、予め設定された経路上における交差点案内地点なのか否かを確認する第１ステップと、
    交差点案内地点として確認されると、車両の現在位置から交差点の位置までの距離及びターンバイターン情報を確認する第２ステップと、
    車両の現在位置から交差点の位置までの距離及びターンバイターン情報に基づき、画面に表示するための座標情報を確認する第３ステップと、
    前記車両の現在位置から交差点の位置までの距離及びターンバイターン情報に基づき、確認された座標情報に実際に撮影された映像をオーバーレイ表示する第４ステップと、
    車両が交差点を一定距離以上走行すると、交差点案内を終了する第５ステップと
    を含むことを特徴とするカメラを用いた車両用ナビゲーションの交差点案内方法。
12. 前記第４ステップにおいて、
    車両の現在位置から交差点の位置までの距離及びターンバイターン情報に対応する座標情報である出発点、終点、及び表示範囲に基づき、出発点から終点までを線で結び、当該線に沿って表示範囲領域を画面に表示することを特徴とする請求項１１に記載のカメラを用いた車両用ナビゲーションの交差点案内方法。