JP4700080B2 - カーナビゲーションシステムおよび方法 - Google Patents

Description

本発明は、カーナビゲーションシステムおよび方法に関し、特に、車両に搭載されたカメラを用いてリアルタイムに収集される映像に対象地点（Ｐｏｉｎｔ ｏｆ Ｉｎｔｅｒｅｓｔ：ＰＯＩ）を表示するカーナビゲーションシステムおよび方法に関する。

本発明は、大韓民国情報通信部および情報通信研究振興院のＩＴ成長動力革新技術開発事業の一環として行われた研究から導き出されたものである［課題管理番号：２００５−Ｓ−１１４−０３、課題名：テレマティックスサービス用実現可能コンテンツの構築および管理技術開発（Ｔｅｃｈｎｏｌｏｇｙ Ｄｅｖｅｌｏｐｍｅｎｔ ｆｏｒ Ｃｏｎｓｔｒｕｃｔｉｏｎ ａｎｄ Ｍａｎａｇｅｍｅｎｔ ｏｆ Ｔａｎｇｉｂｌｅ Ｃｏｎｔｅｎｔ ｆｏｒ Ｔｅｌｅｍａｔｉｃｓ Ｓｅｒｖｉｃｅｓ）］。

２次元の地図形態で車両の進行をナビゲートする地図に基づくカーナビゲーションシステムでは、アイコンやテキストの形態で地図画面に対象地点（ＰＯＩ）を表示する。ＰＯＩは、建物、公園、施設などのオブジェクトのことをいい、ＰＯＩ情報は、地図座標系上の点または面の形態の座標とテキスト情報とを含むデータを有する。

また、車両に搭載されたカメラを用いてリアルタイムに収集された映像によって車両の走行をナビゲートする映像カーナビゲーションシステムでは、車両の前方映像上に重ねてＰＯＩを表示する。しかし、ＰＯＩを映像に出力するためには、正確なカメラの位置および姿勢が必要である。２次元の地図に基づくカーナビゲーションシステムでは、車両の概略的な位置さえ確認できれば、経路案内や地図出力などの機能を実行するのに大きな問題はないが、映像カーナビゲーションシステムでは、カメラの位置および姿勢のわずかな誤差が存在するだけで、カーナビゲーション機能に大きな影響を及ぼす。例えば、広い道路の１車線を走行する場合および４車線を走行する場合においては、普通のＧＰＳ受信機と、２次元カーナビゲーションシステムの機能とでは区分しにくく、また区分する必要もないが、ＰＯＩ情報の映像出力には大きな差をもたらす。

従来では、正確なカメラ情報を得るために、ジャイロスコープのような慣性センサを用いてカメラの位置および姿勢情報を補正する技術が知られている。また、従来では、ジャイロスコープのような慣性センサと傾斜計とを用いてカメラの方位角および傾斜角を検出する技術も知られている。

２次元の地図に基づくカーナビゲーションシステムでは考慮されないが、映像カーナビゲーションシステムにおいて考慮すべき別のことは、道路辺の入口から建物が遠く離れているか、または建物の領域が非常に大きい場合、建物の実際位置とＰＯＩの映像出力位置とに差が生じ得ることである。例えば、建物の中心点だけがＰＯＩ座標として記憶されている場合、建物に進入するための入口は、実際に道路辺にあって視野には入るが、建物自体がＰＯＩとして画面に出力されない場合が生じ得る。

従来の映像カーナビゲーションシステムは、正確なカメラ情報を得るために、高価な慣性センサを用いるため、製作単価が増大するという問題点があった。また、従来の映像カーナビゲーションシステムは、ＰＯＩに関する単一の座標だけしか提供しないため、視野には大型の建物が入るものの、当該建物がＰＯＩとして映像に出力されない場合があり、ドライバに正確なナビゲーションができないという問題点があった。

そこで、本発明は、安価でかつ正確なカメラ情報を取得できる映像カーナビゲーションシステムおよび方法を提供することを目的とする。

また、本発明は、高価な慣性センサを必要とせず、ＧＰＳ受信機およびカメラだけを用いて、カメラから取得した映像から認識した結果を利用して、ＰＯＩ情報をリアルタイム映像に重ねて出力できる映像カーナビゲーションシステムおよび方法を提供することを目的とする。

さらに、本発明は、従来のＰＯＩデータの構成方式とは異なり、ＰＯＩ座標（点または面）と関連付けられた追加的な点データを用いることにより、建物が画面に表れない場合でも、走行中に道路辺で実際に必要な出入口の位置を画面上に出力してドライバの道探索の手助けとなり得る映像カーナビゲーションシステムおよび方法を提供することを目的とする。

上記の目的を達成するために、本発明の映像カーナビゲーションシステムは、対象地点を画面に表示するための映像カーナビゲーションシステムであって、車両に搭載されたカメラを用いて前記画面を取得するデータ入力部と、前記画面から基準オブジェクトを認識する映像認識部と、前記対象地点および前記基準オブジェクトの地図上の位置に関する情報を提供する電子地図部と、前記基準オブジェクトの前記地図上の位置と、前記対象地点の前記地図上の位置との間の相対的な位置関係を用いて、前記基準オブジェクトを基準にした前記対象地点の前記画面上の対象地点位置を決定する演算部と、前記画面上の前記対象地点位置に前記対象地点を表示する出力部とを備えることを特徴とする。

また、上記の目的を達成するために、本発明の映像カーナビゲーション方法は、対象地点を画面に表示するための映像カーナビゲーション方法であって、（ａ）データ入力部によって、車両に搭載されたカメラを用いて前記画面を取得するステップと、（ｂ）映像認識部によって、前記画面から基準オブジェクトを認識するステップと、（ｃ）電子地図部によって提供される前記基準オブジェクトの地図上の位置と、前記対象地点の地図上の位置との間の相対的な位置関係を用いて、演算部によって、前記基準オブジェクトを基準にした前記対象地点の前記画面上の対象地点位置を決定するステップと、（ｄ）出力部によって、前記画面上の前記対象地点位置に前記対象地点を表示するステップとを含むことを特徴とする。

ここで、前記基準オブジェクトは信号灯とすることができる。

本発明のこの構成によれば、既存の高価な慣性センサを必要とせずに、基準オブジェクトに対する対象地点の相対的な地図上の位置を用いるだけで対象地点を特定することができる。

また、本発明の映像カーナビゲーションシステムおよび方法において、前記演算部は、前記基準オブジェクトを基準にした前記画面を、複数の画面基準領域に分割する画面基準領域設定部を含み、該画面基準領域設定部は、前記対象地点を前記複数の画面基準領域のうちの１つの画面基準領域に対応させることによって、前記対象地点位置を決定する。ここで、画面基準領域に対する対象地点の対応関係は、車両と基準オブジェクトと対象地点との間の位置関係によって決定される。

また、本発明の映像カーナビゲーションシステムおよび方法において、前記出力部は、前記対象地点の前記地図上の位置から２次元画像座標を計算し、前記対象地点位置に対応付けられる前記画面基準領域に前記２次元画像座標が含まれない場合には、前記２次元画像座標に前記対象地点を表示する代わりに、前記対象地点位置に前記対象地点を表示する。

本発明のこの構成によれば、３次元地図座標から計算した対象地点の２次元画像座標にエラーがある場合、その２次元画像座標の代わりに、基準領域設定過程で特定された対象地点位置に当該対象地点を表示できるため、画面上のより正確な位置に対象地点を表示することができる。

また、本発明の映像カーナビゲーションシステムおよび方法において、前記映像認識部は、前記画面から前記車両の前方の車線を認識する車線認識部を含み、前記演算部は、前記車線認識部によって認識された車線に関する情報から、前記車両の車両方位角を演算する方位角演算部を含むことができる。

ここで、前記出力部は、前記対象地点の前記地図上の位置から２次元画像座標を計算するために用いる車両方位角として、前記演算部によって演算された前記車両方位角およびＧＰＳ受信機から提供された車両方位角のうちのいずれか１つの車両方位角を選択することができる。

本発明のこの構成によれば、ＧＰＳデータに関して信頼度の高い車速区間（例えば、２０ｋｍ／ｈ以上）では、ＧＰＳ受信機からの車両方位角を用い、そうではない場合には、認識された車線から演算した車両方位角を用いることができるため、地図上の対象地点位置から２次元画像座標を計算するために用いられる車両方位角をより正確に特定することができる。

また、本発明の映像カーナビゲーションシステムおよび方法において、前記映像認識部は、前記画面から認識した車線に関する情報から前記車両の走行車道を認識する走行車道認識部を含み、前記演算部は、前記走行車道認識部によって認識された前記走行車道に関する情報から前記車両の位置を演算する位置演算部を含むことができる。

ここで、前記データ入力部は、ＧＰＳ受信機から前記車両の位置情報を受信し、前記位置演算部は、前記ＧＰＳ受信機から受信した前記車両の前記位置情報を、前記走行車道認識部によって認識された前記走行車道に関する情報を用いて補正することによって、前記車両の位置を演算する。

本発明のこの構成によれば、ＧＰＳ受信機からの情報により、道路中心線で特定された車両の位置に関して、道路中心線から直角方向の距離誤差を無くすことができる。

また、本発明の映像カーナビゲーションシステムおよび方法において、前記対象地点は、地図上の複数の対象地点座標に関連付けられ、前記演算部は、前記相対的な位置関係を決定するために、前記複数の対象地点座標のうちのいずれか１つの対象地点座標を、前記対象地点の前記地図上の位置に特定することができる。

本発明のこの構成によれば、対象地点を代表する座標と、その座標とリンクして当該対象地点の出入口などを表す座標とを含む複数の座標により、必要に応じて対象地点の位置を画面上に表すことができるため、対象地点をより正確に特定することができる。

本発明によれば、既存の高価な慣性センサを必要とせず、基準オブジェクトに対する対象地点の相対的な地図上の位置だけで、対象地点を特定することが可能となる。

また、本発明によれば、３次元地図座標から計算した対象地点の２次元画像座標にエラーがある場合、その２次元画像座標の代わりに、基準領域設定過程で特定された対象地点位置に当該対象地点を表示できるため、画面上でより正確な位置に対象地点を表示することが可能となる。

また、本発明によれば、ＧＰＳデータに関して信頼度が高い車速区間（例えば２０ｋｍ／ｈ）では、ＧＰＳ受信機からの車両方位角を用い、そうではない場合には認識された車線から演算した車両方位角を用いることができるため、地図上の対象地点位置から２次元画像座標を計算するために用いられる車両方位角をより正確に特定することが可能となる。

また、本発明によれば、ＧＰＳ受信機からの情報によって、道路中心線で特定された車両の位置に関して、道路中心線から直角方向の距離誤差を無くすことが可能となる。

また、本発明によれば、対象地点を代表する座標と、その座標とリンクして当該対象地点の出入口などを表す座標とを含む複数の座標により、必要に応じて対象地点の位置を画面上に表すことができるため、対象地点をより正確に特定することが可能となる。

以下では、添付図面を参照しながら、本発明の実施形態について説明する。
図１は、本発明の実施形態に係る映像カーナビゲーションシステム１００を示す構成図であり、図２は、図１の詳細を示す構成図である。映像カーナビゲーションシステム１００は、データ入力部１０、電子地図部２０、映像認識部３０、演算部４０、および出力部５０を含む。

データ入力部１０は、図示していないＧＰＳ受信機とカメラとを用いて、車両の現在位置および車両前方の映像を取得する。電子地図部２０は、ＰＯＩの位置座標値および当該ＰＯＩを説明するテキスト（例えば「ＡＢＣビル」のような建物の名称）を含むＰＯＩデータ、信号灯の位置座標値を含む信号灯データ、および電子道路地図を含み、車両の現在位置と関連付けられたＰＯＩデータおよび信号灯データを検索して、電子道路地図にマップマッチングする。映像認識部３０は、カメラを用いて取得される道路映像から、車線および信号灯を認識して、車両の現在の走行車道位置を計算する。演算部４０は、ＧＰＳ信号から車両方位角を算出し、映像認識部３０から受信した車線および信号灯の画像座標と、車両の現在の走行車道位置とによって、車両方位角および現在の車両位置を計算する。出力部５０は、車両位置および車両方位角を用いてＰＯＩ座標を画像座標に変換し、映像に重ねて出力する。

本明細書では、道路で車両が走行する広さを有する領域を「車道」といい、「車道」を区分する線（中央線および道路境界線を含む）を「車線」という。また、「走行車道位置」とは、道路の中央線から順に付与した車道の番号をいい、例えば片側４車線道路では、車両が中央から２番目の車道を走行中であれば、走行車道位置＝２となる。「車両方位角」とは、地図座標系のＮ軸に対して車両の進行方向（カメラの光学軸が向く方向と同一）がなす角度をいう。

また、本実施形態では、ＰＯＩの映像表示のための基準オブジェクトとして、信号灯を用いているが、他のオブジェクトに対する識別力が高く、かつ配置密度の高いオブジェクトであれば、信号灯以外の他のオブジェクトを基準オブジェクトとして用いてもよい。

図２は、図１の映像カーナビゲーションシステム１００の詳細な構成図を示している。データ入力部１０は、車両前方のリアルタイム映像を取得するためのカメラ１１と、車両位置、車両方位角、および車両速度を含むＧＰＳデータを得るためのＧＰＳ受信機１２とを有する。カメラの方向は、車両の進行方向に平行であると仮定し、本明細書では、車両の進行方向とカメラの方向とは、同一の意味を表すものとして用いられる。また、カメラ１１とＧＰＳ受信機１２との間の距離は、無視できるほど近くに配置されている。

電子地図部２０は、電子道路地図部２１、マップマッチング処理部２２、ＰＯＩデータ部２３、ＰＯＩ検索部２４、信号灯データ部２５、および信号灯検索部２６を含む。電子道路地図部２１は、道路の座標を有する。

マップマッチング処理部２２は、ＧＰＳ受信機１２からＧＰＳ座標を受信して、マップマッチング過程を実行する。マップマッチング過程では、例えば、現在のＧＰＳ座標を電子道路地図部２１の道路座標と比較演算して、現在のＧＰＳ座標と最も近い道路上の位置を計算するが、これに限定されるものではない。すなわち、マップマッチング処理部２２は、ＧＰＳ座標値に存在する誤差を最小化させるために、当該ＧＰＳ座標値と最も近い道路上の位置として、道路中央線に車両位置をマップマッチングする。したがって、道路中心線と直角方向のＧＰＳ誤差が除去される。上記のようなマップマッチング過程を通じて得られた座標値は、演算部４０に伝送される。

ＰＯＩデータ部２３は、様々なオブジェクト（建物、公園、施設など）に関する各々のＰＯＩ座標値とテキスト属性値とを有している。建物の場合、ＰＯＩ座標は、建物自体の位置を代表的に表すオブジェクト座標値に、当該建物の道路辺の出入口の位置を表す追加座標値がリンクされて構成される。このようなデータの構成については、図３を参照しながらより詳細に説明する。

図３（ｂ）は、オブジェクト自体（すなわち、市役所自体）の座標値を含むオブジェクト座標値テーブルである。オブジェクト座標値は、「市役所」などのテキスト属性値によって互いに区別される。図３（ｃ）は、建物の道路辺の出入口位置を追加的に表す座標値を含む追加座標値テーブルである。追加座標値は、「正門」や「東門」などのテキスト属性値によって互いに区別される。オブジェクト座標値テーブルおよび追加座標値テーブルは、「名称」によってリンクされている。「市役所」の場合、「正門」および「東門」の追加座標値が、市役所自体のオブジェクト座標値とリンクされている。

ＰＯＩ検索部２４は、テキスト属性値や座標値などの条件に応じて、ＰＯＩデータ部２３のＰＯＩ情報を検索する。図３（ａ）において、市役所を目的地としてＡ方向に車両が走行する場合、ＰＯＩ検索部２４は、市役所自体のオブジェクト座標値ではなく、「正門」の追加座標値を検索する。このとき、市役所自体のオブジェクト座標値や「東門」の追加座標値を用いようとしても、画面上にはそのような座標値が現れない。同様に、市役所を目的地としてＢ方向に車両が走行する場合、ＰＯＩ検索部２４は、「東門」の追加座標値を検索する。

信号灯データ部２５は、道路上の信号灯の座標値を含む信号灯情報を有しており、信号灯検索部２６は、信号灯データ部２５から、演算部４０において必要な信号灯情報を検索して、演算部４０に伝送する。

映像認識部３０は、車線認識部３１、走行車道認識部３２、および信号灯認識部３３を含む。

車線認識部３１は、カメラを用いて取得した映像から車線を認識する。例えば、車線認識部３１は、車両前方の映像を画像処理して車両の左右にある車線データを抽出した後、この車線データと、予め記憶されている車道認識パターンデータとを比較する公知の方法によって、車線を認識することができる。車線認識部３１は、画像座標上においてパラメータで示された直線の形態でそのように認識した値を、走行車道認識部３２および演算部４０に伝送する。

走行車道認識部３２は、カメラを用いて取得した映像から認識された車線を用いて現在の走行車道位置を計算し、その結果を演算部４０に伝送する。例えば、各車道が他の車道と特徴を有して区分できるように道路上に車線が描かれている場合、例えば、中央線は直線状、１車線の右側車線は破線状、２車線の右側車線は一点鎖線状などとして区分している場合、互いに区分される車道に関する認識パターンデータを予め記憶しておき、車線認識部３１が、認識した車線認識パターンと一致する車線認識パターンを、その記憶された認識パターンデータから検索することにより、車両が現在どの走行車道で走行中であるかを判断する公知の方法を用いて、現在の走行車道位置を算出することができる。

信号灯認識部３３が信号灯を認識する過程は、車線認識部３１が車線を認識する過程と類似している。すなわち、信号灯認識部３３は、カメラを用いて取得した車両前方映像を処理し、このような処理によって得られた映像データから、予め記憶されている信号灯認識パターンデータと一致する映像データを信号灯として認識し、認識された信号灯の画像座標値を演算部４０に伝送する。画像座標値とは、映像カーナビゲーションシステムの画面に表示される映像における座標値をいう。

演算部４０は、マップマッチング処理部２２から受信した座標値と映像認識部３０から受信した映像認識の結果とから、車両位置および車両方位角を計算する。

位置演算部４１は、マップマッチング処理部２２から受信したマップマッチングデータにより認識された現在の車両位置を、走行車道認識部３１から受信した走行車道位置情報によって補正する。前述したように、マップマッチング処理部２２は、車両の位置を道路中央線にマップマッチングするため、車両の正確な位置を把握するためには、車両位置に対する補正が必要である。位置演算部４１は、走行車道認識部３２から受信した走行車道位置によって車両の走行車道位置を認識する。したがって、位置演算部４１は、走行車道位置と車道幅とを用いて、車両が道路中心線に対して直角方向に離れている距離を計算することによって、道路中央線にマップマッチングしている車両の位置を実際の車両位置に補正することができる。このとき、各車道幅を表す精密データがある場合には、車道幅には、当該精密データを用い、そうでない場合には、地域別に規格化されている値（例えば、都市地域道路の場合、３．５ｍ）を用いる。

方位角演算部４２は、車線認識部３２から受信した車線情報を用いて車両方位角を算出する。多くの場合、車線は道路中央線に平行であるため、車両が道路となす角度は、車両が車線となす角度と同一であるとみなすことができる。しかし、実際に車両が走行している場合には、車線と車両とが平行ではなく、角度を有することがあり、このときには、道路が地図のＮ軸となす角度と、車両がその道路の車線となす角度とを加えて車両方位角を計算する。

方位角演算部４２によって、車両が車線となす角度を計算する方法は、例えば、次の通りである。車線認識部３２が認識した画面上の車両の左右車線から両車線の中央に向かってそれぞれ仮想の法線を引き、その２つの法線が交わる画面上の点を通過する仮想の水平軸を引いたときに、左側車線からの法線と水平軸がなす第１の角度と、右側車線からの法線と水平軸がなす第２の角度が等しければ、車両が車線となす角度は、０度であるといえる。このようにして、第１の角度と第２の角度との差から、車両が車線となす角度を計算することができる。第１の角度と第２の角度との差が大きくなるほど、車両が車線となす角度は、比例的に増大する。このように計算した車両方位角は、ＧＰＳ受信機１２が提供する車両方位角と共に出力部５０によって選択的に用いられる。

画面基準領域設定部４３は、信号灯認識部３３から受信した信号灯の画像座標値を基準座標値として用いて、映像カーナビゲーションシステムの画面を複数の基準領域に分割し、ＰＯＩが画面上に表される位置を近似するために、ＰＯＩ検索部２４から受信したＰＯＩの位置情報（座標値）と、信号灯検索部２６から受信した信号灯の位置情報（座標値）とを比較して、ＰＯＩを、画面上で分割された画面基準領域に対応させる。すなわち、信号灯の位置を基準にしたＰＯＩの相対的な位置に応じて、各ＰＯＩが画面上に適切に表示されることになる。

次に、図４を参照して、画面基準領域設定部４３が、ＰＯＩを画面上で分割された基準領域に対応させる方法について説明する。図４（ａ）の地図上において、信号灯の座標と車両位置とを連結した破線（ＨＬ）、および現在の進行道路と直角であり、かつ信号灯座標を通過する破線（ＶＬ）によって、地図領域が４個の領域に区分されている。地図上のＡ、Ｂ、Ｃ、Ｄ、およびＥは、ＰＯＩを示している。

図４（ｂ）は、映像カーナビゲーションシステムの画面を示している。画面基準領域設定部４３は、まず、信号灯認識部３３から受信した信号灯の画像座標値を用いて、画面上に信号灯を表示し、信号灯を基準として４個の画面基準領域Ｓ１、Ｓ２、Ｓ３、およびＳ４に画面を区分する。

次に、画面基準領域設定部４３は、車両から見たときに地図上で信号灯より左側に表されるＡ、Ｃ、およびＥのＰＯＩを、画面上で信号灯より左側の画面基準領域（Ｓ１、Ｓ３）に対応させ、ＢおよびＤのＰＯＩを、画面上で信号灯より右側の画面基準領域（Ｓ２、Ｓ４）に対応させる。また、画面基準領域設定部４３は、車両から見たときに信号灯よりも近くにあるＡおよびＢのＰＯＩを、画面上で信号灯より上側の画面基準領域（Ｓ１、Ｓ２）に対応させ、Ｃ、Ｄ、およびＥのＰＯＩを、画面上で信号灯より下側の画面基準領域（Ｓ３、Ｓ４）に対応させる。その結果、Ａ、Ｂ、Ｃ、Ｄ、およびＥの各ＰＯＩは、画面上の４個の画面基準領域のうちの１つの画面基準領域に対応することになる。図４の例の場合、ＥのＰＯＩは、Ｓ３の画面基準領域に配置され、ＢのＰＯＩは、Ｓ２の画面基準領域に配置される。

一方、画面基準領域設定部４３は、信号灯の座標値と各ＰＯＩの座標値とを認識することができるため、信号灯の座標値を基準にした各ＰＯＩの相対的な座標値を用いて、画面上にある程度正確なＰＯＩ表示位置を決定することができる。これにより、画面基準領域設定部４３は、画面基準領域を区分することなく、信号灯の座標値に対する各ＰＯＩの相対的な座標値から、当該ＰＯＩの画面上の表示位置を決定することができる。しかしながら、本実施形態において基準領域を分割する理由は、後述する出力部５０において３次元地図座標を２次元画像座標に投影して計算したＰＯＩの画像座標が、画面基準領域設定部４３によって対応する基準領域に対応しなければ、当該画像座標が正確に計算されたものではないということを確認できるためである。

出力部５０は、車両位置、車両方位角、予め知らされたカメラパラメータ、ＰＯＩデータ、および画面基準領域の入力を受け取り、出力対象ＰＯＩの３次元地図座標を２次元画像座標に投影して計算したＰＯＩの画像座標を出力する。このとき、出力部５０は、ＧＰＳ受信機１２から提供された車両速度に応じて、ＧＰＳ受信機１２から提供された車両方位角および方位角演算部４２によって計算した車両方位角のうちのいずれか１つの車両方位角を用いて、ＰＯＩの画像座標を計算する。

具体的に、ＧＰＳ情報が信頼できるとして知られている２０ｋｍ／ｈ以上の車両速度に対しては、ＧＰＳ受信機１２から提供された車両方位角を用い、車両速度が２０ｋｍ／ｈ未満の場合では、方位角演算部４２によって計算した車両方位角を用いる。また、車両前方の混雑などによって車線が正しく認識できない場合には、車両速度に関わらず、ＧＰＳ受信機１２から提供された車両方位角を用いる。

また、出力部５０は、計算したＰＯＩの画像座標の画面内領域が、画面基準領域設定部４３によって対応付けられる画面基準領域と一致するか否かを検査し、一致しない場合には、計算したＰＯＩの画像座標ではない画面基準領域設定部４３によって対応付けられる画面基準領域上の画像座標を、当該ＰＯＩの画像座標として画面に出力する。

また、出力部５０は、画面の左側に位置するオブジェクト（建物など）に対しては、当該オブジェクトの左側にタグが付いた３次元ネームボードの形態でＰＯＩデータのテキスト属性値（例えば、建物の名称など）を映像に出力し、画面の右側に位置するオブジェクトに対しては、当該オブジェクトの右側にタグが付いた３次元ネームボードの形態でＰＯＩデータのテキスト属性値を映像に出力する。また、映像に出力されるネームボードは、画面上の他の情報を隠さないように、ある程度透明に構成される。

図５は、本実施形態に係る映像カーナビゲーションシステムの動作のフローチャートを示している。システムが開始すると（Ｓ６１）、データ入力部１０のカメラ１１が、一定のフレーム率で車両前方の映像を取得し、ＧＰＳ受信機１２が、一定の時間間隔で現在の位置座標値、車両方位角、および車両速度を検出する（Ｓ６２）。

データ入力部１０は、映像認識部３０および出力部５０に映像を伝送し、電子地図部２０のマップマッチング処理部２２に位置座標値を伝送する。マップマッチング処理部２２は、その位置座標値を電子道路地図部２１にある道路上の最も近い地点（すなわち、中央線）に近似させるマップマッチングを実行し（Ｓ６３）、マップマッチングされた位置座標値を演算部４０に伝送する。

映像認識部３０の車線認識部３２は、受信した映像から車線を認識して、その結果を走行車道認識部３１に伝送し、走行車道認識部３１は、受信した映像から、車線認識結果を用いて走行車道位置を計算する（Ｓ６４）。映像認識部３０の信号灯認識部３３は受信した映像から信号灯を認識する（Ｓ６５）。車線は、画像座標の形態で、信号灯認識の結果は、映像に配置される信号灯の画像座標の形態で、走行車道位置は、数字の形態（すなわち、２車線の場合「２」）で、演算部４０に伝送される。

演算部４０は、前述したような方式により、車線の画像座標から車両方位角を算出し、走行車道位置から車両位置を補正して正確な車両位置を算出する（Ｓ６６）。

次いで、ＰＯＩ検索部２４が、ＰＯＩデータから出力対象ＰＯＩを検索する（Ｓ６８）。検索方法は、図３に基づいて上記にて説明した通りである。ＰＯＩ検索部２４は、検索したＰＯＩデータ（座標値およびテキスト属性値）を、演算部４０の画面基準領域設定部４３に伝送する。そして、画面基準領域設定部４３は、ＰＯＩデータのうちの座標値と車両位置とを比較演算して、ＰＯＩ座標の出力領域を、画面基準領域のうちの１つの画面基準領域に対応させる。

最後に、出力部５０は、車両位置、車両方位角、予め知らされたカメラパラメータ、ＰＯＩデータ、および画面基準領域の入力を受け取り、出力対象ＰＯＩの３次元地図座標を２次元画像座標に投影して計算したＰＯＩの画像座標を出力する。このとき、出力部５０は、ＧＰＳ受信機１２から提供された車両速度に応じて（例えば、２０ｋｍ／ｈを基準とする）、ＧＰＳ受信機１２から提供された車両方位角および方位角演算部４２によって計算した車両方位角のうちのいずれか１つの車両方位角を用いて、ＰＯＩの画像座標を計算する。また、出力部５０は、計算したＰＯＩの画像座標の画面内領域が、画面基準領域設定部４３によって対応付けられる画面基準領域と一致するかを検査し、一致しない場合には、計算したＰＯＩの画像座標ではない画面基準領域設定部４３によって対応付けられる画面基準領域上の画像座標を、当該ＰＯＩの画像座標として出力する（Ｓ６９）。

このとき、出力部５０は、画面の左側に位置するオブジェクト（建物など）に対しては、当該オブジェクトの左側にタグが付いた３次元ネームボードの形態でＰＯＩデータのテキスト属性値（例えば、建物の名称など）を映像に出力し、画面の右側に位置するオブジェクトに対しては、当該オブジェクトの右側にタグが付いた３次元ネームボードの形態でＰＯＩデータのテキスト属性値を映像に出力する。また、映像に出力されるネームボードは、画面上の他の情報を隠さないように、ある程度透明に構成される。

このような過程がフレームごとにリアルタイムで繰り返し実行され、システムが終了命令を受けるか、または映像入力が中断すると終了する（Ｓ７０）。

本発明は、上記の方法を実行するためのプログラムを記録したコンピュータ読み取り可能な記録媒体によっても具現化できる。また、前述した本発明の実施形態は、具体的な構成と図面とによって特定されているが、このような具体的な実施形態によって、本発明の範囲が限定されるわけではない。したがって、本発明は、本発明の本質を逸脱しない限り、様々な変形形態およびその均等形態を含むものとして理解すべきである。

本発明の実施形態に係る映像カーナビゲーションシステムを示す構成図である。 図１の映像カーナビゲーションシステムの詳細を示す構成図である。 ＰＯＩデータの構成および検索を説明するための概念図である。 画面基準領域設定を説明するための概念図である。 本発明の実施形態に係る映像カーナビゲーションシステムの動作を示すフローチャートである。

符号の説明

１０ データ入力部
２０ 電子地図部
３０ 映像認識部
４０ 演算部
５０ 出力部
１１ カメラ
１２ ＧＰＳ受信機
２１ 電子道路地図部
２２ マップマッチング処理部
２３ ＰＯＩデータ部
２４ ＰＯＩ検索部
２５ 信号灯データ部
２６ 信号灯検索部
３１ 車線認識部
３２ 走行車道認識部
３３ 信号灯認識部
４１ 位置演算部
４２ 方位角演算部
４３ 画面基準領域設定部

Claims (16)

1. 対象地点を画面に表示するための映像カーナビゲーションシステムであって、
   車両に搭載されたカメラを用いて、前記画面を取得するデータ入力部と、
   前記画面から基準オブジェクトを認識する映像認識部と、
   前記対象地点および前記基準オブジェクトの地図上の位置に関する情報を提供する電子地図部と、
   前記基準オブジェクトの前記地図上の位置と、前記対象地点の前記地図上の位置との間の相対的な位置関係を用いて、前記基準オブジェクトを基準にした前記対象地点の前記画面上の対象地点位置を決定する演算部と、
   前記画面上の前記対象地点位置に前記対象地点を表示する出力部と
   を備えたことを特徴とする映像カーナビゲーションシステム。
2. 前記演算部は、前記基準オブジェクトを基準として、前記画面を複数の画面基準領域に分割する画面基準領域設定部を含み、
   該画面基準領域設定部は、前記対象地点を前記複数の画面基準領域のうちの１つの画面基準領域に対応させることによって、前記対象地点位置を決定する
   ことを特徴とする請求項１に記載の映像カーナビゲーションシステム。
3. 前記出力部は、前記対象地点の前記地図上の位置から２次元画像座標を計算し、前記対象地点が対応付けられている画面基準領域に前記２次元画像座標が含まれない場合には、前記２次元画像座標に前記対象地点を表示する代わりに、前記対象地点位置に前記対象地点を表示する
   ことを特徴とする請求項２に記載の映像カーナビゲーションシステム。
4. 前記映像認識部は、前記画面から前記車両の前方の車線を認識する車線認識部を含み、
   前記演算部は、前記車線認識部によって認識された前記車線に関する情報から、前記車両の車両方位角を演算する方位角演算部を含む
   ことを特徴とする請求項１に記載の映像カーナビゲーションシステム。
5. 前記映像認識部は、前記画面から認識した車線に関する情報から前記車両の走行車道を認識する走行車道認識部を含み、
   前記演算部は、前記走行車道認識部によって認識された前記走行車道に関する情報から前記車両の位置を演算する位置演算部を含む
   ことを特徴とする請求項１に記載の映像カーナビゲーションシステム。
6. 前記データ入力部は、ＧＰＳ受信機から前記車両の位置情報を受信し、
   前記位置演算部は、前記ＧＰＳ受信機から受信した前記車両の前記位置情報を、前記走行車道認識部によって認識された前記走行車道に関する情報を用いて補正することによって前記車両の位置を演算する
   ことを特徴とする請求項５に記載の映像カーナビゲーションシステム。
7. 前記対象地点は、地図上の複数の対象地点座標に関連付けられ、
   前記演算部は、前記相対的な位置関係を決定するために、前記複数の対象地点座標のうちのいずれか１つの対象地点座標を、前記対象地点の前記地図上の位置に特定する
   ことを特徴とする請求項１に記載の映像カーナビゲーションシステム。
8. 前記演算部は、前記複数の対象地点座標のうち、前記車両の現在位置と最も近い対象地点座標を、前記対象地点の前記地図上の位置に特定する
   ことを特徴とする請求項７に記載の映像カーナビゲーションシステム。
9. 前記複数の対象地点座標は、前記対象地点の出入口の座標を含む
   ことを特徴とする請求項７に記載の映像カーナビゲーションシステム。
10. 前記基準オブジェクトは信号灯である
    ことを特徴とする請求項１に記載の映像カーナビゲーションシステム。
11. 対象地点を画面に表示するための映像カーナビゲーション方法であって、
    （ａ）データ入力部によって、車両に搭載されたカメラを用いて、前記画面を取得するステップと、
    （ｂ）映像認識部によって、前記画面から基準オブジェクトを認識するステップと、
    （ｃ）電子地図部によって提供される前記基準オブジェクトの地図上の位置と、前記対象地点の地図上の位置との間の相対的な位置関係を用いて、演算部によって、前記基準オブジェクトを基準にした前記対象地点の前記画面上の対象地点位置を決定するステップと、
    （ｄ）出力部によって、前記画面上の前記対象地点位置に、前記対象地点を表示するステップと
    を含むことを特徴とする映像カーナビゲーション方法。
12. 前記ステップ（ｃ）は、
    前記基準オブジェクトを基準として、前記画面を複数の画面基準領域に分割するステップと、
    前記対象地点を前記複数の画面基準領域のうちの１つの画面基準領域に対応させることによって、前記対象地点位置を決定するステップと
    を含み、
    前記ステップ（ｄ）は、
    前記対象地点の地図上の位置から２次元画像座標を計算するステップと、
    前記対象地点が対応付けられている画面基準領域に前記２次元画像座標が含まれない場合には、前記２次元画像座標に前記対象地点を表示する代わりに、前記対象地点位置に前記対象地点を表示するステップと
    を含むことを特徴とする請求項１１に記載の映像カーナビゲーション方法。
13. 前記ステップ（ｂ）は、
    前記画面から前記車両の前方の車線を認識するステップ
    を含み、
    前記ステップ（ｃ）は、
    前記認識された車線に関する情報から前記車両の車両方位角を演算するステップ
    を含み、
    前記ステップ（ｄ）は、
    前記対象地点の地図上の位置から２次元画像座標を計算するために用いる車両方位角として、前記ステップ（ｃ）で演算された前記車両方位角およびＧＰＳ受信機から提供された車両方位角のうちのいずれか１つの車両方位角を、前記車両の現在速度を基準として選択するステップ
    を含むことを特徴とする請求項１１に記載の映像カーナビゲーション方法。
14. 前記ステップ（ｂ）は、
    前記画面から認識された車線に関する情報から前記車両の走行車道を認識するステップ
    を含み、
    前記ステップ（ｃ）は、
    前記認識された走行車道に関する情報から前記車両の位置を演算するステップ
    を含むことを特徴とする請求項１１に記載の映像カーナビゲーション方法。
15. 前記対象地点は、地図上の複数の対象地点座標に関連付けられ、
    前記ステップ（ｃ）は、
    前記相対的な位置関係を決定するために、前記複数の対象地点座標のうちのいずれか１つの対象地点座標を、前記対象地点の前記地図上の位置に特定するステップ
    を含むことを特徴とする請求項１１に記載の映像カーナビゲーション方法。
16. 前記ステップ（ｂ）は、
    前記画面から、前記基準オブジェクトとして信号灯を認識するステップ
    を含むことを特徴とする請求項１１に記載の映像カーナビゲーション方法。

Images