JP6723744B2 - ナビ情報提供システム及びナビ情報提供装置 - Google Patents

ナビ情報提供システム及びナビ情報提供装置 Download PDF

Info

Publication number
JP6723744B2
JP6723744B2 JP2015257498A JP2015257498A JP6723744B2 JP 6723744 B2 JP6723744 B2 JP 6723744B2 JP 2015257498 A JP2015257498 A JP 2015257498A JP 2015257498 A JP2015257498 A JP 2015257498A JP 6723744 B2 JP6723744 B2 JP 6723744B2
Authority
JP
Japan
Prior art keywords
image
vehicle
lane
camera
driver
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015257498A
Other languages
English (en)
Other versions
JP2017120238A (ja
Inventor
山田 哲
哲 山田
三田 勝史
勝史 三田
難波 利行
利行 難波
勝彦 岡部
勝彦 岡部
五策 寺林
五策 寺林
井上 岳
岳 井上
重則 藤巻
重則 藤巻
朋子 尾崎
朋子 尾崎
森 一夫
一夫 森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Asia Air Survey Co Ltd
Original Assignee
Asia Air Survey Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Asia Air Survey Co Ltd filed Critical Asia Air Survey Co Ltd
Priority to JP2015257498A priority Critical patent/JP6723744B2/ja
Publication of JP2017120238A publication Critical patent/JP2017120238A/ja
Application granted granted Critical
Publication of JP6723744B2 publication Critical patent/JP6723744B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Navigation (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、ナビ情報提供システムに関する。
近年のナビゲーション端末は、直感的に見やすこという理由等により任意の視点から眺めたナビゲーション地図を三次元表示するものがある。
例えば特許文献1の地図表示装置には、「地図構成物の三次元データのうち、地図構成物の地表面における2次元データを基に、所定地点を中心としたときに得られる投影図を表示する。ここで、GPSで取得した現在位置から所定距離だけ離れた車外の上空に対応する三次元座標系上の位置に視点位置を設定する」と記載している(段落0065参照)。
つまり、特許文献1の地図表示装置は、GPSで取得した現在位置を基準にして概ね運転者が見える範囲を想定して建物、道路、交差点等を表示している。
また、特許文献2のカーナビゲーションシステムは、カメラで撮影した実写真画像とCG画像とを組み合わせた直感的に分かりやすいナビゲーション画面を提供するものである。
そして、このナビゲーション装置には、カメラで撮影した実写画像の道路に車両の現在位置Pを示す記号が表示されている(図5参照)。
特許第3766657号公報 特開平11−108684号公報
しかしながら、首都圏の高速道路の入り口付近は、高速道路に入るレーンと一般道とが並行に並んでいる場合がある。
ところが、特許文献1の地図表示装置は、GPSで取得した現在位置を基準にして概ね運転者が見える範囲を想定して建物、道路、交差点等を含む三次元画像を表示している。
このため、画面には高速道路の入り口に向かうレーン以外に一般道も表示されているので高速道路のレーンに乗るには運転者はこのまま直進すればよいのか、レーンを変える必要があるのかを容易に判断できない。
このため、高速道路の入り口に向かうレーンに乗るタイミングを逸する場合があった。
また、特許文献1の地図表示装置は、GPSで取得した現在位置を基準にして概ね運転者が見える範囲を想定して建物、道路、交差点等を含む三次元画像を表示している。このため、その先が急なカーブになっているか、落下物があるのか、事故があるのかが分からない。つまり、先がどうなっているかがわからない
一方、特許文献2のナビゲーション装置は、カメラで撮影した実写画像の道路(レーン)に車両の現在位置Pを示す記号を表示することが開示されているが、そのレーンが目的地点に向かうレーンであるかは容易に知ることができない。
また、特許文献2のナビゲーション装置は、車載カメラの実写画像をCG画像(P記号)と組み合わせて表示するが、前方の数十メートル先に車両が存在した場合は、その車両の画像も表示されることになる。このため、自車両の位置を示す記号Pを表示したとしても、その案内画面は非常に分かり難いと共に、走行中に実写画像を見ることになるから危険である。
さらに、特許文献2のナビゲーション装置は、実写画像を表示したとしても、前に大型車があった場合は、その先がどうなっているかが分からない。
本発明は以上の課題を鑑みてなされたものであり、目的地に向かうレーンを容易に知ることができると共に、前方に車両があっても前方がどのようになっているかを容易に知ることができるシステムを得ることを目的とする。
本発明に係るナビ情報提供システムは、車両に搭載され車載カメラ付ナビ端末からの車両情報(Ji)をデータセンタが無線通信回線を介して受信し、該データセンタがこの車両情報(Ji)に基づいて作成した送信データ(SDJi)を前記車載カメラ付ナビ端末に送信するナビ情報提供システムであって、
前記車載カメラ付ナビ端末は、
GPS受信機と、撮影カメラ付ナビ部と、ナビ端末とを備え、
前記撮影カメラ付ナビ部は、
前記車両の左右側に設けられ、前方を撮影する左車載カメラ及び右車載カメラよりなる撮影カメラ部と、コントローラ部とを備え、
前記コントローラ部は、
前記右車載カメラが撮影した右カメラ画像(Cai)と左車載カメラが撮影した左カメラ画像(Cbi)とが入力する毎に、これらを合成した車載カメラ撮影画像(CGi)を生成し、この車載カメラ撮影画像(CGi)毎に、この車載カメラ撮影画像(CGi)上にカメラ視線中心を定義し、このカメラ視線中心を挟む車線画像(Di)と車線画像(Di)との間の画像領域をカメラ認識自走レーン(CZRi)とし、このカメラ認識自走レーン(CZRi)を含む車載カメラ撮影画像(CGi)を出力する手段と、
前記ナビ端末は、
前記車載カメラ撮影画像(CGi)が入力する毎に、この車載カメラ撮影画像(CGi)と、端末番号(Jbi)と、姿勢(θi)と、目的地(Poi)と、前記GPS受信機で得た現在位置(GPi)とを有する前記車両情報(Ji)を生成し、これを前記データセンタに送信する手段と、
前記データセンタからの送信データ(SDJi)に基づくドライバ視線画像(DHi)を画面に表示する手段とを備え、
前記データセンタは、サーバ群を備え、
前記サーバ群は、
前記車両が走行する道路を含む三次元地図モデル(Mi)及びこの三次元地図モデル(Mi)の道路であるレーンの画像領域に対して、このレーンに該当する道路ネットワーク(DWi)のレーン番号を関連付けて記憶した三次元地図情報用サーバと、さらに、
前記車両情報(Ji)を受信して蓄積する車両情報蓄積用サーバと、レーン種類ドライバ視線画像作成用サーバと、送信データ作成用サーバとを備え、
前記レーン種類ドライバ視線画像作成用サーバは、
ドライバ画像情報提供用メモリ部を備え、
前記車両情報(Ji)が前記車両情報蓄積用サーバに蓄積される毎に、この車両情報(Ji)に含まれている前記現在位置(GPi)、前記姿勢(θi)、予め記憶されているカメラパラメータ情報、基準の地理座標に基づいて求めた前記三次元地図モデル(Mi)における位置を三次元地図モデル上ドライバ視点位置(DMPi)として前記三次元地図モデル(Mi)上に設定する手段と、
前記三次元地図モデル上ドライバ視点位置(DMPi)に、前記カメラパラメータ情報、前記姿勢(θi)に基づくエリア(EMi)を前記三次元地図モデル(Mi)に定義し、このエリア内の画像を前記ドライバ視線画像(DHi)として読み込み、これを前記ドライバ画像情報提供用メモリ部に記憶する手段と、
前記車両情報(Ji)が前記車両情報蓄積用サーバに蓄積される毎に、この前記車両情報(Ji)に含まれている前記目的地(Poi)の地理座標を有する前記道路ネットワーク(DWi)のレーン番号のネットワークレーン(NRi)を前記目的地(Poi)に到達するための目的地到達ネットワークレーン(PNRi)として前記三次元地図情報用サーバから検索する手段と、
記目的地到達ネットワークレーン(PNRi)が検索される毎に、この目的地到達ネットワークレーン(PNRi)のレーン番号が関連付けられている前記ドライバ視線画像(DHi)の画像領域に、目的地到達ネットワークレーン(PNRi)であることを示す目的地到達レーン表示色(Fi)を定義した画像をドライバ視線画像上目的地到達レーン(PDRi)として得る手段と、
前記車両情報(Ji)を受信する毎に、この車両情報(Ji)の前記車載カメラ撮影画像(CGi)に含まれている前記カメラ認識自走レーン(CZRi)に該当する前記ドライバ視線画像(DHi)の画像領域をドライバ視線画像上カメラ認識自走レーン(DCRi)として決定する手段と、
前記決定したドライバ視線画像上カメラ認識自走レーン(DCRi)に自車両進行方向矢印(ZYi)を定義する手段とを備え、
前記送信データ作成用サーバは、
前記ドライバ画像情報提供用メモリ部のドライバ視線画像(DHi)の前記ドライバ視線画像上目的地到達レーン(PDRi)が得られ、かつドライバ視線画像上カメラ認識自走レーン(DCRi)に自車両進行方向矢印(ZYi)定義される毎に、前記ドライバ視線画像上目的地到達レーン(PDRi)を含むドライバ視線画像(DHi)及び前記自車両進行方向矢印(ZYi)を前記送信データ(SDJi)として、前記車両情報(Ji)に含まれている前記端末番号(Jbi)の前記ナビ端末に送信する手段とを備えたことを要旨とする。
以上のように本発明によれば、目的地に到達するレーンを容易に知ることができると共に、前方に車両があっても前方がどのようになっているかを容易に知ることができる。
また、どのタイミングで目的地に到達するレーンに乗ればよいかが容易に画面上から把握できる。
本実施の形態の車載カメラ画像を用いたナビ情報提供システムの概略構成図である。 撮影カメラ付ナビ部の概略構成図である。 レーン種類ドライバ視線画像作成用サーバ130の概略構成図である。 カメラ画像三次元モデル生成用サーバ150の概略構成図である。 車載カメラ画像を用いたナビ情報提供システムの概略全体動作を説明するシーケンス図である。 ナビ端末13に表示されるドライバ視線画像DHi、目的地到達レーン表示、自車両進行方向矢印を説明する説明図である。 ナビ端末13に表示されるレーン変更矢印HZYi(赤色)を含むドライバ視線画像DHiを説明する説明図である。 ナビ端末13に表示されるカメラ画像上変化検出領域付ドライバ視線画像CMHDGiを説明する説明図である。 ナビ端末13に表示されるカメラ画像三次元モデルCMi付のドライバ視線画像DHiを説明する説明図である。
以下に示す本実施の形態は、本発明の技術的思想を具体化するための装置や方法を例示するものであって、本発明の技術的思想は、構造、配置は下記のものに特定するものではない。
本発明の技術的思想は、特許請求の範囲に記載された技術的範囲内において、種々の変更を加えることができる。図面は模式的なものであり、装置やシステムの構成等は現実のものとは異なることに留意すべきである。
図1は本実施の形態の車載カメラ画像を用いたナビ情報提供システムの概略構成図である。
図1に示すように車載カメラ画像を用いたナビ情報提供システムは、車両10(10a、10b、・・・)に設けられた車載カメラ部12と、ナビ端末13と、データセンタ100に設けた複数のサーバとからなるシステムである。この車載カメラ部12とナビ端末13とを総称して車載カメラ付ナビ端末14と称する。
前述の車載カメラ部12は、図2に示すように、車両10(10a、10b、・・・)の内部のフロントガラスの例えば左右に設けられた右車載カメラ12aと左車載カメラ12bとで構成され、カメラコントローラ15によって一定時間毎(例えば100msec、200msec、・・・)に前方の画像を撮影する。右車載カメラ12aと左車載カメラ12bとカメラコントローラ15とを総称して撮影カメラ付ナビ部16と称する。
カメラコントローラ15は、右車載カメラ12aが撮影した右カメラ画像Caiと左車載カメラ12bが撮影した左カメラ画像Cbiとを合成した車載カメラ撮影画像CGiを生成する。そして、この車載カメラ撮影画像CGiを解析して車線Diを認識する。例えば、最も右端の車線Diから車線D1、車線D2・・・とし、車線D1と車線D2との間のレーンをカメラ認識レーンCR1、車線D2と車線D3との間のレーンをカメラ認識レーンCR2・・という具合に認識する。そして、車両10が現在走行しているレーンをカメラ認識自走レーンCZRiとする。
そして、撮影時刻Cti(年月日、時刻)と、カメラ番号Jci(右カメラ番号Jcai、左カメラ番号Jcbi)と、車載カメラ撮影画像CGiとを組とした車載カメラ撮影画像情報CJiをナビ端末13に出力する。
ナビ端末13は、例えば図2に示すように、車両10(10a、10b、・・・)内のフロントパネル(図示せず)に設けられている。このナビ端末13は、図示しないGPS受信機、慣性航法装置及び送受信器を内部に備え、カメラコントローラ15からの車載カメラ撮影画像情報CJi(撮影時刻Cti、カメラ番号Jci、車載カメラ撮影画像CGi(カメラ認識自走レーンCZRiを含む))を入力する。
そして、車載カメラ撮影画像情報CJiに車両番号Jaiと端末番号Jbiと姿勢θiと速度Viと目的地Poiと現在位置GPiとハンドル角Hθi(無くても構わない)と運転者によって入力されたドライバ視線位置DSi等を組とする車両情報Jiをデータセンタ100(ナビ情報提供装置ともいう)に送信する。
また、データセンタ100から送信データSDJiを受信する毎に、ブラウザ機能でこの送信データSDJiに基づく画像を画面13aに表示する。
(データセンタ100の構成)
データセンタ100は、以下に示す手段を有している。図1に示すように、車両情報蓄積用サーバ110(車両情報蓄積部ともいう)と、振分サーバ120(受信情報振分部ともいう)と、レーン種類ドライバ視線画像作成用サーバ130(レーン種類ドライバ視線画像情報作成部ともいう)と、カメラ画像三次元モデル生成用サーバ150(カメラ画像三次元モデル作成部ともいう)と、三次元モデル更新用サーバ160(三次元モデル更新部ともいう)と、送信データ作成用サーバ170(送信データ作成部ともいう)と、三次元地図情報用サーバ180(三次元地図情報用記憶部ともいう)と、変化検出用サーバ190(変化検出部ともいう)等からなる。
車両情報蓄積用サーバ110は、車両10(10a、10b・・)からの車両情報Jiを受信して図示しないメモリに蓄積する。
振分サーバ120は、車両情報蓄積用サーバ110に車両情報Jiが蓄積される毎に、この車両情報Jiに含まれている撮影時刻Cti、カメラ番号Jci、車載カメラ撮影画像CGi、姿勢θi、速度Vi、現在位置GPi、ハンドル角Hθi等を車載カメラ撮影画像情報CJiとしてカメラ画像三次元モデル生成用サーバ150に出力(振分け)する。
また、車両情報Jiの車両番号Jaiと端末番号Jbiと姿勢θiと速度Viと目的地Poiと現在位置GPiとハンドル角Hθiと撮影時刻Ctiとドライバ視線位置DSi等をカメラ認識自走行レーン情報CZJiとしてレーン種類ドライバ視線画像作成用サーバ130に出力(振分け)する。
三次元地図情報用サーバ180は、道路のレーンを定義した道路ネットワークDWiを記憶している。この道路ネットワークDWiで定義されたレーンを本実施の形態ではネットワークレーンNRiと称する。
また、三次元地図情報用サーバ180は、三次元地図モデルMiを記憶している。この三次元地図モデルMiは、衛生画像、航空写真測量、航空レーザ測量、移動体計測車両によるレーザ計測又は車両10(10a、10b、・・・)に設けられた車載カメラ部12で撮影した車載カメラ撮影画像CGiに基づいて作成した三次元地図モデルMiである。
レーン種類ドライバ視線画像作成用サーバ130は、振分サーバ120からの車両情報Jiに含まれているカメラ認識自走行レーン情報CZJiを受信する毎に、このカメラ認識自走行レーン情報CZJiに含まれている目的地Poiの地理座標を有するネットワークレーンNRiを三次元地図情報用サーバ180から検索する。
この検索されたネットワークレーンNRiを目的地到達ネットワークレーンPNRiと称する。番号は、目的地到達ネットワークレーン番号PNBRiと称する。
また、後述するドライバ視線画像DHiを読み込み、検索した目的地到達ネットワークレーンPNRiの目的地到達ネットワークレーン番号PNBRiに該当するドライバ視線画像上レーンDRi上に目的地到達ネットワークレーンPNRiであることを示す目的地到達レーン表示色Fi(例えば紫)を定義する。
また、レーン種類ドライバ視線画像作成用サーバ130は、カメラ認識自走行レーン情報CZJiを受信する毎に、このカメラ認識自走行レーン情報CZJiに含まれている現在位置GPi、姿勢θi、速度Vi、ハンドル角Hθi、撮影時刻Cti、車両番号Jai、端末番号Jbi、ドライバ視線位置DSiをドライバ画像作成基本情報DKJiとして読み込む。
そして、ドライバ画像作成基本情報DKJiに含まれているドライバ視線位置DSiを三次元地図モデルMi上に設定する。この設定されたドライバ視線位置DSiを三次元地図モデル上ドライバ視点位置DMPiと称する。
そして、この三次元地図モデル上ドライバ視点位置DMPiの画角のドライバ視線画像DHiを抽出(読み込む)する。
また、三次元地図モデルMi上の起点位置kiから進行方向に例えば500mの範囲を上空ナビ画像ZFiとして作成する。
さらに、カメラ認識自走行レーン情報CZJiを受信する毎に、カメラ認識自走行レーン情報CZJiに含まれているカメラ認識自走レーンCZRiに一致するドライバ視線画像DHiにおけるドライバ視線画像上レーン番号DBRiを有するドライバ視線画像上レーンDRiをドライバ視線画像上カメラ認識自走レーンDCRiとして定義する。
そして、ドライバ視線画像上カメラ認識自走レーンDCRiに自車両進行方向矢印ZYiを定義する。この自車両進行方向矢印ZYiは、ドライバ視線画像DHi又はドライバ視線画像上カメラ認識自走レーンDCRiの上になるように定義する。また、レーン変更矢印HZYiをドライバ視線画像DHiに定義する。
カメラ画像三次元モデル生成用サーバ150は、振分サーバ120からの車載カメラ撮影画像情報CJiに含まれている車載カメラ撮影画像CGiにおける画素当たりの三次元座標を求め、これを画素に割り当てたカメラ画像三次元モデルCMiを生成する。
変化検出用サーバ190は、三次元地図モデルMiにドライバ視線位置DSiに基づくエリアEMiを定義し、このエリアEMi内の三次元地図モデル上ドライバ視線画像MEDHiと、今回のカメラ画像三次元モデルCMiと比較し、今回のカメラ画像三次元モデルCMiに対して変化している領域(以下変化領域CMHiという)があるかどうかを判定する。
変化がある場合は、この変化領域CMHiをドライバ視線画像DHiに上書きする。
また、三次元地図モデルMi上の三次元モデル上道路レーンMRiに補正現在位置HPGiを定義し、この補正現在位置HPGiからカメラ画像三次元モデルCMiにおける変化領域CMHiの中心座標までの距離CGRiを求める。
そして、変化領域CMHi付のドライバ視線画像DHiと距離CGRi等をカメラ画像上変化検出領域付ドライバ視線画像CMHDGiとして送信データ作成用サーバ170に出力する。
三次元モデル更新用サーバ160は、変化検出用サーバ190が変化ありと判定した場合は、三次元地図モデルMiにおけるドライバ視線に対応するエリアEMiを引き当て、このエリアEMiを今回のカメラ画像三次元モデルCMiに更新(書き換える)する。
送信データ作成用サーバ170は、レーン種類ドライバ視線画像作成用サーバ130が生成したドライバ視線画像DHiと、目的地到達レーン表示色Fi(例えば紫)と、上空ナビ画像ZFiとを組とする送信データSDJiを生成して無線通信網で車両10宛てに送信する。
また、ドライバ視線画像DHiと、自車両進行方向矢印ZYiとを組とする送信データSDJiを生成して無線通信網で車両10宛てに送信する。
さらに、変化領域CMHiを含むドライバ視線画像DHi(カメラ画像上変化検出領域付ドライバ視線画像CMHDGi)を送信する車両を決定して無線通信網でその車両10宛てに送信する。
また、送信データ作成用サーバ170は、車両情報Jiの指示情報に基づいてドライバ視線画像DHiを鳥瞰図又はドライバ視点位置の画像に変換する。
<各サーバの詳細構成>
レーン種類ドライバ視線画像作成用サーバ130は、図3に示す構成要件を備えている。図3においては、三次元地図情報用サーバ180及び送信データ作成用サーバ170を示して説明する。
(レーン種類ドライバ視線画像作成用サーバ130)
図3に示すように、レーン種類ドライバ視線画像作成用サーバ130は、車両10(10a、10b・・)に提供するドライバ視線画像DHiが記憶されるドライバ画像情報提供用メモリ131aと、上空ナビ画像用メモリ131bと、目的地到達レーン色付部133と、ドライバ画像作成部135と、進行矢印設定部136と、レーン変更矢印設定部138等を備えている。
前述の三次元地図情報用サーバ180は、道路ネットワークDWiを記憶した道路ネットワークデータベース180aと、三次元地図モデルMiを記憶した三次元地形モデル用データベース180bと、道路の標識等の道路施設情報及びその他交通案内に必要な情報を道路施設交通案内情報DJiを記憶した道路施設交通案内関連情報用データベース180c等を備えている。
道路ネットワークDWiは、道路のレーンを定義したものであり、ノードNDiと、リンクLRi等で構成されている。そして、ノードNDiには地理座標が割り付けられている。また、リンクLRiには、幅、距離等が割り付けられている。この道路ネットワークDWiで定義されたレーンを本実施の形態ではネットワークレーンNRiと称する。つまり、ネットワークレーンNRiは、ノードNDi、リンクLRi、地理座標、幅、ノード間距離、ネットワークレーン番号NRBi等からなる。
また、三次元地形モデル用データベース180bの三次元地図モデルMiは、衛生画像、航空写真測量、航空レーザ測量、移動体計測車両によるレーザ計測又は車両10(10a、10b、・・・)に設けられた車載カメラ部12で撮影した車載カメラ撮影画像CGiに基づいて作成した三次元地図モデルMiである。
また、この三次元地図モデルMiの道路のレーンを本実施の形態では三次元モデル上道路レーンMRiと称する。そして、三次元モデル上道路レーンMRiはネットワークレーンNRiに関連付けられている。つまり、同じ番号が関連付けられている。また、三次元モデル上道路レーンMRiの内で目的地に向かうレーンは、三次元モデル上目的地到達レーンPMRiと称する。
目的地到達レーン色付部133は、振分サーバ120からの車両情報Jiに含まれているカメラ認識自走行レーン情報CZJiを受信する。このカメラ認識自走行レーン情報CZJiを受信する毎に、カメラ認識自走行レーン情報CZJiに含まれている目的地Poiの地理座標を有するネットワークレーンNRi(ノードNDi、リンクLRi、地理座標、幅、ノード間距離、ネットワークレーン番号NRBi)を三次元地図情報用サーバ180の道路ネットワークデータベース180aから検索する。
具体的には、現在位置PGiをカメラ認識自走レーンCZRiの中心の画像座標と三次元地図モデルMiの基準座標とに基づいて補正し、これを補正現在位置HPGiとする。
そして、補正現在位置HPGiが求められる毎に、この補正現在位置HPGiの座標を有する道路ネットワークDWiのネットワークレーンNRiを目的地到達ネットワークレーンPNRiとして三次元地図情報用サーバ180から検索する。
この検索されたネットワークレーンNRiを目的地到達ネットワークレーンPNRiと称する。番号は、目的地到達ネットワークレーン番号PNBRiと称する。
そして、ドライバ画像情報提供用メモリ131aにドライバ視線画像DHiが記憶(生成)されているかどうかを判定する。
生成されている場合は、このドライバ視線画像DHiを読み込み、検索した目的地到達ネットワークレーンPNRiの目的地到達ネットワークレーン番号PNBRiに該当するドライバ視線画像DHiにおけるドライバ視線画像上レーンDRi上に目的地到達レーンであることを示す目的地到達レーン表示色Fi(例えば紫)を定義する。
この目的地到達レーン表示色Fi(例えば紫)が定義されたドライバ視線画像上レーンDRiをドライバ視線画像上目的地到達レーンPDRiと称する。
前述の目的地到達レーン表示色Fi(例えば紫)は、ドライバ視線画像DHiの上に色が表示されるように定義する。
そして、ナビ画像送信データ作成用サーバ140に、目的地到達レーン表示色Fiを定義したことを知らせる情報(フラグ)を出力する。
ドライバ画像作成部135は、車両情報Jiに含まれているカメラ認識自走行レーン情報CZJiを受信する。このカメラ認識自走行レーン情報CZJiを受信する毎に、このカメラ認識自走行レーン情報CZJiに含まれている現在位置GPi、姿勢θi、速度Vi、ハンドル角Hθi、撮影時刻Cti、車両番号Jai、端末番号Jbi、ドライバ視線位置DSiをドライバ画像作成基本情報DKJiとして読み込む。
そして、ドライバ画像作成基本情報DKJiに含まれているドライバ視線位置DSiを三次元地形モデル用データベース180bの三次元地図モデルMi上に三次元地図モデル上ドライバ視点位置DMPiとして設定する。そして、この三次元地図モデル上ドライバ視点位置DMPiの画角でのエリアEMiを三次元地図モデルMiに定義し、エリアEMiにおける画像(以下三次元地図モデル上ドライバ視線画像MEDHiと称する)をドライバ視線画像DHiとしてドライバ画像情報提供用メモリ131aに記憶する。
前述の三次元地図モデル上ドライバ視点位置DMPiには、前回の現在位置GPi等で決定した視線方向を割り付けている。
また、ドライバ画像作成部135は、ドライバ画像作成基本情報DKJiに含まれている現在位置GPi、姿勢θi、速度Vi、撮影時刻Cti等に基づいて、三次元地図モデルMi上における位置(以下三次元地図モデルMi上の起点位置kiと称する)を決定(例えば高さ200m)する。
そして、この三次元地図モデルMi上の起点位置kiから進行方向に例えば500mの範囲を上空ナビ画像ZFiとする。そして、この上空ナビ画像ZFiを上空ナビ画像用メモリ131bに記憶する。
また、三次元地図モデルMi上の起点位置kiを現在のドライバ視線画像DHiの今回表示位置Pki(三次元地図モデルMi上の座標)とし、上空ナビ画像ZFiの次の交差点を次表示位置Pkni(三次元地図モデルMi上の座標)とし、これらを上空ナビ画像付属情報FZFi(今回表示位置Pkiの座標と表示マークの種類及び色(黄色)、次表示位置Pkniの座標と表示マークの色(ピンク))として上空ナビ画像ZFiに関連付けている。
前述の上空ナビ画像ZFiは三次元地図モデルMi上の起点位置Kiが変わる毎に更新される。つまり、ドライバ視線画像DHiが更新される毎に変わる。また、三次元地図モデルMi上の起点位置Kiが変わる毎に、次表示位置Pkniが今回表示位置Pkiとなる。
さらに、ドライバ画像作成部135は、ドライバ視線画像DHiに関連する道路施設交通案内情報DJiを検索し、この検索された道路施設交通案内情報DJiをドライバ視線画像DHiに関連付ける。
また、この道路施設交通案内情報DJiに含まれている標識の枠を異なる色(色エリアという)で定義する。このとき、目的地到達用レーンと標識の枠の色エリアとが接続されるようにした形状で定義するのが好ましい。
そして、送信データ作成用サーバ170に、ドライバ視線画像DHi、上空ナビ画像ZFi等を定義したことを知らせる情報(フラグ)を出力する。
進行矢印設定部136は、車両情報Jiに含まれているカメラ認識自走行レーン情報CZJiを受信する。このカメラ認識自走行レーン情報CZJiを受信する毎に、ドライバ画像情報提供用メモリ131aにドライバ視線画像DHiが記憶されているかどうかを判定する。
そして、記憶されている場合は、カメラ認識自走行レーン情報C Z J i に含まれている
カメラ認識自走レーンC Z R i に一致するドライバ視線画像D H i におけるドライバ視線画像上レーン番号D B R i を有するドライバ視線画像上レーンD R i をドライバ視線画像上カメラ認識自走レーンD C R i として定義する。
そして、ドライバ視線画像上カメラ認識自走レーンDCRiに自車両進行方向矢印ZYiを定義する。この自車両進行方向矢印ZYiは、ドライバ視線画像DHi又はドライバ視線画像上カメラ認識自走レーンDCRiの上になるように定義する。
自車両進行方向矢印ZYiは、ドライバ視線画像DHiの番号と、ドライバ視線画像上カメラ認識自走レーン番号DCBRiと、自車両進行方向矢印ZYiの情報(自車進行方向矢印Zyiの始点座標、大きさ、矢印の種類、色(例えば黄土色)等)を関連付けて自車両進行方向矢印情報ZYJiとして定義するのが好ましい。
そして、送信データ作成用サーバ170に、自車両進行方向矢印ZYiを定義したことを知らせる情報(フラグ)を出力する。
レーン変更矢印設定部138は、振分サーバ120からの車両情報Jiに含まれているカメラ認識自走行レーン情報CZJiを受信する。このカメラ認識自走行レーン情報CZJiを受信する毎に、ドライバ画像情報提供用メモリ131aにドライバ視線画像DHiが記憶(生成)され、かつドライバ視線画像上カメラ認識自走レーンDCRi上に目的地到達レーンであることを示す目的地到達レーン表示色Fi(例えば紫)を定義され、自車両進行方向矢印ZYi、レーン変更矢印HZYiが定義されているかどうかを判定する。
定義されている場合は、自車両進行方向矢印ZYiがドライバ視線画像上カメラ認識自走レーンDCRi上に定義されているかどうかを判定する。そして、自車両進行方向矢印ZYiがドライバ視線画像上カメラ認識自走レーンDCRi上に定義されている場合は、ドライバ視線画像上カメラ認識自走レーンDCRi上におけるレーン変更矢印HZYiを消去する。そして、送信データ作成用サーバ170に、レーン変更矢印HZYiの消去したことを知らせる情報(フラグ)を出力する。
また、レーン変更矢印設定部138は、ドライバ視線画像DHiのドライバ視線画像上カメラ認識自走レーン番号DCBRiと、ドライバ視線画像上目的地到達レーン番号PDBRiとが一致しているかどうかを判定する。
不一致の場合は、ドライバ視線画像DHiのドライバ視線画像上カメラ認識自走レーンDCRi上に定義されている自車両進行方向矢印ZYiの頭から所定位置を始点としたレーン変更矢印HZYiの頭をドライバ視線画像上目的地到達レーンPDRiに向けて定義する。
そして、送信データ作成用サーバ170に、レーン変更矢印HZYiを定義したことを知らせる情報(フラグ)を出力する。
(カメラ画像三次元モデル生成用サーバ150)
カメラ画像三次元モデル生成用サーバ150は、図4に示すように、カメラ画像三次元モデル生成部152と、カメラ画像三次元モデル用メモリ154と、車載カメラのパラメータ情報(画角、半値幅、取付高、解像度、・・)を記憶した車載カメラ用パラメータデータベース153と、車載カメラ撮影画像情報CJi(車載カメラ撮影画像CGiを含む)が記憶される車載カメラ撮影画像情報用メモリ155等を備えている。
カメラ画像三次元モデル生成部152は、振分サーバ120からの車載カメラ撮影画像情報CJiを受信して車載カメラ撮影画像情報用メモリ155に記憶(上書)する。
そして、車載カメラ撮影画像情報CJiが記憶される毎に、車載カメラ用パラメータデータベース153に記憶されている車載カメラのパラメータ情報(画角、半値幅、取付高、解像度、・・)と車載カメラ撮影画像情報CJiの撮影時刻Cti、姿勢θi、速度Vi、現在位置GPi、ハンドル角Hθi及び三次元地図モデルMiの基準座標等に基づいて車載カメラ撮影画像CGiの画素当たりの三次元座標を求め、これを画素に割り当てたカメラ画像三次元モデルCMiをカメラ画像三次元モデル用メモリ154に生成(記憶)する。
(変化検出用サーバ)
変化検出用サーバ190は、図4に示すように、変化判定部192を備えている。変化判定部192は、三次元地図モデルMiにおけるエリアEMiが定義される毎に、このエリアEMi内の三次元地図モデル上ドライバ視線画像MEDHiをメモリ194に記憶(コピー)する。
そして、このメモリ194の三次元地図モデル上ドライバ視線画像MEDHiと、カメラ画像三次元モデル用メモリ154に記憶された今回のカメラ画像三次元モデルCMiと比較し、今回のカメラ画像三次元モデルCMiに変化があるかどうかを判定する。
変化がある場合は、この変化領域CMHiをドライバ画像情報提供用メモリ131aのドライバ視線画像DHiに上書きする(貼り付ける)(図3、図8参照)。
また、三次元地図モデルMi上の三次元モデル上道路レーンMRiに補正現在位置HPGiを定義し、この補正現在位置HPGiからカメラ画像三次元モデルCMiにおける変化領域CMHiの中心座標までの距離CGRiを求める。
そして、変化領域CMHi付のドライバ視線画像DHiと距離CGRi等をカメラ画像上変化検出領域付ドライバ視線画像CMHDGiとして送信データ作成用サーバ170に出力する。
(三次元モデル更新用サーバ160)
三次元モデル更新用サーバ160は、図4に示すように、該当エリア引当部162と、該当エリア更新部164等を備えている。
該当エリア引当部162は、変化検出用サーバ190が変化ありと判定した場合は、三次元地図モデルMiにおけるドライバ視線に対応するエリアEMiを引き当てる。
該当エリア引当部162は、このエリアEMiをカメラ画像三次元モデル用メモリ154に記憶された今回のカメラ画像三次元モデルCMiに更新(書き換える)する(図8参照)。
(送信データ作成用サーバ170)
送信データ作成用サーバ170は、図4に示すように、送信車両決定部172を備えている。
この送信車両決定部172は、変化検出用サーバ190が変化個所ありとしてカメラ画像上変化検出領域付ドライバ視線画像CMHDGiを出力した場合は、車両情報蓄積用サーバ110に蓄積されている全ての車両情報Jiを読み込む。
そして、各々の車両情報J i に含まれている姿勢θ i 、速度V i 、現在位置G P i 、ハンドル角H θ i 、カメラ認識自走レーンC Z R iを含む車載カメラ撮影画像CGi 、撮影時刻C t i と、カメラ画像上変化検出領域付ドライバ視線画像C M H D G i の現在位置G P i とからこの変化箇所に向かう道路ネットワーク上を走行している車両がどれかを決定する。

そして、決定した車両の車両情報に含まれている端末番号、車両番号宛てで送信データSDJiを送信する。
また、レーン種類ドライバ視線画像作成用サーバ130が生成したドライバ視線画像DHi(更新含む)と、目的地到達レーン表示色Fi(例えば紫)と、上空ナビ画像ZFiとを組とする送信データSDJiを生成して無線通信網で車両10宛てに送信する。
<全体動作>
図5は車載カメラ画像を用いたナビ情報提供システムの概略全体動作を説明するシーケンス図である。
図5に示すように、車両10(10a、10b、・・・)は、車載カメラ部12、カメラコントローラ15、ナビ端末13によって一定時間毎に撮影した前方の画像を含む車両情報Jiをデータセンタ100に送信する(d10)。
データセンタ100の車両情報蓄積用サーバ110は、車両10(10a、10b・・)からの車両情報Jiを受信して車両情報蓄積用メモリ115に蓄積する(d12)。
振分サーバ120は、車両情報蓄積用サーバ110に車両情報Jiが蓄積される毎に、この車両情報Jiに含まれている撮影時刻Cti、カメラ番号Jci、車載カメラ撮影画像CGi、姿勢θi、速度Vi、現在位置GPi、ハンドル角Hθi等を車載カメラ撮影画像情報CJiとしてカメラ画像三次元モデル生成用サーバ150に出力(振分け)する(d14)。
また、振分サーバ120は、車両情報Jiの車両番号Jaiと端末番号Jbiと姿勢θiと速度Viと目的地Poiと現在位置GPiとハンドル角Hθiと撮影時刻Ctiとドライバ視線位置DSi等をカメラ認識自走行レーン情報CZJiとしてレーン種類ドライバ視線画像作成用サーバ130に出力(振分け)する(d16)。
カメラ画像三次元モデル生成用サーバ150は、振分サーバ120からの今回の車載カメラ撮影画像情報CJiに含まれている車載カメラ撮影画像CGiの画素毎の三次元座標を三次元地図モデルMiの基準座標に基づいて求め、この三次元座標を車載カメラ撮影画像CGiの各画素に割り当てたカメラ画像三次元モデルCMiを生成する(d18)。
すなわち、カメラ画像三次元モデル生成部152が振分サーバ120からの車載カメラ撮影画像情報CJiを受信して車載カメラ撮影画像情報用メモリ155に記憶(上書)する。
そして、車載カメラ撮影画像情報CJiが記憶される毎に、車載カメラ用パラメータデータベース153に記憶されている車載カメラのパラメータ情報(画角、半値幅、取付高、解像度、・・)と車載カメラ撮影画像情報CJiの撮影時刻Cti、姿勢θi、速度Vi、現在位置GPi、ハンドル角Hθi及び三次元地図モデルMiの基準座標等に基づいて車載カメラ撮影画像CGiの画素当たりの三次元座標を求め、これを画素に割り当てたカメラ画像三次元モデルCMiをカメラ画像三次元モデル用メモリ154に生成する。
そして、レーン種類ドライバ視線画像作成用サーバ130は、ドライバ画像生成処理及び矢印生成処理を行う(d20)。
ドライバ画像生成処理は、ドライバ画像作成部135が行う。ドライバ画像作成部135は、車両情報Jiに含まれているカメラ認識自走行レーン情報CZJiを受信する。このカメラ認識自走行レーン情報CZJiを受信する毎に、このカメラ認識自走行レーン情報CZJiに含まれている現在位置GPi、姿勢θi、速度Vi、ハンドル角Hθi、撮影時刻Cti、車両番号Jai、端末番号Jbi、ドライバ視線位置DSiをドライバ画像作成基本情報DKJiとして読み込む。
そして、ドライバ画像作成基本情報DKJiに含まれているドライバ視線位置DSiを三次元地形モデル用データベース180bの三次元地図モデルMi上に三次元地図モデル上ドライバ視点位置DMPiとして設定する。そして、この三次元地図モデル上ドライバ視点位置DMPiの画角でのエリアEMiを三次元地図モデルMiに定義し、エリアEMiにおける三次元地図モデル上ドライバ視線画像MEDHiをドライバ視線画像DHiとしてドライバ画像情報提供用メモリ131aに記憶する。
前述の三次元地図モデル上ドライバ視点位置DMPiには、前回の現在位置GPi等で決定した視線方向を割り付けている。
また、ドライバ画像作成部135は、ドライバ画像作成基本情報DKJiに含まれている現在位置GPi、姿勢θi、速度Vi、撮影時刻Cti等に基づいて、三次元地図モデルMi上に三次元地図モデルMi上の起点位置kiを決定(例えば高さ200m)する。
そして、この三次元地図モデルMi上の起点位置kiから進行方向に例えば500mの範囲を上空ナビ画像ZFiとする。そして、この上空ナビ画像ZFiを上空ナビ画像用メモリ131bに記憶する。
また、三次元地図モデルMi上の起点位置kiを現在のドライバ視線画像DHiの今回表示位置Pki(三次元地図モデルMi上の座標)とし、上空ナビ画像ZFiの次の交差点を次表示位置Pkni(三次元地図モデルMi上の座標)とし、これらを上空ナビ画像付属情報FZFi(今回表示位置Pkiの座標と表示マークの種類及び色(黄色)、次表示位置Pkniの座標と表示マークの色(ピンク))として上空ナビ画像ZFiに関連付けている。
前述の上空ナビ画像ZFiは三次元地図モデルMi上の起点位置Kiが変わる毎に更新される。つまり、ドライバ視線画像DHiが更新される毎に変わる。また、三次元地図モデルMi上の起点位置Kiが変わる毎に、次表示位置Pkniが今回表示位置Pkiとなる。
さらに、ドライバ画像作成部135は、ドライバ視線画像DHiに関連する道路施設交通案内情報DJiを検索し、この検索された道路施設交通案内情報DJiをドライバ視線画像DHiに関連付ける。
また、この道路施設交通案内情報DJiに含まれている標識の枠を異なる色(色エリアという)で定義する。このとき、目的地到達用レーンと標識の枠の色エリアとが接続されるようにした形状で定義するのが好ましい。
そして、送信データ作成用サーバ170に、ドライバ視線画像DHi、上空ナビ画像ZFi等を定義したことを知らせる情報(フラグ)を出力する。
前述の画角は、右車載カメラ12a、左車載カメラ12b(CCD内蔵)の画角であり、予めメモリ(図示せず)に記憶されている車載カメラ12a、12bのパラメータ(CCDサイズ、カメラ高さ、方向、解像度・・)を用いて算出する。
一方、矢印生成処理は、目的地到達レーン表示と、自車両進行方向矢印表示処理と、レーン変更矢印処理を行う。
目的地到達レーン表示は、目的地到達レーン色付部133が行う。目的地到達レーン色付部133は、振分サーバ120からの車両情報Jiに含まれているカメラ認識自走行レーン情報CZJiを受信する。このカメラ認識自走行レーン情報CZJiを受信する毎に、カメラ認識自走行レーン情報CZJiに含まれている目的地Poiの地理座標を有するネットワークレーンNRi(ノードNDi、リンクLRi、地理座標、幅、ノード間距離、ネットワークレーン番号NRBi)を三次元地図情報用サーバ180の道路ネットワークデータベース180aから検索する。
具体的には、現在位置PGiをカメラ認識自走レーンCZRiの中心の画像座標と三次元地図モデルMiの基準座標とに基づいて補正し、これを補正現在位置HPGiとする。そして、補正現在位置HPGiが求められる毎に、この補正現在位置HPGiの座標を有する道路ネットワークDWiのネットワークレーンNRiを目的地到達ネットワークレーンPNRiとして三次元地図情報用サーバ180から検索する。つまり、目的地到達ネットワークレーンPNRiを検索する。
そして、ドライバ画像情報提供用メモリ131aにドライバ視線画像DHiが記憶(生成)されているかどうかを判定する。
生成されている場合は、このドライバ視線画像DHiを読み込み、検索した目的地到達ネットワークレーンPNRiの目的地到達ネットワークレーン番号PNBRiに該当するドライバ視線画像上レーンDRi上に目的地到達レーンであることを示す目的地到達レーン表示色Fi(例えば紫)を定義する。つまり、ドライバ視線画像DHiにドライバ視線画像上目的地到達レーンPDRi(紫)が定義されたことになる(図6参照)。
また、自車両進行方向矢印表示処理は進行矢印設定部136が行う。進行矢印設定部136は、車両情報Jiに含まれているカメラ認識自走行レーン情報CZJiを受信する毎に、ドライバ画像情報提供用メモリ131aにドライバ視線画像DHiが記憶されているかどうかを判定する。
そして、記憶されている場合は、カメラ認識自走行レーン情報CZJiに含まれている現在位置PGiを有するドライバ視線画像DHiにおけるドライバ視線画像上レーンDRiをドライバ視線画像上カメラ認識自走レーンDCRiとして定義する(図7参照)。
具体的には、現在位置PGiをカメラ認識自走レーンCZRiの中心の画像座標と三次元地図モデルMiの基準座標とに基づいて補正し、この補正現在位置HPGi(座標)を有するドライバ視線画像DHiにおけるドライバ視線画像上レーンDRiをドライバ視線画像上カメラ認識自走レーンDCRiとして定義する。つまり、GPS受信機で受信した現在位置PGiに誤差があっても、ドライバ視線画像DHi上での自走しているレーン(ドライバ視線画像上カメラ認識自走レーンDCRi)を正確に検索できる。
そして、ドライバ視線画像上カメラ認識自走レーンDCRiに自車両進行方向矢印ZYiを定義する。この自車両進行方向矢印ZYiは、ドライバ視線画像DHi又はドライバ視線画像上カメラ認識自走レーンDCRiの上になるように定義する。
自車両進行方向矢印ZYiは、ドライバ視線画像DHiの番号と、ドライバ視線画像上カメラ認識自走レーン番号DCBRiと、自車両進行方向矢印ZYiの情報(自車進行方向矢印Zyiの始点座標、大きさ、矢印の種類、色(例えば黄土色)等)を関連付けて自車両進行方向矢印情報ZYJiとして定義するのが好ましい。
さらに、レーン変更矢印処理はレーン変更矢印設定部138が行う。レーン変更矢印設定部138はカメラ認識自走行レーン情報CZJiを受信する毎に、ドライバ画像情報提供用メモリ131aにドライバ視線画像DHiが記憶(生成)され、かつドライバ視線画像上カメラ認識自走レーンDCRi上に目的地到達レーンであることを示す目的地到達レーン表示色Fi(例えば紫)を定義され、自車両進行方向矢印ZYi、レーン変更矢印HZYiが定義されているかどうかを判定する。
定義されている場合は、自車両進行方向矢印ZYiがドライバ視線画像上カメラ認識自走レーンDCRi上に定義されているかどうかを判定する。そして、自車両進行方向矢印ZYiがドライバ視線画像上カメラ認識自走レーンDCRi上に定義されている場合は、ドライバ視線画像上カメラ認識自走レーンDCRi上におけるレーン変更矢印HZYiを消去する。
また、レーン変更矢印設定部138は、ドライバ視線画像DHiのドライバ視線画像上カメラ認識自走レーン番号DCBRiと、ドライバ視線画像上目的地到達レーン番号PDBRiとが一致しているかどうかを判定する。
不一致の場合は、ドライバ視線画像DHiのドライバ視線画像上カメラ認識自走レーンDCRi上に定義されている自車両進行方向矢印ZYiの頭から所定位置を始点としたレーン変更矢印HZYiの頭をドライバ視線画像上目的地到達レーンPDRiに向けて定義する(図7参照)。
一方、変化検出用サーバ190は、変化検出処理を行う(d22)。変化検出用サーバ190は、図4に示すように、変化判定部192を備えている。変化判定部192は、三次元地図モデルMiにおけるエリアEMiが定義される毎に、このエリアEMi内の三次元地図モデル上ドライバ視線画像MEDHiをメモリ194に記憶(コピー)する。
そして、このメモリ194の三次元地図モデル上ドライバ視線画像MEDHiと、カメラ画像三次元モデル用メモリ154に記憶された今回のカメラ画像三次元モデルCMiと比較し、今回のカメラ画像三次元モデルCMiに変化があるかどうかを判定する。
変化がある場合は、この変化領域CMHiをドライバ画像情報提供用メモリ131aのドライバ視線画像DHiに上書きする(図8参照)。
また、三次元地図モデルMi上の三次元モデル上道路レーンMRiに補正現在位置HPGiを定義し、この補正現在位置HPGiからカメラ画像三次元モデルCMiにおける変化領域CMHiの中心座標までの距離CGRiを求める。
そして、変化領域CMHi付のドライバ視線画像DHiと距離CGRi等をカメラ画像上変化検出領域付ドライバ視線画像CMHDGiとして送信データ作成用サーバ170に出力する。このカメラ画像上変化検出領域付ドライバ視線画像CMHDGiには、距離CGRiを読み込んで何メートル先に障害物があるかを知らせるコメント等を付加するのが好ましい。
また、三次元モデル更新用サーバ160は三次元モデル更新処理を行う(d24)。この三次元モデル更新処理は、三次元モデル更新用サーバ160が行う。
三次元モデル更新用サーバ160の該当エリア引当部162は、変化検出用サーバ190が変化ありと判定した場合は、三次元地図モデルMiにおけるドライバ視線に対応するエリアEMiを引き当る。そして、このエリアEMiをカメラ画像三次元モデル用メモリ154に記憶された今回のカメラ画像三次元モデルCMiに更新(書き換える)する(図8参照)。
また、送信データ作成用サーバ170は、変化があることが知らせられると、送信データ決定処理を行う(d28)。
送信データ作成用サーバ170の送信車両決定部172は、変化検出用サーバ190が変化個所ありとしてカメラ画像上変化検出領域付ドライバ視線画像CMHDGiを出力した場合は、車両情報蓄積用サーバ110に蓄積されている全ての車両情報Jiを読み込む。
そして、各々の車両情報Jiに含まれている姿勢θi、速度Vi、現在位置GPi、ハンドル角Hθi、カメラ認識自走レーン番号CZBRi、撮影時刻Ctiと、カメラ画像上変化検出領域付ドライバ視線画像CMHDGiの現在位置GPiとからこの変化箇所に向かう道路ネットワーク上を走行している車両がどれかを決定する。
そして、決定した車両の車両情報に含まれている端末番号、車両番号宛てで送信データSDJiを送信する(d30)。
また、レーン種類ドライバ視線画像作成用サーバ130が生成したドライバ視線画像DHi(更新含む)と、目的地到達レーン表示色Fi(例えば紫)と、上空ナビ画像ZFiとを組とする送信データSDJiを生成して無線通信網で車両10宛てに送信する(d32)。
従って、ナビ端末13の画面13aに表示される画像は、図6(a)〜図6(c)に示すように、ドライバ視線画像DHiのドライバ視線画像上目的地到達レーンPDRiが紫色で表示される。また、ドライバ視線画像上目的地到達レーンPDRiがドライバ視線画像上カメラ認識自走レーンDCRiとされた場合は、自車両進行方向矢印ZYiがドライバ視線画像上目的地到達レーンPDRi上に表示される。
さらに、図6(a)〜図6(c)に示すように、ドライバ視線画像DHiの隣に上空ナビ画像ZFiが表示される。
若しくは、ナビ端末13の画面13aに表示される画像は、図7(a)〜図7(c)に示すように、レーン変更矢印HZYi(赤色)を含むドライバ視線画像DHiが表示される。
或いは、ナビ端末13の画面13aに表示される画像は、図8(a)〜図8(c)に示すように、カメラ画像上変化検出領域付ドライバ視線画像CMHDGiが表示される。
従って、図8に示すように、このカメラ画像上変化検出領域付ドライバ視線画像CMHDGiに前方に存在している車両が撮影して得た障害物としての変化領域CMHiと距離CGRiとが表示されるので、運転者は前方にどんな障害物があるかを知ることができる。このため、安全に走行できる。
さらに、ナビ端末13の画面13aに表示される画像は、図9(a)〜図9(c)に示すように、車載カメラ撮影画像CGiに基づいて作成されたカメラ画像三次元モデルCMi付のドライバ視線画像DHiが表示される。
10 車両
12 車載カメラ部
100 データセンタ
110 車両情報蓄積用サーバ
120 振分サーバ
130 レーン種類ドライバ視線画像作成用サーバ
150 カメラ画像三次元モデル生成用サーバ
160 三次元モデル更新用サーバ
170 送信データ作成用サーバ
180 三次元地図情報用サーバ
190 変化検出用サーバ
133 目的地到達レーン色付部
135 ドライバ画像作成部
136 進行矢印設定部
138 レーン変更矢印設定部
152 カメラ画像三次元モデル生成部

Claims (8)

  1. 車両に搭載された車載カメラ付ナビ端末からの車両情報(Ji)をデータセンタが無線通信回線を介して受信し、該データセンタがこの車両情報(Ji)に基づいて作成した送信データ(SDJi)を前記車載カメラ付ナビ端末に送信するナビ情報提供システムであって、
    前記車載カメラ付ナビ端末は、
    GPS受信機と、撮影カメラ付ナビ部と、ナビ端末とを備え、
    前記撮影カメラ付ナビ部は、
    前記車両の左右側に設けられ、前方を撮影する左車載カメラ及び右車載カメラよりなる撮影カメラ部と、コントローラ部とを備え、
    前記コントローラ部は、
    前記右車載カメラが撮影した右カメラ画像(Cai)と左車載カメラが撮影した左カメラ画像(Cbi)とが入力する毎に、これらを合成した車載カメラ撮影画像(CGi)を生成し、この車載カメラ撮影画像(CGi)毎に、この車載カメラ撮影画像(CGi)上にカメラ視線中心を定義し、このカメラ視線中心を挟む車線画像(Di)と車線画像(Di)との間の画像領域をカメラ認識自走レーン(CZRi)とし、このカメラ認識自走レーン(CZRi)を含む車載カメラ撮影画像(CGi)を出力する手段と、
    前記ナビ端末は、
    前記車載カメラ撮影画像(CGi)が入力する毎に、この車載カメラ撮影画像(CGi)と、端末番号(Jbi)と、姿勢(θi)と、目的地(Poi)と、前記GPS受信機で得た現在位置(GPi)とを有する前記車両情報(Ji)を生成し、これを前記データセンタに送信する手段と、
    前記データセンタからの送信データ(SDJi)に基づくドライバ視線画像(DHi)を画面に表示する手段とを備え、
    前記データセンタは、サーバ群を備え、
    前記サーバ群は、
    前記車両が走行する道路を含む三次元地図モデル(Mi)及びこの三次元地図モデル(Mi)の道路であるレーンの画像領域に対して、このレーンに該当する道路ネットワーク(DWi)のレーン番号を関連付けて記憶した三次元地図情報用サーバと、さらに、
    前記車両情報(Ji)を受信して蓄積する車両情報蓄積用サーバと、レーン種類ドライバ視線画像作成用サーバと、送信データ作成用サーバとを備え、
    前記レーン種類ドライバ視線画像作成用サーバは、
    ドライバ画像情報提供用メモリ部を備え、
    前記車両情報(Ji)が前記車両情報蓄積用サーバに蓄積される毎に、この車両情報(Ji)に含まれている前記現在位置(GPi)、前記姿勢(θi)、予め記憶されているカメラパラメータ情報、基準の地理座標に基づいて求めた前記三次元地図モデル(Mi)における位置を三次元地図モデル上ドライバ視点位置(DMPi)として前記三次元地図モデル(Mi)上に設定する手段と、
    前記三次元地図モデル上ドライバ視点位置(DMPi)に、前記カメラパラメータ情報、前記姿勢(θi)に基づくエリア(EMi)を前記三次元地図モデル(Mi)に定義し、このエリア内の画像を前記ドライバ視線画像(DHi)として読み込み、これを前記ドライバ画像情報提供用メモリ部に記憶する手段と、
    前記車両情報(Ji)が前記車両情報蓄積用サーバに蓄積される毎に、この前記車両情報(Ji)に含まれている前記目的地(Poi)の地理座標を有する前記道路ネットワーク(DWi)のレーン番号のネットワークレーン(NRi)を前記目的地(Poi)に到達するための目的地到達ネットワークレーン(PNRi)として前記三次元地図情報用サーバから検索する手段と、
    記目的地到達ネットワークレーン(PNRi)が検索される毎に、この目的地到達ネットワークレーン(PNRi)のレーン番号が関連付けられている前記ドライバ視線画像(DHi)の画像領域に、目的地到達ネットワークレーン(PNRi)であることを示す目的地到達レーン表示色(Fi)を定義した画像をドライバ視線画像上目的地到達レーン(PDRi)として得る手段と、
    前記車両情報(Ji)を受信する毎に、この車両情報(Ji)の前記車載カメラ撮影画像(CGi)に含まれている前記カメラ認識自走レーン(CZRi)に該当する前記ドライバ視線画像(DHi)の画像領域をドライバ視線画像上カメラ認識自走レーン(DCRi)として決定する手段と、
    前記決定したドライバ視線画像上カメラ認識自走レーン(DCRi)に自車両進行方向矢印(ZYi)を定義する手段とを備え、
    前記送信データ作成用サーバは、
    前記ドライバ画像情報提供用メモリ部のドライバ視線画像(DHi)の前記ドライバ視線画像上目的地到達レーン(PDRi)が得られ、かつドライバ視線画像上カメラ認識自走レーン(DCRi)に自車両進行方向矢印(ZYi)定義される毎に、前記ドライバ視線画像上目的地到達レーン(PDRi)を含むドライバ視線画像(DHi)及び前記自車両進行方向矢印(ZYi)を前記送信データ(SDJi)として、前記車両情報(Ji)に含まれている前記端末番号(Jbi)の前記ナビ端末に送信する手段と
    を有することを特徴とするナビ情報提供システム。
  2. 前記レーン種類ドライバ視線画像作成用サーバは、
    前記目的地到達ネットワークレーン(PNRi)の番号と、前記カメラ認識自走レーン(CZRi)の番号とが一致しているかどうかを判定する手段と、
    不一致の場合は、ドライバ視線画像(DHi)の前記自車両進行方向矢印(ZYi)の所定位置を始点としたレーン変更矢印(HZYi)を前記ドライバ視線画像上目的地到達レーン(PDRi)に向けて定義する手段とを備え、
    前記送信データ作成用サーバは、
    前記ドライバ画像情報提供用メモリ部のドライバ視線画像(DHi)に前記レーン変更矢印(HZYi)が定義される毎に、このレーン変更矢印(HZYi)と、このドライバ視線画像(DHi)とを前記送信データ(SDJi)として前記車両情報(Ji)に含まれている前記端末番号(Jbi)の前記ナビ端末に送信する手段と
    を有することを特徴とする請求項1に記載のナビ情報提供システム。
  3. カメラ画像三次元モデル生成用サーバを備え、
    前記カメラ画像三次元モデル生成用サーバは、
    車載カメラ撮影画像(CGi)が記憶される車載カメラ撮影画像情報用メモリと、
    車載カメラのパラメータ情報が記憶された車載カメラ用パラメータデータベースとを備え、さらに、
    前記車両情報蓄積用サーバに車両情報(Ji)が蓄積される毎に、この車両情報(Ji)に含まれている前記車載カメラ撮影画像(CGi)を前記車載カメラ撮影画像情報用メモリに記憶する手段と、
    前記車載カメラ用パラメータデータベースの車載カメラのパラメータ情報と、前記車両情報(Ji)に含まれている姿勢(θi)、現在位置(GPi)及び、前記三次元地図モデル(Mi)内の基準の地理座標に基づいて前記車載カメラ撮影画像(CGi)の画素当たりの前記三次元地図モデル(Mi)における三次元座標を求め、これを前記車載カメラ撮影画像(CGi)の該当する画素に割り当てたカメラ画像三次元モデル(CMi)を生成してカメラ画像三次元モデル用メモリに記憶する手段を有することを特徴とする請求項1に記載のナビ情報提供システム。
  4. 前記車両情報(Ji)は、鳥瞰図表示又はドライバ視点表示の指示情報が含まれており、
    前記送信データ作成用サーバは、
    前記指示情報に基づいて前記ドライバ視線画像(DHi)を鳥瞰図又はドライバ視点位置の画像に変換する手段を有することを特徴とする請求項1に記載のナビ情報提供システム。
  5. 車載カメラ付ナビ端末からの車両の前方を撮影する左右のカメラによる撮影画像に基づいて認識した車線画像(Di)と車線画像(Di)との間の画像領域であるカメラ認識自走レーン(CZRi)を含む車載カメラ撮影画像(CGi)と、端末番号(Jbi)と、姿勢(θi)と、目的地(Poi)と、GPS受信機で得た現在位置(GPi)とを有する車両情報(Ji)を無線通信回線を介して受信し、この車両情報(Ji)に基づいて作成した送信データ(SDJi)を前記車載カメラ付ナビ端末に送信するナビ情報提供装置であって、
    前記車両が走行する道路を含む三次元地図モデル(Mi)及びこの三次元地図モデル(Mi)の道路であるレーンの画像領域に対して、このレーンに該当する道路ネットワーク(DWi)のレーン番号を関連付けて記憶した三次元地図情報記憶部と、
    前記車載カメラ付ナビ端末からの車両情報(Ji)を受信して、これを順次記憶する車両情報用蓄積部と、
    さらに、ドライバ画像情報提供用メモリ部と、レーン種類ドライバ視線画像作成部と、
    送信データ作成部とを備え、
    前記レーン種類ドライバ視線画像作成部は、
    前記車両情報(Ji)が前記車両情報用蓄積部に蓄積される毎に、この車両情報(Ji)に含まれている現在位置(GPi)、前記車両情報(Ji)に含まれている姿勢(θi)、予め記憶されているカメラパラメータ情報、前記三次元地図モデル(Mi)内の基準の地理座標に基づいて求めた前記三次元地図モデル(Mi)における位置を三次元地図モデル上ドライバ視点位置(DMPi)として前記三次元地図モデル(Mi)に設定する手段と、
    前記三次元地図モデル上ドライバ視点位置(DMPi)に、前記カメラパラメータ情報、前記姿勢(θi)に基づくエリア(EMi)を前記三次元地図モデル(Mi)に定義し、このエリア内の画像をドライバ視線画像(DHi)として読み込み、これを前記ドライバ画像情報提供用メモリ部に記憶する手段と、
    前記車両情報(Ji)が前記車両情報用蓄積部に蓄積される毎に、この車両情報(Ji)に含まれている目的地(Poi)の地理座標を有する前記道路ネットワーク(DWi)のレーン番号のネットワークレーン(NRi)を前記目的地(Poi)に到達するための目的地到達ネットワークレーン(PNRi)として前記三次元地図情報記憶部から検索する手段と、
    前記目的地到達ネットワークレーン(PNRi)が検索される毎に、この目的地到達ネットワークレーン(PNRi)のレーン番号が関連付けられている前記ドライバ視線画像(DHi)の画像領域に、目的地到達ネットワークレーン(PNRi)であることを示す目的地到達レーン表示色(Fi)を定義した画像をドライバ視線画像上目的地到達レーン(PDRi)として得る手段と、
    前記車両情報(Ji)を受信する毎に、この車両情報(Ji)の前記車載カメラ撮影画像(CGi)に含まれている前記カメラ認識自走レーン(CZRi)に該当する前記ドライバ視線画像(DHi)の画像領域をドライバ視線画像上カメラ認識自走レーン(DCRi)として決定する手段と、
    前記決定したドライバ視線画像上カメラ認識自走レーン(DCRi)に自車両進行方向矢印(ZYi)を定義する手段とを備え、
    前記送信データ作成部は、
    前記ドライバ画像情報提供用メモリ部のドライバ視線画像(DHi)の前記ドライバ視線画像上目的地到達レーン(PDRi)が得られ、かつドライバ視線画像上カメラ認識自走レーン(DCRi)に自車両進行方向矢印(ZYi)が定義される毎に、前記ドライバ視線画像上目的地到達レーン(PDRi)を含むドライバ視線画像(DHi)及び前記自車両進行方向矢印(ZYi)を前記送信データ(SDJi)として、前記車両情報(Ji)に含まれている前記端末番号(Jbi)の前記車載カメラ付ナビ端末に送信する手段と
    を有することを特徴とするナビ情報提供装置。
  6. 前記レーン種類ドライバ視線画像作成部は、
    前記目的地到達ネットワークレーン(PNRi)の番号と、前記カメラ認識自走レーン(CZRi)の番号とが一致しているかどうかを判定する手段と、
    不一致の場合は、ドライバ視線画像(DHi)の前記自車両進行方向矢印(ZYi)の所定位置を始点としたレーン変更矢印(HZYi)を前記ドライバ視線画像上目的地到達レーン(PDRi)に向けて定義する手段とを備え、
    前記送信データ作成部は、
    前記ドライバ画像情報提供用メモリ部のドライバ視線画像(DHi)に前記レーン変更矢印(HZYi)が定義される毎に、このレーン変更矢印(HZYi)と、このドライバ視線画像(DHi)とを前記送信データ(SDJi)として前記車両情報(Ji)に含まれている前記端末番号(Jbi)の前記車載カメラ付ナビ端末に送信する手段と
    を有することを特徴とする請求項5に記載のナビ情報提供装置
  7. さらに、カメラ画像三次元モデル作成部を備え、
    前記カメラ画像三次元モデル作成部は、
    車載カメラ撮影画像(CGi)が記憶される車載カメラ撮影画像情報用メモリと、
    車載カメラのパラメータ情報が記憶された車載カメラ用パラメータデータベースとを備え、さらに、
    前記車両情報用蓄積部に車両情報(Ji)が蓄積される毎に、この車両情報(Ji)に含まれている前記車載カメラ撮影画像(CGi)を前記車載カメラ撮影画像情報用メモリに記憶する手段と、
    前記車載カメラ用パラメータデータベースの車載カメラのパラメータ情報と、姿勢(θi)、現在位置(GPi)及び前記三次元地図モデル(Mi)内の基準の地理座標に基づいて前記車載カメラ撮影画像(CGi)の画素当たりの前記三次元地図モデル(Mi)における三次元座標を求め、これを前記車載カメラ撮影画像(CGi)の該当する画素に割り当てたカメラ画像三次元モデル(CMi)を生成してカメラ画像三次元モデル用メモリに記憶する手段を
    有することを特徴とする請求項5に記載のナビ情報提供装置
  8. 前記車両情報(Ji)は、鳥瞰図表示又はドライバ視点表示の指示情報が含まれており、
    前記送信データ作成部は、
    前記指示情報に基づいて前記ドライバ視線画像(DHi)を鳥瞰図又はドライバ視点位置の画像に変換する手段を有することを特徴とする請求項5に記載のナビ情報提供装置。
JP2015257498A 2015-12-28 2015-12-28 ナビ情報提供システム及びナビ情報提供装置 Active JP6723744B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015257498A JP6723744B2 (ja) 2015-12-28 2015-12-28 ナビ情報提供システム及びナビ情報提供装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015257498A JP6723744B2 (ja) 2015-12-28 2015-12-28 ナビ情報提供システム及びナビ情報提供装置

Publications (2)

Publication Number Publication Date
JP2017120238A JP2017120238A (ja) 2017-07-06
JP6723744B2 true JP6723744B2 (ja) 2020-07-15

Family

ID=59271979

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015257498A Active JP6723744B2 (ja) 2015-12-28 2015-12-28 ナビ情報提供システム及びナビ情報提供装置

Country Status (1)

Country Link
JP (1) JP6723744B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111158355A (zh) * 2018-11-07 2020-05-15 富华科精密工业(深圳)有限公司 自动导航云服务器及自动导航控制方法
CN110070712A (zh) * 2019-04-12 2019-07-30 同济大学 一种低速清扫车全局定位***及方法
KR20210087271A (ko) * 2020-01-02 2021-07-12 삼성전자주식회사 3d 증강 현실 내비게이션 정보 표시 방법 및 장치
CN116592908B (zh) * 2023-05-17 2024-07-19 浙江高信技术股份有限公司 一种基于高精地图定位导航方法及***

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006109527A1 (ja) * 2005-03-30 2006-10-19 National University Corporation Kumamoto University ナビゲーション装置およびナビゲーション方法
JP4980118B2 (ja) * 2007-04-06 2012-07-18 アルパイン株式会社 車載用ナビゲーション装置
JP5356770B2 (ja) * 2008-10-20 2013-12-04 アルパイン株式会社 ナビゲーション装置および割り込み情報表示方法

Also Published As

Publication number Publication date
JP2017120238A (ja) 2017-07-06

Similar Documents

Publication Publication Date Title
CN112204343B (zh) 高清晰地图数据的可视化
KR102113816B1 (ko) 차량 자율주행 서비스 시스템 및 이를 위한 클라우드 서버 및 그 동작 방법
JP5435306B2 (ja) 画像処理システム及び位置測位システム
EP3333803A1 (en) Pose error estimation and localization using static features
JP4847090B2 (ja) 位置測位装置、および位置測位方法
US20180045516A1 (en) Information processing device and vehicle position detecting method
US20210199437A1 (en) Vehicular component control using maps
KR100887721B1 (ko) 영상 차량 항법 장치 및 방법
EP3553752A1 (en) Information processing apparatus, information processing method, and computer-readable medium for generating an obstacle map
US10942519B2 (en) System and method for navigating an autonomous driving vehicle
EP3671623B1 (en) Method, apparatus, and computer program product for generating an overhead view of an environment from a perspective image
JP6723744B2 (ja) ナビ情報提供システム及びナビ情報提供装置
CN102208036A (zh) 车辆位置检测***
US20100245561A1 (en) Navigation device
JP2010134499A (ja) 遠隔地画像表示装置、遠隔操縦装置、車両制御装置、遠隔操縦システム、遠隔操縦方法、遠隔操縦プログラム、車両制御プログラム、遠隔地画像表示方法、遠隔地画像表示プログラム
CN110998684B (zh) 图像收集***、图像收集方法、图像收集装置、记录介质
EP2829844A1 (en) Navigation system
US20230392943A1 (en) Server apparatus and information processing method
JP5883723B2 (ja) 3次元画像表示システム
US20220221298A1 (en) Vehicle control system and vehicle control method
KR20100004022A (ko) 도로 표지판을 이용한 네비게이션 장치, 시스템 및 방법
JP2020166691A (ja) 撮影システム、サーバ、制御方法およびプログラム
CN102288180B (zh) 实时影像导航***及方法
EP3339808A1 (en) Positioning objects in an augmented reality display
JP6773473B2 (ja) 測量情報管理装置および測量情報管理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180629

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20190201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190604

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190531

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190730

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190730

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190730

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190823

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200110

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20200115

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20200212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20200212

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200604

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200624

R150 Certificate of patent or registration of utility model

Ref document number: 6723744

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250