JP2023066699A - 重畳画像表示装置 - Google Patents

重畳画像表示装置 Download PDF

Info

Publication number
JP2023066699A
JP2023066699A JP2021177446A JP2021177446A JP2023066699A JP 2023066699 A JP2023066699 A JP 2023066699A JP 2021177446 A JP2021177446 A JP 2021177446A JP 2021177446 A JP2021177446 A JP 2021177446A JP 2023066699 A JP2023066699 A JP 2023066699A
Authority
JP
Japan
Prior art keywords
lane
vehicle
reliability
guidance
road
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021177446A
Other languages
English (en)
Inventor
広之 三宅
Hiroyuki Miyake
大輔 小林
Daisuke Kobayashi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Corp filed Critical Aisin Corp
Priority to JP2021177446A priority Critical patent/JP2023066699A/ja
Priority to US17/975,798 priority patent/US20230135641A1/en
Publication of JP2023066699A publication Critical patent/JP2023066699A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23Head-up displays [HUD]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/166Navigation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/176Camera images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/177Augmented reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Navigation (AREA)
  • Instrument Panels (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】走行車線の特定結果の信頼度に応じた表示態様で案内オブジェクトを表示することにより、信頼度が低い場合であっても車両の乗員に不利益を生じさせることを防止した重畳画像表示装置を提供する。【解決手段】車両が現在走行する道路において走行を推奨される推奨車線を取得し、車両が現在走行する道路において車両が現在走行する車線である走行車線を特定し、更に特定された走行車線について、特定された結果にどの程度の信頼性があるかを示す信頼度を取得し、信頼度に応じた表示態様で推奨車線に対する案内を行う為の案内オブジェクトを表示するように構成する。【選択図】図3

Description

本発明は、車両の走行支援を行う重畳画像表示装置に関する。
従来より、車両の乗員に対して経路案内や障害物の警告等の車両の走行支援を行う為の各種情報を提供する情報提供手段として、様々な手段が用いられている。例えば、車両に設置された液晶ディスプレイによる表示や、スピーカから出力する音声等である。そして、近年、このような情報提供手段の一つとして、乗員の周辺環境(風景、実景)に重畳する画像を表示することによって、情報の提供を行う装置がある。例えば、ヘッドアップディスプレイ、ウインドウシールドディスプレイの他、液晶ディスプレイに表示した車両周辺の撮像画像に重畳して画像を表示する方法等が該当する。
ここで、上記周辺環境に重畳する画像を表示することによって特に車両が走行すべき推奨車線に対する案内を行う技術として例えば特開2014-48146号公報には、車両の前方風景を撮像した画像を表示部に表示するとともに、交差点までの残距離が基準値より大きく、且つ車両が交差点を通過する為の推奨車線を走行していない場合には、推奨車線の位置を乗員に報知するために前方風景に含まれる推奨車線に重畳して矢印の画像を表示する技術について開示されている。
特開2014-48146号公報(図5)
しかしながら、推奨車線に対する案内として上記特許文献1に開示されているような画像を推奨車線の路面に重畳させる案内を行う為には、車両から見た推奨車線の位置(即ち車両が現在走行する車線に対してどちら側のどの程度離れた位置に推奨車線があるのか)が特定できていることが必要である。そして、車両から見た推奨車線の位置を特定する為には、その前提として車両が現在走行する車線(以下、走行車線という)を正確に特定することが必要である。
上記特許文献1の技術では走行車線を特定する手段として、車両の前方を撮像したカメラ画像に対して画像認識を行うことにより区画線を検出し、その結果に基づいて走行車線を特定しているが、例えば天候不良であったり、区画線のペイントが薄くなっている状況では走行車線の特定結果は信頼できないものとなることが考えられる。上記特許文献1ではそのような走行車線の特定結果が信頼できない場合であっても、画像を推奨車線の路面に重畳させる案内が行われてしまうこととなるので、誤った案内が行われる虞があり、車両の乗員に不利益を生じさせる可能性があった
本発明は前記従来における問題点を解消するためになされたものであり、車両周辺の風景に重畳して表示された案内オブジェクトにより推奨車線に対する案内を行う場合において、走行車線の特定結果の信頼度に応じた表示態様で案内オブジェクトを表示することにより、信頼度が低い場合であっても車両の乗員に不利益を生じさせることを防止した重畳画像表示装置を提供することを目的とする。
前記目的を達成するため本発明に係る重畳画像表示装置は、車両に搭載され、前記車両の乗員へ情報を案内する案内オブジェクトを、前記車両周辺の風景に重畳して視認させる重畳画像表示装置であって、車両が現在走行する道路において走行を推奨される推奨車線を取得する推奨車線取得手段と、車両が現在走行する道路において車両が現在走行する車線である走行車線を特定する走行車線特定手段と、前記走行車線特定手段によって特定された前記走行車線について、特定された結果にどの程度の信頼性があるかを示す信頼度を取得する信頼度取得手段と、前記走行車線及び前記推奨車線に基づいて、前記推奨車線に対する案内を行う為の前記案内オブジェクトを表示するオブジェクト表示手段と、を有し、前記オブジェクト表示手段は、前記信頼度に応じた表示態様で前記案内オブジェクトを表示する。
尚、「風景」とは、実際に車両から視認される風景(実景)に加えて、風景を撮像した画像、風景を再現した画像等も含む。
また、「推奨車線に対する案内」とは、推奨車線へと車両を誘導する目的なく推奨車線の位置や方向を車両に把握させる案内であっても良いし、推奨車線へと車両を誘導する案内であっても良い。
前記構成を有する本発明に係る重畳画像表示装置によれば、車両周辺の風景に重畳して表示された案内オブジェクトにより推奨車線に対する案内を行う場合において、走行車線の特定結果の信頼度に応じた表示態様で案内オブジェクトを表示することにより、信頼度が高い場合には正確な案内を行いつつ、信頼度が低い場合であっても車両の乗員に不利益を生じさせることを防止することが可能となる。
第1実施形態に係るナビゲーション装置を示したブロック図である。 第1実施形態に係る走行支援処理プログラムのフローチャートである。 液晶ディスプレイに表示される第1案内オブジェクトの一例を示した図である。 液晶ディスプレイに表示される第2案内オブジェクトの一例を示した図である。 第1案内オブジェクト表示位置決定処理のサブ処理プログラムのフローチャートである。 自車走行車線の検出方法について説明した図である。 自車走行車線の検出方法について説明した図である。 自車走行車線の検出方法について説明した図である。 高速道路の案内分岐点を通過する場合の推奨車線の一例を示した図である。 一般道の案内分岐点を通過する場合の推奨車線の一例を示した図である。 第1案内オブジェクトの一例を示した図である。 第1案内オブジェクトの一例を示した図である。 第1案内オブジェクトの一例を示した図である。 液晶ディスプレイに表示される第1案内オブジェクトの一例を示した図である。 液晶ディスプレイに表示される第1案内オブジェクトの一例を示した図である。 第2案内オブジェクト表示位置決定処理のサブ処理プログラムのフローチャートである。 第2案内オブジェクトの配置例を示した図である。 車両の走行に伴う液晶ディスプレイに表示される第2案内オブジェクトの変移を示した図である。 第2実施形態に係る重畳画像表示装置の概略構成図である。 第2実施形態に係る重畳画像表示装置における案内オブジェクトの表示例を示した図である。
以下、本発明に係る重畳画像表示装置をナビゲーション装置に具体化した第1実施形態及び第2実施形態について図面を参照しつつ詳細に説明する。
[第1実施形態]
先ず、第1実施形態に係るナビゲーション装置1の概略構成について図1を用いて説明する。図1は第1実施形態に係るナビゲーション装置1を示したブロック図である。
図1に示すように第1実施形態に係るナビゲーション装置1は、ナビゲーション装置1が搭載された車両の現在位置を検出する現在位置検出部11と、各種のデータが記録されたデータ記録部12と、入力された情報に基づいて、各種の演算処理を行うナビゲーションECU13と、ユーザからの操作を受け付ける操作部14と、ユーザに対して進行方向前方を撮像した実景画像を表示する液晶ディスプレイ15と、経路案内に関する音声ガイダンスを出力するスピーカ16と、記憶媒体であるDVDを読み取るDVDドライブ17と、プローブセンタやVICS(登録商標:Vehicle Information and Communication System)センタ等の情報センタとの間で通信を行う通信モジュール18と、を有する。また、ナビゲーション装置1はCAN等の車載ネットワークを介して、ナビゲーション装置1の搭載された車両に対して設置されたフロントカメラ19や各種センサが接続されている。
以下に、ナビゲーション装置1が有する各構成要素について順に説明する。
現在位置検出部11は、GPS21、車速センサ22、ステアリングセンサ23、ジャイロセンサ24等からなり、現在の車両の位置、方位、車両の走行速度、現在時刻等を検出することが可能となっている。ここで、特に車速センサ22は、車両の移動距離や車速を検出する為のセンサであり、車両の駆動輪の回転に応じてパルスを発生させ、パルス信号をナビゲーションECU13に出力する。そして、ナビゲーションECU13は発生するパルスを計数することにより駆動輪の回転速度や移動距離を算出する。尚、上記4種類のセンサをナビゲーション装置1が全て備える必要はなく、これらの内の1又は複数種類のセンサのみをナビゲーション装置1が備える構成としても良い。
また、データ記録部12は、外部記憶装置及び記録媒体としてのハードディスク(図示せず)と、ハードディスクに記録された地図情報DB31や所定のプログラム等を読み出すとともにハードディスクに所定のデータを書き込む為のドライバである記録ヘッド(図示せず)とを備えている。尚、データ記録部12をハードディスクの代わりにフラッシュメモリやメモリーカードやCDやDVD等の光ディスクにより構成しても良い。また、地図情報DB31は外部のサーバに格納させ、ナビゲーション装置1が通信により取得する構成としても良い。
ここで、地図情報DB31は、例えば、道路(リンク)に関するリンクデータ32、ノード点に関するノードデータ33、分岐点に関する分岐点データ34、施設等の地点に関する地点データ、地図を表示するための地図表示データ、経路を探索するための探索データ、地点を検索するための検索データ等が記憶された記憶手段である。
また、リンクデータ32としては、道路を構成する各リンクに関してリンクの属する道路の幅員、勾(こう)配、カント、バンク、路面の状態、道路の車線数、車線毎の進行方向の通行区分、対向車線の有無(対面通行区間か否か)、車線数の減少する箇所、幅員の狭くなる箇所、踏切り等を表すデータが、コーナに関して、曲率半径、交差点、T字路、コーナの入口及び出口等を表すデータが、道路属性に関して、降坂路、登坂路等を表すデータが、道路種別に関して、高速道路と一般道(国道、県道、細街路等)を表すデータがそれぞれ記録される。
また、ノードデータ33としては、実際の道路の分岐点(交差点、T字路等も含む)や各道路に曲率半径等に応じて所定の距離毎に設定されたノード点の座標(位置)、ノードが交差点に対応するノードであるか等を表すノード属性、ノードに接続するリンクのリンク番号のリストである接続リンク番号リスト、ノードにリンクを介して隣接するノードのノード番号のリストである隣接ノード番号リスト、各ノード点の高さ(高度)等に関するデータ等が記録される。
また、分岐点データ34としては、分岐点の交差点名称、分岐点を形成するノードを特定する該当ノード情報、分岐点に接続されるリンクを特定する接続リンク情報、分岐点に接続されるリンクに対応する方面名称、分岐点の形状を特定する情報等が記憶される。また、分岐点での右左折案内を行う場合に目印となり得る構造物についても記憶される。
一方、ナビゲーションECU(エレクトロニック・コントロール・ユニット)13は、ナビゲーション装置1の全体の制御を行う電子制御ユニットであり、演算装置及び制御装置としてのCPU41、並びにCPU41が各種の演算処理を行うにあたってワーキングメモリとして使用されるとともに、経路が探索されたときの経路データ等が記憶されるRAM42、制御用のプログラムのほか、後述の走行支援処理プログラム(図2)等が記録されたROM43、ROM43から読み出したプログラムを記憶するフラッシュメモリ44等の内部記憶装置を備えている。尚、ナビゲーションECU13は、処理アルゴリズムとしての各種手段を有する。例えば、推奨車線取得手段は、車両が現在走行する道路において走行を推奨される推奨車線を取得する。走行車線特定手段は、車両が現在走行する道路において車両が現在走行する車線である走行車線を特定する。信頼度取得手段は、走行車線特定手段によって特定された走行車線について、特定された結果にどの程度の信頼性があるかを示す信頼度を取得する。オブジェクト表示手段は、走行車線及び推奨車線に基づいて、推奨車線に対する案内を行う為の案内オブジェクトを表示する。
操作部14は、走行開始地点としての出発地及び走行終了地点としての目的地を入力する際等に操作され、各種のキー、ボタン等の複数の操作スイッチ(図示せず)を有する。そして、ナビゲーションECU13は、各スイッチの押下等により出力されるスイッチ信号に基づき、対応する各種の動作を実行すべく制御を行う。尚、操作部14は液晶ディスプレイ15の前面に設けたタッチパネルを有する構成としても良い。また、マイクと音声認識装置を有する構成としても良い。
また、液晶ディスプレイ15には、道路を含む地図画像、交通情報、操作案内、操作メニュー、キーの案内、出発地から目的地までの案内経路、案内経路に沿った案内情報、ニュース、天気予報、時刻、メール、テレビ番組等が表示される。また、特に第1実施形態では、車両が案内分岐点に近づいた段階で液晶ディスプレイ15にはフロントカメラ19で撮像した撮像画像、即ち現時点の車両周辺(特に車両前方)の風景(実景画像)を表示し、更に必要に応じて風景に対して案内オブジェクトを重畳させて表示する。
ここで、風景に重畳して表示される案内オブジェクトとしては、車両に関する情報や乗員の運転の支援の為に用いられる各種情報がある。例えば乗員に対して警告対象となる対象物(他車両、歩行者、案内標識)に対する警告、ナビゲーション装置1で設定された案内経路や案内経路に基づく案内情報(右左折方向を示す矢印、案内分岐点の目印を示すアイコン、案内分岐点までの距離、車両が走行すべき推奨車線の位置や方向、推奨車線への車線変更を促す案内等)、路面に表示する警告(追突注意、制限速度等)、車両が走行する車線の区画線、現在車速、シフト位置、エネルギ残量、広告画像、施設情報、案内標識、地図画像、交通情報、ニュース、天気予報、時刻、接続されたスマートフォンの画面等がある。尚、以下に説明する第1実施形態では案内オブジェクトは、車両の進行方向前方にある案内分岐点における案内を行う為の案内情報とする。より具体的には案内経路に沿った案内分岐点の退出方向を示す矢印、案内経路に沿って案内分岐点を通過する為に車両が現在走行する道路において走行が推奨される推奨車線の位置や方向を示す案内画像、推奨車線への移動を促す案内画像等とする。
また、スピーカ16は、ナビゲーションECU13からの指示に基づいて案内経路に沿った走行を案内する音声ガイダンスや、交通情報の案内を出力する。
また、DVDドライブ17は、DVDやCD等の記録媒体に記録されたデータを読み取り可能なドライブである。そして、読み取ったデータに基づいて音楽や映像の再生、地図情報DB31の更新等が行われる。尚、DVDドライブ17に替えてメモリーカードを読み書きする為のカードスロットを設けても良い。
また、通信モジュール18は、交通情報センタ、例えば、VICSセンタやプローブセンタ等から送信された渋滞情報、規制情報、交通事故情報等の各情報から成る交通情報を受信する為の通信装置であり、例えば携帯電話機やDCMが該当する。
また、フロントカメラ19は、例えばCCD等の固体撮像素子を用いたカメラを有する撮像装置であり、例えばルームミラーの裏側やフロントバンパに対して光軸方向を車両の進行方向前方に向けて設置される。そして、フロントカメラ19により撮像された撮像画像は、前述したように車両周辺(特に車両前方)の風景(実景画像)として液晶ディスプレイ15に対して表示される。また、フロントカメラ19により撮像された撮像画像は後述のように車両が現在走行する車線を特定する際にも用いられる。
続いて、前記構成を有するナビゲーション装置1においてナビゲーションECU13が実行する走行支援処理プログラムについて図2に基づき説明する。図2は第1実施形態に係る走行支援処理プログラムのフローチャートである。ここで、走行支援処理プログラムは車両のACC電源(accessory power supply)がONされた後に実行され、液晶ディスプレイ15に表示された車両周辺の風景に重畳した案内オブジェクトを視認させることによって、車両の走行支援を行うプログラムである。尚、以下の図2、図5及び図16にフローチャートで示されるプログラムは、ナビゲーション装置1が備えているRAM42やROM43に記憶されており、CPU41により実行される。
以下の説明では案内オブジェクトを用いた車両の走行支援として、ナビゲーション装置1で設定された案内経路に沿った車両の走行案内を行う例について説明する。また、表示対象となる案内オブジェクトは、車両の進行方向前方にある案内分岐点における案内を行う為の案内情報とし、特に案内分岐点の退出方向を示す矢印、推奨車線の位置や方向を示す案内画像及び推奨車線への移動を促す案内画像を案内オブジェクトとして表示する場合の処理を例に挙げて説明する。但し、ナビゲーション装置1では案内オブジェクトを用いて上記走行支援以外の案内や情報提供を行うことも可能である。また、表示対象となる案内オブジェクトは、上記矢印や案内画像以外の情報とすることも可能である。例えば、案内オブジェクトとして乗員に対して警告対象となる対象物(他車両、歩行者、案内標識)に対する警告、路面に表示する警告(追突注意、制限速度等)、次の案内分岐点までの距離、現在車速、シフト位置、エネルギ残量、広告画像、施設情報、案内標識、地図画像、交通情報、ニュース、天気予報、時刻、接続されたスマートフォンの画面等を表示することも可能である。
先ず、走行支援処理プログラムでは、ステップ(以下、Sと略記する)1においてCPU41は、車両の現在位置を現在位置検出部11の検出結果や地図情報に基づいて特定する。尚、車両の現在位置を特定する際には、車両の現在位置を地図情報にマッチングさせるマップマッチング処理についても行う。その後、ナビゲーション装置1で設定されている案内経路を読み出し、特定された車両の現在位置から案内経路に沿った次の案内分岐点までの距離を算出する。尚、案内分岐点とは、ナビゲーション装置1に設定されている案内経路に従ってナビゲーション装置1が走行の案内を行う際に、右左折指示等の案内を行う対象となる分岐点(交差点)である。尚、右左折はしないが特殊な形状を有する分岐点(難交差点)も案内分岐点に該当する。
次に、S2においてCPU41は、前記S1で算出された次の案内分岐点までの距離が、所定の案内開始距離未満か否かを判定する。尚、案内開始距離は車両が走行する道路の道路種別によって決定され、例えば高速道路は1km、一般道は高速道路よりも短い300mとする。但し、案内開始距離は固定値でなく変動する値としても良い。例えば一般道において案内分岐点の手前側300m以内に他の分岐点がある場合には、案内分岐点から該他の分岐点までの距離としても良い。
そして、前記S1で算出された次の案内分岐点までの距離が案内開始距離未満であると判定された場合(S2:YES)には、S3へと移行する。それに対して、前記S1で算出された次の案内分岐点までの距離が案内開始距離未満でないと判定された場合(S2:NO)には、S1へと戻る。
S3においてCPU41は、次の案内分岐点までの距離が、所定の退出方向案内開始距離未満か否かを判定する。尚、退出方向案内開始距離は前記S2の判定基準となる案内開始距離よりも短い距離であって、車両が走行する道路の道路種別によって決定され、例えば高速道路は300m、一般道は高速道路よりも短い50mとする。
そして、次の案内分岐点までの距離が退出方向案内開始距離未満であると判定された場合(S3:YES)には、S6へと移行する。それに対して、次の案内分岐点までの距離が退出方向案内開始距離未満でないと判定された場合(S3:NO)には、S4へと移行する。
次に、S4においてCPU41は、後述の第1案内オブジェクト表示位置決定処理(図5)を行う。第1案内オブジェクト表示位置決定処理は、推奨車線の位置や方向を示す案内画像或いは推奨車線への移動を促す案内画像を案内オブジェクト(以下、第1案内オブジェクトという)として表示対象とし、液晶ディスプレイ15に対して表示する第1案内オブジェクトの大きさ、形状及び第1案内オブジェクトを表示する位置(範囲)を具体的に決定する処理である。尚、前記S4で決定される第1案内オブジェクトの大きさ、形状及び第1案内オブジェクトを表示する位置は、例えば風景内の推奨車線、自車の走行車線或いはその間の車線に案内オブジェクトを重畳して乗員に視認させる為の条件となる。
続いて、S5においてCPU41は、前記S4で決定された大きさ及び形状の第1案内オブジェクトの画像を生成し、更に液晶ディスプレイ15に対して制御信号を送信し、液晶ディスプレイ15に対して生成された第1案内オブジェクトの画像を前記S4で決定された位置(範囲)に対して描画する。尚、液晶ディスプレイ15には車両から案内分岐点までの距離が案内開始距離未満となる前に予めフロントカメラ19で撮像した撮像画像、即ち現時点の車両周辺(特に車両前方)の風景(実景画像)が表示されている。その結果、車両の乗員に風景に重畳された第1案内オブジェクトを視認させることが可能となる。
図3は前記S5において液晶ディスプレイ15に表示される走行案内画面51の例を示した図である。図3に示すように液晶ディスプレイ15には、フロントカメラ19により撮像された現時点の車両前方の風景52が表示される。そして、車両前方の風景52に重畳して第1案内オブジェクトの画像53が表示される。
ここで、第1実施形態では案内に用いられる案内オブジェクトとして複数種類の案内オブジェクトが存在し、案内の内容や現在の状況に応じて選択された一又は複数種類の案内オブジェクトが表示される。また、複数種類の案内オブジェクトが同時に表示対象となる場合もある。図3に示す例は、車両の現在位置が案内分岐点に対して案内開始距離未満且つ退出方向案内開始距離以上に接近した状態(例えば案内分岐点まで1km~300m)に表示される走行案内画面51の例であり、案内経路に沿って案内分岐点を通過する為に車両が現在走行する道路において走行が推奨される推奨車線54を他の車線と識別して案内する案内画像が第1案内オブジェクトの画像53として表示される第1の表示態様と、推奨車線54を他の車線と識別して案内するとともに推奨車線54への移動を促す案内画像が第1案内オブジェクトの画像53として表示される第2の表示態様と、推奨車線の方向(案内分岐点の退出方向にも相当する)を案内する案内画像が第1案内オブジェクトの画像53として表示される第3の表示態様と、を示す。
尚、第1案内オブジェクトの画像53については、図3に示すように基本的に風景52内にある推奨車線54、或いは車両の現在走行する車線(以下、自車走行車線という)55から推奨車線54まで跨る領域に重畳して表示される。また、第1案内オブジェクトが上述した第1の表示態様、第2の表示態様及び第3の表示態様のいずれで表示されるかについては、後述のように車両が現在走行する車線を特定した結果の信頼度に基づいて選択される。具体的には、車両が現在走行する車線を特定した結果の信頼度が高い場合(車線の特定結果が信頼できる場合)については、第1案内オブジェクトを推奨車線へと車両を誘導する誘導性が高い第1の表示態様又は第2の表示態様により表示する。一方で、車両が現在走行する車線を特定した結果の信頼度が低い場合(車線の特定結果が信頼できない場合)については、第1案内オブジェクトを推奨車線へと車両を誘導する誘導性が低い第3の表示態様により表示する。また、上記信頼度が高い場合において第1の表示態様と第2の表示態様のいずれで表示するかについては自車から案内分岐点までの距離に基づいて切り替えても良いし、自車走行車線と推奨車線との位置関係に基づいて切り替えても良いし、予め決められたいずれか一方の表示態様のみで表示を行うようにしても良い。
尚、案内分岐点までの距離を第1案内オブジェクトの画像53に対して表示するようにしても良い。その後、S3へと戻り、案内分岐点までの距離が退出方向案内開始距離未満となるまで第1の案内オブジェクトの画像53を継続して表示する。第1の案内オブジェクトについては後程より詳細に説明する。
一方、S6においてCPU41は、後述の第2案内オブジェクト表示位置決定処理(図16)を行う。第2案内オブジェクト表示位置決定処理は、案内分岐点の退出方向を示す矢印を案内オブジェクト(以下、第2案内オブジェクトという)として表示対象とし、液晶ディスプレイ15に対して表示する第2案内オブジェクトの大きさ、形状及び第2案内オブジェクトを表示する位置(範囲)を具体的に決定する処理である。尚、前記S6で決定される第2案内オブジェクトの大きさ、形状及び第2案内オブジェクトを表示する位置は、例えば風景内の車両から所定距離離れた道路上方や案内分岐点の道路上方に案内オブジェクトを重畳して乗員に視認させる為の条件となる。
続いて、S7においてCPU41は、前記S6で決定された大きさ及び形状の第2案内オブジェクトの画像を生成し、更に液晶ディスプレイ15に対して制御信号を送信し、液晶ディスプレイ15に対して生成された第2案内オブジェクトの画像を前記S6で決定された位置(範囲)に対して描画する。尚、液晶ディスプレイ15には車両から案内分岐点までの距離が案内開始距離未満となる前に予めフロントカメラ19で撮像した撮像画像、即ち現時点の車両周辺(特に車両前方)の風景(実景画像)が表示されている。その結果、車両の乗員に風景に重畳された第2案内オブジェクトを視認させることが可能となる。
図4は前記S7において液晶ディスプレイ15に表示される走行案内画面51の例を示した図である。図4に示すように液晶ディスプレイ15には、フロントカメラ19により撮像された現時点の車両前方の風景52が表示される。そして、車両前方の風景52に重畳して第2案内オブジェクトの画像57が表示される。
ここで、第1実施形態では案内に用いられる案内オブジェクトとして複数種類の案内オブジェクトが存在し、案内の内容や現在の状況に応じて選択された一又は複数種類の案内オブジェクトが表示される。また、複数種類の案内オブジェクトが同時に表示対象となる場合もある。図4に示す例は、車両の現在位置が案内分岐点に対して退出方向案内開始距離未満に接近した状態(例えば案内分岐点まで300m以内)に表示される走行案内画面51の一例であり、車両が現在走行する道路の上方で車両の今後の進路に沿った位置に、案内分岐点の退出方向を示す複数個の矢印が第2案内オブジェクトの画像57として表示されている。
尚、第2案内オブジェクトの画像57については、複数の矢印形状のオブジェクトの画像を含み、複数のオブジェクトの画像を車両が現在走行する道路の上方に対して車両の今後の進路に沿って所定間隔で位置するように表示する。各矢印の向きは車両の案内分岐点の退出方向を示す。また、後述のように第2案内オブジェクトの画像57は、車両が案内分岐点から離れた状態では車両との相対位置が固定された態様(以下、第1の態様という)で表示され、車両が案内分岐点にある程度まで近づくと、風景52内にある案内分岐点との相対位置が固定された態様(以下、第2の態様という)に切り替えて表示される。特に第2の態様では第2案内オブジェクトの画像57の一部が案内分岐点に重畳した状態で固定される。従って、走行案内画面51を車両の乗員が視認した場合に、車両の進路や、右左折対象となる案内分岐点の位置や、案内交差点における退出方向を正確に把握できる。その後、車両が案内分岐点を通過するまで第2案内オブジェクトの画像57を継続して表示する。第2案内オブジェクトについては後程より詳細に説明する。
その後、S8においてCPU41は、車両が案内分岐点を通過したか否かを判定する。例えば現在位置検出部11で検出された車両の現在位置と地図情報に基づいて判定される。
そして、車両が案内分岐点を通過したと判定された場合(S8:YES)には、液晶ディスプレイ15に対して制御信号を送信し、液晶ディスプレイ15に表示されていた案内オブジェクトを非表示とする(S9)。尚、案内オブジェクトを非表示とする場合には、表示されている案内オブジェクトの画像の透過率を案内分岐点までの距離に応じで段階的に上昇させ、最終的に車両が案内分岐点に到達するタイミングで透過率が100%とするのが望ましい。また、フロントカメラ19で撮像した撮像画像、即ち現時点の車両周辺(特に車両前方)の風景(実景画像)については案内オブジェクトを非表示とした後も一定期間継続して表示された後に地図画像の表示へと切り替わる。
一方、車両が案内分岐点を通過していないと判定された場合(S8:NO)にはS6へと戻り、案内オブジェクトの表示を継続して行う。
次に、前記S4において実行される第1案内オブジェクト表示位置決定処理のサブ処理について図5に基づき説明する。図5は第1案内オブジェクト表示位置決定処理のサブ処理プログラムのフローチャートである。
先ず、S11においてCPU41は、車両の現在位置周辺(特に車両進行方向の前方)に対応した3次元空間を生成する。尚、3次元空間には、道路以外に、建築物、道路標識などについてもモデリングしても良いし、道路のみをモデリングしても良い。或いは道路についてもモデリングしない地面のみがある単なる空白の3次元空間としても良い。また、3次元空間は予め3次元地図情報として地図情報DB31に格納しておき、前記S11では地図情報DB31から該当する自車位置周辺の3次元地図情報を読み出しても良い。また、フロントカメラ19で撮像した画像に基づいて3次元空間を生成しても良い。例えばフロントカメラ19で撮像した撮像画像に対して点群マッチングを行うことによって、道路や道路周辺にある構造物を検出し、3次元空間を生成することが可能である。
また、前記S11でCPU41は、現在位置検出部11で検出されたパラメータに基づいて、生成された3次元空間における自車両の現在位置及び方位についても特定する。特に、車両に設置されたフロントカメラ19の位置を自車両の現在位置とし、フロントカメラ19の光軸方向を自車両の方位とする。尚、フロントカメラ19の位置は車両の乗員の位置、フロントカメラ19の光軸方向は車両の乗員の視線方向にも相当する。また、前記S11では生成された3次元空間において車両の進行方向前方にある案内分岐点の位置についても特定する。
次に、S12においてCPU41は、フロントカメラ19で撮像した画像に対して画像処理を施すことにより、車両の周辺に位置する地物を認識(検出)する。具体的には、本実施形態では路面(自車両の走行する車線の路面に加えて、自車両の走行する車線以外の車線の路面も含む)に描かれた区画線と、道路端(具体的には車道の端であり歩道がある場合には車道と歩道との境界となる)を認識(検出)対象とする。尚、区画線については区画線の色や種別(実線、破線など)についても検出するのが望ましい。また、道路端については基本的には道路端に設けられたブロック、ガードレール、中央分離帯などの構造物を道路端として検出するが、そのような構造物が道路端にない道路についてはアスファルトの切れ目や最も外側にある区画線を道路端として検出しても良い。
以下に前記S12における区画線の検出処理について簡単に説明する。先ず、CPU41は、フロントカメラ19で撮像した撮像画像中にある区画線を検出する為に、路面と区画線を輝度差に基づいて輝度補正を行う。その後、区画線を画像から分離する2値化処理、歪みを補正する幾何学処理、画像の雑音を除去する平滑化処理等を行い、路面と区画線との境界線を検出する。検出された境界線によって区画線の存在や種別が特定される。また区画線と検出された範囲の画像部分を抽出して色認識(RGB値検出)を行うことにより区画線の色についても検出可能となる。
次に前記S12における道路端の検出処理について簡単に説明する。先ず、CPU41は、フロントカメラ19で撮像した撮像画像中にある道路端を検出する為に、路面と道路端に設けられた構造物(ブロック、ガードレール、中央分離帯等)を輝度差に基づいて輝度補正を行う。その後、それら構造物を画像から分離する2値化処理、歪みを補正する幾何学処理、画像の雑音を除去する平滑化処理等を行い、路面と構造物との境界線を検出する。検出された境界線によって道路端の存在が特定される。尚、区画線や道路端の検出には、特徴点やテンプレートを用いたパターンマッチング処理を行っても良い。それらの画像認識処理については既に公知であるので詳細は省略する。また、区画線や道路端以外に道路上に位置する他車両等についても検出対象としても良い。
次に、S13においてCPU41は、前記S12で行った地物認識処理の検出結果に基づいて、自車両が現在走行する走行車線である“自車走行車線”を特定する。具体的には以下の処理により自車走行車線を特定する。前記S13では特に前記S11で生成された3次元空間における“自車走行車線”の位置についても特定される。
自車走行車線を特定する方法としては例えば区画線の種類と数を用いる方法や道路端からの距離と車線幅を用いる方法が挙げられる。
[自車走行車線の特定(パターン1)]
区画線の種類と数を用いる方法について、例えば図6~図8に示す片側3車線の高速道路を走行する場合を例に挙げて説明すると、先ずCPU41は自車の左側にある道路端と区画線の認識結果を取得する。区画線の認識結果については区画線の色や種類についても取得する。その結果、例えば道路端61を検出し、道路端61に隣接する白色の実線である車道外側線62を検出し、車道外側線62と車両の間に白色の破線或いは実線である車線境界線63を1本検出すれば、自車は図6のように左から2番目の車線を走行していると特定できる。同様にして車道外側線62と車両の間に車線境界線63を2本検出すれば、自車は図7のように左から3番目の車線を走行していると特定できる。車道外側線62と車両の間に車線境界線63を検出しなければ、自車は図8のように最も左の車線を走行していると特定できる。
更にCPU41は、同様にして右側にある道路端と区画線の認識結果を取得する。区画線の認識結果については区画線の色や種類についても取得する。その結果、例えば道路端64を検出し、道路端64に隣接する白色の実線である車道外側線65を検出し、車道外側線65と車両の間に白色の破線或いは実線である車線境界線66を1本検出すれば、自車は図6のように右から2番目の車線を走行していると特定できる。同様にして車道外側線65と車両の間に車線境界線66を2本検出すれば、自車は図8のように右から3番目の車線を走行していると特定できる。車道外側線65と車両の間に車線境界線66を検出しなければ、自車は図7のように最も右の車線を走行していると特定できる。
CPU41は上述のように道路左端を基準として特定した自車走行車線の位置(道路左端から車両が現在走行する車線までの車線の数)と、道路右端を基準として特定した自車走行車線の位置(道路右端から車両が現在走行する車線までの車線の数)とを最終的に組み合わせて、自車走行車線を特定する。例えば図6に示す例では自車走行車線は左から2番目の車線、且つ右から2番目の車線であると特定される。図7に示す例では自車走行車線は左から3番目の車線、且つ右から1番目の車線であると特定される。図8に示す例では自車走行車線は左から1番目の車線、且つ右から3番目の車線であると特定される。
また、上記道路端と区画線の認識結果に加えて地図情報についても考慮して自車走行車線を特定するのが望ましい。尚、地図情報に含まれるリンクデータ32には道路毎の車線数や対向車線の有無(対面通行区間か否か)について格納されている。フロントカメラ19による画像認識では例えば一般道の中央付近に白線の実線や破線が検出された場合に、その区間線が中央線であるのか車線境界線であるのかを判定することが困難であるが、地図情報を用いることによってその判定を容易に行うことが可能となる。その結果、対向車線が存在する区間においても、対向車線の存在を考慮して自車走行車線を正確に特定することが可能となる。例えば、中央分離帯のない片側2車線の計4車線の道路を車両が走行する場合において自車両が右から3番目の車線を走行していると特定した場合に、地図情報から一番右と右から2番目の車線は対向車線と判定できるので、車両は片側2車線の道路の右側の車線を走行していると特定できる。
[自車走行車線の特定(パターン2)]
次に道路端からの距離と車線幅を用いる方法について、同じく図6~図8に示す片側3車線の高速道路を走行する場合を例に挙げて説明すると、先ずCPU41は自車の両側にある区画線(図6に示す例では車線境界線63と車線境界線66、図7に示す例では車線境界線66と車道外側線65、図8に示す例では車道外側線62と車線境界線63)を検出してその区画線の間の距離から車両が走行する道路の車線の幅を特定する。その後、CPU41は自車の左側にある道路端61或いは車道外側線62から自車までの道路幅方向に沿った距離を算出し、算出された距離が何車線分の幅があるかを算出する。その結果、道路端61又は車道外側線62から自車までの間の距離が車線1本分の距離である場合には自車は図6のように左から2番目の車線を走行していると特定できる。同様にして道路端61又は車道外側線62から自車までの間の距離が車線2本分の距離である場合には自車は図7のように左から3番目の車線を走行していると特定できる。道路端61又は車道外側線62から自車までの間の距離が車線1本分に満たない場合には自車は図8のように最も左の車線を走行していると特定できる。
更にCPU41は、同様にして右側にある道路端64或いは車道外側線65からの距離を算出する。その結果、道路端64又は車道外側線65から自車までの間の距離が車線1本分の距離である場合には自車は図6のように右から2番目の車線を走行していると特定できる。同様にして道路端64又は車道外側線65から自車までの間の距離が車線2本分の距離である場合には自車は図8のように右から3番目の車線を走行していると特定できる。道路端64又は車道外側線65から自車までの間の距離が車線1本分に満たない場合には自車は図7のように最も右の車線を走行していると特定できる。
CPU41は上述のように道路左端を基準として特定した自車走行車線の位置(道路左端から車両が現在走行する車線までの車線の数)と、道路右端を基準として特定した自車走行車線の位置(道路右端から車両が現在走行する車線までの車線の数)とを最終的に組み合わせて、自車走行車線を特定する。例えば図6に示す例では自車走行車線は左から2番目の車線、且つ右から2番目の車線であると特定される。図7に示す例では自車走行車線は左から3番目の車線、且つ右から1番目の車線であると特定される。図8に示す例では自車走行車線は左から1番目の車線、且つ右から3番目の車線であると特定される。
また、上記道路端と道路幅の認識結果に加えて地図情報についても考慮して自車走行車線を特定するのが望ましい。尚、地図情報に含まれるリンクデータ32には道路毎の車線数や対向車線の有無(対面通行区間か否か)について格納されている。その結果、対向車線が存在する区間においても、対向車線の存在を考慮して自車走行車線を正確に特定することが可能となる。例えば、中央分離帯のない片側2車線の計4車線の道路を車両が走行する場合において自車両が右から3番目の車線を走行していると特定した場合に、地図情報から一番右と右から2番目の車線は対向車線と判定できるので、車両は片側2車線の道路の右側の車線を走行していると特定できる。
尚、自車走行車線の特定には区画線や道路端以外に道路を走行する他車両の検出結果を用いても良い。例えば区画線を明確に検出することができない場合であっても他車両の位置から車線の存在を推定することが可能となる。
続いて、S14においてCPU41は、前記S13における自車走行車線の特定結果にどの程度の信頼性があるかを示す信頼度を算出する。特に本実施形態では(a)車両の進行方向に対して右側にある区画線と道路端の検出結果に基づいて道路右端を基準とした自車走行車線の位置を特定する場合の信頼度である右側信頼度と、(b)車両の進行方向に対して左側にある区画線と道路端の検出結果に基づいて道路左端を基準とした自車走行車線の位置を特定する場合の信頼度である左側信頼度と、(c)右側信頼度と左側信頼度とを総括した信頼度(トータルの信頼度)である総括信頼度と、を算出する。
以下に、右側信頼度、左側信頼度、総括信頼度の各信頼度の算出方法について例を挙げて説明する。
[右側信頼度]
先ず前記S13で特定された自車走行車線に対して右側に存在すると推定される各区画線について、以下の式(1)により区画線毎の信頼度(以下、区画線信頼度Cという)を算出する。例えば、図6に示すように片側3車線の高速道路において自車走行車線が中央の車線であると特定された場合については、自車走行車線の右側に車線境界線66と車道外側線65が存在するはずであり、それら2本の区画線に対して夫々区画線信頼度Cが算出される。また、図7に示すように片側3車線の高速道路において自車走行車線が最も右の車線であると特定された場合については、自車走行車線の右側に車道外側線65が存在するはずであり、その1本の区画線に対して区画線信頼度Cが算出される。また、図8に示すように片側3車線の高速道路において自車走行車線が最も左側の車線であると特定された場合については、自車走行車線の右側に車線境界線63と車線境界線66と車道外側線65が存在するはずであり、それら3本の区画線に対して夫々区画線信頼度Cが算出される。
C=(10×V1+V2+V3+V4)/13・・・・(1)
ここで、V1は、区画線信頼度Cの算出対象となる区画線が前記S12の画像認識処理で検出できたか否か(区画線の存在を認識できたか否か)であり、検出できた場合には“1”、検出できなかった場合は“0”とする。
また、V2は、区画線信頼度Cの算出対象となる区画線の色が前記S12の画像認識処理で検出できたか否かであり、検出できた場合には“1”、検出できなかった場合は“0”とする。尚、区画線の色が検出できた場合であっても地図情報などを用いて推定される色と一致しない場合については“0”としても良い。
また、V3は、区画線信頼度Cの算出対象となる区画線の種別(例えば実線、破線)が前記S12の画像認識処理で検出できたか否かであり、検出できた場合には“1”、検出できなかった場合は“0”とする。尚、区画線の種別が検出できた場合であっても地図情報などを用いて推定される種別と一致しない場合については“0”としても良い。
また、V4は、区画線信頼度Cの算出対象となる区画線の特に道路の進行方向に対する傾きを前記S12の画像認識処理により検出し、検出された傾きが閾値(例えば10度)未満の場合には“1”、閾値以上の場合は“0”とする。
その後、自車走行車線に対して右側に存在すると推定される各区画線に対して算出された区画線信頼度Cを加算して右側信頼度CRを算出する。尚、右側信頼度CRを算出する場合には、車両から近い位置にある区画線の区画線信頼度Cよりも遠い位置にある区画線の区画線信頼度Cを重視して算出する。例えば、図6に示すように片側3車線の高速道路において自車走行車線が中央の車線であると特定された場合について、自車走行車線に対して最も近い位置にある車線境界線66に対して算出された区画線信頼度CをC、自車走行車線に対して2番目に近い位置にある車道外側線65に対して算出された区画線信頼度CをCとすると、以下の式(2)により右側信頼度CRが算出される。
CR=(C+2×C)/3・・・・(2)
また、図7に示すように片側3車線の高速道路において自車走行車線が最も右側の車線であると特定された場合について、自車走行車線の右側に唯一ある車道外側線65に対して算出された区画線信頼度CをCとすると、以下の式(3)により右側信頼度CRが算出される。
CR=C・・・・(3)
また、図8に示すように片側3車線の高速道路において自車走行車線が最も左側の車線であると特定された場合について、自車走行車線に対して最も近い位置にある車線境界線63に対して算出された区画線信頼度CをC、自車走行車線に対して2番目に近い位置にある車線境界線66に対して算出された区画線信頼度CをC、自車走行車線に対して3番目に近い位置にある車道外側線65に対して算出された区画線信頼度CをCとすると、以下の式(4)により右側信頼度CRが算出される。
CR=(C+2×C+4×C)/7・・・・(4)
尚、上記式(2)~(4)において各区画線信頼度Cに乗じられる係数は適宜変更可能であるが、自車走行車線に対して遠い位置にある区画線に対して算出された区画線信頼度Cに対してより大きい係数が乗じられるように設定するのが望ましい。
上記式(2)~(4)により最終的に算出された右側信頼度CRは0以上1以下の値となり1に近い程、道路右端を基準として特定した自車走行車線の位置の信頼度が高いことを示す。
[左側信頼度]
次に前記S13で特定された自車走行車線に対して左側に存在すると推定される各区画線について、上記した式(1)により同様に区画線毎の区画線信頼度Cを算出する。例えば、図6に示すように片側3車線の高速道路において自車走行車線が中央の車線であると特定された場合については、自車走行車線の左側に車道外側線62と車線境界線63が存在するはずであり、それら2本の区画線に対して夫々区画線信頼度Cが算出される。また、図7に示すように片側3車線の高速道路において自車走行車線が最も右の車線であると特定された場合については、自車走行車線の左側に車道外側線62と車線境界線63と車線境界線66が存在するはずであり、それら3本の区画線に対して夫々区画線信頼度Cが算出される。また、図8に示すように片側3車線の高速道路において自車走行車線が最も左側の車線であると特定された場合については、自車走行車線の左側に車道外側線62が存在するはずであり、その1本の区画線に対して区画線信頼度Cが算出される。尚、区画線信頼度Cの算出方法については前述した右側信頼度と同様であるので省略する。
その後、自車走行車線に対して左側に存在すると推定される各区画線に対して算出された区画線信頼度Cを加算して左側信頼度CLを算出する。尚、左側信頼度CLを算出する場合には、車両から近い位置にある区画線の区画線信頼度Cよりも遠い位置にある区画線の区画線信頼度Cを重視して算出する。例えば、図6に示すように片側3車線の高速道路において自車走行車線が中央の車線であると特定された場合について、自車走行車線に対して最も近い位置にある車線境界線63に対して算出された区画線信頼度CをC、自車走行車線に対して2番目に近い位置にある車道外側線62に対して算出された区画線信頼度CをCとすると、以下の式(5)により左側信頼度CLが算出される。
CL=(C+2×C)/3・・・・(5)
また、図7に示すように片側3車線の高速道路において自車走行車線が最も右側の車線であると特定された場合について、自車走行車線に対して最も近い位置にある車線境界線66に対して算出された区画線信頼度CをC、自車走行車線に対して2番目に近い位置にある車線境界線63に対して算出された区画線信頼度CをC、自車走行車線に対して3番目に近い位置にある車道外側線62に対して算出された区画線信頼度CをCとすると、以下の式(6)により左側信頼度CLが算出される。
CL=(C+2×C+4×C)/7・・・・(6)
また、図8に示すように片側3車線の高速道路において自車走行車線が最も左側の車線であると特定された場合について、自車走行車線の左側に唯一ある車道外側線62に対して算出された区画線信頼度CをCとすると、以下の式(7)により左側信頼度CLが算出される。
CL=C・・・・(7)
尚、上記式(5)~(7)において各区画線信頼度Cに乗じられる係数は適宜変更可能であるが、自車走行車線に対して遠い位置にある区画線に対して算出された区画線信頼度Cに対してより大きい係数が乗じられるように設定するのが望ましい。
上記式(5)~(7)により最終的に算出された左側信頼度CLは0以上1以下の値となり1に近い程、道路左端を基準として特定した自車走行車線の位置の信頼度が高いことを示す。
[総括信頼度]
最後に上記のように算出された右側信頼度CRと左側信頼度CLを加算して総括信頼度CTを算出する。尚、総括信頼度CTを算出する場合には右側信頼度CRと左側信頼度CLを単に加算しても良いし、いずれか一方に重み付けを行って加算しても良い。例えば以下の式(8)により総括信頼度CTが算出される。
CT=(CR+CL)/2・・・・(8)
尚、上記式(8)により最終的に算出された総括信頼度CTは0以上1以下の値となり1に近い程、道路右端及び道路左端を基準として特定した自車走行車線の位置のトータルの信頼度が高いことを示す。
次に、S15においてCPU41は、車両が現在走行する道路において走行を推奨される車線である“推奨車線”を特定する。具体的には以下の処理により推奨車線を特定する。前記S15では特に前記S11で生成された3次元空間における“推奨車線”の位置についても特定される。
[推奨車線の特定]
CPU41は、地図情報と案内経路に基づいて、車両の前方にある案内分岐点を案内経路に沿った退出方向(案内方向)へと通過するために走行する必要のある車線を推奨車線として特定する。より具体的には、案内分岐点における車両の退出方向に対応する車線を推奨車線として取得する。尚、地図情報に含まれるリンクデータ32には車線毎の進行方向の通行区分について格納され、分岐点データ34には分岐点の形状について格納されており、それらの情報を用いて推奨車線を特定する。例えば、図9に示すように高速道路を走行する車両の進行方向前方にある案内分岐点70での退出方向(案内方向)が取付道路のある斜め左方向である場合には、自車の走行する道路の3車線の内、最も左側に位置する車線が推奨車線となる。一方で図10に示すように一般道を走行する車両の進行方向前方にある案内分岐点70での退出方向(案内方向)が右方向である場合には、自車の走行する道路の4車線の内、右折の通行区分に対応する最も右側に位置する車線が推奨車線となる。尚、推奨車線は1車線のみであるとは限らず、2車線以上ある場合もある。
続いて、S16においてCPU41は、前記S14で算出された総括信頼度CTが第1閾値以上か否かを判定する。尚、第1閾値は適宜設定可能であるが例えば0.8とする。
そして、前記S14で算出された総括信頼度CTが第1閾値以上であると判定された場合(S16:YES)には、前記S13で特定された自車走行車線は十分に信頼できるとみなし、S17へと移行する。それに対して、前記S14で算出された総括信頼度CTが第1閾値未満であると判定された場合(S16:NO)には、S20へと移行する。
S17においてCPU41は、表示対象とする第1案内オブジェクト71を生成する。ここで、車両が現在走行する車線を特定した結果の信頼度が高い場合(車線の特定結果が信頼できる場合)については、前述したように第1案内オブジェクトを推奨車線へと車両を誘導する誘導性が高い第1の表示態様又は第2の表示態様により表示する。ここで、図3に示すように第1の表示態様は推奨車線を他の車線と識別して案内する案内画像を第1案内オブジェクトとして表示し、第2の表示態様は推奨車線を他の車線と識別して案内するとともに推奨車線への移動を促す案内画像を第1案内オブジェクトとして表示する。上記信頼度が高い場合において第1の表示態様と第2の表示態様のいずれで表示するかについては自車から案内分岐点までの距離に基づいて切り替えても良いし、自車走行車線と推奨車線との位置関係に基づいて切り替えても良いし、予め決められたいずれか一方の表示態様のみで表示を行うようにしても良い。以下では特に第1の表示態様により第1案内オブジェクトを表示する場合の例について説明する。
第1案内オブジェクト71は、図11に示すように矩形形状とし、横方向の長さは推奨車線の車線幅、縦の長さは例えば90mに設定する。また、内部には案内分岐点までの距離を描画しても良い。また、第1案内オブジェクト71は2次元ポリゴンとし、基本的に厚みは存在しないこととする。但し、厚みを持たせた3次元ポリゴンとしても良い。また、前記S17で生成される第1案内オブジェクト71の形状は適宜変更可能であり、推奨車線を他の車線と識別できる形状であれば矩形以外の形状であっても良い。
更に、前記S17においてCPU41は、生成された第1案内オブジェクト71を、前記S11で生成された3次元空間に対して配置する。尚、3次元空間に対して第1案内オブジェクト71を配置する位置は、図11に示すように推奨車線の路面上であって、自車の現在位置から90m先までの範囲に配置される。尚、図11は推奨車線と自車走行車線が異なる例であるが、推奨車線と自車走行車線が一致する場合については自車走行車線に配置されることとなる。また、配置する高さは路面と同じ高さとする。その後、S18へと移行する。
次に、S18においてCPU41は、前記S17で第1案内オブジェクト71が配置された3次元空間において、車両の現在位置且つフロントカメラ19の高さの位置から車両の進行方向に視認した際に視認できる第1案内オブジェクト71の大きさ及び形状を、液晶ディスプレイ15により表示対象とする案内オブジェクトの大きさ及び形状として記憶する。ここで、前記S18で記憶される案内オブジェクトの大きさ及び形状は、3次元空間に配置された第1案内オブジェクト71を現在の車両(より正確にはフロントカメラ19)の視点から視認した際に視認できる第1案内オブジェクト71の大きさ及び形状である。
その後、S19においてCPU41は、前記S11で生成された3次元空間における車両の現在位置及び案内分岐点の位置と前記S13及びS15で特定された推奨車線及び自車走行車線の位置とに基づいて、液晶ディスプレイ15に表示される風景52内における推奨車線の位置を推定し、推定された推奨車線の路面の自車の現在位置から90m先までの範囲を液晶ディスプレイ15において第1案内オブジェクト71を表示する位置に決定する。尚、推奨車線と自車走行車線が一致する場合については自車走行車線の路面が第1案内オブジェクト71を表示する位置となる。
その後、S5へと移行し前記S18で決定された大きさ及び形状の第1案内オブジェクト71の画像を生成し、更に液晶ディスプレイ15に対して制御信号を送信し、液晶ディスプレイ15に対して生成された第1案内オブジェクト71の画像を前記S19で決定された位置(範囲)に対して描画する。
次に、総括信頼度CTが第1閾値未満と判定された場合に実行されるS20においてCPU41は、前記S14で算出された右側信頼度CRと左側信頼度CLの内、案内分岐点における車両の退出方向に対応する信頼度が第2閾値以上か否かを判定する。尚、第2閾値は適宜設定可能であるが例えば0.8とする。また、車両の退出方向に対応する信頼度とは、例えば車両が案内分岐点で右方向に退出するのであれば車両の退出方向に対応するのは右側信頼度CRとなり、車両が案内分岐点で左方向に退出するのであれば車両の退出方向に対応するのは左側信頼度CLとなる。ここで、図9や図10に示すように推奨車線は基本的に案内分岐点の退出方向に存在する。従って例えば案内分岐点の退出方向が右方向である場合には道路右端を基準として特定した自車走行車線の位置の信頼度である右側信頼度CRが高ければ、少なくとも自車走行車線と推奨車線の位置関係は信頼できる。即ち実景重畳を行う場合において風景内の推奨車線が存在する位置について正確に推定できる。一方、案内分岐点の退出方向が左方向である場合には道路左端を基準として特定した自車走行車線の位置の信頼度である左側信頼度CLが高ければ、少なくとも自車走行車線と推奨車線の位置関係は信頼できる。即ち実景重畳を行う場合において風景内の推奨車線が存在する位置について正確に推定できる。
そして、前記S14で算出された右側信頼度CRと左側信頼度CLの内、案内分岐点における車両の退出方向に対応する信頼度が第2閾値以上であると判定された場合(S20:YES)には、前記S13で特定された自車走行車線について少なくとも自車走行車線と推奨車線の位置関係は信頼できるとみなし、S17へと移行する。S17では前述したように第1案内オブジェクトを推奨車線へと車両を誘導する誘導性が高い第1の表示態様又は第2の表示態様により表示する。
それに対して、前記S14で算出された右側信頼度CRと左側信頼度CLの内、案内分岐点における車両の退出方向に対応する信頼度が第2閾値未満であると判定された場合(S16:NO)には、前記S13で特定された自車走行車線は信頼できないとみなし、S21へと移行する。
S21においてCPU41は、表示対象とする第1案内オブジェクト72~74を生成する。ここで、車両が現在走行する車線を特定した結果の信頼度が低い場合(車線の特定結果が信頼できない場合)については、前述したように第1案内オブジェクトを推奨車線へと車両を誘導する誘導性が低い第3の表示態様により表示する。ここで、図3に示すように第3の表示態様は推奨車線の方向(案内分岐点の退出方向にも相当する)を案内する案内画像を第1案内オブジェクトとして表示する。尚、推奨車線の方向とは自車の現在位置に対する方向ではなく道路内での推奨車線が存在する方向とする。従って、例えば図9に示すように最も左側の車線が推奨車線であって仮に自車が推奨車線を走行している場合であっても左方向を案内する案内画像を第1案内オブジェクトとして表示する。
第1案内オブジェクト72~74は、推奨車線の方向(案内分岐点の退出方向にも相当する)を示す矢印とし、特に図12及び図13に示すように2等辺三角形状を有する3つの矢印を生成する。尚、推奨車線が右方向にある(即ち案内分岐点の退出方向が右方向である)場合には右方向を示す矢印となる。推奨車線が左方向にある(即ち案内分岐点の退出方向が左方向である)場合には左方向を示す矢印となる。また、第1案内オブジェクト72~74は2次元ポリゴンとし、基本的に厚みは存在しないこととする。但し、厚みを持たせた3次元ポリゴンとしても良い。また、前記S21で生成される第1案内オブジェクト72~74の形状は適宜変更可能であり、推奨車線の方向を示すことができる形状であれば矢印以外の形状であっても良い。また、3つの矢印である必要もなく、1のみの矢印であっても良い。
更に、前記S21においてCPU41は、生成された第1案内オブジェクト72~74を、前記S11で生成された3次元空間に対して配置する。尚、3次元空間に対して第1案内オブジェクト72~74を配置する位置は、図12のように3次元空間における車両が現在走行する道路の上方で且つ車両の現在位置に対して所定距離前方(例えば10m前方)の位置に3つの矢印を有する第1案内オブジェクト72~74を所定間隔で配置する。特に、3つの第1案内オブジェクト72~74の内、車両の現在位置から最も車両側にある第1案内オブジェクト72までの距離が固定の所定距離(例えば10m)となる位置に配置する。ここで、第1案内オブジェクト72~74は、2等辺三角形状を有し、進行方向に対して交差する方向と平行となる(即ち車両側に正面を向ける)ように夫々配置される。また、第1案内オブジェクト72~74は、底辺に対する頂角の方向によって推奨車線の方向を示しており、推奨車線が道路の左側に位置する場合には、図12に示すように左方向に頂角を向けた2等辺三角形状となる。また、3つの第1案内オブジェクト72~74の配置間隔は適宜変更可能であるが例えば10m間隔とする。また、3つの第1案内オブジェクト72~74は車両の進路(即ち道路の進行方向)に対して平行に配列されるのではなく、案内分岐点70に近い位置に視認される矢印程、車両の進路に対して推奨車線の方向側(図12では左側)に位置するように徐々に傾斜して配列される。特に車両から視認した際に、複数の第1案内オブジェクト72~74が互いに所定割合(例えば20%)以上重複しないことについても条件として配置する。但し、進行方向に対して平行に配列しても良い。一方、垂直方向については図13に示すように第1案内オブジェクト72~74の下端が路面から所定距離(例えば1m)離れた位置に配置する。
次に、S22においてCPU41は、前記S21で第1案内オブジェクト72~74が配置された3次元空間において、車両の現在位置且つフロントカメラ19の高さの位置から車両の進行方向に視認した際に視認できる第1案内オブジェクト72~74の大きさ及び形状を、液晶ディスプレイ15により表示対象とする案内オブジェクトの大きさ及び形状として記憶する。ここで、前記S22で記憶される案内オブジェクトの大きさ及び形状は、3次元空間に配置された第1案内オブジェクト72~74を現在の車両(より正確にはフロントカメラ19)の視点から視認した際に視認できる第1案内オブジェクト72~74の大きさ及び形状である。
その後、S23においてCPU41は、前記S11で生成された3次元空間における車両の現在位置及び案内分岐点の位置とに基づいて、液晶ディスプレイ15に表示される風景52内における自車の今後の進路を推定し、推定された進路に沿った範囲を液晶ディスプレイ15において第1案内オブジェクト72~74を表示する位置に決定する。
その後、S5へと移行し前記S22で決定された大きさ及び形状の第1案内オブジェクト72~74の画像を生成し、更に液晶ディスプレイ15に対して制御信号を送信し、液晶ディスプレイ15に対して生成された第1案内オブジェクト72~74の画像を前記S23で決定された位置(範囲)に対して描画する。
以上の処理が行われた結果、車両から案内分岐点までの距離が案内開始距離未満で且つ退出方向案内開始距離以上の場合において、車両の走行に伴って液晶ディスプレイ15に表示される走行案内画面51は車両が現在走行する車線を特定した結果の信頼度によって異なることとなり、図14又は図15のような画面となる。
例えば車両が現在走行する車線を特定した結果の信頼度が高い場合(車線の特定結果が信頼できる場合)については、液晶ディスプレイ15に表示される走行案内画面51は図14のような画面となる。
具体的には、“推奨車線を他の車線と識別する第1案内オブジェクトの画像53”が表示される。“推奨車線を他の車線と識別する第1案内オブジェクトの画像53”は、図14に示すように推奨車線54の路面に重畳して第1案内オブジェクトの画像53が表示される(S17~S19)。その結果、乗員に推奨車線54の存在や位置を明確に把握させることが可能となる。また、風景52内で推奨車線54がどの車線かを明確に識別することによって、推奨車線へと車両を誘導する誘導性が高い案内となる。
一方、車両が現在走行する車線を特定した結果の信頼度が低い場合(車線の特定結果が信頼できない場合)については、液晶ディスプレイ15に表示される走行案内画面51は図15のような画面となる。
具体的には、“推奨車線の方向を示す第1案内オブジェクトの画像53”が表示される。“推奨車線の方向を示す第1案内オブジェクトの画像53”は、図15に示すように推奨車線54の路面には重畳せず、車両の進行方向の路面の上方に重畳して第1案内オブジェクトの画像53が表示される(S21~S23)。乗員に推奨車線54の位置をあえて明確に示すことなく推奨車線が存在する方向を示すにとどめ、推奨車線へと車両を誘導する誘導性が低い案内となる。従って、風景52内での推奨車線の位置が正確に特定できない状況であっても誤った案内が行われることを防止できる。
尚、車両から案内分岐点までの距離が案内開始距離未満で且つ退出方向案内開始距離以上の場合において図14と図15のいずれの走行案内画面51が表示されるかについては、上述したように現時点での自車走行車線の特定結果の信頼度によって決まる。従って、例えば液晶ディスプレイ15に対して図14の走行案内画面51が表示されている状態で区画線のペイントが薄い区間に進入し、自車走行車線の特定結果の信頼度が低下することになれば、図15の走行案内画面51へと切り替わることとなる。同じく、液晶ディスプレイ15に対して図15の走行案内画面51が表示されている状態で、自車走行車線の特定結果の信頼度が上がれば、図14の走行案内画面51へと切り替わることとなる。但し、自車走行車線の特定結果の信頼度が途中で変移しても表示中の切り替えは行わないようにしても良い。
尚、その後に車両から案内分岐点までの距離が退出方向案内開始距離(高速道路では300m)未満となると、第1案内オブジェクトの画像53に代えて、後述の様に案内分岐点の退出方向を示す矢印である第2案内オブジェクトの画像57が新たに表示されることとなる(図18参照)。
次に、前記S6において実行される第2案内オブジェクト表示位置決定処理のサブ処理について図16に基づき説明する。図16は第2案内オブジェクト表示位置決定処理のサブ処理プログラムのフローチャートである。
先ず、S31においてCPU41は、車両の現在位置から案内経路に沿った次の案内分岐点の座標Xまでの距離を取得する。例えば高速道路では図17に示すように分岐にあるゼブラ帯の手前側頂点を案内分岐点の座標Xとする。
次に、S32においてCPU41は、前記S31で取得した案内分岐点の座標Xまでの距離が、所定の閾値未満か否かを判定する。尚、案内分岐点の座標Xまでの距離が閾値となるタイミングは、後述のS33のように車両に対する相対位置が固定されて液晶ディスプレイ15に表示(第1の態様で表示)された案内オブジェクトの画像の少なくとも一部が案内分岐点の座標Xに対して重畳するタイミング、即ち案内分岐点に対して案内オブジェクトの少なくとも一部が重畳して車両の乗員に視認されるタイミングである。詳細については後述する。
そして、前記S31で取得した案内分岐点の座標Xまでの距離が閾値未満であると判定された場合(S32:YES)には、S34へと移行する。それに対して、前記S31で取得した案内分岐点の座標Xまでの距離が閾値以上であると判定された場合(S32:NO)には、S33へと移行する。
S33においてCPU41は、“第2案内オブジェクトを風景に対して重畳する位置”を、乗員に車両との相対位置が固定された状態で第2案内オブジェクトが重畳して視認される位置(第1の態様で表示する為の位置)に設定する。具体的には車両の現在位置に対して所定距離前方(例えば10m前方)の位置を第2案内オブジェクトの重畳(配置)位置とする。
一方、S34においてCPU41は、“第2案内オブジェクトを風景に対して重畳する位置”を、乗員に案内分岐点との相対位置が固定された状態で第2案内オブジェクトが重畳して視認される位置(第2の態様で表示する為の位置)に設定する。具体的には案内分岐点(その周辺も含む)に対して案内オブジェクトの少なくとも一部が重畳して視認される位置とする。
次に、S35においてCPU41は、車両の現在位置周辺(特に車両進行方向の前方)に対応した3次元空間を生成する。また、生成された3次元空間における自車両の現在位置及び方位、案内分岐点の位置についても特定する。詳細についてはS11と同様であるので省略する。
続いて、S36においてCPU41は、液晶ディスプレイ15に表示する対象となる第2案内オブジェクト81~83を生成する。第2案内オブジェクト81~83の形状は前述した第3の表示態様により表示する第1案内オブジェクト72~74と同じであり、車両の進行方向前方にある案内分岐点の退出方向を示す矢印とし、図12及び図13に示すように2等辺三角形状を有する3つの矢印を生成する。尚、案内経路が進行方向前方にある案内交差点で右折する経路である場合には右方向を示す矢印となる。案内経路が進行方向前方にある案内交差点で左折する経路である場合には左方向を示す矢印となる。また、第2案内オブジェクト81~83は2次元ポリゴンとし、基本的に厚みは存在しないこととする。但し、厚みを持たせた3次元ポリゴンとしても良い。また、前記S36で生成される第2案内オブジェクト81~83の形状は適宜変更可能であり、案内分岐点における退出方向を示すことができる形状であれば矢印以外の形状であっても良い。また、3つの矢印である必要もなく、1のみの矢印であっても良い。
更に、前記S36においてCPU41は、生成された第2案内オブジェクト81~83を、前記S35で生成された3次元空間に対して配置する。尚、3次元空間に対して第2案内オブジェクト81~83を配置する位置は、前記S33又はS34において設定された“風景に対して第2案内オブジェクトを重畳する位置”に基づいて決定される。
例えばS33において“第2案内オブジェクトを風景に対して重畳する位置”を、車両の現在位置に対して所定距離前方(例えば10m前方)の位置に設定している場合には、第3の表示態様により表示する第1案内オブジェクト72~74(図12)と同じとする。即ち3次元空間における車両が現在走行する道路の上方で且つ車両の現在位置に対して所定距離前方の位置に3つの矢印を有する第2案内オブジェクト81~83を所定間隔で配置する。更に、3つの第2案内オブジェクト81~83は車両の今後の進路に沿った位置に配置される。詳細については前記S21と同様であるので省略する。
一方、S34において“第2案内オブジェクトを風景に対して重畳する位置”を、案内分岐点に対して第2案内オブジェクトの少なくとも一部が重畳して視認される位置に設定している場合には、図17のように3次元空間における車両が現在走行する道路の上方で且つ案内分岐点の位置に3つの矢印を有する第2案内オブジェクト81~83を所定間隔で配置する。更に、3つの第2案内オブジェクト81~83は車両の今後の進路に沿った位置に配置される。ここで、図17は一例として高速道路の案内分岐点70を左方向に退出する案内経路が設定されている場合における第2案内オブジェクトの配置例を示した図である。具体的には図17に示すように車両の進路に沿って等間隔に3つの第2案内オブジェクト81~83が配列される。特に、3つの第2案内オブジェクト81~83の内、最も進行方向側にある第2案内オブジェクト83の左側端部(右方向の矢印である場合には右側端部)が案内分岐点の座標Xと一致(水平方向に関して一致)する位置とする。尚、案内分岐点の座標Xはナビゲーション装置1が有する地図情報から特定することとするが、フロントカメラ19で撮像した画像に対して画像認識処理を行うことにより特定しても良い。その場合には、分岐にあるゼブラ帯の頂点を案内分岐点の座標Xとする。また、3つの第2案内オブジェクト81~83の配置間隔は適宜変更可能であるが例えば10m間隔とする。また、3つの第2案内オブジェクト81~83は車両の進路に対して平行に配列されるのではなく、案内分岐点70に近い位置に視認される矢印程、車両の進路に対して案内分岐点70の進行方向側(図17では左側)に位置するように徐々に傾斜して配列される。特に車両から視認した際に、複数の第2案内オブジェクト81~83が互いに所定割合(例えば20%)以上重複しないことについても条件として配置する。但し、進行方向に対して平行に配列しても良い。一方、垂直方向については図13に示すように第2案内オブジェクト81~83の下端が路面から所定距離(例えば1m)離れた位置に配置する。
次に、S37においてCPU41は、前記S36で第2案内オブジェクト81~83が配置された3次元空間において、車両の現在位置且つフロントカメラ19の高さの位置から車両の進行方向に視認した際に視認できる第2案内オブジェクト81~83の大きさ及び形状を、液晶ディスプレイ15により表示対象とする案内オブジェクトの大きさ及び形状として記憶する。ここで、前記S37で記憶される案内オブジェクトの大きさ及び形状は、3次元空間に配置された第2案内オブジェクト81~83を現在の車両(より正確にはフロントカメラ19)の視点から視認した際に視認できる第2案内オブジェクト81~83の大きさ及び形状である。
その後、S38においてCPU41は、前記S31で生成された3次元空間における車両の現在位置及び案内分岐点の位置とに基づいて、液晶ディスプレイ15に表示される風景52内における自車の今後の進路を推定し、推定された進路に沿った範囲を液晶ディスプレイ15において第2案内オブジェクト81~83を表示する位置に決定する。
その後、S7へと移行し前記S37で決定された大きさ及び形状の第2案内オブジェクト81~83の画像を生成し、更に液晶ディスプレイ15に対して制御信号を送信し、液晶ディスプレイ15に対して生成された第2案内オブジェクト81~83の画像を前記S38で決定された位置(範囲)に対して描画する。
その結果、車両の走行に伴って液晶ディスプレイ15に表示される走行案内画面51は図18のような画面となる。先ず、車両から案内分岐点までの距離が退出方向案内開始距離(例えば300m)未満となった時点で、図14及び図15に示す第1案内オブジェクトの画像53は非表示となり、代わりに第2案内オブジェクトの画像57が第1の態様によりフロントカメラ19で撮像した車両の進行方向前方の風景52に重畳して表示される。尚、最初に第2案内オブジェクトの画像57が重畳する位置は、車両の現在位置に対して相対的に固定された位置であり、例えば車両の10m前方となる。第1の態様では乗員には車両との相対位置が固定された状態で重畳して第2案内オブジェクトの画像57が視認されることとなる。その後しばらくは第2案内オブジェクトの画像57は車両の現在位置に対して相対的に固定された状態で重畳して表示される。車両に対する相対位置が固定されるので、表示される第2案内オブジェクトの画像57の表示サイズも固定となる。
その後、車両が案内分岐点に接近し、車両の現在位置に対して相対的に固定された位置に重畳表示された第2案内オブジェクトの画像57が、案内分岐点に重畳(到達)する(即ちS32で初めてYESと判定される)と、第1の態様から第2の態様へと切り替わり、その後は第2案内オブジェクトの画像57は風景52内の案内分岐点との相対位置が固定される。即ち、第2案内オブジェクトの画像57は案内分岐点に重畳する位置に固定して表示される。尚、第1の態様から第2の態様へと切り替わりは表示対象となる案内オブジェクトを変更するものではなく、表示対象となる案内オブジェクトは切り替わる前後において同じである。即ち、表示対象となる案内オブジェクトは同じで、表示される態様(乗員から視認される態様)のみが第1の態様から第2の態様へと切り替わる。第2の態様では乗員に案内分岐点との相対位置が固定された状態で第2案内オブジェクトの画像57が重畳して視認されることとなる。その後、車両が案内分岐点に接近するのに従って、第2案内オブジェクトの画像57は徐々に大きくなる。また、徐々に第2案内オブジェクトの画像57の透過率が上がり、車両が案内分岐点を通過したタイミングで第2案内オブジェクトの画像57は液晶ディスプレイ15から消失する(S9)。
以上詳細に説明した通り、第1実施形態に係るナビゲーション装置1及びナビゲーション装置1で実行されるコンピュータプログラムによれば、車両が現在走行する道路において走行を推奨される推奨車線を取得し(S15)、車両が現在走行する道路において車両が現在走行する車線である走行車線を特定し(S13)、更に特定された走行車線について、特定された結果にどの程度の信頼性があるかを示す信頼度を取得し(S14)、信頼度に応じた表示態様で推奨車線に対する案内を行う為の案内オブジェクトを表示する(S5)ので、走行車線の信頼度が高い場合には正確な案内を行いつつ、信頼度が低い場合であっても車両の乗員に不利益を生じさせることを防止することが可能となる。
また、信頼度が高い程、推奨車線へと車両を誘導する誘導性がより高い表示態様で案内オブジェクトを表示するので、走行車線の信頼度が高い場合には推奨車線へと正確に誘導可能な案内を行う一方で、信頼度が低い場合については車両の乗員を推奨車線と異なる車線へと誘導することを防止することが可能となる。
また、信頼度が閾値より低い場合には、案内オブジェクトとして推奨車線の方向を示す画像を表示し、信頼度が閾値より高い場合には、案内オブジェクトとして推奨車線を他の車線と識別する画像を表示するので、走行車線の信頼度が高い場合には推奨車線を車両の乗員に正確に把握させることを可能とする一方で、信頼度が低い場合についてはあえて推奨車線を他の車線と識別するような案内としないことで誤った案内が行われることを防止する。
また、推奨車線を他の車線と識別する画像として推奨車線の路面に重畳する画像を表示するので、走行車線の信頼度が高い場合には画像の重畳された位置によって推奨車線を車両の乗員に正確に把握させることが可能となる。
また、車両の周辺を撮像した撮像画像に基づいて、車両の周辺にある区画線と車両が現在走行する道路の道路端とを夫々検出し、区画線と道路端の検出結果に基づいて道路端から車両が現在走行する車線までの車線の数を推定し、推定の結果に基づいて走行車線を特定する(S12、S13)ので、区画線と道路端の検出結果に基づいて走行車線を正確に特定することが可能となる。
また、信頼度は、車両の進行方向に対して右側にある区画線と道路端の検出結果に基づいて道路右端を基準とした走行車線の位置を特定する場合の信頼度である右側信頼度と、車両の進行方向に対して左側にある区画線と道路端の検出結果に基づいて道路左端を基準とした走行車線の位置を特定する場合の信頼度である左側信頼度と、を含み、右側信頼度と左側信頼度とに基づいて算出された総括信頼度に応じた表示態様で案内オブジェクトを表示するので、左右の道路端を基準とした信頼度に基づいて左右の区分なく走行車線の特定結果が信頼できるか否かを示すトータルの信頼度を算出することが可能となり、トータルの信頼度に応じた適切な案内を行うことが可能となる。
また、車両の進行方向前方の所定の案内開始距離以内に案内分岐点がある場合に、案内分岐点における車両の退出方向に対応する車線を推奨車線として取得し(S15)、信頼度は、車両の進行方向に対して右側にある区画線と道路端の検出結果に基づいて道路右端を基準とした走行車線の位置を特定する場合の信頼度である右側信頼度と、車両の進行方向に対して左側にある区画線と道路端の検出結果に基づいて道路左端を基準とした走行車線の位置を特定する場合の信頼度である左側信頼度と、を含み、右側信頼度と左側信頼度の内、案内分岐点における車両の退出方向に対応する信頼度に応じた表示態様で案内オブジェクトを表示するので、走行車線の位置の特定に不安がある場合であっても少なくとも走行車線と推奨車線の位置関係が信頼できる場合については、正確な案内を行うことが可能となる。
また、右側信頼度は、車両の進行方向に対して右側にある区画線を車両の周辺を撮像した撮像画像に対する画像認識により検出した結果である、区画線の検出の有無、検出された区画線の色、検出された区画線の種別、道路の進行方向に対する検出された区画線の傾き、の少なくとも一以上を用いて算出され、左側信頼度は、車両の進行方向に対して左側にある区画線を車両の周辺を撮像した撮像画像に対する画像認識により検出した結果である、区画線の検出の有無、検出された区画線の色、検出された区画線の種別、道路の進行方向に対する検出された区画線の傾き、の少なくとも一以上を用いて算出されるので、区画線の画像認識の結果に基づいて、左右の道路端を基準にした信頼度を正確に算出することが可能となる。
また、右側信頼度及び左側信頼度は、車両から近い位置にある区画線の検出結果よりも遠い位置にある区画線の検出結果を重視して算出されるので、認識しやすい対象よりも認識することが難しい対象について認識できているか否かを判断条件にして信頼度を算出することにより、信頼度をより正確に算出することが可能となる。
[第2実施形態]
次に、第2実施形態に係る重畳画像表示装置について図19及び図20に基づいて説明する。尚、以下の説明において上記図1乃至図18の第1実施形態に係る重畳画像表示装置の構成と同一符号は、前記第1実施形態に係る重畳画像表示装置等の構成と同一あるいは相当部分を示すものである。
この第2実施形態に係る重畳画像表示装置の概略構成は、第1実施形態に係る重畳画像表示装置とほぼ同じ構成である。また、各種制御処理も第1実施形態に係る重畳画像表示装置とほぼ同じ制御処理である。
ただし、第1実施形態に係る重畳画像表示装置が、ナビゲーション装置1の液晶ディスプレイ15に対してフロントカメラ19で撮像した撮像画像を表示し、更に液晶ディスプレイ15に対して案内オブジェクトを表示することによって、車両周辺の風景に案内オブジェクトを重畳させて表示するのに対して、第2実施形態に係る重畳画像表示装置は車両周辺の風景に重畳する画像を表示する手段としてヘッドアップディスプレイシステムを用いる点で異なる。
以下に第2実施形態に係る重畳画像表示装置の概略構成について図19を用いて説明する。図19は第2実施形態に係る重畳画像表示装置101の概略構成図である。
図19に示すように重畳画像表示装置101は、車両102に搭載されたナビゲーション装置103と、同じく車両102に搭載されるとともにナビゲーション装置103と接続されたフロントディスプレイ104とを基本的に有する。尚、フロントディスプレイ104は車両102のフロントガラス105とともにヘッドアップディスプレイとして機能し、車両102の乗員106に対して様々な情報の提供を行う情報提供手段となる。
ここで、フロントディスプレイ104は、車両102のダッシュボード107内部に設置され、前面に設けられた画像表示面に対して画像を表示する機能を有する液晶ディスプレイである。バックライトとしては例えばCCFL(冷陰極管)や白色LEDが用いられる。尚、フロントディスプレイ104としては、液晶ディスプレイ以外に、有機ELディスプレイや液晶プロジェクタとスクリーンの組み合わせを用いても良い。
そして、フロントディスプレイ104は車両102のフロントガラス105とともにヘッドアップディスプレイとして機能し、フロントディスプレイ104から出力される画像を、運転席の前方のフロントガラス105に反射させて車両102の乗員106に視認させるように構成されている。尚、フロントディスプレイ104には、必要に応じて案内オブジェクトを表示する。尚、以下に説明する第2実施形態では案内オブジェクトは、第1実施形態と同様に案内経路に沿った案内分岐点の退出方向を示す矢印、案内経路に沿って案内分岐点を通過する為に車両が現在走行する道路において走行が推奨される推奨車線の位置や方向を示す案内画像、推奨車線への移動を促す案内画像とする。
また、フロントガラス105を反射して乗員106がフロントディスプレイ104に表示された映像を視認した場合に、乗員106にはフロントガラス105の位置ではなく、フロントガラス105の先の遠方の位置にフロントディスプレイ104に表示された映像が虚像110として視認されるように構成される。また、虚像110は車両前方の周辺環境(風景、実景)に重畳して表示されることとなり、例えば車両前方に位置する任意の対象物(路面、建築物、警告対象となる物等)に重畳させて表示させることも可能である。
ここで、虚像110を生成する位置、より具体的には乗員106から虚像110までの距離(以下、結像距離という)Lについては、フロントディスプレイ104の位置によって決定される。例えば、フロントディスプレイ104において映像の表示された位置からフロントガラス105までの光路に沿った距離(光路長)によって結像距離Lが決定される。例えば結像距離Lが1.5mとなるように光路長が設定されている。
また、車両のフロントバンパの上方やルームミラーの裏側等にはフロントカメラ111が設置される。フロントカメラ111は、例えばCCD等の固体撮像素子を用いたカメラを有する撮像装置であり、光軸方向を車両の進行方向前方に向けて設置される。そして、フロントカメラ111により撮像された撮像画像に対して画像処理が行われることによって、フロントガラス越しに乗員106に視認される前方環境(即ち虚像110が重畳される環境)の状況等が検出される。尚、フロントカメラ111の代わりにミリ波レーダ等のセンサを用いても良い。
また、車両のインストルメントパネルの上面には車内カメラ112が設置される。車内カメラ112は、例えばCCD等の固体撮像素子を用いたカメラを有する撮像装置であり、光軸方向を運転席に向けて設置される。車内において一般的に乗員の顔が位置すると予想される範囲を検出範囲(車内カメラ112の撮像範囲)として設定し、運転席に座った乗員106の顔を撮像する。そして、車内カメラ112により撮像された撮像画像に対して画像処理が行われることによって、乗員106の目の位置(視線開始点)や視線方向を検出する。
そして、第2実施形態に係る重畳画像表示装置は、前述した走行支援処理プログラム(図2)のS5、S7において、図20に示すようにフロントディスプレイ104に対して案内オブジェクトの画像120を表示する。その結果、図20に示すようにフロントディスプレイ104に表示された案内オブジェクトの画像120を車両の乗員が視認することによって、フロントガラス105越しの風景に重畳して案内オブジェクトの画像120の虚像121が視認される。
それによって、第1実施形態に係る重畳画像表示装置と同様に、推奨車線の位置や方位、案分岐点における退出方向を正確に把握できる。尚、第2実施形態に係る重畳画像表示装置では、前記S4、S6の案内オブジェクト表示位置決定処理において、フロントディスプレイ104に対して表示する案内オブジェクトの大きさ、形状及び案内オブジェクトを表示する位置(範囲)を決定する。また、前記S11、S35で3次元空間に特定する自車両の現在位置及び方位は、車両の乗員の位置及び車内カメラ112を用いて検出した乗員の視線方向とするのが望ましい。
尚、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の改良、変形が可能であることは勿論である。
例えば車両周辺の風景に重畳する画像を表示する手段として、第1実施形態では実景画像の表示された液晶ディスプレイ15を用い、第2実施形態ではヘッドアップディスプレイシステムを用いているが、フロントガラスに対して画像を表示するウインドウシールドディスプレイ(WSD)を用いても良い。WSDでは、フロントガラスをスクリーンとしてプロジェクタから映像を表示しても良いし、フロントガラスを透過液晶ディスプレイとしても良い。WSDによってフロントガラスに対して表示された画像は、車両周辺の風景に重畳する画像となる。
また、第1及び第2実施形態では、自車走行車線の特定結果に対する信頼度が閾値より高い場合には、推奨車線へと車両を誘導する誘導性が高い案内として推奨車線を他の車線と識別する案内オブジェクトの画像を表示し(S17~S19)、信頼度が閾値より低い場合には、推奨車線へと車両を誘導する誘導性が低い案内として推奨車線の方向を示す案内オブジェクトの画像を表示している(S21~S23)が、信頼度に基づいて案内態様をどのように変化させるかについては適宜変更可能である。例えば信頼度に応じた透過率又は色で案内オブジェクトを表示しても良い。具体的には信頼度が高い程、よりユーザの視認性の高い透過率又は色で案内オブジェクトを表示するようにし、例えば自車走行車線の特定結果に対する信頼度が閾値より高い場合には、案内オブジェクトの表示色を目立ちやすい黄色や赤色としたり、透過率を低く(例えば10%)する。一方、自車走行車線の特定結果に対する信頼度が閾値より低い場合には、表示色を目立ちにくい緑色や白色としたり、透過率を高く(例えば80%)する。
また、第1及び第2実施形態では、自車走行車線の特定結果に対する信頼度として、右側信頼度CR、左側信頼度CL、総括信頼度CTをそれぞれ算出しているが、右側信頼度CR、左側信頼度CL、総括信頼度CTの全てを算出する必要はなく、いずれか1又は2のみを算出しても良い。また、右側信頼度及び左側信頼度の算出方法としては存在すべき区画線を正しく認識できているか否かに基づいて算出している(式(1)~(7))が、区画線の認識結果ではなく道路端の認識結果を用いて算出しても良い。また、右側信頼度CR及び左側信頼度CLの算出に係る式(1)~(7)では、区画線の検出の有無、検出された区画線の色、検出された区画線の種別、道路の進行方向に対する検出された区画線の傾きの全てを用いて各信頼度を算出しているが、それらの全てを用いる必要はなく一部のみを用いて信頼度を算出しても良い。
また、第1及び第2実施形態では、案内オブジェクトは車両の推奨車線を案内する第1案内オブジェクト71~74と、進行方向前方にある案内分岐点における車両の退出方向を示す矢印である第2案内オブジェクト81~83としているが、第1案内オブジェクト71~74のみとしても良い。また、第1案内オブジェクト71~74は必ずしも車線に重畳される矩形形状や三角形状である必要はなく、推奨車線の位置や方位を示すことができるのであれば他の形状であっても良い。
また、第1及び第2実施形態では、案内オブジェクトを用いて案内分岐点の案内を行っているが、案内オブジェクトにより案内対象とする地点は案内分岐点に限られることなく、例えば車両が車線減少地点や合流区間を通過する際において案内オブジェクトを用いて推奨車線の位置や方向を案内するようにしても良い。
また、第1実施形態では、ナビゲーション装置1の液晶ディスプレイ15に対してフロントカメラ19で撮像した実景画像や案内オブジェクトを表示しているが、実景画像や案内オブジェクトを表示するディスプレイとしては車両内に配置されたディスプレイであれば、液晶ディスプレイ15以外のディスプレイであっても良い。
また、第2実施形態では、フロントディスプレイ104によって車両102のフロントガラス105の前方に虚像を生成する構成としているが、フロントガラス105以外のウィンドウの前方に虚像を生成する構成としても良い。また、フロントディスプレイ104により映像を反射させる対象はフロントガラス105自身ではなくフロントガラス105の周辺に設置されたバイザー(コンバイナー)であっても良い。
また、第1及び第2実施形態では、走行支援処理プログラム(図2)の処理をナビゲーション装置1のナビゲーションECU13が実行する構成としているが、実行主体は適宜変更することが可能である。例えば、液晶ディスプレイ15の制御部、車両制御ECU、その他の車載器が実行する構成としても良い。
1…ナビゲーション装置、15…液晶ディスプレイ、19…フロントカメラ、41…CPU、42…RAM、43…ROM、51…走行案内画面、52…風景、53…第1案内オブジェクトの画像、54…推奨車線、55…自車走行車線、57…第2案内オブジェクトの画像、61,64…道路端、62,65…車道外側線、63,66…車線境界線、70…案内分岐点、71~74…第1案内オブジェクト、81~83…第2案内オブジェクト

Claims (10)

  1. 車両に搭載され、前記車両の乗員へ情報を案内する案内オブジェクトを、前記車両周辺の風景に重畳して視認させる重畳画像表示装置であって、
    車両が現在走行する道路において走行を推奨される推奨車線を取得する推奨車線取得手段と、
    車両が現在走行する道路において車両が現在走行する車線である走行車線を特定する走行車線特定手段と、
    前記走行車線特定手段によって特定された前記走行車線について、特定された結果にどの程度の信頼性があるかを示す信頼度を取得する信頼度取得手段と、
    前記走行車線及び前記推奨車線に基づいて、前記推奨車線に対する案内を行う為の前記案内オブジェクトを表示するオブジェクト表示手段と、を有し、
    前記オブジェクト表示手段は、前記信頼度に応じた表示態様で前記案内オブジェクトを表示する重畳画像表示装置。
  2. 前記オブジェクト表示手段は、前記信頼度が高い程、前記推奨車線へと車両を誘導する誘導性がより高い表示態様で前記案内オブジェクトを表示する請求項1に記載の重畳画像表示装置。
  3. 前記オブジェクト表示手段は、
    前記信頼度が閾値より低い場合には、前記案内オブジェクトとして前記推奨車線の方向を示す画像を表示し、
    前記信頼度が閾値より高い場合には、前記案内オブジェクトとして前記推奨車線を他の車線と識別する画像を表示する請求項2に記載の重畳画像表示装置。
  4. 前記オブジェクト表示手段は、前記推奨車線を他の車線と識別する画像として前記推奨車線の路面に重畳する画像を表示する請求項3に記載の重畳画像表示装置。
  5. 前記オブジェクト表示手段は、
    前記信頼度に応じた透過率又は色で前記案内オブジェクトを表示し、
    前記信頼度が高い程、よりユーザの視認性の高い透過率又は色で前記案内オブジェクトを表示する請求項2に記載の重畳画像表示装置。
  6. 前記走行車線特定手段は、
    車両の周辺を撮像した撮像画像に基づいて、車両の周辺にある区画線と車両が現在走行する道路の道路端とを夫々検出し、
    前記区画線と道路端の検出結果に基づいて道路端から車両が現在走行する車線までの車線の数を推定し、
    前記推定の結果に基づいて前記走行車線を特定する請求項1乃至請求項5のいずれかに記載の重畳画像表示装置。
  7. 前記信頼度は、車両の進行方向に対して右側にある区画線と道路端の検出結果に基づいて道路右端を基準とした前記走行車線の位置を特定する場合の信頼度である右側信頼度と、車両の進行方向に対して左側にある区画線と道路端の検出結果に基づいて道路左端を基準とした前記走行車線の位置を特定する場合の信頼度である左側信頼度と、を含み、
    前記オブジェクト表示手段は、前記右側信頼度と前記左側信頼度とに基づいて算出された総括信頼度に応じた表示態様で前記案内オブジェクトを表示する請求項1乃至請求項6のいずれかに記載の重畳画像表示装置。
  8. 前記推奨車線取得手段は、車両の進行方向前方の所定の案内開始距離以内に案内分岐点がある場合に、前記案内分岐点における車両の退出方向に対応する車線を前記推奨車線として取得し、
    前記信頼度は、車両の進行方向に対して右側にある区画線と道路端の検出結果に基づいて道路右端を基準とした前記走行車線の位置を特定する場合の信頼度である右側信頼度と、車両の進行方向に対して左側にある区画線と道路端の検出結果に基づいて道路左端を基準とした前記走行車線の位置を特定する場合の信頼度である左側信頼度と、を含み、
    前記オブジェクト表示手段は、前記右側信頼度と前記左側信頼度の内、前記案内分岐点における車両の退出方向に対応する信頼度に応じた表示態様で前記案内オブジェクトを表示する請求項1乃至請求項6のいずれかに記載の重畳画像表示装置。
  9. 前記右側信頼度は、車両の進行方向に対して右側にある区画線を車両の周辺を撮像した撮像画像に対する画像認識により検出した結果である、区画線の検出の有無、検出された区画線の色、検出された区画線の種別、道路の進行方向に対する検出された区画線の傾き、の少なくとも一以上を用いて算出され、
    前記左側信頼度は、車両の進行方向に対して左側にある区画線を車両の周辺を撮像した撮像画像に対する画像認識により検出した結果である、区画線の検出の有無、検出された区画線の色、検出された区画線の種別、道路の進行方向に対する検出された区画線の傾き、の少なくとも一以上を用いて算出される請求項7又は請求項8に記載の重畳画像表示装置。
  10. 前記右側信頼度及び前記左側信頼度は、車両から近い位置にある区画線の検出結果よりも遠い位置にある区画線の検出結果を重視して算出される請求項9に記載の重畳画像表示装置。
JP2021177446A 2021-10-29 2021-10-29 重畳画像表示装置 Pending JP2023066699A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021177446A JP2023066699A (ja) 2021-10-29 2021-10-29 重畳画像表示装置
US17/975,798 US20230135641A1 (en) 2021-10-29 2022-10-28 Superimposed image display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021177446A JP2023066699A (ja) 2021-10-29 2021-10-29 重畳画像表示装置

Publications (1)

Publication Number Publication Date
JP2023066699A true JP2023066699A (ja) 2023-05-16

Family

ID=86145076

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021177446A Pending JP2023066699A (ja) 2021-10-29 2021-10-29 重畳画像表示装置

Country Status (2)

Country Link
US (1) US20230135641A1 (ja)
JP (1) JP2023066699A (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022132882A (ja) * 2021-03-01 2022-09-13 キヤノン株式会社 ナビゲーションシステム、ナビゲーション方法およびプログラム
US20230196631A1 (en) * 2021-12-21 2023-06-22 Cnh Industrial America Llc Systems and methods for agricultural operations
US11971544B2 (en) 2022-05-20 2024-04-30 GM Global Technology Operations LLC Hybrid augmented reality head-up display for creating an edge-to-edge augmented reality view
US20240029559A1 (en) * 2022-07-21 2024-01-25 GM Global Technology Operations LLC Augmented reality display for traffic signal awareness
US20240094530A1 (en) * 2022-09-15 2024-03-21 GM Global Technology Operations LLC Augmenting roadway markings and traffic signs for occupant awareness

Also Published As

Publication number Publication date
US20230135641A1 (en) 2023-05-04

Similar Documents

Publication Publication Date Title
JP6700623B2 (ja) 走行支援装置及びコンピュータプログラム
US11535155B2 (en) Superimposed-image display device and computer program
JP2023066699A (ja) 重畳画像表示装置
US9417080B2 (en) Movement trajectory generator
US20160347327A1 (en) Autonomous vehicle driving assist system, method, and program
JP7476568B2 (ja) 重畳画像表示装置、重畳画像描画方法及びコンピュータプログラム
US20120109521A1 (en) System and method of integrating lane position monitoring with locational information systems
JP4787196B2 (ja) 車載用ナビゲーション装置
US11828613B2 (en) Superimposed-image display device
JP2008097279A (ja) 車両外部情報表示装置
JP4277678B2 (ja) 車両運転支援装置
JP7302389B2 (ja) 重畳画像表示装置及びコンピュータプログラム
JP2023131981A (ja) 重畳画像表示装置
JP2024033759A (ja) 重畳画像表示装置
JP2023150070A (ja) 重畳画像表示装置
JP7400356B2 (ja) 重畳画像表示装置及びコンピュータプログラム
JP2024018405A (ja) 重畳画像表示装置
JP2023064957A (ja) 重畳画像表示装置
JP2023044949A (ja) 重畳画像表示装置
JP2023008462A (ja) 重畳画像表示装置
JP3650997B2 (ja) 経路誘導装置、経路誘導方法、及び、経路誘導用プログラム
JP2024018205A (ja) 重畳画像表示装置
JP2023038558A (ja) 重畳画像表示装置
JP2023097939A (ja) 重畳画像表示装置
JP2021081232A (ja) 重畳画像表示装置及びコンピュータプログラム