<第1の実施形態>
以下、図1〜図27を参照して、本開示の第1の実施形態について説明する。車載システム1は、HMI(Human Machine Interface)システム10を主体として含む。さらに、車載システム1は、周辺監視装置20と、ロケータ30と、DCM(Data Communication Module)40と、運転支援ECU(Electronic Control Unit)50とを含む。これらのノードは、通信バス60を介して、相互にデータを通信する。これら装置及びECUのうちの特定ノード同士は、相互に直接的に電気接続され、通信バス60を介することなく通信を実施可能であってよい。
なお、以下の説明における前後(図2 前方Ze及び後方Go参照)及び左右(図2 側方Yo参照)の各方向は、水平面上に静止させた車両Aを基準として規定される。具体的に、前後方向は、車両Aの長手方向(進行方向)に沿って規定される。また左右方向は、車両Aの幅方向に沿って規定される。さらに、上下(図2 上方Ue及び下方Si参照)の方向は、前後方向及び左右方向を規定した水平面の鉛直方向に沿って規定される。また、記載の簡略化のため、各方向を示す符号の記載を適宜省略する場合がある。
周辺監視装置20は、車両Aの周辺環境を監視する装置である。周辺監視装置20は、フロントカメラ21と、ミリ波レーダ22とを含む。フロントカメラ21は、車両Aの前方を撮影して撮影画像を生成し、当該撮影画像を、通信バス60を介して、運転支援ECU50及びHMIシステム10の表示制御装置100に送信する。ミリ波レーダ22は、ミリ波又は準ミリ波を用いて、車両Aの周辺の物体との距離、並びに当該物体の相対速度及び方位を算出し、これらの情報を、通信バス60を介して運転支援ECU50に送信する。
ロケータ30は、車両Aの位置情報を生成する装置である。ロケータ30は、GNSS(Global Navigation Satellite System)受信器31と、慣性センサ32と、地図データベース(以下、地図DBとする)33と、ロケータECU34とを含む。
GNSS受信器31は、複数の測位衛星から送信された測位信号を受信する装置である。GNSS受信器31は、GPS、GLONASS、Galileo、IRNSS、QZSS、Beidou等の衛星測位システムを利用することができる。
慣性センサ32は、車両Aの加速度及び角速度を検出する装置である。慣性センサ32の具体例として、加速度センサ及びジャイロセンサ等が挙げられる。
地図DB33は、従来のナビゲーション用の地図情報又は当該地図情報よりも高精度な地図情報(以下、高精度地図情報とする)が記録された記憶装置である。高精度地図情報には、道路の三次元形状を示す情報、道路線の位置情報、レーン数情報、各レーンの進行方向を示す情報等の高度運転支援に利用可能な情報が含まれている。
ロケータECU34は、プロセッサ、ROM(Read Only Memory)、RAM(Random Access Memory)及び入出力インタフェースを含むマイクロコンピュータを備える。ロケータECU34は、車両Aの各輪のハブ部分に設けられた車輪速センサの検出信号に基づいて、車両Aの速度情報を生成することができる。ロケータECU34は、GNSS受信器31で受信した測位信号、慣性センサ32の検出結果、及び車両Aの速度情報を用いて、車両Aの位置、進行方向及び姿勢情報(すなわち、ロール、ピッチ、ヨー)を逐次算出することができる。
ロケータECU34は、算出した車両Aの速度情報、姿勢情報、位置情報及び方角情報を、通信バス60を通じて、他のノードに提供する。また、ロケータECU34は、他のノードから地図情報の要求を受信すると、要求対象の地図情報を要求元のノードに提供する。
DCM40は、車両Aに搭載される通信モジュールである。DCM40は、LTE(Long Term Evolution)及び5G等の通信規格に準拠した無線通信により、車両Aの周辺の基地局との間でデータを送受信する。DCM40は、最新の地図情報を保有するプローブサーバからインターネットを介して、当該地図情報を取得できる。ロケータECU34は、DCM40が取得した最新の地図情報を用いて、地図DB33に格納された地図情報を更新することができる。
運転支援ECU50は、運転者の運転操作を支援するECUである。運転支援ECU50は、米国自動車技術会の規定する自動運転レベルにおいて、レベル2以下の部分的な自動走行制御を実現する。運転支援ECU50は、プロセッサ、ROM、RAM、及び入出力インタフェースを含むマイクロコンピュータを備える。プロセッサは、ROMに記憶されたプログラムを実行することにより、ACC(Adaptive Cruise Control)制御部51及び車線維持制御部52を実現する。
ACC制御部51は、ACCの機能を実現する機能部である。ACC制御部51は、周辺監視装置20が提供した撮影画像及び検出情報を用いて、運転者が指定した車速で車両Aを走行させ、又は車両Aと前走車との車間距離を維持しつつ車両Aを前走車に追従走行させる。
車線維持制御部52は、車両Aを走行車線内で走行させる車線維持制御機能を実現する機能部である。車線維持制御部52が実現する車線維持制御機能は、LTA(Lane Tracing Assist)及びLTC(Lane Trace Control)として知られている。
車線維持制御機能の状態には、OFF状態、待機状態及び実行状態の3種類がある。ACC機能が実行状態の場合において、運転者が車線維持制御機能の起動スイッチを押下すると、車線維持制御部52は、フロントカメラ21が提供した撮像画像を解析して、車両Aの前方及び前側方の走行車線の道路線の検出処理を開始する。すなわち、車線維持制御機能が、OFF状態から待機状態に遷移する。
車線維持制御部52は、車線維持制御機能が待機状態である場合に、車両Aの走行車線の両側の道路線を検出し、左右両側の道路線を認識すると、検出した両側の道路線に基づき、車両Aの操舵輪の舵角を制御して、車両Aを走行車線内で走行させる。すなわち、車線維持制御機能が、待機状態から実行状態に遷移する。
車線維持制御部52は、車線維持制御機能が実行状態である場合に、車両Aの走行車線の片側の道路線のみを検出すると、所定の期間内に車線維持制御を終了し、車線維持制御機能が実行状態から待機状態又はOFF状態に遷移する。所定の期間は、車両Aの速度に応じた種々の期間とすることができる。例えば、車両Aの速度が60〜100kmの場合、5秒等とすることができる。
車線維持制御部52は、(1)車線維持制御機能が実行状態になった旨を示すステータス情報、を少なくとも表示制御装置100に提供する。また、車線維持制御部52は、(2)車両Aの走行車線の両側の道路線を検出した旨を示す検出情報、(3)車両Aの走行車線の片側の道路線のみを検出した旨を示す検出情報を、表示制御装置100にさらに提供する。
HMIシステム10は、車両Aと運転者との間のインタフェースを提供するシステムである。HMIシステム10は、DSM(Driver Status Monitor)11と、操作デバイス12と、表示制御装置100と、ヘッドアップディスプレイ(Head Up Display,以下、HUD)装置13とを含む。
DSM11は、近赤外光源及び近赤外カメラと、これらを制御する制御部とを含む。DSM11は、運転席に着座した状態の運転者の顔に近赤外光源の近赤外光が照射され、近赤外カメラで運転者の顔を撮影可能な位置に設置される。例えば、DSM11は、図2に示すステアリングコラム部8の上面又はインスツルメントパネル9の上面等に設置することができる。近赤外カメラは、30fpm等の周期で運転者の顔を撮影し、撮像画像を生成する。制御部は、撮像画像を解析して運転者の視点位置EPを算出し、視点位置EPを示す視点位置情報を表示制御装置100に逐次提供する。
操作デバイス12は、運転者による操作を受け付け可能な装置である。具体的には、ACCの起動及び停止の切り替えを行う装置、車線維持制御機能の起動及び停止の切り替えを行う装置等が挙げられる。操作デバイス12は、ステアリングホイールのスポーク部に設けられたステアスイッチ等によって実現することができる。
表示制御装置100は、HUD装置13が投影する画像を生成し、当該画像をHUD装置13に提供して投影させる装置である。表示制御装置100の具体例としては、HCU(HMI Control Unit)等が挙げられる。表示制御装置100は、少なくとも1以上のプロセッサ110と、ROM等の不揮発性記憶装置120と、RAM等の揮発性記憶装置130と、入出力インタフェース140とを含むマイクロコンピュータを備える。プロセッサ110は、種々のプログラムを実行可能な演算装置である。プロセッサ110は、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)及びNPU(Neural network Processing Unit)等の少なくとも一つを含む。不揮発性記憶装置120には、プログラム等の種々のデータが保存される。プロセッサ110は、本開示の表示制御プログラムが保存された不揮発性記憶装置120にアクセスし、当該表示制御プログラムを揮発性記憶装置130に展開して実行することにより、本開示の表示制御方法を実行する。プロセッサ110は、入出力インタフェース140を介して、他のノードと種々のデータを通信することができる。
HUD装置13は、車両Aの運転者の前方に画像を表示する装置である。図2に示すように、HUD装置13は、ウィンドシールドWSの下方のインスツルメントパネル9内の収容空間に設置される。HUD装置13は、プロジェクタ14と、拡大光学系15とを備える。
プロジェクタ14は、LCD(Liquid Crystal Display)パネル及びバックライトを備える。プロジェクタ14は、LCDパネルの表示面を拡大光学系15に向けた状態で固定される。プロジェクタ14は、表示制御装置100が提供した画像をLCDパネルに表示し、当該LCDパネルをバックライトで照射することにより、当該画像を形成する光を拡大光学系15へ射出する。
拡大光学系15は、光反射性を有する金属を基材表面に蒸着させた凹面鏡を備える。拡大光学系15は、プロジェクタ14から射出された光を反射させ、ウィンドシールドWSに向かって投影する。ウィンドシールドWSに向かって投影された光は、ウィンドシールドWSの投影領域PAにおいて反射し、その反射光が運転席側へ向かって進み、運転者の瞳に到達する。その結果、運転者は、表示制御装置100が生成した画像の虚像VIを、ウィンドシールドWSの先(前方Ze)に視認することができる。
次に、図3を参照して、表示制御装置100の機能について説明する。表示制御装置100は、受信部101と、画像生成部102と、未検出位置判定部103と、検出位置判定部104と、時間計測部105と、表示制御部106とを有する。
受信部101は、周辺監視装置20、ロケータECU34、DSM11及び運転支援ECU50が提供する情報を受信する機能部である。受信部101は、周辺監視装置20から撮影画像を受信すると、当該撮影画像を揮発性記憶装置130に保存する。受信部101は、ロケータECU34から地図情報、車両Aの位置情報、速度情報及び姿勢情報等の情報を受信すると、これらの情報を揮発性記憶装置130に保存する。受信部101は、DSM11から視点位置情報を受信すると、当該視点位置情報を揮発性記憶装置130に保存する。受信部101は、運転支援ECU50から車線維持制御機能のステータス情報及び種々の検出情報を受信すると、その旨を画像生成部102に通知する。
画像生成部102は、HUD装置13が投影する画像を生成する機能部である。画像生成部102は、図8に示す画像生成処理を実行し、HUD装置13が投影する画像を生成する。
画像生成処理では、ステップS201において画像生成部102が、揮発性記憶装置130から仮想三次元空間の道路モデルを生成するために必要な情報(例えば、地図情報、車両Aの位置情報、撮影画像等)を取得し、仮想三次元空間に道路モデルを生成する。ステップS202では、画像生成部102は、前景の対象物に関連付けて表示される重畳コンテンツに対応する仮想オブジェクトVOを、仮想三次元空間の道路モデルに描画する。例えば、車両Aの走行車線の両側の道路線が検出されている場合、画像生成部102は、図10に示すように、これらの道路線に対応する仮想道路線VRL1,VRL2に沿って、当該道路線を強調する仮想オブジェクトVO1,VO2を実線で描画する。画像生成部102は、仮想オブジェクトVO1,VO2を、それぞれ仮想道路線VRL1,VRL2が規定する走行車線の内側に描画することができる。また、画像生成部102は、仮想オブジェクトVO1,VO2を、それぞれ走行車線の外側に描画してもよい。さらに、画像生成部102は、仮想オブジェクトVO1,VO2を、それぞれ仮想道路線VRL1,VRL2上に描画してもよい。
ステップS203では、画像生成部102は、揮発性記憶装置130から視点位置情報を取得し、当該視点位置情報に基づく仮想三次元空間内の仮想視点位置VEPを仮想三次元空間に設定する。仮想視点位置VEPは、車両Aの運転者の視点位置EPに対応する。
ステップS204では、画像生成部102は、仮想三次元空間における仮想視点位置VEP、画角AoV及び車両Aの姿勢情報によって規定される結像領域IAの画像を生成する。結像領域IAは、HUD装置13が現実の三次元空間において虚像VIを結像する結像領域IAに対応する。現実の三次元空間の結像領域IAは、図2に示すように、視点位置EPから画角AoVで延在する仮想線によって規定される。同様に、仮想三次元空間の結像領域IAは、仮想視点位置VEPから画角AoVで延在する仮想線によって規定される。画像生成部102が生成した仮想三次元空間の結像領域IAの画像が、現実の三次元空間において虚像VIとして結像される。なお、本実施形態では、画角AoVの一例として、水平画角AoVhが10度、垂直画角AoVvが4度の画角を採用することができる。水平画角AoVhは例えば10〜12°程度とされ、垂直画角AoVvは例えば4〜5°程度とされる。
図10に示す例では、仮想オブジェクトVO1,VO2が仮想領域VAに描画されている。仮想領域VAは、仮想視点位置VEP、画角AoV及び車両Aの姿勢情報によって規定される道路モデル上の領域である。仮想領域VAは、視点位置EPから見たとき結像領域IAと重なる前方範囲(例えば十数m〜100m程度の範囲)に相当する領域である。画像生成部102が、図10に示す仮想領域VA内に描画された仮想オブジェクトVO1,VO2を透視投影変換することにより、結像領域IAの画像を生成することができる。HUD装置13が、当該画像をウィンドシールドWSに向かって投影すると、結像領域IAには、図11に示すような画像コンテンツCT1,CT2が結像される。画像コンテンツCT1,CT2は、前景の対象物に関連付けて表示される重畳コンテンツであり、それぞれ仮想三次元空間の仮想オブジェクトVO1,VO2に対応する。画像コンテンツCT1,CT2は、それぞれ道路線RL1,RL2に関連付けて表示される。車両Aの運転者からは、道路線RL1,RL2に沿って画像コンテンツCT1,CT2が表示されているように見える。
未検出位置判定部103は、車両Aの走行車線の道路線が検出されなくなる位置に相当する未検出位置UDPが、仮想領域VA内に存在するか否か判定する機能部である。検出位置判定部104は、車両Aの走行車線の未検出であった道路線が再び検出された位置に相当する検出位置DPが、仮想領域VA内に存在するか否か判定する機能部である。時間計測部105は、時間を計測する機能部である。表示制御部106は、投影対象の画像をHUD装置13に送信して投影させる機能部である。
次に、図4を参照して、表示制御装置100が実行する処理の一例について説明する。ステップS101では、表示制御装置100の受信部101が、車線維持制御機能が実行状態である旨を示すステータス情報を受信したか否か判断する。当該ステータス情報を受信していない場合(NO)、ステップS101の処理が再び実行される。一方、当該ステータス情報を受信した場合(YES)、ステップS102に処理が分岐する。ステップS102では、画像生成部102が、画像生成処理を実行して、図11に示すような画像を生成する。
ステップS103では、表示制御部106は、ステップS102の画像生成処理で生成された画像をHUD装置13に送信する。HUD装置13は、当該画像を受信すると、当該画像をウィンドシールドWSに向かって投影する。その結果、結像領域IAには、図11に示すような画像コンテンツCT1,CT2が結像される。
ステップS104では、受信部101は、車両Aの走行車線の両側の道路線を検出した旨を示す検出情報を受信したか否か判断する。当該検出情報を受信した場合(YES)、ステップS102の処理に戻る。一方、当該検出情報を受信していない場合(NO)、ステップS105に処理が分岐する。
ステップS105では、受信部101は、車両Aの走行車線の片側の道路線のみを検出した旨を示す検出情報を受信したか否か判断する。当該検出情報を受信していない場合(NO)、図4の処理は終了する。一方、当該検出情報を受信した場合(YES)、図5のステップS106に処理が分岐する。
ステップS106では、時間計測部105が、時間計測を開始する。ステップS107では、画像生成部102は、仮想領域特定処理を実行し、仮想領域VAを特定する。仮想領域特定処理では、図9に示すように、ステップS301において画像生成部102が、揮発性記憶装置130から仮想三次元空間の道路モデルを生成するために必要な情報を取得し、仮想三次元空間に道路モデルを生成する。ステップS302では、画像生成部102は、揮発性記憶装置130から視点位置情報を取得し、当該視点位置情報を用いて仮想三次元空間内の仮想視点位置VEPを算出し、仮想三次元空間に設定する。ステップS303では、画像生成部102は、仮想視点位置VEP及び画角AoVによって規定される仮想領域VAを特定する。
ステップS108では、未検出位置判定部103が、ステップS107で特定された仮想領域VA内に、図12に示すような車両Aの走行車線の道路線の未検出位置UDPが存在するか否か判断する。未検出位置UDPが当該仮想領域VA内に存在しない場合(NO)、ステップS109に処理が分岐する。
ステップS109では、画像生成部102が、画像生成処理を実行して、図13に示すような画像を生成する。このとき、画像生成部102は、画像生成処理において、図12に示すように、仮想オブジェクトVO1,VO2を、それぞれ仮想道路線VRL1,VRL2に沿うように、実線で描画することができる。仮想オブジェクトVO1,VO2の描画色の輝度は、同じにすることができる。また、検出されなくなる道路線の仮想オブジェクトVO2の描画色の輝度が、継続して検出されている道路線の仮想オブジェクトVO1よりも低くされてよい。
ステップS110では、表示制御部106は、ステップS109の画像生成処理で生成された画像をHUD装置13に送信する。HUD装置13は、当該画像を受信すると、当該画像をウィンドシールドWSに向かって投影する。その結果、結像領域IAには、図13に示すような画像コンテンツCT1,CT2が結像される。
画像生成部102は、継続して検出されている道路線RL1の画像コンテンツCT1の表示態様が一定になるように、画像を生成する。また、画像生成部102は、画像コンテンツCT1と、検出されなくなる道路線RL2の画像コンテンツCT2の表示態様が異なるように、画像を生成する。
例えば、画像コンテンツCT2は、ウィンドシールドWS上で点滅表示させることができる。画像生成部102は、仮想オブジェクトVO1,VO2の双方を描画した画像を生成し、表示制御部106が、当該画像をHUD装置13に送信して投影させる。その後、画像生成部102は、仮想オブジェクトVO1のみを描画した画像を生成し、表示制御部106が、当該画像をHUD装置13に送信して投影させる。これらの繰り返し実行することにより、画像コンテンツCT2が点滅表示される。一方、継続して検出されている道路線RL1の画像コンテンツCT1は、点滅表示されることなく継続して表示される。すなわち、画像コンテンツCT1は一定の表示態様で表示され、画像コンテンツCT1及び画像コンテンツCT2は異なる表示態様で表示される。図13に示す画像は、運転者に対して車線維持制御機能の終了を通知する終了通知画像に相当する。
一方、ステップS108において、ステップS107で特定された仮想領域VA内に、未検出位置UDPが存在すると判断した場合(YES)、ステップS111に処理が分岐する。
ステップS111では、画像生成部102が、画像生成処理を実行して、図15に示すような画像を生成する。当該画像生成処理では、画像生成部102は、図14に示すように、継続して検出されている道路線に対応する仮想オブジェクトVO1を実線で描画し、検出されなくなる道路線に対応する仮想オブジェクトVO2を点線で描画することができる。このとき、画像生成部102は、検出されている仮想道路線VRL1からオフセットさせた位置に仮想オブジェクトVO1,VO2を描画することができる。
オフセット量は、仮想オブジェクトVO1,VO2によって異なる。仮想オブジェクトVO1のオフセット量は、仮想オブジェクトVO1に対応する画像コンテンツCT1が実際の道路線の近傍に表示されるような任意の値とすることができる。
仮想オブジェクトVO2のオフセット量は、平均的な道路幅(例えば、3m等)に相当する仮想三次元空間内の距離(以下、標準距離とする)に基づいて決定することができる。具体的には、走行車線の内側に仮想オブジェクトVO1,VO2を描画する場合、当該標準距離から仮想道路線VRL1と仮想オブジェクトVO1との間の距離を減算して得られる差を、仮想オブジェクトVO2のオフセット量とすることができる。また、走行車線の外側に仮想オブジェクトVO1,VO2を描画する場合、仮想道路線VRL1及び仮想オブジェクトVO1の間の距離と、当該標準距離とを加算して得られる和を、仮想オブジェクトVO2のオフセット量とすることができる。さらに、道路線上に仮想オブジェクトVO1,VO2を描画する場合、当該標準距離を、仮想オブジェクトVO2のオフセット量とすることができる。
また、画像生成部102は、仮想オブジェクトVO1及び仮想オブジェクトVO2の双方を実線で描画し、仮想オブジェクトVO2のみを点滅表示させてもよい。仮想オブジェクトVO1,VO2の描画色の輝度は、同じにしてもよい。代替的に、仮想オブジェクトVO2の描画色の輝度が、仮想オブジェクトVO1よりも低くされてよい。さらに、画像生成部102は、仮想オブジェクトVO2の一部を実線で描画し、その他の部分を点線で描画してもよい。具体的には、車両Aから未検出位置UDPの間の仮想オブジェクトVO2を実線で描画し、未検出位置UDPから車両Aの進行方向側の仮想オブジェクトVO2を点線で描画することができる。
ステップS112では、表示制御部106は、ステップS111の画像生成処理で生成された画像をHUD装置13に送信する。HUD装置13は、当該画像を受信すると、当該画像をウィンドシールドWSに向かって投影する。その結果、結像領域IAには、図15に示すような画像コンテンツCT1,CT2が結像される。図15に示す画像は、車線維持制御機能の終了通知画像に相当する。
また、画像生成部102は、ステップS111の画像生成処理において、未検出位置UDPを示す仮想オブジェクトを描画し、表示制御部106が、当該仮想オブジェクトを含む画像をHUD装置13に送信してもよい。HUD装置13は、当該画像を受信すると、当該画像をウィンドシールドWSに向かって投影する。その結果、結像領域IAには、図16に示すような画像コンテンツCT1,CT2,CT3が結像される。画像コンテンツCT3は、重畳コンテンツであり、当該仮想オブジェクトに対応する。画像コンテンツCT3は、実際の路面上の未検出位置UDPに関連付けて表示される。図16に示す画像は、車線維持制御機能の終了通知画像に相当する。
ステップS113では、画像生成部102は、仮想領域特定処理を実行し、仮想領域VAを特定する。ステップS114では、未検出位置判定部103が、ステップS113で特定された仮想領域VA内に、車両Aの走行車線の道路線の未検出位置UDPが未だ存在するか否か判断する。未検出位置UDPが当該仮想領域VA内に存在する場合(YES)、ステップS111に処理が戻る。一方、未検出位置UDPが当該仮想領域VA内に存在しない場合(NO)、図6に示すステップS115に処理が分岐する。
ステップS115では、画像生成部102が、画像生成処理を実行して、図18に示すような画像を生成する。当該画像生成処理では、画像生成部102は、図17に示すように、継続して検出されている道路線の仮想オブジェクトVO1を実線で描画し、未検出の道路線の仮想オブジェクトVO2を点線で描画することができる。仮想オブジェクトVO1,VO2の描画色の輝度は、同じにしてもよい。代替的に、仮想オブジェクトVO2の描画色の輝度が、仮想オブジェクトVO1よりも低くされてよい。
ステップS116では、表示制御部106は、ステップS115の画像生成処理で生成された画像をHUD装置13に送信する。HUD装置13は、当該画像を受信すると、当該画像をウィンドシールドWSに向かって投影する。その結果、結像領域IAには、図18に示すような画像コンテンツCT1,CT2が結像される。図18に示す画像は、車線維持制御機能の終了通知画像に相当する。
また、画像生成部102は、ステップS115の画像生成処理で生成された画像と、車線維持制御機能が終了する迄の残りの時間を示す画像コンテンツCT4(図19)を描画した画像とを合成してもよい。車線維持制御機能が終了する迄の残りの時間は、画像生成部102が、時間計測部105の計測時間を利用して算出することができる。例えば、車線維持制御機能が終了する迄の既定の時間が5秒である場合、画像生成部102は、5秒から当該計測時間を減算して得られた値を、車線維持制御機能が終了する迄の残りの時間とすることができる。
そして、表示制御部106が、画像と画像コンテンツCT4の画像との合成画像をHUD装置13に送信し、HUD装置13が、当該合成画像をウィンドシールドWSに向かって投影する。その結果、結像領域IAには、図19に示すような画像コンテンツCT1,CT2,CT4が結像される。画像コンテンツCT4は、非重畳コンテンツであり、前景内の物体に関連付けられることなく、結像領域IA内の既定の位置に表示される。図19に示す画像は、車線維持制御機能の終了通知画像に相当する。
さらに、画像生成部102は、ステップS115の画像生成処理において、継続して検出されている道路線のみについて仮想オブジェクトVO1を実線で描画し、検出されなくなる道路線について仮想オブジェクト描画しなくてもよい。この場合、結像領域IAには、図20に示すような画像コンテンツCT1が結像される。図20に示す画像は、車線維持制御機能の終了通知画像に相当する。
ステップS117では、画像生成部102は、時間計測部105による計測時間が閾値以上であるか否か判断する。当該閾値は、表示制御装置100が片側の道路線のみを検出した旨を示す検出情報を受信した時点から車線維持制御機能が終了する迄の既定の時間に相当する。当該閾値は、車両Aの速度に応じた時間とすることができる。例えば、車両Aの速度が60〜100kmの場合、5秒等とすることができる。
計測時間が閾値以上である場合(YES)、ステップS118に処理が分岐する。ステップS118では、画像生成部102が、画像生成処理を実行して、図22に示すような画像を生成する。当該画像生成処理では、画像生成部102は、図21に示すように、継続して検出されている道路線の仮想オブジェクトVO1と、車線維持制御機能の終了位置ENDを示す仮想オブジェクトVO3とを実線で描画することができる。また、画像生成部102は、未検出の道路線の仮想オブジェクトVO2を点線で描画することができる。この場合、画像生成部102は、終了位置ENDまで仮想オブジェクトVO2を点線で描画する。終了位置ENDは、未検出位置UDPと、車両Aの車速に応じて既定された距離Dとを用いて特定することができる。
より詳細には、画像生成部102は、車両Aの複数の速度と、当該複数の速度のそれぞれに対応付けられた距離Dとが登録されたデータテーブルを有している。画像生成部102は、揮発性記憶装置130から車両Aの速度情報を取得し、当該データテーブルを参照して、当該速度情報が示す車両Aの速度に対応付けられている距離Dを特定する。画像生成部102は、仮想三次元空間上における未検出位置UDPの座標位置と距離Dとを用いて、終了位置ENDを特定することができる。車両Aの進行方向に未検出位置UDPから距離Dにある位置が、終了位置ENDに相当する。
ステップS119では、表示制御部106は、ステップS118の画像生成処理で生成された画像をHUD装置13に送信する。HUD装置13は、当該画像を受信すると、当該画像をウィンドシールドWSに向かって投影する。その結果、結像領域IAには、図22に示すような画像コンテンツCT1,CT2,CT5が結像される。終了位置ENDには、仮想オブジェクトVO3に対応する画像コンテンツCT5が表示される。画像コンテンツCT5は、重畳コンテンツであり、実際の路面上の終了位置ENDに関連付けて表示される。図22に示す画像は、車線維持制御機能の終了通知画像に相当する。
また、画像生成部102は、ステップS118の画像生成処理で生成された画像と、図23に示すような画像コンテンツCT6を描画した画像とを合成し、表示制御部106が、合成画像をHUD装置13に送信してもよい。HUD装置13は、当該合成画像を受信すると、当該合成画像をウィンドシールドWSに向かって投影する。その結果、結像領域IAには、図23に示すような画像コンテンツCT1,CT2,CT6が結像される。画像コンテンツCT6は、運転者に対してハンドルの把持を促す画像コンテンツである。画像コンテンツCT6は、非重畳コンテンツであり、前景内の物体に関連付けられることなく、結像領域IA内の既定の位置に表示される。図23に示す画像は、車線維持制御機能の終了通知画像に相当する。
図23に示す例では、運転者にハンドルの把持を促す画像コンテンツの一例としてハンドルの形状を採用するが、その他の種々の形状のアイコンを用いて運転者にハンドルの把持が促されてもよい。また、運転者にハンドルの把持を促すコメントが、画像コンテンツとして表示されてもよい。
一方、ステップS117において計測時間が閾値未満であると判定した場合(NO)、図7のステップS120に処理が分岐する。ステップS120では、受信部101は、車両Aの走行車線の両側の道路線を検出した旨を示す検出情報を受信したか否か判断する。当該検出情報を受信していない場合(NO)、図6のステップS115に処理が戻る。一方、当該検出情報を受信した場合(YES)、ステップS121に処理が分岐する。
ステップS121では、画像生成部102は、仮想領域特定処理を実行し、仮想領域VAを特定する。ステップS122では、検出位置判定部104が、ステップS121で特定された仮想領域VA内に、車両Aの走行車線の道路線の検出位置DPが存在するか否か判断する。検出位置DPが当該仮想領域VA内に存在しない場合(NO)、図6のステップS115に処理が戻る。一方、検出位置DPが当該仮想領域VA内に存在する場合(YES)、ステップS123に処理が分岐する。
ステップS123では、画像生成部102が、画像生成処理を実行して、図25に示すような画像を生成する。当該画像生成処理では、画像生成部102は、図24に示すように、継続して検出されている道路線の仮想オブジェクトVO1を実線で描画する。また、画像生成部102は、再び検出された道路線の仮想オブジェクトVO2を点線及び実線で描画することができる。この場合、画像生成部102は、仮想視点位置VEPを基準として、検出位置DPよりも手前の仮想オブジェクトVO2を点線で描画し、検出位置DPよりも先の仮想オブジェクトVO2を実線で描画することができる。
ステップS124では、表示制御部106は、ステップS123の画像生成処理で生成された画像をHUD装置13に送信する。HUD装置13は、当該画像を受信すると、当該画像をウィンドシールドWSに向かって投影する。その結果、結像領域IAには、図25に示すような画像コンテンツCT1,CT2が結像される。
ステップS125では、画像生成部102は、仮想領域特定処理を実行し、仮想領域VAを特定する。ステップS126では、検出位置判定部104が、ステップS125で特定された仮想領域VA内に、車両Aの走行車線の道路線の検出位置DPが未だ存在するか否か判断する。検出位置DPが当該仮想領域VA内に存在する場合(YES)、ステップS123に処理が戻る。一方、検出位置DPが当該仮想領域VA内に存在しない場合(NO)、図4に示すステップS104に処理が戻る。
次に、図26及び図27を参照して、車両Aの前方の走行車線がカーブしているときの仮想オブジェクトの描画方法について説明する。
運転支援ECU50は、フロントカメラ21が提供した撮影画像を解析して、車両Aの前方の走行車線の曲率半径を算出することができる。運転支援ECU50は、走行車線の曲率半径を示す情報を表示制御装置100に提供する。
表示制御装置100は、走行車線の曲率半径を示す情報を受信すると、画像生成部102が、走行車線の曲率半径の大小に応じて、仮想オブジェクトVO1,VO2の描画位置を変更させて描画する。具体的には、画像生成部102は、走行車線の曲率半径が小さいとき、走行車線の曲率半径が大きいときよりも、走行車線の中心側に仮想オブジェクトVO1,VO2を描画する。
図26は、走行車線がカーブしているときの仮想三次元空間を示している。図26に示す例は、片側の道路線のみを検出している場合を想定している。画像生成部102は、仮想道路線VRL1を基準にして、走行車線の中心側に仮想オブジェクトVO1を描画する。ここで、走行車線の曲率半径が小さいとき、画像生成部102は、仮想オブジェクトVO1の仮想道路線VRL1からのオフセット量を、走行車線の曲率半径が大きいときよりも大きくし、走行車線のより中心側に仮想オブジェクトVO1を描画することができる。また、画像生成部102は、仮想オブジェクトVO2の仮想道路線VRL1からのオフセット量を、走行車線の曲率半径が大きいときよりも小さくし、走行車線のより中心側に仮想オブジェクトVO2を描画することができる。
HUD装置13が、図26に示す仮想三次元空間の画像をウィンドシールドWSに向かって投影すると、結像領域IAには、図27に示すような画像コンテンツCT1,CT2が結像される。走行車線の曲率半径が小さいとき、走行車線の曲率半径が大きいときよりも走行車線の中心側に画像コンテンツCT1,CT2が表示される。図27に示す画像は、車線維持制御機能の終了通知画像に相当する。
(第1の実施形態の効果)
上述した第1の実施形態では、画像生成部102は、車両Aを走行車線内で走行させる車線維持制御機能が終了する場合に、車線維持制御機能の終了を運転者に通知する終了通知画像を生成する。そして、表示制御部106が、終了通知画像をHUD装置13に提供して表示させる。これにより、車線維持制御機能が終了する場合、終了通知画像が運転者の前方に表示される。運転者は、自身の前方に表示された終了通知画像を視認することによって車線維持制御機能の終了を把握でき、運転者の利便性が向上する。
また、画像生成部102は、車線維持制御機能が終了する場合、検出済道路線用の画像コンテンツと、未検出道路線用の画像コンテンツとが含まれている画像を生成する(図13等)。検出済道路線用の画像コンテンツは、走行車線を規定する道路線のうち、継続して検出されている道路線に沿って表示される画像コンテンツである。未検出道路線用の画像コンテンツは、検出されなくなる道路線に沿って表示される画像コンテンツである。ここで、画像生成部102は、検出済道路線用の画像コンテンツと、未検出道路線用の画像コンテンツの表示態様が異なるように、画像を生成する。
そして、表示制御部106が、当該画像をHUD装置13に提供する。HUD装置13は、当該画像を受信すると、当該画像をウィンドシールドWSに向かって投影する。その結果、片側の道路線のみが検出されて車線維持制御機能が終了する場合、検出済道路線用の画像コンテンツと、未検出道路線用の画像コンテンツが、異なる表示態様で表示される。このため、運転者は、表示態様の異なる画像コンテンツを認識することにより、車線維持制御機能が終了することを把握することができ、運転者の利便性が向上する。
さらに、画像生成部102は、車線維持制御機能が実行中であって終了しない場合、検出済道路線用の画像コンテンツの表示態様が一定になるように、検出済道路線用の画像コンテンツを有する画像を生成する。そして、表示制御部106は、検出済道路線用の画像コンテンツを有する画像をHUD装置13に提供して表示させる。
その結果、車線維持制御機能が終了しない場合、すなわち、両側の道路線が検出されている場合、検出済道路線用の画像コンテンツのみが同じ表示態様で表示される。一方、片側の道路線のみが検出されて車線維持制御機能が終了する場合、検出済道路線用の画像コンテンツと、未検出道路線用の画像コンテンツが、異なる表示態様で表示される。このため、運転者は、画像コンテンツの表示態様の変化を認識することにより、車線維持制御機能が終了することを把握することができ、運転者の利便性が向上する。
さらに、画像生成部102は、未検出道路線用の画像コンテンツが点滅表示され、かつ、検出済道路線用の画像コンテンツが点滅せずに継続して表示されるように、画像を生成する。そして、表示制御部106が、当該画像をHUD装置13に提供する。HUD装置13は、当該画像を受信すると、当該画像をウィンドシールドWSに向かって投影する。
その結果、片側の道路線のみが検出されて車線維持制御機能が終了する場合、未検出道路線用の画像コンテンツが点滅表示されるとともに、検出済道路線用の画像コンテンツが点滅せずに継続して表示される。これにより、運転者が、点滅表示されている検出済道路線用の画像コンテンツを認識し、車線維持制御機能の終了を把握し易くなるため、運転者の利便性が向上する。
さらに、画像生成部102は、未検出道路線用の画像コンテンツが検出済道路線用の画像コンテンツの輝度よりも低い輝度で表示されるように、画像を生成する。そして、表示制御部106が、当該画像をHUD装置13に提供する。HUD装置13は、当該画像を受信すると、当該画像をウィンドシールドWSに向かって投影する。
その結果、車線維持制御機能が終了しない場合、すなわち、両側の道路線が検出されている場合、輝度の高い検出済道路線用の画像コンテンツのみが表示される。一方、片側の道路線のみが検出されて車線維持制御機能が終了する場合、輝度の低い未検出道路線用の画像コンテンツと、輝度の高い検出済道路線用の画像コンテンツが表示される。これにより、運転者が、ウィンドシールドWSに表示されている画像コンテンツの表示態様の変化を認識し、車線維持制御機能の終了を把握し易くなるため、運転者の利便性が向上する。
さらに、画像生成部102は、検出済道路線用の画像コンテンツが走行車線の内側及び外側の一方に表示されるように、画像を生成する。そして、表示制御部106が、当該画像をHUD装置13に提供する。HUD装置13は、当該画像を受信すると、当該画像をウィンドシールドWSに向かって投影する。その結果、道路線の内側又は外側に検出済道路線用の画像コンテンツが表示される。
道路線上に検出済道路線用の画像コンテンツを表示した場合、検出済道路線用の画像コンテンツの表示位置がずれると、道路線と同じ位置に表示されていた検出済道路線用の画像コンテンツが、道路線と異なる位置に表示される。この場合、画像コンテンツの表示位置のずれに運転者が気づき易くなる。その結果、運転者は、画像コンテンツに違和感を覚える可能性がある。
しかしながら、本実施形態では、検出済道路線用の画像コンテンツが道路線の近傍に表示される。これにより、検出済道路線用の画像コンテンツの表示位置がずれた場合でも、運転者が画像コンテンツの表示位置のずれに気づき難くなり、運転者の違和感を抑えることが可能になる。
さらに、画像生成部102は、車線維持制御機能が終了する迄の残りの時間を示す画像コンテンツCT4が含まれている画像を生成する。そして、表示制御部106が、当該画像をHUD装置13に提供する。HUD装置13は、当該画像を受信すると、当該画像をウィンドシールドWSに向かって投影する(図19)。その結果、車線維持制御機能が終了する迄の残りの時間が表示される。これにより、運転者は、車線維持制御機能が終了する迄の残りの時間を把握することができ、運転者の利便性が向上する。
さらに、画像生成部102は、走行車線上において車線維持制御機能が終了する位置に、車線維持制御機能の終了位置を示す画像コンテンツCT5が表示されるように、画像を生成する。そして、表示制御部106が、当該画像をHUD装置13に提供する。HUD装置13は、当該画像を受信すると、当該画像をウィンドシールドWSに向かって投影する(図22)。その結果、ウィンドシールドWSでは、車線維持制御機能の終了位置が走行車線上に表示される。これにより、運転者が車線維持制御機能の終了する位置を把握することができ、運転者の利便性が向上する。
さらに、画像生成部102は、運転者に対してハンドルの把持を促す画像コンテンツCT6を含む画像を生成する。そして、表示制御部106が、当該画像をHUD装置13に提供する。HUD装置13は、当該画像を受信すると、当該画像をウィンドシールドWSに向かって投影する(図23)。その結果、運転者にハンドルの把持を促す画像コンテンツCT6が表示される。これにより、運転者が、車線維持制御機能の終了を把握し易くなり、運転者の利便性が向上する。
さらに、画像生成部102は、走行車線上において検出されなくなる道路線の未検出位置UDPに、未検出位置UDPを示す画像コンテンツCT3が表示されるように、画像を生成する。そして、表示制御部106が、当該画像をHUD装置13に提供する。HUD装置13は、当該画像を受信すると、当該画像をウィンドシールドWSに向かって投影する(図16)。その結果、未検出位置UDPが、検出されなくなる道路線と関連付けられた状態で表示される。これにより、運転者が、車線維持制御機能の終了を示唆する道路線の未検出位置UDPの存在を認識することができるため、車線維持制御機能の終了を把握し易くなり、運転者の利便性が向上する。
さらに、画像生成部102は、検出済道路線用の画像コンテンツ及び未検出道路線用の画像コンテンツが、検出されている道路線から各画像コンテンツに対応するオフセット量に基づく位置に表示されるように、画像を生成する。そして、表示制御部106が、当該画像をHUD装置13に提供する。HUD装置13は、当該画像を受信すると、当該画像をウィンドシールドWSに向かって投影する。そのため、走行車線の道路線の片側のみが検出されている場合でも、検出済道路線用の画像コンテンツ及び未検出道路線用の画像コンテンツを表示することができる。
さらに、画像生成部102は、走行車線がカーブしている場合において、走行車線の曲率半径が小さいときは、走行車線の曲率半径が大きいときよりも、検出済道路線用の画像コンテンツ及び未検出道路線用の画像コンテンツを、走行車線の中心側に描画する。そして、表示制御部106が、当該画像をHUD装置13に提供する。HUD装置13は、当該画像を受信すると、当該画像をウィンドシールドWSに向かって投影する(図27)。その結果、走行車線の曲率半径が小さい程、検出済道路線用の画像コンテンツが、走行車線の中心側に表示される。
走行車線がカーブしている場合、走行車線の曲率半径が小さい程、遠方位置における検出済道路線用の画像コンテンツの表示位置がずれ易い。本実施形態では、走行車線の曲率半径が小さい程、検出済道路線用の画像コンテンツが、走行車線の中心側に表示される。そのため、検出済道路線用の画像コンテンツの表示位置が外側にずれた場合でも、当該画像コンテンツが道路線上に表示される可能性を低減することができる。以上によれば、運転者が画像コンテンツの表示位置のずれに気づき難くなり、運転者の違和感を抑えることができる。
<第2の実施形態>
以下、図1〜図7及び図28〜図43を参照して、本開示の第2の実施形態について、第1の実施形態との相違点を中心に説明する。
第2の実施形態の車線維持制御部52は、車線維持制御機能が実行状態である場合に、車両Aが走行する走行車線の左右両側の道路線RL1,RL2の一方が未検出となっても、走行車線内で車両Aを走行させる車線維持制御機能の作動を継続させる。車線維持制御部52は、第1の実施形態よりも長い所定の期間、片側の道路線RL2(又はRL1)に沿った車線維持制御を継続させた後、車線維持制御機能を実行状態から待機状態又はOFF状態に遷移させる。
第2の実施形態では、図4に示すステップS102にて、画像生成部102が、画像生成処理を実行して、図28に示すような画像を生成する。ステップS103では、表示制御部106が、ステップS102の画像生成処理で生成された画像をHUD装置13に送信する。HUD装置13は、当該画像を受信すると、当該画像をウィンドシールドWSに向かって投影する。その結果、結像領域IAには、図28に示すような画像コンテンツCT21が結像される。
画像コンテンツCT21は、車線維持制御機能の実行状態を示すLTAコンテンツであり、走行車線を規定する左右両側の道路線RL1,RL2が検出されるときに表示される検出済道路線用の画像コンテンツである。画像コンテンツCT21は、走行車線内の中央、言い替えれば、左右両側の道路線RL1,RL2から概ね等距離となる路面位置に重畳される重畳コンテンツである。画像コンテンツCT21は、走行車線の延伸方向に沿って伸びる点線状(破線状)に描画される。こうした描画形状により、道路に対する重畳コンテンツのずれが運転者に認識され難くされている。画像コンテンツCT21は、点滅表示により、所定の周期で表示状態と非表示状態とを繰り返す。一例として、画像コンテンツCT21は、表示状態を5秒間継続した後、非表示状態を5秒間継続して、再び表示状態となる。非表示状態の期間は、表示状態の期間より短くてもよく又は長くてもよい。
ステップS108では、未検出位置判定部103が、ステップS107で特定された仮想領域VA内に、図30に示すような車両Aの走行車線の道路線の未検出位置UDPが存在するか否か判断する。未検出位置UDPが当該仮想領域VA内に存在しない場合(NO)、ステップS109に処理が分岐する。
ステップS109では、画像生成部102が、画像生成処理を実行して、図29に示すような画像を生成する。ステップS110では、表示制御部106が、ステップS109の画像生成処理で生成された画像をHUD装置13に送信する。HUD装置13は、当該画像を受信すると、当該画像をウィンドシールドWSに向かって投影する。その結果、結像領域IAには、図29に示すような画像コンテンツCT21,CT22が結像される。図29に示す画像は、運転者に対して車線維持制御機能の作動の継続を通知する継続通知画像に相当する。
以上により、未検出位置UDPが画角AoV外である場合、画像生成部102は、路面中央に重畳される画像コンテンツCT21の点滅を中断し、画像コンテンツCT21が点滅表示せずに継続して表示されるように、継続通知画像を生成する。その結果、画像コンテンツCT21は、表示状態に固定される。
また、画像生成部102は、検出されなくなる道路線RL2を強調する画像コンテンツCT22を、画像コンテンツCT21とともに含む継続通知画像を生成する。画像コンテンツCT22は、画像コンテンツCT21と表示態様が異なるように描画される。具体的に、点線状に生成される画像コンテンツCT21に対し、画像コンテンツCT22は、実線状に生成される。画像コンテンツCT22は、進行方向にて途切れが検知された一方の道路線RL2の内側に重畳され、当該道路線RL2に沿って細帯状に延伸する。画像生成部102は、画像コンテンツCT21と同様に、画像コンテンツCT22を点滅表示させずに、画像コンテンツCT22の表示状態を継続させる。
一方、ステップS108において、仮想領域VA内に未検出位置UDPが存在すると判断した場合(YES)のステップS111では、画像生成部102が、画像生成処理を実行して、図31に示すような画像を生成する。当該画像生成処理にて、画像生成部102は、図30に示すように、自車車線の路面中央に仮想オブジェクトVO21を点線で描画する。仮想オブジェクトVO21において未検出位置UDPよりも手前側(自車側)の部分SBは、左右両側の仮想道路線VRL1,VRL2(道路線RL1,RL2)を基準として、各仮想道路線VRL1,VRL2から略等距離に描画される。一方、仮想オブジェクトVO21において未検出位置UDPよりも奥側(前方Ze)の部分SAは、検出の継続する一方の仮想道路線VRL1(道路線RL1)を基準として、仮想道路線VRL1から中央側にオフセットさせた位置に描画される。未検出位置UDPよりも奥側での仮想オブジェクトVO21のオフセット量は、未検出位置UDPの手前側での仮想道路線VRL1からの距離と実質同一に設定される。
さらに、画像生成部102は、検出されなくなる道路線RL2に対応する仮想道路線VRL2の内側近傍に、仮想オブジェクトVO22を、実線又は点線で描画する。仮想オブジェクトVO22において未検出位置UDPよりも手前側の部分SDは、途切れる側の仮想道路線VRL2(道路線RL2)を基準として、仮想道路線VRL2から中央側に僅かにオフセットさせた位置に、実線状に描画される。一方、仮想オブジェクトVO21において未検出位置UDPよりも奥側の部分SCは、検出の継続する仮想道路線VRL1(道路線RL1)を基準として、仮想オブジェクトVO21よりも大きくオフセットさせた位置に、点線状に描画される。このときの仮想オブジェクトVO21のオフセット量は、第1の実施形態と同様に、仮想三次元空間内の標準距離に基づいて決定され、且つ、未検出位置UDPの前後で横方向のずれが生じないように、調整される。
以上の仮想オブジェクトVO21,VO22により、未検出位置UDPが画角AoV外から画角AoV内に移動しても、図31に示すように、画像コンテンツCT21及び画像コンテンツCT22を含む継続通知画像の表示が継続される。
画像コンテンツCT21は、左右両側の道路線RL1,RL2が検出される区間を示す継続表示部CT21bと、片方の道路線のみが検出される区間を示す点滅表示部CT21aとを含んでいる。継続表示部CT21bは、検出済道路線用の画像コンテンツに相当し、仮想オブジェクトVO21の部分SB(図30参照)に基づく形状で、点滅せずに継続して表示される。一方、点滅表示部CT21aは、未検出道路線用の画像コンテンツに相当し、仮想オブジェクトVO21の部分SA(図30参照)に基づく形状で、所定の周期で点滅表示される。点滅表示部CT21aの点滅周期は、車線維持制御が通常実施される場合の画像コンテンツCT21(図28参照)の点滅周期よりも、短く設定される。
画像コンテンツCT22は、左右両側の道路線RL1,RL2が検出される区間を示す実線表示部CT22dと、片方の道路線RL1のみが検出される区間を示す点線表示部CT22cとを含んでいる。実線表示部CT22dは、仮想オブジェクトVO22の部分SD(図30参照)に基づく形状で、点滅せずに継続して表示される。点線表示部CT22cは、仮想オブジェクトVO22の部分SC(図30参照)に基づく形状で、点滅せずに継続して表示される。
また、画像生成部102は、ステップS111の画像生成処理において、上述のものとは異なる仮想オブジェクトを描画し、図32に示すような画像コンテンツCT21,CT22を含む継続通知画像を生成してもよい。画像コンテンツCT21は、実線表示部CT31b及び点線表示部CT31aを含んでいる。実線表示部CT31bは、検出済道路線用の画像コンテンツに相当し、実線状に表示される。一方、点線表示部CT31aは、未検出道路線用の画像コンテンツに相当し、点線状に表示される。実線表示部CT31b及び点線表示部CT31aは、点滅せずに継続して表示される。画像コンテンツCT22は、左右両側の道路線RL1,RL2が検出される区間にて、途切れる側の道路線RL2の内側に実線状に表示される。画像コンテンツCT22は、片方の道路線RL1のみが検出される区間には、重畳表示されない。
ステップS114にて、未検出位置UDPが仮想領域VA内に存在しないと判断した場合(NO)のステップS115では、画像生成部102が、画像生成処理を実行して、図33に示すような画像を生成する。ステップS116では、表示制御部106が、ステップS115の画像生成処理で生成された画像をHUD装置13に送信する。その結果、HUD装置13により、結像領域IAには、図33に示すような画像コンテンツCT21,CT22が結像される。
画像コンテンツCT21は、点滅表示部CT21a(図31参照)と同様に点線状に表示され、所定の周期で点滅する。一方、画像コンテンツCT22は、点線表示部CT22c(図31参照)と同様に、点線状に描画される。画像コンテンツCT22は、点滅表示されてもよく、又は点滅せずに表示を継続されてもよい。画像コンテンツCT22を点滅表示させる場合、画像生成部102は、画像コンテンツCT22の点滅を、画像コンテンツCT21の点滅と連動させる。すなわち、画像生成部102は、各画像コンテンツCT21,CT22の点滅を同期させて、これらの表示及び非表示の切り替えを同じタイミングにする。このときの点滅周期も、車線維持制御が通常実施される場合の点滅周期よりも、短く設定される。なお、図32に示す継続通知画像が表示される場合、画像コンテンツCT21は、点線表示部CT31aと同様に、点滅せずに表示を継続されてもよい。また、画像コンテンツCT22は、表示されなくてもよい。
ステップS117にて、計測時間が閾値以上であると判断した場合(YES)のステップS118では、画像生成部102が、画像生成処理を実行して、図34に示すような画像を生成する。ステップS119では、表示制御部106が、ステップS118の画像生成処理で生成された画像をHUD装置13に送信する。その結果、HUD装置13により、結像領域IAには、図34に示すような画像コンテンツCT21,CT22,CT25,CT26が結像される。図34に示す画像は、車線維持制御の終了通知画像となる。
画像コンテンツCT21及び画像コンテンツCT22は、未検出位置UDPから特定距離の位置に設定される終了位置ENDよりも手前側の路面中央に、点線状に表示される。画像コンテンツCT21は、点滅されずに表示を継続される。一方、画像コンテンツCT22は、点滅表示及び非点滅表示のいずれであってもよい。さらに、画像コンテンツCT22は、表示されなくてもよい。
画像コンテンツCT25は、重畳コンテンツとして、実際の路面上の終了位置ENDに関連付けて表示される。画像コンテンツCT25は、走行車線の幅方向に延伸する形状で、終了位置ENDに重畳される。画像コンテンツCT26は、非重畳コンテンツであり、結像領域IA(画角AoV)の中央上寄りに表示される。画像コンテンツCT26は、画像コンテンツCT25の奥側に視認される。画像コンテンツCT26は、ハンドル(ステアリングホイール)の形状を模したアイコン状であり、運転者にハンドルの把持を促す。
ステップS122にて、道路線の検出位置DPが仮想領域VA内に存在すると判断した場合(YES)のステップS123では、画像生成部102が、画像生成処理を実行して、図35に示すような画像を生成する。ステップS124では、表示制御部106が、ステップS123の画像生成処理で生成された画像をHUD装置13に送信する。その結果、HUD装置13により、結像領域IAには、図35に示すような画像コンテンツCT21,CT22,CT23が結像される。図35に示す画像は、車線維持制御の継続通知画像に相当する。
画像コンテンツCT21は、道路線RL2の途切れを報知する継続通知画像(図31参照)と同様に、点線状に描画された点滅表示部CT21a及び継続表示部CT21bを含んでいる。点滅表示部CT21aは、片方の道路線のみが検出される区間を示し、未検出道路線用の画像コンテンツに相当する。点滅表示部CT21aは、継続表示部CT21bの手前側に重畳され、点滅表示される。継続表示部CT21bは、左右両側の道路線RL1,RL2が検出される区間を示し、検出済道路線用の画像コンテンツに相当する。継続表示部CT21bは、点滅されずに表示を継続される。検出位置DPが画角AoVの外に移動した後、継続表示部CT21b(画像コンテンツCT21)は、所定の周期で表示と非表示とを繰り返す。
画像コンテンツCT22は、道路線RL2の途切れを報知する継続通知画像(図31参照)と同様に、点線表示部CT22c及び実線表示部CT22dを含んでいる。点線表示部CT22c及び実線表示部CT22dは、点滅されずに表示を継続される。点線表示部CT22cは、片方の道路線RL1のみが検出される区間を示す。実線表示部CT22dは、左右両側の道路線RL1,RL2が検出される区間を示す。画像コンテンツCT22は、検出が再開された道路線RL2を強調する画像コンテンツである。
画像コンテンツCT23は、実線表示部CT22dと同様に、実線状に生成される。画像コンテンツCT23は、検出が継続している道路線RL1の内側に重畳され、当該道路線RL1に沿って帯状に延伸する。画像コンテンツCT23は、点滅されずに継続を表示される。画像コンテンツCT23は、実線表示部CT22dと実質同一の態様で表示される。画像コンテンツCT23は、実線表示部CT22d(画像コンテンツCT22)と共同で、片側の道路線のみを検出する状態から、左右両側の道路線RL1,RL2を検出する状態に遷移したことを運転者に通知する。画像コンテンツCT23及び実線表示部CT22dは、画像コンテンツCT21(継続表示部CT21b)の点滅開始後、所定の時間が経過すると、表示を終了される。
また、画像生成部102は、上述のステップS111にて、図32に示す継続通知画像を表示させていた場合、ステップS123の画像生成処理において、図36に示すような画像コンテンツCT21,CT22,CT23を含む画像を生成してもよい。
画像コンテンツCT21は、道路線RL2の途切れを報知する継続通知画像(図32参照)と同様に、点線状に表示される点線表示部CT31aと、実線状に表示される実線表示部CT31bを含んでいる。手前側に表示される点線表示部CT31aは、未検出道路線用の画像コンテンツに相当する。奥側に表示される実線表示部CT31bは、検出済道路線用の画像コンテンツに相当する。
画像コンテンツCT22は、左右両側の道路線RL1,RL2が検出される区間にて、検出の再開される道路線RL2の内側、且つ、検出位置DPの奥側に、実線状に重畳表示される。画像コンテンツCT22は、検出が再開された道路線を強調する画像コンテンツである。画像コンテンツCT23は、検出が継続している道路線RL1の内側に、実線状に重畳表示される。
次に、図37〜図39を参照し、片側の道路線が一時的に途切れるシーンでの継続通知画像について説明する。こうしたシーンにおいて、車線維持制御部52は、両側の道路線RL1,RL2を検出した状態から、片側の道路線RL1のみを検出した状態となり、再び両側の道路線RL1,RL2を検出した状態となる。このように、片側の道路線RL2が一時的に未検出となっても、車線維持制御部52は、車線維持制御を継続可能である。このとき、画像生成部102は、画像コンテンツの表示と非表示とが繰り返されないように、画像コンテンツの変化を抑制しつつ、車線維持制御の作動継続を通知する。
車線維持制御部52は、フロントカメラ21の撮像画像(図37 検出範囲CDA参照)から、未検出位置UDPに加えて検出位置DPを検出している場合、片側の道路線のみを検出した状態が一時的である旨の検出情報を表示制御装置100に提供する。この場合、画像生成部102は、図38に示すように、途切れる側の道路線RL2を強調する画像コンテンツCT22の表示を実施しない。画像生成部102は、画像コンテンツCT22を表示させていた場合、当該画像コンテンツCT22を非表示とする。
加えて、画像生成部102は、両側の道路線RL1,RL2に基づいて車線維持制御が実施される場合と同様の画像コンテンツCT21を表示させる。画像コンテンツCT21は、所定の周期で表示と非表示とを繰り返す。また画像生成部102は、一旦表示させた画像コンテンツCT21を消さないで、検出位置DPが画角AoVの外に移動するまで、画像コンテンツCT21の表示を継続させてもよい。
さらに、表示制御装置100は、図39に示すように、左右両側の道路線RL1,RL2が検出されているか否かを示すLTAステータスPiLを、メータディスプレイDMに表示させる。表示制御装置100は、LTAステータスPiLにより、道路線RL1,RL2の検出状態を、リアルタイムに運転者に通知する。そのため、HUD装置13による虚像表示と、メータディスプレイDMによる画像表示とは、異なった内容となる。
具体的に、左側の道路線RL2が一時的に途切れるシーン(図37参照)では、両側の道路線RL1,RL2が検出されているうちは、図39に示すように、一対の線状の検出画像Pdを含んだLTAステータスPiLが、メータディスプレイDMに表示される。そして、例えば左側の道路線RL2が検出されなくなると、一対の検出画像Pdのうちの左側の一方が、検出画像Pdとは異なる態様(例えば、白抜き画像等)の未検出画像Pnに変更される。さらに、左側の道路線RL2の検出が再開されると、左側の未検出画像Pnが、検出画像Pdに変更される。以上により、LTAステータスPiLは、車線維持制御部52より提供される検出情報に基づき、左右両側の道路線RL1,RL2の検出可否を示す正確な情報を、運転者にリアルタイムに報知できる。
次に、図40〜図43を参照し、オフセット制御の実施中に片側の道路線RL1が途切れるシーンでの画像について説明する。
車線維持制御部52は、車線維持制御の一つの機能として、オフセット制御を実施可能である。オフセット制御は、走行中の車線内における車両Aの走行位置を、基準位置(例えば車線中央部)から、特定の制御対象から離れるような左右いずれかの方向にオフセットさせる制御である。一例として、車線維持制御部52は、図40に示すように、隣接車線を走行する大型車両ALを追い抜くとき、特定の制御対象である大型車両ALから離れる方向に、車線内での走行位置をオフセットさせる。車線維持制御部52は、オフセット制御に関連する制御情報を表示制御装置100に提供する。
こうしたオフセット制御の制御情報に基づき、画像生成部102は、図41に示すように、大型車両ALから離れる方向に湾曲する画像コンテンツCT21を含んだ画像を生成する。画像コンテンツCT21は、自車の予定走行軌跡を示し、オフセット制御に伴う自車の横移動を運転者に予告する。
車線維持制御部52は、オフセット制御中に片側の道路線RL1が途切れた場合でも、オフセット制御を伴った車線内走行を継続できる。この場合、画像生成部102は、図41及び図42に示すように、車線維持制御の作動の継続を通知する継続通知画像を生成する。
具体的に、画像生成部102は、道路線RL1の未検出位置UDPが画角AoV外である場合、オフセット制御を実施してない場合(図29参照)と同様に、画像コンテンツCT22を画像コンテンツCT21とともに含んだ継続通知画像を生成する。画像コンテンツCT22は、図40及び図41に示すように、途切れる道路線RL1の内側の路面に重畳表示されて、道路線RL1を強調する強調コンテンツである。
画像生成部102は、未検出位置UDPが画角AoV内に移動した場合、オフセット制御を実施してない場合(図31参照)と同様に、画像コンテンツCT21,CT22を含む継続通知画像を生成する。図42に示すように、画像コンテンツCT21は、継続表示部CT21bと、継続表示部CT21bの奥側に連続する点滅表示部CT21aとを有している。これら継続表示部CT21b及び点滅表示部CT21aは、互いに異なる表示態様である。また、画像コンテンツCT22は、実線表示部CT22dと、実線表示部CT22dの奥側に連続する点線表示部CT22cとを有している。これら実線表示部CT22d及び点線表示部CT22cは、互いに異なる表示態様である。
さらに、継続表示部CT21b及び実線表示部CT22dは、未検出位置UDPの手前側の路面に重畳表示され、左右両側の道路線RL1,RL2が検出される区間を示す。一方、点滅表示部CT21a及び点線表示部CT22cは、未検出位置UDPの奥側の路面に重畳表示され、片方の道路線RL2のみが検出される区間を示す。なお、画像生成部102は、図32に示すように、実線表示部CT31b及び点線表示部CT31aを有する画像コンテンツCT21と、実線状を呈する画像コンテンツCT22とを含んだ継続通知画像を生成してもよい。
また車線維持制御部52は、オフセット制御中に片側の道路線RL1が途切れた場合、車線維持制御の作動状態をOFF状態又は待機状態に遷移させてもよい。この場合、画像生成部102は、図43に示すように、画像コンテンツCT21,CT25,CT26を含んだ終了通知画像を生成する。各画像コンテンツCT21,CT25,CT26は、オフセット制御を実施してない場合(図34参照)と実質同一の画像コンテンツである。
具体的に、画像コンテンツCT21は、路面上の終了位置END(未検出位置UDP)よりも手前側の路面に重畳表示される。画像コンテンツCT25は、走行車線の幅方向に延伸する形状で、終了位置ENDに重畳表示される。画像コンテンツCT26は、運転者から見て、画像コンテンツCT25の上側に表示される。その結果、画像コンテンツCT26は、未検出位置UDPよりも前方の路面に重畳されるように、運転者に視認される。画像コンテンツCT26は、運転者にハンドル操作を促す非重畳コンテンツである。
(第2の実施形態の効果)
上述した第2の実施形態では、左右両側の道路線RL1,RL2の一方が未検出となっても走行車線内で車両Aを走行させる車線維持制御機能の作動が継続する場合、画像生成部102は、車線維持制御機能の継続を運転者に通知する継続通知画像を生成する。そして、表示制御部106が、継続通知画像をHUD装置13に提供して表示させる。これにより、道路線RL1,RL2の一方が消えても、運転者は、継続通知画像を視認することによって、車線維持制御機能が継続されることを把握できる。このように、車線維持制御機能の作動状態が運転者に事前に通知されることで、運転者の利便性を向上させることができる。
また、画像生成部102によって生成される継続通知画像には、検出済道路線用の画像コンテンツと、未検出道路線用の画像コンテンツとの少なくとも一方が含まれている。検出済道路線用の画像コンテンツは、例えば図28の画像コンテンツCT21、並びに図31及び図35の継続表示部CT21b等であり、左右両側の道路線RL1,RL2が検出される区間を示す。また、未検出道路線用の画像コンテンツは、例えば図31及び図35の点滅表示部CT21a、並びに図33の画像コンテンツCT21等であり、道路線RL1,RL2の片方のみが検出される区間を示す。
以上によれば、両側の道路線RL1,RL2を検出した状態で車線維持制御が行われているのか、又は片側のみを検出した状態で車線維持制御が行われているのかを、継続通知画像は、運転者に報知できる。その結果、運転者の利便性が向上する。
さらに、画像生成部102は、検出されなくなる道路線を強調する画像コンテンツCT22を、検出済道路線用の画像コンテンツ(例えば、継続表示部CT21b等,図31参照)とともに含む継続通知画像を生成する。以上によれば、継続通知画像は、片側の道路線RL1に基づく車線維持制御への移行前に、道路線RL2の途切れを運転者に分かり易く提示できる。
加えて、画像生成部102は、検出が再開された道路線を強調する画像コンテンツCT22を、検出済道路線用の画像コンテンツ(例えば、点滅表示部CT21a等,図35参照)とともに含む継続通知画像を生成する。以上によれば、継続通知画像は、両側の道路線RL1,RL2に基づく車線維持制御への移行前に、道路線RL2の検出再開を運転者に分かり易く提示できる。
また、画像生成部102は、道路線の途切れが一時的である場合、画像コンテンツCT22の表示を中止し、継続通知画像の表示変化を抑制する。故に、表示変化の繰り返しにより、継続通知画像が見難くなる事態が回避される。さらに、メータディスプレイDMに表示されたLTAステータスPiLは、道路線RL1,RL2の検出及び非検出(未検出)を示す正確な情報を、リアルタイムに表示する。その結果、運転者の利便性は、いっそう向上する。
さらに、画像生成部102は、車線維持制御部52によるオフセット制御の実施中に道路線の未検出が生じても、継続通知画像又は終了通知画像の生成により、車線維持制御部52の制御予定を運転者に通知できる。その結果、運転者の利便性を向上させる効果が、より多くのシーンで発揮されるようになる。
具体的に、画像生成部102は、オフセット制御が車線維持制御機能によって実施されているとき、道路線の一方が未検出となる場合にも、未検出道路線用の画像コンテンツを、検出済道路線用の画像コンテンツと異なる表示態様で生成する。故に、運転者は、継続通知画像の視認により、道路線の検出状態の変化を把握できる。
また、画像生成部102は、オフセット制御が車線維持制御機能によって実施されているとき、道路線の一方が未検出となる場合にも、運転者に対してハンドルの把持を促す画像コンテンツCT26を含む終了通知画像を生成する。これにより、運転者は、車線維持制御機能の終了を把握し易くなり、運転者の利便性が向上する。
<その他の実施形態>
本開示は、上述した実施形態に限定されることなく、様々に変更して実施することができる。例えば、表示制御装置100は、車線維持制御機能が終了する迄の残りの距離を示す画像コンテンツを含む画像を生成し、当該画像をHUD装置13に投影させてもよい。この場合、表示制御装置100は、仮想三次元空間における車線維持機能の終了位置ENDと仮想視点位置VEPとの距離を算出し、実際の距離に換算することにより、車線維持制御機能が終了する迄の残りの距離を導出することができる。このようにして導出された当該距離が表示される。これにより、運転者が、車線維持制御機能の終了する迄の残りの距離を把握することができ、運転者の利便性が向上する。
また、他の実施形態では、表示制御装置100は、車線維持制御機能が終了する迄の残りの時間及び距離を示す画像コンテンツを含む画像を生成し、当該画像をHUD装置13に投影させてもよい。その結果、車線維持制御機能が終了する迄の残りの時間及び距離が表示される。これにより、運転者が車線維持制御機能の終了する迄の残りの時間及び距離を把握することができ、運転者の利便性が向上する。
さらに、他の実施形態では、検出されていない道路線の仮想オブジェクトを描画する場合、画像生成部102は、検出されていない道路線の高精度地図情報を用いて、当該道路線の仮想オブジェクトを描画してもよい。この場合、画像生成部102は、ロケータECU34に対し、当該道路線の高精度地図情報を要求し、地図DB33に登録されている当該道路線の高精度地図情報を取得することができる。高精度地図情報には、検出されていない道路線の位置情報が含まれているため、画像生成部102は、当該道路線の位置情報に基づいて、当該道路線の仮想オブジェクトを描画することができる。
さらに、他の実施形態では、表示制御装置100は、道路線を強調する画像コンテンツCT1,CT2を含む画像を生成することなく、車線維持制御機能が終了する迄の残りの時間及び距離の少なくとも一方を示す画像コンテンツのみを含む画像を生成できる。
さらに、他の実施形態では、表示制御装置100は、道路線を強調する画像コンテンツCT1,CT2を含む画像を生成することなく、車線維持制御機能の終了位置を示す画像コンテンツのみを含む画像を生成し、当該画像をHUD装置13に投影させる。
さらに、他の実施形態では、表示制御装置100は、道路線を強調する画像コンテンツCT1,CT2を含む画像を生成することなく、運転者に対してハンドルの把持を促す画像コンテンツのみを含む画像を生成し、当該画像をHUD装置13に投影させる。
また、他の実施形態では、表示制御装置100は、未検出の道路線又は再検出される道路線を強調する画像コンテンツを含む画像を生成することなく、車線中央のLTAコンテンツのみを含む継続通知画像を生成し、当該画像をHUD装置13に投影させてよい。
さらに、他の実施形態では、表示制御装置100は、未検出道路線用の画像コンテンツが、検出済道路線用の画像コンテンツの輝度よりも低い輝度で表示されるように、継続通知画像を生成可能である。また、表示制御装置100は、画像コンテンツCT22,CT23等の検出済道路線用の画像コンテンツが走行車線の外側に表示されるように、継続通知画像を生成可能である。
さらに、他の実施形態では、表示制御装置100は、継続通知画像に含まれる画像コンテンツの描画位置を、走行車線のカーブの曲率半径に応じて調整可能である。具体的に、表示制御装置100は、走行車線がカーブしている場合、走行車線の曲率半径が小さいときは、走行車線の曲率半径が大きいときよりも、検出済道路線用の画像コンテンツ及び未検出道路線用の画像コンテンツを、走行車線の中心側に描画可能である。
本開示に記載された制御部及び方法は、コンピュータプログラムに実装される1以上の特定の機能を実行するようにプログラムされたプロセッサを構成することによって製造された専用コンピュータにより、実現することができる。また、本開示に記載された装置及び方法は、専用のハードウェア論理回路によって実現してもよい。ハードウェア論理回路は、例えばFPGA(Field Programmable Gate Array)及びASIC(Application Specific Integrated Circuits)等を有する回路である。さらに、本開示に記載された装置及び方法は、コンピュータプログラムを実行するプロセッサを構成することによって製造された1以上の専用コンピュータと、1以上のハードウェア論理回路との組み合わせよって実現してもよい。コンピュータプログラムは、コンピュータによって実行される命令として、コンピュータ読み取り可能な非遷移有形記録媒体に保存することができる。