JP2013203374A - 車両用表示装置、その制御方法及びプログラム - Google Patents

Abstract

【課題】ウインドシールド上に相当程度大きな面積を占める情報を表示する場合であっても、車外の物体及びヘッドアップディスプレイによる表示に対する視認性低下を防止する。
【解決手段】車両用表示装置は、車外の背景画像を取得する背景画像取得部と、背景画像を解析する背景画像解析部と、背景画像の解析結果に基づいて、ウインドシールド上の領域である情報表示領域を決定する情報表示領域決定部と、情報表示領域に表示する画像信号を生成する画像信号生成部と、画像信号をウインドシールドに表示する画像表示部と、を備える。
【選択図】図１

Description

本発明は、車両用表示装置、その制御方法及びプログラムに関する。特に、運転を支援する車両用表示装置、その制御方法及びプログラムに関する。

近年、走行時の景色と共に運転に必要な情報を認識することができるヘッドアップディスプレイの開発が盛んに行われている。ヘッドアップディスプレイは、画像をウインドシールドに投影することで実現する。運転者は、投影された画像を、フロントガラス前方に位置する虚像として認識する。ヘッドアップディスプレイを用いることで、運転者は前方から視線を逸らすことなく、運転に必要な情報を認識することができる。

しかし、車両の周辺状況によっては、車外の物体と、ウインドシールド上の表示と、が重なってしまう可能性がある。その場合、ヘッドアップディスプレイによる表示に対する視認性が低下する恐れがある。あるいは、ウインドシールド上の表示が車外の物体に対する視認性を低下させ、運転の妨げとなる可能性もある。なお、運転者が認識すべき物体には、道路を横断する歩行者や、信号機、先行車両、道路標示、白線等、が考えられる。

特許文献１において、車外景色の色調を取得し、背景の色調と同化を生じない色調でウインドガラス上に、情報を表示する装置が開示されている。

また、特許文献２において、運転者の前方の運転視界領域より上方に、ウインドシールドの表示領域を設定する装置が開示されている。

さらに、特許文献３において、車外の物体が、ウインドシールドに投影される映像と重なり合う位置にある場合には、表示映像の透明度を上げる装置が開示されている。

特許第３４７３３２１号公報 特許第４０３３１７０号公報 特許第４６９２５９５号公報

なお、上記先行技術文献の各開示を、本書に引用をもって繰り込むものとする。以下の分析は、本発明者らによってなされたものである。

上述のとおり、ヘッドアップディスプレイを用いることで、運転者に対し運転支援のための情報を提供できる。しかし、車両の周辺状況によっては、車外の物体や、ヘッドアップディスプレイの表示に対する視認性が低下する恐れがある。特に、ヘッドアップディスプレイにより地図情報のような、相当程度大きな面積を占める情報を表示する場合、このような懸念が増大する。

特許文献１が開示する技術により、車外の物体（車外景色）とヘッドアップディスプレイの表示色の同化を防止できる。しかし、ヘッドアップディスプレイの表示色との同化を防止するだけでは、複雑な色調や模様を有する物体と、ウインドシールド上の表示位置が重なった場合には、視認性の低下は避けられない。例えば、複雑な色調や模様を有する物体には、道路脇の街路樹、信号機、他の車両、道路周辺の建物等が考えられる。このような物体の色調や模様は単調ではなく、このような物体（景色）と、半透明なヘッドアップディスプレイの表示と、が重なった場合、景色と表示が混在してしまう。

また、特許文献２に開示された技術では、ヘッドアップディスプレイの表示領域と、車外の物体とが重なった場合に対する考慮がなく、車外の物体やヘッドアップディスプレイの表示に対する視認性が低下する恐れがある。

さらに、特許文献３に開示された技術では、表示映像の透明度を上げることで、ヘッドアップディスプレイによる表示そのものに対する視認性が低下する恐れがある。

そのため、ウインドシールド上に相当程度大きな面積を占める情報を表示する場合であっても、車外の物体及びヘッドアップディスプレイによる表示に対する視認性低下を防止する車両用表示装置、その制御方法及びプログラムが、望まれる。

本発明の第１の視点によれば、車外の背景画像を取得する背景画像取得部と、前記背景画像を解析する背景画像解析部と、前記背景画像の解析結果に基づいて、ウインドシールド上の領域である情報表示領域を決定する情報表示領域決定部と、前記情報表示領域に表示する画像信号を生成する画像信号生成部と、前記画像信号を前記ウインドシールドに表示する画像表示部と、を備える車両用表示装置が提供される。

本発明の第２の視点によれば、ウインドシールドに画像を表示する画像表示部を備える車両用表示装置の制御方法であって、車外の背景画像を取得する背景画像取得工程と、前記背景画像を解析する背景画像解析工程と、前記背景画像の解析結果に基づいて、前記ウインドシールド上の領域である情報表示領域を決定する情報表示領域決定工程と、前記情報表示領域に表示する画像信号を生成する画像信号生成工程と、を含む車両用表示装置の制御方法が提供される。

本発明の第３の視点によれば、ウインドシールドに画像を表示する画像表示部を備える車両用表示装置を制御するコンピュータに実行させるプログラムであって、車外の背景画像を取得する背景画像取得処理と、前記背景画像を解析する背景画像解析処理と、前記背景画像の解析結果に基づいて、前記ウインドシールド上の領域である情報表示領域を決定する情報表示領域決定処理と、前記情報表示領域に表示する画像信号を生成する画像信号生成処理と、を実行するプログラムが提供される。なお、このプログラムは、コンピュータが読み取り可能な記憶媒体に記録することができる。記憶媒体は、半導体メモリ、ハードディスク、磁気記録媒体、光記録媒体等の非トランジェント（ｎｏｎ−ｔｒａｎｓｉｅｎｔ）なものとすることができる。本発明は、コンピュータプログラム製品として具現することも可能である。

本発明の各視点によれば、ウインドシールド上に相当程度大きな面積を占める情報を表示する場合であっても、車外の物体及びヘッドアップディスプレイによる表示に対する視認性低下を防止する車両用表示装置、その制御方法及びプログラムが、提供される。

一実施形態を説明するための図である。 第１の実施形態に係る車両用表示装置１を含むシステム構成の一例を示す図である。 ヘッドアップディスプレイの表示の一例を示す図である。 ヘッドアップディスプレイの表示の一例を示す図である。 第１の実施形態に係る車両用表示装置１の内部構成の一例を示す図である。 ヘッドアップディスプレイの表示の一例を示す図である。 車両用表示装置１の動作の一例を示すフローチャートである。 提示情報の一例を示す図である。 第２の実施形態に係る車両用表示装置１ａの内部構成の一例を示す図である。

初めに、図１を用いて一実施形態の概要について説明する。なお、この概要に付記した図面参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、本発明を図示の態様に限定することを意図するものではない。

上述のように、ヘッドアップディスプレイを用いることで、運転者に運転支援のための情報を表示することができる。しかし、車両の周辺状況によっては、ヘッドアップディスプレイによる表示に起因し、運転者が認識すべき車外の物体及びヘッドアップディスプレイによる表示に対する視認性が低下する。そのため、ウインドシールド上に相当程度大きな面積を占める情報を表示する場合であっても、車外の物体及びヘッドアップディスプレイによる表示に対する視認性低下を防止する車両用表示装置、その制御方法及びプログラムが、望まれる。

そこで、一例として、図１に示す車両用表示装置１００を提供する。車両用表示装置１００は、車外の背景画像を取得する背景画像取得部１０１と、背景画像を解析する背景画像解析部１０２と、背景画像の解析結果に基づいて、ウインドシールド上の領域である情報表示領域を決定する情報表示領域決定部１０３と、情報表示領域に表示する画像信号を生成する画像信号生成部１０４と、画像信号をウインドシールドに表示する画像表示部１０５と、を備える。なお、地図情報のような、運転者に提示する情報を提示情報とし、さらに、提示情報を表示するウインドシールド上の表示領域を情報表示領域とする。

ヘッドアップディスプレイにより、地図画像のような相当程度大きな面積を占める情報を表示する場合、特に、その表示位置に対する考慮が必要になる。そこで、車両用表示装置１００では、背景画像解析部１０２が、車外の景色を撮像して得られた背景画像を解析する。例えば、物体が存在する領域は、物体が存在しない領域に比べて、複雑な色調や模様を有すると考えられる。つまり、複雑な色調や模様を有する領域は画素の分布に特徴あり、このような画素に特徴がある領域には何かしらの物体が存在すると解釈できる。

一方、例えば、晴れた日の車両前方に広がる青空又は夜空の領域は、色調や模様の変化が単調であると共に、平坦なテクスチャを有する領域といえる。そのため、このような青空又は夜空の領域に、ヘッドアップディスプレイによる表示を行うと、景色と表示が混在せず、ウインドシールド上の表示に対する視認性が低下することはない。そこで、背景画像解析部１０２は、背景画像を解析し、画素の分布に特徴のある領域を検出する。そして、画素の分布に特徴のある領域を除いた領域が、ヘッドアップディスプレイの表示に適した領域といえる。

さらに、表示対象によって、必要な表示領域の大きさが異なる。例えば、アイコンや、進行方向を示す矢印を表示する場合、大きな表示領域を確保しなくても、運転者に情報を伝えることができる。しかし、地図情報のような情報を表示する場合、運転者に情報を的確に伝えるためには、相当程度大きな表示領域の確保が必要となる。そこで、情報表示領域決定部１０３は、運転者に提供する情報に応じて、その情報を表示するのに十分な面積を持つ領域を情報表示領域として決定する。その際、背景画像解析部１０２の解析結果を利用し、複雑な色調や模様を有する領域（画素の分布に特徴のある領域）を避け、青空のようなヘッドアップディスプレイの表示に適した領域から情報表示領域を決定する。

その結果、車両用表示装置１００は、相当程度大きな面積を占める情報を表示する場合であっても、車外の物体及びウインドシールド上の表示に対する視認性低下を防止できる。

本発明において下記の形態が可能である。

［形態１］上記第１の視点に係る車両用表示装置のとおりである。

［形態２］前記背景画像解析部は、前記背景画像に含まれる画素に関する情報に対し統計処理を行い、前記背景画像に含まれる画素の分布に関する特徴量を解析結果として出力することが好ましい。

［形態３］前記背景画像解析部は、前記背景画像を複数のブロック領域に分割し、前記ブロック領域のそれぞれに含まれる画素の輝度情報又は色空間情報を統計処理することで、前記特徴量を出力することが好ましい。

［形態４］前記背景画像解析部は、前記背景画像に含まれる画素に関する情報の分散値、標準偏差、平均値のうち少なくともいずれかを前記特徴量として出力することが好ましい。

［形態５］前記背景画像解析部は、前記背景画像に含まれる画素により形成される画像パターンと、予め定めたパターンとの近似度を前記特徴量として出力することが好ましい。

［形態６］前記情報表示領域決定部は、前記特徴量に基づいて、予め定めた特徴が存在する領域を除いた領域から前記情報表示領域を選択することが好ましい。

［形態７］前記情報表示領域決定部は、前記特徴量の時間的変化に基づいて、前記情報表示領域の位置、又は、大きさの少なくともいずれかを変化させることが好ましい。

［形態８］前記情報表示領域決定部は、前記特徴量が変化した場合であって、変化後の前記特徴量が所定の時間を超えて継続する際に、前記情報表示領域の位置、又は、大きさの少なくともいずれかを変化させることが好ましい。

［形態９］前記情報表示領域決定部は、前記情報表示領域を、前記ウインドシールド上の領域であって、運転者の視線を基準とした場合の上方の領域から選択することが好ましい。

［形態１０］前記情報表示領域決定部は、前記ウインドシールド上の領域であって、運転者の視線を基準とした場合のウインドシールドの上端と隣接する領域の一辺を、前記情報表示領域の一辺とすることが好ましい。

［形態１１］前記車両用表示装置は、運転者に提示する提示情報を取得する提示情報取得部を備え、前記画像信号生成部は、前記情報表示領域の大きさに基づいて、前記提示情報の画像信号を生成することが好ましい。

［形態１２］前記画像信号生成部は、前記提示情報の一部に相当する画像信号を生成する、又は、前記提示情報の表示態様を変更した画像信号を生成することが好ましい。

［形態１３］前記背景画像解析部は、前記背景画像から予め定められた物体を検出し、前記情報表示領域決定部は、前記検出された物体が含まれる領域を前記情報表示領域から除外する、又は、前記検出された物体が含まれる領域の透明度を上昇することが好ましい。

［形態１４］前記予め定められた物体には、信号機、交通標識、路面上のペイントの少なくともいずれかを含むことが好ましい。

［形態１５］前記背景画像解析部は、物体に対するパターン認識を用いて、前記予め定められた物体の検出を行うことが好ましい。

［形態１６］前記背景画像解析部は、パターンマッチング、サポートベクターマシン、エッジ検出の少なくともいずれかの手法を用いて、前記予め定められた物体の検出を行うことが好ましい。

［形態１７］前記背景画像に代えて、ナビゲーション機器から情報を取得し、前記情報表示領域決定部は、前記ナビゲーション機器から取得した情報に基づいて、前記情報表示領域を決定することが好ましい。

［形態１８］上記第２の視点に係る車両用表示装置の制御方法のとおりである。

［形態１９］前記背景画像解析工程は、前記背景画像に含まれる画素に関する情報に対し統計処理を行う工程と、前記背景画像に含まれる画素の分布に関する特徴量を解析結果として出力する工程と、を含むことが好ましい。

［形態２０］前記背景画像解析工程は、前記背景画像を複数のブロック領域に分割する工程と、前記ブロック領域のそれぞれに含まれる画素の輝度情報又は色空間情報を統計処理する工程と、前記統計処理の結果を前記特徴量として出力する工程と、を含むことが好ましい。

［形態２１］前記情報表示領域決定工程は、前記特徴量に基づいて、前記背景画像に含まれる画素の分布に予め定めた特徴が存在する領域を決定する工程と、前記予め定めた特徴が存在する領域を除いた領域から前記情報表示領域を選択する工程と、を含むことが好ましい。

［形態２２］前記車両用表示装置の制御方法は、運転者に提示する提示情報を取得する提示情報取得工程をさらに含み、前記画像信号生成工程は、前記情報表示領域の大きさに基づいて、前記提示情報の画像信号を生成することが好ましい。

［形態２３］前記画像信号生成工程は、前記提示情報の一部に相当する画像信号を生成する、又は、前記提示情報の表示態様を変更した画像信号を生成することが好ましい。

［形態２４］前記背景画像解析工程は、前記背景画像から予め定められた物体を検出し、前記情報表示領域決定工程は、前記検出された物体が含まれる領域を前記情報表示領域から除外する、又は、前記検出された物体が含まれる領域の透明度を上昇することが好ましい。

［形態２５］上記第３の視点に係るプログラムのとおりである。

［形態２６］前記背景画像解析処理は、前記背景画像に含まれる画素に関する情報に対し統計処理を行う処理と、前記背景画像に含まれる画素の分布に関する特徴量を解析結果として出力する処理と、を実行することが好ましい。

［形態２７］前記背景画像解析処理は、前記背景画像を複数のブロック領域に分割する処理と、前記ブロック領域のそれぞれに含まれる画素の輝度情報又は色空間情報を統計処理する処理と、前記統計処理の結果を前記特徴量として出力する処理と、を実行することが好ましい。

［形態２８］前記情報表示領域決定処理は、前記特徴量に基づいて、前記背景画像に含まれる画素の分布に予め定めた特徴が存在する領域を決定する処理と、前記予め定めた特徴が存在する領域を除いた領域から前記情報表示領域を選択する処理と、を実行することが好ましい。

［形態２９］前記プログラムは、運転者に提示する提示情報を取得する提示情報取得処理をさらに実行し、前記画像信号生成処理は、前記情報表示領域の大きさに基づいて、前記提示情報の画像信号を生成することが好ましい。

［形態３０］前記画像信号生成処理は、前記提示情報の一部に相当する画像信号を生成する、又は、前記提示情報の表示態様を変更した画像信号を生成することが好ましい。

［形態３１］前記背景画像解析処理は、前記背景画像から予め定められた物体を検出し、前記情報表示領域決定処理は、前記検出された物体が含まれる領域を前記情報表示領域から除外する、又は、前記検出された物体が含まれる領域の透明度を上昇することが好ましい。

以下に具体的な実施の形態について、図面を参照してさらに詳しく説明する。

［第１の実施形態］
第１の実施形態について、図面を用いてより詳細に説明する。

図２は、本実施形態に係る車両用表示装置１を含むシステムの構成の一例を示す図である。

図２に示す車両２は、ウインドシールド３を備えている。運転者は、ウインドシールド３を通して、前方の景色を認識する。さらに、ウインドシールド３は、コンバイナ（反射部材）として機能する処理が施されている。このコンバイナに対して、車両２に含まれる車両用表示装置１から光を照射することにより、運転者は表示画像を視認できる。

図３は、ヘッドアップディスプレイの表示の一例である。図３の（ａ）図は、走行時の前方景色の一例である。図３の（ａ）図において、自車両の前方には、先行車両や信号機等が存在する。ここで、先行車両の存在する領域を領域３０１、信号機の存在する領域を領域３０２とする。この場合、領域３０１及び領域３０２は、車外の物体が存在しない領域３０３に比べて、複雑な色調や模様を有する。そのため、車両用表示装置１は、領域３０１及び領域３０２を、地図情報等を表示する領域として採用しない。このような領域に地図情報等を表示してしまえば、地図情報よりも優先して認識すべき先行車等の認識を妨げるためである。さらには、このような領域にヘッドアップディスプレイによる表示を行えば、車外の物体とヘッドアップディスプレイの表示が同化し、ヘッドアップディスプレイの表示に対する視認性も低下する。

そこで、車両用表示装置１は、図３の（ｂ）図に示すように、車外の物体の存在しない領域３０３を表示領域として決定する。領域３０３には、運転者が注意を払うべき物体は存在しない。また、領域３０３は、色調や模様の変化が単調であると共に、平坦なテクスチャを有する領域である。そのため、領域３０３に地図情報等を表示したとしても、車外の物体やウインドシールド上の表示に対する視認性が低下することはない。このようにして、車両用表示装置１は、ヘッドアップディスプレイを用いて地図情報のような相当程度大きな面積を占める情報を、運転者に提供する。ここで、図３に示すように、運転者の視線を基準とした場合、ウインドシールド３の上方の領域には、視界を妨げる信号機等は存在せず、運転者はこの領域を通して空（例えば、青空又は夜空）を認識することが多い。このような領域は、平坦なテクスチャを有すると考えられるため、ウインドシールド３の上方の領域から、情報表示領域を選択することが好ましい。

図４は、車両周辺に木々や山が存在する際のヘッドアップディスプレイの表示の一例である。図４において、前方に山があり、左側には、木々があるとする。この場合、図４の（ａ）図では、前方の領域を領域３１１、左側の領域を領域３１２とする。領域３１１及び領域３１２には、遠方の山や木々が含まれる。この場合にも、領域３１１及び領域３１２は、領域３１３に比べて、複雑な色調や模様を有する。従って、車両用表示装置１は、図４の（ｂ）図に示すように、領域３１３を情報表示領域３１４として決定する。このように、本実施形態に係る車両用表示装置１では、車外の物体の種別を問わず、適切に情報を表示できる領域を決定し、確保する。なお、図４の（ｂ）図に示すように、運転者から見てウインドシールド３の上端と、情報表示領域の上端が隣接していることが望ましい。このような情報表示領域であれば、運転者の視界を妨げることなく、情報表示領域を確保できるためである。

図５は、車両用表示装置１の内部構成の一例を示す図である。なお、図５には簡単のため、本実施形態に係る車両用表示装置１に関係するモジュールのみを記載する。

車両用表示装置１は、背景画像取得部１０と、提示情報取得部２０と、制御部３０と、画像表示部４０と、を含んでいる。さらに、制御部３０は、背景画像解析部５０と、情報提供領域決定部６０と、画像信号生成部７０と、を含んでいる。

背景画像取得部１０は、車両２の外部に向けられたカメラ（図示せず）で撮像した画像を、背景画像として取得する。以下の説明では、背景画像は、車両前方の景色を撮像した画像として説明する。

提示情報取得部２０は、提示情報のデータを取得する。例えば、地図情報等の経路案内に関する情報を取得する場合には、提示情報取得部２０はナビゲーション機器から提示情報を取得する。

背景画像解析部５０は、背景画像取得部１０で取得した背景画像を解析する。具体的には、背景画像解析部５０は、背景画像に含まれる画素の分布に関する特徴量を解析結果として算出する。例えば、背景画像を複数の小領域（以下、ブロック領域と呼ぶ）に分割し、それぞれのブロック領域において、画素の分布に関する特徴量を算出する。より具体的には、背景画像解析部５０は、それぞれのブロック領域において、背景画像に含まれる画素に関する情報（例えば、輝度情報や色空間情報等）に対し統計処理を行うことで、画素の分布に関する特徴量を算出する。さらに、その際の統計処理には、分散値、標準偏差、平均値等の算出が含まれる。ただし、背景画像解析部５０における背景画像に含まれる画素の分布に関する特徴量を、統計処理により抽出することに限定する趣旨ではない。背景画像に含まれる画素の分布に関する特徴量を抽出できれば、他の方法を用いても良い。

また、背景画像を小領域に分割する際に、それぞれのブロック領域が相互に重複する部分があってもよい。なお、領域分割の方法には、各種存在するが、いずれの方式であってもよい。

ここで、背景画像に含まれる画素の分布に関する特徴量の抽出について、分散値の算出を例示し、説明する。なお、以下の説明は、背景画像に含まれる画素の分布に関する特徴量を、分散値に限定する趣旨ではない。

背景画像に含まれる画素の輝度情報について、分散値ν１を算出する場合には、下記の式（１）及び（２）を用いて、算出する。

なお、Ｎは各ブロック領域内における画素の総数、Ｉｉは各ブロック領域内におけるｉ番目（ｉは１以上の整数、以下同じ）の画素の輝度値、Ｉａｖｅは各ブロック領域内のＮ個の画素の輝度値の相加平均である。

あるいは、標準偏差を背景画像に含まれる画素の分布に関する特徴量として用いる場合には、下記の式（３）を用いて標準偏差σ１を算出する。

一方、背景画像がカラー（例えば、ＲＧＢ色空間；Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅ）画像である場合に、その分散値ν２を算出する場合について、説明する。この場合、下記の式（４）及び（５）を用いて、各色の輝度に関する分散値を初めに算出する。なお、式（４）及び（５）は、赤（Ｒｅｄ）に関する分散値Ｖｒの算出式である。

Ｒｉは各ブロック領域内におけるｉ番目の赤（Ｒｅｄ）の値である。同様に、緑（Ｇｒｅｅｎ）に関する分散値Ｖｇ、青（Ｂｌｕｅ）に関する分散値Ｖｂを計算する。

各色の輝度に関する分散値を算出した後、カラー画像の輝度に関する分散値ν２を下記の式（６）を用いて算出する。

あるいは、標準偏差を背景画像に含まれる画素の分布に関する特徴量として用いる場合には、下記の式（７）を用いて標準偏差σ２を算出する。

なお、人間の色に対する感度の違いや個人差を反映したい場合には、下記の式（８）のように、各色に対し重み係数αβγを用いて補正してもよい。

また、ＲＧＢ値の代わりに、他の色空間情報を利用して同様の計算をしてもよい。ここで、色空間情報には、Ｌａｂ色空間やＨＳＶ（色相（Ｈｕｅ）、彩度（Ｓａｔｕｒａｔｉｏｎ）、明度（Ｖａｌｕｅ））色空間など、各種存在するが、いずれの色空間情報であってもよい。

あるいは、背景画像に含まれる画素の分布に関する特徴量を抽出する際に、特定の情報を抽出するフィルタ処理を用いてもよい。具体的には、背景画像に含まれる複数の画素により形成される画像パターンと、予め定めたパターンとを、比較する。そして、背景画像と予め定めたパターンの相関値（近似度）を計算し、計算した近似度を特徴量として出力する。

例えば、背景画像に含まれる複数の画素により形成される画像パターンとして、エッジを検出してもよい。その場合、Ｃａｎｎｙフィルタ等のエッジ検出フィルタを利用することができる。さらに、画像パターンとして、コーナーを検出してもよい。この場合、Ｈａｒｒｉｓ検出器等のコーナー検出フィルタを利用することができる。なお、背景画像に含まれる複数の画素により形成される画像パターンには、エッジやコーナー以外に各種あるが、その種別は問わない。

あるいは背景画像の同じ位置の１つ、あるいは複数の画素値のある一定期間（例えば１秒間、又は、時間を画像枚数に換算し、画像枚数にして１０枚分等）の時間変化の統計量（分散値等）を計算して、あわせて特徴量として出力してもよい。空間方向の変化量と時間方向の変化量の両方を利用することで、推定精度を向上させることができる。

次に、画像パターンを検出するフィルタを用いた情報表示領域の決定方法の一例を説明する。具体的には、背景画像に含まれる全画素に対して、フィルタ処理を適用する。その後、各ブロック領域において、フィルタ処理の出力値の総和を算出する。その際、背景画像の全体に対して、フィルタ出力値が大きいブロック領域ほど、エッジやコーナーなどの特徴的な形状を持つ画像パターンが多く検出されたことを意味する。

以上のように、背景画像解析部５０は、背景画像に含まれる画素の分布に関する特徴量を抽出する。抽出した特徴量は、情報提供領域決定部６０における情報提供領域の決定に用いられる。例えば、図３の（ａ）図に示すように、先行車両の存在する領域３０１内や、信号機の存在する領域３０２内は、車外の物体が存在しない領域３０３に比べて、画素の分布に関し、特徴がある。そのため、情報提供領域決定部６０は、情報表示領域として、領域３０１や領域３０２の領域ではなく、領域３０３のように、背景画像に含まれる画素の分布に特徴がない領域を情報表示領域として決定することができる。

情報提供領域決定部６０は、背景画像の解析結果に基づいて情報表示領域の大きさや位置を決定する。具体的には、提示情報取得部２０が、提示情報を取得する。そして、情報提供領域決定部６０は、取得した提示情報を表示するために必要な領域の大きさを算出する。例えば、簡易なアイコンを表示する場合には、情報表示領域は小さくてもよい。しかし、地図情報等の情報を表示する場合には、情報提供領域決定部６０が、相当程度大きな面積の情報表示領域を確保することが必要である。

そして、情報提供領域決定部６０は、画素の分布に特徴がない領域から、提示情報の表示に必要な大きさを確保し、情報表示領域として決定する。その際、特徴量が所定の閾値以上のブロック領域を情報表示領域から除外する等の対応が考えられる。なお、情報表示領域の決定に際し、特徴量と閾値を比較する方法は、あくまでも例示であって、この方法に限定する趣旨ではない。

提示情報を表示する領域の輝度が高いと、運転者が提示情報を視認するのが困難な場合がある。そこで、背景画像解析部５０は、輝度値に関する解析を行ってもよい。その際、情報提供領域決定部６０は、輝度値の高い領域は極力、情報表示領域とはせず、輝度値の低い領域を優先して情報表示領域とすることが考えられる。具体的には、背景画像解析部５０は、各ブロック領域において輝度値の平均値を算出する。そして、輝度値の平均値が予め定めた閾値よりも低いブロック領域を、情報提供領域決定部６０は、情報表示領域として決定してもよい。即ち、情報提供領域決定部６０は、背景画像解析部５０が出力する特徴量に対して、予め定めた閾値のような評価基準を適用することで、背景画像に予め定めた特徴的な情報が含まれているかを判断する。

ここで、提示情報に対して、情報表示領域の大きさが十分でない場合、画像信号生成部７０は画像信号の生成を断念してもよい。即ち、情報表示領域の大きさが十分でない場合、ウインドシールド３への情報を表示しない時があってもよい。あるいは、画像信号生成部７０は、情報表示領域の大きさに応じて、提示情報の一部に相当する画像信号を生成してもよい。例えば、提示すべき地図情報の半分の大きさのみ情報表示領域として確保できた場合には、情報内容を毀損しない範囲で、左右の領域を切り取った地図表示をしてもよい。あるいは、その半分の大きさの領域に右半分又は左半分の地図情報を表示してもよい。

画像信号生成部７０は、情報提供領域に表示する画像信号を生成する。その際、画像信号生成部７０は、情報表示領域の大きさに基づいて、提示情報の画像信号を生成することができる。例えば、提示すべき地図情報の半分の大きさのみ情報表示領域として確保できた場合には、地図情報の中央部のみを拡大して表示してもよい。あるいは、地図情報の中央部を拡大して、周辺部の倍率を下げて表示してもよい。このように、画像信号生成部７０は、情報表示領域の大きさに基づいて、提示情報の表示態様を変更した画像信号を生成することができる。

また、情報表示領域の一部に、車外の物体を透過する部分があってもよい。その場合、画像信号生成部７０は、情報表示領域内で、車外の物体を透過する部分を除いて、提示情報の画像信号を生成する。あるいは、画像信号生成部７０は、車外の物体を透過しない部分に比べて、車外の物体が含まれる領域の透明度を上昇させて、画像信号を生成してもよい。

図６は、情報表示領域の一部に車外の物体を透過する部分を含む場合の一例である。図６においては、情報表示領域３２２の一部が、信号機３２１の一部と重なっている。図６では、画像信号生成部７０は、信号機３２１と重なる部分を除外して、地図情報（提示情報）の画像信号を生成する。

画像信号生成部７０は、画像表示部４０に対して画像信号を出力する。画像表示部４０は、ウインドシールド３に対し画像信号に対応した光線を投射する。

ここで、情報提供領域決定部６０は、一度定めた情報表示領域の位置及び大きさをそのまま維持するのが基本である。例えば、走行中に陸橋等が現れ、情報表示領域の画像を解析した結果、このような領域の分散値が一瞬高くなる（特徴のある領域と判定される）ことが想定できる。このような場合、都度、情報表示領域の位置及び大きさを変更したのでは、運転者の負担が大きい。即ち、運転者は、頻繁に表示位置や大きさが変わる情報に対して、煩わしさを感じる。

そこで、情報提供領域決定部６０は、背景画像解析部５０における解析結果の時間的変化を考慮することが望まれる。例えば、あるブロック領域における特徴量が一瞬、上昇し、直ぐに変化前の特徴量に戻った場合には、現在の情報表示領域の位置及び大きさを維持するのが望ましい。一方、あるブロック領域における特徴量が上昇し、上昇後の値が継続するのであれば、そのようなブロック領域は、青空等の平坦なテクスチャパターンを持つ領域とせず、情報表示領域から除外することが望ましい。即ち、ブロック領域における特徴量が変化し、変化後の特徴量が所定の時間継続するのであれば、このようなブロック領域を避けるように、情報表示領域の位置や大きさを変更することが望ましい。

一方、相当程度の長い時間、情報表示領域に含まれるブロック領域の特徴量が、閾値よりも高い場合、このような領域を避けるように情報表示領域を移動する（再設定する）ことが望ましい。その際、徐々に、情報表示領域の位置、大きさを変更すると、運転者に違和感を与えず、情報表示領域の位置等を変更できる。

次に、車両用表示装置１の動作について説明する。

図７は、車両用表示装置１の動作の一例を示すフローチャートである。

ステップＳ０１において、背景画像取得部１０が、車外の背景画像を取得する。

ステップＳ０２において、背景画像解析部５０は、背景画像を解析する。

ステップＳ０３において、提示情報取得部２０は、提示情報のデータを取得し、情報提供領域決定部６０に送信する。情報提供領域決定部６０は、取得した提示情報を表示するために必要な領域の大きさを算出する。

ステップＳ０４において、情報提供領域決定部６０は、背景画像の解析結果から、情報表示領域として採用し得る領域が所定の面積以上、存在するか否かを判断する。

ステップＳ０５において、情報提供領域決定部６０は、ステップＳ０４で検出した領域から情報表示領域を決定する。

図８は、情報表示領域に表示する提示情報の一例である。図８の（ａ）図は、情報表示領域３３１内に地図情報を表示する一例である。一方、図８の（ｂ）図は、情報表示領域３３２内に地図情報を表示する一例である。ここで、情報表示領域３３２は、情報表示領域３３１より小さい面積とする。このような場合、画像信号生成部７０は、情報表示領域３３２内に限定した範囲の地図情報を表示するようにしてもよい。

ステップＳ０６において、画像信号生成部７０は、情報表示領域内に提示情報が表示される画像信号を生成し、画像表示部４０に対して出力する。

ステップＳ０７において、画像表示部４０は、情報表示領域に提示情報を表示する。

ステップＳ０８において、情報表示の終了指示があったか否かを、制御部３０は判断する。

ナビゲーション機器から、車外の情報（自車両の走行位置、道路種別、周辺環境等）の情報を取得し、情報表示領域を決定してもよい。その際、取得した情報と、情報表示領域の関係を記述したテーブルデータ等を使用する。あるいは、取得した情報に基づいて、ウインドシールド上の信号機の位置を推定し、それに基づいて信号機等と重なる領域を情報表示領域から除外してもよい。

なお、車両用表示装置１の各機能は、プログラムを組み込んだ、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等のハードウェア部品である回路部品を実装することにより、その動作をハードウェア的に実現することは勿論として、その機能を提供するプログラムを、記憶装置に格納し、そのプログラムを主記憶部にロードしてＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）で実行することにより、ソフトウェア的に実現することも可能である。

また、上述の動作に加えて、車両用表示装置１は、運転者の指示により、ウインドシールドの全面に提示情報を表示する機能を備えてもよい。例えば、停車時に、運転者がボタンを押下する等の操作をすると、車両用表示装置１は、ウインドシールドの全面に提示情報を表示してもよい。停車時には、車両前方の物体と、情報表示領域と、が重なっても運転の妨げとはならないため、このような機能も実現できる。

以上のように、本実施形態に係る車両用表示装置１では、車両の周辺状況に応じて、ウインドシールドに画像を投影するのに適した領域を検出して、情報を表示する。従って、車両用表示装置１では、ウインドシールド上に相当程度大きな面積を占める情報を表示する場合であっても、車外の物体及びヘッドアップディスプレイによる表示に対する視認性低下を防止できる。

［第２の実施形態］
第２の実施形態について、図面を用いてより詳細に説明する。

本実施形態では、道路標示など車外の物体の種別を判定し、情報表示領域の位置を決定する形態について説明する。なお、本実施形態における説明では、第１の実施形態と重複する説明は省略する。さらに、本実施形態における説明では、第１の実施形態と同一の構成要素には、同一の符号を付し、その説明を省略する。

図９は、本実施形態に係る車両用表示装置１ａの内部構成の一例を示す図である。

道路標示（路面上のペイントなど）は、平坦なテクスチャパターンのため、第１の実施形態に係る車両用表示装置１では、道路標示を含んだ領域を情報表示領域として決定する可能性がある。しかし、道路標示は、運転者が認識すべき物体（領域）であり、情報表示領域から除外することが好ましい。さらに、信号機、交通標識等についても、運転者が認識すべき物体（領域）であり、情報表示領域から除外することが好ましい。あるいは、画像信号生成部７０は、道路標示、信号機、交通標識等を透過表示する画像信号を生成してもよい。

そこで、背景画像解析部５０ａは、物体認識を併せて行う。物体認識を行うことで、道路標示等の物体の検出も可能となる。例えば、道路標示を検出する場合には、道路標示を検出するために開発されたアルゴリズムが利用できる。具体的には、取得画像と予め登録されたテンプレートとのテンプレートマッチングする画像処理等が考えられる。あるいは、背景画像に対し、パターンマッチング、サポートベクターマシン等の手法を適用し、予め定められた物体の検出を行ってもよい。なお、予め定められた物体を検出する方法には、他にも各種存在するが、その方式は問わない。

さらに、背景画像解析部５０ａは、路面の白線を検出し、自車両が走行している車線に重ならないよう、白線の内側に情報表示領域を決定してもよい。走行している車線の延長上であれば、運転者の正面に位置する領域であるため、視認性が向上する。なお、白線の検出には、白線検出のために開発されたアルゴリズムが利用できる。具体的には、エッジ検出やハフ変換等を利用する画像処理等が考えられる。なお、路面の白線を検出する方法には、他にも各種存在するが、その方式は問わない。

以上のように、本実施形態に係る車両用表示装置１ａでは、道路標示など車外の物体の種別を判定し、提示情報の表示位置を決定する。そのため、本実施形態に係る車両用表示装置１ａは、地図情報等の表示を行うのに適した表示領域を決定することができる。

なお、引用した上記の特許文献等の各開示は、本書に引用をもって繰り込むものとする。本発明の全開示（請求の範囲を含む）の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の請求の範囲の枠内において種々の開示要素（各請求項の各要素、各実施形態ないし実施例の各要素、各図面の各要素等を含む）の多様な組み合わせ、ないし、選択が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。

１、１ａ、１００ 車両用表示装置
２ 車両
３ ウインドシールド
１０、１０１ 背景画像取得部
２０ 提示情報取得部
３０、３０ａ 制御部
４０、１０５ 画像表示部
５０、５０ａ、１０２ 背景画像解析部
６０ １０３ 情報表示領域決定部
７０、１０４ 画像信号生成部
３０１〜３０３、３１１〜３１３ 領域
３１４、３２２、３３１、３３２ 情報表示領域
３２１ 信号機

Claims (31)

1. 車外の背景画像を取得する背景画像取得部と、
   前記背景画像を解析する背景画像解析部と、
   前記背景画像の解析結果に基づいて、ウインドシールド上の領域である情報表示領域を決定する情報表示領域決定部と、
   前記情報表示領域に表示する画像信号を生成する画像信号生成部と、
   前記画像信号を前記ウインドシールドに表示する画像表示部と、
   を備えることを特徴とする車両用表示装置。
2. 前記背景画像解析部は、前記背景画像に含まれる画素に関する情報に対し統計処理を行い、前記背景画像に含まれる画素の分布に関する特徴量を解析結果として出力する請求項１の車両用表示装置。
3. 前記背景画像解析部は、前記背景画像を複数のブロック領域に分割し、前記ブロック領域のそれぞれに含まれる画素の輝度情報又は色空間情報を統計処理することで、前記特徴量を出力する請求項２の車両用表示装置。
4. 前記背景画像解析部は、前記背景画像に含まれる画素に関する情報の分散値、標準偏差、平均値のうち少なくともいずれかを前記特徴量として出力する請求項２又は３の車両用表示装置。
5. 前記背景画像解析部は、前記背景画像に含まれる画素により形成される画像パターンと、予め定めたパターンとの近似度を前記特徴量として出力する請求項２の車両用表示装置。
6. 前記情報表示領域決定部は、前記特徴量に基づいて、予め定めた特徴が存在する領域を除いた領域から前記情報表示領域を選択する請求項２乃至５のいずれか一に記載の車両用表示装置。
7. 前記情報表示領域決定部は、前記特徴量の時間的変化に基づいて、前記情報表示領域の位置、又は、大きさの少なくともいずれかを変化させる請求項２乃至６のいずれか一に記載の車両用表示装置。
8. 前記情報表示領域決定部は、前記特徴量が変化した場合であって、変化後の前記特徴量が所定の時間を超えて継続する際に、前記情報表示領域の位置、又は、大きさの少なくともいずれかを変化させる請求項２乃至７のいずれか一に記載の車両用表示装置。
9. 前記情報表示領域決定部は、前記情報表示領域を、前記ウインドシールド上の領域であって、運転者の視線を基準とした場合の上方の領域から選択する請求項１乃至８のいずれか一に記載の車両用表示装置。
10. 前記情報表示領域決定部は、前記ウインドシールド上の領域であって、運転者の視線を基準とした場合の前記ウインドシールドの上端と隣接する領域の一辺を、前記情報表示領域の一辺とする請求項１乃至９のいずれか一に記載の車両用表示装置。
11. 運転者に提示する提示情報を取得する提示情報取得部を備え、
    前記画像信号生成部は、前記情報表示領域の大きさに基づいて、前記提示情報の画像信号を生成する請求項１乃至１０のいずれか一に記載の車両用表示装置。
12. 前記画像信号生成部は、前記提示情報の一部に相当する画像信号を生成する、又は、前記提示情報の表示態様を変更した画像信号を生成する請求項１１の車両用表示装置。
13. 前記背景画像解析部は、前記背景画像から予め定められた物体を検出し、
    前記情報表示領域決定部は、前記検出された物体が含まれる領域を前記情報表示領域から除外する、又は、前記検出された物体が含まれる領域の透明度を上昇する請求項１乃至１２のいずれか一に記載の車両用表示装置。
14. 前記予め定められた物体には、信号機、交通標識、路面上のペイントの少なくともいずれかを含む請求項１３の車両用表示装置。
15. 前記背景画像解析部は、物体に対するパターン認識を用いて、前記予め定められた物体の検出を行う請求項１３又は１４の車両用表示装置。
16. 前記背景画像解析部は、パターンマッチング、サポートベクターマシン、エッジ検出の少なくともいずれかの手法を用いて、前記予め定められた物体の検出を行う請求項１３乃至１５のいずれか一に記載の車両用表示装置。
17. 前記背景画像に代えて、ナビゲーション機器から情報を取得し、
    前記情報表示領域決定部は、前記ナビゲーション機器から取得した情報に基づいて、前記情報表示領域を決定する請求項１乃至１６のいずれか一に記載の車両用表示装置。
18. ウインドシールドに画像を表示する画像表示部を備える車両用表示装置の制御方法であって、
    車外の背景画像を取得する背景画像取得工程と、
    前記背景画像を解析する背景画像解析工程と、
    前記背景画像の解析結果に基づいて、前記ウインドシールド上の領域である情報表示領域を決定する情報表示領域決定工程と、
    前記情報表示領域に表示する画像信号を生成する画像信号生成工程と、
    を含むことを特徴とする車両用表示装置の制御方法。
19. 前記背景画像解析工程は、
    前記背景画像に含まれる画素に関する情報に対し統計処理を行う工程と、
    前記背景画像に含まれる画素の分布に関する特徴量を解析結果として出力する工程と、 を含む請求項１８の車両用表示装置の制御方法。
20. 前記背景画像解析工程は、前記背景画像を複数のブロック領域に分割する工程と、
    前記ブロック領域のそれぞれに含まれる画素の輝度情報又は色空間情報を統計処理する工程と、
    前記統計処理の結果を前記特徴量として出力する工程と、
    を含む請求項１９の車両用表示装置の制御方法。
21. 前記情報表示領域決定工程は、前記特徴量に基づいて、前記背景画像に含まれる画素の分布に予め定めた特徴が存在する領域を決定する工程と、
    前記予め定めた特徴が存在する領域を除いた領域から前記情報表示領域を選択する工程と、
    を含む請求項１９又は２０の車両用表示装置の制御方法。
22. 運転者に提示する提示情報を取得する提示情報取得工程をさらに含み、
    前記画像信号生成工程は、前記情報表示領域の大きさに基づいて、前記提示情報の画像信号を生成する請求項１８乃至２１のいずれか一に記載の車両用表示装置の制御方法。
23. 前記画像信号生成工程は、前記提示情報の一部に相当する画像信号を生成する、又は、前記提示情報の表示態様を変更した画像信号を生成する請求項２２の車両用表示装置の制御方法。
24. 前記背景画像解析工程は、前記背景画像から予め定められた物体を検出し、
    前記情報表示領域決定工程は、前記検出された物体が含まれる領域を前記情報表示領域から除外する、又は、前記検出された物体が含まれる領域の透明度を上昇する請求項１８乃至２３のいずれか一に記載の車両用表示装置の制御方法。
25. ウインドシールドに画像を表示する画像表示部を備える車両用表示装置を制御するコンピュータに実行させるプログラムであって、
    車外の背景画像を取得する背景画像取得処理と、
    前記背景画像を解析する背景画像解析処理と、
    前記背景画像の解析結果に基づいて、前記ウインドシールド上の領域である情報表示領域を決定する情報表示領域決定処理と、
    前記情報表示領域に表示する画像信号を生成する画像信号生成処理と、
    を実行するプログラム。
26. 前記背景画像解析処理は、
    前記背景画像に含まれる画素に関する情報に対し統計処理を行う処理と、
    前記背景画像に含まれる画素の分布に関する特徴量を解析結果として出力する処理と、 を実行する請求項２５のプログラム。
27. 前記背景画像解析処理は、前記背景画像を複数のブロック領域に分割する処理と、
    前記ブロック領域のそれぞれに含まれる画素の輝度情報又は色空間情報を統計処理する処理と、
    前記統計処理の結果を前記特徴量として出力する処理と、
    を実行する請求項２６のプログラム。
28. 前記情報表示領域決定処理は、前記特徴量に基づいて、前記背景画像に含まれる画素の分布に予め定めた特徴が存在する領域を決定する処理と、
    前記予め定めた特徴が存在する領域を除いた領域から前記情報表示領域を選択する処理と、
    を実行する請求項２６又は２７のプログラム。
29. 運転者に提示する提示情報を取得する提示情報取得処理をさらに実行し、
    前記画像信号生成処理は、前記情報表示領域の大きさに基づいて、前記提示情報の画像信号を生成する請求項２５乃至２８のいずれか一に記載のプログラム。
30. 前記画像信号生成処理は、前記提示情報の一部に相当する画像信号を生成する、又は、前記提示情報の表示態様を変更した画像信号を生成する請求項２９のプログラム。
31. 前記背景画像解析処理は、前記背景画像から予め定められた物体を検出し、
    前記情報表示領域決定処理は、前記検出された物体が含まれる領域を前記情報表示領域から除外する、又は、前記検出された物体が含まれる領域の透明度を上昇する請求項２５乃至３０のいずれか一に記載のプログラム。

Images