しかしながら、特許文献1のような表示装置(液晶ディスプレイ)のバックライトは近赤外光を発光しないので、そのバックライトをそのままドライバ等のユーザの顔に近赤外光を投光する投光器として用いることはできない。また、特許文献2には、近赤外光を発光する面光源が開示されているものの、その面光源は、携帯電話機のサブディスプレイ用のバックライトであるので、ユーザの顔に投光する投光器として用いることはできない。一方で、ユーザの顔に近赤外光を投光するためだけに面光源を設けるとシステムの構成が複雑になってしまう。
本発明は上記問題点に鑑みてなされたものであり、システム構成を簡素にしつつ、ユーザの顔に均一に近赤外光を投光できる投光システム及びその近赤外光が投光されたユーザの顔を撮影する顔撮影システムを提供することを課題とする。
上記課題を解決するために、本発明の投光システムは、ユーザの顔が位置する領域の前方に設けられ、パネル状の表示部とその表示部に光を入射する光源ユニットとその光源ユニットからの光のうち前記表示部から出射させる出射光を制御することで前記表示部に前記出射光に応じた画像を描画する描画制御手段とを含む表示装置を備えた、前記ユーザの顔に近赤外光を投光する投光システムであって、
前記光源ユニットは、近赤外光を発光するものとして構成され、
前記描画制御手段は、前記表示部に画像を描画しつつ、近赤外光を前記表示部から出射させる。
これによれば、ユーザの顔の前方に設けられた画像表示用の表示装置を利用して投光システムを構成する。その表示装置は、液晶ディスプレイのように、パネル状の表示部、その表示部に光を入射する光源ユニット及び表示部から出射させる出射光を制御することで表示部に出射光に応じた画像を描画する描画制御手段を含んで構成される。光源ユニットは、近赤外光を発光するものとして構成されているので、光源ユニットから近赤外光を表示部に入射させることができる。表示部に近赤外光が入射されただけでは、ユーザの顔に近赤外光を投光できないので、描画制御手段は、表示部に画像を描画しつつ、近赤外光を表示部から出射させる。これによって、パネル状の表示部からユーザの顔に均一に近赤外光を投光できる。また、表示部には画像が描画されているので、本来の表示装置の役割も担保できる。さらに、既存の表示装置を利用して近赤外光を投光できるので、ユーザの顔に近赤外光を投光するためだけの面光源を設ける場合に比べてシステム構成を簡素にできる。
また、本発明において、前記表示部には所定の波長の光を通過させるフィルタが画素ごとに配設されており、
前記フィルタは、近赤外光も通過させるものとして構成されており、
前記描画制御手段は、前記所定の波長の光に応じた色の画像を描画しつつ、その画像を構成する画素から近赤外光を出射させることを特徴とする。
これによれば、表示装置は、表示部にフィルタが画素ごとに配設され、そのフィルタから通過された光の波長に応じた色の画像(例えば一つの色から構成される単色画像や複数色から構成されるカラー画像)を表示するものとされている。この場合、光源ユニットからの近赤外光をどのようにして表示部から出射させるかが問題となるが、本発明では、フィルタを、画像描画のための光に加えて、近赤外光も通過させるものとして構成している。よって、描画制御手段は、単色画像又はカラー画像を描画しつつ、その画像を構成する画素から近赤外光も出射させることができる。これによって、既存の表示装置の構成を少し変更するだけで、具体的には、フィルタ(近赤外光を通過させる)、及び描画制御手段(近赤外を出射させるように制御)を変更するだけで、既存の表示装置から近赤外光をユーザの顔に投光できる。
また、本発明において、前記フィルタはRGBのカラーフィルタであり、そのRGBのカラーフィルタのうちの少なくとも1種以上のカラーフィルタは、近赤外光も通過させるものとして構成されており、
前記描画制御手段は、前記RGBのカラーフィルタを構成する各色のカラーフィルタを通過させる光量を制御することで前記表示部にカラー画像を描画するものであって、近赤外光を通過させる前記カラーフィルタを介してそのカラーフィルタで定まる色の可視光を出射させつつ近赤外光を出射させることを特徴とする。
これによれば、表示装置は、表示部にRGBのカラーフィルタが画素ごとに配設され、そのカラーフィルタを通過する光量を制御することでカラー画像を表示するものとされている。また、RGBのカラーフィルタのうち少なくとも1種以上のカラーフィルタは近赤外光も通過できるように構成されているので、描画制御手段は、近赤外光を通過できるカラーフィルタを介して近赤外光を出射させることができる。その際、そのカラーフィルタを通過できる可視光も出射されることになるので、表示部に、その可視光に応じた色の画像を描画できる。また、近赤外光を通過させる専用の近赤外光フィルタを設ける必要がなく、RGBのカラーフィルタの占有面積を維持できるので、カラー画像の色純度を維持できる。なお、近赤外光を通過させるカラーフィルタは、RGBのカラーフィルタのうちのどのカラーフィルタで構成しても良い。すなわち、赤色(R)のカラーフィルタをR+IR(近赤外光)のカラーフィルタとして構成したり、緑色(G)のカラーフィルタをG+IRのカラーフィルタとして構成したり、青色(B)のカラーフィルタをB+IRのカラーフィルタとして構成したりできる。
また、本発明において、前記フィルタは、RGBのカラーフィルタ及び近赤外光を通過させる近赤外光フィルタであり、
前記描画制御手段は、前記RGBのカラーフィルタを構成する各色のカラーフィルタを通過させる光量を制御することで前記表示部にカラー画像を描画するものであって、前記近赤外光フィルタを介して近赤外光を出射させることを特徴とする。
このように、表示装置の表示部に、カラー画像を描画するためのRGBのカラーフィルタに加えて、近赤外光を出射させるための近赤外光を通過させる専用の近赤外光フィルタを設けてもよい。これによって、描画する画像の内容にかかわらず、描画制御手段に近赤外光を表示部から出射させやすくできる。
また、本発明における前記光源ユニットは、画像描画用の可視光を発光する可視光光源と近赤外光を発光する近赤外光源とを含むことを特徴とする。これによって、可視光光源からの可視光によって表示部に画像を描画しつつ、近赤外光源からの近赤外光を表示部から出射させることができる。
また、本発明において、前記ユーザの顔に照射する近赤外光の目標投光量を設定する投光量設定手段を備え、
前記描画制御手段は、前記投光量設定手段が設定した前記目標投光量の近赤外光を前記表示部から出射させることを特徴とする。
これによれば、投光量設定手段が目標投光量を設定し、描画制御手段がその目標投光量の近赤外光を出射させるので、ユーザの顔に投光する近赤外光の投光量を適宜変更できる。
また、本発明における前記表示装置は液晶表示装置であり、
前記描画制御手段は、前記液晶表示装置における液晶の向きを制御することで前記目標投光量の近赤外光を前記表示部から出射させることを特徴とする。
これによれば、液晶表示装置では液晶の向きが制御されることで表示部から出射される光の色や光量が調整されるので、描画制御手段は、その液晶の向きを制御することで、目標投光量の近赤外光を出射させることができる。
また、本発明において、前記目標投光量の近赤外光が前記表示部から出射されるように、前記光源ユニットから発光される近赤外光のパワーを制御する光源パワー制御手段を備えたとしても良い。
これによれば、光源ユニットからの光のパワーを制御することで表示部全域に亘って明るくしたり暗くしたりできるので、光源パワー制御手段が光源ユニットの近赤外光のパワーを制御することで、簡易に目標投光量の近赤外光を表示部から出射させることができる。
また、本発明における投光量設定手段は、環境光による周囲の明るさを判断する第一の環境光判断手段を含み、その第一の環境光判断手段が判断した前記環境光の明るさが明るいほど大きい前記目標投光量を設定することを特徴とする。
近赤外光をユーザの顔に投光するシステムにおいては、システムから投光される近赤外光以外の環境光は外乱とされる。つまり、環境光(外乱)の影響が大きくなるほど、近赤外光の投光が減殺されてしまう。本発明によれば、第一の環境光判断手段が環境光による周囲の明るさを判断し、投光量設定手段が環境光の明るさが明るいほど大きい目標投光量を設定するので、環境光に関わらず近赤外光を最適に投光できる。
また、本発明における表示装置は、前記表示部に描画される画像に応じた投光量の近赤外光が投光されるように構成されており、
各時点における前記描画制御手段が前記表示部に描画すべき画像である標準画像が定められており、
現時点における前記標準画像による近赤外光の投光量が、前記目標投光量を満足するか否かを判断する投光量判断手段を備え、
前記描画制御手段は、前記投光量判断手段が前記目標投光量を満足しないと判断した場合には、前記標準画像に加えて、前記目標投光量に不足分の近赤外光の投光量である不足投光量に相当する補助画像を前記表示部に描画することを特徴とする。
これによれば、表示部には、車両のメータ画像など、定められた標準画像が描画される。この場合、表示装置は表示部に描画される画像に応じた投光量の近赤外光が投光されるように構成されているので、標準画像に応じた投光量の近赤外光が投光されることになるが、その投光量が目標投光量を満足しない場合もあり得る。そこで、投光量判断手段は、現時点における標準画像による近赤外光の投光量が目標投光量を満足するか否かを判断して、満足しない場合には、描画制御手段は、標準画像に加えて不足投光量に相当する補助画像も表示部に描画する。これによって、標準画像を描画しつつ、目標投光量の近赤外光を投光できる。
また、本発明における表示装置は、前記表示部に描画される画像の色合いに応じた投光量の近赤外光が投光されるように構成されており、
描画制御手段は、前記補助画像として、前記標準画像が描画される領域以外の背景領域に背景色の画像である背景色画像を描画するものであり、前記不足投光量を補うように近赤外光を通過させることを条件にして混色した色合いの前記背景色画像を描画することを特徴とする。
これによれば、補助画像として背景色画像が描画される。この場合、表示装置は表示部に描画される画像の色合いに応じた投光量の近赤外光が投光されるように構成されているので、標準画像に伴う近赤外光に加え、背景色画像の色合いに応じた投光量の近赤外光も投光できる。そして、背景色が、不足投光量を補うように近赤外光を通過させることを条件にして混色した色合いに調整されるので、標準画像の視認性を確保しつつ、簡易に目標投光量の近赤外光を投光できる。
また、本発明における前記描画制御手段は、前記背景色画像の色合いを変化させるときには、目標の色合いまで徐々に色合いを変化させることを特徴とする。これによって、背景色の急激の変化に目が奪われて標準画像の視認が妨げられるのを抑制できる。
また、本発明において、前記背景色画像の色合いが変化されてからの経過時間を計測する計時手段と、
前記計時手段が計測した経過時間が所定時間以上か否かを判断する経過時間判断手段と、を備え、
前記描画制御手段は、前記経過時間判断手段によって前記経過時間が前記所定時間以上と判断されるまでは、前記背景色画像の色合いを変化させないことを特徴とする。
これによれば、前回の背景色の色合いの変化時から所定時間経過するまでは、背景色の色合いが変化されないので、頻繁に背景色の色合いが変化することによる煩わしさを防止できる。
また、本発明において、前記表示部中の各領域間における近赤外光の出射分布を示した投光パターンを決定するものであって、前記表示部中の予め定められた複数の領域間で均等分布となる前記投光パターンを決定する投光パターン決定手段を備え、
前記描画制御手段は、前記投光パターン決定手段が決定した前記投光パターンにしたがって近赤外光を前記表示部から出射させることを特徴とする。
これによれば、表示部中の予め定められた複数の領域間で均等分布となる投光パターンで、近赤外光が表示部から出射されるので、ユーザの顔により一層均一に近赤外光を投光できる。なお、ここで言う均等分布の投光パターンとは、表示部の複数の領域間で完全に均等した分布だけを指すものではなく、各領域からの出射量に多少の差がある場合も含む概念である。
また、本発明における前記投光パターン決定手段は、前記表示装置から近赤外光が投光される領域である投光領域内の環境光による明るさの偏りを判断する第二の環境光判断手段を含み、その第二の環境光判断手段が前記明るさの偏りがあると判断した場合には、前記均等分布となる投光パターンに代えて、前記投光領域内で相対的に暗い領域ほど、出射させる近赤外光の光量が多くなるように投光パターンを決定することを特徴とする。
夕方における西日など、環境光が特定の方向から投光システム内に射し込む場合がある。この場合、投光領域内で明るさに偏りが生じる。本発明によれば、均等分布となる投光パターンに代えて、投光領域内で相対的に暗い領域ほど近赤外光の光量が多くなる投光パターンで、近赤外光が出射されるので、投光領域内の光のバランスを図ることができる。
また、本発明における表示装置は、車両の運転席前方に設けられた、前記車両に関する計測値を表示するメータ画像を表示する表示装置であることを特徴とする。
車両におけるメータ画像を表示する表示装置は、運転席前方のドライバの顔の近くに設けられているので、その表示装置に本発明を適用するとドライバの顔に比較的強い近赤外光を投光できる。また、ドライバは、近赤外光が投光されている間、表示装置に表示されたメータの計測値を確認することができる。
本発明の顔撮影システムは、本発明に係る投光システムと、前記ユーザの顔を含む領域を撮影する撮影手段と、を備えることを特徴とする。これによれば、近赤外光が均一に投光されたユーザの顔を撮影できるので、ユーザの顔が明瞭に写った撮影画像を得ることができる。
以下、本発明に係る投光システム及び顔撮影システムの実施形態を図面を参照しながら説明する。本実施形態では、車両のドライバを監視するドライバモニタシステムに本発明の投光システム及び顔撮影システムを適用した例について説明する。図1は、本実施形態のドライバモニタシステム1の概略構成のブロック図を示している。そのドライバモニタシステム1は、車両に設けられた既存の液晶表示装置10を利用する形で構成されている。その液晶表示装置10は、運転席前方のインストルメントパネル部(図示外)に設けられ、車両の車速やエンジン回転数等の計測値を指示する指針等をメータ画像として表示する表示装置である。
ここで、図2は、液晶表示装置10のパネル状の表示部11(図1参照)の表示状態を例示した図である。図2に示すように、表示部11の表示面110は、正面から見たときに車幅方向に細長い形状とされる。その表示面110の領域を左右に四分割(図2では、説明の便宜上、各領域の境界を点線で示している)したときに、図2では、真ん中の二つの領域110b、110cに各種画像が表示されている例を示している。具体的には、それら領域110b、110cのうち左側の領域110b(以下、第一のメータ表示領域という)には、エンジン回転数を指示するメータ画像31、エンジン水温を指示するメータ画像35及び平均燃費を指示するメータ画像33が表示されている。右側の領域110c(以下、第二のメータ表示領域という)には、車速を指針で指示するメータ画像32、車速の数値を示した車速画像34及び燃料残量を指示するメータ画像36が表示されている。また、エンジン回転数のメータ画像31と車速のメータ画像32との間の領域(第一のメータ表示領域110bと第二のメータ表示領域110cの境界付近の領域)には、シフトポジションを示したシフトポジション画像37及び次の右左折ポイントまでの距離等の道路情報を示した道路情報画像38が表示されている。
なお、各メータ表示領域110b、110cには、図2に例示した以外の画像も表示可能とされており、例えば、ナイトビューカメラによる撮影画像が表示されたり、先行車両に追突しそうな場合における警報など各種の警報が表示されたりする。すなわち、各メータ表示領域110b、110cに表示される画像の内容(表示コンテンツ)は時々刻々と変化する。なお、以下では、メータ表示領域110b、110cに描画される画像を「標準画像」ともいう。
また、図2では、表示面110の四分割の領域110a〜110dのうち左端の領域110a及び右端の領域110dには何も表示されていない例を示している。本実施形態では、ドライバの顔に投光する近赤外光の目標投光量に応じて、それら領域110a、110dの色合いが変化されるようになっている。つまり、それら領域110a、110dは、色合いが変化されることで、近赤外光の投光量を調整するための領域とされる。
液晶表示装置10は、一般的な液晶表示装置と同様の構造とされ、具体的には図1に示すように、パネル状の表示部11、その表示部11のバックライトとされる光源ユニット12、表示部11における液晶分子の向きを制御して表示部11に画像を描画する描画制御部13、描画制御部13で描画させる表示コンテンツを決定する表示コンテンツ制御部14及び表示部11の明るさを調整する明るさ調整部15を備えている。図3は、表示部11の詳細な構成を示した図であり、具体的には、表示部11の各構成の分解斜視図を示している。なお、図3には、光源ユニット12も図示している。また、図4は、光源ユニット12の断面図を示している。以下、図3、図4を参照して、表示部11及び光源ユニット12について詳細に説明する。
光源ユニット12は、表示部11に裏側から光を供給(入射)するバックライトであり、図3、図4に示すように、本実施形態では表示部11のエッジ側から光を入射するエッジライト型のバックライトとされている。その光源ユニット12は、光源部121及び導光板122を主として構成されている。光源部121は、赤色の光を発光する赤色LED121a、緑色の光を発光する緑色LED121b、青色の光を発光する青色LED121c及び近赤外光(700nm〜1000nmの波長の光)を発光する近赤外LED121dから構成されている(図4参照)。すなわち、光源部121は、表示部11に画像を描画するための可視光光源としてのRGB各色のLED121a〜121cに加えて、ドライバの顔に投光する近赤外光を発光する近赤外光源121dから構成されている。
本実施形態では、光源部121は、各LED121a〜121cがRGB各色の光を同時に同強度で発光することで、それらRGB各色の光が混色された白色光として光を発光するものとされている。また、白色光の発光と同時に、近赤外LED121dから近赤外光が発光されるように構成されている。したがって、光源部121からは、白色光に不可視光である近赤外光が含む形で発光されることになる。なお、光源部121は、各LED121a〜121cから発光させる光の強度(光量)を調整可能に構成されたとしてもよい。この場合には、各LED121a〜121cからの各光量に応じた色の光が発光されることになる。また、近赤外光の波長と赤色の光の波長が比較的近いことに鑑みて、近赤外LED121dに代えて、近赤外光が重畳される形で赤色の光を発光する赤色LEDを採用しても良い。また、その逆に近赤外光LEDにも可視光成分が混ざって見えるものもあり、近赤外光LEDの強度によっては、その赤成分を赤色LED強度から差し引くことにより、可視光成分の色純度(白色が白色に見える)を高めることができる。また、光源部121の光源は、近赤外光を発光できる光源であるのであれば、LEDに限られず、ハロゲン光源やEL(Electro_luminescence)など、他の種類の光源を採用してもよい。
光源部121からの光L3は導光板122に入射される。その導光板122は、表示部11の背面直下に設けられ、表示部11の面形状に合わされた板状部材である。導光板122は、アクリル等の導光性を有する材料で形成されており、入射された光L3を導光板122内全体に伝搬(導光)させる。図4に示すように、光源部121の周囲には、光源部121からの光L3を効率良く導光板122に入射させるためのカバー123が設けられている。また、導光板122の底面122aには、適当な間隔で複数の反射ドット124が形成されている。それら反射ドット124は、例えば白色インクで形成されており、導光板122内を伝搬した光L3の底面122aにおける反射角を変化させて、その光L3を導光板122の上面122b側に反射させるものである。このように、光源部121からの光L3は、導光板122内に伝搬されるとともに、各反射ドット124で反射されることにより導光板122の上面122b全体から出射される。なお、上記したように光源部121からの光には近赤外光が含まれているので、導光板122は、近赤外光も導光できる構造とされている。
導光板122は、表示部11の面形状に合わされた板状部材とされているので、光源部121からの光は表示部11の面全体に入射されることになる。このように、光源ユニット12は、導光板122を介して表示部11に光を入射するエッジライト型とされているが、表示部11の背面直下に直接光源部が設けられる直下型の光源ユニットを採用してもよい。
表示部11は、一般的な液晶の表示部と同様の構造とされ、具体的には図3に示すように、裏側から順に、第一の偏光板111、アレイ基板112、液晶層113、カラーフィルタ基板114及び第二の偏光板115の積層構造とされている。また、アレイ基板112上には、画素におけるRGBの各色に対応したサブ画素に電圧を加えるためのサブ画素電極112a及び配向膜112bが形成されている。また、カラーフィルタ基板114上には、各画素に共通に電圧を加えるための共通電極114a及び配向膜114bが形成されている。それら配向膜112b、114bは、ネマティック液晶等の液晶で構成された液晶層113に電圧が加えられていない状態において、液晶の液晶分子を特定の方向に整列させるものである。また、偏光板111、115は、光源ユニット12からの光のうち特定の振幅成分を持つ光(偏光)だけを通過させるものである。なお、それら偏光板111、115の配置方向に応じて、電圧の無印加状態で明表示(白表示)のノーマリーホワイトモードとされたり、暗表示(黒表示)のノーマリーブラックモードとされたりする。なお、液晶層113は、光源ユニット12からの近赤外光を吸収しにくい液晶で構成されている。
カラーフィルタ基板114上には、上記した共通電極114a、配向膜114bの他に、各画素に対応したRGBのカラーフィルタが形成されている。ここで、図5は、カラーフィルタ基板114上にカラーフィルタ116が形成された状態を示しており、より具体的には、カラーフィルタ116の配置例の各種態様を示している。図5(a)では、赤色の光を通過させる赤色カラーフィルタ116a、緑色の光を通過させる緑色カラーフィルタ116b及び青色の光を通過させる青色カラーフィルタ116cが、ストライプ状に配置された例を示している。また、図5(b)は、各色のカラーフィルタ116a〜116cが縦及び横に配置された例を示している。また、図5(c)は、各色のカラーフィルタ116a〜116cが、隣接するカラーフィルタ116a〜116cでトライアングル状(デルタ状)となるように配置された例を示している。このように、本発明においても図5に示す一般的なカラーフィルタの配置を採用することができる。
なお、互いに隣接する一組のカラーフィルタ116a〜116cの領域で一の画素を構成する。また、一の画素のうち、各カラーフィルタ116a〜116cの領域がサブ画素とされる。図3のサブ画素電極112aは、各サブ画素ごとに形成されている。
図6は、各カラーフィルタ116a〜116cの特性を示している。具体的には、横軸が光の波長、縦軸が各カラーフィルタ116a〜116cを通過する光の強度(透過率)のグラフを示している。そして、そのグラフにおいて、赤色カラーフィルタ116aの特性を示したライン131a、緑色カラーフィルタ116bの特性を示したライン131b及び青色カラーフィルタ116cの特性を示したライン131cを図示している。なお、図6には、近赤外光のスペクトル141も図示している。図6の各フィルタのライン131a〜131cが示すように、各カラーフィルタ116a〜116cでは、それぞれ対応する色の光の波長領域で透過率が大きくなっている。また、赤色カラーフィルタ116aのライン131aが示すように、赤色カラーフィルタ116aでは、赤色の光の波長領域(600nm〜700nmの波長)に加えて、近赤外光の波長領域(スペクトル141参照)でも光の透過率が大きくなっている。つまり、赤色カラーフィルタ116aは、赤色の光に加えて、近赤外光も通過できるように構成されている。
以上のようにして構成された表示部11では、サブ画素電極112aと共通電極114aの間に電圧が印加されることで、それら電極112a、114a間の液晶層113の液晶分子の向きが変化する。また、そのときの液晶分子の向きは、印加された電圧の大きさに応じた向きとされる。このように、電圧が印加されるサブ画素電極112aや電圧の大きさが制御されることで、各画素の各サブ画素から出射される各色の光量が制御される。その結果、表示部11の表示面110(図2参照)に各種のカラー画像が描画されることになる。また、光源ユニット12からの光に含まれた近赤外光は、赤色カラーフィルタ116aを介して表示部11から出射されることになる。そのため、赤色カラーフィルタ116aに対応したサブ画素電極112aに印加する電圧を制御することで、表示部11から出射される近赤外光の出射位置や光量を制御することができる。なお、近赤外光の出射にともなって赤色の光も出射されることになるので、表示部11の表示面110には、赤色の光で生成される画像(赤系画像)が描画されることになる。
なお、特開2010−66751号公報に記載のように、近年、近赤外光を吸収する近赤外線吸収フィルタが液晶表示装置に設けられることがあるが、本発明の液晶表示装置10にはそのような近赤外線吸収フィルタは設けられていない。
図1の説明に戻り、上記した表示部11の制御(液晶分子の向きの制御)は描画制御部13によって行われる。つまり、描画制御部13は、電圧を印加する電極112a、114aや電圧の大きさを制御することで、表示部11に各種の画像を描画する。また、描画制御部13は、明るさ調整部15からの信号に基づいて、表示部11に描画される画像の明るさが変更されるように、表示部11を制御する。例えば、表示部11をより明るくする場合には、描画制御部13は、表示部11の各画素から出射される光量を増加させる方向に、液晶層113の液晶分子の向きを調整する。明るさ調整部15は、例えばヘッドライトのオンオフスイッチであったり、ユーザが明るさを設定可能な設定スイッチであったりする。例えば、夜間にヘッドライトがオンされた場合には、描画制御部13は、メータ画像の視認性を向上させるために、描画するメータ画像の明るさ(輝度)を調整(小さく)している。
さらに、描画制御部13は、ドライバの顔に近赤外光を投光するために、表示部11から出射させる近赤外光の光量や、表示部11のどの領域から出射させるかなどの制御も行う。その制御に関する処理は本発明の特徴でもあるので、後に詳細に説明する。
描画制御部13によって描画させる画像は、表示コンテンツ制御部14によって決定される。その表示コンテンツ制御部14は、各時点(各場面)における描画制御部13に描画させる画像の内容(表示コンテンツ)を決定する部分であり、具体的には、例えば上記した各種のメータ画像(図2参照)を決定する。この場合、表示コンテンツ制御部14は、計測値を指示する前の基本メータ画像(例えば、図2のエンジン回転数を指示するメータ画像31にあっては、メータ枠に沿って目盛が示された画像)を予めメモリ(図示外)に記憶しておく。そして、エンジン回転数などの物理量を計測するセンサ(図示外)からの計測値を取得する。そして、メモリに記憶された基本メータ画像に対して取得した計測値を反映させた(計測値を指示した)メータ画像を生成する。そして、表示コンテンツ制御部14は、その生成したメータ画像の情報(表示部11のどの領域に描画させるかを示した情報も含む)を描画制御部13に送信して、描画制御部13にメータ画像を描画させる。
なお、上記したように、表示部11には、メータ画像の他にも、ナイトビューカメラによる撮影画像や各種の警報も描画されるので、表示コンテンツ制御部14は、例えばナイトビューカメラの起動スイッチ(図示外)がユーザに操作された場合には、ナイトビューカメラによる撮影画像を取得する。そして、表示コンテンツ制御部14は、その撮影画像を描画制御部13に送信して表示部11に描画させる。
以上のように、ドライバモニタシステム1は、ドライバの顔に近赤外光を投光する投光器としても機能する液晶表示装置10を備える形で構成されるが、ドライバモニタシステムとしての本来の構成も備えている。具体的には、ドライバモニタシステム1は、図1に示すように、撮像部21、カメラ制御部22、画像処理部23、状態推定部24、アクチュエーション制御部25、注意喚起/警報手段26、撮像/投光条件設定部27及び近赤外LED発光制御部28を備えている。
撮像部21(カメラ)は、CCDイメージセンサやCMOSイメージセンサ等の撮像素子から構成され、撮像部21前方の領域を撮影するものである。その撮像部21は、ドライバの顔を撮影できる位置、具体的には例えばステアリングコラム(図示外)の上面に設けられる。つまり、撮像部21は、ドライバの顔を撮影するものである。また、撮像部21には、外部からの可視光をカットする可視光カットフィルタ(図示外)が設けられている。そのため、撮像部21には近赤外光等の可視光以外の光が取り込まれ、その結果、撮像部21で撮影された撮影画像は白黒写真とされる。
なお、液晶表示装置10の第二の偏光板115と異なる方向の偏光板を撮像部21側(撮像部21のレンズ部分)に設けてもよい。液晶表示装置10からの近赤外光は、第二の偏光板115に応じた振幅成分に偏光された光とされるが、撮像部21側にも偏光板を設けることで、他の振幅成分の光の撮像部21への取り込みを排除できる。よって、SNの高い撮影画像を得ることができる。なお、液晶表示装置10からの近赤外光は、ドライバに当たって反射されるときに散乱されるものの、例えば眼鏡に当たった場合など、偏光された近赤外光がその偏光された状態で撮像部21に向かう場合もある。よって、撮像部21側にも偏光板を設けることは効果的である。
また、上記の偏光板の考え方と逆で、液晶表示装置10からの近赤外光が撮像部21に直接入射しないように、撮像部21を第二の偏光板115で偏光された光を排除する構造にしてもよい。これによって、液晶表示装置10からの近赤外光が撮像部21に直接入射されることを防止でき、ドライバに当たって散乱された近赤外光だけを撮像部21に取り込むことができる。また、運転席の前方に設けられたステアリングパッド(図示外)を、近赤外光を吸収する表面材質で形成してもよい。これによって、近赤外光がステアリングパッドで反射されて撮像部21に取り込まれるのを防止できる。
カメラ制御部22は、撮像部21のゲインやシャッター時間等、撮像部21の動作を制御する部分である。そのカメラ制御部22は、後述する撮像/投光条件設定部27によって設定された条件(ゲイン、シャッター時間等)にしたがって、撮像部21を制御している。
画像処理部23は、撮像部21で撮影された撮影画像をカメラ制御部22を介して取得し、その撮影画像に基づいて、所定の画像処理を実行する部分である。具体的には、画像処理部23は、撮影画像中に含まれるドライバの顔に対応する顔領域を抽出する抽出処理を実行する。抽出処理としては、例えば、予めメモリ(図示外)に記憶された、顔を構成する口、目、鼻などの各顔部品の特徴(形状情報や画素値情報)と、撮影画像中の各領域の特徴とを比較することで、顔領域を抽出する処理が挙げられる。なお、顔領域を抽出する処理は公知であるので、ここでは詳細な説明は割愛する。また、画像処理部23は、顔領域の抽出の他にも、撮影画像中の画素値情報やコントラスト情報を算出するなど各種の画像処理を実行する。
状態推定部24は、画像処理部23によるドライバの顔の認識結果に基づいて、ドライバがどのような状態にあるのかを推定する部分である。具体的には、状態推定部24は、例えばドライバの顔向きを推定したり、眼の開度を推定したりする。ドライバの顔向きを推定する方法としては、例えば、抽出した顔領域における顔部品の対称性に基づいて推定する方法が挙げられる。また、眼の開度を推定する方法としては、眼に対応する眼領域の上下瞼の距離に基づいて推定する方法が挙げられる。
アクチュエーション制御部25は、状態推定部24による推定結果に基づいて、必要に応じて警告等をする部分、換言すると後述する注意喚起/警報手段26の動作を制御する部分である。例えば、アクチュエーション制御部25は、ドライバの顔向きに基づいてドライバが脇見運転をしていると判断される場合や、ドライバの眼の開度に基づいてドライバが居眠り運転をしていると判断される場合には、注意喚起/警報手段26を駆動して、ドライバに注意喚起をしたり警報を発したりする。その注意喚起/警報手段26は、例えばブザー(スピーカ)であったり、運転席を振動させる振動装置であったりする。なお、アクチュエーション制御部25は、警告をする場合には、表示コンテンツ制御部14に指示をして、液晶表示装置10に警告メッセージを表示するようにしてもよい。
撮像/投光条件設定部27は、画像処理部23による処理結果に基づいて、ドライバの顔を最適に認識できるように、撮像部21による撮像条件(ゲインやシャッター時間等)や液晶表示装置10による近赤外光の投光条件(投光量や投光バランス等)を設定する部分である。具体的には、撮像/投光条件設定部27は、例えば撮像部21による撮影画像の画素値が低い場合には、ゲインを大きくしたり露光時間を長くしたりするなど、撮影画像の画素値を高くする条件を設定する。さらに、撮像/投光条件設定部27は、液晶表示装置10からの近赤外光の投光バランスを最適にするための処理も行っている。具体的には、周囲の環境光(太陽光等)による近赤外光が投光される投光領域の明るさの偏りを判定し、その判定結果を後述する近赤外LED発光制御部28に送信する。なお、そのときの処理の詳細は後述する。
近赤外LED発光制御部28は、撮像/投光条件設定部27にて設定された条件(特に、近赤外光の投光に関する条件)を満足するように、表示部11から出射させる近赤外光の条件を設定する部分である。具体的には、近赤外LED発光制御部28は、撮像/投光条件設定部27による設定条件や判定結果(明るさの偏りの判定結果)に基づいて、表示部11のどの領域からどの程度の近赤外光を出射させるか、すなわち、出射させる近赤外光の光量(パワー)や出射させる位置(投光パターン)を設定する。なお、その条件を設定するときの処理の詳細は後述する。
以上で説明した各処理部13、14、22〜28は、それぞれ、CPU、ROM、RAM等から構成される。そして、各CPUが、ROMに予め記憶されたプログラムにしたがった処理を実行することで、上記の各動作がなされるようになっている。
なお、ドライバモニタシステム1は、図1に示すように、液晶表示装置10とは別に、近赤外光を発光する近赤外LEDで構成された専用の投光器29(補助投光器)を備えていてもよい。補助投光器29は、表示部11に描画する画像の都合上、液晶表示装置10だけでは近赤外光の目標投光量を確保できない場合に、補助的に近赤外光を投光するものである。
次に、ドライバモニタシステム1が実行する、液晶表示装置10からドライバの顔に近赤外光を投光する近赤外光投光処理について説明する。図7は、近赤外光投光処理のフローチャートを示している。この図7のフローチャートの処理は、例えば車両のエンジン始動と同時に開始され、その後エンジンが停止されるまで繰り返し実行される。なお、処理開始時における撮像部21の撮像条件(ゲイン、シャッター時間等)及び液晶表示装置10による近赤外光の投光条件(投光量や投光バランス等)は、予め定められた条件が用いられる。
先ず、カメラ制御部22からの指示に基づいて、撮像部21でドライバの顔が撮像される(S11)。次いで、画像処理部23によって、S11で撮像した撮影画像に基づいて、画素値やコントラストなどの撮影画像の明るさに関する情報(以下、明るさ情報という)が算出される(S12)。次いで、撮像/投光条件設定部27によって、S12で算出された明るさ情報に基づいて、撮影画像がドライバの顔を認識する画像として適正か否かが判断される(S13)。具体的には、撮影画像の明るさ情報が予め定められた適正範囲に含まれているか否かが判断される(S13)。明るさ情報が適正範囲に含まれている場合には(S13:Yes)、撮影画像が適正であるとして、S11の処理に戻る。この場合には、今回の投光条件が維持されて、次の撮像が行われる(S11)。
S13において、撮影画像の明るさ情報が適正範囲に含まれていない場合には(S13:No)、撮影画像が適正でないとして、S14の処理に進む。S14では、近赤外LED発光制御部28によって、撮影画像が適正となる近赤外光の投光量(目標投光量)が算出される(S14)。具体的には、例えば各明るさ情報に対してどの程度投光量を変更すれば撮影画像が適正となるかを示した情報(以下、投光量情報という)が予めメモリに記憶されている。ドライバモニタシステム1においては、投光される近赤外光以外の環境光は外乱(ノイズ)とされる。つまり、周囲の明るさ(環境光)が明るいほど投光された近赤外光の影響が減殺されてしまう。そのため、上記の投光量情報は、例えば、例えば明るさ情報で示される明るさが大きいほど目標投光量が大きくなる情報とされている。そしてS14では、今回の明るさ情報(S12で算出した明るさ情報)に対応する投光量の変更量がその投光量情報から読み取られる(S14)。そして、今回の投光量に読み取られた変更量を加算することで、次回の目標投光量が算出される(S14)。また、近赤外光の投光条件は、撮像部21の撮像条件(ゲインやシャッター時間等)によっても変わってくるので、S14では、その撮像部21の撮像条件に応じて目標投光量が適宜補正される。なお、S14の処理は、撮像/投光条件設定部27が実行してもよい。
なお、S14では、撮影画像に基づいて環境光による明るさが考慮された目標投光量を算出する例について説明したが、明るさ調整部15(図1参照)からのヘッドライトのオンオフ信号も考慮して、目標投光量を算出するようにしてもよい。具体的には、ヘッドライトがオンの場合には、夜間など周囲が暗い場合であり、この場合にはメータの照明が眩しくならないように暗くする必要があるので、ヘッドライトのオフの場合に比べて小さい目標投光量(例えば、予め定められた割合だけ目標投光量を小さくする)を算出する。ただし、不可視光である近赤外光は相対的に大きくなるように制御しても良い。
次いで、表示部11のどの位置(領域)から近赤外光を出射させるかを示した投光パターンが算出される(S15)。ここで、図8は、S15の処理の詳細のフローチャートを示している。先ず、撮像/投光条件設定部27によって、表示部11から投光される近赤外光の投光領域内における環境光による明るさの偏りが判定される(S151)。具体的には、環境光による明るさの偏りとして、撮影画像中の領域間の画素値の偏りが算出される(S151)。ここでは、画素値の偏りとして、撮影画像の顔領域を左右に2等分したときに、左の領域の画素値C1と右の領域の画素値C2とが比較される(S151)。なお、各領域の画素値C1、C2は、例えば各画素の画素値の平均値や積算値が用いられる。例えば、左の領域の画素値C1と右の領域の画素値C2が一致(C1=C2、ただし厳密に一致しなくてもある程度の差ΔCを持った一致、つまりC1−C2<ΔCでもよい)しているときには、環境光による明るさに偏りが生じていないと判定される(S151)。これに対して、撮影画像の左の領域の画素値C1と右の領域の画素値C2とが一致していない場合には、全体の画素値(C1+C2)に対する画素値C1の割合D1(=C1/(C1+C2))及び画素値C2の割合D2(=C2/(C1+C2))が、環境光による明るさの偏りとして判定(算出)される(S151)。例えば、夕方における西日など、環境光が特定の方向から車両に射し込む場合には、その環境光が射し込む方向に応じた偏りが判定されることになる。
なお、S151では、撮影画像の顔領域の左右の領域間の偏りを判定する例について説明したが、顔領域の上下の領域間など、どの領域間の偏りを判定してもよい。また、S151では、撮影画像に基づいて投光領域の明るさの偏りを判定する例について説明したが、日射センサ等の光を検出する光センサでその判定を行ってもよい。
次いで、近赤外LED発光制御部28によって、S151で判定された明るさの偏りに応じた投光パターンが決定される(S152)。具体的には、投光パターンとして、例えば、表示部11の表示面110を左右に2等分したときの左側の領域(図2の領域110a+領域110b)からの投光量と右側の領域(図2の領域110c+領域110d)からの投光量との比が算出される(S152)。換言すると、全体の投光量に対する左側の領域110a、110bからの投光量の割合R1及び右側の領域110c、110dからの投光量の割合R2が算出される(S152)。
それら割合R1、R2として、具体的には、先のS151で明るさに偏りが生じていないと判定された場合には(C1:C2=1:1)、左の割合R1=50%、右の割合R2=50%が算出される(S152)。つまり、均等分布の投光パターンが決定される(S152)。これに対して、先のS151で明るさに偏りが生じていると判定された場合には、先のS151で算出された画素値C1、C2の割合D1、D2が小さいほど大きい割合R1、R2(逆に言うと、割合D1、D2が大きいほど小さい割合R1、R2)が算出される(S152)。このように、S152では、投光領域内で相対的に暗い領域に投光する表示部11(表示面110)の領域ほど相対的に投光量が多くなるように投光パターンが決定される(S152)。S152の処理の後、図8のフローチャートの処理が終了されて、図7のフローチャートの処理に戻る。
図7において、次いで、描画制御部13が表示部11のメータ表示領域110b、110c(図2参照)に描画しようとする標準画像(メータ画像やナイトビューカメラによる撮影画像等)による近赤外光の投光量が、先のS14で算出された目標投光量を満足するか否かが描画制御部13によって判断される(S16)。具体的には、先ず描画しようとする標準画像中にどの程度の赤系画像(赤色の光で生成される画像)が含まれているかに基づいて、その標準画像による近赤外光の投光量が算出される(S16)。そして、その近赤外光の投光量と目標投光量とが比較される(S16)。
標準画像(表示コンテンツ)による投光量が目標投光量を満足する場合には(S16:Yes)、S11の処理に戻る。この場合には、今回の投光条件が維持されて、次の撮像が行われる(S11)。これに対して、標準画像(表示コンテンツ)による投光量が目標投光量を満足しない場合には(S16:No)、S17の処理に進む。S17では、標準画像の描画を保持しつつ目標投光量を満足するように、表示部11(表示面110)の左右端の領域110a、110d(背景領域)の背景色が描画制御部13によって決定される(S17)。具体的には、先ず、目標投光量と標準画像による投光量の差(不足投光量)が算出される(S17)。次いで、その不足投光量のうち、各領域110a、110dに割り当てられる投光量が、先のS15で決定された投光パターン(割合R1、R2)にしたがって算出される(S17)。具体的には、左の領域110aには「不足投光量×R1」が、右端の領域110dには「不足投光量×R2」が割り当てられる。次いで、各領域110a、110dごとに、割り当てられた不足投光量に応じた背景色が決定される(S17)。具体的には、不足投光量と背景色との関係が予めメモリに記憶されており、その関係にしたがって今回の不足投光量に対応する背景色が決定される(S17)。出射される近赤外光が増加するほど表示部11から出射される赤色の光が増加するので、S17では、不足投光量が大きいほど赤色の純度が高くなる背景色が決定されることになる。
次いで、前回に背景色の色合いが変化されてからの経過時間tが所定の閾値Tth以上か否かが描画制御部13によって判断される(S18)。その経過時間tは、後述するS22による計測時間が使用される。また、閾値Tthは例えば数秒に設定されている。経過時間tが閾値Tth未満の場合には(S18:No)、S11の処理に戻る。この場合には、背景色を変化させないで、現在の背景色が維持されて、次の撮像が行われる(S11)。このようにしているのは、撮像する毎に背景色が変化するのは、ドライバの注意散漫に繋がるためである。
その後、経過時間tが閾値Tth以上となった場合には(S18:Yes)、S19の処理に進む。S19では、S17で決定された背景色にするまでの背景色の色合いの変化量が所定の閾値Pth以上か否かが描画制御部13によって判断される(S19)。具体的には、先ず、現在の背景色の色合いと目標の背景色(S17で決定された背景色)の色合いの差(色合いの変化量)が算出される(S19)。そして、その色合いの差と閾値Pthとが比較される(S19)。色合いの変化量が閾値Pth未満の場合には(S19:No)、表示部11の左右端の領域110a、110dの背景色が、S17で決定された値(背景色)に変化される(S20)。これに対して、色合いの変化量が閾値Pth以上の場合には(S19:Yes)、表示部11の左右端の領域110a、110dの背景色が、S19の閾値Pth分の色合いだけ変化される(S21)。つまり、今回のS21では、S17で決定された値(背景色)まで一気に変化されないことになる。この場合、次回以降の処理で、最終的にS17で決定された値(背景色)とされる。このように、目標の背景色の色合いまで徐々に色合いが変化されることになるので、急激に背景色が変化されるのを防止でき、表示部11の表示を違和感の無いようにできる。
ここで、図9は、S20又はS21による表示部11の表示面110の描画状態を例示した図である。具体的には、図9(a)は、昼間など周囲が明るいときの状態を示した図であり、図9(b)は、夜間など周囲が暗いときの状態を示した図であり、図9(c)は、夕方における西日の場合など環境光によって周囲の明るさに偏りが生じているときの状態を示した図である。なお、図9では、左右端の領域110a、110dの色の濃さによって、背景色(赤系画像)の色の濃さを表している。また、図9では、メータ表示領域110b、11cには、図2と同じ標準画像31〜38が描画されている例を示している。
図9(a)、図9(b)に示すように、周囲の明るさに偏りが生じていない場合には、左右端の領域110a、110dには、それぞれ同じ色合いの背景色画像が描画される。つまり、図9(a)における背景色画像51、52は互いに同じとされ、図9(b)における背景色画像53、54は互いに同じとされる。これによって、標準画像31〜38及び背景色画像51〜54による近赤外光の投光量を、表示面110の左側の領域(領域110a+領域110b)と右側の領域(領域110c+領域110d)とで同程度とすることができる。よって、ドライバの顔に均一に近赤外光を投光できる。
一方、図9(a)と図9(b)を比較すると、周囲が明るい図9(a)の背景色画像51、52のほうが、周囲が暗い図9(b)の背景色画像53、54よりも濃い色合いの画像とされている。すなわち、周囲が明るいほど、表示部11から出射される近赤外光の投光量が多くされている。これによって、外乱とされる環境光による影響を抑制できる。なお、図9(a)、図9(b)は、先に説明したS15で、明るさに偏りが生じていないと判定された場合に対応している。
また、図9(c)に示すように、周囲の明るさに偏りが生じている場合には、左端の領域110aの背景色画像55と右端の領域110dの背景色画像56とは、互いに異なる色合いの画像とされている。なお、図9(c)の例では、左端の領域110aの背景色画像55のほうが右端の領域110dの背景色画像56よりも濃い色合いの画像とされている。つまり、図9(c)の例では、左端の領域110aから出射される投光量のほうが、右端の領域110dから出射される投光量よりも多くされている。これは、右端の領域110d側から環境光(太陽光)が射し込んだ状態を想定し、それによる明るさの偏りを考慮したものである。これによって、環境光が特定の方向から射し込んだ場合であっても近赤外光を均一に投光できる。なお、図9(c)の場合は、先に説明したS15で、明るさに偏りが生じていると判定された場合に対応している。
図7の説明に戻り、S20又はS21の処理の後、今回の背景色の変化からの経過時間tの計測が開始される(S22)。なお、その計測は、例えば描画制御部13によって行われる。この場合、描画制御部13はタイマ(図示外)を備えている。その後、S11の処理に戻って、変化後の背景色で、すなわち目標投光量の近赤外光がバランス良く投光された状態で次の撮像が行われる(S11)。
以上説明したように、本実施形態では、目標投光量に応じて背景色の色合いが調整されるので、目標投光量の近赤外光をドライバの顔に投光できる。また、環境光によって明るさに偏りが生じていない場合には、表示部11から均一に近赤外光が出射されるので、ドライバの顔に近赤外光を均一に投光できる。また、環境光によって明るさに偏りが生じている場合には、その偏りに応じて近赤外光の出射バランスが変化されるので、その偏りの影響を抑制できる。また、液晶表示装置10には通常の標準画像(メータ画像等)が表示されているので、ドライバは、通常どおりに車速やエンジン回転数などの情報を把握できる。
なお、本発明の投光システム及び顔撮影システムは上記実施形態に限定されるものではなく、特許請求の範囲の記載を逸脱しない限度で種々の変形をすることができる。例えば、上記実施形態では、画像を描画するためのRGBの光源と近赤外光の光源とを同じ場所に設けられた例について説明したが、図10に示すように、近赤外光の光源70をRGBの光源71と別の場所に設け、メータ60のメータガラス62に反射させて近赤外光を投光してもよい。具体的には、近赤外光の光源70を水平設置されたメータ60のフード61に設ける。メータガラス62は、近赤外光の光源70に対して斜めに設けられており、ハーフミラーとされている。なお、メータ画像等の画像を描画するためのRGBの光源71は、通常どおりにメータガラス62の内側に設けられている。近赤外光の光源70からの光L4は、ハーフミラーのメータガラス62に向かって進行し、そのメータガラス62に反射される。その反射光L5がドライバの顔に投光される。なお、RGBの光源71からの光L6は、画像を示した画像光として、ハーフミラーのメータガラス62を透過することになる。これによって、表示装置で表示する画像の内容に関わらず、近赤外光の投光量を調整しやすくできる。また、上記実施形態と同様に、表示装置の表示面(メータガラス62)から近赤外光を投光できるので、ドライバの顔に均一に近赤外光を投光できる。
また、上記実施形態では、表示部11の表示面110を左右に四分割した例について説明したが、表示面110をどのように分割してもよい。表示面110の分割数を多くすれば、より細かく、近赤外光の投光を制御できる。また、上記実施形態では、表示面110の真ん中の二つの領域110b、110cにメータ画像等の標準画像が描画される例について説明したが、標準画像は、左右端の領域110a、110dに描画されたとしてもよい。また、標準画像が描画される領域と補助画像(背景色画像)が描画される領域とは、明確に区分されていなくてもよく、同じ領域にそれら標準画像、補助画像を混在させて描画してもよい。
また、上記実施形態では、不足投光量に相当する補助画像として背景色画像の例について説明したが、他の画像で不足投光量を補ってもよい。他の画像としては、例えば、丸、三角、四角等の簡単な図形画像、イラスト画像、メッセージ画像が挙げられる。また、上記実施形態では、液晶表示装置に本発明を適用した例について説明したが、光源を有する他の表示装置(プラズマディスプレイなど)に本発明を適用してもよい。なお、プラズマディスプレイに本発明を適用する場合、近赤外光が発光されるようにプラズマの生成(放電)を制御する必要がある。また、上記実施形態では、メータ画像を表示する表示装置に本発明を適用した例について説明したが、例えば運転席と助手席の間のコントロールパネルに設けられたナビ画面を表示する表示装置に本発明を適用してもよい。また、入退室管理に使う顔認証システムやTV電話、TVドアホン、パーソナルコンピュータ等のようなカメラと照明及び表示器が一体化された製品にも適用可能である。
また、上記実施形態では、近赤外光も通過できる赤色カラーフィルタ116aを採用し、その赤色カラーフィルタ116aを介して近赤外光を表示部11から出射させていたが、RGBのカラーフィルタとは別に、近赤外光を通過する専用の近赤外光フィルタを設けてもよい。この場合、具体的には、カラーフィルタ基板114(図3参照)に近赤外光フィルタを画素ごとに形成する。これによって、描画する画像の内容にかかわらず、近赤外光を表示部11から出射させやすくできる。ただし、この場合には、近赤外光フィルタによってRGBのカラーフィルタの占有面積が減少して、描画されるカラー画像の色純度が多少犠牲にされる。
また、上記実施形態では、赤色カラーフィルタ116aを介して近赤外光を投光していたが、緑色カラーフィルタ116bや青色カラーフィルタ116cから近赤外光を投光しても良い。この場合には、それらカラーフィルタ116b、116cを近赤外光も通過できるように構成する必要がある。また、緑色カラーフィルタ116bから近赤外光を投光する場合には、同時に緑色の光を通過されるので、表示部11には緑色の光を含む光で生成される画像が描画されることになる。同様に、青色カラーフィルタ116cから近赤外光を投光する場合には、青色の光を含む光で生成される画像が表示部11に描画されることになる。
また、上記実施形態では、メータ全面に液晶表示装置を用いた例について説明したが、従来型のメータ(表示面にメータ枠や目盛が印刷され、そのメータ枠の内側に指針が配置されたメータ)の一部に小型の液晶表示装置を設け、その小型の液晶表示装置から近赤外光を投光しても良い。また、上記実施形態では、RGBの各色が混色されたカラー画像を描画する液晶表示装置を用いた例について説明したが、単色(例えば、オレンジ単色、白色単色など)の画像を描画する液晶表示装置にも適用することができる。この場合には、液晶表示装置の表示部の各画素には単色のフィルタが配設されることになるので、そのフィルタを近赤外光も通過できるように構成する必要がある。これによって、単色の画像を描画しつつ、その画像を構成する各画素から近赤外光を投光できる。
また、上記実施形態では、表示部に描画する標準画像や背景色画像(補助画像)を制御することで近赤外光の投光量を調整していたが、光源ユニットから発光される近赤外光のパワーを制御することで、近赤外光の投光量を調整しても良い。例えば近赤外光のパワーを大きくすれば、表示部に描画する画像が同一であってもフィルタを通過する近赤外光の光量を増加させることができる。よって、簡易に目標投光量の近赤外光を投光できる。なおこの場合、図1の描画制御部13が光源ユニット12(近赤外LED121d)のパワーを直接制御し、又は近赤外LED発光制御部28が光源ユニット12(近赤外LED121d)のパワーを制御する。この場合、描画制御部13又は近赤外LED発光制御部28が本発明の「光源パワー制御手段」に相当する。
また、上記実施形態では、背景色画像の色合いを調整することで不足投光量を補っていたが、背景色画像の色合いの調整と同時に、又はその調整に代えて、標準画像(メータ画像など)の色合いを調整して不足投光量を補っても良い。この場合には、標準画像としての機能が損なわれない色調整可能範囲内で、標準画像の色合いを調整する。これによって、より一層、目標投光量の近赤外光を投光しやすくできる。
また、表示装置本来のHMI(Human Machine Interface)機能として、ユーザのイライラを落ち着かせたり漫然状態から脱するように表示装置の表示部全体を寒色系や暖色系に変化させる要求が出ることがある。この場合には、近赤外光の目標投光量と相反する場合があるが、描画制御部13が両方の要求を調停して、変化させる寒色系や暖色系の色合いを決定する。具体的には、例えば、目標投光量と寒色系の色合いとの対応関係又は目標投光量と暖色系の色合いとの対応関係を予めメモリに記憶しておく。そして、今回の目標投光量に対応する色合いをメモリに記憶された対応関係から決定する。そして、描画制御部13は、決定された色合いの寒色系又は暖色系に変化させる。
なお、上記実施形態において、描画制御部13が本発明の「描画制御手段」に相当する。図7のS14の処理を実行する撮像/投光条件設定部27及び近赤外LED発光制御部28が本発明の「投光量設定手段」及び「第一の環境光判断手段」に相当する。図7のS16の処理を実行する描画制御部13が本発明の「投光量判断手段」に相当する。図7のS22の処理を実行する描画制御部13が本発明の「計時手段」に相当する。図7のS18の処理を実行する描画制御部13が本発明の「経過時間判断手段」に相当する。図7のS15の処理を実行する撮像/投光条件設定部27及び近赤外LED発光制御部28が本発明の「投光パターン決定手段」に相当する。図8のS151の処理を実行する撮像/投光条件設定部27が本発明の「第二の環境光判断手段」に相当する。撮像部21が本発明の「撮影手段」に相当する。