JP2019001226A - 電子ミラー装置 - Google Patents

Abstract

【課題】 雪道走行に適した輝度制御を行うことができる電子ミラー装置を提供する。【解決手段】 電子ミラー装置１００は、ハーフミラー１６２の前面にカラーセンサー１２０を備える。電子ミラー装置１００は、カラーセンサー１２０に入射された光のＲＧＢ値と、撮像部１１０により撮像された撮像データの雪面推定領域のＲＧＢ値とを比較し、両者が一致したとき、車両が雪面を走行していると判定する。そして、車両が雪面を走行していると判定された場合には、雪面からの反射光が車内に入ってきているので、バックライト１６６の輝度を上げる制御を行う。【選択図】 図１

Description

本発明は、車両に搭載される電子ミラー装置に関し、特に電子ミラー装置の輝度制御に関する。

従来のルームミラーの代替として電子ミラーが提案されている。電子ミラーは、撮像カメラにより車両後方を撮像し、その撮像された映像を液晶等のディスプレイに表示したり、後方の接近車両に対する警告等を表示したり、多彩な表現が可能である。このような電子ミラーを用いることで、光学式のルームミラーの死角や夜間の視認性の悪さを改善することができる。

電子ミラーのディスプレイの輝度制御に関しては、様々な技術が提案されている。例えば、特許文献１は、車載カメラによって車外の明るさを判定し、当該判定結果に基づき電子ミラーの輝度を制御している。特許文献２は、外部から取得した天候情報や時刻情報に基づき電子ミラーの輝度を調整している。

特開２０１０−１７３３４４号公報 特開２００７−４３５３３号公報

図７（Ａ）は、通常の路面を走行するときの電子ミラーの動作を示している。天井１に電子ミラー２が設置され、電子ミラー２は、例えば、バックライト３、液晶ディスプレイ４およびハーフミラー５を積層して構成される。夜間等の周囲が暗いとき、ハーフミラー５は透過窓として機能し、運転者Ｕは、ハーフミラー５を介して液晶ディスプレイ４に表示された車両後方を撮像画像を見ることができる。また、昼間等の周囲が明るいとき、ハーフミラー５は反射ミラーとしても働き、運転者Ｕは、ハーフミラー５によって反射した車両後方の風景を見ることができ、同時に、液晶ディスプレイ４に表示された警告等の画像を反射像に重畳して見ることができる。通常の路面を走行するとき、昼間であっても、天井１は暗いため、運転者Ｕの後方の天井１の明るさは、ハーフミラー５には映り込まない。

図７（Ｂ）は、雪道を走行するときの電子ミラーの動作を示している。雪道を走行するとき、太陽光が雪面で反射されると、その反射光が車内に入り込み、運転者Ｕの後方の天井１が明るくなることがある。天井１が明るくなると、その明るさがハーフミラー５に映り込み、運転者Ｕは、ハーフミラー５の映像を見難くなる。特に、晴天でありながら、残雪がある場合には、太陽光の乱反射が多く、その一部が天井１に強く入射される。このような場合、バックライト３の輝度を上げることで、相対的に天井１側の明るさを暗くし、天井１の光の映り込みを軽減することが可能である。しかしながら、従来の電子ミラーの輝度制御は、イルミネーション信号、あるいは電子ミラー２に内蔵された外光センサーに連動するため、天井１の明るさに対処する輝度制御を行うことはできなかった。

本発明は、このような従来の課題を解決するものであり、雪道走行に適した輝度制御を行うことができる電子ミラー装置を提供することを目的とする。

本発明に係る電子ミラー装置は、車両の周囲を撮像する撮像手段と、前記撮像手段によって撮像された撮像データを表示可能な表示部と、前記表示部に入射する光の色情報を検出する検出手段と、前記検出手段により検出された色情報と前記撮像データの特定領域の色情報とを比較する比較手段と、前記比較手段の比較結果に基づき前記表示部の輝度を制御する輝度制御手段と、を有する。

好ましくは前記輝度制御手段は、前記検出手段の色情報と前記特定領域の色情報とが一致しもしくは近似するとき、前記表示部の輝度を上げる。好ましくは前記色情報は、Ｒ、Ｇ、Ｂ値である。好ましくは前記特定領域は、白色と推定される領域である。好ましくは前記特定領域は、雪面と推定される領域である。好ましくは前記ミラー装置はさらに、前記撮像データに基づき前記特定領域を推定する推定手段を含む。好ましくは前記表示部は、ハーフミラー、液晶ディスプレイおよびバックライトを含み、前記輝度制御手段は、前記バックライトの輝度を制御する。好ましくは電子ミラー装置さらに、前記表示部に表示される画像を制御する画像制御手段を含み、前記画像制御手段は、車両後方の映像または拡張現実の画像を前記表示部に表示させる。

本発明によれば、車内の表示部に入射する光の色情報と、撮像データの特定領域の色情報とに基づき表示部の輝度を制御するようにしたので、雪道走行に適した表示部の輝度制御を行うことができる。

本発明の実施例に係る電子ミラー装置の構成および車内配置を示す図である。 本発明の実施例に係る輝度制御プログラムの機能的な構成を示す図である。 本発明の実施例に係るカラーセンサーの出力波形の例示である。 本発明の実施例に係る撮像データの例示である。 本発明の実施例に係る雪面領域ＲＧＢ算出部で算出されるＲＧＢ値を模式的に表した図である。 本発明の実施例に係る電子ミラー装置の動作を示すフロー図である。 図７（Ａ）は、通常の路面走行時の従来の電子ミラーの動作を説明する図、図７（Ｂ）は、雪道走行時の従来の電子ミラーの動作を説明する図である。

次に、本発明の実施の形態について説明する。本発明の電子ミラー装置は、好ましい態様では、自動車等の車両に設置されたルームミラーまたはバックミラーとして機能するものである。好ましい態様では、本発明の電子ミラー装置は、液晶ディスプレイと、液晶ディスプレイの前面に配置されたハーフミラーとを含み、液晶ディスプレイに車両後方の撮像映像を表示したりあるいは拡張現実用の画像を表示することで、多彩な情報を運転者に提供する。

図１は、本発明の実施例に係る電子ミラー装置の構成を示す図である。本実施例の電子ミラー装置１００は、撮像部１１０、カラーセンサー１２０、モード切替用情報取得部１３０、ＬＣＤ駆動部１４０、バックライト駆動部１５０、表示部１６０および制御部１７０を含んで構成される。また、ここには示されないが、電子ミラー装置１００は、拡張現実を表示するための画像データ等を格納するメモリを含むものであってもよい。

撮像部１１０は、車両の後方を撮像し、撮像した映像データを制御部１７０へ提供する。制御部１７０は、撮像した映像データを表示部１６０に表示させたり、映像データを画像処理することで、そこに映された後方車両等の物体の検出をすることが可能である。

表示部１６０は、運転者によって視認される表面側から順に、ハーフミラー１６２、液晶ディスプレイ１６４、バックライト１６６および支持基板（図示省略）を含む。ハーフミラー１６２、液晶ディスプレイ１６４およびバックライト１６６の積層構造は、ミラー部を構成し、当該ミラー部が支持基板上に固定される。支持基板の周辺には、外光を検出する外光センサーを設けるようにしてもよい。

ハーフミラー１６２は、入射した光の一部を透過させ、残りを反射する。反射率と透過率とは、必ずしも等しくなくても良い。ハーフミラー１６２は、明るい側からは鏡（反射鏡）として機能し、暗い側からは半透明窓として機能する。従って、例えば、昼間の走行時に運転席側が明るければ、ハーフミラー１６２は、車両後方の風景を光学的に反射するミラーとして機能することが可能であり、このとき、液晶ディスプレイ１６４に画像を表示すれば、その画像をハーフミラー１６２の反射像に重畳させることができる。１つの例では、自車に接近する後方車両が検出されたとき、液晶ディスプレイ１６４には、後方車両を囲む警告枠のような拡張現実（ＡＲ：Augmented Reality）のグラフィックが表示される。後方車両の検出は、例えば、後方を撮像した撮像データの差分から検出される。また、夜間の走行時に運転席側が暗ければ、液晶ディスプレイ１６４に生成された画像の一部がハーフミラー１６２を透過し、運転者Ｕは、この画像を見ることができる。このとき、液晶ディスプレイ１６４には、撮像部１１０によって撮像された車両後方の画像データが表示され、この際、ハーフミラー１６２は、後方車両のヘッドライト光に対する防眩機能の役割を担うことができる。

液晶ディスプレイ１６４は、光の透過量の制御および画像表示を行う表示媒体であり、ハーフミラー１６２の裏面側に配置される。液晶ディスプレイ１６４は、公知のように、複数の液晶素子を２次元的に配列し、Ｘ方向およびＹ方向から各液晶素子を駆動することで、画面全体、あるいは選択された領域の光の透過量を可変することができる。例えば、液晶ディスプレイ１６４の選択された領域を反射領域にしたり、液晶ディスプレイ１６４にＡＲ画像を表示させたり、あるいは撮像部１１０により撮像された映像を表示させることができる。好ましくは、液晶ディスプレイ１６４は、ノーマリーブラックであり、電源がオフされたとき、光を透過せず、ハーフミラー１６２からの光を反射する。

バックライト１６６は、液晶ディスプレイ１６４の裏面側に配置され、例えば、液晶ディスプレイ１６４に画像を表示させるとき、バックライト１６４が動作される。バックライト１６４は、例えば、白色光を発する発光ダイオード（ＬＥＤ）を含み、バックライト１６４からの光は、液晶ディスプレイ１６４を裏面側から照射し、液晶ディスプレイ１６４に表示された画像の輝度またはコントラストを高める。

カラーセンサー１２０は、表示部１６０に取り付けられ、より好ましくは、ハーフミラー１６２の前面に設置される。カラーセンサー１２０は、入射した光の赤（Ｒ）、青（Ｂ）、緑（Ｇ）の三原色の成分を検出する。制御部１７０は、カラーセンサー１２０の検出結果に基づき表示部１６０の輝度を制御することができる。

モード切替用情報取得部１３０は、例えば、電子ミラー装置１００が複数のモードを有するとき、どのモードで動作するかを決定するための情報を取得する。１つの例では、モード切替用情報取得部１３０は、電子ミラー装置１００に内蔵された外光センサーの検出情報を取得したり、車両のライトの点灯または消灯を示すイルミネーション信号を取得する。制御部１７０は、外光センサーの検出情報やイルミネーション信号に基づきモードの選択または切替えを行うことができる。

制御部１７０は、カラーセンサー１２０やモード切替用情報取得部１３０からの情報に基づき、ＬＣＤ駆動部１４０を介して液晶ディスプレイ１６４の画像表示を制御し、かつバックライト駆動部１５０を介してバックライト１６６の輝度制御を行う。制御部１７０は、好ましい態様では、ＲＯＭ、ＲＡＭなどを含むマイクロコントローラ等から構成され、ＲＯＭまたはＲＡＭに格納されたプログラムを実行することで電子ミラー装置１００の全体の動作を制御する。

本実施例では、制御部１７０は、液晶ディスプレイ１６４の輝度を制御する輝度制御プログラムを実行する。本実施例の輝度制御プログラムは、カラーセンサー１２０により検出されたＲＧＢ情報と撮像カメラにより撮像された撮像データの特定領域のＲＧＢ情報とに基づき、雪道を走行しているか否かを判定し、その判定結果に基づきバックライト１６６の輝度を制御する。図２に、本実施例の輝度制御プログラム２００の機能的な構成を示す。輝度制御プログラム２００は、ＲＧＢ情報取得部２１０、撮像データ取得部２２０、雪面領域推定部２３０、雪面領域ＲＧＢ算出部２４０、雪面走行判定部２５０および輝度制御部２６０を含む。

ＲＧＢ情報取得部２１０は、カラーセンサー１２０により検出された車内の入射光のＲＧＢ情報を取得する。図３に示すグラフは、カラーセンサー１２０のＲ、Ｇ、Ｂの出力波形の一例であり、横軸は波長、縦軸は感度を表している。もし、雪面で反射された太陽光が車内に入射し、その入射光がカラーセンサー１２０によって検知されたならば、図３に示すように、Ｒ、Ｇ、Ｂのピーク感度がほぼ等しい波形Ｚ１、すなわち白色光が検知されたことになる。ＲＧＢ情報取得部２１０は、図３に示すＲ、Ｇ、Ｂの波形のピーク値をデジタル情報に変換する。例えば、液晶ディスプレイ１６４がＲ、Ｇ、Ｂの階調を８ビットで規定する２４ビットデータにより１画素を表示するとき、ＲＧＢ情報取得部２１０は、Ｒ、Ｇ、Ｂ情報を８ビットのデジタルデータに変換する。

撮像データ取得部２２０は、撮像部１１０によって撮像された車両後方の撮像データを取得する。雪面領域推定部２３０は、撮像データを画像解析し、そこから雪面領域を推定する。１つの好ましい例では、撮像データに映された道路を識別し、道路以外の領域（例えば、路側帯や歩道など）を雪面領域として推定するようにしてもよい。あるいは、他の好ましい例では、撮像データ内の予め決められた１つまたは複数の領域を雪面領域として推定する。雪面領域推定部２３０は、推定された領域の撮像データの切り出しを行う。

図４は、車両後方を撮像したときの撮像データの一例である。撮像データには、道路Ｒ１と、道路Ｒ１の両脇に存在する領域（ハッチング領域）３００、３１０とが映されている。雪面領域推定部２３０は、撮像データから道路Ｒ１を識別し、これ以外の領域３００、３１０を雪面領域として推定し、領域３００、３１０の撮像データの切り出しを行う。

雪面領域ＲＧＢ算出部２４０は、雪面領域推定部２３０によって推定された雪面領域のＲ、Ｇ、Ｂ値を算出する。例えば、液晶ディスプレイ１６４が８ビット階調のＲ、Ｇ、Ｂデータにより１画素を表示するならば、推定された雪面領域の１画素は、８ビットのＲ、Ｇ、Ｂ値から構成される。１つの例では、雪面領域ＲＧＢ算出部２４０は、推定された雪面領域の１つの画素を構成するＲ、Ｇ、Ｂ値を算出する。あるいは、雪面領域ＲＧＢ算出部２４０は、推定された雪面領域の複数の画素を抽出し、複数の画素の各々を構成するＲ、Ｇ、Ｂ値の平均を算出する。あるいは、雪面領域算出部２４０は、推定された雪面領域の全画素を構成するＲ、Ｇ、Ｂ値の平均を算出する。また、雪面領域ＲＧＢ算出部２４０は、推定された雪面領域が複数ある場合には、各々の推定された雪面領域のＲ、Ｇ、Ｂ値を算出する。

図５は、雪面領域ＲＧＢ算出部２４０によって算出されるＲＧＢ値を説明する図である。もし、領域３００、３１０が雪面領域であるならば、領域３００、３１０によって反射された光は、図５に示すようなＲ、Ｇ、Ｂの波形Ｚ２であり、この波形Ｚ２は、図３に示すカラーセンサー１２０のＲ、Ｇ、Ｂの波形Ｚ１と同じである。

雪面走行判定部２５０は、ＲＧＢ情報取得部２１０によって生成されたＲＧＢ値と、雪面領域ＲＧＢ算出部２４０によって算出されたＲＧＢ値とを比較し、両者のＲＧＢ値が一致するかあるいは近似する場合には、雪面を走行していると判定する。例えば、Ｒ、Ｇ、Ｂ値のピーク波長およびその感度が一定範囲内であれば、カラーセンサー１２０および撮像部１１０が撮像した反射光には相関関係があるとみなし、雪面走行をしていると判定する。輝度制御部２６０は、雪面走行判定部２５０により雪面を走行していると判定された場合には、バックライト１６６の輝度をさらに高めるように、ＢＬ駆動部１５０を制御する。

カラーセンサー１２０のＲＧＢ値と撮像データの推定された雪面領域のＲＧＢ値が同一または近似する場合には、雪面からの反射光が車内に入射していると考えられる。このような場合、車内に入射した光によって天井１８０の光がハーフミラー１６２に映り込み、表示部１６０の視認性が低下するおそれがある。そこで本実施例では、輝度制御部２６０によりバックライト１６６の輝度を上げることで、相対的に天井側を暗くし、ハーフミラー１６２への天井の光の映り込みを抑制する。

次に、本実施例の電子ミラー装置の動作について図６のフローを参照して説明する。電子ミラー装置１００が所定のモードで動作される（Ｓ１００）。制御部１７０は、例えば、イルミネーション信号がオフのとき（車両のライトが消灯のとき）、電子ミラー装置１００を昼モードで動作させることが可能である。昼モードでは、運転者側が明るいためハーフミラー１６２が反射ミラーとして機能し、運転者は、液晶ディスプレイ１６４に表示された警告等のＡＲ画像をハーフミラー１６２の反射像に重畳させて見ることができる。イルミネーション信号がオンのとき（車両のライトが点灯のとき）、制御部１７０は、電子ミラー装置１００を夜モードで動作させることが可能である。夜モードでは、運転者側が暗いためハーフミラー１６２が透過窓として機能し、運転者は、液晶ディスプレイ１６４に表示された撮像部１１０で撮像された車両後方の映像を見ることができる。制御部１７０は、イルミネーション信号以外にも、モード切替用情報取得部１３０に含まれる情報、例えば、表示部１６０に内蔵されている外光センサーの検知結果を利用して昼モードや夜モードの切替制御を行うことも可能である。さらには、制御部１７０は、昼モードや夜モード以外のモードで動作することも可能である。

液晶ディスプレイ１６４に画像や映像を表示させるとき、制御部１７０は、バックライト１６６の輝度を制御する。例えば、制御部１７０は、昼モードで液晶ディスプレイ１６４に表示させるとき、運転席側が明るいためバックライト１６６の輝度を幾分高くし、夜モードで液晶ディスプレイ１６４に表示させるとき、運転席側が暗いためバックライトの輝度を幾分低くする。また、動作モードに加えて、制御部１７０は、表示部１６０に内蔵された外光センサーの検出情報に基づきバックライト１６６の輝度を制御してもよい。例えば、昼モードのときに、外光センサーにより光量の低下が検出された場合には、制御部１７０は、バックライト１６６の輝度を幾分低下させ、夜モードのときに、外光センサーにより一定以上の光量が検出された場合には、バックライト１６６の輝度が幾分高くするような制御を行うことも可能である。

電子ミラー装置１００が所定のモードで動作されるとき、ＲＧＢ情報取得部２１０は、逐次、カラーセンサー１２０のＲＧＢ情報を取得し、デジタル化されたＲＧＢ値を算出する（Ｓ１０２）。また、雪面領域推定部２３０は、撮像部１１０により撮像された車両後方の撮像データから雪面領域を推定し（Ｓ１０４）、雪面領域ＲＧＢ算出部２４０により推定された雪面領域のＲＧＢ値が算出される（Ｓ１０６）。雪面走行判定部２５０は、両ＲＧＢ値を比較し（Ｓ１０８）、両ＲＧＢ値が一致するか近似するとき、雪面を走行していると判定する（Ｓ１１０）。輝度制御部２６０は、雪面を走行していると判定された場合には、バックライト１６６の現在の輝度をさらに上げる制御を行う（Ｓ１１２）。バックライト１６６の輝度を上げることで、相対的に天井側が暗くなり、天井１８０の光がハーフミラー１６２に映り込んで液晶ディスプレイ１６４の画像が見難くなることが抑制される。

このように本実施例では、電子ミラー装置１００に内蔵されたカラーセンサー１２０と撮像データの特定領域の色情報を比較し、両者が一致もしくは近似していれば、雪面を走行していると判定してバックライト１６６の輝度を上げる制御を行う。これにより、雪面に反射した太陽光が車両の天井１８０に届くことによって、天井１８０の光がハーフミラー１６２に映り込むことを抑制し、電子ミラー装置の視認性を向上させることができる。

なお、上記実施例では、車両後方の撮像データのＲＧＢ値を利用したが、本発明は、これに限らず、車両の前方または側部の撮像データのＲＧＢ値を利用して雪面を走行しているか否かを判定を行うようにしてもよい。また、上記実施例では、雪面領域推定部２３０は、撮像データ内の道路等を認識することで雪面領域を推定したが、雪面領域は、白色領域であってもよい。白色領域は、太陽光の光を反射し、この反射光が車内に入射される可能性が高いため、雪面領域と均等な領域であり得る。白色領域の推定は、雪面領域の推定と同様に行われてもよいし、あるいはＲ、Ｇ、Ｂ値がそれぞれ均等であるか一定の範囲にあるような領域を白色領域と推定するようにしてもよい。

さらに上記実施例では、雪面領域推定部２３０は、道路以外の領域を雪面領域として推定したが、これは一例であり、道路を雪面領域と推定してもよい。この場合、最初に、撮像データから切り出された道路のＲＧＢ値とカラーセンサー１２０のＲＧＢ値を比較し、一致すれば、道路上に積雪があるということになるので、雪面走行判定部２５０は、雪面を走行していると判定する。一致しない場合には、道路上に積雪がないということになるので、その場合には、上記した実施例のときのように、道路以外の領域を雪面領域と推定し、雪面走行か否かを判定する。

また、上記実施例では、表示部１６０が液晶ディスプレイを備える構成を示したが、表示部１６０は、液晶ディスプレイに限らず、例えば、有機ＥＬディスプレイのような表示媒体であってもよい。有機ＥＬディスプレイを用いた場合、バックライトは不要であり、制御部１７０は、雪面走行判定部２５０の判定結果に基づき有機ＥＬディスプレイの輝度を制御する。

さらに上記実施例では、表示部１６０がハーフミラー１６２を備える構成を示したが、表示部１６０は、必ずしもハーフミラーを備えることを要しない。ハーフミラーを備えていない表示部１６０であっても、天井１８０が明るくなったときに、表示部１６０の輝度を高くすることで表示部１６０の画像の見易さを改善することができるのであれば、本発明は、そのような電子ミラー装置にも適用することができる。

以上、本発明の好ましい実施の形態について詳述したが、本発明は、特定の実施形態に限定されるものではなく、特許請求の範囲に記載された発明の要旨の範囲において、種々の変形、変更が可能である。

１００：電子ミラー装置 １１０：撮像部
１２０：カラーセンサー １３０：モード切替用情報取得部
１４０：ＬＣＤ駆動部 １５０：バックライト駆動部
１６０：表示部 １６２：ハーフミラー
１６４：液晶ディスプレイ １６６：バックライト
１７０：制御部 １８０：天井

Claims (8)

1. 車両の周囲を撮像する撮像手段と、
   前記撮像手段によって撮像された撮像データを表示可能な表示部と、
   前記表示部に入射する光の色情報を検出する検出手段と、
   前記検出手段により検出された色情報と前記撮像データの特定領域の色情報とを比較する比較手段と、
   前記比較手段の比較結果に基づき前記表示部の輝度を制御する輝度制御手段と、
   を有する電子ミラー装置。
2. 前記輝度制御手段は、前記検出手段の色情報と前記特定領域の色情報とが一致しもしくは近似するとき、前記表示部の輝度を上げる、請求項１に記載の電子ミラー装置。
3. 前記色情報は、Ｒ、Ｇ、Ｂ値である、請求項１または２に記載の電子ミラー装置。
4. 前記特定領域は、白色と推定される領域である、請求項１ないし３いずれか１つに記載の電子ミラー装置。
5. 前記特定領域は、雪面と推定される領域である、請求項１ないし３いずれか１つに記載の電子ミラー装置。
6. 前記ミラー装置はさらに、前記撮像データに基づき前記特定領域を推定する推定手段を含む、請求項１に記載の電子ミラー装置。
7. 前記表示部は、ハーフミラー、液晶ディスプレイおよびバックライトを含み、
   前記輝度制御手段は、前記バックライトの輝度を制御する、請求項１に記載の電子ミラー装置。
8. 電子ミラー装置さらに、前記表示部に表示される画像を制御する画像制御手段を含み、
   前記画像制御手段は、車両後方の映像または拡張現実の画像を前記表示部に表示させる、請求項１ないし７いずれか１つに記載の電子ミラー装置。
   

Images