JP2016142988A

JP2016142988A - 表示装置及び表示制御プログラム

Info

Publication number: JP2016142988A
Application number: JP2015020430A
Authority: JP
Inventors: 一木　篤史; Atsushi Ichiki; 篤史一木
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2015-02-04
Filing date: 2015-02-04
Publication date: 2016-08-08

Abstract

【課題】表示輝度値が、表示装置により出力可能な輝度の限界値を超える場合においても重畳情報を識別可能に表示する。
【解決手段】外景に重畳させて重畳情報を表示する表示装置であって、外界を撮影した画像を取得し、外界の照度値を取得する取得手段と、取得した前記画像の前記重畳情報の表示領域の輝度を示す背景輝度値と、該画像の前記重畳情報の表示領域の周りの領域を含む領域の輝度を示す全体輝度値と、を算出し、取得した前記照度値に応じた輝度値を算出する算出手段と、算出した前記全体輝度値と前記背景輝度値と前記輝度値とに基づき、表示輝度値を設定する輝度設定手段と、設定した前記表示輝度値が前記表示装置が出力可能な輝度の限界値を超えると判定された場合、前記重畳情報を表示する色又は色の濃さを制御する色制御手段と、を有する、表示装置が提供される。
【選択図】図７

Description

本発明は、表示装置及び表示制御プログラムに関する。

視野内の外界の風景にディジタル情報を重畳表示するヘッドマウントディスプレイ（以下、「ＨＭＤ（Head Mounted Display）」ともいう。）の技術が開示されている（例えば、特許文献１及び特許文献２参照）。ＨＭＤでは、メガネ型のディスプレイに表示する文字等のディジタル情報を外界の風景と重ねて表示する。その際、奥側に表示される風景が透けて見えるシースルー映像を表示することができる。また、シースルー映像の手前側に表示されるディジタル情報には、ＡＲ（拡張現実）の技術を用いて、現実に見えている対象物に貼られたバーコード等から読み取った情報を重ねて表示することができる。外界の風景に重畳された情報（以下、「重畳情報」ともいう。）は、ディスプレイの明るさが、見えやすいように外界の照度に応じた輝度値（以下、「表示輝度値」ともいう。）に設定される。

特開平０８−１６０３４０号公報特開平０９−１０１４７７号公報特開２０１０−１７７７８８号公報

しかしながら、ＨＭＤ等の表示装置は、ハードウェアの構成上、出力可能な輝度値に限界値が存在する。このため、設定された表示輝度値が表示装置から出力可能な輝度の限界値を超えている場合、ディスプレイの明るさは設定された輝度値よりも暗くなるため、重畳情報が見えにくくなる。

そこで、一側面では、本発明は、表示輝度値が、表示装置により出力可能な輝度の限界値を超える場合においても重畳情報を識別可能に表示することを目的とする。

一つの案では、外景に重畳させて重畳情報を表示する表示装置であって、外界を撮影した画像を取得し、外界の照度値を取得する取得手段と、取得した前記画像の前記重畳情報の表示領域の輝度を示す背景輝度値と、該画像の前記重畳情報の表示領域の周りの領域を含む領域の輝度を示す全体輝度値と、を算出し、取得した前記照度値に応じた輝度値を算出する算出手段と、算出した前記全体輝度値と前記背景輝度値と前記輝度値とに基づき、表示輝度値を設定する輝度設定手段と、設定した前記表示輝度値が前記表示装置が出力可能な輝度の限界値を超えると判定された場合、前記重畳情報を表示する色又は色の濃さを制御する色制御手段と、を有する、表示装置が提供される。

一側面によれば、表示輝度値が、表示装置により出力可能な輝度の限界値を超える場合においても重畳情報を識別可能に表示することができる。

一実施形態にかかるＨＭＤの機能構成の一例を示す図。一実施形態にかかる重畳情報の一例を示す図。一実施形態にかかる照度／輝度テーブルの一例を示す図。一実施形態にかかる透過率／色テーブルの一例を示す図。一実施形態にかかる重畳情報の表示例を示す図。第１実施形態にかかる重畳情報の表示例を示す図。第１実施形態にかかる色制御処理の一例を示すフローチャート。第２実施形態にかかる色制御処理の一例を示すフローチャート。第２実施形態にかかる重畳情報の表示例を示す図。一実施形態にかかる重畳情報の表示例を示す図。一実施形態にかかるＨＭＤのハードウェア構成の一例を示す図。

以下、本発明の一実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。

［ＨＭＤ１０の機能構成］
まず、本発明の一実施形態に係るＨＭＤ１０（ヘッドマウントディスプレイ：Head Mounted Display）の構成について、図１を参照しながら説明する。図１は、一実施形態にかかるＨＭＤ１０の機能構成の一例を示す。一実施形態に係るＨＭＤ１０は、取得手段１１、読取手段１２、重畳情報生成手段１３、記憶手段１４、算出手段１５、輝度設定手段１６、色制御手段１７及び重畳情報表示手段１８を有する。
（重畳情報のシースルー表示）
ＨＭＤ１０では、図２に示すメガネ型のディスプレイ４０の重畳情報の表示領域４３には、重畳情報（文字情報４５及び背景画像４４）が外界の風景４２（以下、「外景」ともいう。）に重ねて表示されている。本実施形態にかかるＨＭＤ１０は、重畳情報の表示領域４３において重畳情報に重なる外景４２が透けて見えるシースルー映像を表示できる。

外景４２の対象物にはＡＲマーカー４６が貼られている。ＨＭＤ１０は、撮影された画像に含まれるＡＲマーカー４６から重畳位置（重畳情報の表示領域４３を示す座標）を読み取り、重畳位置に基づき特定される表示領域４３にＡＲマーカー４６から読み取られた重畳情報である文字情報４５を表示する。これにより、ＡＲ（拡張現実）の技術を用いて現実に見えている外景４２に重畳情報「バルブを緩めます」を重ねて表示できる。

ＨＭＤ１０は、外景４２に重畳させて重畳情報を表示する際に、シースルーで外景４２が見えるように表示（以下、「シースルー表示」ともいう。）させることが可能な表示装置の一例である。なお、表示装置の他の例としては、上記シースルー表示が可能な携帯側機器やタブレット型機器等が挙げられる。

図１に戻り、本実施形態にかかるＨＭＤ１０には、ディスプレイ４０の他、撮像カメラ２０及び照度センサ３０が備えられている。撮像カメラ２０は、ＨＭＤ１０の周囲の外景（対象物、風景）を撮影する。照度センサ３０は、ＨＭＤ１０の周囲の照度値を検出する。

重畳情報表示手段１８は、ＡＲマーカー４６から読み取られた重畳位置（つまり、重畳情報の表示領域４３）に、外景４２に重ねて重畳情報をシースルー表示する。また、重畳情報表示手段１８は、照度センサ３０から取得した照度値に対応する輝度値に応じてディスプレイ４０の表示輝度値を制御する。ディスプレイ４０の表示輝度値は、ディスプレイの明るさを示す。

ＨＭＤ１０は、ＨＭＤ１０を構成するハードウェアにより出力可能な輝度の限界値（以下、「限界輝度値」ともいう。）を有する。よって、照度値に対応する輝度値がハードウェアの限界輝度値を超えた場合、重畳情報表示手段１８が、照度値に対応する輝度値から算出された表示輝度値でディスプレイ４０を制御しても、ディスプレイ４０の実際の明るさは限界輝度値が示す明るさとなる。この場合、ディスプレイ４０の明るさは、本来制御すべき表示輝度値よりも低くなるため、重畳情報が見難くなることがある。

そこで、本実施形態に係るＨＭＤ１０は、表示輝度値がハードウェアの制約上の限界輝度値を超えた場合、重畳情報の色又は色の濃さを自動制御する。これにより、重畳情報の見難さを抑制し、重畳情報を識別可能に表示することができる。なお、重畳情報のうちの文字情報４５及び背景画像４４の少なくともいずれかの色又は色の濃さが自動制御される。

取得手段１１は、撮像カメラ２０が撮影した画像と撮像パラメータとを取得する。撮像パラメータとしては、絞り、シャッタースピード、ＩＳＯ感度等が挙げられる。撮像パラメータは撮像カメラ２０に保存されている。よって、取得手段１１は、例えば撮像カメラ２０から出力された信号から撮像パラメータを読み取ることができる。

取得手段１１は、照度センサ３０からＨＭＤ１０の周囲の照度値を取得する。なお、照度値は、ＨＭＤ１０のディスプレイ４０の面に入射される光の強さを示す。よって、取得手段１１は、ディスプレイ４０面に入射される光の強さを取得する。これに対して、輝度値は、ＨＭＤ１０のディスプレイ４０の面から出射する光の強さを示す。ディスプレイ４０は、見易くするために周りの照度に対応した輝度で情報を表示する。

読取手段１２は、撮像画像に含まれるＱＲ（Quick Response）コードや二次元のバーコード等のＡＲマーカー４６を読み取り、マーカー情報を抽出する。

重畳情報生成手段１３は、読取手段１２が抽出したマーカー情報を入力し、重畳情報及び重畳位置情報を生成する。図２では、生成された重畳情報により特定される文字情報４５及び背景画像４４が、生成された重畳位置情報により特定される重畳情報の表示領域４３に表示されている。

記憶手段１４は、照度／輝度テーブル１４１、透過率／色テーブル１４５を保存する。図３は、一実施形態にかかる照度／輝度テーブル１４１の一例を示す。照度／輝度テーブル１４１は、照度値１４２と輝度値１４３とを対応付けて記憶する。照度／輝度テーブル１４１は、予め記憶手段１４に記憶されている。図３の照度／輝度テーブル１４１の例では、照度値が１０００ルクス以上の場合、輝度値は５００（ｃｄ／ｍ^２）となっている。これにより、５００（ｃｄ／ｍ^２）の輝度値が、ＨＭＤ１０のハードウェアの制約上の限界輝度値であることがわかる。照度／輝度テーブル１４１に基づき、照度センサ３０が検出した照度値にする輝度値が算出される。

図４は、一実施形態にかかる透過率／色テーブル１４５の一例を示す。透過率／色テーブル１４５は、透過率１４６と背景色(黒)の濃さ１４７とを対応付けて記憶する。透過率／色テーブル１４５は、予め記憶手段１４に記憶されている。図４の透過率／色テーブル１４５の例では、透過率１４６が０％のとき、図５に示すように、重畳情報の背景画像４４の色は黒となり、その下の外景４２は全く見えない（全く透過しない）。

透過率１４６が高くなる程、背景色(黒)の濃さ１４７は薄くなり、濃いグレーから薄いグレーに段階的に変更される。これにより、重畳情報の背景色４４の下の外景４２が徐々に透けて見えるようになる。透過率１４６が０％になると、背景色(黒)の濃さ１４７は白になる（すべて透過する）。

算出手段１５は、照度／輝度テーブル１４１に基づき、取得した照度値に応じた輝度値を算出する。また、算出手段１５は、画像全体の表示領域４１（図２参照）の輝度（以下、「全体輝度値」ともいう。）と重畳情報の表示領域４３（図２参照）の背景画像４４の輝度（以下、「背景輝度値」ともいう。）とを算出する。

すなわち、算出手段１５は、画像全体の表示領域４１に含まれる各画素の輝度値の平均値を算出し、「全体輝度値（ＢＶＡＶＥ）」とする。また、算出手段１５は、重畳情報の表示領域４３に含まれる各画素の輝度値の平均値を算出し、「背景輝度値（ＢＢＡＶＥ）」とする。

なお、全体輝度値は、画像全体の表示領域４１の輝度値を示す場合の他、画像の重畳情報の表示領域４３の周りの領域を含む領域（画像全体でなくてもよい）の輝度を示す場合を含む。

（全体輝度値及び背景輝度値の算出方法の一例）
ここで、算出手段１５によって実行される、全体輝度値（ＢＶＡＶＥ）及び背景輝度値（ＢＢＡＶＥ）の算出方法について説明する。なお、下記の算出方法は一例であり、全体輝度値（ＢＶＡＶＥ）及び背景輝度値（ＢＢＡＶＥ）の算出には他の算出方法を用いても構わない。本実施形態では、ＡＰＥＸ規格に基づいた算出方法で全体輝度値及び背景輝度値を算出する。

まず、式（１）を用いて撮像画像全体の輝度（絶対輝度）を計算する。

ここで、Ｂａは絶対輝度（ｃｄ／ｍ^２）、Ｆは絞り値（Ｆ値）、Ｔはシャッタースピード（ｓｅｃ）、ＳはＩＳＯ感度である。

次に、式（２）を用いて撮像画像全体の輝度（絶対輝度）から各画素の輝度値ｌ（ｘ，ｙ）を算出する。

ここで、Ｙ（ｘ，ｙ）はＣＩＥＸＹＺ表色系でのＹ値（輝度値）、ｍａｘＹは画像中のＹ値の最大値（輝度値の最大値）である。

以上の算出方法で、画像全体の表示領域４１の全体輝度値（ＢＶ＿ＡＶＥ）及び重畳情報の表示領域４３の背景輝度値（ＢＢ＿ＡＶＥ）が得られる。

色制御手段１７は、重畳情報の表示領域４３の照度値が、ハードウェアの制約上サポート可能な照度の限界値内になるように式（３）を用いて透過率を計算する。色制御手段１７は、その透過率になる背景色（黒）の濃さを決定し、その色で重畳情報を表示させる。
τ＝Ｅｔ／Ｅ・・・（３）
ここで、τは透過率、Ｅｔは透過後の重畳情報の表示領域４３の背景照度（ハードウェアの制約上サポート可能な照度値の限界値）、Ｅは背景照度である。

なお、透過率と背景色（黒）の濃さとの関係は、ＨＭＤ１０で使用する光学系により異なる。よって、ＨＭＤ１０の種類毎に設計値や測定値を用いて透過率／色テーブル１４５を予め作成し、ＨＭＤ１０の種類毎に透過率／色テーブル１４５を記憶手段１４に記憶することが好ましい。又は、透過率と背景色（黒）の濃さに変換する計算式を予め設定しておくことが好ましい。色制御手段１７は、これらのテーブルや計算式を用いて、所定の透過率に対する表示色（濃さ）を特定する。例えば、色制御手段１７は、透過率／色テーブル１４５に基づき、重畳情報の画像の色又は色の濃さを段階的に変更してもよい。

輝度設定手段１６は、算出手段１５が算出した全体輝度値と背景輝度値と輝度値とに基づき、表示輝度値を設定する。輝度設定手段１６は、背景輝度値（ＢＢ＿ＡＶＥ）が全体輝度値（ＢＶ＿ＡＶＥ）よりも大きい（つまり、重畳情報の表示領域４３が、その周りよりも明るい）場合には、照度値から算出した輝度値に差分の絶対値｜（ＢＢ＿ＡＶＥ）−（ＢＶ＿ＡＶＥ）｜を加算する。加算した輝度値が表示輝度値となる。

輝度設定手段１６は、背景輝度値（ＢＢ＿ＡＶＥ）が全体輝度値（ＢＶ＿ＡＶＥ）よりも低い（つまり、重畳情報の表示領域４３が、その周りよりも暗い）場合には、照度値から算出した輝度値から差分の絶対値｜（ＢＢ＿ＡＶＥ）−（ＢＶ＿ＡＶＥ）｜を減算する。減算した輝度値が表示輝度値となる。

輝度設定手段１６は、設定した背景輝度値（ＢＢＡＶＥ）が、ＨＭＤ１０が出力可能な限界輝度を超えるかを判定する。輝度設定手段１６は、設定した背景輝度値（ＢＢＡＶＥ）が限界輝度を超えると判定した場合、色制御手段１７は、重畳情報の画像の色又は色の濃さを制御する。重畳情報の画像の色又は色の濃さには、図２に示す重畳情報の背景画像４４の色又は色の濃さと、文字情報４５の色又は色の濃さとの少なくともいずれかが含まれる。

色制御手段１７は、重畳情報の画像の色又は色の濃さを段階的に変更してもよい。例えば、色制御手段１７は、透過率／色テーブル１４５に基づき、透過率に応じて段階的に色又は色の濃さを制御することができる。

なお、色制御手段１７は、重畳情報の表示領域４３内の背景画像４４及び文字情報４５の少なくともいずれかの色又は色の濃さを変更する。例えば、色制御手段１７は、背景画像４４の色のみ変更してもよいし、文字情報４５の色のみ変更してもよいし、背景画像４４及び文字情報４５の両方の色を変更してもよい。重畳情報の文字情報４５は、重畳情報の表示領域４３内に表示される伝達情報の一例であり、伝達情報は、文字だけでなく、記号、数値、マーク等の何らかの形状のオブジェクトが含まれる。

例えば、輝度設定手段１６にて表示輝度値が設定されたとき、表示輝度値がハードウェアの制約上の限界輝度値を超えている場合、色制御手段１７において、図６の（ａ）に示す重畳情報の色を、図６の（ｂ）に示すように制御できる。ここでは、具体的には、背景画像４４の色が白から黒に変更され、文字情報４５の色が黒から白に変更されている。これは、背景画像４４の色の濃さが最も薄い（白）からもっとも濃い（黒）に変更され、文字情報４５の色がもっとも濃い（黒）から最も薄い（白）に変更されているともいえる。

同様にして、例えば、背景の照度値がハードウェアの制約上でサポート可能な限界照度値を超えている場合、色制御手段１７において、図６の（ａ）及び図６の（ｂ）に示すように、重畳情報の背景画像４４の色を白から黒に変更し、文字情報４５の色を黒から白に変更してもよい。

重畳情報表示手段１８は、輝度設定手段１６が設定した表示輝度値にディスプレイ４０を制御する。重畳情報表示手段１８は、色制御手段１７が制御した表示色で重畳情報を重畳情報の表示領域４３に表示する。

なお、読取手段１２及び重畳情報生成手段１３は、ＨＭＤ１０内ではなく、ＨＭＤ１０に接続されるスマートフォン、タブレット型機器、ＰＣ（パーソナルコンピュータ）及びサーバ等に備えられてもよい。
＜第１実施形態＞
［色制御処理］
次に、第１実施形態に係る色制御処理について図７を参照して説明する。図７は、第１実施形態にかかる色制御処理の一例を示すフローチャートである。

まず、取得手段１１は、照度センサ３０から照度値を取得する（ステップＳ１０）。次に、取得手段１１は、撮像カメラ２０から撮影画像と撮影パラメータ（絞り、シャッタースピード、ＩＳＯ感度等）を取得する（ステップＳ１１）。

次に、読取手段１２は、取得した画像に含まれるＡＲマーカー４６を読み取り、マーカー情報を抽出し、重畳情報生成手段１３は、読取手段１２が抽出したマーカー情報に基づき重畳情報及び重畳位置情報を生成する（ステップＳ１２）。重畳位置情報は、重畳情報の表示領域を示し、例えば表示画面の左上を「０」とした二次元座標と水平方向及び垂直方向の長さとで示される。

次に、算出手段１５は、照度／輝度テーブル１４１に基づき、取得した照度値に対応する輝度値を算出する（ステップＳ１３）。次に、算出手段１５は、取得した画像と撮影パラメータとから、全体輝度値と重畳情報の表示領域における背景輝度値とを、式（１）及び式（２）を用いて算出する（ステップＳ１４）。これにより、全体輝度値（ＢＶ＿ＡＶＥ）と背景輝度値（ＢＢ＿ＡＶＥ）とが得られる。

輝度設定手段１６は、背景輝度値（ＢＢ＿ＡＶＥ）が全体輝度値（ＢＶ＿ＡＶＥ）よりも高いか（重畳情報の表示領域４の背景が周りよりも明るいか）を判定する（ステップＳ１５）。輝度設定手段１６は、背景輝度値が全体輝度値よりも高い（（重畳情報の表示領域４の背景が周りよりも明るい）と判定した場合、照度値から算出した輝度値にその差分の絶対値｜（ＢＢ＿ＡＶＥ）−（ＢＶ＿ＡＶＥ）｜を加算する（ステップＳ１６）。加算した輝度値が、表示輝度値である。

輝度設定手段１６は、背景輝度値（ＢＢ＿ＡＶＥ）が全体輝度値（ＢＶ＿ＡＶＥ）よりも低い（重畳情報の表示領域４の背景が周りよりも暗い）と判定した場合、照度値から算出した輝度値からその差分の絶対値｜（ＢＢ＿ＡＶＥ）−（ＢＶ＿ＡＶＥ）｜を減算する（ステップＳ１７）。減算した輝度値が、表示輝度値である。

次に、輝度設定手段１６は、表示輝度値がＨＭＤ１０のハードウェアの制約上の限界輝度値を超えているかを判定する（ステップＳ１８）。輝度設定手段１６は、表示輝度値がハードウェアの制約上の限界輝度値を超えていないと判定した場合、ステップＳ２１に進む。

一方、輝度設定手段１６は、表示輝度値がハードウェアの制約上の限界輝度値を超えていると判定した場合、色制御手段１７は、重畳情報の背景輝度値が、ハードウェアの制約上の限界輝度値に収まるような透過率を、上記式（３）を用いて計算する（ステップＳ１９）。次に、色制御手段１７は、透過率／色テーブル１４５に基づき、計算した透過率になる背景画像４４の表示色の濃さを決定する（ステップＳ２０）。

本実施形態では、図６に示すように、重畳情報の文字情報４５の色の濃さが、図６（ａ）の黒（最も濃い）から図６（ｂ）の白（最も薄い）へ変更されている。また、背景画像４４の表示色が、図６（ａ）の白（最も薄い）から図６（ｂ）のグレー（やや薄い）へ変更されている。これにより、本実施形態に係るＨＭＤ１０では、重畳情報を識別可能に表示し、重畳情報の視認性を高めることができる。しかしながら、それ以外の組み合わせであってもよい。例えば、黒以外の色（例えば青など）の色の濃淡を制御してもよい。

次に、重畳情報表示手段１８は、決定された表示色（濃さ）で重畳情報の文字情報４５及び背景画像４４をそれぞれ表示する。その際、重畳情報表示手段１８は、ディスプレイ４０を設定された表示輝度値の明るさに制御し（ステップＳ２１）、以上により本処理が終了する。

このとき、表示輝度値がハードウェアの制約上の限界輝度値を超えている場合、設定された表示輝度値よりも暗い状態で重畳情報が表示されることになる。これに対して、本実施形態にかかるＨＭＤ１０によれば、表示輝度値が、ＨＭＤ１０のハードウェアの制約上の限界輝度値を超えている場合、重畳情報を表示する色（文字情報４５や背景画像４４の色）又は色の濃さが変更される。これにより、重畳情報の背景輝度値を抑えることで重畳情報の見難さを抑制し、重畳情報を認識可能に表示することが可能になる。
＜第２実施形態＞
次に、第２実施形態にかかるＨＭＤ１０の構成及び動作について説明する。第１実施形態では、重畳情報の背景画像４４を黒に設定し、その濃淡を制御する場合の例を挙げた。これに対して、第２実施形態では、重畳情報の表示領域４３が重なった外景４２の色を考慮して重畳情報の背景画像４４を制御する例を示す。具体的には、色制御手段１７は、重畳情報の表示領域４３に重なる外景４２の色を考慮して、重畳情報の背景画像４４の色を該外景４２の色の補色に変更する。補色は、色相環で正反対に位置する関係の色の組み合わせを指す。例えば、赤と緑、黄と紫、青と橙などがある。

第２実施形態における基本的な構成は、図１と同じである。異なる点は、輝度設定手段１６が、重畳位置の表示領域４３に重なる外景４２の色情報を取得し、色制御手段１７に送る点と、色制御手段１７が重畳位置の表示領域４３に重なる外景４２の色を考慮して、情報を取得し、色制御手段１７に送る点と、色制御手段１７が、重畳する外景４２の色を考慮して、重畳情報の背景画像４４の色を制御する点である。

［色制御処理］
次に、第２実施形態に係る色制御処理について図８を参照して説明する。図８は、第２実施形態にかかる色制御処理の一例を示すフローチャートである。

第２実施形態では、図７に示す第１実施形態に図８のステップＳ３０、Ｓ３１が追加されたことのみ相異する。よって、ステップＳ３０、Ｓ３１の処理を中心に説明し、ステップＳ１０〜Ｓ２１の各ステップの説明は省略する。

第１実施形態と同様に、ステップＳ１０〜Ｓ１７を処理した後、輝度設定手段１６は、表示輝度値がＨＭＤ１０のハードウェアの制約上の限界輝度値を超えているかを判定する（ステップＳ１８）。輝度設定手段１６は、表示輝度値がハードウェアの制約上の限界輝度値を超えていないと判定した場合、ステップＳ２１に進む。

一方、輝度設定手段１６は、表示輝度値がハードウェアの制約上の限界輝度値を超えていると判定した場合、色制御手段１７は、重畳情報の表示領域４３の背景色情報（表示領域４３の背景に当たる外景４２部分の表示色）を取得し、背景色の平均値を計算する（ステップＳ３０）。次に、図８のステップＳ１９〜Ｓ２１を処理した後、本処理が終了する。

以下では、ステップＳ３０におけるＲ／Ｇ／Ｂの各色の補色を計算する一例を示す。例えば、平均色のＲ／Ｇ／Ｂ値がＲ：３０、Ｇ：７０、Ｂ：２５５だった場合、Ｒ／Ｇ／Ｂ値の最大と最小を加算したものから、Ｒ／Ｇ／Ｂ値のそれぞれを引いたものが補色となる。
Ｒ：（３０＋２５５）−３０＝２５５
Ｇ：（３０＋２５５）−７０＝２１５
Ｂ：（３０＋２５５）−２５５＝３０
次に、色制御手段１７は、算出した背景色の平均値に対する補色を重畳情報の背景画像４４の表示色とする（ステップＳ３１）。

重畳情報の背景画像４４を補色で表示した例を図９に示す。第１実施形態では、図６の（ｂ）に示すように、重畳情報の背景画像４４の表示色は、透過率に応じた背景画像４４の色の濃淡に変更されている。これに対して、第２実施形態では、図９に示すように、重畳情報の背景画像４４における外景４２の表示色を考慮して、外景４２の表示色の補色に背景画像４４の表示色が変更されている。変更された背景画像４４の表示色に応じて、文字情報４５の色や色の濃さを変更してもよい。

本実施形態にかかるＨＭＤ１０によれば、照度値に応じた輝度値と背景輝度値と全体輝度値とに基づき表示輝度値が設定される。そして、表示輝度値が、ＨＭＤ１０のハードウェアの制約上の限界輝度値を超えている場合、重畳情報の表示色（文字情報４５や背景画像４４の色）やその濃淡が変更される。これにより、重畳情報の表示領域４３内の背景輝度値を抑えることで重畳情報の見難さを防ぎ、重畳情報の認識可能に表示することが可能になる。

また、本実施形態では、重畳情報の表示領域４３の背景に当たる部分の表示色を考慮して重畳情報の表示色を変更する。これにより、表示輝度値が、ＨＭＤ１０のハードウェアの制約上の限界輝度値を超えている場合においても、重畳情報の見難さをより抑制し、重畳情報の視認性を高めることができる。なお、本実施形態では、重畳情報の背景画像４４の表示色のみ変更したが、これに限らず、重畳情報の表示領域４３の背景に当たる部分の表示色に応じて重畳情報の背景画像４４及び文字情報４５の少なくともいずれかの表示色を変更することができる。

更に、第１及び第２実施形態では、吹き出しの重畳情報の背景画像４４の全体の色を制御したが、図１０に示すように、重畳情報の文字情報４５の周りの背景画像のみの色を変更して表示してもよい。これによれば、重畳情報により外景４２が見難くなる範囲を最小限に抑えることができる。

以上、第１及び第２実施形態にかかるＨＭＤ１０について説明した。上記実施形態において、色（黒の場合）の濃淡については、「０」が最も薄い色（白）とし、「２５５」が最も濃い色（黒）とし、その間の「１」〜「２５４」の範囲がグレーであって「０」に近づく程薄いグレー、「２５５」に近づく程濃いグレーとして説明した。表示色が黒以外の有色の場合にも同様に、「０」がその色の最も薄い色、「２５５」が最も濃い色を示し、「１」〜「２５４」の範囲では「０」に近づく程薄い色、「２５５」に近づく程濃い色となる。

（ハードウェア構成例）
最後に、本実施形態に係るＨＭＤ１０のハードウェア構成について、図１１を参照して説明する。図１１は、本実施形態に係るＨＭＤ１０のハードウェア構成の一例を示す。ＨＭＤ１０は、入力装置１１１、表示装置１１２、外部Ｉ／Ｆ１１３、ＲＡＭ（Random Access Memory）１１４、ＲＯＭ（Read Only Memory）１１５、ＣＰＵ（Central Processing Unit）１１６、通信Ｉ／Ｆ１１７、及びＨＤＤ（Hard Disk Drive）１１８などを備え、それぞれがバスＢで相互に接続されている。

入力装置１１１は、キーボードやマウスなどを含み、ＨＭＤ１０に各操作信号を入力するために用いられる。表示装置１１２は、ディスプレイなどを含み、各種の処理結果を表示する。通信Ｉ／Ｆ１１７は、ＨＭＤ１０をネットワークに接続するインタフェースである。これにより、ＨＭＤ１０は、通信Ｉ／Ｆ１１７を介して、他の機器とデータ通信を行うことができる。

ＨＤＤ１１８は、プログラムやデータを格納している不揮発性の記憶装置である。格納されるプログラムやデータには、ＨＭＤ１０の全体を制御する基本ソフトウェア及びアプリケーションソフトウェアがある。例えば、ＨＤＤ１１８には、各種のデータベースやプログラム等が格納されてもよい。

外部Ｉ／Ｆ１１３は、外部装置とのインタフェースである。外部装置には、記録媒体１１３ａなどがある。これにより、ＨＭＤ１０は、外部Ｉ／Ｆ１１３を介して記録媒体１１３ａの読み取り及び／又は書き込みを行うことができる。記録媒体１１３ａには、フロッピー（商標又は登録商標）ディスク、ＣＤ（Compact Disk）、及びＤＶＤ（Digital Versatile Disk）、ならびに、ＳＤメモリカード（SD Memory card）やＵＳＢメモリ（Universal Serial Bus memory）等がある。

ＲＯＭ１１５は、電源を切っても内部データを保持することができる不揮発性の半導体メモリ（記憶装置）である。ＲＯＭ１１５には、ネットワーク設定等のプログラム及びデータが格納されている。ＲＡＭ１１４は、プログラムやデータを一時保持する揮発性の半導体メモリ（記憶装置）である。ＣＰＵ１１６は、上記記憶装置（例えば「ＨＤＤ１１８」や「ＲＯＭ１１５」など）から、プログラムやデータをＲＡＭ１１４上に読み出し、処理を実行することで、装置全体の制御や搭載機能を実現する演算装置である。

かかる構成により、本実施形態に係るＨＭＤ１０では、ＣＰＵ１１６が、ＲＯＭ１１５やＨＤＤ１１８内に格納されたデータ及びプログラムを用いて色制御処理を実行する。なお、照度／輝度テーブル１４１及び透過率／色テーブル１４５に記憶された情報は、ＲＡＭ１１４、ＨＤＤ１１８、又はネットワークを介してＨＭＤ１０に接続されるクラウド上のサーバ等に格納され得る。

以上、表示装置及び表示制御プログラムを上記実施形態により説明したが、本発明にかかる表示装置及び表示制御プログラムは上記実施形態に限定されるものではなく、本発明の範囲内で種々の変形及び改良が可能である。また、上記実施形態及び変形例が複数存在する場合、矛盾しない範囲で組み合わせることができる。

以上の説明に関し、更に以下の項を開示する。
（付記１）
外景に重畳させて重畳情報を表示する表示装置であって、
外界を撮影した画像を取得し、外界の照度値を取得する取得手段と、
取得した前記画像の前記重畳情報の表示領域の輝度を示す背景輝度値と、該画像の前記重畳情報の表示領域の周りの領域を含む領域の輝度を示す全体輝度値と、を算出し、取得した前記照度値に応じた輝度値を算出する算出手段と、
算出した前記全体輝度値と前記背景輝度値と前記輝度値とに基づき、表示輝度値を設定する輝度設定手段と、
設定した前記表示輝度値が前記表示装置が出力可能な輝度の限界値を超えると判定された場合、前記重畳情報を表示する色又は色の濃さを制御する色制御手段と、
を有する、表示装置。
（付記２）
前記色制御手段は、
前記重畳情報を表示する色又は色の濃さを段階的に制御する、
付記１に記載の表示装置。
（付記３）
前記色制御手段１７は、
前記重畳情報の表示領域内の背景画像及び伝達情報の少なくともいずれかの色又は色の濃さを変更する、
付記１又は２に記載の表示装置。
（付記４）
前記色制御手段１７は、
前記重畳情報の背景画像の色を変更する場合、前記重畳情報の背景領域のすべての領域又は前記重畳情報の背景領域のうちの前記伝達情報の周りの領域の色又は色の濃さを変更する、
付記１〜３のいずれか一項に記載の表示装置。
（付記５）
外景に重畳させて重畳情報を表示する処理をコンピュータに実行させるための表示制御プログラムであって、
外界を撮影した画像を取得し、外界の照度値を取得し、
取得した前記画像の前記重畳情報の表示領域の輝度を示す背景輝度値と、該画像の前記重畳情報の表示領域の周りの領域を含む領域の輝度を示す全体輝度値と、を算出し、取得した前記照度値に応じた輝度値を算出し、
算出した前記全体輝度値と前記背景輝度値と前記輝度値とに基づき、表示輝度値を設定し、
設定した前記表示輝度値が前記表示装置が出力可能な輝度の限界値を超えると判定された場合、前記重畳情報を表示する色又は色の濃さを制御する、
表示制御プログラム。
（付記６）
前記重畳情報を表示する色又は色の濃さを段階的に制御する、
付記５に記載の表示制御プログラム。
（付記７）
前記重畳情報の表示領域内の背景画像及び伝達情報の少なくともいずれかの色又は色の濃さを変更する、
付記５又は６に記載の表示制御プログラム。
（付記８）
前記重畳情報の背景画像の色を変更する場合、前記重畳情報の背景領域のすべての領域又は前記重畳情報の背景領域のうちの前記伝達情報の周りの領域の色又は色の濃さを変更する、
付記５〜７のいずれか一項に記載の表示制御プログラム。

１０：ＨＭＤ
１１：取得手段
１２：読取手段
１３：重畳情報生成手段
１４：記憶手段
１５：算出手段
１６：輝度設定手段
１７：色制御手段
１８：重畳情報表示手段
２０：撮像カメラ
３０：照度センサ
４０：ディスプレイ
４１：画像全体の表示領域
４３：重畳情報の表示領域
４４：文字情報
４５：背景画像
１４１：照度／輝度テーブル
１４２：照度値
１４３：輝度値
１４５：透過率／色テーブル
１４６：透過率
１４７：背景色の濃さ

Claims

外景に重畳させて重畳情報を表示する表示装置であって、
外界を撮影した画像を取得し、外界の照度値を取得する取得手段と、
取得した前記画像の前記重畳情報の表示領域の輝度を示す背景輝度値と、該画像の前記重畳情報の表示領域の周りの領域を含む領域の輝度を示す全体輝度値と、を算出し、取得した前記照度値に応じた輝度値を算出する算出手段と、
算出した前記全体輝度値と前記背景輝度値と前記輝度値とに基づき、表示輝度値を設定する輝度設定手段と、
設定した前記表示輝度値が前記表示装置が出力可能な輝度の限界値を超えると判定された場合、前記重畳情報を表示する色又は色の濃さを制御する色制御手段と、
を有する、表示装置。
前記色制御手段は、
前記重畳情報を表示する色又は色の濃さを段階的に制御する、
請求項１に記載の表示装置。
前記色制御手段は、
前記重畳情報の表示領域内の背景画像及び伝達情報の少なくともいずれかの色又は色の濃さを変更する、
請求項１又は２に記載の表示装置。
前記色制御手段は、
前記重畳情報の背景画像の色を変更する場合、前記重畳情報の背景領域のすべての領域又は前記重畳情報の背景領域のうちの前記伝達情報の周りの領域の色を変更する、
請求項１〜３のいずれか一項に記載の表示装置。
外景に重畳させて重畳情報を表示する処理をコンピュータに実行させるための表示制御プログラムであって、
外界を撮影した画像を取得し、外界の照度値を取得し、
取得した前記画像の前記重畳情報の表示領域の輝度を示す背景輝度値と、該画像の前記重畳情報の表示領域の周りの領域を含む領域の輝度を示す全体輝度値と、を算出し、取得した前記照度値に応じた輝度値を算出し、
算出した前記全体輝度値と前記背景輝度値と前記輝度値とに基づき、表示輝度値を設定し、
設定した前記表示輝度値が前記表示装置が出力可能な輝度の限界値を超えると判定された場合、前記重畳情報を表示する色又は色の濃さを制御する、
表示制御プログラム。