JP5464130B2 - 情報表示システム、装置、方法及びプログラム - Google Patents

Description

本発明は、字幕等の情報を表示する情報表示システム、ヘッドマウントディスプレイ装置、ウェアラブル端末、情報表示方法及び情報表示プログラムに関する。

特許文献１には、表示装置において使用者の視線が向いている領域の表示を目立つようにする方法が記載されている。

特許文献１に記載された方法では、使用者の視線を検出し、検出した使用者の視線が、使用者が見ている表示手段の画面上におけるいずれの領域を注視しているのか検出し、使用者の視線に応じて所定の領域における表示の形態を変化させるように制御する。

特開平０９−１９１４３８号公報

特許文献１に記載された方法を用いれば、表示装置において使用者の視線が向いている領域の表示を目立つようにすることができる。しかし、特許文献１に記載された方法は、表示装置が表示する情報を目立つようにしているに過ぎず、劇場やコンサート会場のように鑑賞者が舞台上で行われる営為（例えば、演劇や演奏）を鑑賞する場において、鑑賞者に対して字幕など舞台に付随する情報を適切に表示する用途には適用できない。

鑑賞者に対して字幕など舞台に付随する情報を表示する手段としては、舞台の端に電光掲示板を設置する方式・鑑賞者の手元にある小型モニターに字幕を表示する方式・非透過型のヘッドマウントディスプレイ装置に字幕を表示させる方式など、様々な表示デバイスを活用した方式が実施されている。

ただし、いずれの方式を採用しても、舞台と字幕情報とを融合させて見る事、すなわち舞台と字幕情報とを継ぎ目のない状態で見る事ができず、鑑賞者は舞台と字幕情報とを交互に見るために頭や視線を動かし続ける必要がある。

一方、透過型ヘッドマウントディスプレイ装置を用いるようにすることも考えられる。そのようにすれば、鑑賞者は自分の視界とヘッドマウントディスプレイ装置が表示する字幕情報とを融合させた形で見る事が可能となり、頭や目線を移動することなく舞台と字幕情報とを同時に見る事ができる。

しかしながら、透過型のヘッドマウントディスプレイ装置を用いる場合には、背景の明るさによって表示する字幕情報の視認しやすさが左右されるという問題がある。例えば、照明でライトアップされた舞台のように、背景が明るい場所で透過型ヘッドマウントディスプレイ装置が字幕情報を表示すると、表示した字幕情報と背景とのコントラストが小さくなり、字幕情報を視認しづらくなる。

そこで、本発明は、舞台上で行われる営為等の鑑賞者に対して、視認しやすい状態で字幕等の情報を表示することができる情報表示システム、ヘッドマウントディスプレイ装置、ウェアラブル端末、情報表示方法及び情報表示プログラムを提供することを目的とする。

本発明による情報表示システムは、所定の情報を表示可能なヘッドマウントディスプレイ装置と、ユーザの目線方向を撮影する撮影手段と、撮影手段が撮影したユーザの目線方向の画像中の明度が所定の閾値未満である画像領域を特定し、ヘッドマウントディスプレイ装置の表示領域のうち、画像における特定された画像領域に対応する特定表示領域に所定の情報を表示するように制御する表示制御手段とを備え、表示制御手段は、所定の情報として文字を表示する際に、特定表示領域内に文字が表示されるように、文字の向きを決定することを特徴とする。

本発明によるウェアラブル端末は、撮影手段が撮影したユーザの目線方向の画像中の明度が所定の閾値未満である画像領域を特定し、所定の情報を表示可能なヘッドマウントディスプレイ装置の表示領域のうち、画像における特定された画像領域に対応する特定表示領域に所定の情報を表示するように制御する表示制御手段を備え、表示制御手段は、所定の情報として文字を表示する際に、特定表示領域内に文字が表示されるように、文字の向きを決定することを特徴とする。

本発明によるヘッドマウントディスプレイ装置は、所定の情報を表示可能なヘッドマウントディスプレイ装置であって、撮影手段が撮影したユーザの目線方向の画像中の明度が所定の閾値未満である画像領域を特定し、当該ヘッドマウントディスプレイ装置の表示領域のうち、画像における特定された画像領域に対応する特定表示領域に所定の情報を表示するように制御する表示制御手段を備え、表示制御手段は、所定の情報として文字を表示する際に、特定表示領域内に文字が表示されるように、文字の向きを決定することを特徴とする。

本発明による情報表示方法は、撮影手段が撮影したユーザの目線方向の画像中の明度が所定の閾値未満である画像領域を特定し、所定の情報を表示可能なヘッドマウントディスプレイ装置の表示領域のうち、画像における特定された画像領域に対応する特定表示領域に所定の情報を表示するように制御し、所定の情報として文字を表示する際に、特定表示領域内に文字が表示されるように、文字の向きを決定することを特徴とする。

本発明による情報表示プログラムは、コンピュータに、撮影手段が撮影したユーザの目線方向の画像中の明度が所定の閾値未満である画像領域を特定し、所定の情報を表示可能なヘッドマウントディスプレイ装置の表示領域のうち、画像における特定された画像領域に対応する特定表示領域に所定の情報を表示するように制御する表示制御処理を実行させ、表示制御処理で、所定の情報として文字を表示する際に、特定表示領域内に文字が表示されるように、文字の向きを決定する処理を実行させることを特徴とする。

本発明によれば、舞台上で行われる営為等の鑑賞者に対して、視認しやすい状態で字幕等の情報を表示することができる。

本発明による情報表示システムの実施形態の一例を示す説明図である。 鑑賞者が装着する装置の一例を示す説明図である。 情報表示システムの機能構成の一例を示す機能ブロック図である。 カメラが撮影した鑑賞者の目線方向の画像の一例を示す説明図である。 字幕等の情報の表示イメージの一例を示す説明図である。 目線を動かす前の情報の表示イメージの一例を示す説明図である。 目線を動かした後の情報の表示イメージの一例を示す説明図である。 情報表示システムが実行する処理例を示す流れ図である。 情報表示システムの最小の構成例を示すブロック図である。

以下、本発明の実施形態について図面を参照して説明する。図１は、本発明による情報表示システムの実施形態の一例を示す説明図である。

図１に示すように、本発明による情報表示システムは、無線通信等で各ウェアラブル端末２３に字幕等の情報を配信するサーバ装置１１、鑑賞者の目線方向を撮影するカメラ２１、字幕等の情報を表示するヘッドマウントディスプレイ装置２２およびサーバ装置１１と通信可能な通信手段を有するウェアラブル端末２３を含む。なお、情報表示システムは、ウェアラブル端末２３に限らず、通信可能な他の携帯端末を含むようにしてもよい。また、本実施形態では、舞台上で行われる営為等の鑑賞者に字幕等の情報を表示する例について説明するが、これに限らず、例えば、スポーツを観戦するような場面に適用してもよい。

サーバ装置１１は、具体的には、プログラムに従って動作するパーソナルコンピュータ等の情報処理装置によって実現される。サーバ装置１１は、無線通信等でウェアラブル端末２３に字幕等の情報を配信する機能を備えている。

図２は、鑑賞者が装着する装置の一例を示す説明図である。図２に示すように、鑑賞者は、カメラ２１、ヘッドマウントディスプレイ装置２２およびウェアラブル端末２３を装着している。なお、カメラ２１とヘッドマウントディスプレイ装置２２とは、ウェアラブル端末２３と相互に接続されている。

カメラ２１は、鑑賞者の目線方向を撮影する機能を備えている。また、カメラ２１は、鑑賞者の目線方向を撮影した目線画像（例えば、動画像や静止画像）を画像情報受信手段２３２に出力する機能を備えている。目線画像は、鑑賞者の目線方向を撮影した画像であるので、鑑賞者の視野を表していると推定できる。

なお、本実施形態では、カメラ２１がヘッドマウントディスプレイ装置２２に搭載されている形態を例に説明するが、これに限らず、例えばヘッドマウントディスプレイ装置２２とは別の装置としてカメラを鑑賞者の頭部に装着するような形態であってもよい。

また、本実施形態では、図２に示すようにメガネ型のヘッドマウントディスプレイ装置２２を用いるが、これに限らず、頭部に装着可能であれば、例えばヘルメット型であってもよい。また、ヘッドマウントディスプレイ装置２２は、少なくとも透過型であって、例えば、網膜上に映像を投影する方式やハーフミラーを用いた光学方式等で情報を表示する。本実施形態では、一般的な用法に従い、メガネ型やヘルメット型、網膜照射型や光学方式型等を全て包括してヘッドマウントディスプレイ装置という。

図３は、情報表示システムの機能構成の一例を示す機能ブロック図である。図３に示すように、携帯可能なウェアラブル端末２３は、表示情報受信手段２３１、画像情報受信手段２３２、明るさ判定手段２３３、表示禁止領域決定手段２３４、表示レイアウト決定手段２３５および表示情報出力手段２３６を含む。また、ヘッドマウントディスプレイ装置２２は、表示制御手段２２１を含む。

表示情報受信手段２３１は、具体的には、プログラムに従って動作する情報処理端末のネットワークインターフェース部によって実現される。表示情報受信手段２３１は、サーバ装置１１が無線通信等で配信する表示すべき字幕等の情報（以下、表示情報ともいう）を受信する機能を備えている。

画像情報受信手段２３２は、具体的には、プログラムに従って動作する情報処理端末のネットワークインターフェース部によって実現される。画像情報受信手段２３２は、カメラ２１が出力する目線画像を受信する機能を備えている。

明るさ判定手段２３３は、具体的には、プログラムに従って動作する情報処理端末のＣＰＵによって実現される。明るさ判定手段２３３は、画像中の各領域の明るさを所定の単位（例えば、ピクセル単位など）ごとに判定する機能を備えている。例えば、明るさ判定手段２３３は、ピクセルごとに、明るさを示す値を求め、予め定められた所定の閾値以上であるか否かを判定する。

表示禁止領域決定手段２３４、具体的には、プログラムに従って動作する情報処理端末のＣＰＵによって実現される。表示禁止領域決定手段２３４は、明るさ判定手段２３３の判定結果に基づいて、画像中の字幕等の情報の表示を禁止する領域（以下、表示禁止領域ともいう）を決定する機能を備えている。例えば、表示禁止領域決定手段２３４は、明るさを示す値が所定の閾値以上の領域（明るい部分）を表示禁止領域と決定する。

なお、本実施形態では、明るさ判定手段２３３の判定結果に基づいて、画像中の字幕等の情報の表示禁止領域を決定する処理を実行するが、例えば、明るさ判定手段２３３の判定結果に基づいて、画像中の字幕等の情報の表示可能領域を決定する処理を実行するようにしてもよい。この場合には、例えば、ウェアラブル端末２３は、明るさを示す値が所定の閾値以下の領域（暗い部分）を表示可能領域と決定し、表示可能領域に基づいて、後述する表示レイアウトを決定する。

表示レイアウト決定手段２３５は、具体的には、プログラムに従って動作する情報処理端末のＣＰＵによって実現される。表示レイアウト決定手段２３５は、表示禁止領域を示す情報（以下、表示禁止領域情報）に基づいて、ヘッドマウントディスプレイ装置２２で字幕等の情報を表示する際のレイアウトを決定する機能を備えている。

表示レイアウト決定手段２３５は、例えば、表示禁止領域と重ならないように字幕等の情報の表示位置を決定する。具体的には、表示レイアウト決定手段２３５は、ヘッドマウントディスプレイ装置２２の表示領域のうち、画像中の表示禁止領域以外の領域に対応する表示領域に字幕等の情報を表示するように表示位置を決定する。また、例えば、表示レイアウト決定手段２３５は、字幕等の情報の表示形態（例えば、文字の向きや色彩等）を含むレイアウトを決定する。

また、表示禁止領域決定手段２３４が表示可能領域を決定した場合には、表示レイアウト決定手段２３５は、ヘッドマウントディスプレイ装置２２の表示領域のうち、画像中の表示可能領域に対応する表示領域に字幕等の情報を表示するように表示位置を決定する。

ここで、表示レイアウト決定手段２３５が実行する処理の一例を示す。まず、カメラ２１が撮影する鑑賞者の目線方向の画像の座標（以下、画像座標）と、ヘッドマウントディスプレイ装置２２が情報の表示位置を特定するための座標（以下、表示座標）とを、予め対応づけて記憶部に記憶させておく。そして、表示レイアウト決定手段２３５は、画像座標において、表示禁止領域以外の領域から、字幕等の情報を表示可能な位置を特定する。次いで、表示レイアウト決定手段２３５は、画像座標において特定した位置を、画像座標に対応づけた表示座標において特定する。そして、表示レイアウト決定手段２３５は、表示座標において特定した位置を示す位置情報を含むレイアウトの情報（以下、表示レイアウト情報）を表示情報出力手段２３６に出力する。

また、例えば、表示禁止領域決定手段２３４が表示可能領域を決定した場合には、表示レイアウト決定手段２３５は、画像座標において、表示禁止可能領域から、字幕等の情報を表示可能な位置を特定する。次いで、表示レイアウト決定手段２３５は、画像座標において特定した位置を、画像座標に対応づけた表示座標において特定する。そして、表示レイアウト決定手段２３５は、表示座標において特定した位置を示す位置情報を含むレイアウトの情報（以下、表示レイアウト情報）を表示情報出力手段２３６に出力する。

表示情報出力手段２３６は、プログラムに従って動作する情報処理端末のＣＰＵ及びネットワークインターフェース部によって実現される。表示情報出力手段２３６は、ヘッドマウントディスプレイ装置２２に字幕等の情報とともに、レイアウトを示す情報（以下、表示レイアウト情報）を出力する機能を備えている。

表示制御手段２２１は、表示情報出力手段２３６が出力した表示レイアウト情報に基づいて、字幕等の情報を表示する機能を備えている。具体的には、表示制御手段２２１は、表示レイアウト情報に含まれる表示座標において特定した位置情報に基づいて、字幕等の情報を表示する。

以上の各手段が処理を実行することにより、ウェアラブル端末２３は、カメラ２１が撮影した鑑賞者の目線方向の画像中の明るい部分を、表示禁止領域として特定する。そして、ウェアラブル端末２３は、字幕等の情報を、特定した表示禁止領域以外の場所に表示させるように、ヘッドマウントディスプレイ装置２２に出力する。

なお、図３に示される構成に限らず、例えば、サーバ装置１１が、上記の明るさ判定手段２３３、表示禁止領域決定手段２３４、表示レイアウト決定手段２３５の一部又は全てを備えている構成であってもよい。この場合には、例えば、ウェアラブル端末２３は、カメラ２１から受信した画像をサーバ装置１１に送信する。すると、サーバ装置１１は、受信した画像に基づいて表示レイアウトを決定し、表示レイアウト情報とともに表示情報をウェアラブル端末２３に送信する。

また、例えば、ヘッドマウントディスプレイ装置２３が、上記の明るさ判定手段２３３、表示禁止領域決定手段２３４、表示レイアウト決定手段２３５の一部又は全てを備えている構成であってもよい。この場合には、例えば、ウェアラブル端末２３は、サーバ装置１１から受信した表示情報とともに、カメラ２１から受信した画像をヘッドマウントディスプレイ装置２３送信する。すると、ヘッドマウントディスプレイ装置２３は、受信した画像に基づいて表示レイアウトを決定し、決定した表示レイアウトに従って表示情報を表示する。

次に、カメラが撮影した鑑賞者の目線方向の画像について図面を参照して説明する。図４は、カメラが撮影した鑑賞者の目線方向の画像の一例を示す説明図である。図４では、カメラが撮影した鑑賞者の目線方向の画像を領域３１で示している。また、ウェアラブル端末２３がこの領域３１を解析した結果、明るい領域として特定した部分を領域３２として示している。

図４に示す例では、ウェアラブル端末２３は、背景の明るい領域（領域３２）を、表示禁止領域と決定する。したがって、ヘッドマウントディスプレイ装置２２は、領域３１から領域３２を差し引いた残りの領域に字幕等の情報を表示する。

次に、字幕等の情報の表示イメージについて図面を参照して説明する。図５は、字幕等の情報の表示イメージの一例を示す説明図である。

図５に示すように、ヘッドマウントディスプレイ装置２２は、背景が暗い領域にのみ字幕を表示している。したがって、鑑賞者は、表示された字幕とその奥にある舞台とを同時に見る事が可能となる。

なお、ウェアラブル端末２３は、カメラ２１が撮影した鑑賞者の目線方向の画像の明るさ判定処理等を随時実行している。そのため、鑑賞者が首を動かした場合、すなわち、カメラ２１が撮影した鑑賞者の目線方向の画像が変化した場合には、字幕の表示位置は変更される。

鑑賞者が目線を動かした場合の情報を表示する位置の変化について、図面を参照して説明する。図６は、目線を動かす前の情報の表示イメージの一例を示す説明図である。図７は、目線を動かした後の情報の表示イメージの一例を示す説明図である。

例えば、鑑賞者が首を動かすことによって、図６の右側に位置する領域３１から図７の左側に位置する領域３１に、視野が変化したと仮定する。この場合、情報表示システムは、図６に示すように目線を動かす前には、舞台に向かって右側に字幕を表示しているが、図７に示すように目線を動かすと、目線画像に含まれる背景の暗い領域に基づいて、舞台に向かって左側に字幕を表示するように制御する。

このように情報の表示位置を変化することは、鑑賞者が舞台に近い位置に座っており、舞台全体を見渡すためには鑑賞中何度も首を動かさなければならないような場合に有効である。鑑賞中に首を動かしても、字幕が常に背景が暗い領域の上に表示され続けるからである。

次に、情報表示システムの動作について説明する。図８は、情報表示システムが実行する処理例を示す流れ図である。

鑑賞者が各装置を起動して舞台等の鑑賞を開始すると、カメラ２１は、撮影を開始し、撮影した鑑賞者の目線方向の画像を画像情報受信手段２３２に出力する（ステップＳ１）。

次いで、画像情報受信手段２３２が目線画像を受信すると、明るさ判定手段２３３は、目線画像の明るさを所定の単位で判断する（ステップＳ２）。例えば、明るさ判定手段２３３は、ピクセルごとに明るさを示す値を求め、予め定められた所定の閾値以上であるか否かを判定する。なお、字幕等の表示情報が常にあるものでない場合には、明るさ判定手段２３３は、サーバ装置１１から表示情報を受信した時のみ処理を実行するようにしてもよい。

次いで、表示禁止領域決定手段２３４は、明るさ判定手段２３３の判定結果に基づいて、目線画像中のある所定値以上の明度（輝度）を持つ領域を表示禁止領域と決定する（ステップＳ３）。具体的には、表示禁止領域決定手段２３４は、明るさ判定手段２３３が明るさを示す値が所定の閾値以上であると判定した領域を表示禁止領域と決定する。

また、上記処理と平行して、ウェアラブル端末２３の表示装置受信手段２３１は、サーバ装置１１が配信する字幕等の表示情報を随時受信する（ステップＳ４）。このように随時受信することで、鑑賞者のヘッドマウントディスプレイ装置２２が表示する字幕等の情報が切り替わる仕組みになっている。

次いで、表示レイアウト決定手段２３５は、表示禁止領域情報に基づいて、表示禁止領域に重ならないように字幕等の情報を表示するレイアウトを決定する（ステップＳ５）。そして、表示レイアウト決定手段２３５がレイアウトを決定すると、表示情報出力手段２３６は、ヘッドマウントディスプレイ装置２２の表示制御手段２２１に、字幕等の情報とともに、表示レイアウト情報を出力する。

具体的には、表示レイアウト決定手段２３５は、画像座標において、表示禁止領域以外の領域から、字幕等の情報を表示可能な位置を特定する。次いで、表示レイアウト決定手段２３５は、画像座標において特定した位置を、画像座標に対応づけた表示座標において特定する。そして、表示レイアウト決定手段２３５は、表示座標において特定した位置情報を含む表示レイアウト情報を表示情報出力手段２３６に出力する。ここで決定したレイアウトに基づいて、ヘッドマウントディスプレイ装置２２は、字幕等の情報を背景が暗い領域の上に重なる形で表示する。

次いで、表示制御手段２２１は、表示情報出力手段２３６が出力した表示レイアウト情報に基づいて、字幕等の情報を表示する（ステップＳ６）。具体的には、表示制御手段２２１は、表示レイアウト情報に含まれる表示座標において特定した位置情報に基づいて、字幕等の情報を表示する。

以上のように、本実施形態では、鑑賞者は、透過型のヘッドマウントディスプレイ装置とカメラと通信手段を有するウェアラブル端末とを装着する。そして、カメラが鑑賞者の目線方向を撮影すると、ウェアラブル端末は、カメラが撮影した目線方向の画像を解析し、画像の中から明るい領域を特定して、背景が明るい領域には字幕等の情報を表示させないように表示レイアウトを決定する。次いで、ヘッドマウントディスプレイ装置は、表示レイアウトに従って、字幕等の情報を表示する。そのため、字幕等の情報は、常に背景が暗い部分に重なるように表示される。

このように、本実施形態では、背景の明るさに基づいて字幕等の情報の表示位置を制限することで、背景と表示情報とのコントラストが小さくなる状態を回避することができる。そのため、劇場やコンサート会場のように鑑賞者が舞台上で行われる営為等を鑑賞する場において、鑑賞者に対して、視認しやすい状態で字幕等の情報を表示することができる。また、背景が暗い位置に情報を表示するように制御するため、鑑賞の妨げとならない位置に字幕等の情報を表示することができる。

さらに、本実施形態では、随時表示レイアウトを定め直しているため、鑑賞者の目線方向の変化に対応することができ、常に視認しやすい位置に字幕等の情報を表示することができる。

次に、本発明による情報表示システムの最小構成について説明する。図９は、情報表示システムの最小の構成例を示すブロック図である。図９に示すように、情報表示システムは、最小の構成要素として、所定の情報を表示可能なヘッドマウントディスプレイ装置１と、ユーザの目線方向を撮影する撮影手段２と、表示制御手段３とを含む。

図９に示す最小構成の情報表示システムでは、表示制御手段３は、撮影手段２が撮影した目線方向の画像に基づいて、画像中の明度が低い画像領域を特定し、ヘッドマウントディスプレイ装置１の表示領域のうち、画像における特定された画像領域に対応する領域に所定の情報を表示するように制御する。

従って、最小構成の情報表示システムによれば、鑑賞者の目線方向に応じて情報の表示位置を定めるため、鑑賞者に対して視認しやすい状態で字幕等の情報を表示することができる。

なお、本実施形態では、以下の（１）〜（５）に示すような情報表示システムの特徴的構成が示されている。

（１）情報表示システムは、所定の情報を表示可能なヘッドマウントディスプレイ装置（例えば、ヘッドマウントディスプレイ装置２２によって実現される）と、ユーザの目線方向を撮影する撮影手段（例えば、カメラ２１によって実現される）と、撮影手段が撮影したユーザの目線方向の画像に基づいて、画像中の明度が低い画像領域を特定し、ヘッドマウントディスプレイ装置の表示領域のうち、画像における特定された画像領域に対応する領域に所定の情報を表示するように制御する表示制御手段（例えば、表示制御手段２２１によって実現される）とを備えたことを特徴とする。

（２）情報表示システムにおいて、画像中の明度を判定する明度判定手段（例えば、明るさ判定手段２３３によって実現される）と、明度判定手段の判定結果に基づいて、所定の情報の表示を禁止する画像領域（例えば表示禁止領域）又は所定の情報の表示を許可する画像領域（例えば表示可能領域）を特定する画像領域特定手段（例えば、表示禁止領域決定手段２３４や表示レイアウト決定手段２３５によって実現される）とを備え、表示制御手段は、ヘッドマウントディスプレイ装置の表示領域のうち、画像領域特定手段が特定した所定の情報の表示を禁止する画像領域以外の画像領域又は所定の情報の表示を許可する画像領域のいずれかに対応する領域に所定の情報を表示するように制御するように構成されていてもよい。

（３）情報表示システムにおいて、明度判定手段は、画像中の所定の領域ごとに明度を示す値が所定の閾値以上であるか否かを判定し、画像領域特定手段は、明度判定手段が明度を示す値が所定の閾値以上であると判定した領域を情報の表示を禁止する画像領域として特定するように構成されていてもよい。

（４）情報表示システムにおいて、明度判定手段は、画像中の所定の領域ごとに明度を示す値が所定の閾値以上であるか否かを判定し、画像領域特定手段は、明度判定手段が明度を示す値が所定の閾値以下であると判定した領域を情報の表示を許可する画像領域として特定するように構成されていてもよい。

（５）情報表示システムにおいて、画像中の座標を表す画像座標と、ヘッドマウントディスプレイ装置が情報の表示位置を特定するための座標を表す表示座標とを対応づけて記憶する記憶手段を備え、表示制御手段は、記憶手段が記憶する画像座標と表示座標とに基づいて、ヘッドマウントディスプレイ装置の表示領域のうち、特定した画像領域に対応する領域に所定の情報を表示するように制御するように構成されていてもよい。

本発明は、芝居やミュージカル、バレエ、コンサート、ライブなど、リアルタイムで鑑賞者に対して演目を披露するような場で字幕等を表示する用途に適用可能である。上記のような場においては、リアルタイムで演目が進行していくため、事前にヘッドマウントディスプレイ装置への字幕表示位置などをプログラミングする事は難しく、本発明のようにリアルタイムで字幕表示位置を決定するシステムが役立つと考えられる。

１，２２ ヘッドマウントディスプレイ装置
２ 撮影手段
３，２２１ 表示制御手段
１１ サーバ装置
２１ カメラ
２２ ヘッドマウントディスプレイ装置
２２１ 表示制御手段
２３ ウェアラブル端末
２３１ 表示情報受信手段
２３２ 画像情報受信手段
２３３ 明るさ判定手段
２３４ 表示禁止領域決定手段
２３５ 表示レイアウト決定手段
２３６ 表示情報出力手段

Claims (9)

1. 所定の情報を表示可能なヘッドマウントディスプレイ装置と、
   ユーザの目線方向を撮影する撮影手段と、
   前記撮影手段が撮影したユーザの目線方向の画像中の明度が所定の閾値未満である画像領域を特定し、前記ヘッドマウントディスプレイ装置の表示領域のうち、前記画像における特定された画像領域に対応する特定表示領域に前記所定の情報を表示するように制御する表示制御手段とを備え、
   前記表示制御手段は、前記所定の情報として文字を表示する際に、前記特定表示領域内に前記文字が表示されるように、前記文字の向きを決定する
   ことを特徴とする情報表示システム。
2. 画像中の明度を判定する明度判定手段と、
   前記明度判定手段の判定結果に基づいて、所定の情報の表示を禁止する画像領域又は前記所定の情報の表示を許可する画像領域を特定する画像領域特定手段とを備え、
   表示制御手段は、ヘッドマウントディスプレイ装置の表示領域のうち、前記画像領域特定手段が特定した前記所定の情報の表示を禁止する画像領域以外の画像領域又は前記所定の情報の表示を許可する画像領域のいずれかに対応する特定表示領域に前記所定の情報を表示するように制御する
   請求項１記載の情報表示システム。
3. 明度判定手段は、画像中の所定の領域ごとに明度を示す値が所定の閾値以上であるか否かを判定し、
   画像領域特定手段は、前記明度判定手段が明度を示す値が所定の閾値以上であると判定した領域を情報の表示を禁止する画像領域として特定する
   請求項２記載の情報表示システム。
4. 明度判定手段は、画像中の所定の領域ごとに明度を示す値が所定の閾値以上であるか否かを判定し、
   画像領域特定手段は、前記明度判定手段が明度を示す値が所定の閾値以下であると判定した領域を情報の表示を許可する画像領域として特定する
   請求項２記載の情報表示システム。
5. 画像中の座標を表す画像座標と、ヘッドマウントディスプレイ装置が情報の表示位置を特定するための座標を表す表示座標とを対応づけて記憶する記憶手段を備え、
   表示制御手段は、前記憶手段が記憶する前記画像座標と前記表示座標とに基づいて、前記ヘッドマウントディスプレイ装置の表示領域のうち、特定した画像領域に対応する特定表示領域に所定の情報を表示するように制御する
   請求項１から請求項４のうちのいずれか１項に記載の情報表示システム。
6. 撮影手段が撮影したユーザの目線方向の画像中の明度が所定の閾値未満である画像領域を特定し、所定の情報を表示可能なヘッドマウントディスプレイ装置の表示領域のうち、前記画像における特定された画像領域に対応する特定表示領域に前記所定の情報を表示するように制御する表示制御手段を備え、
   前記表示制御手段は、前記所定の情報として文字を表示する際に、前記特定表示領域内に前記文字が表示されるように、前記文字の向きを決定する
   ことを特徴とするウェアラブル装置。
7. 所定の情報を表示可能なヘッドマウントディスプレイ装置であって、
   撮影手段が撮影したユーザの目線方向の画像中の明度が所定の閾値未満である画像領域を特定し、当該ヘッドマウントディスプレイ装置の表示領域のうち、前記画像における特定された画像領域に対応する特定表示領域に前記所定の情報を表示するように制御する表示制御手段を備え、
   前記表示制御手段は、前記所定の情報として文字を表示する際に、前記特定表示領域内に前記文字が表示されるように、前記文字の向きを決定する
   ことを特徴とするヘッドマウントディスプレイ装置。
8. 撮影手段が撮影したユーザの目線方向の画像中の明度が所定の閾値未満である画像領域を特定し、所定の情報を表示可能なヘッドマウントディスプレイ装置の表示領域のうち、前記画像における特定された画像領域に対応する特定表示領域に前記所定の情報を表示するように制御し、
   前記所定の情報として文字を表示する際に、前記特定表示領域内に前記文字が表示されるように、前記文字の向きを決定する
   ことを特徴とする情報表示方法。
9. コンピュータに、
   撮影手段が撮影したユーザの目線方向の画像中の明度が所定の閾値未満である画像領域を特定し、所定の情報を表示可能なヘッドマウントディスプレイ装置の表示領域のうち、前記画像における特定された画像領域に対応する特定表示領域に前記所定の情報を表示するように制御する表示制御処理を実行させ、
   前記表示制御処理で、前記所定の情報として文字を表示する際に、前記特定表示領域内に前記文字が表示されるように、前記文字の向きを決定する処理を
   実行させるための情報表示プログラム。