JP2020150434A - 表示装置、表示方法及びプログラム - Google Patents

Abstract

【課題】ＡＲ表示においてユーザの体感品質の低減を抑えつつ、リソースの負荷を低減させる。【解決手段】表示装置１は、ユーザの両目それぞれに画像を提示するための表示部１２と、表示部１２に表示させる被写体Ａと、表示部１２に表示させない透過領域とを含む画像データを生成する画像生成装置２から画像データを取得する取得部１４１と、画像データに基づいて、被写体Ａの奥行きを示す奥行指標を算出する算出部１４２と、表示部１２が両目に同一の画像を提示するモノラル表示モードと、表示部１２が両目に視差画像を提示するステレオ表示モードとのいずれかの表示モードを、奥行指標に基づいて決定する決定部１４３と、決定部１４３が決定した表示モードに基づいて、画像データを表示部１２に表示させる表示制御部１４６と、を有する。【選択図】図２

Description

本発明は、画像データを表示する表示装置、表示方法及びプログラムに関する。

近年、現実空間に仮想情報を重畳してユーザに提示するＡＲ（Augmented Reality、拡張現実）技術に関する研究及び開発が進められている。特許文献１には、ＡＲ表示が可能なＨＤＭ（Head Mounted Display）型のデバイスが開示されている。

特開２０１９−００８２９０号公報

ところで、ＡＲ表示には、ユーザの両目に視差画像を提示するステレオ表示と、ユーザの両目に単一画像を提示するモノラル表示とがある。ステレオ表示は、視差画像を表示することにより、画像に表示される被写体に奥行き感が得られるため、ユーザの体感品質がモノラル表示より高いが、２つの画像を処理するため、画像を表示するために用いられるリソースの負荷がモノラル表示より高くなる。一方、モノラル表示は、単一画像を表示することにより、１つの画像を処理するためのリソースの負荷がステレオ表示より低くなるが、視差画像の提示による被写体の奥行き感が失われるためユーザの体感品質がステレオ表示より低くなる。

このように、体感品質の観点からはＡＲ表示としてステレオ表示を採用するのが好ましいが、リソース負荷の観点からはモノラル表示を採用するのが好ましい。そのため、ユーザの体感品質の低減を抑えつつ、リソースの負荷を低減させるように、ＡＲ表示を制御することが要求されている。

そこで、本発明はこれらの点に鑑みてなされたものであり、ＡＲ表示においてユーザの体感品質の低減を抑えつつ、リソースの負荷を低減させることができる表示装置、表示方法及びプログラムを提供することを目的とする。

本発明の第１の態様に係る表示装置は、ユーザの両目それぞれに画像を提示するための表示部と、前記表示部に表示させる被写体と、前記表示部に表示させない透過領域とを含む画像データを生成する画像生成装置から前記画像データを取得する取得部と、前記画像データに基づいて、前記被写体の奥行きを示す奥行指標を算出する算出部と、前記表示部が前記両目に同一の画像を提示するモノラル表示モードと、前記表示部が前記両目に視差画像を提示するステレオ表示モードとのいずれかの表示モードを、前記奥行指標に基づいて決定する決定部と、前記決定部が決定した前記表示モードに基づいて、前記画像データを前記表示部に表示させる表示制御部と、を有する。

前記表示装置は、前記決定部が決定した前記表示モードを示すモード情報を前記画像生成装置に通知する通知部をさらに有してもよいし、前記表示制御部は、通知された前記モード情報が前記モノラル表示モードを示す場合に、前記画像生成装置が生成した単一画像を前記画像データとして前記表示部に表示させ、通知された前記モード情報が前記ステレオ表示モードを示す場合に、前記画像生成装置が生成した視差画像を前記画像データとして前記表示部に表示させてもよい。

前記決定部は、前記モノラル表示モードと前記ステレオ表示モードとのいずれかの前記表示モードを決定するために定められた所定の閾値よりも前記奥行指標が遠いことを示す場合、前記表示モードを前記モノラル表示モードに決定し、前記所定の閾値よりも前記奥行指標が近いことを示す場合、前記表示モードを前記ステレオ表示モードに決定してもよい。

前記決定部は、決定した前記表示モードに応じて異なる前記所定の閾値を設定してもよい。
前記算出部は、圧縮された前記画像データのサイズに基づいて、前記奥行指標を算出してもよい。

前記取得部は、圧縮された前記画像データを前記画像生成装置から取得してもよいし、前記算出部は、圧縮された前記画像データを伸張した後に、伸張した前記画像データを所定の形式で圧縮した前記画像データのサイズに基づいて、前記奥行指標を算出してもよい。

前記算出部は、前記画像データに含まれる前記透過領域以外の画素の数に基づいて、前記奥行指標を算出してもよい。
前記算出部は、前記被写体の外接矩形のサイズに基づいて、奥行指標を算出してもよい。
前記算出部は、複数の前記被写体のうち、外接矩形のサイズが大きい前記被写体に基づいて、前記奥行指標を算出してもよい。

前記表示装置は、前記表示部に前記画像データを表示させるためのリソースの負荷状況を推定する負荷状況推定部をさらに有してもよいし、前記決定部は、前記負荷状況推定部が推定した結果が前記リソースの負荷状況が高いことを示す場合に、前記表示モードを前記モノラル表示モードに決定し、前記負荷状況推定部が推定した結果が前記リソースの負荷状況が高くないことを示す場合に、前記表示モードを前記ステレオ表示モードに決定してもよい。

前記決定部は、前記被写体の奥行きに関するアラートを表示しないアラート非表示モードと、前記アラートを表示するアラート表示モードとのいずれかのアラートモードを、前記奥行指標に基づいてさらに決定してもよいし、前記表示制御部は、前記決定部が決定した前記アラートモードに基づく情報を前記画像データに重畳して前記表示部に表示させてもよい。

前記アラート表示モードは、前記被写体の奥行きが短いことを警告する近距離用アラート表示モードと、前記被写体の奥行きが長いことを警告する遠距離用アラート表示モードとを含んでもよいし、前記決定部は、前記アラート非表示モードと前記近距離用アラート表示モードとの境界値である第１閾値よりも前記奥行指標が近いことを示す場合、前記アラートモードを前記近距離用アラート表示モードに決定し、前記アラート非表示モードと前記遠距離用アラート表示モードとの境界値である閾値であって、前記第１閾値と異なる第２閾値よりも前記奥行指標が遠いことを示す場合、前記アラートモードを前記遠距離用アラート表示モードに決定してもよい。

本発明の第２の態様に係る表示方法は、コンピュータが実行する、ユーザの両目それぞれに画像を提示するための表示部に表示させる被写体と、前記表示部に表示させないことを示す透過領域とを含む画像データを生成する画像生成装置から前記画像データを取得するステップと、前記画像データに基づいて、前記被写体の奥行きを示す奥行指標を算出するステップと、前記表示部が前記両目に同一の画像を提示するモノラル表示モードと、前記表示部が前記両目に視差画像を提示するステレオ表示モードとのいずれかの表示モードを、前記奥行指標に基づいて決定するステップと、決定した前記表示モードに基づいて、前記画像データを前記表示部に表示させるステップと、を有する。

本発明の第３の態様に係るプログラムは、コンピュータを、ユーザの両目それぞれに画像を提示するための表示部に表示させる被写体と、前記表示部に表示させないことを示す透過領域とを含む画像データを生成する画像生成装置から前記画像データを取得する取得部、前記画像データに基づいて、前記被写体の奥行きを示す奥行指標を算出する算出部、前記表示部が前記両目に同一の画像を提示するモノラル表示モードと、前記表示部が前記両目に視差画像を提示するステレオ表示モードとのいずれかの表示モードを、前記奥行指標に基づいて決定する決定部、及び前記決定部が決定した前記表示モードに基づいて、前記画像データを前記表示部に表示させる表示制御部、として機能させる。

本発明によれば、ＡＲ表示においてユーザの体感品質の低減を抑えつつ、リソースの負荷を低減させることができるという効果を奏する。

表示システムの概要を説明するための図である。 表示装置及び画像生成装置の構成を示す図である。 アラートモードを説明するための図である。 画像データのサイズと奥行指標との関係を模式的に示す図である。 被写体の外径矩形のサイズと奥行指標との関係を模式的に示す図である。 表示システムの処理の流れを示すシーケンス図である。

［表示システムＳの概要］
図１は、表示システムＳの概要を説明するための図である。表示システムＳは、表示装置１と、画像生成装置２とを有する。

表示装置１は、現実空間に重畳した仮想情報をユーザに提示するＡＲ表示が可能なデバイスであり、例えば、スマートグラスをはじめとするＨＭＤ型のデバイス又はスマートフォン等である。仮想情報は、例えば、３次元コンピュータグラフィックス（以下、３ＤＣＧ（3-Dimensions Computer Graphics）という）空間内に配置されたオブジェクト（被写体Ａ）にレンダリング等のグラフィック処理を施したＣＧ画像である。表示装置１は、３ＤＣＧ空間内に配置された仮想カメラが撮像した２Ｄの画像データを仮想情報として表示する。

表示装置１は、当該表示装置１が備えるカメラで撮影した現実空間の画像に仮想情報を重畳した合成画像を非透過型のディスプレイに表示するビデオシースルー方式のデバイスであってもよいし、透過型のディスプレイに仮想情報を表示することにより、ユーザの目を通して現実空間と仮想空間とを合成する光学シースルー方式のデバイスであってもよい。

画像生成装置２は、表示装置１に表示させる被写体Ａと、表示装置１に表示させない透過領域（例えば背景）とを含む画像データを生成する装置であり、例えばサーバである。画像データは、例えば、動画像における１つのフレーム画像である。被写体Ａは、表示装置１が画像データを表示する際に透過せずに表示される領域であり、例えば、複数の画素値で表された領域である。透過領域は、表示装置１が画像データを表示する際に透過して表示される領域であり、例えば、同一の画素値（例えば黒色）で表された領域である。透過領域は、例えば、黒色に近い色の画素が分布した領域であってもよい。

図１に示す例において、まず、画像生成装置２は、画像データを生成する（図１の（１））。画像生成装置２は、生成した画像データを表示装置１に送信する（図１の（２））。

表示装置１は、画像生成装置２が生成した画像データを取得すると、取得した画像データに基づいて、被写体Ａの奥行きを示す奥行指標を算出する（図１の（３））。被写体Ａの奥行きは、ユーザから被写体Ａまでの距離、すなわち仮想空間における仮想カメラから被写体Ａまでの距離である。表示装置１は、算出した奥行指標に基づいて、表示モードを決定する（図１の（４））。

表示モードは、モノラル表示モードと、ステレオ表示モードとを有する。モノラル表示モードは、ユーザの両目に単一画像を提示する表示モードである。ステレオ表示モードは、ユーザの両目に視差画像を提示する表示モードである。モノラル表示モード及びステレオ表示モードを比較すると、ユーザによる体感品質の高さにおいては、ステレオ表示モードの方が優れており、画像を表示させるために用いられるリソースの負荷の低さにおいては、モノラル表示モードの方が優れている。そこで、表示システムＳは、被写体Ａの奥行きが長く、視差の影響が小さい場合に、モノラル表示モードに基づく画像データを表示させ、被写体Ａの奥行きが短く、視差の影響が大きい場合に、ステレオ表示モードに基づく画像データを表示させる。

表示装置１は、算出した奥行指標が、被写体Ａの奥行きが短いことを示す場合、すなわち仮想カメラから被写体Ａまでの距離が近いことを示す場合、表示モードをステレオ表示モードに決定する。一方、表示装置１は、算出した奥行指標が、被写体Ａの奥行きが長いことを示す場合、すなわち仮想カメラから被写体Ａまでの距離が遠いことを示す場合、表示モードをモノラル表示モードに決定する。

そして、表示装置１は、決定した表示モードに基づいて、画像データを表示する（図１の（５））。図１に示すように、表示装置１は、表示モードがモノラル表示モードである場合、単一画像として、画像Ｇ１をユーザの左目に提示し、画像Ｇ１と同じ画像である画像Ｇ２をユーザの右目に提示する。この場合、ユーザは、表示装置１に表示された被写体Ａを、視差画像の提示による奥行き感が失われた物体として認識する。一方、表示装置１は、表示モードがステレオ表示モードである場合、視差画像として、画像Ｇ３をユーザの左目に提示し、画像Ｇ３とは異なる地点で撮像された画像Ｇ４をユーザの右目に提示する。この場合、ユーザは、表示装置１に表示された被写体Ａを、視差画像の提示による奥行き感が得られる物体として認識する。

表示システムＳは、フレーム画像ごとに、図１の（１）から（５）までの処理を実行する。このようにすることで、表示装置１は、被写体Ａの奥行きを推定することができる。これにより、表示装置１は、被写体Ａの奥行きに応じて表示モードを制御することができる。その結果、表示システムＳは、ＡＲ表示においてユーザの体感品質の低減を抑えつつ、リソースの負荷を低減させることができる。
以下、表示装置１及び画像生成装置２の構成について説明する。

［表示装置１及び画像生成装置２の構成］
まず、表示装置１の構成について説明する。図２は、表示装置１及び画像生成装置２の構成を示す図である。表示装置１は、通信部１１と、表示部１２と、記憶部１３と、制御部１４とを有する。

通信部１１は、ネットワークに接続するためのインターフェイスであり、例えば無線ＬＡＮコントローラを含んで構成されている。表示部１２は、ユーザの両目それぞれに画像を提示するためのディスプレイである。表示部１２は、透過型のディスプレイであってもよいし、非透過型のディスプレイであってもよい。

記憶部１３は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）及びハードディスク等の記憶媒体である。記憶部１３は、制御部１４が実行するプログラムを記憶している。

制御部１４は、例えば、ＣＰＵ（Central Processing Unit）又はＧＰＵ（Graphics Processing Unit）等である。制御部１４は、記憶部１３に記憶されたプログラムを実行することにより、取得部１４１、算出部１４２、決定部１４３、負荷状況推定部１４４、通知部１４５及び表示制御部１４６として機能する。

取得部１４１は、通信部１１を介して、表示部１２に表示させる被写体Ａと、表示部１２に表示させない透過領域とを含む画像データを画像生成装置２から取得する。取得部１４１は、例えば、動画像におけるフレーム画像ごとに、通信部１１を介して、当該フレーム画像を画像データとして画像生成装置２から取得する。取得部１４１は、圧縮された画像データを画像生成装置２から取得してもよい。

算出部１４２は、取得部１４１が取得した画像データに基づいて、被写体Ａの奥行きを示す奥行指標を算出する。奥行指標の算出方法の詳細については後述する。

決定部１４３は、表示部１２がユーザの両目に同一の画像を提示するモノラル表示モードと、表示部１２がユーザの両目に視差画像を提示するステレオ表示モードとのいずれかの表示モードを、奥行指標に基づいて決定する。具体的には、決定部１４３は、所定の閾値よりも奥行指標が遠いことを示す場合、表示モードをモノラル表示モードに決定し、所定の閾値よりも奥行指標が近いことを示す場合、表示モードをステレオ表示モードに決定する。所定の閾値は、モノラル表示モードとステレオ表示モードとのいずれかの表示モードを決定するために定められた値である。所定の閾値は、例えば、表示装置１に予め設定されている。

このように、決定部１４３は、被写体Ａの奥行きが長い場合に表示モードをモノラル表示モードに決定して表示部１２に単一画像を表示させることにより、ユーザの体感品質の低減を抑えつつ、画像データを表示させるために用いられるリソースの負荷を低減させることができる。また、決定部１４３は、被写体Ａの奥行きが短い場合に表示モードをステレオ表示モードに決定して表示部１２に視差画像を表示させることにより、ユーザの体感品質を向上させることができる。

決定部１４３は、決定した表示モードに応じて異なる所定の閾値を設定してもよい。決定部１４３は、例えば、決定部１４３が表示モードをモノラル表示モードに決定した場合、モノラル表示モードに対応する所定の閾値である表示モード用の第１閾値を設定し、決定部１４３が表示モードをステレオ表示モードに決定した場合、ステレオ表示モードに対応する所定の閾値であって、表示モード用の第１閾値と異なる表示モード用の第２閾値を設定する。このようにすることで、決定部１４３は、表示モードが頻繁に切り替わることによってユーザの体感品質が低下することを防ぐことができる。

決定部１４３は、奥行指標とリソースの負荷状況とに基づいて表示モードを決定してもよい。リソースの負荷状況に基づいて表示モードを決定する処理の詳細については後述する。

表示制御部１４６は、決定部１４３が決定した表示モードに基づいて、画像データを表示部１２に表示させる。具体的には、表示制御部１４６は、決定された表示モードに基づいて画像生成装置２が生成した画像データを表示部１２に表示させる。

より具体的には、まず、決定部１４３が表示モードを決定すると、通知部１４５は、決定部１４３が決定した表示モードを示すモード情報を画像生成装置２に通知することにより、決定部１４３が決定した表示モードに基づく画像データを画像生成装置２に生成させる。そして、取得部１４１が、画像生成装置２によって生成された画像データを取得すると、表示制御部１４６は、取得された画像データを表示部１２に表示させる。

表示制御部１４６は、例えば、通知されたモード情報がモノラル表示モードを示す場合に、画像生成装置２が生成した単一画像を画像データとして表示部１２に表示させる。一方、表示制御部１４６は、通知されたモード情報がステレオ表示モードを示す場合に、画像生成装置２が生成した視差画像を画像データとして表示部１２に表示させる。

通知部１４５は、画像生成装置２にモード情報を通知するとともに、現実空間における表示装置１の位置を示す位置情報を通知してもよい。この場合、表示装置１は、現実空間における表示装置１の位置を推定する不図示の位置推定部をさらに有してもよい。なお、表示システムＳは、位置推定部と同等の機能を有する外部装置を有してもよい。

位置推定部は、公知の技術を用いて表示装置１の位置を推定することができる。位置推定部は、例えば、不図示のレーザ装置又は３Ｄカメラ等を用いて現実空間における周囲の環境を測定することによって表示装置１の位置を推定する。また、例えば、位置推定部は、カメラによって撮像された２つのフレーム画像間に基づいて自己位置認識（例えばVisual Odometry）を行うことによって表示装置１の位置を推定してもよい。また、位置推定部は、表示装置１の位置とともに、表示装置１の向きを推定してもよい。このように、表示装置１は、推定した表示装置１の位置を示す位置情報、及び推定した表示装置１の向きを示す向き情報を画像生成装置２に通知することにより、表示装置１の動きに連動した仮想カメラによって撮像された画像データを生成させることができる。

表示制御部１４６は、決定部１４３が表示モードの決定に用いた画像データを、当該表示モードに基づく態様で表示部１２に表示させてもよい。表示制御部１４６は、例えば、決定部１４３が決定した表示モードがモノラル表示モードである場合において、取得部１４１が取得した画像データが視差画像である場合、２つの画像のうちのいずれかの画像を単一画像として表示部１２に表示させてもよい。また、表示制御部１４６は、例えば、決定部１４３が決定した表示モードがステレオ表示モードである場合において、取得部１４１が取得した画像データが単一画像である場合、単一画像に基づいて生成した視差画像を表示部１２に表示させてもよい。表示制御部１４６は、公知の技術を用いて単一画像から視差画像を生成することができる。

表示制御部１４６は、被写体Ａの奥行きが長すぎたり短すぎたりする場合、ユーザの体感品質を向上させるためのアラートを表示部１２に表示させてもよい。この場合、表示装置１は、表示モードとは異なるモードであるアラートモードをさらに設けてもよい。

アラートモードは、アラート非表示モードと、アラート表示モードとを含む。アラート非表示モードは、被写体Ａの奥行きに関するアラートを表示しないアラートモードであり、被写体Ａの奥行きが適正である場合（例えば、被写体Ａの奥行きが短くない場合）に決定されるアラートモードである。アラート表示モードは、アラートを表示するアラートモードであり、例えば、被写体Ａの奥行きが短い場合に決定されるアラートモードである。

具体的には、まず、決定部１４３は、アラート非表示モードと、アラート表示モードとのいずれかのアラートモードを、奥行指標に基づいてさらに決定する。そして、表示制御部１４６は、決定部１４３が決定したアラートモードに基づく情報を画像データに重畳して表示部１２に表示させる。表示制御部１４６は、例えば、決定部１４３が決定したアラートモードがアラート表示モードである場合、被写体Ａの奥行きが近いことを示すメッセージをアラートモードに基づく情報として、画像データに重畳して表示部１２に表示させる。このようにすることで、ユーザは、被写体Ａが適切に表示されていないことを認識することができる。

アラート表示モードは、被写体Ａの奥行きが短いことを警告する近距離用アラート表示モードと、被写体Ａの奥行きが長いことを警告する遠距離用アラート表示モードとを含んでもよい。この場合、決定部１４３は、奥行指標とアラートモード用の第１閾値とアラートモード用の第２閾値との関係に基づいて、アラートモードをアラート非表示モード、近距離用アラート表示モード及び遠距離用アラート表示モードのうちのいずれかに決定してもよい。アラートモード用の第１閾値は、アラート非表示モードと近距離用アラート表示モードとの境界値である。アラートモード用の第２閾値は、アラート非表示モードと遠距離用アラート表示モードとの境界値である閾値であって、アラートモード用の第１閾値と異なる閾値である。

具体的には、決定部１４３は、アラートモード用の第１閾値よりも奥行指標が近いことを示す場合、アラートモードを近距離用アラート表示モードに決定し、アラートモード用の第２閾値よりも奥行指標が遠いことを示す場合、アラートモードを遠距離用アラート表示モードに決定してもよい。

図３は、アラートモードを説明するための図である。図３（１）に示す画像には、奥行きが短い被写体Ａが表示されており、図３（２）に示す画像には、奥行きが長い被写体Ａが表示されている。この場合において、決定部１４３が、アラートモードを近距離用アラート表示モードに決定した場合、表示制御部１４６は、近距離用アラート表示モードに対応する図３（１）に示すようなメッセージＭ１を、画像データに重畳して表示部１２に表示させる。一方、決定部１４３が、アラートモードを遠距離用アラート表示モードに決定した場合、表示制御部１４６は、遠距離用アラート表示モードに対応する図３（２）に示すようなメッセージＭ２を、画像データに重畳して表示部１２に表示させる。このようにすることで、ユーザは、被写体Ａが適切に表示されていないことを認識することができる。

続いて、画像生成装置２の構成について説明する。画像生成装置２は、通信部２１と、記憶部２２、制御部２３とを有する。通信部２１は、ネットワークに接続するためのインターフェイスであり、例えば無線ＬＡＮコントローラを含んで構成されている。

記憶部２２は、ＲＯＭ、ＲＡＭ及びハードディスク等の記憶媒体である。記憶部２２は、制御部２３が実行するプログラムを記憶している。制御部２３は、例えばＣＰＵである。制御部２３は、記憶部２２に記憶されたプログラムを実行することにより、生成部２３１及び送信部２３２として機能する。

生成部２３１は、表示モードに基づいて画像データを生成する。具体的には、生成部２３１は、表示モードがステレオ表示モードである場合、視差画像を画像データとして生成し、表示モードがモノラル表示モードである場合、単一画像を画像データとして生成する。生成部２３１は、例えば、通信部２１を介して表示装置１から受信した表示モードに基づいて、画像データを生成する。また、生成部２３１は、例えば、予め設定された表示モードに基づいて画像データを生成してもよい。

生成部２３１は、例えば、動画像におけるフレーム画像ごとに、当該フレーム画像を画像データとして生成する。生成部２３１は、生成した画像データを所定の形式で圧縮してもよい。生成部２３１は、ＡＶＣ（Advanced Video Coding）又はＨＥＶＣ（High Efficiency Video Coding）等を所定の形式として画像データを圧縮してもよいし、ランレングス法等を所定の形式として画像データを圧縮してもよい。

生成部２３１は、表示装置１からモード情報とともに、表示装置１の位置を示す位置情報及び表示装置１の向きを示す向き情報が通知された場合、位置情報が示す位置及び向き情報が示す向きから仮想カメラが撮像した画像データを生成してもよい。

送信部２３２は、通信部２１を介して、生成部２３１が生成した画像データを表示装置１に送信する。送信部２３２は、例えば、フレーム画像ごとに、生成部２３１が生成した画像データを表示装置１に送信する。

［奥行指標の算出方法］
続いて、奥行指標の算出方法について説明する。上述のとおり、表示装置１の算出部１４２は、画像データに基づいて、被写体Ａの奥行きを示す奥行指標を算出する。算出部１４２は、様々な方法で奥行指標を算出することができる。

（画像データのサイズ）
算出部１４２は、圧縮された画像データのサイズに基づいて、奥行指標を算出する。具体的には、算出部１４２は、取得部１４１が取得した画像データを所定の形式で圧縮した画像データのサイズに基づいて、奥行指標を算出する。所定の形式は、ＬＺＳＳ（Lempel-Ziv-Storer-Szymanski）法をはじめとするデータ圧縮アルゴリズムであり、例えば、ランレングス法、ＰＮＧ（Portable Network Graphics）又はＺＩＰ等である。

図４は、画像データのサイズと奥行指標との関係を模式的に示す図である。図４に示す画像は、画像生成装置２が生成した画像データである。図４（１）に示す画像には、奥行が遠い被写体Ａが表示されており、被写体Ａの面積より、被写体Ａ以外の領域である透過領域の面積の方が大きい。図４（２）に示す画像には、奥行きが短い被写体Ａが表示されており、透過領域の面積より被写体Ａの面積の方が大きい。

所定の形式として例示したランレングス法は、データ系列中に繰り返し現れるパターンを、繰り返し現れたパターンの回数に置き換えることによりデータを圧縮する。算出部１４２が、ランレングス法を用いて図４に示す２つの画像それぞれを圧縮した場合、透過領域の面積が小さい画像である図４（２）に示す画像の圧縮率より、同一の画素値で表された透過領域の面積が大きい画像である図４（１）に示す画像の圧縮率の方が高くなる。したがって、図４（１）に示す画像を圧縮した画像データは、図４（２）に示す画像を圧縮した画像データより小さくなる。このように、算出部１４２は、被写体Ａの奥行きに応じて変動する所定の形式で圧縮した画像データのサイズに基づいて奥行指標を算出することにより、被写体Ａの奥行きを推定することができる。なお、算出部１４２は、例えば、画像データの透過領域に黒色に近い色の画素が分布している場合、２値化して黒色を示す画素値に変換した後に、奥行指標を算出してもよい。

取得部１４１が取得した画像データが画像生成装置２によって圧縮されている場合、算出部１４２は、所定の形式で圧縮し直した画像データのサイズに基づいて、奥行指標を算出してもよい。具体的には、算出部１４２は、取得部１４１が圧縮された画像データを取得した場合、圧縮された画像データを伸張した後に、伸張した画像データを所定の形式で圧縮した画像データのサイズに基づいて、奥行指標を算出してもよい。なお、画像生成装置２が画像データを圧縮する形式と、算出部１４２が画像データを圧縮する形式とが同じ形式である場合、算出部１４２は、所定の形式で圧縮し直さずに、取得部１４１が取得した画像データのサイズに基づいて奥行指標を算出してもよい。

算出部１４２は、例えば、画像データのサイズを奥行指標として算出する。また、算出部１４２は、例えば、伸張した画像データのサイズと圧縮した画像データのサイズとの割合、すなわち画像データの圧縮率を奥行指標として算出してもよい。また、算出部１４２は、例えば、画像データのサイズ又は画像データの圧縮率の逆数を奥行指標として算出してもよい。

ここで、取得部１４１が取得した画像データをｆとした場合、算出部１４２は、奥行指標ｄを、データ系列のサイズを取得する関数であるＳｉｚｅ及び入力データを所定の形式で圧縮して出力する関数であるＣｏｍｐｒｅｓｓｉｏｎを用いたｄ＝１／Ｓｉｚｅ（Ｃｏｍｐｒｅｓｓｉｏｎ（ｆ））の式を用いて算出することができる。この場合における奥行指標は、仮想カメラから被写体Ａまでの距離が遠くなるほど、すなわち被写体Ａの奥行きが長くなるほど値が大きくなり、仮想カメラから被写体Ａまでの距離が近くなるほど、すなわち被写体Ａの奥行きが短くなるほど値が小さくなる。このように、算出部１４２は、簡易な方法で被写体Ａの奥行きを推定することにより、算出処理の負荷を低減することができる。

（透過領域以外の画素の数）
算出部１４２は、画像データに含まれる透過領域以外の画素の数に基づいて、奥行指標を算出してもよい。算出部１４２は、例えば、画像データに含まれる透過領域以外の画素をカウントし、カウントした画素の数を奥行指標として算出してもよい。また、算出部１４２は、カウントした画像データに含まれる透過領域以外の画素の数の逆数を奥行指標として算出してもよい。

ここで、透過領域の画素をＢＬＡＣＫ（例えば、ＲＧＢ値が（０，０，０）である黒画素）とし、透過領域以外の画素を＜＞ＢＬＡＣＫとした場合、算出部１４２は、奥行指標ｄを、データ系列内において検索条件に該当する画素の数をカウントする関数であるＣｏｕｎｔＩＦを用いたｄ＝１／ＣｏｕｎｔＩＦ（ｆ，＜＞ＢＬＡＣＫ）の式を用いて算出することができる。このようにすることで、算出部１４２は、画像データを所定の形式で圧縮しなくても、被写体Ａの奥行きを推定することができる。なお、算出部１４２は、画像データに含まれる透過領域の画素の数に基づいて、奥行指標を算出してもよい。

（被写体Ａの外接矩形のサイズ）
算出部１４２は、被写体Ａの外接矩形のサイズに基づいて、奥行指標を算出してもよい。算出部１４２は、例えば、被写体Ａの外接矩形のサイズを奥行指標として算出してもよい。

図５は、被写体Ａの外径矩形のサイズと奥行指標との関係を模式的に示す図である。図５の破線で示す領域Ｒは、被写体Ａの外接矩形を示す領域である。なお、図５においては、不明瞭とならないように、被写体Ａと領域Ｒとの間にスペースを設けている。図５（１）に示すように、被写体Ａの奥行きが長くなると、領域Ｒ１が示す被写体Ａの外接矩形のサイズが小さくなる。一方、図５（２）に示すように、被写体Ａの奥行きが短くなると、領域Ｒ２が示す被写体Ａの外接矩形のサイズが大きくなる。このように、算出部１４２は、被写体Ａの奥行きに応じて変動する被写体Ａの外接矩形のサイズに基づいて奥行指標を算出することにより、被写体Ａの奥行きを推定することができる。

ここで、算出部１４２は、奥行指標ｄを、対象領域の面積を算出する関数であるＡｒｅａと、データ系列内の前景領域（被写体Ａ）の外径矩形を求める関数であるＭｉｎＡｒｅａＲｅｃｔとを用いたｄ＝１／Ａｒｅａ（ＭｉｎＡｒｅａＲｅｃｔ（ｆ））の式を用いて算出することができる。

ところで、図５（３）に示すように、画像データに複数の被写体Ａが含まれる場合がある。このように、画像データに複数の被写体Ａが含まれる場合、算出部１４２は、複数の被写体Ａのうち、外接矩形のサイズが大きい被写体Ａに基づいて、奥行指標を算出してもよい。図５（３）に示す例において、算出部１４２は、被写体Ａ１、Ａ２のうち、外接矩形のサイズが最も大きい被写体Ａ２の外径矩形である領域Ｒ４のサイズに基づいて、奥行指標を算出してもよい。また、算出部１４２は、画像データに含まれる被写体Ａ１の外接矩形である領域Ｒ３のサイズと、被写体Ａ２の外接矩形である領域Ｒ４のサイズとを合計した合計サイズに基づいて、奥行指標を算出してもよい。

［リソースの負荷状況に基づいて表示モードを決定する処理］
続いて、負荷状況に基づいて表示モードを決定する処理について説明する。上述したとおり、モノラル表示モードでは単一画像が表示され、ステレオ表示モードでは視差画像が表示される。両者を比較すると、ステレオ表示モードの方がＣＰＵをはじめとするリソースに負荷がかかるため、リソースの負荷が高い状況でステレオ表示モードに基づく処理が実行されると、画像データが表示部１２に表示されるまでに時間がかかってしまい、ユーザの体感品質が低下し得る。そこで、表示装置１の決定部１４３は、奥行指標とリソースの負荷状況とに基づいて表示モードを決定してもよい。リソースは、表示部１２に画像データを表示させるために用いられる資源であり、例えば、表示装置１のＣＰＵ、ＧＰＵ、電池又はネットワーク等である。

この場合において、負荷状況推定部１４４は、リソースの負荷状況を推定する。具体的には、負荷状況推定部１４４は、ＣＰＵの使用率、ＧＰＵの使用率、電池残量及びネットワークの状態それぞれを測定し、測定した結果に基づいてリソースの負荷状況を推定する。負荷状況推定部１４４は、測定した結果である各リソースの測定値を正規化した後に、リソースの負荷状況を推定してもよい。例えば、ネットワークの状態を測定する場合、負荷状況推定部１４４は、通信部１１が受信した電波強度をネットワークの状態として測定し、測定したネットワークの測定値を他のリソースの単位（例えばＣＰＵの使用率）と同じ単位になるように正規化する。負荷状況推定部１４４は、各リソースの測定値それぞれを各リソースに対応する重み係数（例えば０から１までを範囲とする数値）で重み付けした後に、リソースの負荷状況を推定してもよい。

ここで、表示装置１の電池残量をＬ＿Ｐｏｗｅｒ（値が低いほど負荷が高い）とし、表示装置１のＣＰＵの稼働率をＬ＿ＣＰＵ（値が高いほど負荷が高い）とし、表示装置１のＧＰＵの稼働率をＬ＿ＧＰＵ（値が高いほど負荷が高い）とし、ネットワークの状態をＬ＿ＮＥＴＷＯＲＫ（値が高いほど負荷が高い）とし、各リソースに対応する重み係数をａ、ｂ、ｃ、ｄとした場合、負荷状況推定部１４４は、リソースの負荷状況ｌを、ｌ＝１／（ａ・Ｌ＿Ｐｏｗｅｒ＋ｂ・（１−Ｌ＿ＣＰＵ）＋ｃ・（１−Ｌ＿ＧＰＵ）＋ｄ・（１−Ｌ＿ＮＥＴＷＯＲＫ））の式を用いて算出することができる。この場合、リソースの負荷状況ｌ（以下、「推定値」という。）は、値が高いほどリソースの負荷状況が高いことを示し、値が低いほどリソースの負荷状況が低いことを示す。

決定部１４３は、負荷状況推定部１４４がリソースの負荷状況を推定すると、負荷状況推定部１４４が推定した結果がリソースの負荷状況が高いことを示す場合に、表示モードをモノラル表示モードに決定し、負荷状況推定部１４４が推定した結果がリソースの負荷状況が高くないことを示す場合に、表示モードをステレオ表示モードに決定する。

具体的には、決定部１４３は、負荷状況推定部１４４が推定した推定値が所定の閾値以上である場合、表示モードをモノラル表示モードに決定し、推定値が所定の閾値未満である場合、表示モードをステレオ表示モードに決定する。

より具体的には、決定部１４３は、奥行指標に対応する所定の閾値よりも奥行指標が遠いことを示す場合、又は奥行指標に対応する所定の閾値よりも奥行指標が近いことを示し、かつ推定値が当該推定値に対応する所定の閾値以上である場合、表示モードをモノラル表示モードに決定する。一方、決定部１４３は、奥行指標に対応する所定の閾値よりも奥行指標が近いことを示し、かつ推定値が当該推定値に対応する所定の閾値未満である場合、表示モードをステレオ表示モードに決定する。

決定部１４３は、奥行指標と推定値とを統合した統合パラメータに基づいて、表示モードを決定してもよい。決定部１４３は、第１パラメータで重み付けした奥行指標と、第１パラメータとは異なる第２パラメータで重み付けした推定値とに基づいて、統合パラメータを算出する。第１パラメータ及び第２パラメータは、例えば、０から１までを範囲とする数値であり、予め設定されたパラメータである。

ここで、第１パラメータをαとし、第２パラメータをβとした場合、決定部１４３は、統合パラメータｐを、ｐ＝α・ｄ＋β・ｌの式を用いて算出することができる。この場合における統合パラメータｐは、被写体Ａの奥行きが長くなるほど、またリソースの負荷状況が高くなるほど値が大きくなり、被写体Ａの奥行きが短くなるほど、またリソースの負荷状況が低くなるほど値が小さくなる。

決定部１４３は、統合パラメータを算出すると、算出した統合パラメータが、統合パラメータに対応する所定の閾値を超える場合、表示モードをモノラル表示モードに決定し、算出した統合パラメータが所定の閾値以下である場合、表示モードをステレオ表示モードに決定する。このように、決定部１４３は、リソースの負荷状況が高い場合に、表示モードをリソースの負荷が小さいモノラル表示モードに決定することにより、リソースが逼迫することによりユーザの体感品質が低下することを防ぐことができる。

［表示システムＳの処理］
続いて、表示システムＳの処理の流れについて説明する。図６は、表示システムＳの処理の流れを示すシーケンス図である。図６に示すＳ６の処理は、Ｓ２とＳ３の間に実行されてもよいし、Ｓ３からＳ５までの処理と並列に実行されてもよい。

本処理は、画像生成装置２の生成部２３１が、設定された表示モードに基づいて、画像データを生成したことを契機として開始する（Ｓ１）。画像生成装置２の送信部２３２は、通信部２１を介して、生成部２３１が生成した画像データを表示装置１に送信する（Ｓ２）。

表示装置１の算出部１４２は、取得部１４１が通信部１１を介して画像データを取得すると、取得された画像データに基づいて、被写体Ａの奥行指標を算出する（Ｓ３）。算出部１４２は、例えば、画像データのサイズに基づいて、奥行指標を算出する。

表示装置１の決定部１４３は、奥行指標に基づいて、モノラル表示モードとステレオ表示モードとのいずれかの表示モードを決定する（Ｓ４）。具体的には、決定部１４３は、所定の閾値よりも奥行指標が遠いことを示す場合、表示モードをモノラル表示モードに決定し、所定の閾値よりも奥行指標が近いことを示す場合、表示モードをステレオ表示モードに決定する。

表示装置１の通知部１４５は、決定部１４３が決定した表示モードを示すモード情報を画像生成装置２に通知する（Ｓ５）。そして、表示制御部１４６は、決定部１４３が決定した表示モードに基づいて、画像データを表示部１２に表示させる（Ｓ６）。具体的には、表示制御部１４６は、取得部１４１が取得した画像データを表示部１２に表示させる。

［変形例］
上記において、表示装置１が、奥行指標に基づいて、表示モードとともにアラートモードを設定する例を説明したがこれに限らない。例えば、表示装置１は、奥行指標に基づいて、表示モードを設定せずに、アラートモードを設定してもよい。この場合、表示装置１は、奥行指標に基づいて、アラートモードとともに表示モードを設定してもよい。

［本実施の形態における効果］
以上説明したとおり、表示システムＳは、表示装置１が、画像生成装置２によって生成された画像データに基づいて奥行指標を算出し、算出した奥行指標に基づいて表示モードを決定する。そして、表示装置１が、決定した表示モードに基づいて、画像データを表示する。このようにすることで、表示装置１は、画像データに基づいて被写体Ａの奥行きを推定することができる。これにより、表示装置１は、被写体Ａの奥行きに応じて表示モードを制御することができる。その結果、表示システムＳは、ＡＲ表示においてユーザの体感品質の低減を抑えつつ、リソースの負荷を低減させることができる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。

１ 表示装置
１１ 通信部
１２ 表示部
１３ 記憶部
１４ 制御部
１４１ 取得部
１４２ 算出部
１４３ 決定部
１４４ 負荷状況推定部
１４５ 通知部
１４６ 表示制御部
２ 画像生成装置
２１ 通信部
２２ 記憶部
２３ 制御部
２３１ 生成部
２３２ 送信部
Ｓ 表示システム

Claims (14)

1. ユーザの両目それぞれに画像を提示するための表示部と、
   前記表示部に表示させる被写体と、前記表示部に表示させない透過領域とを含む画像データを生成する画像生成装置から前記画像データを取得する取得部と、
   前記画像データに基づいて、前記被写体の奥行きを示す奥行指標を算出する算出部と、
   前記表示部が前記両目に同一の画像を提示するモノラル表示モードと、前記表示部が前記両目に視差画像を提示するステレオ表示モードとのいずれかの表示モードを、前記奥行指標に基づいて決定する決定部と、
   前記決定部が決定した前記表示モードに基づいて、前記画像データを前記表示部に表示させる表示制御部と、
   を有する表示装置。
2. 前記決定部が決定した前記表示モードを示すモード情報を前記画像生成装置に通知する通知部をさらに有し、
   前記表示制御部は、通知された前記モード情報が前記モノラル表示モードを示す場合に、前記画像生成装置が生成した単一画像を前記画像データとして前記表示部に表示させ、通知された前記モード情報が前記ステレオ表示モードを示す場合に、前記画像生成装置が生成した視差画像を前記画像データとして前記表示部に表示させる、
   請求項１に記載の表示装置。
3. 前記決定部は、前記モノラル表示モードと前記ステレオ表示モードとのいずれかの前記表示モードを決定するために定められた所定の閾値よりも前記奥行指標が遠いことを示す場合、前記表示モードを前記モノラル表示モードに決定し、前記所定の閾値よりも前記奥行指標が近いことを示す場合、前記表示モードを前記ステレオ表示モードに決定する、
   請求項１又は２に記載の表示装置。
4. 前記決定部は、決定した前記表示モードに応じて異なる前記所定の閾値を設定する、
   請求項３に記載の表示装置。
5. 前記算出部は、圧縮された前記画像データのサイズに基づいて、前記奥行指標を算出する、
   請求項１から４のいずれか一項に記載の表示装置。
6. 前記取得部は、圧縮された前記画像データを前記画像生成装置から取得し、
   前記算出部は、圧縮された前記画像データを伸張した後に、伸張した前記画像データを所定の形式で圧縮した前記画像データのサイズに基づいて、前記奥行指標を算出する、
   請求項５に記載の表示装置。
7. 前記算出部は、前記画像データに含まれる前記透過領域以外の画素の数に基づいて、前記奥行指標を算出する、
   請求項１から６のいずれか一項に記載の表示装置。
8. 前記算出部は、前記被写体の外接矩形のサイズに基づいて、奥行指標を算出する、
   請求項１から７のいずれか一項に記載の表示装置。
9. 前記算出部は、複数の前記被写体のうち、外接矩形のサイズが大きい前記被写体に基づいて、前記奥行指標を算出する、
   請求項８に記載の表示装置。
10. 前記表示部に前記画像データを表示させるためのリソースの負荷状況を推定する負荷状況推定部をさらに有し、
    前記決定部は、前記負荷状況推定部が推定した結果が前記リソースの負荷状況が高いことを示す場合に、前記表示モードを前記モノラル表示モードに決定し、前記負荷状況推定部が推定した結果が前記リソースの負荷状況が高くないことを示す場合に、前記表示モードを前記ステレオ表示モードに決定する、
    請求項１から９のいずれか一項に記載の表示装置。
11. 前記決定部は、前記被写体の奥行きに関するアラートを表示しないアラート非表示モードと、前記アラートを表示するアラート表示モードとのいずれかのアラートモードを、前記奥行指標に基づいてさらに決定し、
    前記表示制御部は、前記決定部が決定した前記アラートモードに基づく情報を前記画像データに重畳して前記表示部に表示させる、
    請求項１から１０のいずれか一項に記載の表示装置。
12. 前記アラート表示モードは、前記被写体の奥行きが短いことを警告する近距離用アラート表示モードと、前記被写体の奥行きが長いことを警告する遠距離用アラート表示モードとを含み、
    前記決定部は、前記アラート非表示モードと前記近距離用アラート表示モードとの境界値である第１閾値よりも前記奥行指標が近いことを示す場合、前記アラートモードを前記近距離用アラート表示モードに決定し、前記アラート非表示モードと前記遠距離用アラート表示モードとの境界値である閾値であって、前記第１閾値と異なる第２閾値よりも前記奥行指標が遠いことを示す場合、前記アラートモードを前記遠距離用アラート表示モードに決定する、
    請求項１１に記載の表示装置。
13. コンピュータが実行する、
    ユーザの両目それぞれに画像を提示するための表示部に表示させる被写体と、前記表示部に表示させないことを示す透過領域とを含む画像データを生成する画像生成装置から前記画像データを取得するステップと、
    前記画像データに基づいて、前記被写体の奥行きを示す奥行指標を算出するステップと、
    前記表示部が前記両目に同一の画像を提示するモノラル表示モードと、前記表示部が前記両目に視差画像を提示するステレオ表示モードとのいずれかの表示モードを、前記奥行指標に基づいて決定するステップと、
    決定した前記表示モードに基づいて、前記画像データを前記表示部に表示させるステップと、
    を有する表示方法。
14. コンピュータを、
    ユーザの両目それぞれに画像を提示するための表示部に表示させる被写体と、前記表示部に表示させないことを示す透過領域とを含む画像データを生成する画像生成装置から前記画像データを取得する取得部、
    前記画像データに基づいて、前記被写体の奥行きを示す奥行指標を算出する算出部、
    前記表示部が前記両目に同一の画像を提示するモノラル表示モードと、前記表示部が前記両目に視差画像を提示するステレオ表示モードとのいずれかの表示モードを、前記奥行指標に基づいて決定する決定部、及び
    前記決定部が決定した前記表示モードに基づいて、前記画像データを前記表示部に表示させる表示制御部、
    として機能させるプログラム。

Images