JP2018136706A

JP2018136706A - 画像表示装置

Info

Publication number: JP2018136706A
Application number: JP2017030306A
Authority: JP
Inventors: 兼史堅田; Kanefumi Katada; 里実井筒; Satomi Izutsu; 町田　保; Tamotsu Machida; 保町田; 圭子飯塚; Keiko Iizuka
Original assignee: Tokyo Gas Co Ltd
Current assignee: Tokyo Gas Co Ltd
Priority date: 2017-02-21
Filing date: 2017-02-21
Publication date: 2018-08-30
Anticipated expiration: 2037-02-21
Also published as: JP6648050B2

Abstract

【課題】簡易な構成で、処理負荷を低減しつつ、合成画像を表示する。【解決手段】画像表示装置１は、ユーザと一体的に移動可能であり、ユーザの前方に画像を表示する表示部２０と、ユーザに使用される予め決められた位置で撮像された撮像画像に対して、仮想画像が合成された合成画像の画像データ２８が記憶される記憶部２６と、ユーザの視線方向を検出する検出部２４と、検出部によって検出された視線方向に基づいて、合成画像における視線方向に対応する画像を表示制御する制御部２２と、備える。【選択図】図２

Description

本発明は、ユーザの前面に画像を表示する画像表示装置に関する。

近年、現実空間中に仮想物体が存在するような複合現実感（ＭＲ）を体験させる所謂ヘッドマウントディスプレイが知られている。

ヘッドマウントディスプレイのような画像表示装置では、ユーザの前方を撮像する撮像部が設けられているとともに、ユーザの目の前方に画像を表示する表示部が設けられている。そして、撮像部によってユーザの前方を撮像した撮像画像と、仮想物体を表すコンピュータグラフィックス（ＣＧ）画像とを位置合わせして合成した合成画像を生成し、表示部に合成画像を表示するようになされている（例えば、特許文献１）。

特開２０１４−１１２８８７号公報

上記特許文献１のような画像表示装置では、撮像部によってユーザの前方を撮像するとともに、撮像された撮像画像に対してＣＧ画像を合成する必要があり、構成が複雑になるとともに、処理負荷が大きくなってしまうといった問題があった。

そこで、本発明は、このような課題に鑑み、簡易な構成で、処理負荷を低減しつつ、合成画像を表示することが可能な画像表示装置を提供することを目的としている。

上記課題を解決するために、本発明に係る画像表示装置は、ユーザと一体的に移動可能であり、該ユーザの前方に画像を表示する表示部と、前記ユーザに使用される予め決められた位置で撮像された撮像画像に対して、仮想画像が合成された合成画像の画像データが記憶される記憶部と、前記ユーザの視線方向を検出する検出部と、前記検出部によって検出された視線方向に基づいて、前記合成画像における該視線方向に対応する表示画像を前記表示部に表示するよう制御する制御部と、を備える。

また、前記撮像画像は、前記予め決められた位置で、予め決められた基準方向を基準として撮像されるとよい。

また、前記撮像画像は、前記予め決められた位置で、前記基準方向を基準として、水平方向および垂直方向の全方位で撮像されるとよい。

本発明によれば、簡易な構成で、処理負荷を低減しつつ、合成画像を表示することが可能となる。

画像表示装置の外観構成を説明する図である。画像表示装置の構成を説明する図である。画像表示装置が用いられる空間を説明する図である。図４（ａ）は、撮像画像を説明する図である。図４（ｂ）は、ＣＧ画像を説明する図である。合成画像を説明する図である。表示画像を説明する図である。

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値等は、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書および図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。

図１は、画像表示装置１の外観構成を説明する図である。図１に示すように、画像表示装置１は、本体部１０およびバンド部１２を含んで構成されるヘッドマウントディスプレイである。

本体部１０は、表示部２０が設けられている。表示部２０は、画像表示装置１がユーザの頭部に装着された際に、ユーザの目の前方に位置するように設けられている。バンド部１２は、例えばゴム材やプラスチック材によって構成され、本体部１０の長手方向の両端に接続されている。そして、画像表示装置１は、表示部２０がユーザの目の前方に位置するように、バンド部１２によってユーザの頭部に装着される。したがって、表示部２０は、常にユーザの目の前方に位置し、ユーザの頭部の移動に伴って、ユーザと一体的に移動可能である。

図２は、画像表示装置１の構成を説明する図である。図２に示すように、本体部１０は、表示部２０、制御部２２、検出部２４および記憶部２６を含んで構成される。表示部２０は、液晶ディスプレイや有機ＥＬ（Electroluminescence）ディスプレイでなり、ユーザの両目に対して、それぞれ異なる画像を別々に表示可能である。

制御部２２は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含むマイクロコンピュータでなり、画像表示装置１を統括制御する。

検出部２４は、例えばジャイロセンサでなり、本体部１０の３軸方向の回転角速度と各軸の加速度とを検出することで、本体部１０の向きを検出し、検出した向きを示す信号を制御部２２に送信する。したがって、検出部２４は、画像表示装置１がユーザの頭部に装着された際に、任意の空間におけるユーザが向いている方向、つまり、ユーザの視線方向を検出する。

記憶部２６は、ハードディスクや不揮発性メモリでなり、画像データ２８が予め記憶されている。画像データ２８は、詳しくは後述するように、予め撮像された撮像画像に対して、コンピュータグラフィック画像（以下、ＣＧ画像と称する）が合成された合成画像のデータである。

制御部２２は、記憶部２６に記憶された画像データ２８を読み出し、画像データ２８に示される合成画像のうち、検出部２４から送信される信号に示されるユーザの視線方向に対応する表示画像を表示部２０に表示するよう制御する。

図３は、画像表示装置１が用いられる空間を説明する図である。本実施形態の画像表示装置１は、図３に示すように、テーブル１３０や椅子１３２等の家具やキッチン１３４等が設けられ、近未来に可能となるであろう技術等を紹介するための建物（コンセプトハウス）や実住宅等の室内１００において、予め決められた位置（以下、使用位置と称する）１１０で使用される。

使用位置１１０は、例えば、室内１００における略中央において、図３中上方が基準方向１２０として設定されている。したがって、ユーザは、使用位置１１０において基準方向１２０を向き、その状態で画像表示装置１を装着することとなる。

図４（ａ）は、撮像画像２００を説明する図である。図４（ｂ）は、ＣＧ画像２１０を説明する図である。記憶部２６に記憶された画像データ２８（合成画像）の基になる撮像画像２００は、図３に示した室内１００において、水平方向および垂直方向に全方位（３６０°）を撮像可能なカメラによって使用位置１１０から撮像される。なお、撮像画像２００は、水平方向および垂直方向の所定範囲を撮像したものであってもよい。

ここで、撮像画像２００は、室内１００において、一日の日常がモデルによって体現された動画像となっている。そして、図４（ａ）においては、撮像画像２００の一部（静止画像）を示している。なお、撮像画像２００は、図４（ａ）に示すように、基準方向１２０が水平方向の中央となり、基準方向１２０を基準として、左右それぞれに水平方向の１８０°の範囲が撮像された画像となる。また、撮像画像２００は、左右の両端が繋がったものとなる。

撮像画像２００が撮像されると、撮像画像２００に対して合成されるＣＧ画像２１０（仮想画像）が作成される。

ＣＧ画像２１０は、例えば、近未来に可能となるであろう技術を紹介するための画像である。ＣＧ画像２１０は、例えば、図４（ｂ）に示すように、テーブル１３０の上に表示される立体的な地図２１０ａや、室内１００において、モデルの前方に、今日の天気や気温が表示される仮想パネル２１０ｂ等により構成される。これらのＣＧ画像２１０も、撮像画像２００と同様に、動画像として作成される。

図５は、合成画像２２０を説明する図である。このように、ＣＧ画像２１０が作成されると、撮像画像２００に対してＣＧ画像２１０が合成された合成画像２２０が生成される。図５に示すように、合成画像２２０は、撮像画像２００にＣＧ画像２１０が合成されており、恰も、近未来の日常が撮像されたかのような画像（動画像）となる。そして、合成画像２２０の画像データ２８が記憶部２６に記憶される。

図６は、表示画像２３０を説明する図である。なお、図６では、合成画像２２０のうち、破線で囲まれた領域が表示画像２３０（２３０ａ〜２３０ｃ）となる。

上記したように、撮像画像２００は、使用位置１１０において、水平方向および垂直方向の全方位が撮像されており、ＣＧ画像２１０も、撮像画像に合わせて水平方向および垂直方向の全方位について作成されている。したがって、合成画像２２０も水平方向および垂直方向の全方位の画像となる。

そして、画像表示装置１は、図３に示したように、室内１００における使用位置１１０で、基準方向１２０を向いたユーザに装着される。このとき、制御部２２は、図６に示すように、合成画像２２０の中央部分である、基準方向１２０に対応する画像部分（表示画像２３０ａ）を表示部２０に表示する。

これにより、ユーザは、画像表示装置１を装着する前に見ていた空間と同じ映像である表示画像２３０ａを、表示部２０を通じて見ることができる。こうして、ユーザは、自身がいる室内１００を恰も直接見ているかのように錯覚することになる。

そして、制御部２２は、不図示の操作部を介した操作に応じて、合成画像２２０を再生表示する。このとき、ユーザは、画像表示装置１を装着したまま、視線方向を移動させる。そうすると、検出部２４は、ユーザの頭部の動きに応じた視線方向を検出する。また、制御部２２は、検出部２４によって検出される視線方向を示す信号に基づいて、例えば、図６に示すように、合成画像２２０のうち、視線方向に対応する表示画像２３０ｂや表示画像２３０ｃを表示部２０に表示する。

これにより、ユーザは、自身の視線方向の移動に合わせて表示画像２３０が変化することから、自身がいる室内１００が近未来に変わったかのように錯覚することになる。また、自身がいる室内１００が、近未来の空間に変わったかのような臨場感を体験することができる。

特に、コンセプトハウスでは、従来、近未来の体験をユーザにさせようとした場合、室内１００に、近未来の技術に関する装置を組み込む必要があった。しかしながら、近未来の技術に関する装置を組み込む場合、装置の制作上の限界があり、また、装置を変更しようとする場合には、大掛かりな改変が必要であった。

これに対して、画像表示装置１では、近未来の技術に関する装置を変更する場合には、ＣＧ画像２１０の内容を変えるだけでよく、展示内容に自由度があり、容易な作業で改変も容易となる。

ここで、表示部２０に表示する画像の全てをＣＧ画像にしようとしても、ユーザがいる室内１００の全てをコンピュータにより生成することは困難であるとともに、全てがＣＧ画像となると、臨場感に欠けてしまうことになる。

以上のように、画像表示装置１は、室内１００における、ユーザが使用する使用位置１１０で予め撮像された撮像画像２００に対してＣＧ画像２１０が合成された合成画像２２０を表示部２０に表示する。これにより、画像表示装置１は、撮像部を設ける必要がない簡易な構成で、かつ、リアルタイムにＣＧ画像を合成する必要もなく処理負荷を低減して、表示画像２３０を表示部２０に表示することができる。

このとき、撮像画像２００が、ユーザが使用する使用位置１１０で撮像されているため、使用位置１１０で画像表示装置１が装着されると、画像表示装置１を装着する前に見ていた空間と同じ映像である表示画像２３０ａをユーザに提供することができ、臨場感を与えることができる。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

例えば、上記の実施形態において、撮像画像２００、ＣＧ画像２１０、合成画像２２０は動画像である場合について説明した。しかしながら、撮像画像２００、ＣＧ画像２１０、合成画像２２０は静止画像であってもよい。

また、上記の実施形態において、上記の実施形態において説明した撮像画像２００、ＣＧ画像２１０、合成画像２２０は一例であり、撮像画像２００、ＣＧ画像２１０、合成画像２２０の内容は問わない。

また、上記の実施形態において、画像表示装置１は、コンセプトハウスや実住宅等の室内１００で使用される場合について説明した。しかしながら、画像表示装置１は、モデルハウスやモデルルーム等の様々な室内、および、屋外で使用されるようにしてもよい。ただし、画像表示装置１は、予め決められた使用位置１１０が設定されており、撮像画像２００が使用位置１１０で撮像される必要がある。例えば、モデルハウスやモデルルームで使用される場合、家具の配置を変えた時の様子、室内における人の動線等を、ＣＧ画像２１０で作成して撮像画像２００に合成することで、家具の配置を変更したときの様子や、動線の確認をユーザに提供することができる。また、実住宅において、新たに購入する家具の配置、リフォーム後の室内の様子等をＣＧ画像２１０で生成して撮像画像２００に合成することで、新たに家具を購入する際のイメージや、リフォーム後のイメージをユーザに提供することができる。

また、上記の実施形態において、表示部２０は、ユーザの両目に対して異なる画像を表示可能である場合について説明したが、ユーザの両目に対して同一の画像を表示可能とするようにしてもよい。

また、上記の実施形態において、画像表示装置１は、撮像画像２００を１つの動画像として撮像し、撮像画像２００に対してＣＧ画像２１０を合成した合成画像２２０の画像データ２８を記憶部２６に記憶するようにした。しかしながら、これに限らず、ユーザの両目の位置に対応する撮像画像を撮像するとともに、これらの撮像画像に対してＣＧ画像を作成し、それぞれの撮像画像に対してＣＧ画像を合成した合成画像のデータを記憶部に記憶するようにしてもよい。

また、上記の実施形態において、本体部１０は、表示部２０、制御部２２、検出部２４および記憶部２６を含んで構成されるようにした。しかしながら、本体部１０は、少なくとも表示部２０がユーザの目の前方に位置するように設けられていればよく、制御部２２、検出部２４および記憶部２６が、本体部１０とは別体に設けられていてもよい。

本発明は、ユーザの前面に画像を表示する画像表示装置に利用することができる。

１画像表示装置
２０表示部
２２制御部
２４検出部
２６記憶部
２８画像データ
２００撮像画像
２１０ＣＧ画像（仮想画像）
２２０合成画像
２３０表示画像

Claims

ユーザと一体的に移動可能であり、該ユーザの前方に画像を表示する表示部と、
前記ユーザに使用される予め決められた位置で撮像された撮像画像に対して、仮想画像が合成された合成画像の画像データが記憶される記憶部と、
前記ユーザの視線方向を検出する検出部と、
前記検出部によって検出された視線方向に基づいて、前記合成画像における該視線方向に対応する表示画像を前記表示部に表示するよう制御する制御部と、
を備える画像表示装置。
前記撮像画像は、
前記予め決められた位置で、予め決められた基準方向を基準として撮像される請求項１に記載の画像表示装置。
前記撮像画像は、
前記予め決められた位置で、前記基準方向を基準として、水平方向および垂直方向の全方位で撮像される請求項２に記載の画像表示装置。