JP7410523B1 - 表示装置 - Google Patents

Abstract

【課題】防音空間に疑似３次元空間を表現することが可能な表示装置を提供する。【解決手段】あらかじめ設定された表示範囲に映像を表示する表示装置であって、制御部と、複数の撮影映像から生成された連結映像を視覚可能な形式で出力する映像形成部とを有し、表示範囲は、ユーザが入ることができる立方体又は直方体の防音空間を形成する筐体３２を備えた防音室に設けられ、制御部は、ユーザを囲む筐体の内壁面のうち、連続する３つの側壁面（被投写面ＳＣＬ，ＳＣＦ，ＳＣＲ）を表示範囲として、連結映像から表示範囲に対応する切り出し映像を生成し、映像形成部に対して切り出し映像の出力指令を与える。【選択図】図９

Description

特許法第３０条第２項適用 ウェブサイトの掲載日：令和４年４月１８日 ウェブサイトのアドレス：ｈｔｔｐｓ：／／ｊｐ．ｖｃｕｂｅ．ｃｏｍ／ｎｅｗｓ／ｒｅｌｅａｓｅ／２０２２０４１８－１５３０．ｈｔｍｌ ｈｔｔｐｓ：／／ｗｗｗ．ｙｏｕｔｕｂｅ．ｃｏｍ／ｗａｔｃｈ？ｖ＝ＩｔＦｎ３Ｄｎｂｄｐｗ

本発明は、表示装置に関し、詳しくは、空間における全方向の映像を表示する表示装置に関する。

上下左右３６０度を１つの空間画像として撮像できる全天球カメラが開発されている。例えば、ヘッドマウントディスプレイ（ＨＭＤとも記す）に全天球画像の一部を表示させ、ユーザの頭の動きに合わせて表示画面の範囲を変化させると、ユーザはあたかも、表示された画像の空間内に入り込んだような感覚を得ることができる（例えば、特許文献１参照。）。

また、近年では、各企業におけるテレワークへの関心の高まりを受けて、テレワーカを対象とする防音室が開発されている。こうした防音室は、ＩｏＴ化（家具とネットワークの接続）が図られ、防音室を利用するユーザは、室内に設置されたテレビ会議用端末を用いて、テレビ会議機能を有する外部機器を利用するユーザとの間でテレビ会議を行うことができる（例えば、特許文献２参照。）。

特開２０１７－５５１７３号公報 特開２０１９－２８９９５号公報

全天球画像をＨＭＤで見る場合、没入感の高い視聴体験が得られるが、その表示は両目で有効な視野角（約１２０度）に依存して限定され、図２４に示すように、実際に表示している領域（ＨＭＤ表示範囲）は広くはない。そこで、自然に見渡せる映像を防音空間に再現できると便宜であり、その場合、ＨＭＤの準備や装着のわずらわしさからも解消される。しかしながら、従来、防音室の分野では、室内に３次元空間映像を作るという発想がなく、仕事や勉強などに好適な籠り感を重視する考えはあっても、逆に外と空間的一体感を醸成する点に関してはなんら考慮されていなかった。

そこで本発明は、防音空間に疑似３次元空間を表現することが可能な表示装置を提供することを目的としている。

上記目的を達成するため、本発明の表示装置は、あらかじめ設定された表示範囲に映像を表示する表示装置であって、制御部と、複数の撮影映像から生成された連結映像を視覚可能な形式で出力する映像形成部とを有し、前記表示範囲は、ユーザが入ることができる直方体の防音空間を形成する筐体を備えた可搬式の防音室に設けられ、 前記防音空間は、前記筐体の一側面に設けられた扉からの奥行き方向の寸法よりも幅方向の寸法が大きく、かつ、奥行き方向の寸法よりも高さ方向の寸法が大きく形成され、前記制御部は、前記ユーザを囲む前記筐体の内壁面のうち、前記扉を有する一側面を除き、連続する３つの側壁面を表示範囲として、前記連結映像から前記表示範囲に対応する切り出し映像を生成し、前記映像形成部に対して前記切り出し映像の出力指令を与え、前記表示範囲は、上端の位置が前記筐体の天井面の高さ位置に揃えられるとともに、前記連続する３つの側壁面それぞれの幅方向いっぱいに設けられていることを特徴としている。

また、前記ユーザの操作を受けて表示の視点変更が可能なコントローラと、前記ユーザの頭部の位置を検出する検出部とを備え、前記制御部は、前記検出部の検出結果に基づいて、表示視点の高さが前記ユーザの目線高さとなるように、前記表示の視点を補正することを特徴としている。

本発明の表示装置によれば、立方体又は直方体の防音空間を形成する筐体内壁面のうち、連続する３つの側壁面を表示範囲として設定し、連結映像から表示範囲に対応する切り出し映像を生成するので、同時に表示させる表示領域をユーザの視野角よりも大きくすることが可能となり、防音空間に表現された疑似３次元空間として、外と空間的一体感の醸成を図ることができる。

本発明の第１形態例を示す表示装置の構成図である。 同じく連結映像を示す概略図である。 同じく連結映像をキューブマップに変換した場合の一例を示す説明図である。 同じくキューブにおける表示対象を示す説明図である。 同じく切り出し映像を被投写面に投写した場合の一例を示す説明図である。 同じく防音室の外観を示す斜視図である。 同じく正面図である。 同じく平面断面図である。 同じく正面断面図である。 表示システムの概要を説明するための図である。 同じく防音室内に表示した映像の一例（観光地の風景）を示す図である。 同じく防音室内に表示した映像の一例（モデルルーム）を示す図である。 同じく防音室内に表示した映像の一例（ミーティングルーム）を示す図である。 本発明の第２形態例における防音室の平面断面図である。 同じく正面断面である。 本発明の第３形態例における防音室の平面断面図である。 同じく正面断面である。 本発明の第４形態例における防音室の平面断面図である。 同じく正面断面である。 本発明の第５形態例における表示システムの概要を説明するための図である。 同じく遠隔地にいるユーザ同士の間で防音室内の空間を共有した場合の一例を示すイメージ図である。 本発明の第６形態例における防音室内に表示した映像の一例（仮想空間のミーティングルーム）を示す図である。 同じく防音室内に表示した映像の一例（仮想空間のオフィスのエントランス）を示す図である。 従来技術としてＨＭＤの特徴を説明するための図である。

図１乃至図１３は、本発明の表示装置の第１形態例を示している。まず、本形態例に示す表示装置の基本的な構成及び動作原理について説明する。本明細書の「映像」とは、画像又は動画を意味する。表示装置１１は、図１に示すように、主に、防音空間を画成する３つの壁面を被投写面ＳＣとして映像を投写する３台のプロジェクター１２，１３，１４と、情報処理装置１５と、これらを操作するための手持ち型コントローラ（リモコン）１６と、表示装置１１の利用者であるユーザの頭部の位置を検出する頭部検出カメラ１７とから構成されている。

プロジェクター１２，１３，１４は、被投写面ＳＣの直下や、直上などに設置し、近距離の投写面に映像を投写する短焦点型のプロジェクターであって、Ｐｒ制御部１８、Ｐｒ記憶部１９、映像入力部２０、Ｐｒ映像処理部２１、映像形成部２２などから構成されている。また、プロジェクター１２，１３，１４は、図示は省略するが、例えば、商用電源を取得して各部に供給する電源回路や、音声情報を処理する音声処理部、音声情報に基づく音声を出力するスピーカーなどの音声出力部を備えている。

Ｐｒ制御部１８は、１つ又は複数のプロセッサーを備えて構成され、Ｐｒ記憶部１９に記憶されている制御プログラムに従って動作することによりプロジェクター１２，１３，１４の動作を統括制御する。

Ｐｒ記憶部１９は、揮発性のメモリーであるＲＡＭ（Random Access Memory）と、不揮発性のメモリーであるＲＯＭ（Read Only Memory）とを備えている。ＲＡＭは、各種データなどの一時記憶に用いられ、ＲＯＭは、プロジェクター１２，１３，１４の動作を制御するための制御プログラムやデータなどを記憶する。制御プログラムには、情報処理装置１５から転送された制御信号の内容に応じて、優先度を決めて処理を行うためのプログラムや、付随データも含まれている。

映像入力部２０は、複数の接続端子及びインターフェース回路などを備えている。複数の接続端子は、ＨＤＭＩ（登録商標、High-Definition Multimedia Interface）端子やＵＳＢ（Universal Serial Bus）端子である。ＨＤＭＩ端子に接続したケーブルには、情報処理装置１５が接続されている。プロジェクター１２，１３，１４と情報処理装置１５とは、ＨＤＭＩの有するリンク機能により、相互の制御信号を双方向で通信可能に接続されている。換言すれば、ＨＤＭＩ接続にて、両者を１つのコントローラ１６で制御可能になっている。

Ｐｒ映像処理部２１は、Ｐｒ制御部１８と実質的に同視される制御ブロックであって、映像入力部２０から入力される映像情報に対して様々な処理を施し、処理後の映像情報を映像形成部２２に出力する。例えば、Ｐｒ映像処理部２１は、明るさやコントラストなどの画質を調整する処理や、メニュー画像や各種メッセージなどの画像を供給画像の一部又は全体に重畳する処理などを必要に応じて実行する。

映像形成部２２は、光源、光変調部としての液晶ライトバルブ、投写光学系、ライトバルブ駆動部などを備えている。例えば、映像形成部２２は、Ｐｒ制御部１８からの出力指令を受けて、光源から射出された光を、液晶ライトバルブで変調して映像光を形成する。形成された各色の映像光は、色合成光学系によって画素ごとに合成されてカラー画像を表す映像光ＬＴとなり、投写レンズによって構成される投写光学系から映像光ＬＴを拡大投写し、被投写面（３つの壁面）ＳＣに設けられた表示範囲に映像を表示する。表示範囲は、詳細については後述するが、防音空間の形状や大きさなどに基づいて、あらかじめ設定されている。

情報処理装置１５は、例えば、パーソナルコンピュータ（以下、ＰＣと表記する）であって、制御部２３、記憶部２４、コンテンツ再生部２５、映像処理部２６、映像出力部２７、ユーザインターフェース部２８などから構成されている。また、情報処理装置１５は、例えば、商用電源を取得して各部に供給する電源回路や、ユーザの操作を受け付けるマウス、キーボードなどの入力部を備えている。本形態例では、据付型のＰＣを例示しているが、それに限られず、制御部を備え、映像信号を出力可能な装置、例えば、ノートブックＰＣやタブレットＰＣ、スマートフォンなどのユーザの所持する端末装置であってもよい。

制御部２３は、１つ又は複数のプロセッサーを備えて構成され、記憶部２４に記憶されている制御プログラムに従って動作することにより、Ｐｒ制御部１８と連携を図ってプロジェクター１２，１３，１４の動作を統括制御する。

記憶部２４は、ＲＡＭと、ＲＯＭとを含んで構成されている。ＲＡＭは、各種データなどの一時記憶に用いられ、ＲＯＭは、情報処理装置１５の動作を制御するための制御プログラムやデータなどを記憶する。制御プログラムには、コントローラ１６からの操作信号の内容に応じて、該操作信号をプロジェクター１２，１３，１４に送信し、プロジェクターの指示に従う処理を含むプログラムも含まれる。また、制御プログラムには、コンテンツ再生部２５で取得した各種コンテンツの映像・音声情報を処理するためのプログラムも含まれる。

コンテンツ再生部２５は、例えば、通信インターフェースを介してコンテンツ配信サービスのサーバから配信される各種コンテンツを取得し、表示用コンテンツとして再生する機能を備えている。コンテンツは、商品情報、不動産物件情報、観光情報、イベント情報、ニュース、教育、福祉、医療、ビジネスの現場におけるプレゼンテーションなどの録画・ライブ映像、ＣＡＤ（Computer Aided Design）データあるいはＢＩＭ（Building Information Modeling）データから作成されたＣＧ（Computer Graphics）の他、現場（例えば旅行先）や商品などの香りに関する情報（香気情報）を伝達する手段（例えば空気砲）を用いることで、コンテンツに匂いを付加した匂い情報付き映像コンテンツなど、様々なコンテンツが挙げられる。コンテンツ再生部２５には、例えば、ＤＶＤ（Digital Versatile Disc）再生装置、ＢＤ（Blu-ray（登録商標）Disc）再生装置、メモリカードからデータを読み出すカードリーダー装置の他、ストリーミングメディアプレーヤーとも呼ばれる小型のＳＴＢ（Set Top Box）などが含まれる。

映像処理部２６は、制御部２３と実質的に同視される制御ブロックであって、コンテンツ再生部２５によって再生された各種コンテンツの情報に対して様々な処理を施し、処理後のコンテンツ情報をプロジェクター１２，１３，１４で利用可能な形式の映像情報に変換する。コンテンツ情報には、複数の撮影映像から生成された連結映像として、いわゆる全天球映像（全方向に視野を有する映像）が含まれる。全天球映像は、詳細については後述するが、所望の切り出し映像を生成する際のオリジナルとして用いられる。

映像出力部２７は、映像処理部２６によって生成された映像情報をプロジェクター１２，１３，１４の映像入力部２０に出力する。また、映像出力部２７は、ＨＤＭＩのリンク機能による制御信号の入出力を中継する。これにより、制御部２３は、映像出力部２７を介してプロジェクター１２，１３，１４のＰｒ制御部１８との間で制御信号の送受信を行うことができる。ここで、図１では、作図の都合により、制御部２３とプロジェクター１２，１３，１４のＰｒ制御部１８との間に両者間でのデータのやり取りを示す矢印線を描いているが、実際はケーブル接続されたハブを介して、操作信号を含む制御信号の送受信が行われる。

ユーザインターフェース部２８は、情報処理装置１５とコントローラ１６との間の通信インターフェースであり、業界標準の赤外線通信インターフェースやＢｌｕｅｔｏｏｔｈ（登録商標）などの近距離無線通信機能が使用される。例えば、ユーザインターフェース部２８は、コントローラ１６から送信されるＢｌｕｅｔｏｏｔｈの操作信号を受信してデコードし、制御部２３に伝達する。

コントローラ１６は、内蔵される制御部の制御に基づいて、操作ボタンに対する入力操作に応じた操作信号をエンコードし、所定の操作信号として情報処理装置１５に送信する。操作ボタンとしては、十字ボタンあるいはスティックボタンなどの方向性を有するボタンが含まれ、割り当ては、例えば、電源、メニュー、コンテンツ選択、ホーム、戻る、決定、ミュート、音量大、音量小、再生、早戻し、早送り、歪み補正、視点変更などが設定されている。

メニューボタンは、プロジェクター１２，１３，１４の設定を行う際に、操作対象のプロジェクター及びその設定項目を選択するためのメニュー画面を表示する操作キーである。コンテンツ選択ボタンは、コンテンツ記録媒体などのメディアが割り当てられている。メディアには、例えば、あらかじめ定められた特定の動画配信サービスや、通信先として特定される拠点（ミーティングルーム番号）などの識別情報も含まれる。歪み補正ボタンは、プロジェクター１２，１３，１４の投写映像の形状を調整するための台形歪補正を行う際に用いる操作キーである。

視点変更ボタンは、コンテンツの仮想空間をユーザの視野内に収めるための操作キーである。視点変更ボタンの選択を受け付けると、映像処理部２６では、制御部２３の制御に基づいて、各種コンテンツの情報に対して、受け付けられた変更内容に応じて視点の座標を変更した映像情報を生成する。このようにして、ユーザは、様々な視点及び角度から対象を確認することができる。

頭部検出カメラ１７は、ユーザの頭部の空間的位置を検出する検出部であって、防音空間内でユーザの正面あるいは側面などに設置されている。例えば、ＲＧＢカメラや赤外線カメラなどのセンシング方法の場合、入力された画像から、顔が存在している位置、顔の輪郭、顔部品などを検出して、撮像したユーザの頭部の映像を情報処理装置１５の制御部２３に出力する。一方、制御部２３では、当該出力に基づいて、あらかじめ定義された３次元空間内、つまり、防音空間内で目の位置及び視線方向を特定する。こうした一連の制御は、既知の画像解析や顔認識の技術を用いて実行される。そして、映像処理部２６では、各種コンテンツの情報に対して、表示の視点、例えば、視点高さをその人ごとに異なる高さに補正した映像情報を生成する。

次に、本形態例の表示装置１１において、連結映像から所望の切り出し映像を生成し、被投写面ＳＣに設けられた表示範囲に映像を表示するプロセスの概要について、図２乃至図５を参照しながら説明する。

連結映像の生成には、撮影手段として、例えば、全天球カメラが使用される。全天球カメラは、図示は省略するが、カメラ本体に複数のレンズ光学系と、これと対応して設けられる複数の撮像素子とを備えている。撮像素子は、受光した光分布を画像信号に変換し、制御部の画像処理ブロックに順次、画像を出力する。撮像素子でそれぞれ撮像された映像は、既知の演算手法によって合成処理され、これにより、連結映像として、全天球映像が生成される。全天球映像は、撮影地点から見渡すことのできる全ての方向を撮影したものとなる。なお、本形態例では、全天球映像を生成するものとして説明するが、水平面のみ３６０度を撮影した全周映像（パノラマ形式）であってもよく、全天球又は水平面３６０度の全景のうちの一部を撮影した映像（ドーム形式）であってもよい。また、全天球映像は、静止画として取得することもできるし、動画として取得することもできる。取得した全天球映像は、必要に応じてアーカイブがなされ、二次利用を図ることができる。

図２は、全天球映像の形式の一例を示すもので、全天球映像を正距円筒図法（Equirectangular）で平面上に投影したエクイレクタングラー形式の画像である。当該画像は、全天球映像を便宜的に、赤道を中心とする緯度方向（図２の上下方向）に９０度ずつの１８０度（垂直角度φ＝－９０度～＋９０度）の範囲と、経度方向（図２の左右方向）に３６０度（水平角度θ＝－１８０度～＋１８０度）の範囲の広がりを有する画像として示している。ここで、全天球映像は、球面を覆うように貼り付けられた映像であるため、表示上、違和感を与えることなく視覚可能な映像に加工される。すなわち、湾曲の少ない平面画像として補正を施したうえでクロップ、つまり、切り出される。この切り出し映像は、被投写面ＳＣに設けられた表示範囲に対応するものであり、例えば、図２におけるマスキングされている領域（網掛け領域）が抽出される。こうした矩形の抽出領域は、赤道近傍の領域を抽出して対象領域とすることで、高緯度領域の画像の歪みの影響を排除するものである。抽出領域には、利用されるコンテンツ情報ごとにユーザの注目度の高い領域（注目エリア）が含まれる。

ここで、プロジェクター１２，１３，１４の表示範囲は、立方体のキューブ型防音室あるいはこれに準じた直方体状の防音室の室内に設定される。そのため、表示範囲に映像を表示する前処理として、ユーザの視点を想定した環境マップであるキューブマップが作成される。キューブマップは、全天球カメラがキューブ（箱）の中に収まった状態を想定した手法であり、全天球映像からの切り出し映像を、例えば、図３に示すように、撮影地点から見た方位、つまり、前面（ＦＲＯＮＴ）、後面（ＢＡＣＫ）、左面（ＬＥＦＴ）、右面（ＲＩＧＨＴ）、上面（ＴＯＰ）、下面（ＢＯＴＴＯＭ）の配置となるように、立方体の展開図として表される。この場合、切り出し映像を取得する際に、３次元再構成として不適切な上面、下面は既に除かれており、マスキングされている領域（網掛け領域）がマッピング対象となる。そして、９０度のマッピング角度を利用して、キューブの４面にマッピングが行われる。本形態例では、防音空間の出入口を想定している後面（ＢＡＣＫ）が除かれ、図４に示すように、キューブの前面（ＦＲＯＮＴ）、左面（ＬＥＦＴ）、右面（ＲＩＧＨＴ）の連続する３面にマッピングが行われる。なお、必要に応じて後面（ＢＡＣＫ）にマッピングが行われてもよい。

図５は、切り出し映像を被投写面ＳＣに投写した場合の一例を模式的に示すものである。図５（ａ）～（ｃ）に示すように、説明の便宜上、３つの壁面からなる被投写面ＳＣを、左側被投写面ＳＣＬ、前側被投写面ＳＣＦ、右側被投写面ＳＣＲと個別に表しているが、実際は同一防音空間内に形成された平面視コ字状の連続壁面からなる。切り出し映像の表示範囲は、ユーザの視点高さなどを考慮して、例えば、被投写面ＳＣ全体における上半分の面に設定される。防音空間内のユーザが出入口を背にして見た場合、３台のプロジェクター１２，１３，１４のうち、左側プロジェクター１２は、図５（ａ）に示すように、ユーザの左手側の左側被投写面ＳＣＬに、前側プロジェクター１３は、図５（ｂ）に示すように、ユーザの正面側の前側被投写面ＳＣＦに、右側プロジェクター１４は、図５（ｃ）に示すように、ユーザの右手側の右側被投写面ＳＣＲに、それぞれ対応した切り出し映像を投写する。これにより、ユーザを囲む環境（全周囲の眺め）の映像を距離感のある自然な映像として表現することができる。

以下では、表示装置１１の被投写面ＳＣを形成する防音室及び被投写面ＳＣにおける表示態様について、図６乃至図１３を参照しながら説明する。

防音室３１は、図６及び図７に示すように、筐体３２と扉３３とによって形成され、人が入ることができる空間を有し、例えば、駅構内、空港、商業施設、展示場、屋外の広場、店舗の内部、ホテル、共同住宅、又はオフィス内、さらには電気自動車ＥＶ（Electric Vehicle）の充電スタンドなどのインフラ施設のように、さまざまな人が通行する場所に設置される。また、防音室３１は、インターネットなどのネットワークを介して外部機器との間でデータを送受信することができる。防音室３１を利用するユーザは、例えば、防音室３１に設置された情報処理装置１５のテレビ会議機能又はこれと独立して設置されたテレビ会議用端末を用いて、テレビ会議機能を有する外部機器を利用するユーザとの間でテレビ会議を行うことができる。

筐体３２は、金属、木材又は樹脂などの部材からなり、外観視において、立方体（キューブ形状）あるいは直方体をなし、これに対応して内部には、ユーザが圧迫感を受けない程度の大きさの立方体あるいは直方体の防音空間（室内空間）が形成されている。筐体３２の形状は、詳細については後述するが、出入口からの奥行き方向の寸法と、幅方向の寸法との少なくとも一方を変更して形成されることで、防音空間の収容人数に応じた大きさのバリエーションを有している。

筐体３２の一側面である正面（図７）には、ユーザが出入りするための開口が設けられている。また、筐体３２の底面にはキャスター及びアジャスターがそれぞれ設けられている。防音室３１の設置者は、キャスターを使って設置場所に防音室３１を移動し、扉３３の向きを設置場所に見合う向きに定めた後、アジャスターの長さが防音室３１の底面と床面との距離に等しくなるように調整することで、防音室３１を定位置に固定することができる。なお、防音室３１の設置に関しては、部品状態で設置場所に搬入し、その場で組み立てる設置態様が考えられる。

筐体３２の内側には防音パネル（例えば吸音材）が設けられており、防音室３１の内部でユーザが話した声、及び外部機器を使用するユーザが発した声が防音室３１の外部に漏れにくい。したがって、防音室３１が、不特定多数の人が通る公共場所に設置されている場合であっても、ユーザは、機密性が高い内容を安心して話すことができる。また、被投写面ＳＣ（左側被投写面ＳＣＬ、前側被投写面ＳＣＦ、右側被投写面ＳＣＲ）として用いられる防音パネルは、投写された映像を良好に視認するために、白色系の色調で統一され、施工においても、パネル同士の境界が目立たないように平滑に仕上げている。

筐体３２の壁面内部には、電子機器への配電のための電源回路が設けられており、例えば、送電側の電源プラグと受電側の接続ポートとの間を電源回路により電気的に接続することで、情報処理装置１５やプロジェクター１２，１３，１４、外部から持ち込まれたコンピュータ、携帯情報端末などに接続ポートを介して商用電源を取る電源コンセントからの電力の供給が可能である。ここで、電子機器には、電子錠及びその周辺機器（例えば認証用のカードリーダー、タッチパネル式ディスプレイ）、テレビ会議用設備、照明（例えばダウンライト）や空調（例えばエアコン、換気ファン）、センサ類（頭部検出カメラ１７を含む人感センサ）のような様々な機器が含まれる。

扉３３は、筐体３２の開口を塞ぐことができるように筐体３２に結合されており、ハンドルを操作することにより、筐体３２との結合部位を軸にして開閉可能に構成されている。扉３３には扉ガラスが設けられており、外部から防音室３１の内部を視認することが可能になっている。筐体３２と扉３３との間には錠（電子錠）が設けられており、筐体３２に組み込まれた制御部の制御により、扉３３を開くことができる開錠状態と扉３３を開くことができない閉錠状態とを切り替える。錠は、筐体３２の内側からユーザが操作することによって開錠状態と閉錠状態とを切り替えたり、遠隔操作によって切り替えたりすることで、防音室３１を解錠又は施錠するように制御がなされる。

被投写面ＳＣは、図８及び図９に示すように、ユーザを囲む筐体３２の内壁面のうち、扉３３を有する一側壁面を除き、連続する３つの側壁面とされる。例えば、前側被投写面ＳＣＦに対応する表示範囲は、図９の網掛け領域で示すように、横幅の大きい矩形状をなし、上端Ｅ１の位置が天井面の高さ位置に揃えられるとともに、下端Ｅ２の位置が側壁面の上下２等分線の高さ位置に揃えられる。一方、表示範囲の左端Ｅ３及び右端Ｅ４は、側壁面同士の角隅部ＣＮ１，ＣＮ２に揃えられている。左側被投写面ＳＣＬ及び右側被投写面ＳＣＲについても同様に横幅の大きい矩形状からなり、側壁面の幅方向いっぱいに表示範囲が設けられている。そして、情報処理装置１５及び各プロジェクター１２，１３，１４は、壁際に設けられた台座（破線で示す）に載置した状態で使用される。

対応する表示範囲の中央部真下付近にセットされた各プロジェクター１２，１３，１４から映像光ＬＴを拡大投写すると、表示範囲の３面に映像が表示される。このとき、投写映像への台形歪補正が行われ、表示範囲に対してプロジェクターが斜め方向から投写することに起因する歪みが低減される。こうして初期設定が行われた後、運用の際に、各プロジェクター１２，１３，１４は、ユーザの所望する映像コンテンツを切り出し映像として表示範囲に表示させる。そして、被投写面ＳＣの角隅部ＣＮ１，ＣＮ２、つまり、左側被投写面ＳＣＬ、前側被投写面ＳＣＦ、右側被投写面ＳＣＲの互いに直角をなして連続する部分において、キューブマップのイメージを反映した切り出し映像が円滑につなぎ合わされる（図１１乃至図１３も参照）。

ここで、防音空間にいるユーザは、図８から想像できるように、扉３３を背にして前側被投写面ＳＣＦと対面する位置に自らを置く。つまり、ユーザは、３つの側壁面（被投写面ＳＣＬ，ＳＣＦ，ＳＣＲ）の表示映像に囲まれた状態で、扉３３に近づいた立ち位置へと自然に促され、特段意識せずに空間を占有することになる。これにより、表示した各種映像コンテンツは、両目で有効な視野角（約１２０度）を超えて広範な表示となり、自然に見渡せる映像が防音空間に表現される。

このように構成された表示装置１１は、図１０に示すように、防音室３１に組み込まれて一つの装置とされ、ユーザの日常生活やビジネスシーンにおける動線上の各所に複数台設置した状態で、ネットワークＮＷ上のサーバＳＶや、全天球カメラＳＩを含む種々の撮影手段との間で通信接続が可能な表示システムを構築する。

ここで、情報処理装置１５のコンテンツ再生部２５で取得される各種映像は、そのオリジナルが限定されるものではなく、例えば、入力対象となる映像については、遠隔地から配信したライブ映像と、録画済みのローカル映像との２通りが考えられ、出力方法については、映像合成をサーバＳＶ上で実行する場合と、情報処理装置（ローカルマシン）１５で実行する場合との２通りが考えられる。したがって、２通りの入力と２通りの出力とを組み合わせた４通りのケースが考えられる。

全天球カメラＳＩは、手持ちで撮影可能な簡易的なものの他、例えば、人の頭部や胴部などの身体に装着可能なもの、車両や、自立飛行を行うドローン（飛翔型ロボット）などの移動体に装着可能なものなど、コンパクト性を重視した小型サイズのものが用いられる。ドローンであれば、観光地などの特定エリアの上空に浮遊したうえで、直進運動、旋回運動及び回転運動が行え、上方から俯瞰で撮影した映像でさえも容易に取得することができる。

被投写面ＳＣにおける表示態様の一例として、図１１は、表示範囲に観光地の風景を表示した状態を示している。旅行案内コンテンツとして観光旅行をガイドする内容のものであり、配信先から特定の旅行プランとして、おすすめのルート順に設定されている。ユーザが、コントローラ１６に対して所定の操作を行うことで、空間の視点移動や、関連する情報の表示がなされる。これにより、ユーザは、旅行前に旅行に行った気分を想像することが可能になるので、感情移入しやすく、旅行に対する興味を引き付けることができる。こうした観光地には、アミューズメント・レジャー業界などの様々な施設が含まれる。また、スポーツイベントやコンサートなどのパフォーマンスイベントとして、ライブ配信される内容のものでは、参加するユーザ（観客）が、イベント会場に赴かずとも、会場の雰囲気、観客の反応をリアルタイムで体感することができ、パフォーマンスイベントが大いに盛り上がる。空間を共有する相手は、人以外の生き物でもよいし、人を模したキャラクタでもよい。

図１２は、表示範囲にモデルルームを表示した状態を示している。不動産物件案内サービスのコンテンツとして不動産取引を支援する内容のものであり、住宅展示場、モデルルーム展示場、建築工事又はリフォーム工事前の打ち合わせの場などにおいて、ユーザ（施主）が工事予定の建物内空間をウォークスルー形式で体感できるように設定されている。全天球カメラＳＩによる撮像は、例えば、ドローンが使用される。基準となるドローンの自己位置及び姿勢を確定させた後、３次元設計情報に基づいて、建物内に設定した動線をトレースする形で高さ位置を変えながらドローンを周回させる。

内見の場では、例えば、キッチンの床面高さとユーザの立っている実空間（防音空間）の床面高さとが整合し、コントローラ１６に対して所定の操作を行うことで、建築予定のキッチンでの生活をユーザに体感させることができるウォークスルーを実現する。また、表示映像は、頭部検出カメラ１７によるセンシングによって、あらかじめ視点の補正が施され、視点高さをユーザの目線高さとなるように反映させた切り出し映像が表示される。これにより、ユーザは、自分の視点でキッチンの奥行き感、キッチン設備の高さなどを体感して確認することができる。なお、玄関やリビング、ベッドルームなどの空間も同様である。

図１３は、表示範囲にミーティングルーム（会議室）を表示した状態を示している。情報処理装置１５において、テレビ会議に対応するアプリケーション（テレビ会議アプリ）を実行し、ネットワークＮＷを介して通信先との間で、通話用の映像データ及び音声データ、共有用のコンテンツデータなどの送受信が可能に設定されている。全天球カメラＳＩは、テレビ会議の際に参加者を撮影するために使用されるが、広範囲の人を撮影できるので、参加者に限らず、周囲の人を撮影するために使用されてもよい。また、撮影には、視野角の狭いカメラを複数台設置してなるカメラ群が使用されてもよい。カメラの指定に関しては、メインとサブの２つや、３つ以上の中から１つのカメラに切り替えることができる。これにより、異なる空間にいる人と同じ空間を自然な態様で、つまり、距離感、質感、応答性などが実際のものに近い態様で共有しながら、コミュニケーションを一気に進めることができる。

このように、本発明の表示装置の第１の構成によれば、立方体又は直方体の防音空間を形成する筐体３２の内壁面のうち、連続する３つの側壁面（被投写面ＳＣＬ，ＳＣＦ，ＳＣＲ）を表示範囲として設定し、連結映像から表示範囲に対応する切り出し映像を生成するので、同時に表示させる表示領域をユーザの視野角よりも大きくすることが可能となり、防音空間に表現された疑似３次元空間として、外と空間的一体感の醸成を図ることができる。

図１４及び図１５は、本発明の表示装置の第２形態例を示している。なお、以下の説明において、前記形態例に示した構成要素と同一の構成要素には同一の符号を付して詳細な説明は省略する。

第２形態例における表示装置では、基本的に、第１形態例による表示装置１１の構成をそのまま有しており、ユーザが着座するための座席３４を防音空間に設置したものである。防音空間は、直方体であって、例えば、出入口（扉３３）からの奥行き方向の寸法Ｄよりも幅方向の寸法Ｗが大きく、かつ、奥行き方向の寸法Ｄよりも高さ方向の寸法Ｈが大きく形成されている。座席３４は、例えば、鉛直方向に沿った回転軸ＰＶを中心として回転可能な回転椅子であって、筐体３２の床面に安定状態で設置されている。表示範囲は、必要に応じて、上端Ｅ１の高さ位置を天井面から離して低位置に設定したり、これに応じて下端Ｅ２の高さ位置を低位置に設定したりするなど、着座したユーザの見やすい表示になるように高さ位置が考慮される。

座席３４の配置は、ユーザの視点を定めるうえで考慮すべき重要な要素であるから、座席３４は、例えば、防音空間を形成する直方体の対角線を含む垂直面（中心Ｃを通る２つの垂直面）で出入口を有する１つの三角柱状空間と、連続する３つの側壁面（被投写面ＳＣＬ，ＳＣＦ，ＳＣＲ）にそれぞれ対応する３つの三角柱状空間との合計４つの三角柱状空間に画成した状態で、出入口を有する１つの三角柱状空間に設置されている。とりわけ、回転椅子の場合、回転軸ＰＶの位置が防音空間の幅方向中央（Ｗ／２）であって、出入口から奥行き方向に所定距離ｄ１だけ離した位置に設置されると好ましく、所定距離ｄ１は、奥行き方向の寸法Ｄを４で除した値（Ｄ／４）であるとより好ましい。

このように、本発明の表示装置の第２の構成によれば、座席３４に着座して映像コンテンツを視聴することで、リラックスした姿勢で、防音空間に表現された疑似３次元空間を体感することができる。また、座席３４に回転椅子を用いれば、着座状態のユーザの視野角が、中心視野である両目視野角θ１（約１２０度）を、座席３４を回転して得られる左視野角θ２（約５０度）及び右視野角θ３（約５０度）が含まれる周辺視野まで、単純な回転動作でシフトさせることが可能となり、着座状態のユーザの中心視野を合理的かつバランス良く拡大させることができる。

図１６及び図１７は、本発明の表示装置の第３形態例を示している。第３形態例における表示装置では、プロジェクター１２，１３，１４を筐体３２の天井に設置し、壁際の空いたスペースなどを利用して、テーブル３５及びこれと対で使用される座席３４としてソファを設置した構成である。プロジェクター１２，１３，１４の本体部は取付ブラケット（図示せず）で天井面よりも上方の外側空間に固定され、筐体３２の側壁面（被投写面ＳＣＬ，ＳＣＦ，ＳＣＲ）に投写される映像光ＬＴが極力天井面に近くなるようにセットされている。なお、プロジェクターの仕様は、天井に組み付けるための作業性などを考慮して選定されており、機能は、前記各形態例のものと同等である。

テーブル３５は、奥行き方向にテーブル面が長く形成され、情報処理装置１５の台座を兼ねている。座席３４は、２人掛けを対で用意し、テーブル３５を挟んで互いに幅方向に対向配置されている。これにより、所定位置に４人分の座席３４が確保され、ユーザが防音空間に４人同時に入った場合でも、窮屈さを感じることがない。防音空間は、テーブル３５のテーブル面を含む水平面で上部空間と下部空間とに画成され、座席３４を下部空間に収めた状態で、表示範囲の下端Ｅ２の位置が、テーブル３５のテーブル面の高さ位置に揃えられる。これにより、プロジェクター１２，１３，１４の表示範囲が上部空間に設定される。そして、対応する表示範囲の中央部真上付近にセットされた各プロジェクター１２，１３，１４から映像光ＬＴを拡大投写すると、表示範囲の３面に映像（切り出し映像）が表示される。

このように、本発明の表示装置の第３の構成によれば、プロジェクター１２，１３，１４を筐体３２の天井に設置し、その本体部を天井の外側空間に位置させているので、防音空間の空間利用効率を高めることができ、しかも、プロジェクター１２，１３，１４自体が目立たなくなることから、防音室３１内の実空間の美観、さらには実空間に表現された疑似３次元空間の美観をも向上させることができる。また、物理的に離れている他のユーザに加えて同じ防音空間にいる他のユーザとも一緒に、相手の存在を感じながらリアルタイムにコンテンツ体験を共有することができる。とりわけ、向かい合って着座したユーザ同士が、中央の側壁面（被投写面ＳＣＦ）を表示範囲とした投写映像に注目することで、映像の核心的な部分について互いに情報共有が図れることから、実用性にも優れている。

図１８及び図１９は、本発明の表示装置の第４形態例を示している。第４形態例における表示装置では、共通サイズの３つの側壁面（被投写面ＳＣＬ，ＳＣＦ，ＳＣＲ）で画成された直方体の防音空間が形成されている。こうした平面形状が正方形をなす防音空間を備えた防音室３１は、例えば、筐体３２の一側面が扉３３で大きく占められた特徴的な外観を呈し（図２０も参照）、キャスターで移動する際に方向性がなく機動的に扱え、同一場所で回転させて、出入口の向きだけ変更できるという自由度がある。したがって、設置の容易化を促進させる技術的特徴に基づき、公共場所に設置されるテレワーカ向けの防音室として、近年、急速に普及している。なお、筐体３２の形状は、一部の角（かど）が丸みを帯びた概略直方体としても形成することができる。

座席３４は、簡易な腰掛け椅子を例示しているが、回転椅子を備えることもできる。防音空間は、着座状態であっても、四隅部（前面側では被投写面ＳＣの角隅部ＣＮ１，ＣＮ２）に手が届く程度の比較的狭い空間である。表示範囲は、テーブル面で仕切られた上部空間の３面に設定されており、筐体３２の天井に設置された各プロジェクター１２，１３，１４から映像光ＬＴを拡大投写すると、表示範囲の３面に映像（切り出し映像）が表示される。

このように、本発明の表示装置の第４の構成によれば、一人用の小型防音室３１に組み込まれて一つの装置とされることで、防音空間における通常の使用で、仕事や勉強などに好適な籠り感が得られる。一方、ひとたび表示装置を機能させれば、表示範囲に各種映像コンテンツを表示し、図１１乃至図１３に示したように、疑似３次元空間を表現することが可能となり、閉鎖状の防音空間にいながら、ここでも、外と空間的一体感の醸成を図ることができる。

図２０及び図２１は、本発明の表示装置の第５形態例を示している。第５形態例における表示装置では、図２０に示すように、複数台をネットワーク接続した状態で、通信先の防音空間のユーザと相互コミュニケーションを可能とする表示システム（テレビ会議システム）を構築している。疑似３次元空間を表現するプラットフォームとしては、前記各形態例で示した種々の防音室３１が設定されている。全天球カメラＳＩあるいはカメラ群によって、防音空間をリアルタイムで撮影、伝送することで、ネットワークＮＷ上のサーバＳＶにおいて、切り出し映像に対して所定の映像処理が行われる。そして、双方向通信によって、各防音室３１に映像・音声がライブ配信される。会議スタイルには、一般に行われているフォーマルな会議の他、突発的な緊急会議や、気軽な案件を話し合うミーティング、商談などが含まれる。また、教育や福祉、医療の分野への適用も考えられる。

各防音空間は、相互連結を行うのに親和性が高い立方体あるいは直方体であることから、防音室３１がいかなる場所、向きに設置されようとも、図２１のイメージで示すように、あたかも１つのキューブ状空間を形成したように組み合わされて、所定の空間座標系に座標変換される。換言すれば、周辺の要素が軸によって特定の要素にリンクされる（例えば、回転操作で向きや配置を整合させる立体パズルであるルービックキューブ（登録商標）をイメージしてもよい）。座席３４及びテーブル３５をそれぞれ備えた３つの防音空間は、テーブル面で仕切られた上部空間の３面に表示範囲が設定され、それぞれの表示範囲の３面に映像（切り出し映像）を表示させる。これにより、１つの空間に対して他の２つ空間は、３つの側壁面（被投写面ＳＣＬ，ＳＣＦ，ＳＣＲ）のいずれか１つ又は２つ以上に表示した表示映像を介して、当該１つの空間を拡張した仮想現実ＶＲ（Virtual Reality）空間となる。これにより、着座した複数のユーザ同士は、互いに異なる空間にいながら、テーブル３５を共有し、対面するユーザだけでなく、そのユーザの隣（斜め向かい側）にいるユーザの存在をも体感することができる。

このように、本発明の表示装置の第５の構成によれば、リアルタイムにコンテンツ体験を共有できる表示システムとして、ネットワークＮＷに接続された複数の防音室３１をベースに構築しているので、従来からの手法（ＨＭＤ）に頼ることなく、自分の隣に別空間の人物を、一方、別空間の人物の隣には自分を、空間丸ごと含めて再現することが可能となり、より一層、空間的一体感の醸成を図ることができる。これにより、遠隔コミュニケーションの新たな付加価値の提供に資するものとなる。

図２２及び図２３は、本発明の表示装置の第６形態例を示している。第６形態例における表示装置では、前記各形態例で示した種々の装置をメタバース（インターネット上の仮想空間）に接続した状態で、仮想空間のユーザと相互コミュニケーションを可能とする表示システムを構築している。例えば、仮想空間としてミーティングルーム（会議室）を表現した場合、図２２に示すように、会議の各参加者に対応するキャラクタであるアバター（ユーザの分身）Ａ１～Ａ５を仮想空間に配置し、アバターＡ１～Ａ５と空間の共有を図り、空間内に作られたホワイトボードＷＢなどのオブジェクトを共有してコミュニケーションを深めることができる。

メタバースで活動する空間は、現実世界とリンクした社会活動ができる様々な空間が考えられ、例えば、ビジネスシーンでは、図２３に示すように、訪問先の企業のオフィスや、セミナー・研修会場、展示会場などを模して表現される。また、図示は省略するが、防音空間の各側壁面（被投写面ＳＣＬ，ＳＣＦ，ＳＣＲ）に組み込まれたカメラ群で、すなわち、ユーザを囲むように配置した複数台のカメラで撮影に臨めば、自分にそっくりの人型アバターを製作することも可能となり、防音空間を経由して現実感のある仮想空間を実現することができるようになる。このように、表示装置の中核をなす防音室３１をプラットフォームとして、デジタルで広がる新世界（メタバース）への参入に期待が高まる。

なお、本発明を前記各形態例に基づいて説明したが、本発明の技術的範囲は上記各実施形態に記載の範囲に限定されるものではなく、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の分散・統合の具体的な実施形態は、上記の各実施形態に限られず、その全部又は一部について、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施形態の任意の組み合わせによって生じる新たな実施形態も、本発明の実施形態に含まれる。組み合わせによって生じる新たな実施形態の効果は、もとの実施形態の効果を合わせ持つ。

１１…表示装置、１２，１３，１４…プロジェクター、１５…情報処理装置、１６…コントローラ、１７…頭部検出カメラ、１８…Ｐｒ制御部、１９…Ｐｒ記憶部、２０…映像入力部、２１…Ｐｒ映像処理部、２２…映像形成部、２３…制御部、２４…記憶部、２５…コンテンツ再生部、２６…映像処理部、２７…映像出力部、２８…ユーザインターフェース部、３１…防音室、３２…筐体、３３…扉、３４…座席、３５…テーブル

Claims (2)

1. あらかじめ設定された表示範囲に映像を表示する表示装置であって、
   制御部と、複数の撮影映像から生成された連結映像を視覚可能な形式で出力する映像形成部とを有し、
   前記表示範囲は、ユーザが入ることができる直方体の防音空間を形成する筐体を備えた可搬式の防音室に設けられ、
   前記防音空間は、前記筐体の一側面に設けられた扉からの奥行き方向の寸法よりも幅方向の寸法が大きく、かつ、奥行き方向の寸法よりも高さ方向の寸法が大きく形成され、
   前記制御部は、前記ユーザを囲む前記筐体の内壁面のうち、前記扉を有する一側面を除き、連続する３つの側壁面を表示範囲として、前記連結映像から前記表示範囲に対応する切り出し映像を生成し、前記映像形成部に対して前記切り出し映像の出力指令を与え、
   前記表示範囲は、上端の位置が前記筐体の天井面の高さ位置に揃えられるとともに、前記連続する３つの側壁面それぞれの幅方向いっぱいに設けられていることを特徴とする表示装置。
2. 前記ユーザの操作を受けて表示の視点変更が可能なコントローラと、前記ユーザの頭部の位置を検出する検出部とを備え、
   前記制御部は、前記検出部の検出結果に基づいて、表示視点の高さが前記ユーザの目線高さとなるように、前記表示の視点を補正することを特徴とする請求項１記載の表示装置。

Images