JP2021002301A - 画像表示システム、画像表示装置、画像表示方法、プログラム、及び頭部装着型画像表示装置 - Google Patents

Abstract

【課題】自由なデザインを許容しつつ頭部装着型画像表示装置に画像を表示させることができる。【解決手段】人物が装着すること記人物に対して所定の画像を表示する頭部装着型画像表示装置と、頭部装着型画像表示装置を装着した人物の顔面を撮像する撮像部と、撮像部が撮像した画像に基づいて人物の顔特徴点を抽出する顔特徴点抽出部と、顔特徴点に基づいて人物の頭部の位置および人物の姿勢を計算する位置姿勢計算部と、位置姿勢計算部により計算された位置姿勢情報に基づいて、頭部装着型画像表示装置に表示させる画像を生成する画像生成部と、を備える。【選択図】図３

Description

本発明は、画像表示システム、画像表示装置、画像表示方法、プログラム、及び頭部装着型画像表示装置に関する。

頭部に装着して画像を見るために利用される頭部装着型画像表示装置が知られている。周囲の風景を観察しつつ、頭部装着型画像表示装置が表示する画像を見ることができる透過型の頭部装着型画像表示装置では、何らかの手段によって現実空間における頭部装着型画像表示装置の位置および向きを取得する必要がある。

例えば特許文献１では、カメラを装備した携帯情報端末で、頭部装着型画像表示装置を装着したユーザを撮像し、頭部装着型画像表示装置の外観における特徴量の位置の変化から、頭部装着型画像表示装置の位置および向きを推定している。

しかしながら、特許文献１の技術では、例えば特徴量を抽出するための特殊なコードまたはオブジェクトが頭部装着型画像表示装置に装備されている必要がある。そのため、頭部装着型画像表示装置のデザインが制限されてしまう場合があった。

本発明は、上記に鑑みてなされたものであって、自由なデザインを許容しつつ頭部装着型画像表示装置に画像を表示させることができる画像表示システム、画像表示装置、画像表示方法、プログラム、及び頭部装着型画像表示装置を提供することを目的とするものである。

上述した課題を解決し、目的を達成するために、本発明は、人物が装着することで前記人物に対して所定の画像を表示する頭部装着型画像表示装置と、前記頭部装着型画像表示装置を装着した前記人物の顔面を撮像する撮像部と、前記撮像部が撮像した画像に基づいて前記人物の顔特徴点を抽出する顔特徴点抽出部と、前記顔特徴点に基づいて前記人物の頭部の位置および前記人物の姿勢を計算する位置姿勢計算部と、前記位置姿勢計算部により計算された位置姿勢情報に基づいて、前記頭部装着型画像表示装置に表示させる画像を生成する画像生成部と、を備える。

本発明によれば、自由なデザインを許容しつつ頭部装着型画像表示装置に画像を表示させることができる。

図１は、実施形態１にかかる画像表示システムが備える情報端末のハードウェア構成の一例を示す図である。 図２は、実施形態１にかかる画像表示システムが備える眼鏡ユニットのハードウェア構成の一例を示す図である。 図３は、実施形態１にかかる画像表示システムの機能構成の一例を示す図である。 図４は、実施形態１にかかる画像表示システムの動作の一例を示す図である。 図５は、実施形態１にかかる画像表示システムにおける顔特徴点の抽出および位置姿勢の推定の手法について説明する図である。 図６は、実施形態１にかかる画像表示システムにおける顔特徴点の抽出について説明する図である。 図７は、実施形態１にかかる画像表示システムにおける画像表示処理の手順の一例を示すフロー図である。 図８は、実施形態２にかかる画像表示システムの機能構成の一例を示す図である。 図９は、実施形態２にかかる画像表示システムの動作の一例を示す図である。 図１０は、実施形態２の変形例にかかる画像表示システムの機能構成の一例を示す図である。 図１１は、実施形態３にかかる画像表示システムに適用される全天球撮影装置のハードウェア構成の一例を示す図である。 図１２は、実施形態３にかかる画像表示システムの機能構成の一例を示す図である。 図１３は、実施形態３にかかる画像表示システムの動作の一例を示す図である。 図１４は、実施形態３の変形例にかかる画像表示システムの機能構成の一例を示す図である。 図１５は、その他の実施形態にかかる画像表示システムの機能構成の一例を示す図である。

以下、発明を実施するための最良の形態を、図面に従って説明する。

［実施形態１］
図１〜図７を用いて、実施形態１について説明する。実施形態１の構成においては、情報端末に搭載されたカメラから眼鏡ユニットを装着したユーザの顔面を撮像する。また、撮像した画像に基づいて、ユーザの顔面と情報端末との相互の位置関係およびユーザの姿勢を把握する。それらに基づき、仮想空間中のオブジェクトを眼鏡ユニットに表示させる。

（画像表示システムのハードウェア構成例）
実施形態１の画像表示システムは、情報端末と眼鏡ユニットとを備える。それぞれのハードウェア構成例について、図１及び図２を用いて説明する。

図１は、実施形態１にかかる画像表示システムが備える情報端末１００のハードウェア構成の一例を示す図である。情報端末１００は、例えばスマートフォンまたはタブレット型端末等の携帯情報端末、ノートＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等のコンピュータである。

図１に示すように、情報端末１００は、コントローラ１１０、及びコントローラ１１０に接続される表示装置１２１、入力装置１２２、及びカメラ１２３を備える。

コントローラ１１０は、情報端末１００の全体を制御する。コントローラ１１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１１、ＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）１１２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１１３、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）１１４、通信インターフェース（Ｉ／Ｆ）１１５、および入出力Ｉ／Ｆ１１６を備える。

ＣＰＵ１１１は、ＲＯＭ１１２に格納された制御プログラムに従って情報端末１００の動作を制御する。

ＲＯＭ１１２は、ＣＰＵ１１１が、コントローラ１１０内で実行するデータの管理や周辺モジュールを統括的に制御する制御プログラムを格納する。

ＲＡＭ１１３は、ＣＰＵ１１１が制御プログラムを動作させるために必要なワークメモリ等として使用される。またＲＡＭ１１３は、カメラ１２３を介して取得した情報を一時記憶するバッファとしても使用される。

ＥＥＰＲＯＭ１１４は、電源を切っても保持したいデータ、例えば、情報端末１００の設定情報等が格納される不揮発性ＲＯＭである。

通信Ｉ／Ｆ１１５は、眼鏡ユニット等の外部機器と通信を行うインターフェースである。通信Ｉ／Ｆ１１５には、例えばＨＤＭＩ（登録商標）ケーブル等のケーブル３００が接続される。

入出力Ｉ／Ｆ１１６は、情報端末１００に備えられる各種機器、例えば表示装置１２１、入力装置１２２、及びカメラ１２３等とコントローラ１１０との間で信号の送受信を行うインターフェースである。

表示装置１２１は、文字、数字、各種画面、操作用アイコン、及びカメラ１２３により取得された画像等を表示する。

入力装置１２２は、文字および数字等の入力、各種指示の選択、ならびにカーソルの移動等の操作を行う。入力装置１２２は、例えば、情報端末１００の筐体に設けられたキーパッドであってもよく、または、マウスまたはキーボード等の装置であってもよい。

カメラ１２３は、情報端末１００の一部であって、例えば、表示装置１２１の同一面側に設けられる。カメラ１２３は、例えばカラー画像を撮像可能なＲＧＢカメラやウェブカメラ等であってもよく、または、被写体との距離情報を取得可能なＲＧＢ−Ｄカメラ若しくは複数のカメラが配置されたステレオカメラ等であってもよい。

図２は、実施形態１にかかる画像表示システムが備える眼鏡ユニット２００のハードウェア構成の一例を示す図である。頭部装着型画像表示装置としての眼鏡ユニット２００は、例えば透過型のヘッド・マウント・ディスプレイ（ＨＭＤ：Ｈｅａｄ−Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）等である。

図２に示すように、眼鏡ユニット２００は、ＣＰＵ２１１、メモリ２１２、通信Ｉ／Ｆ２１５、表示素子駆動回路２２１、及び表示素子２２２を備える。

ＣＰＵ２１１は、メモリ２１２のＲＯＭ領域に予め記憶されたプログラムに従い、ＲＡＭ領域をワークメモリとして用いて、眼鏡ユニット２００の全体の動作を制御する。

メモリ２１２は、例えばＲＯＭ領域とＲＡＭ領域とを含む。

通信Ｉ／Ｆ２１５にはケーブル３００が接続され、通信Ｉ／Ｆ２１５はケーブル３００を介して情報端末１００との間でデータの送受信を行う。

表示素子駆動回路２２１は、ＣＰＵ２１１からの表示制御信号に従い、表示素子２２２を駆動するための表示駆動信号を生成する。表示素子駆動回路２２１は、生成した表示駆動信号を表示素子２２２に供給する。

表示素子２２２は、表示素子駆動回路２２１から供給された表示駆動信号により駆動される。表示素子２２２は、例えば、図示しない光源からの光を画像に応じて画素毎に変調する液晶素子や有機ＥＬ素子等の光変調素子を含む。光変調素子により変調された映像光は、眼鏡ユニット２００を装着している状態のユーザの左右の眼に向けて照射される。ユーザの左右の眼には、映像光と外部の様子を示す外光とが合成されて入射される。外部の様子を示す外光は、眼鏡ユニット２００が光学透過型である場合には、ハーフミラーとなっている眼鏡ユニット２００のレンズを直接透過してきた光である。眼鏡ユニット２００がビデオ透過型である場合には、外光は、眼鏡ユニット２００に装着された図示しないビデオカメラ等により撮影された映像である。

（画像表示システムの機能構成例）
図３は、実施形態１にかかる画像表示システム１の機能構成の一例を示す図である。図３に示すように、画像表示システム１は、撮像部１６を有する情報端末１００、及び眼鏡ユニット２００を備える。情報端末１００と眼鏡ユニット２００とは、例えばＨＤＭＩケーブル等のケーブル３００により接続されている。

情報端末１００は、制御部１０、通信部１５、撮像部１６、記憶部１７、表示部１８、及びキー入力部１９を備える。これらは互いに通信可能に接続されている。

通信部１５は、図示しない所定の回線と接続して、他の端末装置やサーバシステムと通信を行うモジュールである。また、通信部１５は、ケーブル３００に接続されることで、眼鏡ユニット２００に画像情報等を送信可能である。通信部１５は、例えば、図１の通信Ｉ／Ｆ１１５によって実現される。

撮像部１６は、所定の光学系および受像素子を有し、デジタル画像を取得する機能を提供するモジュールである。撮像部１６は光学系の取得した被写体像から、設定された撮影条件で画像データを生成し、生成された画像データは記憶部１７に保存される。撮像部１６は、例えば図１のカメラ１２３によって実現される。

表示部１８は、各種の画面を表示する。表示部１８は、例えば、図１の表示装置１２１、及びＣＰＵ１１１で動作するプログラムによって実現される。表示装置１２１がタッチパネル等である場合には、表示部１８を実現するハードウェアとして入力装置１２２が含まれていてもよい。

記憶部１７は、所定の情報を制御部１０の制御下で記憶し、また記憶している情報を制御部１０に提供するメモリである。また、記憶部１７は、制御部１０で実行される種々のプログラムを記憶しており、制御部１０はこれを適宜読み出して実行する。また、記憶部１７は、後述する拡張現実情報、上記拡張現実情報のグラフィックスオブジェクトごとの表示、非表示の対応情報を記憶する。記憶部１７は、例えば、図１のＲＯＭ１１２、ＲＡＭ１１３、およびＥＥＰＲＯＭ１１４によって実現される。

制御部１０は、各部の動作を制御するとともに所定の情報処理を実現する。制御部１０は、図１のＣＰＵ１１１上で記憶部１７に記憶されたプログラムを実行することにより仮想的に構成される機能ブロックであって、情報端末１００の通信部１５、撮像部１６、記憶部１７、表示部１８、及びキー入力部１９といった各機能ブロックとの間でデータおよび制御信号をやり取りすることにより、情報端末１００の各種機能を実現する。

制御部１０は、仮想的に構成される機能ブロックとして、顔特徴点抽出部１２、位置姿勢計算部１３、及び画像生成部１４を更に備える。

顔特徴点抽出部１２は、撮像部１６が撮像したユーザの顔面を含む画像から、ユーザの顔を認識し、顔特徴点を抽出する。

位置姿勢計算部１３は、顔特徴点抽出部１２が抽出した顔特徴点に基づいて、ユーザの頭部の位置およびユーザの姿勢を計算する。これにより、位置姿勢計算部１３は、ユーザの頭部の位置情報およびユーザの姿勢情報を含む位置姿勢情報を生成する。

画像生成部１４は、位置姿勢計算部１３により計算された位置姿勢情報に基づいて、眼鏡ユニット２００に表示させる画像を生成する。生成された画像は、通信部１５を介して眼鏡ユニット２００へと送信される。

眼鏡ユニット２００は、表示制御部２１および通信部２５を備える。

通信部２５は、眼鏡ユニット２００で表示させるための画像を情報端末１００から受信する。通信部２５は、例えば、図２の通信Ｉ／Ｆ２１５によって実現される。

表示制御部２１は、通信部２５が受信した画像に基づき、ユーザに対して当該画像を表示する。表示制御部２１は、例えば、図２の表示素子駆動回路２２１、表示素子２２２、及びＣＰＵ２１１で動作するプログラムによって実現される。

（画像表示システムの動作例）
次に、図４〜図６を用いて、実施形態１の画像表示システム１の動作例について説明する。図４は、実施形態１にかかる画像表示システム１の動作の一例を示す図である。

図４に示すように、画像表示ステム１のユーザＰＳは眼鏡ユニット２００を装着している。眼鏡ユニット２００を装着したユーザＰＳの顔面を撮像することができる位置、例えば、ユーザＰＳの正面には、カメラ１２３が搭載された情報端末１００が設置されている。眼鏡ユニット２００と情報端末１００とはケーブル３００で接続されている。

情報端末１００のカメラ１２３（撮像部１６）は、眼鏡ユニット２００を装着した状態のユーザＰＳの顔面を含む画像を撮像する。図４には、カメラ１２３が撮像した撮像画像１２３ｉｍが示されている。

顔特徴点抽出部１２は、撮像画像１２３ｉｍからユーザＰＳの顔特徴点を抽出する。位置姿勢計算部１３は、顔特徴点抽出部１２が抽出した顔特徴点の位置の変化から、ユーザＰＳの頭部の位置情報と、ユーザＰＳの姿勢情報とを計算する。

ここで、ユーザＰＳの頭部の位置情報は、例えばカメラ１２３の位置を基準としたＸＹＺ座標空間で表される。このとき、Ｘ軸はユーザＰＳの顔面の左右の傾きを示し、Ｙ軸はユーザＰＳの顔面の上下位置を示し、Ｚ軸はカメラ１２３からのユーザＰＳの顔面の距離を示す。ユーザＰＳの姿勢情報は、上記位置情報のＸＹＺ座標空間において、Ｘ軸とＹ軸とがなす角で示される。

一方、仮想空間ＶＳには仮想オブジェクト１１０ｏｂが配置されている。仮想オブジェクト１１０ｏｂは、レンダリングカメラ等である仮想カメラ１１０ｃｍによって撮影されて、眼鏡ユニット２００によりユーザＰＳに対して表示される。より厳密には、画像生成部１４が、仮想カメラ１１０ｃｍを制御して眼鏡ユニット２００に表示させる画像を生成することで、仮想オブジェクト１１０ｏｂが、ユーザＰＳが居る現実空間ＲＳに仮想空間像１１０ｉｍとして投影され、ユーザＰＳに対してリアルタイムで表示される。

このとき、画像生成部１４は、位置姿勢計算部１３が生成した位置姿勢情報から推測される眼鏡ユニット２００の視野角と、仮想カメラ１１０ｃｍの画角とを一致させる。また、画像生成部１４は、位置姿勢情報の変化に基づいて仮想カメラ１１０ｃｍの位置および向きを変化させる。これにより、ユーザＰＳがあたかも仮想空間ＶＳを直接観察しているかのような描画が行われる。

このように、透過型の眼鏡ユニット２００等において、現実空間ＲＳの風景と、仮想空間像１１０ｉｍとを融合して表示する技術を拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）技術という。

以上のような顔特徴点の抽出、位置姿勢推定、仮想カメラ１１０ｃｍの操作による画像生成は、例えばＵｎｉｔｙで実現することができる。Ｕｎｉｔｙは、Ｕｎｉｔｙ Ｔｅｃｈｎｏｌｏｇｉｅｓ社が提供するアプリケーションであり、３Ｄレンダリングツールとして活用することができる。

Ｕｎｉｔｙのアプリケーションを起動させると、レンダリングの初期設定として、仮想カメラ１１０ｃｍの画角と眼鏡ユニット２００の視野角との統一化が実行される。

また、ユーザＰＳの眼球と眼鏡ユニット２００のレンズまでの距離やユーザＰＳの瞳孔間隔の個人差を考慮するため、キャリブレーションを行う。このようなキャリブレーションには、例えば特許第６０６１３３４号明細書に記載の技術を用いることができる。

具体的には、眼鏡ユニット２００を装着した状態のユーザＰＳに対し、眼鏡ユニット２００により所定サイズの四角枠等の仮想空間像１１０ｉｍを表示する。その状態で、現実空間ＲＳにある情報端末１００の表示装置１２１のフレームと仮想空間像１１０ｉｍの四角枠とが一致して見えるよう、ユーザＰＳに頭部の位置を動かしてもらう。表示装置１２１のフレームと仮想空間像１１０ｉｍの四角枠とが一致した状態では、情報端末１００のカメラ１２３とユーザＰＳの頭部との距離が一定となるため、顔特徴点抽出部１２及び位置姿勢計算部１３は、このときのユーザＰＳの顔認識データを基準に、これ以降、情報端末１００のカメラ１２３とユーザＰＳの頭部との距離を算出する。

また、これ以降、情報端末１００のカメラ１２３によるユーザＰＳの撮影が継続され、それらの撮像画像から、顔特徴点抽出部１２がユーザＰＳの顔特徴点を継続して抽出し、位置姿勢計算部１３がユーザＰＳの位置および姿勢を継続して計算する。仮想空間ＶＳの仮想カメラ１１０ｃｍの位置および向きは、逐一、位置姿勢計算部１３が計算した位置姿勢情報によって再設定を繰り返される。これにより、例えば、ユーザＰＳが周囲を見回すように頭部の位置姿勢を変えると、仮想カメラ１１０ｃｍはそれに合わせて仮想空間ＶＳ内を撮影する。

上述のように、Ｕｎｉｔｙのアプリケーションを用いれば、仮想空間ＶＳに複数の仮想オブジェクト１１０ｏｂを簡易に作成し、また、自由に再配置することができる。また、仮想カメラ１１０ｃｍの設定を変えることで、仮想空間ＶＳを自由に観察する画像を生成することができる。仮想オブジェクト１１０ｏｂの位置および向きを固定することで、仮想オブジェクトｏｂがあたかも現実空間ＲＳの所定位置に張り付いたかのような表現が可能である。また、ユーザＰＳの位置姿勢の変化に合わせて仮想オブジェクトｏｂの位置および向きを変化させることで、ユーザＰＳの視点の遷移に追随した仮想オブジェクトｏｂの描画が可能となる。

顔特徴点の抽出および位置姿勢の推定は、顔映像解析のＣ＋＋用オープンライブラリであるＯｐｅｎＦａｃｅのソースコードを利用して行うことができる。ＯｐｅｎＦａｃｅについては、例えばＴａｂａｓ Ｂａｌｔｒｕｓａｉｔｉｓ，ｅｔ ａｌ．，“ＯｐｅｎＦａｃｅ： ａｎ ｏｐｅｎ ｓｏｕｒｃｅ ｆａｃｉａｌ ｂｅｈａｖｉｏｒ ａｎａｌｙｓｉｓ ｔｏｏｌｋｉｔ”，ＩＣＣＶ ２０１６．を参照することができる。図５に、ＯｐｅｎＦａｃｅを用いた顔特徴点の抽出および位置姿勢の推定の手法について示す。

図５は、実施形態１にかかる画像表示システム１における顔特徴点の抽出および位置姿勢の推定の手法について説明する図である。図５（ａ）は、カメラ１２３が撮像したユーザＰＳの顔を含む画像である。図５（ｂ）に示すように、顔特徴点抽出部１２は、ユーザＰＳの顔面部分を検知し、図５（ｃ）に示すように、ＯｐｅｎＦａｃｅの手法により、ＣＬＮＦ（Ｃｏｎｄｉｔｉｏｎａｌ Ｌｏｃａｌ Ｎｅｕｒａｌ Ｆｉｅｌｄ）特徴量を用い、ユーザＰＳの顔領域のランドマークとして、目、口、眉、顔の輪郭などから所定数の点を抽出する。ＯｐｅｎＦａｃｅの手法によれば、例えば６８点の抽出点から、頭部の位置姿勢、視線方向、および表情等の推定が可能であるが、図５（ｄ）に示すように、実施形態１の画像表示システム１においては、位置姿勢計算部１３が、これらのうち、頭部の位置姿勢情報を計算する。ＯｐｅｎＦａｃｅの手法によれば、頭部の位置姿勢の推定値は、撮影したカメラ１２３を基準とした座標系での位置として計算される。したがって、仮想空間ＶＳの座標系において、情報端末１００のカメラ１２３は原点に位置する。

このように、位置姿勢計算部１３が頭部の位置姿勢情報を計算するには、顔特徴点抽出部１２が目、口、眉、顔の輪郭などから所定数の点を抽出する必要がある。本発明者らが検討したところ、図６（ａ）に示す正面を向いた顔画像、図６（ｂ）に示す斜め４５°を向いた顔画像、図６（ｄ）の眼鏡着用時の顔画像であれば、顔の検出精度は低下しないことが判った。また、一旦、顔の検出ができれば、図６（ｅ）の眼を隠した顔画像、図６（ｆ）の顔の一部を隠した顔画像であっても、全体の６０％以上の点が抽出できれば顔の検出精度はほとんど低下しないことが判った。したがって、眼鏡や簡易な眼鏡ユニット２００により眼の部分が隠れていたとしても、これらを装着することによる顔特徴点の抽出および位置姿勢の推定の精度にはほとんど影響がないと考えられる。しかし、図６（ｃ）のように真横を向いた顔画像、または、顔の大部分が覆われた画像等の場合には、点の抽出数が６０％未満となって、顔特徴点の抽出および位置姿勢の推定の精度が大幅に低下することが予想される。

（画像表示処理の例）
次に、図７を用いて、実施形態１の画像表示システム１における画像表示処理の例について説明する。図７は、実施形態１にかかる画像表示システム１における画像表示処理の手順の一例を示すフロー図である。

図７に示すように、情報端末１００の撮像部１６がユーザＰＳの撮像を開始する（ステップＳ１０１）。

情報端末１００の制御部１０がキャリブレーションを行う（ステップＳ１０２）。具体的には、制御部１０は、通信部１５に眼鏡ユニット２００の通信部２５と通信を行わせ、眼鏡ユニット２００の表示制御部２１に所定サイズの四角枠等の仮想空間像１１０ｉｍを表示させる。そして、情報端末１００の表示装置１２１のフレームと仮想空間像１１０ｉｍの四角枠とがユーザＰＳにとって一致して見えるときのユーザＰＳの顔面を含む画像を撮像部１６が取得する。顔特徴点抽出部１２は、このときの画像からユーザＰＳの顔特徴点を抽出する。位置姿勢計算部１３は、このときの顔特徴点を、ユーザＰＳとカメラ１２３との距離が所定距離にあるときの情報として、登録する。以降、ユーザＰＳとカメラ１２３との距離は、このときの顔特徴点の相互の間隔等を基準に算出される。

キャリブレーション終了後、以降の処理は、眼鏡ユニット２００に表示させる画像を生成する処理となる。

顔特徴点抽出部１２は、撮像部１６が撮像した画像からユーザＰＳの顔特徴点を抽出する（ステップＳ１０３）。位置姿勢計算部１３は、顔特徴点抽出部１２抽出した顔特徴点から、ユーザＰＳの頭部の位置およびユーザの姿勢を計算し、ユーザＰＳの位置姿勢情報を生成する（ステップＳ１０４）。

画像生成部１４は、位置姿勢計算部１３が計算した位置姿勢情報に基づき、眼鏡ユニット２００で表示する画像を生成する（ステップＳ１０５）。すなわち、画像生成部１４は、位置姿勢情報に基づき、ユーザＰＳの位置姿勢と、仮想空間ＶＳの仮想カメラ１１０ｃｍの位置および向きを一致させ、仮想カメラ１１０ｃｍに仮想空間ＶＳ内を撮影させる。

情報端末１００の通信部１５は、画像生成部１４が生成した画像を、眼鏡ユニット２００の通信部２５へと送信する（ステップＳ１０６）。眼鏡ユニット２００の通信部２５は、画像生成部１４が生成した画像を受信する（ステップＳ１０７）。

眼鏡ユニット２００の表示制御部２１は、通信部２５が受信した情報端末１００からの画像を眼鏡ユニット２００に表示する（ステップＳ１０８）。眼鏡ユニット２００においあて、情報端末１００からの画像は、現実空間ＲＳの風景と融合されて表示される。

情報端末１００の制御部１０は、ユーザＰＳ等から画像表示処理の終了指示があったか否かを判定する（ステップＳ１０９）。画像表示処理の終了指示がなければ（ステップＳ１０９：Ｎｏ）、ステップＳ１０３からの処理を繰り返す。画像表示処理の終了指示があれば（ステップＳ１０９：Ｙｅｓ）、処理を終了する。

以上により、実施形態１の画像表示システム１における画像表示処理が終了する。

（比較例）
頭部に装着して画像を見るために利用されるＨＭＤは、ユーザの頭部の動きに応じて画像表示部分に表示される所望の映像を生成して表示することで、ユーザは臨場感のある映像を観賞することができる。ＨＭＤには透過型と遮光型とがある。

透過型のＨＭＤにおいては、ユーザは頭部にＨＭＤを装着して画像が表示されている間も、周囲の風景を観察することができる。そのため、屋外や歩行中の使用時において、ユーザは障害物との衝突等の危険から回避することができる。一方、遮光型のＨＭＤは装着者の眼を直接覆うように構成されている。そのため、表示画像に対する没入感は増すが、ＨＭＤを頭部から外して画像の観賞を完全に中断しなければ、外部に対して注意を払うことは難しい。

透過型のＨＭＤにおいて、現実空間像と仮想空間像とを融合して表示するＡＲ技術においては、仮想空間像を現実に張り付いたように表示するために、何らかの手段によって現実空間におけるＨＭＤの３次元的位置および向きを取得する必要がある。ＨＭＤの３次元的位置および向きの取得手段としては、ＨＭＤに計測装置を装備させる手法と、ＨＭＤの外界に計測装置を設置する手法とがある。

ＨＭＤが計測装置を装備する場合としては、ＡＲマーカ等のような２次元の固有のパターンを用いる手法が知られている。この手法によれば、ＨＭＤに搭載されているカメラで、外界に設置してあるＡＲマーカ等を撮影して特徴量を抽出し、特徴量の位置の変化からＨＭＤの３次元的位置および向きを推定する。そのため、ＡＲマーカを常にカメラで撮影できている必要がある。

ＨＭＤが計測装置を装備する場合の別の手法としては、ＨＭＤのカメラで撮影して取得した周囲の環境の特徴量から、周囲の３次元形状を復元する手法がある。この場合、周囲の３次元形状を生成する手間がかかり、また、そのデータの取得には高解像度で広角度の３Ｄカメラが必要であり、視点が大きく変化する際の視点探索の計算コストが大きくなってしまう。

また、上記いずれの手法であっても、計測処理および映像処理を全てＨＭＤで行うため、携帯性は高いが、特徴量を容易に抽出できる環境で実施する必要がある。

一方、ＨＭＤの外界に計測装置を設置する場合としては、Ｏｃｕｌｕｓ ＶＲ社が製造するＯｃｕｌｕｓ Ｒｉｆｔ（登録商標）やＨＴＣ社が製造するＨＴＣ Ｖｉｖｅ（登録商標）がある。これらには、ベースステーションからレーザを照射する大掛かりな手法と、特許文献１のようにＲＧＢカメラ等を用いる安価で簡易な手法とがある。

比較例としての特許文献１の技術では、カメラを装備した携帯情報端末でＨＭＤを装着したユーザを撮影する。そして、カメラで撮影して取得したＨＭＤの外観の特徴量の位置の変化から、ＨＭＤの３次元的位置および向きを推定する。しかしながら、特許文献１の位置姿勢推定手法では、ＨＭＤの形状が既知であるか、あるいは、特徴量を容易に抽出するための特殊なコードやオブジェクトがＨＭＤに装備されている必要がある。そのため、ＨＭＤの外観の変更が容易ではなく、また、ＨＭＤのデザインが制限されてしまう。

近年、特に透過型ＨＭＤについては、装着者自身および周囲の人物に対して、装着による違和感や存在感を与えないように、より軽量でスマートなものが製品化されてきている。ＨＭＤの外観にセンシングのための構造物を必要とする特許文献１の技術は、軽量でスマートなＨＭＤにおける位置姿勢推定手法としては不適切である。

実施形態１の画像表示システム１によれば、顔特徴点抽出部１２と位置姿勢計算部１３とにより、ユーザＰＳの位置姿勢情報を得る。このように、眼鏡ユニット２００の形状に依存することなく、ユーザＰＳの頭部の位置およびユーザＰＳの姿勢を推定できる。これにより、眼鏡ユニット２００が、位置姿勢推定に特化した構造、形状、及びデザインを有する必要が無い。よって、より洗練されたデザインの眼鏡ユニット２００に適用することが可能である。

実施形態１の画像表示システム１によれば、眼鏡ユニット２００は、例えば透過型のＨＭＤである。これにより、現実空間ＲＳを見ながら仮想空間ＶＳの表示を見ることができるため、非透過型のＨＭＤと比べ、装着者は安全に動き回ることができる。また、実施形態１の眼鏡ユニット２００を装着しながら、ノートＰＣやメモ帳などの現実空間ＲＳのツールを利用することができる。

実施形態１の画像表示システム１によれば、眼鏡ユニット２００は、現実空間像と仮想空間像１１０ｉｍとが融合された拡張現実画像を表示する。これにより、例えば現実空間ＲＳで行われている作業を指示、補足、または誘導する情報を仮想空間像１１０ｉｍとして表示することができる。よって、紙やタブレットなどの他のツールにそれらの情報を表示する場合と比べて、他ツールの設置や担持の必要が無く、作業を円滑に行うことができる。

実施形態１の画像表示システム１によれば、顔特徴点抽出部１２は、６０％以上の抽出点が抽出可能であれば、精度よく顔特徴点を抽出することができる。これにより、例えば眼鏡ユニット２００によってユーザＰＳの眼の周辺が覆われたとしても、ユーザＰＳの頭部の位置およびユーザＰＳの姿勢を精度よく推定することができる。よって、眼鏡ユニット２００を装着することによる推定精度の低下を抑制することができる。

実施形態１の画像表示システム１によれば、眼鏡ユニット２００の視野角およびユーザＰＳの位置姿勢情報に基づいて、画像生成部１４が、仮想空間ＶＳにおける仮想カメラ１１０ｃｍの画角、位置、及び向きを決定する。これにより、仮想空間像１１０ｉｍを現実空間に張り付けたような映像が眼鏡ユニット２００によって表示されることとなる。このような眼鏡ユニット２００を装着したユーザＰＳは、仮想空間像１１０ｉｍを固定的に表示させた場合と比べ、仮想空間像１１０ｉｍに対する操作や、仮想空間像１１０ｉｍを観察する視点の移動を直感的に行えるようになる。

実施形態１の画像表示システム１によれば、撮像部１６を備えた情報端末１００として、例えばスマートフォン、ノートＰＣ，またはタブレット型端末等の、ユーザＰＳが常備している汎用的な端末を用いる。これにより、例えば特殊なセンサ等を用いる場合と比べて、画像表示システム１の導入や設置をより容易に行うことができる。

なお、上述の実施形態１では、撮像部１６としてカメラ１２３が装備された情報端末１００を用いることとしたが、撮像部として外部カメラを用いてもよい。その場合、カメラで撮影した画像をＨＤＭＩケーブル等のケーブルを介して、あるいは無線で、リアルタイムに情報端末に送信することが好ましい。

また、上述の実施形態１では、キャリブレーション時に確定した情報端末１００のカメラ１２３とユーザＰＳとの距離を基準として、以降の距離を推定することとしたが、距離の推定はこれ以外の手法で行ってもよい。例えば、上述のように、カメラ１２３がＲＧＢ−Ｄカメラやステレオカメラ等である場合には、上述の手順を踏まなくとも、自動的に距離の推定を行うことができる。また、既知の所定距離から撮像されたユーザの顔面の登録を予め行っておき、それに基づき、距離の推定を行ってもよい。

［実施形態２］
図８〜図１０を用いて、実施形態２の画像表示システム２について説明する。実施形態２の画像表示システム２は、複数のユーザＰＳａ，ＰＳｂに対して個々に画像を表示する点が上述の実施形態１とは異なる。

（画像表示システムの機能構成例）
図８は、実施形態２にかかる画像表示システム２の機能構成の一例を示す図である。図８に示すように、画像表示システム２は、例えば１つの情報端末１０１と、１つの情報端末１０１に接続される２つの眼鏡ユニット２００ａ，２００ｂとを備える。

情報端末１０１は、実施形態１とは異なる構成の制御部１０ｍを備える。制御部１０ｍは、顔特徴点抽出部１２ａ，１２ｂ、位置姿勢計算部１３ａ，１３ｂ、及び画像生成部１４ａ，１４ｂを備える。情報端末１０１の撮像部１６は、同時に２人のユーザを撮像し、顔特徴点抽出部１２ａ，１２ｂ、位置姿勢計算部１３ａ，１３ｂ、及び画像生成部１４ａ，１４ｂは、それぞれのユーザについて、顔特徴点の抽出、位置姿勢推定、及び画像生成の処理を並列して処理する。

すなわち、顔特徴点抽出部１２ａは、眼鏡ユニット２００ａを装着したユーザの顔特徴点を抽出する。位置姿勢計算部１３ａは、顔特徴点抽出部１２ａが抽出した顔特徴点に基づき、眼鏡ユニット２００ａを装着したユーザの頭部の位置および姿勢を計算する。画像生成部１４ａは、位置姿勢計算部１３ａが計算した位置姿勢情報に基づき、眼鏡ユニット２００ａに表示させる画像を生成する。

一方、顔特徴点抽出部１２ｂは、眼鏡ユニット２００ｂを装着したユーザの顔特徴点を抽出する。位置姿勢計算部１３ｂは、顔特徴点抽出部１２ｂが抽出した顔特徴点に基づき、眼鏡ユニット２００ｂを装着したユーザの頭部の位置および姿勢を計算する。画像生成部１４ｂは、位置姿勢計算部１３ｂが計算した位置姿勢情報に基づき、眼鏡ユニット２００ｂに表示させる画像を生成する。

通信部１５は、ＨＤＭＩケーブル等のケーブル３０１を介して、画像生成部１４ａが生成した画像を眼鏡ユニット２００ａの通信部２５ａにリアルタイムで送信し、画像生成部１４ｂが生成した画像を眼鏡ユニット２００ｂの通信部２５ｂにリアルタイムで送信する。

眼鏡ユニット２００ａは、通信部２５ａおよび表示制御部２１ａを備える。通信部２５ａは情報端末１０１から画像生成部１４ａが生成した画像を受信する。表示制御部２１ａは、情報端末１０１から受信した画像を表示する。

眼鏡ユニット２００ｂは、通信部２５ｂおよび表示制御部２１ｂを備える。通信部２５ｂは情報端末１０１から画像生成部１４ｂが生成した画像を受信する。表示制御部２１ｂは、情報端末１０１から受信した画像を表示する。

（画像表示システムの動作例）
図９は、実施形態２にかかる画像表示システム２の動作の一例を示す図である。図９に示すように、画像表示システム２のユーザＰＳａは眼鏡ユニット２００ａを装着している。ユーザＰＳｂは眼鏡ユニット２００ｂを装着している。眼鏡ユニット２００ａ，２００ｂをそれぞれ装着したユーザＰＳａ，ＰＳｂの顔面を１度に撮像することができる位置、例えば、ユーザＰＳａ，ＰＳｂの正面には、カメラ１２３が搭載された情報端末１０１が設置されている。眼鏡ユニット２００ａ，２００ｂと情報端末１０１とはケーブル３０１で接続されている。

カメラ１２３等から構成される撮像部１６によりユーザＰＳａ，ＰＳｂの顔面を含む撮像画像１２３ｉｍが撮像されると、制御部１０ｍは、ユーザＰＳａ，ＰＳｂの同定を行う。つまり、眼鏡ユニット２００ａ，２００ｂと、それらを使用するユーザＰＳａ，ＰＳｂとを紐づける。眼鏡ユニット２００ａ，２００ｂとユーザＰＳａ，ＰＳｂとの紐付けは、例えば、情報端末１０１が指示する順に、上記の実施形態１と同様にキャリブレーションを行うことで実行される。

つまり、例えば、眼鏡ユニット２００ａのキャリブレーションを促す情報端末１０１の指示に従い、ユーザＰＳａが上記キャリブレーションを行うと、ユーザＰＳａの顔が認識され、眼鏡ユニット２００ａとユーザＰＳａとが紐づけられる。次に、眼鏡ユニット２００ｂのキャリブレーションを促す情報端末１０１の指示に従い、ユーザＰＳｂが上記キャリブレーションを行うと、ユーザＰＳｂの顔が認識され、眼鏡ユニット２００ｂとユーザＰＳｂとが紐づけられる。

そして、これ以降、情報端末１００のカメラ１２３によるユーザＰＳａ，ＰＳｂの撮影が継続される。顔特徴点抽出部１２ａ，１２ｂは、それぞれのユーザＰＳａ，ＰＳｂの顔面の画像から、それぞれのユーザＰＳａ，ＰＳｂの顔特徴点を抽出する。位置姿勢計算部１３ａ，１３ｂは、それぞれのユーザＰＳａ，ＰＳｂの抽出された顔特徴点から、それぞれのユーザＰＳａ，ＰＳｂの位置姿勢情報を生成する。個々の顔特徴点抽出部１２ａ，１２ｂ及び位置姿勢計算部１３ａ，１３ｂによる顔特徴点の抽出および位置姿勢推定は、例えば上述の実施形態１と同様の手法により行われる。画像生成部１４ａ，１４ｂは、それぞれのユーザＰＳａ，ＰＳｂの位置姿勢情報に基づき、眼鏡ユニット２００ａ，２００ｂに表示する画像をそれぞれ生成する。

このとき、仮想空間ＶＳ中には、それぞれのユーザＰＳａ，ＰＳｂ用の仮想カメラ１１０ｃｍａ，１１０ｃｍｂが設置される。仮想カメラ１１０ｃｍａは、ユーザＰＳａの位置姿勢と一致するよう位置および向きが設定され、仮想カメラ１１０ｃｍｂは、ユーザＰＳｂの位置姿勢と一致するよう位置および向きが設定される。つまり、各々の仮想カメラ１１０ｃｍａ，１１０ｃｍｂは、各々のユーザＰＳａ，ＰＳｂの視点を担当する。これにより、ユーザＰＳａ，ＰＳｂは、同一の仮想空間ＶＳをそれぞれの視点から観察しつつ、お互いの位置を確認することもできる。このような仮想カメラ１１０ｃｍａ，１１０ｃｍｂの位置制御および画像生成は、上述の実施形態１と同様、例えばＵｎｉｔｙのアプリケーションの機能に基づく。

実施形態２の画像表示システム２によれば、例えば１つのカメラ１２３による画像に基づき、複数人物の位置姿勢情報の推定が行われる。これにより、個々のユーザＰＳａ，ＰＳｂごとにカメラ１２３を用意する必要が無く、費用が抑えられるとともに設置の労力も低減される。

なお、上述の実施形態２では、２人のユーザＰＳａ，ＰＳｂに対して眼鏡ユニット２００ａ，２００ｂによる画像表示を行うこととしたが、ユーザの人数は３人以上であってもよい。

（変形例）
次に、図１０を用いて、実施形態２の変形例の画像表示システム２ｎについて説明する。変形例の画像表示システム２ｎは、画像生成機能を携帯情報端末４００ａ，４００ｂが担っている点が上述の実施形態２とは異なる。

図１０は、実施形態２の変形例にかかる画像表示システム２ｎの機能構成の一例を示す図である。図１０に示すように画像表示システム２ｎは、情報端末１０２、携帯情報端末４００ａ，４００ｂ、及び眼鏡ユニット２００ａ、２００ｂを備える。情報端末１０２はケーブル３０２を介して携帯情報端末４００ａ，４００ｂと接続される。ただし、情報端末１０２は、無線で携帯情報端末４００ａ，４００ｂと接続されてもよい。携帯情報端末４００ａはケーブル３００ａを介して眼鏡ユニット２００ａと接続される。携帯情報端末４００ｂはケーブル３００ｂを介して眼鏡ユニット２００ｂと接続される。

情報端末１０２の制御部１０ｎは、顔特徴点抽出部１２ａ，１２ｂ及び位置姿勢計算部１３ａ，１３ｂを備えるが、画像生成機能を有さない。

通信部１５は、ＨＤＭＩケーブル等のケーブル３０２を介して、位置姿勢計算部１３ａが生成した位置姿勢情報を携帯情報端末４００ａの通信部４５ａにリアルタイムで送信し、位置姿勢計算部１３ｂが生成した位置姿勢情報を携帯情報端末４００ｂの通信部４５ｂにリアルタイムで送信する。

携帯情報端末４００ａは、画像生成部４４ａ及び通信部４５ａを備える。画像生成部４４ａは、情報端末１０２の位置姿勢計算部１３ａが生成した位置姿勢情報に基づき、眼鏡ユニット２００ａに表示する画像を生成する。通信部４５ａは、情報端末１０２の通信部４５ａから位置姿勢計算部１３ａが生成した位置姿勢情報を受信する。また、通信部４５ａは、画像生成部４４ａが生成した画像を眼鏡ユニット２００ａの通信部２５ａにリアルタイムで送信する。

携帯情報端末４００ｂは、画像生成部４４ｂ及び通信部４５ｂを備える。画像生成部４４ｂは、情報端末１０２の位置姿勢計算部１３ｂが生成した位置姿勢情報に基づき、眼鏡ユニット２００ｂに表示する画像を生成する。通信部４５ｂは、情報端末１０２の通信部４５ｂから位置姿勢計算部１３ｂが生成した位置姿勢情報を受信する。また、通信部４５ｂは、画像生成部４４ｂが生成した画像を眼鏡ユニット２００ｂの通信部２５ｂにリアルタイムで送信する。

眼鏡ユニット２００ａ，２００ｂは上述の実施形態２と同様の構成を備える。ただし、眼鏡ユニット２００ａの通信部２５ａは携帯情報端末４００ａからの画像を受信し、眼鏡ユニット２００ｂの通信部２５ｂは携帯情報端末４００ｂからの画像を受信する。

変形例の画像表示システム２ｎにおいて、情報端末１０２は例えばノートＰＣ等であり得る。また、携帯情報端末４００ａ，４００ｂは、それぞれのユーザＰＳａ，ＰＳｂが保有するスマートフォン等であり得る。このように、情報端末１０２が生成したそれぞれの位置姿勢情報に基づき画像を生成する機能を、それぞれのユーザＰＳａ，ＰＳｂが保有するスマートフォン等の携帯情報端末４００ａ，４００ｂに担わせてもよい。

［実施形態３］
図１１〜図１４を用いて、実施形態３の画像表示システム３について説明する。実施形態３の画像表示システム３は、全天球撮影装置５００を用いてユーザＰＳａ，ＰＳｂの撮像を行う点が上述の実施形態１，２とは異なる。

（画像表示システムのハードウェア構成例）
図１１は、実施形態３にかかる画像表示システムに適用される全天球撮影装置５００のハードウェア構成の一例を示す図である。以下の例では、全天球撮影装置５００は、２つの撮像素子を使用した全天球（全方位）撮影装置であるものとするが、撮像素子は２つ以上幾つであってもよい。また、全天球撮影装置５００は、必ずしも全方位撮影専用の装置である必要はなく、通常のデジタルカメラやスマートフォン等に後付けで全方位の撮像ユニットを取り付けることで、実質的に全天球撮影装置５００と同じ機能を有するようにしてもよい。

図１１に示すように、全天球撮影装置５００は、撮像ユニット５０１、画像処理ユニット５０４、撮像制御ユニット５０５、マイク５０８、音処理ユニット５０９、ＣＰＵ５１１、ＲＯＭ５１２、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）５１３、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）５１４、操作部５１５、外部機器接続Ｉ／Ｆ５１６、通信回路５１７、アンテナ５１７ａ、及び加速度・方位センサ５１８を備える。

撮像ユニット５０１は、１８０°以上の画角を有する広角レンズ５０２ａ，５０２ｂと、各々の広角レンズ５０２ａ，５０２ｂに対応させて設けられている２つの撮像素子５０３ａ，５０３ｂとを備えている。広角レンズ５０２ａ，５０２ｂは、それぞれが半球画像を結像する魚眼レンズ等である。

撮像素子５０３ａ，５０３ｂは、広角レンズ５０２ａ，５０２ｂによる光学像を電気信号の画像データに変換して出力するＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサやＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサなどの画像センサ、この画像センサの水平または垂直同期信号や画像クロックなどを生成するタイミング生成回路、これらの撮像素子５０３ａ，５０３ｂの動作に必要な種々のコマンドやパラメータ等が設定されるレジスタ群等を有している。

撮像ユニット５０１の撮像素子５０３ａ，５０３ｂは、各々が、画像処理ユニット５０４とパラレルＩ／Ｆバスで接続されている。撮像素子５０３ａ，５０３ｂは、撮像制御ユニット５０５とはＩ２Ｃバス等のシリアルＩ／Ｆバスで接続されている。

画像処理ユニット５０４、撮像制御ユニット５０５、及び音処理ユニット５０９は、バス５１０を介してＣＰＵ５１１と接続される。さらに、バス５１０には、ＲＯＭ５１２、ＳＲＡＭ５１３、ＤＲＡＭ５１４、操作部５１５、外部機器接続Ｉ／Ｆ５１６、通信回路５１７、及び加速度・方位センサ５１８等が接続される。

画像処理ユニット５０４は、撮像素子５０３ａ，５０３ｂから出力される画像データをパラレルＩ／Ｆバスを通して取り込み、それぞれの画像データに対して所定の処理を施した後、これらの画像データを合成処理して、正距円筒射影画像のデータを作成する。

撮像制御ユニット５０５は、一般に撮像制御ユニット５０５をマスタデバイス、撮像素子５０３ａ，５０３ｂをスレーブデバイスとして、シリアルＩ／Ｆバスを利用して、撮像素子５０３ａ，５０３ｂのレジスタ群にコマンド等を設定する。必要なコマンド等は、ＣＰＵ５１１から受け取る。また、撮像制御ユニット５０５は、同じくシリアルＩ／Ｆバスを利用して、撮像素子５０３ａ，５０３ｂのレジスタ群のステータスデータ等を取り込み、ＣＰＵ５１１に送る。

また、撮像制御ユニット５０５は、操作部５１５のシャッターボタンが押下されたタイミングで、撮像素子５０３ａ，５０３ｂに画像データの出力を指示する。全天球撮影装置５００によっては、スマートフォン等のディスプレイによるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子５０３ａ，５０３ｂからの画像データの出力は、所定のフレームレート（フレーム／分）によって連続して行われる。

また、撮像制御ユニット５０５は、後述するように、ＣＰＵ５１１と協働して撮像素子５０３ａ，５０３ｂの画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態では、全天球撮影装置５００にはディスプレイ等の表示装置が設けられていないこととするが、表示装置が設けられていてもよい。

マイク５０８は、音を音（信号）データに変換する。音処理ユニット５０９は、マイク５０８から出力される音データをＩ／Ｆバスを通して取り込み、音データに対して所定の処理を施す。

ＣＰＵ５１１は、全天球撮影装置５００の全体の動作を制御するとともに、必要な処理を実行する。ＲＯＭ５１２は、ＣＰＵ５１１が実行する種々のプログラムを記憶している。ＳＲＡＭ５１３及びＤＲＡＭ５１４はワークメモリであり、ＣＰＵ５１１で実行するプログラムや処理途中のデータ等を記憶する。特に、ＤＲＡＭ５１４は、画像処理ユニット５０４での処理途中の画像データや処理済みの正距円筒射影画像のデータを記憶する。

操作部５１５は、シャッターボタンなどの操作ボタンの総称である。ユーザは、操作部５１５を操作することで、種々の撮影モードや撮影条件などを入力する。

外部機器接続Ｉ／Ｆ５１６は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリやＰＣ等である。ＤＲＡＭ５１４に記憶された正距円筒射影画像のデータは、この外部機器接続Ｉ／Ｆ５１６を介して外付けのメディアに記録されたり、必要に応じて外部機器接続Ｉ／Ｆ５１６を介してスマートフォン等の外部端末に送信されたりする。

通信回路５１７は、全天球撮影装置５００に設けられたアンテナ５１７ａを介して、Ｗｉ−Ｆｉ、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）やＢｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信技術によって、スマートフォン等の外部端末と通信を行う。この通信回路５１７によっても、正距円筒射影画像のデータをスマートフォン等の外部端末に送信することができる。

加速度・方位センサ５１８は、地球の磁気から全天球撮影装置５００の方位を算出し、方位情報を出力する。この方位情報はＥｘｉｆに沿ったメタデータ等の関連情報の一例であり、撮影画像の画像補正等の画像処理に利用される。関連情報には、画像の撮影日時および画像データのデータ容量の各データも含まれている。

また、加速度・方位センサ５１８は、全天球撮影装置５００の移動に伴うＲｏｌｌ角、Ｐｉｔｃｈ角、Ｙａｗ角等の角度の変化を検出するセンサである。角度の変化はＥｘｉｆに沿ったメタデータ等の関連情報の一例であり、撮像画像の画像補正等の画像処理に利用される。

さらに、加速度・方位センサ５１８は、３軸方向の加速度を検出するセンサである。全天球撮影装置５００は、加速度・方位センサ５１８が検出した加速度に基づいて、全天球撮影装置５００の姿勢、つまり、重力方向に対する角度を算出する。全天球撮影装置５００に、加速度・方位センサ５１８が設けられることによって、画像補正の精度が向上する。

（画像表示システムの機能構成例）
図１２は、実施形態３にかかる画像表示システム３の機能構成の一例を示す図である。図１２に示すように、画像表示システム３は、全天球撮影装置５００、情報端末１０３、及び眼鏡ユニット２００ａ，２００ｂを備える。

全天球撮影装置５００は、通信部５５および撮像部５６を備える。撮像部５６は、例えば複数のユーザを１度に撮像し、正距円筒射影画像のデータを生成する。撮像部５６は、例えば、図１１の撮像ユニット５０１、画像処理ユニット５０４、撮像制御ユニット５０５、及びＣＰＵ２１１で動作するプログラムによって実現される。通信部５５は、例えばＨＤＭＩケーブル等のケーブル３０３を介して、撮像部５６が生成した正距円筒射影画像のデータを情報端末１０３の通信部１５にリアルタイムで送信する。ただし、通信部５５は、無線により、正距円筒射影画像のデータを情報端末１０３の通信部１５に送信してもよい。通信部５５は、例えば、図１１の外部機器接続Ｉ／Ｆ５１６、通信回路５１７、及びアンテナ５１７ａによって実現される。

情報端末１０３は制御部１０ｍを備える。制御部１０ｍは、上述の実施形態２と同様の構成を有する。ただし、情報端末１０３は、全天球撮影装置５００の正距円筒射影画像のデータから各々のユーザの顔特徴点を抽出し、位置姿勢を推定し、眼鏡ユニット２００ａ，２００ｂに表示する画像を生成する。情報端末１０３の通信部１５は、ケーブル３０３を介して、または、無線で、全天球撮影装置５００の通信部５５から、正距円筒射影画像のデータを受信する。また、情報端末１０３は、撮像部を備えていてもよいが、本実施形態においては使用されない。

眼鏡ユニット２００ａ，２００ｂは上述の実施形態２と同様の構成を備える。

（画像表示システムの動作例）
図１３は、実施形態３にかかる画像表示システム３の動作の一例を示す図である。図１３に示すように、画像表示システム３のユーザＰＳａ，ＰＳｂは、それぞれ眼鏡ユニット２００ａ，２００ｂを装着した状態で、例えば全天球撮影装置５００を挟んで向かい合わせになっている。全天球撮影装置５００をユーザＰＳａ，ＰＳｂの間に設置することで、ユーザＰＳａ，ＰＳｂが対面した状態で、ユーザＰＳａ，ＰＳｂの顔面を例えば正面から同時に撮影することが可能である。

全天球撮影装置５００で生成された正距円筒射影画像のデータ５００ｉｍに基づき、ユーザＰＳａ，ＰＳｂの顔特徴点の抽出、位置姿勢の推定、それぞれの眼鏡ユニット２００ａ，２００ｂで表示する画像生成までが並列して処理される。生成された画像は、情報端末１０３とそれぞれの眼鏡ユニット２００ａ，２００ｂとを接続するケーブル３０１を介して、眼鏡ユニット２００ａ，２００ｂにリアルタイムに出力される。

実施形態３の画像表示システム３によれば、全天球撮影装置５００が用いられる。これにより、ユーザＰＳａ，ＰＳｂが撮像可能な範囲を３６０°とすることができ、一般的な画角のカメラに比べて、ユーザＰＳａ，ＰＳｂが行動できる範囲に対する制限を緩めることができる。

なお、実施形態３においても、２人のユーザＰＳａ，ＰＳｂに限らず、ユーザの人数は３人以上であってもよい。

（変形例）
図１４は、実施形態３の変形例にかかる画像表示システム３ｎの機能構成の一例を示す図である。図１４に示すように、全天球撮影装置５００を用いた構成においても、画像生成機能を携帯情報端末４００ａ，４００ｂに担わせてもよい。

すなわち、画像表示システム３ｎは、全天球撮影装置５００、情報端末１０４、携帯情報端末４００ａ，４００ｂ、及び眼鏡ユニット２００ａ，２００ｂを備える。

全天球撮影装置５００は、上述の実施形態３と同様の構成を備える。

情報端末１０４は制御部１０ｎを備える。制御部１０ｎは、上述の実施形態２の変形例と同様の構成を有する。情報端末１０４は、撮像部を備えていてもよいが、本実施形態においては使用されない。

眼鏡ユニット２００ａ，２００ｂは上述の実施形態２と同様の構成を備える。

［その他の実施形態］
上述の実施形態１〜３及びそれらの変形例では、例えば情報端末１００等及び携帯情報端末４００ａ，４００ｂが顔特徴点抽出機能、位置姿勢推定機能、画像生成機能等を備えることとしたが、これらの機能を眼鏡ユニットが備えることとしてもよい。図１５に一例を示す。

図１５は、その他の実施形態にかかる画像表示システム４の機能構成の一例を示す図である。図１５に示すように、画像表示システム４は、カメラ６００及び眼鏡ユニット２０１ａ，２０１ｂを備える。カメラ６００及び眼鏡ユニット２０１ａ，２０１ｂは、例えばケーブル３０４で接続されている。

カメラ６００は、例えばＲＧＢカメラ、ＲＧＢ−Ｄカメラ、ステレオカメラ等のデジタルカメラや、上述の全天球撮影装置５００等であってよい。カメラ６００は、通信部６５及び撮像部６６を備える。撮像部６６はユーザの顔面を含む画像を撮像する。通信部６５は、ＨＤＭＩケーブル等のケーブル３０４を介し、または、無線等により、眼鏡ユニット２０１ａ，２０１ｂの通信部２５ａ，２５ｂに、撮像６６が撮像した画像をそれぞれ送信する。

眼鏡ユニット２０１ａは、表示制御部２１ａ、顔特徴点抽出部２２ａ、位置姿勢計算部２３ａ、画像生成部２４ａ、及び通信部２５ａを備える。顔特徴点抽出部２２ａは、眼鏡ユニット２０１ａを装着したユーザの顔特徴点を抽出する。位置姿勢計算部２３ａは、眼鏡ユニット２０１ａを装着したユーザの顔特徴点から、かかるユーザの位置姿勢情報を生成する。画像生成部２４ａは、眼鏡ユニット２０１ａを装着したユーザの位置姿勢情報から、眼鏡ユニット２０１ａに表示する画像を生成する。表示制御部２１ａは、画像生成部２４ａが生成した画像をユーザに対して表示する。

眼鏡ユニット２０１ｂは、表示制御部２１ｂ、顔特徴点抽出部２２ｂ、位置姿勢計算部２３ｂ、画像生成部２４ｂ、及び通信部２５ｂを備える。顔特徴点抽出部２２ｂは、眼鏡ユニット２０１ｂを装着したユーザの顔特徴点を抽出する。位置姿勢計算部２３ｂは、眼鏡ユニット２０１ｂを装着したユーザの顔特徴点から、かかるユーザの位置姿勢情報を生成する。画像生成部２４ｂは、眼鏡ユニット２０１ｂを装着したユーザの位置姿勢情報から、眼鏡ユニット２０１ｂに表示する画像を生成する。表示制御部２１ｂは、画像生成部２４ｂが生成した画像をユーザに対して表示する。

その他の実施形態の画像表示システム４によれば、上述の実施形態１〜３及びそれらの変形例の効果の少なくとも１つを奏する。

画像表示システム４においても、ユーザは、１人であってもよく、３人以上であってもよい。

上述の実施形態１〜３及びそれらの変形例では、例えば情報端末１００等及び携帯情報端末４００ａ，４００ｂが顔特徴点抽出機能、位置姿勢推定機能、画像生成機能等を備えることとしたが、顔特徴点抽出機能を撮像部１６等のカメラが有していてもよい。この場合、顔特徴点に基づいて人物の頭部の位置および姿勢を計算する位置姿勢計算機能を有する端末等は、撮像部から顔特徴点が入力される顔特徴点入力部を有していてもよい。

以上、本実施の形態について説明したが、前述した実施の形態は、本発明の好適な実施の形態の一例ではあるが、具体的な構成、処理内容等は、実施の形態で説明したものに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変形による実施が可能である。

例えば、上述の実施形態１〜３及び変形例の画像表示システムは、ＣＰＵをプログラムに従って動作させてもよく、プログラムが実行するのと同じ演算機能および制御機能を有する専用のＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）を実装することによって、ハードウェア的に動作させてもよい。

１，２，３，４ 画像表示システム
１０，１０ｍ，１０ｎ 制御部
１２，１２ａ，１２ｂ，２２ａ，２２ｂ 顔特徴点抽出部
１３，１３ａ，１３ｂ，２３ａ，２３ｂ 位置姿勢計算部
１４，１４ａ，１４ｂ，２４ａ，２４ｂ，４４ａ，４４ｂ 画像生成部
１６，５６，６６ 撮像部
２１，２１ａ，２１ｂ 表示制御部
１００，１０１，１０２，１０３，１０４ 情報端末
２００，２００ａ，２００ｂ，２０１ａ，２０１ｂ 眼鏡ユニット
４００ａ，４００ｂ 携帯情報端末
５００ 全天球撮影装置

特開２０１６−５３９８７０号公報

Claims (13)

1. 人物が装着することで前記人物に対して所定の画像を表示する頭部装着型画像表示装置と、
   前記頭部装着型画像表示装置を装着した前記人物の顔面を撮像する撮像部と、
   前記撮像部が撮像した画像に基づいて前記人物の顔特徴点を抽出する顔特徴点抽出部と、
   前記顔特徴点に基づいて前記人物の頭部の位置および前記人物の姿勢を計算する位置姿勢計算部と、
   前記位置姿勢計算部により計算された位置姿勢情報に基づいて、前記頭部装着型画像表示装置に表示させる画像を生成する画像生成部と、を備える、
   画像表示システム。
2. 前記頭部装着型画像表示装置は透過型の頭部装着型画像表示装置である、
   請求項１に記載の画像表示システム。
3. 前記頭部装着型画像表示装置は、
   現実空間像と仮想空間像とが融合された拡張現実画像を表示する、
   請求項１または請求項２に記載の画像表示システム。
4. 前記顔特徴点抽出部は、
   前記人物の顔面を構成する顔器官の特徴点のうち、目を含む領域を除く特徴点を抽出する、
   請求項１乃至請求項３のいずれか１項に記載の画像表示システム。
5. 前記画像生成部は、
   前記頭部装着型画像表示装置の視野角および前記人物の前記位置姿勢情報に基づいて仮想空間における仮想カメラの画角、位置、及び向きを決定し、前記頭部装着型画像表示装置に表示させる画像を生成する、
   請求項１乃至請求項４のいずれか１項に記載の画像表示システム。
6. 前記頭部装着型画像表示装置は、
   第１の人物が装着することで前記第１の人物に対して所定の画像を表示する第１の頭部装着型画像表示装置と、
   第２の人物が装着することで前記第２の人物に対して所定の画像を表示する第２の頭部装着型画像表示装置と、を含み、
   前記撮像部は、
   前記第１の頭部装着型画像表示装置を装着した前記第１の人物の顔面と、
   前記第２の頭部装着型画像表示装置を装着した前記第２の人物の顔面と、を同時に撮像し、
   前記顔特徴点抽出部は、
   前記撮像部が撮像した画像に基づいて前記第１の人物の顔特徴点を抽出する第１の顔特徴点抽出部と、
   前記撮像部が撮像した画像に基づいて前記第２の人物の顔特徴点を抽出する第２の顔特徴点抽出部と、を含み、
   前記位置姿勢計算部は、
   前記第１の人物の前記顔特徴点に基づいて前記第１の人物の頭部の位置および前記第１の人物の姿勢を計算する第１の位置姿勢計算部と、
   前記第２の人物の前記顔特徴点に基づいて前記第２の人物の頭部の位置および前記第２の人物の姿勢を計算する第２の位置姿勢計算部と、を含み、
   前記画像生成部は、
   前記第１の位置姿勢計算部により計算された位置姿勢情報に基づいて、前記第１の頭部装着型画像表示装置に表示させる画像を生成する第１の画像生成部と、
   前記第２の位置姿勢計算部により計算された位置姿勢情報に基づいて、前記第２の頭部装着型画像表示装置に表示させる画像を生成する第２の画像生成部と、を含む、
   請求項１乃至請求項５のいずれか１項に記載の画像表示システム。
7. 前記撮像部は、
   ３６０°の方位を一度に撮像可能な全天球カメラである、
   請求項１乃至請求項６のいずれか１項に記載の画像表示システム。
8. 前記撮像部は、
   画像を撮像する機能を備えた携帯情報端末である、
   請求項１乃至請求項６のいずれか１項に記載の画像表示システム。
9. 頭部装着型画像表示装置を装着した人物の顔面を撮像する撮像部が撮像した画像に基づいて前記人物の顔特徴点を抽出する顔特徴点抽出部と、
   前記顔特徴点に基づいて前記人物の頭部の位置および前記人物の姿勢を計算する位置姿勢計算部と、
   前記位置姿勢計算部により計算された位置姿勢情報に基づいて、前記頭部装着型画像表示装置に表示させる画像を生成する画像生成部と、を備える、
   画像表示装置。
10. 頭部装着型画像表示装置を装着した人物の顔面を撮像する撮像部が撮像した画像に基づいて抽出された前記人物の顔特徴点が入力される顔特徴点入力部と、
    前記顔特徴点に基づいて前記人物の頭部の位置および前記人物の姿勢を計算する位置姿勢計算部と、
    前記位置姿勢計算部により計算された位置姿勢情報に基づいて、前記頭部装着型画像表示装置に表示させる画像を生成する画像生成部と、を備える、
    画像表示装置。
11. 頭部装着型画像表示装置を装着した人物の顔面を撮像する撮像部が撮像した画像に基づいて前記人物の顔特徴点を抽出するステップと、
    前記顔特徴点に基づいて前記人物の頭部の位置および前記人物の姿勢を計算するステップと、
    前記人物の頭部の位置情報および前記人物の姿勢情報を含む位置姿勢情報に基づいて、前記頭部装着型画像表示装置に表示させる画像を生成するステップと、を含む、
    画像表示方法。
12. コンピュータに、
    頭部装着型画像表示装置を装着した人物の顔面を撮像する撮像部が撮像した画像に基づいて前記人物の顔特徴点を抽出する処理と、
    前記顔特徴点に基づいて前記人物の頭部の位置および前記人物の姿勢を計算する処理と、
    前記人物の頭部の位置情報および前記人物の姿勢情報を含む位置姿勢情報に基づいて、前記頭部装着型画像表示装置に表示させる画像を生成する処理と、を実行させる、
    プログラム。
13. 頭部装着型画像表示装置を装着した人物の顔面を撮像する撮像部が撮像した画像に基づいて前記人物の顔特徴点を抽出する顔特徴点抽出部と、
    前記顔特徴点に基づいて前記人物の頭部の位置および前記人物の姿勢を計算する位置姿勢計算部と、
    前記位置姿勢計算部により計算された位置姿勢情報に基づいて、前記頭部装着型画像表示装置に表示させる画像を生成する画像生成部と、
    前記画像生成部が生成した前記画像を表示する表示制御部と、を備える、
    頭部装着型画像表示装置。