JP6540691B2 - 頭部位置検出装置及び頭部位置検出方法、画像処理装置及び画像処理方法、表示装置、並びにコンピューター・プログラム - Google Patents

Description

本明細書で開示する技術は、ユーザーの頭部の位置を検出する頭部位置検出装置及び頭部位置検出方法、ユーザーの頭部の位置や姿勢に追従した画像を処理する画像処理装置及び画像処理方法、表示装置、並びにコンピューター・プログラムに関する。

画像を観察するユーザーの頭部又は顔部に固定される画像表示装置、すなわち、ヘッド・マウント・ディスプレイが知られている。ヘッド・マウント・ディスプレイは、例えば左右の眼毎の画像表示部を持ち、また、ヘッドフォンと併用し、視覚及び聴覚を制御できるように構成されている。頭部に装着した際に外界を完全に遮るように構成すれば、視聴時の仮想現実感が増す。また、ヘッド・マウント・ディスプレイは、左右の眼に違う映像を映し出すことも可能であり、左右の眼に対して視差のある画像を表示すれば３Ｄ画像を提示することができる。

ヘッド・マウント・ディスプレイを用いて、広角画像の一部を切り出した画像を観察することができる。ここで言う広角画像として、カメラで撮影した画像の他、ゲームのような３Ｄグラフィックスで生成した画像を挙げることができる。

例えば、頭部にジャイロ・センサーなどからなる頭部動作追跡装置を取り付け、ユーザーの頭部の動きに追従させて、全空間の３６０度の映像を実感できるようにしたヘッド・マウント・ディスプレイについて提案がなされている（例えば、特許文献１、特許文献２を参照のこと）。ジャイロ・センサーが検出した頭部の動きを打ち消すように、広角画像中で表示領域を移動させることで、頭部の動きに追従した画像を再現することができ、ユーザーは全空間を見渡すような体験をする。

また、カメラの撮影画像やゲームなどの３Ｄグラフィックス画像の上にＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：拡張現実感）のオブジェクトを配置する際、頭部の位置に応じた運動視差を再現すると、ユーザーに奥行き感や立体感を知覚させる自然な画像となり、没入感が増す。運動視差とは、奥行きのある物体を観察している際に、物体と観察者が相対的に（左右方向に）移動したときに、網膜上の像に変化が生じる現象をいう。具体的には、注視している物体より遠くのものは移動方向と同じ方向に位置を変えているように見えるが、注視している物体は進行方向とは反対の方向に位置を変えて見える。逆に、運動視差を表現しない画像は、奥行き感や立体感が不自然となり、ユーザーがＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ：仮想現実感）酔いを起こす原因にもなる。

特開平９−１０６３２２号公報 特開２０１０−２５６５３４号公報

本明細書で開示する技術の目的は、ユーザーの頭部の位置を簡易に検出することができる、優れた頭部位置検出装置及び頭部位置検出方法を提供することにある。

本明細書で開示する技術のさらなる目的は、ユーザーの頭部の位置を簡易に検出して、運動視差の画像を提示することができる、優れた画像処理装置及び画像処理方法、表示装置、並びにコンピューター・プログラムを提供することにある。

本願は、上記課題を参酌してなされたものであり、請求項１に記載の技術は、
ユーザーの頭部の姿勢を検出する検出部と、
頭部の姿勢をユーザー座標系における頭部の位置に変換する変換部と、
を具備する頭部位置検出装置である。

本願の請求項２に記載の技術によれば、請求項１に記載の頭部位置検出装置の前記検出部は、ユーザーの頭部に装着したジャイロ・センサーを備え、前記ジャイロ・センサーが検出した角速度を積分して、頭部の姿勢を算出するように構成されている。

本願の請求項３に記載の技術によれば、請求項２に記載の頭部位置検出装置の前記検出部は、加速度センサーをさらに備え、前記ジャイロ・センサーから得られた姿勢の重力方向に対するドリフトを前記加速度センサーが検出する重力方向に基づいて補償するように構成されている。

本願の請求項４に記載の技術によれば、請求項１に記載の頭部位置検出装置の前記変換部は、ユーザーの頭部の角度の変化を、頭部から所定のアーム長ｒだけ離間したユーザーの身体上の所定の部位に原点が設定されたユーザー座標系から見た頭部の位置に変換するように構成されている。

本願の請求項５に記載の技術によれば、請求項４に記載の頭部位置検出装置の前記変換部は、ユーザーの頭部が所定の回転中心から所定の半径ｒに固定された球面上で動くものとして、頭部の角度の変化をユーザー座標系から見た頭部の位置に変換するように構成されている。

本願の請求項６に記載の技術によれば、請求項４に記載の頭部位置検出装置の前記変換部は、ユーザーの頭部がユーザー座標系上の原点を回転中心とし前記アーム長ｒを半径とする球面上で動くものとして、頭部の角度の変化をユーザー座標系から見た頭部の位置に変換するように構成されている。

本願の請求項７に記載の技術によれば、ユーザーの腰位置をユーザー座標系の原点に設定している。そして、請求項４に記載の頭部位置検出装置の前記変換部は、ユーザーの頭部がユーザーの腰位置を回転中心とし前記アーム長ｒを半径とする球面上で動くものとして、頭部の角度の変化をユーザーの腰位置から見た頭部の位置に変換するように構成されている。

本願の請求項８に記載の技術によれば、請求項４に記載の頭部位置検出装置の前記変換部は、ユーザーの頭部が前記アーム長ｒよりも短い第１のアーム長ｒ₁だけ離間した回転中心から半径ｒ₁に固定された球面上で動くものとして、頭部の角度の変化をユーザー座標系から見た頭部の位置に変換するように構成されている。

本願の請求項９に記載の技術によれば、ユーザーの腰位置をユーザー座標系の原点に設定している。そして、請求項４に記載の頭部位置検出装置の前記変換部は、ユーザーの頭部が前記アーム長ｒよりも短い第１のアーム長ｒ₁だけ離間した首から半径ｒ₁に固定された球面上で動くものとして、頭部の角度の変化をユーザーの腰位置から見た頭部の位置に変換するように構成されている。

本願の請求項１０に記載の技術によれば、請求項１に記載の頭部位置検出装置は、ユーザーの頭部以外の上半身の部位の姿勢を検出する第２の検出部をさらに備えている。そして、前記変換部は、前記検出部が検出した頭部の姿勢と前記第２の検出部が検出した上半身の部位の姿勢に基づいて、頭部の姿勢をユーザー座標系における頭部の位置に変換するように構成されている。

本願の請求項１１に記載の技術によれば、請求項４に記載の頭部位置検出装置の前記変換部は、頭部の位置を適用するアプリケーションに応じて、アーム長ｒを調整するように構成されている。

本願の請求項１２に記載の技術によれば、請求項１に記載の頭部位置検出装置の前記変換部は、頭部の位置を適用するアプリケーションに応じて、前記検出部が検出した頭部の姿勢の少なくとも一部の角度成分を制限して、頭部の位置を求めるように構成されている。

本願の請求項１３に記載の技術によれば、請求項４に記載の頭部位置検出装置の前記変換部は、各時刻のアーム長ｒを推定して、各時刻における頭部の位置を求めるように構成されている。

本願の請求項１４に記載の技術によれば、請求項１３に記載の頭部位置検出装置の前記検出部は、ユーザーの頭部の加速度を検出するセンサーを含んでいる。そして、前記変換部は、各時刻で検出された加速度に基づいてアーム長ｒを推定して、各時刻における頭部の位置を求めるように構成されている。

また、本願の請求項１５に記載の技術は、
ユーザーの頭部の姿勢を検出する検出ステップと、
頭部の姿勢をユーザー座標系における頭部の位置に変換する変換ステップと、
を有する頭部位置検出方法である。

また、本願の請求項１６に記載の技術は、
ユーザーの頭部の姿勢を検出する検出部と、
頭部の姿勢をユーザー座標系における頭部の位置に変換する変換部と、
頭部の位置に対応した運動視差を提示した画像を生成する描画処理部と、
を具備する画像処理装置である。

本願の請求項１７に記載の技術によれば、請求項１６に記載の画像処理装置の前記描画処理部は、頭部の角度変化が所定以内の値のみ運動視差を適用するように構成されている。

また、本願の請求項１８に記載の技術は、
ユーザーの頭部の姿勢を検出する検出ステップと、
頭部の姿勢をユーザー座標系における頭部の位置に変換する変換ステップと、
頭部の位置に対応した運動視差を提示した画像を生成する描画処理ステップと、
を有する画像処理方法である。

また、本願の請求項１９に記載の技術は、
ユーザーの頭部の姿勢を検出する検出部と、
頭部の姿勢をユーザー座標系における頭部の位置に変換する変換部と、
頭部の位置に対応した運動視差を提示した画像を生成する描画処理部と、
表示部と、
を具備する表示装置である。

また、本願の請求項２０に記載の技術は、
ユーザーの頭部に装着した検出部が検出した頭部の姿勢をユーザー座標系における頭部の位置に変換する変換部、
頭部の位置に対応した運動視差を提示した画像を生成する描画処理部、
としてコンピューターを機能させるようにコンピューター可読形式で記述されたコンピューター・プログラムである。

本願の請求項２０に係るコンピューター・プログラムは、コンピューター上で所定の処理を実現するようにコンピューター可読形式で記述されたコンピューター・プログラムを定義したものである。換言すれば、本願の請求項２０に係るコンピューター・プログラムをコンピューターにインストールすることによって、コンピューター上では協働的作用が発揮され、本願の請求項１６に係る画像処理装置と同様の作用効果を得ることができる。

本明細書で開示する技術によれば、安価なセンサーを使用して、ユーザーの頭部の位置を簡易に検出することができる、優れた頭部位置検出装置及び頭部位置検出方法を提供することができる。

また、本明細書で開示する技術によれば、安価なセンサーを使用して、ユーザーの頭部の位置を検出して、運動視差の画像を提示することができる、優れた画像処理装置及び画像処理方法、表示装置、並びにコンピューター・プログラムを提供することができる。

なお、本明細書に記載された効果は、あくまでも例示であり、本発明の効果はこれに限定されるものではない。また、本発明が、上記の効果以外に、さらに付加的な効果を奏する場合もある。

本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。

図１は、本明細書で開示する技術を適用した画像表示システム１００の構成例を模式的に示した図である。 図２は、画像表示システム１００の変形例を模式的に示した図である。 図３は、表示装置４００の外観構成を示した図（斜視図）である。 図４は、表示装置４００の外観構成を示した図（左側面図）である。 図５は、頭部の姿勢角の検出、並びに、頭部の姿勢から頭部の位置を算出する際に用いられる各座標系の関係を示した図である。 図６Ａは、着席しているユーザーの姿勢（ほぼ垂直な姿勢のとき）とユーザーの頭部姿勢に基づいて求められた頭部位置を示した図である。 図６Ｂは、着席しているユーザーの姿勢（上半身が腰位置を中心に左方向にロール回転しているとき）とユーザーの頭部姿勢に基づいて求められた頭部位置を示した図である。 図６Ｃは、着席しているユーザーの姿勢（上半身が腰位置を中心に前方にチルトしているとき）とユーザーの頭部姿勢に基づいて求められた頭部位置を示した図である。 図７Ａは、奥行き方向に並べた複数の玉を、着席しているユーザーがほぼ垂直な姿勢で正面を見たときに観察される画像を例示した図である 図７Ｂは、着席しているユーザーが上半身を左に傾けて（腰位置を中心にロール回転させて）、奥行き方向に並べた複数の玉を横から覗いたときに観察される画像を例示した図である 図８Ａは、３ＤのＶＲ画像を、着席しているユーザーがほぼ垂直な姿勢で正面を見たときに観察される画像を例示した図である。 図８Ｂは、着席しているユーザーが上半身を左に傾けて、図８Ａと同じＶＲ画像を横から覗いたときに観察される画像を例示した図である。 図９は、着席しているユーザーの上半身が腰位置を中心に回転するモデル（右側に傾いている場合）を示した図である。 図１０は、着席しているユーザーの上半身が腰位置を中心に回転するモデル（前傾している場合）を示した図である。 図１１は、着席しているユーザーの頭部が首を中心に回転するモデル（右側に傾いている場合）を示した図である。 図１２は、着席しているユーザーの頭部が首を中心に回転するモデル（前傾している場合）を示した図である。 図１３は、ユーザーの頭部の角度変化から頭部の位置を求める方法の誤差を説明するための図である。 図１４は、着席しているユーザーの上半身が腰回りに回転するとともに頭部が首回りに回転するモデルを示した図である。 図１５は、右方向に曲がるカーブを通過する際のゲーム画像を例示した図である。 図１６Ａは、着席しているユーザーの上半身が腰位置を中心に左方向にロール回転する動作を示した図である。 図１６Ｂは、着席しているユーザーの胴体はほぼ静止したまま、首の根元を中心に頭部だけが左方向にロール回転する動作を示した図である。 図１６Ｃは、着席しているユーザーの胴体はほぼ静止したまま、首の根元を中心に頭部だけが前方にチルトする動作を示した図である。 図１６Ｄは、着席しているユーザーの上半身が腰位置を中心に前方にチルトする動作を示した図である。 図１７は、ユーザー座標系ＸＹＺを極座標系ｒθφで表現した例を示した図である。 図１８は、ユーザーの頭部が腰回りに回転しているときのアーム長ｒと頭部に加わる向心力を示した図である。 図１９は、ユーザーの頭部が首回りに回転しているときのアーム長ｒと頭部に加わる向心力を示した図である。

以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。

ヘッド・マウント・ディスプレイなどのディスプレイに表示するゲームなどの３Ｄグラフィックス画像、カメラの撮影画像などの上にＡＲのオブジェクトを配置する際、ユーザーに奥行き感や立体感を知覚させる自然な画像となり、没入感が増す。逆に、運動視差を表現しない画像は、奥行き感や立体感が不自然となり、ユーザーがＶＲ酔いを起こす原因にもなる。

ヘッド・マウント・ディスプレイなどで運動視差を再現した画像を提示する場合、ユーザー（すなわち、ヘッド・マウント・ディスプレイの着用者）の頭部の位置及び姿勢を検出することが必要になる。また、今後、軽量で手軽に外へ持ち運べる安価なヘッド・マウント・ディスプレイが普及することを想定した場合、安価なセンサーを用いて頭部の位置及び姿勢を検出し、運動視差を提示できることが望ましい。

ユーザーの頭部の姿勢は、例えばジャイロ・スコープを用いて検出することが可能である。他方、頭部の位置を検出するには、一般に高価なセンサーが必要になる。頭部の位置情報を利用できないと、ＡＲのオブジェクトを頭部の姿勢に応じて回転させることができるだけで、頭部の平行移動には対応できない。したがって、運動視差を再現することはできない（注視している物体より遠くのものは移動方向と同じ方向に位置を変えているように見せ、注視している物体は進行方向とは反対の方向に位置を変えて見せることはできない）。

例えば、環境に設置された赤外線カメラやデプスカメラ、超音波センサー、磁気センサーなどを用いて環境内に存在する物体の位置を検出する方法が当業界で知られている。このような方法は、ヘッド・マウント・ディスプレイの位置を検出するには有用であるが、ヘッド・マウント・ディスプレイの外部（言い換えれば、ヘッド・マウント・ディスプレイから離れた場所）にセンサーを設置する必要があり、価格も高額になりがちである。また、いつも同じ部屋でヘッド・マウント・ディスプレイを使用するならともかく、ヘッド・マウント・ディスプレイを外に持ち出して移動先で利用する場合、環境にセンサーを設置する必要があるので、利用上の大きな妨げになる。

また、ヘッド・マウント・ディスプレイに搭載したカメラが周囲環境を撮影した画像を画像処理して自己位置を検出する方法も考えられる。例えば、環境にマーカーを設置し、撮影画像に映ったマーカーの位置を検出する方法では、環境側にマーカーを設置する必要がある。また、撮影画像上のエッジなどの特徴点を追跡することで、マーカーを設置することなく自己位置を検出することができる。後者は、ヘッド・マウント・ディスプレイ内のセンサーのみで位置検出を実現できる点では有用であるが、画像処理を行なうための演算処理とカメラがコスト増の要因になる。また、薄暗い部屋や白い壁のようなテクスチャーのない環境では、エッジなどの特徴点の追跡が困難となり、利用が難しいといった、環境依存の影響を受ける。付言すれば、高速に撮影できるカメラを用いない場合、素早い頭部の動きを追跡するのが困難である。

また、慣性航空システムで応用されているようなジャイロ・センサーや加速度センサーをヘッド・マウント・ディスプレイに搭載して、頭部の位置を検出することも可能である。具体的には、加速度センサーで検出した加速度成分から重力加速度成分を差し引いて求めた運動加速度を２階積分することで、位置を求めることができる。この方法は、ヘッド・マウント・ディスプレイ内のセンサーのみによって位置検出することができるという点では有用である。しかしながら、積分誤差の影響により、時間の経過によって位置にドリフトが生じるという問題がある。例えば、加速度センサーの出力から重力加速度を差し引いて求めた運動加速度ａに固定バイアスａ_bが発生すると、時間ｔにおける位置のドリフト誤差ｘは下式（１）の通りとなる。すなわち、ドリフト誤差ｘは、時間ｔの２乗に比例して増大する。

位置検出結果から常に固定バイアスａ_bを評価してドリフト誤差ｘを除去することが重要である。しかしながら、ヘッド・マウント・ディスプレイに搭載されるような安価な加速度センサーの場合、２階積分によって生じるドリフト誤差ｘを抑えることは容易ではない。また、ヘッド・マウント・ディスプレイの着用者の頭部の微小な移動を検出するには、加速度センサーの出力から微弱な運動加速度をノイズの成分や重力加速度成分から分離する必要がある。ノイズの影響を受け易い加速度センサーで実現するのは容易ではない。これを実現するには、高精度な姿勢推定を行なう必要や、定期的且つ正確に加速度センサーをキャリブレーションする必要がある。ドリフト誤差を除去するには、位置検出センサーと組み合わせる方法も考えられるが、既存の位置検出技術には上述した問題が発生する。

要するに、ヘッド・マウント・ディスプレイに搭載した安価なセンサーのみを用いて頭部の位置及び姿勢を検出し、運動視差を提示することは困難である。

一方、ヘッド・マウント・ディスプレイの着用者が歩き回る際の頭部の位置を検出するのは困難であっても、着用者が座っているときの微小な頭の移動によって生じる運動視差を提示するだけでも十分というユース・ケースもある。具体例として、レース・ゲームの３Ｄグラフィックス画像をヘッド・マウント・ディスプレイで視聴する場合を挙げることができる。

図１５には、右方向に曲がるカーブを通過する際のゲーム画像を例示している。図示のゲーム画像は、運転席の視界に相当する。現実の自動車の運転では、一般に、運転者は体を左に傾けることで、見通しの悪いカーブの先を確認しようとする。通常のゲームでは、車体の姿勢からゲームのカメラの視点を変更させた画像を提示することはできても、ゲームのプレイヤーの頭部の動きをゲームに反映させることはできない。しかしながら、座っているゲームのプレイヤーの頭部の位置の変化を検出できれば、見通しの悪いカーブの先の画像を、頭部の動きに合わせて提示するといったことが可能である。

また、レース・ゲーム以外でも、ユーザーが着席して３Ｄグラフィックスを視聴する、他のゲーム又はゲーム以外のユース・ケースがある。このようなユース・ケースのほとんどの場合、着席しているユーザーの頭部の動きは微小であり、微小な頭の移動によって生じる運動視差を提示するだけでも十分である。

図１６Ａ〜Ｄには、着席しているユーザー（ヘッド・マウント・ディスプレイの着用者など）の視点移動を伴う頭部の移動（位置の変化）を含む動作を例示している。図１６Ａでは、着席しているユーザーの上半身が腰位置を中心に左方向にロール回転している様子であり、参照番号１６０１で示すように頭部が移動する。図１６Ｂでは、着席しているユーザーの胴体はほぼ静止したまま、首の根元を中心に頭部だけが左方向にロール回転している様子であり、参照番号１６０２で示すように頭部が移動する。図１６Ｃでは、着席しているユーザーの胴体はほぼ静止したまま、首の根元を中心に頭部だけが前方にチルトしている様子であり、参照番号１６０３で示すように頭部が移動する。図１６Ｄでは、着席しているユーザーの上半身が腰位置を中心に前方にチルトしている様子であり、参照番号１６０４で示すように頭部が移動する。図１６Ａ〜Ｄに示したような、着席しているユーザーのいずれの動作においても、ユーザーの頭部の動き１６０１〜１６０４は微小であり、微小な頭の移動１６０１〜１６０４によって生じる運動視差を提示するだけでも十分であると考えられる。なお、着席しているユーザーの頭部又は上半身のヨー回転（パン）は、頭部の移動を伴わない運動なので、図示を省略する。

図１６から分かるように、着席しているユーザーの頭部の動きは微小であるとともに、視点移動を伴う頭部の位置の変化は、頭部の回転運動を伴う。したがって、頭部の回転運動をジャイロ・センサーなどの安価な姿勢・角度センサーを用いて検出し、その検出結果に基づいて頭部の位置の変化を導出することで、簡易的な運動視差を提示することができる。

本明細書で開示する技術は、画像のユーザー（ヘッド・マウント・ディスプレイの着用者など）の頭部に設置されたジャイロ・センサーなどの姿勢・角度センサーから頭部の回転運動を検出し、その検出結果に基づいて頭部の微小な動きによる運動視差を簡易的に提示するものである。本明細書で開示する技術では、正確な頭部の位置検出を行なうことはできないが、ユーザーが着席時のように頭部の移動が回転運動を伴うユース・ケースにおいては、頭部の回転運動から頭部の位置を簡易的に求めることができ、十分効果的に運動視差を提示することができる。

図１には、本明細書で開示する技術を適用した画像表示システム１００の構成例を模式的に示している。図示の画像表示システム１００は、頭部動作追跡装置２００と、描画装置３００と、表示装置４００で構成される。

頭部動作追跡装置２００は、表示装置４００が表示する画像を観察するユーザーの頭部に装着して用いられ、所定の送信周期でユーザーの頭部の姿勢情報を描画装置２００に出力する。図示の例では、頭部動作追跡装置２００は、センサー部２０１と、姿勢角演算部２０２と、姿勢角演算部２０２の演算結果を描画装置３００に送信する送信部２０３を備えている。

センサー部２０１は、頭部動作追跡装置２００を着用したユーザーの頭部の姿勢を検出するセンサー素子で構成される。センサー部２０１は、センサー素子として、基本的には、ユーザーの頭部に装着したジャイロ・センサーを備えている。ジャイロ・センサーは、安価であり、センサーの検出信号の姿勢角演算部２０２での処理負荷も極めて低く、実装が容易である。カメラのような他のセンサーに比べて、Ｓ／Ｎが良いという利点もある。また、サンプリング・レートの高いジャイロ・センサーで検出した姿勢角から頭部の移動量を求めるので、低速から高速な頭部移動を含めて極めて滑らかな運動視差の提示に貢献することができる。

ジャイロ・センサーを用いて位置を検出する場合、上述したように重力方向に対するドリフトの問題がある。そこで、センサー部２０１に、ジェイロ・センサーとともに、加速度センサーを併用してもよい。ジャイロ・センサーから得られた姿勢の重力方向に対するドリフトは、加速度センサーが検出する重力方向から容易に補償することが可能であり、時間経過に伴う視点移動のドリフトも抑制することができる。勿論、ドリフト量を無視できるジャイロ・センサーを利用する場合には、加速度センサーを併用する必要はない。また、頭部のヨー軸回りの姿勢のドリフトを補正するために、必要に応じて磁気センサーを併用してもよい。

温度特性などの影響を受けるセンサーに対してはキャリブレーションが必要である。本実施例では、ジャイロ・センサーのオフセット処理以外に特別なキャリブレーションは不要である。ジャイロ・センサーのオフセット・キャリブレーションは、例えば、静止時のジャイロ・センサーの出力の平均値を差し引くことで実行することができるので、容易である。

なお、センサー部２０１は、ジャイロ・センサー以外のセンサー素子を用いて頭部の姿勢変化を検出するように構成してもよい。例えば、加速度センサーに加わる重力加速度方向から姿勢を検出するようにしてもよい。あるいは、ユーザーの頭部に装着した（若しくは、ヘッド・マウント・ディスプレイに搭載した）カメラが撮影した周囲画像を画像処理して、頭部の姿勢変化を検出するようにしてもよい。

姿勢角演算部２０２は、センサー部２０１による検出結果に基づいて、ユーザーの頭部の姿勢角を演算する。具体的には、姿勢角演算部２０２は、ジャイロ・センサーから得られる角速度を積分して、頭部の姿勢を計算する。本実施形態に係る画像表示システム１００では、頭部の姿勢情報をクォータニオンとして取り扱うようにしてもよい。クォータニオンは、回転軸（ベクトル）と回転角（スカラー）からなる４元数である。あるいは、頭部の姿勢情報を、オイラー角や極座標などその他の形式で記述するようにしてもよい。

また、姿勢角演算部２０２は、姿勢角を算出した後、さらに後述する方法により姿勢角から頭部の移動量を演算する。そして、送信部２０３は、姿勢角演算部２０２で求められた頭部の位置情報を描画装置３００に送信する。あるいは、姿勢角演算部２０２は、姿勢角の算出のみを行ない、送信部２０３から頭部の姿勢情報を描画装置３００に送信し、描画装置３００側で頭部の姿勢情報から頭部位置情報に換算するようにしてもよい。

図示の画像表示システム１００では、頭部動作追跡装置２００と描画装置３００間はＢｌｕｅｔｏｏｔｈ（登録商標）通信などの無線通信により相互接続されているものとする。勿論、無線通信ではなく、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）のような高速な有線インフェース経由で頭部動作追跡装置２００と描画装置３００間を接続するようにしてもよい。

描画装置３００は、表示装置４００で表示する画像のレンダリング処理を行なう。描画装置３００は、例えばスマートフォンやタブレットなどのＡｎｄｒｏｉｄ（登録商標）搭載端末、あるいはパーソナル・コンピューター、ゲーム機として構成されるが、これらの装置に限定される訳ではない。また、描画装置３００は、インターネット上のサーバー装置であってもよい。頭部動作追跡装置２００は、ユーザーの頭部姿勢・位置情報を、描画装置３００としてのサーバーに送信し、描画装置３００は、受信した頭部姿勢・位置情報に対応する動画像ストリームを生成すると、表示装置４００にストリーム送信する。

図示の例では、描画装置３００は、頭部動作追跡装置２００からユーザーの頭部の位置情報を受信する受信部３０１と、画像のレンダリング処理を行なう描画処理部３０２と、レンダリングした画像を表示装置４００に送信する送信部３０２と、画像データの供給源となる画像ソース３０４を備えている。

受信部３０１は、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信などを介して、頭部動作追跡装置２００からユーザーの頭部の位置情報又は姿勢情報を受信する。姿勢情報は、例えば回転マトリックスやクォータニオンの形式で表現されている。

画像ソース３０４は、例えば、画像コンテンツを記録するＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などの記憶装置、ブルーレイ（登録商標）などの記録メディアを再生するメディア再生装置、ディジタル放送信号を選局受信する放送チューナー、インターネット上に設置されたストリーミング・サーバーなどから動画像ストリームを受信する通信インターフェースなどからなる。

描画処理部３０２は、３Ｄグラフィックスを生成するゲームや、カメラの撮影画像を表示するアプリケーションを実行して、画像ソース３０４の画像データから、表示装置４００側で表示する画像をレンダリングする。本実施形態では、描画処理部３０２は、画像ソース３０４から供給される原画像から、受信部３０１で受信したユーザーの頭部の位置情報に基づいて、頭部の位置に対応した運動視差を提示した画像をレンダリングする。なお、頭部動作追跡装置２００から、ユーザーの頭部の位置情報ではなく、頭部の姿勢情報が送られてくる場合には、描画処理部３０２で頭部の姿勢情報を位置情報に換算する処理も行なうものとする。

描画装置３００と表示装置４００間は、例えばＨＤＭＩ（登録商標）（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）やＭＨＬ（Ｍｏｂｉｌｅ Ｈｉｇｈ−ｄｅｆｉｎｉｔｉｏｎ Ｌｉｎｋ）などの有線ケーブルにより接続されている。あるいは、ｗｉｒｅｌｅｓｓＨＤやＭｉｒａｃａｓｔのような無線通信で接続してもよい。送信部３０３は、いずれかの通信路を用いて、描画処理部３０２でレンダリングされた画像データを非圧縮のまま表示装置４００に送信する。

表示装置４００は、描画装置３００から画像を受信する受信部４０１と、受信した画像を表示する表示部４０２を備えている。表示装置４００は、例えば、画像を観察するユーザーの頭部又は顔部に固定されるヘッド・マウント・ディスプレイとして構成される。あるいは、表示装置４００は、通常のＴＶモニターや、大画面ディスプレイ、投影型表示装置であってもよい。

受信部４０１は、例えばＨＤＭＩ（登録商標）やＭＨＬなどの通信路を介して、描画装置３００から非圧縮の画像データを受信する。表示部４０２は、受信した画像データを画面に表示する。

表示装置４００がヘッド・マウント・ディスプレイとして構成される場合、例えば、表示部４０２は、ユーザーの左右の眼にそれぞれ固定された左右の画面を備え、左眼用画像及び右眼用画像を表示する。表示部４０２の画面は、例えば有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）素子や液晶ディスプレイなどのマイクロ・ディスプレイなどの表示パネル、あるいは、網膜直描ディスプレイなどのレーザー走査方式ディスプレイで構成される。また、表示部４０２の表示画像を拡大投影して、ユーザーの瞳に所定の画角からなる拡大虚像を結像する虚像光学部を備えている。

図２には、画像表示システム１００の変形例を模式的に示している。図１に示した例では、画像表示システム１００は、頭部動作追跡装置２００、描画装置３００、表示装置４００という３台の独立した装置で構成されるが、図２に示す例では、描画装置３００の機能が表示装置４００内に搭載されている。図１と同じ構成要素については同一の参照番号を付けている。ここでは、各構成要素の説明は省略する。図１並びに図２に示したように、頭部動作追跡装置２００を表示装置４００に外付けされるオプション製品として構成すれば、表示装置４００の小型・軽量化、低廉化になる。

図３並びに図４には、表示装置４００の外観構成を示している。図示の例では、表示装置４００は、画像を観察するユーザーの頭部又は顔部に固定して用いられるヘッド・マウント・ディスプレイとして構成される。但し、図３はヘッド・マウント・ディスプレイの斜視図であり、図４はヘッド・マウント・ディスプレイの左側面図である。

図示の表示装置４００は、帽子形状、若しくは、頭部の全周を包む帯状の構造とし、装置の荷重を頭部全体に分散させて、ユーザーの負担を軽減して装着することができるヘッド・マウント・ディスプレイである。

表示装置４００は、表示系統を含む大部分の部品を含んだ本体部４１と、本体部４１の上面から突設した額当て部４２と、上バンド４４及び下バンド４５に分岐されるヘッド・バンドと、左右のヘッドフォンからなる。本体部４１内には、表示部や回路基板が収容される。また、本体部４１の下方には、鼻背に倣うように鼻当て部４３が形設されている。

ユーザーが表示装置４００を頭部に装着したとき、額当て部４２がユーザーの額に当接するとともに、ヘッド・バンドの上バンド４４及び下バンド４５がそれぞれ頭部の後方に当接する。すなわち、額当て部４２、上バンド４４、下バンド４５の３点支持によって、表示装置４００がユーザーの頭部に装着される。したがって、主に鼻当て部で重量を支える通常の眼鏡の構造とは相違し、この表示装置４００は、その荷重を頭部全体に分散させて、ユーザーの負担を軽減して装着することができる。図示の表示装置４００も鼻当て部４３を備えているが、補助的な支持しか寄与しない。また、額当て部４２をヘッド・バンドで締め付けることで、表示装置４００が装着されたユーザーの頭部から回転しないように、回転方向の動きを支持することができる。

頭部動作追跡装置２００は、ヘッド・マウント・ディスプレイとして構成される表示装置４００の本体部４１内に搭載することもできる。但し、本実施形態では、表示装置４００の小型・軽量化、低廉化などを意図して、頭部動作追跡装置２００は、表示装置４００に外付けされるオプション製品として提供されるものとする。頭部動作追跡装置２００は、例えばアクセサリーとして、表示装置４００の上バンド４４、下バンド４５、額当て部４２などのいずれかの場所に取り付けて用いられる。

姿勢角演算部２０２は、センサー部２０１（以下、単に「ジャイロ・センサー」とする）から得られる角速度を積分して、頭部の姿勢を計算することは既に述べた。図５には、本実施形態において、頭部の姿勢角の検出、並びに、頭部の姿勢から頭部の位置を算出する際に用いられる各座標系の関係を示している。図示のように、ユーザーの正面方向をＺ軸、重力方向をＹ軸、Ｚ軸及びＹ軸に直交する方向をＸ軸とし、ユーザーの腰位置を原点とした座標系を、ワールド座標系に対して設定する。以下では、このＸＹＺ座標系を「ユーザー座標系」と呼ぶ。これに対して、ユーザー座標系の原点からアーム長ｒだけ離間した位置に頭部座標系ｘｙｚを設定する。

頭部座標系の位置は、ユーザーの頭部に装着したジャイロ・センサーから得られた頭部姿勢を、アーム長ｒに対して回転することで求められる位置とする。ここで、頭部の姿勢は、ジャイロ・センサーから得られる角速度を積分して得られた姿勢とする。ユーザーが頭部座標系のｙ軸回りに回転しても、頭部の位置は変化しない。一方、ユーザーの頭部がｘ軸又はｚ軸回りに回転すると、頭部の位置が変化する。加速度センサーで検出した運動加速度を２階積分して位置を算出する場合、時間の経過によって位置にドリフトが生じるという問題があるが、本実施形態による位置算出方法ではこのような問題はない。

図６Ａ〜Ｃには、着席しているユーザーの姿勢を右側に、頭部姿勢から換算される頭部の位置を左側に、それぞれ示している。ユーザーの頭部の姿勢を、頭部に装着したジャイロ・センサーが検出する角速度を積分して求めることができる。そして、着席しているユーザーの頭部はユーザーの腰位置を中心にアーム長ｒを半径とする球面上で動くものとして、ユーザーの頭部の姿勢をユーザー座標系上での頭部の位置に換算することができる。図６Ａ右には、着席しているユーザー６１１がほぼ垂直な姿勢である様子をし、図６Ａ左には、そのときの頭部の姿勢から換算される頭部位置６０１を示している。また、図６Ｂ右には、着席しているユーザー６１２の上半身が腰位置を中心に左方向にロール回転している様子を示し、図６Ｂ左には、そのときの頭部位置６０２を示している。また、図６Ｃ右には、着席しているユーザー６１３の上半身が腰位置を中心に前方にチルトしている様子を示し、図６Ｃ左には、そのときの頭部位置６０３を示している。このようにして得られた頭部座標系の位置変化を、画像をレンダリングするアプリケーション側で設定されてあるカメラ位置に加えることで、運動視差を提示することができる。

図７Ａには、奥行き方向に並べた複数の玉を、着席しているユーザー７０１がほぼ垂直な姿勢で正面を見たときに観察される画像を例示している。このような場合、複数の玉は奥行き方向に重なり合うので、後方に配置された玉は前方に配置された玉に隠れて見えない。また、図７Ｂには、着席しているユーザー７０２が上半身を左に傾けて（腰位置を中心にロール回転させて）、奥行き方向に並べた複数の玉を横から覗いたときに観察される画像を例示している。図７Ｂに示すように、ユーザー７０２は、上半身を左に傾けることで、前方の玉と奥行き方向に重なり合っている後方の玉を横（左側）から見ることができ、運動視差が提示されている。遠くの玉は頭部の移動方向と同じ方向に位置を変えているように見えるが、手前の玉は頭部の進行方向とは反対の方向に位置を変えて見える。したがって、ユーザーに奥行き感や立体感を知覚させる自然な画像となり、没入感が増す。なお、図７Ｂにおいて、地面が回転しているように見えるのは、ヘッド・マウント・ディスプレイ用の画像だからである。すなわち、画像内の地面は、ヘッド・マウント・ディスプレイを着用しているユーザーの頭部の傾きを打ち消す方向に回転しているので、ユーザーには地面は回転していないように見える。

一方、運動視差を提示しない場合、ユーザーが上半身を左に傾けても、図７Ａに示したＶＲ画像が単に頭部姿勢に合わせて回転するだけ、すなわち、奥行き方向に並んだ複数の玉が一体で同じ方向に位置を変える画像になるので、奥行き感や立体感が不自然となり、ユーザーがＶＲ酔いを起こす原因にもなる。

図８Ａには、 ３ＤのＶＲ画像を、着席しているユーザー８０１がほぼ垂直な姿勢で正面を見たときに観察される画像を例示している。また、図８Ｂには、着席しているユーザー８０２が上半身を右に傾けて（腰位置を中心にロール回転させて）、図８Ａと同じＶＲ画像を横から覗いたときに観察される画像を例示している。図８Ｂに示すように、ユーザー８０２の頭部位置が右方向に移動する際の運動視差を提示したＶＲ画像では、部屋の扉８１２の外の風景が右側に移動している。手前の室内は頭部の進行方向とは反対方向に位置を変えて見えるが、扉越しに見える外の風景は頭部の移動方向と同じ方向に位置を変えているように見える。すなわち、ユーザー８０２は、上半身を右に傾けることで、扉８１２の左側で隠れていた外の風景を覗き見ることができる。したがって、ユーザー８０２に奥行き感や立体感を知覚させる自然な画像となり、没入感が増す。

一方、運動視差を提示しない場合、ユーザーが上半身を右に傾けても、図８Ａに示したＶＲ画像が単に頭部姿勢に合わせて回転するだけ、すなわち、室内と扉越しに見える外の風景が一体で同じ方向に位置を変える画像になるので、奥行き感や立体感が不自然となり、ユーザーがＶＲ酔いを起こす原因にもなる。

図７Ｂや図８Ｂに示したように、ユーザーの頭部の姿勢情報に基づいて頭部の位置の変化に応じた運動視差を提示することができるので、例えば、ＦＰＳ（Ｆｉｒｓｔ Ｐｅｒｓｏｎ Ｓｈｏｏｔｉｎｇ）のゲームにおいて、プレイヤーが身体（上半身）を動かすことによって敵の攻撃をかわすといった応用が可能である。

以下では、着席しているユーザーについて、頭部の姿勢情報に基づいて頭部の位置を求める方法について、詳細に説明する。但し、ユーザー座標系ＸＹＺを極座標系ｒθφ（図１７を参照のこと）で表現して説明する。頭部の角度変化θ、φは姿勢角演算部２０２で求められ、頭部の角度変化θ、φに基づいて頭部の位置を求める処理は描画処理部３０２内で実行されるものとする。

まず、図９並びに図１０に示すように、着席しているユーザーの上半身が腰位置を中心に回転するモデルについて考える。但し、図９は着席しているユーザー９０１の上半身が腰位置を中心に左側（紙面の右側）に傾いている場合を例示し、図１０は着席しているユーザー１００１の上半身が腰位置を中心に前傾している場合を例示している。

図９及び図１０において、ユーザーの腰位置から、ジャイロ・センサーを搭載した頭部位置までの距離（アーム長）をｒとする。頭部は、回転中心から半径ｒに固定された位置で動き、頭部の角度変化をθ、φとすると、腰位置を原点とするユーザーの座標系から見た頭部の位置（Ｘ，Ｙ，Ｚ）は、下式（２）のように表される。

θ＝０、φ＝０のときの位置が、ユーザー座標系でＸ＝０、Ｙ＝ｒ、Ｚ＝０である。したがって、初期位置からの変化量Ｘ´＝ｒｓｉｎφｓｉｎθ、Ｙ´＝ｒ（ｃｏｓθ−１）、Ｚ＝ｒｓｉｎθｃｏｓφを、アプリケーションで設定されたカメラの位置に加えることで、ユーザーの頭部の左右方向又は前後方向の位置の変化に応じた運動視差を提示することが可能である。

次に、図１１並びに図１２に示すように、着席しているユーザーの頭部が首を中心に回転するモデルについて考える。但し、図１１はユーザー１１０１の頭部が首を中心に左側（紙面の右側）に傾いている場合を例示し、図１２はユーザー１２０１の頭部が首を中心に前傾している場合を例示している。

ユーザーの首からジャイロ・センサーを搭載した頭部位置までの距離（第１のアーム長）をｒ₁、ユーザーの腰位置から首までの距離（第２のアーム長）をｒ₂とする。頭部は、回転中心である首から半径ｒ₁に固定された位置で動き、頭部の角度変化をθ、φとすると、腰位置を原点とするユーザーの座標系から見た頭部の位置（Ｘ，Ｙ，Ｚ）は、下式（３）のように表される。

θ＝０、φ＝０のときの位置が、ユーザー座標系でＸ＝０、Ｙ＝ｒ₁＋ｒ₂、Ｚ＝０である。したがって、初期位置からの変化量Ｘ´＝ｒ₁ｓｉｎφｓｉｎθ、Ｙ´＝ｒ₁（ｃｏｓθ−１）＋ｒ₂、Ｚ＝ｒ₁ｓｉｎθｃｏｓφを、アプリケーションで設定されたカメラの位置に加えることで、ユーザーの頭部の左右方向又は前後方向の位置の変化に応じた運動視差を提示することが可能である。腰位置中心よりも首中心に回転するモデルの方が適しているユース・ケースの場合、上式（２）に代えて上式（３）を用いればよい。

上述したアーム長ｒ、ｒ₁並びにｒ₂は、人間体の大きさに基づいて設定された値であるが、画像をレンダリングするアプリケーションによってそのアーム長を自由に設定してもよい。

例えば、巨大なロボットの視点位置からの運動視差を提示したい場合は、想定するロボットの大きさに合わせてアーム長を設定してもよい。また、運動視差の値をアプリケーション毎に微調整したい場合も存在する。これらの場合、検出した頭部の姿勢から上式（２）又は（３）を用いて算出した頭部の位置の変化量に、さらに線形又は非線形の式を適用して、値を調整してもよい。

また、アプリケーションによっては、図９や図１１に示したような頭部の左右の動きのみを提示できれば十分であり、図１０や図１２に示したような頭部の前後の動きを提示しなくてもよいものもある。このような場合、姿勢角演算部２０２（又は描画処理部３０２）は、上式（２）又は（３）において、θ＝０に固定して、姿勢角演算部２０２から得られるφのみを利用して頭部の位置を求めるようにしてもよい（言い換えれば、頭部のＸ方向の変化量のみを利用するようにしてもよい）。

上式（２）又は（３）は、ユーザーの頭部の位置を正確に求めるものではなく、ユーザーの頭部の角度変化から簡易的に頭部の位置を求める方法であり、誤差を含むことを考慮すべきである。

例えば、図１３に示すように着席しているユーザー１３０１の上半身が腰位置を中心に回転するモデルを立てているが、実際のユーザーは首を中心にして頭部を左右方向に傾けている場合について検討する。

頭部の角度変化をθ、φとすると、ユーザーは首を中心にして頭部を動かしているので、ユーザーの座標系から見た実際の頭部の位置は、下式（４）のように表される。一方、図１３に示したモデルに従って算出される、腰位置を原点とするユーザーの座標系から見た頭部の位置は、下式（５）のように表される。したがって、図１３に示したモデルに従って算出される頭部の位置は、下式（６）で示すような誤差（ｅ_x，ｅ_y，ｅ_z）を含むことになる。

誤差（ｅ_x，ｅ_y，ｅ_z）が問題になる場合の１つの対処方法として、アプリケーションで設定されたカメラの位置に加える移動量に上限を設定する方法が挙げられる。例えば、描画処理部３０２は、姿勢角演算部２０２から出力される頭部の角度変化θ、φがそれぞれ±４５度以内の値のみ運動視差を適用することで、極端な運動視差のずれが発生しないようにする。

また、着席したユーザーの頭部以外の上半身の部位における角度変化もさらに検出して、より正確に頭部の位置を求める方法も挙げられる。例えば、図１４に示すように、着席しているユーザー１４１０の上半身が腰回りに回転するとともに頭部が首回りに回転するモデルを立てる。この場合、センサー部２０１が、ユーザー１４１０の頭部に装着した第１のジャイロ・センサー１４０１の他に、ユーザー１４１０の首に装着した第２のジャイロ・センサー１４０２を装備する。そして、姿勢角演算部２０２は、第１のジャイロ・センサー１４０１が検出した角速度を積分して、腰位置回りの頭部の回転量θ₁、φ₁を算出するとともに、第２のジャイロ・センサー１４０２が検出した角速度を積分して、腰位置回りの首の回転量θ₂、φ₂を算出する。そして、姿勢角演算部２０２（又は描画処理部３０２）は、腰位置を原点とするユーザー１４１０の座標系から見た頭部の位置（Ｘ，Ｙ，Ｚ）を、下式（７）のように算出する。

上式（７）によれば、着席しているユーザー１４１０の首回りと腰回りのそれぞれの回転量を考慮した上で、ユーザー１４１０の頭部の位置を求めることができる。

なお、図１４に示した例では、着席しているユーザー１４１０の首と腰位置の２箇所にジャイロ・センサー１４０１、１４０２を設置しているが、ユーザー１４１０の上半身のそれ以外の部位でも回転する場合には、３箇所以上の場所にジャイロ・センサーを設置して、より正確にユーザー１４１０の頭部の位置を求めることができる。

図９並びに図１０に示した例では、ユーザーの腰位置に設定したユーザー座標系の原点から、ジャイロ・センサーを搭載した（すなわち、姿勢検出を行なう）ユーザーの頭部位置までのアーム長ｒを固定して、上式（２）に従って、頭部の角度変化から頭部の位置（Ｘ，Ｙ，Ｚ）を求めている。その変形例として、アーム長ｒを各時刻で推定して、ユーザーの頭部位置を求めるようにしてもよい。

センサー部２０１がジャイロ・センサーとともに加速度センサーを併用することは既に述べた。ジャイロ・センサーは、ユーザーの頭部の角速度ωを検出することができ、加速度センサーは頭部の加速度ａ_yを検出することができる。ここで、ユーザーの頭部が半径ｒの円周上を等角速度ωで円運動していると仮定すると、頭部の加速度ａ_yは求心加速度であり、下式（８）が成立する。

上式（８）によれば、角速度が同じωでも回転中心からの半径すなわちアーム長ｒに比例して加速度が増大することから、ユーザーの頭部が腰回りで回転した場合（図９並びに図１０を参照のこと）と、首回りで回転した場合（図１１並びに図１２を参照のこと）とで、加速度センサーは異なる値の加速度ａ_yを観測することができる。図１８に示すように、ユーザー１８０１の頭部が腰回りに回転しているときには、アーム長ｒが大きく、頭部に加わる向心力が大きくなる。一方、図１９に示すように、ユーザー１９０１の頭部が首回りに回転しているときには、アーム長が短く、頭部に加わる向心力は小さくなる。上式（８）から、アーム長ｒを下式（９）により求めることができる。

したがって、ユーザーの頭部の位置を求める際に、アーム長ｒの長さに応じてユーザーの頭部が首回り又は腰回りのいずれで回転しているか（若しくは、頭部の回転運動の回転中心の位置）を判定することができる。上式（９）で求められた回転半径ｒを考慮に入れることで、ユーザーの頭部の位置をより正確に求め、運動視差の提示に利用することができる。

本明細書で開示する技術によれば、ジャイロ・センサーのような安価なセンサーのみでユーザーの頭部の位置変化を検出することができる。特に、本明細書で開示する技術をヘッド・マウント・ディスプレイに適用した場合、ヘッド・マウント・ディスプレイの外部（言い換えれば、ヘッド・マウント・ディスプレイから離れた場所）にセンサーやマーカーなどを設置する必要がなく、手軽にヘッド・マウント・ディスプレイを持ち歩いて利用することができる。

以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。

本明細書で開示する技術は、頭部動作追跡装置２００が、ヘッド・マウント・ディスプレイとして構成される表示装置４００に外付けされるオプション製品として提供される場合に特に有効であるが、勿論、表示装置４００の本体部４１内に頭部動作追跡装置２００が搭載される場合であっても、同様に本明細書で開示する技術を適用することができる。また、表示装置４００がヘッド・マウント・ディスプレイ以外の製品であっても、ユーザーの頭部の動きに追従した画像を再現する際に、同様に本明細書で開示する技術を適用することができる。

また、本明細書では、ヘッド・マウント・ディスプレイで運動視差を提示する実施形態を中心に説明してきたが、本明細書で開示する技術はその他のユース・ケースにも応用することができる。例えば、テレビなどの大画面ディスプレイの前に座ってゲームをしているユーザーが頭部動作追跡装置２００を着用して、テレビ内のゲーム画面に運動視差を提示することができる。

本明細書で開示する技術を適用して検出した頭部位置変化を、３Ｄグラフィックスのカメラ視点に反映させて運動視差を提示することができるが、他の用途にも活用することができる。例えば、２Ｄグラフィックスのゲームで、頭部の位置変化に応じて敵の攻撃を避けるようにしてもよい。

要するに、例示という形態により本明細書で開示する技術について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。

なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
（１）ユーザーの頭部の姿勢を検出する検出部と、
頭部の姿勢をユーザー座標系における頭部の位置に変換する変換部と、
を具備する頭部位置検出装置。
（２）前記検出部は、ユーザーの頭部に装着したジャイロ・センサーを備え、前記ジャイロ・センサーが検出した角速度を積分して、頭部の姿勢を算出する、
上記（１）に記載の頭部位置検出装置。
（３）前記検出部は、加速度センサーをさらに備え、前記ジャイロ・センサーから得られた姿勢の重力方向に対するドリフトを前記加速度センサーが検出する重力方向に基づいて補償する、
上記（２）に記載の頭部位置検出装置。
（４）前記変換部は、ユーザーの頭部の角度の変化を、頭部から所定のアーム長ｒだけ離間したユーザーの身体上の所定の部位に原点が設定されたユーザー座標系から見た頭部の位置に変換する、
上記（１乃至（３）のいずれかに記載の頭部位置検出装置。
（５）前記変換部は、ユーザーの頭部が所定の回転中心から所定の半径ｒに固定された球面上で動くものとして、頭部の角度の変化をユーザー座標系から見た頭部の位置に変換する、
上記（４）に記載の頭部位置検出装置。
（６）前記変換部は、ユーザーの頭部がユーザー座標系上の原点を回転中心とし前記アーム長ｒを半径とする球面上で動くものとして、頭部の角度の変化をユーザー座標系から見た頭部の位置に変換する、
上記（４）に記載の頭部位置検出装置。
（７）ユーザーの腰位置をユーザー座標系の原点に設定し、
前記変換部は、ユーザーの頭部がユーザーの腰位置を回転中心とし前記アーム長ｒを半径とする球面上で動くものとして、頭部の角度の変化をユーザーの腰位置から見た頭部の位置に変換する、
上記（４）に記載の頭部位置検出装置。
（８）前記変換部は、ユーザーの頭部が前記アーム長ｒよりも短い第１のアーム長ｒ₁だけ離間した回転中心から半径ｒ₁に固定された球面上で動くものとして、頭部の角度の変化をユーザー座標系から見た頭部の位置に変換する、
上記（４）に記載の頭部位置検出装置。
（９）ユーザーの腰位置をユーザー座標系の原点に設定し、
前記変換部は、ユーザーの頭部が前記アーム長ｒよりも短い第１のアーム長ｒ₁だけ離間した首から半径ｒ₁に固定された球面上で動くものとして、頭部の角度の変化をユーザーの腰位置から見た頭部の位置に変換する、
上記（４）に記載の頭部位置検出装置。
（１０）ユーザーの頭部以外の上半身の部位の姿勢を検出する第２の検出部をさらに備え、
前記変換部は、前記検出部が検出した頭部の姿勢と前記第２の検出部が検出した上半身の部位の姿勢に基づいて、頭部の姿勢をユーザー座標系における頭部の位置に変換する、
上記（１）に記載の頭部位置検出装置。
（１１）前記変換部は、頭部の位置を適用するアプリケーションに応じて、アーム長ｒを調整する、
上記（４）に記載の頭部位置検出装置。
（１２）前記変換部は、頭部の位置を適用するアプリケーションに応じて、前記検出部が検出した頭部の姿勢の少なくとも一部の角度成分を制限して、頭部の位置を求める、
上記（１乃至（１１）のいずれかに記載の頭部位置検出装置。
（１３）前記変換部は、各時刻のアーム長ｒを推定して、各時刻における頭部の位置を求める、
上記（４）に記載の頭部位置検出装置。
（１４）前記検出部は、ユーザーの頭部の加速度を検出するセンサーを含み、
前記変換部は、各時刻で検出された加速度に基づいてアーム長ｒを推定して、各時刻における頭部の位置を求める、
上記（１３）に記載の頭部位置検出装置。
（１５）ユーザーの頭部の姿勢を検出する検出ステップと、
頭部の姿勢をユーザー座標系における頭部の位置に変換する変換ステップと、
を有する頭部位置検出方法。
（１６）ユーザーの頭部の姿勢を検出する検出部と、
頭部の姿勢をユーザー座標系における頭部の位置に変換する変換部と、
頭部の位置に対応した運動視差を提示した画像を生成する描画処理部と、
を具備する画像処理装置。
（１６−１）前記検出部は、ユーザーの頭部に装着したジャイロ・センサーを備え、前記ジャイロ・センサーが検出した角速度を積分して、頭部の姿勢を算出する、
上記（１６）に記載の画像処理装置。
（１６−２）前記検出部は、加速度センサーをさらに備え、前記ジャイロ・センサーから得られた姿勢の重力方向に対するドリフトを前記加速度センサーが検出する重力方向に基づいて補償する、
上記（１６−１）に記載の画像処理装置。
（１６−３）前記変換部は、ユーザーの頭部の角度の変化を、頭部から所定のアーム長ｒだけ離間したユーザーの身体上の所定の部位に原点が設定されたユーザー座標系から見た頭部の位置に変換する、
上記（１６−１）乃至（１６−２）のいずれか）に記載の画像処理装置。
（１６−４）前記変換部は、ユーザーの頭部が所定の回転中心から所定の半径ｒに固定された球面上で動くものとして、頭部の角度の変化をユーザー座標系から見た頭部の位置に変換する、
上記（１６−３）に記載の画像処理装置。
（１６−５）前記変換部は、ユーザーの頭部がユーザー座標系上の原点を回転中心とし前記アーム長ｒを半径とする球面上で動くものとして、頭部の角度の変化をユーザー座標系から見た頭部の位置に変換する、
上記（１６−３）に記載の画像処理装置。
（１６−６）ユーザーの腰位置をユーザー座標系の原点に設定し、
前記変換部は、ユーザーの頭部がユーザーの腰位置を回転中心とし前記アーム長ｒを半径とする球面上で動くものとして、頭部の角度の変化をユーザーの腰位置から見た頭部の位置に変換する、
上記（１６−３）に記載の画像処理装置。
（１６−７）前記変換部は、ユーザーの頭部が前記アーム長ｒよりも短い第１のアーム長ｒ₁だけ離間した回転中心から半径ｒ₁に固定された球面上で動くものとして、頭部の角度の変化をユーザー座標系から見た頭部の位置に変換する、
上記（１６−３）に記載の画像処理装置。
（１６−８）ユーザーの腰位置をユーザー座標系の原点に設定し、
前記変換部は、ユーザーの頭部が前記アーム長ｒよりも短い第１のアーム長ｒ₁だけ離間した首から半径ｒ₁に固定された球面上で動くものとして、頭部の角度の変化をユーザーの腰位置から見た頭部の位置に変換する、
上記（１６−３）に記載の画像処理装置。
（１６−９）ユーザーの頭部以外の上半身の部位の姿勢を検出する第２の検出部をさらに備え、
前記変換部は、前記検出部が検出した頭部の姿勢と前記第２の検出部が検出した上半身の部位の姿勢に基づいて、頭部の姿勢をユーザー座標系における頭部の位置に変換する、
上記（１６）に記載の画像処理装置。
（１６−１０）前記変換部は、頭部の位置を適用するアプリケーションに応じて、アーム長ｒを調整する、
上記（１６−３）に記載の画像処理装置。
（１６−１１）前記変換部は、頭部の位置を適用するアプリケーションに応じて、前記検出部が検出した頭部の姿勢の少なくとも一部の角度成分を制限して、頭部の位置を求める、
上記（１６）乃至（１６−１０）のいずれかに記載の画像処理装置。
（１６−１２）前記変換部は、各時刻のアーム長ｒを推定して、各時刻における頭部の位置を求める、
上記（１６−３）に記載の画像処理装置。
（１６−１３）前記検出部は、ユーザーの頭部の加速度を検出するセンサーを含み、
前記変換部は、各時刻で検出された加速度に基づいてアーム長ｒを推定して、各時刻における頭部の位置を求める、
上記（１６−１２）に記載の画像処理装置。
（１７）前記描画処理部は、頭部の角度変化が所定以内の値のみ運動視差を適用する、
上記（１６）に記載の画像処理装置。
（１８）ユーザーの頭部の姿勢を検出する検出ステップと、
頭部の姿勢をユーザー座標系における頭部の位置に変換する変換ステップと、
頭部の位置に対応した運動視差を提示した画像を生成する描画処理ステップと、
を有する画像処理方法。
（１９）ユーザーの頭部の姿勢を検出する検出部と、
頭部の姿勢をユーザー座標系における頭部の位置に変換する変換部と、
頭部の位置に対応した運動視差を提示した画像を生成する描画処理部と、
表示部と、
を具備する表示装置。
（２０）ユーザーの頭部に装着した検出部が検出した頭部の姿勢をユーザー座標系における頭部の位置に変換する変換部、
頭部の位置に対応した運動視差を提示した画像を生成する描画処理部、
としてコンピューターを機能させるようにコンピューター可読形式で記述されたコンピューター・プログラム。

４１…本体部、４２…額当て部、４３…鼻当て部
４４…上バンド、４５…下バンド
１００…画像表示システム
２００…頭部動作追跡装置、２０１…センサー部、２０２…姿勢角演算部
２０３…送信部
３００…描画装置、３０１…受信部、３０２…描画処理部、３０３…送信部
３０４…画像ソース
４００…表示装置、４０１…受信部、４０２…表示部

Claims (20)

1. ユーザーの頭部の姿勢を検出する検出部と、
   頭部の姿勢を頭部から所定のアーム長ｒだけ離間したユーザーの身体上の所定の部位に原点が設定されたユーザー座標系における頭部の位置に変換する変換部と、
   を具備する頭部位置検出装置。
2. 前記検出部は、ユーザーの頭部に装着したジャイロ・センサーを備え、前記ジャイロ・センサーが検出した角速度を積分して、頭部の姿勢を算出する、
   請求項１に記載の頭部位置検出装置。
3. 前記検出部は、加速度センサーをさらに備え、前記ジャイロ・センサーから得られた姿勢の重力方向に対するドリフトを前記加速度センサーが検出する重力方向に基づいて補償する、
   請求項２に記載の頭部位置検出装置。
4. 前記変換部は、ユーザーの頭部の角度の変化を前記ユーザー座標系から見た頭部の位置に変換する、
   請求項１に記載の頭部位置検出装置。
5. 前記変換部は、ユーザーの頭部が所定の回転中心から所定の半径ｒに固定された球面上で動くものとして、頭部の角度の変化を前記ユーザー座標系から見た頭部の位置に変換する、
   請求項４に記載の頭部位置検出装置。
6. 前記変換部は、ユーザーの頭部がユーザー座標系上の原点を回転中心とし前記アーム長ｒを半径とする球面上で動くものとして、頭部の角度の変化を前記ユーザー座標系から見た頭部の位置に変換する、
   請求項４に記載の頭部位置検出装置。
7. ユーザーの腰位置を前記ユーザー座標系の原点に設定し、
   前記変換部は、ユーザーの頭部がユーザーの腰位置を回転中心とし前記アーム長ｒを半径とする球面上で動くものとして、頭部の角度の変化をユーザーの腰位置から見た頭部の位置に変換する、
   請求項４に記載の頭部位置検出装置。
8. 前記変換部は、ユーザーの頭部が前記アーム長ｒよりも短い第１のアーム長ｒ₁だけ離間した回転中心から半径ｒ₁に固定された球面上で動くものとして、頭部の角度の変化を前記ユーザー座標系から見た頭部の位置に変換する、
   請求項４に記載の頭部位置検出装置。
9. ユーザーの腰位置を前記ユーザー座標系の原点に設定し、
   前記変換部は、ユーザーの頭部が前記アーム長ｒよりも短い第１のアーム長ｒ₁だけ離間した首から半径ｒ₁に固定された球面上で動くものとして、頭部の角度の変化をユーザーの腰位置から見た頭部の位置に変換する、
   請求項４に記載の頭部位置検出装置。
10. ユーザーの頭部以外の上半身の部位の姿勢を検出する第２の検出部をさらに備え、
    前記変換部は、前記検出部が検出した頭部の姿勢と前記第２の検出部が検出した上半身の部位の姿勢に基づいて、頭部の姿勢を前記ユーザー座標系における頭部の位置に変換する、
    請求項１に記載の頭部位置検出装置。
11. 前記変換部は、頭部の位置を適用するアプリケーションに応じて、アーム長ｒを調整する、
    請求項４に記載の頭部位置検出装置。
12. 前記変換部は、頭部の位置を適用するアプリケーションに応じて、前記検出部が検出した頭部の姿勢の少なくとも一部の角度成分を制限して、頭部の位置を求める、
    請求項１に記載の頭部位置検出装置。
13. 前記変換部は、各時刻のアーム長ｒを推定して、各時刻における頭部の位置を求める、
    請求項４に記載の頭部位置検出装置。
14. 前記検出部は、ユーザーの頭部の加速度を検出するセンサーを含み、
    前記変換部は、各時刻で検出された加速度に基づいてアーム長ｒを推定して、各時刻における頭部の位置を求める、
    請求項１３に記載の頭部位置検出装置。
15. ユーザーの頭部の姿勢を検出する検出ステップと、
    頭部の姿勢を頭部から所定のアーム長ｒだけ離間したユーザーの身体上の所定の部位に原点が設定されたユーザー座標系における頭部の位置に変換する変換ステップと、
    を有する頭部位置検出方法。
16. ユーザーの頭部の姿勢を検出する検出部と、
    頭部の姿勢を頭部から所定のアーム長ｒだけ離間したユーザーの身体上の所定の部位に原点が設定されたユーザー座標系における頭部の位置に変換する変換部と、
    頭部の位置に対応した運動視差を提示した画像を生成する描画処理部と、
    を具備する画像処理装置。
17. 前記描画処理部は、頭部の角度変化が所定以内の値のみ運動視差を適用する、
    請求項１６に記載の画像処理装置。
18. ユーザーの頭部の姿勢を検出する検出ステップと、
    頭部の姿勢を頭部から所定のアーム長ｒだけ離間したユーザーの身体上の所定の部位に原点が設定されたユーザー座標系における頭部の位置に変換する変換ステップと、
    頭部の位置に対応した運動視差を提示した画像を生成する描画処理ステップと、
    を有する画像処理方法。
19. ユーザーの頭部の姿勢を検出する検出部と、
    頭部の姿勢を頭部から所定のアーム長ｒだけ離間したユーザーの身体上の所定の部位に原点が設定されたユーザー座標系における頭部の位置に変換する変換部と、
    頭部の位置に対応した運動視差を提示した画像を生成する描画処理部と、
    表示部と、
    を具備する表示装置。
20. ユーザーの頭部に装着した検出部が検出した頭部の姿勢を頭部から所定のアーム長ｒだけ離間したユーザーの身体上の所定の部位に原点が設定されたユーザー座標系における頭部の位置に変換する変換部、
    頭部の位置に対応した運動視差を提示した画像を生成する描画処理部、
    としてコンピューターを機能させるようにコンピューター可読形式で記述されたコンピューター・プログラム。