JPWO2015098292A1 - 画像処理装置及び画像処理方法、コンピューター・プログラム、並びに画像表示システム - Google Patents

Abstract

画像を観察するユーザーの頭部の動きに追従した画像を生成する。描画装置３００側で、既に受信した姿勢角データの時系列から一定時間後に受信する姿勢角データを予測し、予測した姿勢角データに基づいて画像のレンダリング処理を実行する。姿勢角データの予測アルゴリズムは、大まかには、（１）姿勢角データを受信する予測時間の見積もりと、（２）予測時間における姿勢角データの予測の２ステップからなる。予測した姿勢角データから予測時間における画像をレンダリングすることで、ユーザーの頭部の動きに追従した画像を提示する際の体感遅延を低減する。

Description

本明細書で開示する技術は、ユーザーの頭部の動きに追従した画像を処理する画像処理装置及び画像処理方法、コンピューター・プログラム、並びに画像表示システムに関する。

画像を観察するユーザーの頭部又は顔部に固定される画像表示装置、すなわち、ヘッド・マウント・ディスプレイが知られている。ヘッド・マウント・ディスプレイは、例えば左右の眼毎の画像表示部を持ち、また、ヘッドフォンと併用し、視覚及び聴覚を制御できるように構成されている。頭部に装着した際に外界を完全に遮るように構成すれば、視聴時の仮想現実感が増す。また、ヘッド・マウント・ディスプレイは、左右の眼に違う映像を映し出すことも可能であり、左右の眼に対して視差のある画像を表示すれば３Ｄ画像を提示することができる。

この種のヘッド・マウント・ディスプレイは、虚像を眼の網膜上に結像させて、ユーザーに観察させる。ここで、虚像は、物体が、焦点距離よりレンズに近い位置にある場合に、その物体側にできるものである。例えば、瞳孔の前方に２５ミリメートルだけ離間して広視野角光学系を配置し、この広視野角光学系のさらに前方に約０．７インチの有効画素範囲の大きさを持つ表示パネルを配置したヘッド・マウント・ディスプレイについて提案がなされている（例えば、特許文献１を参照のこと）。

また、この種のヘッド・マウント・ディスプレイを用いて、広角画像を視聴することができる。例えば、頭部にジャイロ・センサーなどからなる頭部動作追跡装置を取り付け、ユーザーの頭部の動きに追従させた全空間の３６０度の映像を実感できるようにしたヘッド・マウント・ディスプレイについて提案がなされている（例えば、特許文献２、特許文献３を参照のこと）。ジャイロ・センサーが検出した頭部の動きを打ち消すように表示領域を移動させることで、ユーザーは、自分の頭部の動きに追従した画像を観察することになり、全空間を見渡すことができる。

ヘッド・マウント・ディスプレイは、ユーザーの頭部の動作の動きに、より短い遅延時間で追従した画像を提示することが好ましい。遅延時間が長いと、画像が頭部の動作に追従しているという体感を劣化させる。また、ユーザーが酔いを起こすことも懸念される。

本明細書で開示する技術の目的は、ユーザーの頭部、あるいは手先、足先、腰など身体の一部又は全部の動きに追従した画像を好適に処理することができる、優れた画像処理装置及び画像処理方法、コンピューター・プログラム、並びに画像表示システムを提供することにある。

本願は、上記課題を参酌してなされたものであり、請求項１に記載の技術は、
外部装置から時系列データを受信する受信部と、
過去に受信したデータの中で最新ものが前記外部装置において生成された時刻から次の画像の表示時刻までの予測時間を算出する予測時間計算部と、
前記予測時間における時系列データを予測する時系列データ予測部と、
前記予測部が予測した時系列データに基づいて画像をレンダリングする描画処理部と、
を具備する画像処理装置である。

本願の請求項２に記載の技術によれば、請求項１に記載の画像処理装置の前記時系列データ予測部は、２つの時系列データ間を補間する構成を備え、２つの時系列データの先を外挿して、前記予測時間だけ先の時系列データを予測するように構成されている。

本願の請求項３に記載の技術によれば、請求項１に記載の画像処理装置は、レンダリングした前記画像を表示装置に送信する送信部をさらに備えている。

本願の請求項４に記載の技術によれば、請求項１に記載の画像処理装置は、レンダリングした前記画像を表示する表示部をさらに備えている。

本願の請求項５に記載の技術によれば、前記外部装置は、画像を観察するユーザーの身体の一部又は全部の位置又は姿勢を追跡する。そして、請求項１に記載の画像処理装置の前記受信部は、前記外部装置から時系列データとして姿勢情報を受信し、前記描画処理部は、前記姿勢情報に基づいてユーザーの身体の一部又は全部の動きに追従する画像をレンダリングするように構成されている。

本願の請求項６に記載の技術によれば、請求項５に記載の画像処理装置の前記予測時間計算部は、前記外部装置で姿勢情報を送信してからその姿勢情報に基づく画像を表示するまでの全遅延量に基づいて予測時間を算出するように構成されている。

本願の請求項７に記載の技術によれば、請求項６に記載の画像処理装置において、前記全遅延量は、前記外部装置から姿勢情報を伝送する際の伝送遅延と、姿勢情報に基づいて画像をレンダリングする際のレンダリング遅延と、レンダリングした画像を表示する際のディスプレイ遅延を含む。

本願の請求項８に記載の技術によれば、請求項６に記載の画像処理装置の前記予測時間計算部は、全遅延量を測定可能な定常遅延と測定不能な変動遅延に分解して計算するように構成されている。

本願の請求項９に記載の技術によれば、請求項８に記載の画像処理装置において、前記変動遅延は、伝送遅延のばらつきを含む。

本願の請求項１０に記載の技術によれば、請求項５に記載の画像処理装置の前記受信部は、前記外部装置から時系列データとしてユーザーの身体の一部又は全部の位置又は姿勢を表現するクォータニオンを受信するように構成されている。

本願の請求項１１に記載の技術によれば、請求項１０に記載の画像処理装置の前記時系列データ予測部は、２つのクォータニオンを線形補間する構成を備え、２つのクォータニオンの先を外挿して、前記予測時間だけ先のクォータニオンを予測するように構成されている。

本願の請求項１２に記載の技術によれば、請求項１０に記載の画像処理装置の前記時系列データ予測部は、２つのクォータニオンを球面線形補間する構成を備え、２つのクォータニオンの先を外挿して、前記予測時間だけ先のクォータニオンを予測するように構成されている。

また、本願の請求項１３に記載の技術は、
外部装置から時系列データを受信する受信部と、
過去に受信したデータの中で最新のものに対して前記外部装置において付加された時刻から次の画像の表示時刻までの予測時間を算出する予測時間計算部と、
前記予測時間における時系列データを予測する時系列データ予測部と、
前記予測部が予測した時系列データに基づいて画像をレンダリングする描画処理部と、
を具備する画像処理装置である。

また、本願の請求項１４に記載の技術は、
外部装置から時系列データを受信する受信部と、
過去に受信したデータの中で前記外部装置からの最新の送信時刻から次の画像の表示時刻までの予測時間を算出する予測時間計算部と、
前記予測時間における時系列データを予測する時系列データ予測部と、
前記予測部が予測した時系列データに基づいて画像をレンダリングする描画処理部と、
を具備する画像処理装置である。

また、本願の請求項１５に記載の技術は、
外部装置から時系列データを受信する受信ステップと、
過去に受信したデータの中で最新ものが前記外部装置において生成された時刻から次の画像の表示時刻までの予測時間を算出する予測時間計算ステップと、
前記予測時間における時系列データを予測する時系列データ予測ステップと、
前記予測ステップで予測した時系列データに基づいて画像をレンダリングする描画処理ステップと、
を有する画像処理方法である。

また、本願の請求項１６に記載の技術は、
外部装置から時系列データを受信する受信部、
過去に受信したデータの中で最新ものが前記外部装置において生成された時刻から次の画像の表示時刻までの予測時間を算出する予測時間計算部、
前記予測時間における時系列データを予測する時系列データ予測部、
前記予測部が予測した時系列データに基づいて画像をレンダリングする描画処理部、
としてコンピューターを機能させるようにコンピューター可読形式で記述されたコンピューター・プログラムである。

本願の請求項１６に係るコンピューター・プログラムは、コンピューター上で所定の処理を実現するようにコンピューター可読形式で記述されたコンピューター・プログラムを定義したものである。換言すれば、本願の請求項１６に係るコンピューター・プログラムをコンピューターにインストールすることによって、コンピューター上では協働的作用が発揮され、本願の請求項１に係る画像処理装置と同様の作用効果を得ることができる。

また、本願の請求項１７に記載の技術は、
時系列データを送信する外部装置と、
時系列データを受信して画像をレンダリングする描画装置と、
前記描画装置でレンダリングした画像を表示する表示装置と、
を具備し、
前記描画装置は、過去に受信したデータの中で最新ものが前記外部装置において生成された時刻から次の画像の表示時刻までの予測時間を予測し、前記予測時間における時系列データを予測し、予測した時系列データに基づいて画像をレンダリングする、
画像表示システムである。

但し、ここで言う「システム」とは、複数の装置（又は特定の機能を実現する機能モジュール）が論理的に集合した物のことを言い、各装置や機能モジュールが単一の筐体内にあるか否かは特に問わない。

本願の請求項１８に記載の技術によれば、請求項１７に記載の画像表示システムにおいて、前記外部装置は、前記表示部の表示画像を観察するユーザーの身体の一部又は全部の位置又は姿勢を追跡する追跡装置で、姿勢情報を送信し、前記描画装置は、受信した姿勢情報に基づいてユーザーの身体の一部又は全部の動きに追従する画像をレンダリングするように構成されている。

本願の請求項１９に記載の技術によれば、請求項１７に記載の画像表示システムにおいて、前記追跡装置は、ユーザーの身体の一部又は全部の位置又は姿勢を表現するクォータニオンを送信し、前記描画装置は、２つのクォータニオンの先を外挿して球面線形補間することにより前記予測時間だけ先のクォータニオンを予測し、予測したクォータニオンに基づいて画像をレンダリングするように構成されている。

本明細書で開示する技術によれば、ユーザーの頭部、あるいは手先、足先、腰など身体の一部又は全部の動きに追従した画像を好適に処理することができる、優れた画像処理装置及び画像処理方法、コンピューター・プログラム、並びに画像表示システムを提供することができる。

ユーザーの頭部などの動きを表す姿勢情報を伝送する際に遅延量のばらつきがある。本明細書で開示する技術によれば、伝送遅延のばらつきがある姿勢情報の時系列から一定時間後の姿勢情報を予測し、予測した姿勢情報に基づいて画像のレンダリング処理を実行するので、ユーザーが頭部の動きに追従した画像を観察する際の体感遅延を低減することができる。

なお、本明細書に記載された効果は、あくまでも例示であり、本発明の効果はこれに限定されるものではない。また、本発明が、上記の効果以外に、さらに付加的な効果を奏する場合もある。

本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。

図１は、本明細書で開示する技術を適用した画像表示システム１００の構成例を模式的に示した図である。 図２は、画像表示システム１００においてユーザーの頭部動作に追従した画像データを表示する際に生じる遅延を示した図である。 図３は、画像表示システム１００における遅延モデルを模式的に示した図である。 図４は、クォータニオンｑを示した図である。 図５は、２つのクォータニオンの間を線形補間する方法を説明するための図である。 図６は、２つのクォータニオンの間を球面線形補間する方法を説明するための図である。 図７は、姿勢情報の予測アルゴリズムを適用した描画装置３００の構成例を示した図である 図８は、クォータニオンの予測結果の時系列グラフを示した図である。 図９は、画像表示システム１００の変形例を示した図である。 図１０は、画像表示システム１００における処理の流れを示したタイミング・チャートである。

以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。

図１には、本明細書で開示する技術を適用した画像表示システム１００の構成例を模式的に示している。図示の画像表示システム１００は、頭部動作追跡装置２００と、描画装置３００と、表示装置４００で構成される。

頭部動作追跡装置２００は、表示装置４００が表示する画像を観察するユーザーの頭部に装着して用いられ、所定の送信周期でユーザーの頭部の姿勢角を描画装置２００に出力する。図示の例では、頭部動作追跡装置２００は、センサー部２０１と、姿勢角演算部２０２と、得られた姿勢情報を描画装置３００に送信する送信部２０３を備えている。

センサー部２０１は、例えば、ジャイロ・センサーと加速度センサーと地磁気センサーなど複数のセンサー素子を組み合わせて構成されている。ここでは、３軸ジャイロ・センサー、３軸加速度センサー、３軸地磁気センサーの合計９軸を検出可能なセンサーとする。

姿勢角演算部２０２は、センサー部２０１による９軸の検出結果に基づいて、ユーザーの頭部の姿勢角を演算する。送信部２０３は、求められた姿勢情報を描画装置３００に送信する。本実施形態では、姿勢角はクォータニオンとして表現されるものとする。クォータニオンは、回転軸（ベクトル）と回転角（スカラー）からなる４元数である。但し、頭部動作追跡装置２００がクォータニオンで表現される姿勢角を演算することは必須ではない。頭部動作追跡装置２００は、姿勢角をクォータニオン以外の形式で表現した情報を描画装置３００に送信するようにしてもよい。あるいは、図９に示すように、頭部動作追跡装置２００は、センサー部２０１の検出結果をそのまま送信部２０３から出力し、描画装置３００が姿勢角演算部２０２を装備して、頭部動作追跡装置２００から受信したセンサー情報から姿勢角を算出するようにしてもよい。

図示の画像表示システム１００では、頭部動作追跡装置２００と描画装置３００間はＢｌｕｅｔｏｏｔｈ（登録商標）通信などの無線通信により相互接続されているものとする。本実施形態では、頭部動作追跡装置２００と描画装置３００間では非同期で通信が行なわれ、お互いのクロックも同期がとられていないことを想定する。勿論、無線通信ではなく、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）のような高速な有線インフェース経由で頭部動作追跡装置２００と描画装置３００間を接続するようにしてもよい。いずれにせよ、頭部動作追跡装置２００から描画装置３００へ姿勢情報を伝送する際には伝送遅延が生じる。

ここで、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信は、さまざまな機器での通信に使用されるという性質から、機器の種類毎にプロトコルが策定され、プロファイルとして標準化されている。例えば、ＳＰＰ（Ｓｅｒｉａｌ Ｐｏｒｔ Ｐｒｏｆｉｌｅ）は、Ｂｌｕｅｔｏｏｔｈ（登録商標）対応機器間で仮想的にシリアル通信するためのプロファイルであり、スマートフォンなどのＡｎｄｒｏｉｄ（登録商標）搭載端末とＢｌｕｅｔｏｏｔｈ（登録商標）対応機器との接続にも利用されている。ＳＰＰは、サンプリングレートに幅があり、不定の遅延を生じ易い。

描画装置３００は、表示装置４００で表示する画像のレンダリング処理を行なう。描画装置３００は、例えばスマートフォンなどのＡｎｄｒｏｉｄ（登録商標）搭載端末、あるいはパーソナル・コンピューター、ゲーム機として構成されるが、これに限定される訳ではない。

図示の例では、描画装置３００は、頭部動作追跡装置２００から姿勢情報を受信する受信部３０１と、姿勢情報に基づいて画像のレンダリング処理を行なう描画処理部３０２と、レンダリングした画像を表示装置４００に送信する送信部３０２と、画像データの供給源となる画像ソース３０４を備えている。

受信部３０１は、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信などを介して、頭部動作追跡装置２００から姿勢情報を受信する。上述したように、姿勢情報はクォータニオンで表現されている。

画像ソース３０４は、例えば、ブルーレイ（登録商標）などの記録メディアを再生するメディア再生装置、ディジタル放送信号を選局受信する放送チューナー、インターネットのサーバーなどから画像コンテンツを受信する通信インターフェースなどからなる。

描画処理部３０２は、画像ソース３０４の画像データから、表示装置４００側で表示する画像をレンダリングする。描画処理部３０２は、例えば画像ソース３０４から供給される全天球型の原画像や４Ｋなどの高解像度の原画像から、受信部３０１で受信した姿勢情報に対応した一部の領域を切り出した画像をレンダリングする。

描画装置３００と表示装置４００間は、例えばＨＤＭＩ（登録商標）（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）やＭＨＬ（Ｍｏｂｉｌｅ Ｈｉｇｈ−ｄｅｆｉｎｉｔｉｏｎ Ｌｉｎｋ）などの有線ケーブルにより接続されている。あるいは、ｗｉｒｅｌｅｓｓＨＤやＭｉｒａｃａｓｔのような無線通信で接続してもよい。送信部３０３は、いずれかの通信路を用いて、描画処理部３０２でレンダリングされた画像データを非圧縮のまま表示装置４００に送信する。

表示装置４００は、描画装置３００から画像を受信する受信部４０１と、受信した画像を表示する表示部４０２を備えている。表示装置４００は、例えば、画像を観察するユーザーの頭部又は顔部に固定されるヘッド・マウント・ディスプレイとして構成される。

受信部４０１は、例えばＨＤＭＩ（登録商標）やＭＨＬなどの通信路を介して、描画装置３００から非圧縮の画像データを受信する。表示部４０２は、受信した画像データを画面に表示する。

表示装置４００がヘッド・マウント・ディスプレイとして構成される場合、例えば、表示部４０２は、ユーザーの左右の眼にそれぞれ固定された左右の画面を備え、左眼用画像及び右眼用画像を表示する。表示部４０２の画面は、例えば有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）素子や液晶ディスプレイなどのマイクロ・ディスプレイなどの表示パネル、あるいは、網膜直描ディスプレイなどのレーザー走査方式ディスプレイで構成される。また、表示部４０２の表示画像を拡大投影して、ユーザーに所定の画角からなる拡大虚像として観察させる虚像光学部を備えている。

描画装置３００側では、例えば全天球型の原画像や４Ｋなどの高解像度の原画像から、ユーザーの頭部の姿勢情報に対応した一部の領域を切り出した画像をレンダリングする。表示装置４００側では、ユーザーの頭部の姿勢角を打ち消すように原画像中の表示領域が移動することになる。したがって、ユーザーは、自分の頭部の動きに追従した画像を観察することになり、大画面を見渡すことができる。

なお、図１に示す例では、画像表示システム１００は、頭部動作追跡装置２００、描画装置３００、表示装置４００という３台の独立した装置で構成されるが、描画装置３００と表示装置４００が１つの装置内に組み込まれる構成や、頭部動作追跡装置２００、描画装置３００、及び表示装置４００がすべて１つの装置内に組み込まれる構成も考えられる。図１に示したように、頭部動作追跡装置２００を表示装置４００に外付けされるオプション製品として構成すれば、表示装置４００の小型・軽量化、低廉化になる。

図１に示した画像表示システム１００においては、頭部動作追跡装置２００がユーザーの頭部の姿勢を検出してから、その姿勢に追従した画像を表示装置４００で表示するまでの間に、遅延時間が生じる。図２に示すように、頭部動作追跡装置２００から描画装置３００へ姿勢情報を伝送する際に生じる伝送遅延２１や、描画装置３００で姿勢情報に追従した画像を描画処理する際に生じるレンダリング遅延２２、描画データを表示装置４００で表示する際に生じるディスプレイ遅延２３などが、遅延時間の主な要素と考えられる。

図３には、画像表示システム１００において、頭部動作追跡装置２００から描画装置３００へ伝送する際の遅延モデルを模式的に示している。

頭部動作追跡装置２００は、センサー部２０１による検出結果からユーザーの頭部の姿勢情報（クォータニオン）を計算して、参照番号３１で示すデータ系列のように、所定の送信周期Δｔ_period毎に出力する。

頭部動作追跡装置２００から描画装置３００へ姿勢情報を伝送する際の伝送遅延が定常的な場合には、参照番号３２で示すデータ系列のように、各送信周期で送信時に発生する姿勢情報は、常に一定の伝送遅延Δｔ_transmitの後に描画装置３００に到達する。すなわち、各姿勢情報を等間隔で受信する。ところが、伝送遅延は、定常的な成分とばらつき成分を含むため、参照番号３３で示すデータ系列のように、伝送遅延は毎回異なる。ｉ回目の送信時に生じる伝送遅延をΔｔⁱ _transmitとする。例えば、頭部動作追跡装置２００から描画装置４００の伝送にＢｌｕｅｔｏｏｔｈ（登録商標）通信のＳＰＰなどのプロトコルを使用する場合には、伝送遅延がばらつくことが想定される。

表示装置４００は、ユーザーの頭部の動作の動きに、より短い遅延時間で追従した画像を提示することが好ましい。遅延時間が長いと、画像が頭部の動作に追従しているという体感を劣化させる。また、ユーザーが酔いを起こすことも懸念される。

上述したように、画像表示システム１００では、頭部動作追跡装置２００から描画装置３００に到着する姿勢情報には伝送遅延のばらつきがある。本実施形態では、描画装置３００側で、既に受信した姿勢情報の系列から一定時間後の姿勢情報を予測し、予測した姿勢情報に基づいて画像のレンダリング処理を実行することで、ユーザーの頭部の動きに追従した画像を提示する際の体感遅延を低減するようにしている。

まず、姿勢予測処理のデータ・フローについて、図２を参照しながら説明する。センサー部２０１から出力されるセンサー値は、あらかじめ測定されたオフセット値を使用してオフセットが除去されている。姿勢角演算部２０２は、オフセット除去後のセンサー値を使用して姿勢推定し、センサー力座標回転を表すクォータニオンを得る。ここでの座標回転は、地面に固定された慣性座標系（グローバル座標系）から、表示装置４００に固定された局所座標系への変換を表す。

頭部動作追跡装置２００から描画装置３００へ、姿勢推定後のクォータニオンを送信すると、描画装置３００側では、受信部３０１で受信したクォータニオンの値が配列に保存される。配列の長さは、姿勢予測アルゴリズムに必要な大きさｎ個に固定し、常に最新のｎ個のクォータニオンを格納しておくものとする。クォータニオン配列内に格納された値を使用して姿勢予測処理をし、結果として１つのクォータニオンを得ることができる。描画処理部３０２は、ここで得た予測結果のクォータニオンを用いて、表示装置４００で表示する３Ｄモデルに対して座標回転を行ない、レンダリング処理して、描画を更新する。

姿勢情報の予測アルゴリズムは、大まかには、（１）次の姿勢情報に基づく画像を表示する予測時間の見積もりと、（２）予測時間における姿勢情報の予測の２ステップからなる。描画処理部３０２では、予測した姿勢情報から予測時間における画像をレンダリングすることで、表示装置４００ではユーザーの頭部の動きに追従した画像を観察する際の体感遅延を低減する。

次いで、予測時間を見積もる方法について説明する。ここで言う予測時間は、描画装置３００が頭部動作追跡装置２００から過去に受信したデータの中で最新のものが、頭部動作追跡装置２００において生成（測定又は計算）された時刻、あるいは頭部動作追跡装置２００が送信した時刻から、次の画像の表示時刻までの時間である。頭部動作追跡装置２００がデータを送信した時刻としては、送信した瞬間の時刻だけでなく、頭部動作追跡装置２００において時刻情報を生成しデータに付加した時刻を用いることも可能である。

頭部動作追跡装置２００から描画装置３００へのデータ伝送がとりわけ無線による場合、伝送遅延は一定ではなく、ある範囲のばらつきを持つことが想定される。また、センサー部２０１（頭部動作追跡装置２００）のクロックと描画装置３００のクロックが非同期であることから、描画装置３００は、受信データに付加される時刻情報をそのまま使用することはできないが、受信した時間を利用して送信時間を推定することができる。

図１０には、画像表示システム１００における処理の流れをタイミング・チャート上で示している。図１０を参照しながら、描画装置３００において、頭部動作追跡装置２００からのデータの送信時間を推定する方法について考察する。

図１０中、頭部動作追跡装置２００からのデータ送信周期をΔｔ_period、頭部動作追跡装置２００からのｎ番目のデータの送信時刻をｔⁿ _send、描画装置３００でのｎ番目のデータの受信時刻をｔⁿ _receive、ｎ番目のデータの送信から描画装置３００での受信までにかかる時間（伝送遅延）をΔｔⁿ _transmitとする。また、描画処理部３０２においてｒ回目のレンダリングの計算に時間（レンダリング遅延）Δｔ^r _renderがかかり、レンダリング結果を表示部４０２に表示するのに時間（ディスプレイ遅延）Δｔ_displayがかかるものとする。

頭部動作追跡装置２００は、センサー部２０１のセンサー結果から演算したクォータニオンを、Δｔ_periodの時間毎に描画装置３００に送信する。受信部３０１は、受信したクォータニオンを受信時刻とともに管理する。描画処理部３０２は、レンダリングに必要なタイミングで、受信部３０１で蓄積されたクォータニオンにアクセスして、対応する表示画像をレンダリングする。レンダリングが終わると、表示装置４００の表示部４０２で結果画像を表示する。

描画装置３００では、データ送信周期Δｔ_period、データ受信時刻｛ｔⁱ _receive｝_i∈N、レンダリング遅延Δｔ^r _render、及び、ディスプレイ遅延Δｔ_displayの各時間は、計測可能な既知の値である。これに対し、頭部動作追跡装置２００からのデータ送信時刻｛ｔⁱ _send｝_i∈Nは描画装置３００にとって不明であるため、伝送遅延｛Δｔⁱ _transmit｝_i∈Nは未知の値である。

頭部動作追跡装置２００がある時刻に送信した姿勢情報が描画装置３００に受信され、さらに描画装置３００でレンダリングされ、表示装置４００に表示されるまでの全遅延量は、ｒ回目のレンダリングに対する予測時間Δｔ^r _predictとして、下式（１）のように数式で表現することができる。

上述したように、描画装置３００にとって、上式（１）の第１項のディスプレイ遅延Δｔ_displayと第２項のレンダリング遅延Δｔ^r _renderは既知の値であるが、第３項の伝送遅延Δｔⁿ _transmitは未知の値である。したがって、全遅延量を、ディスプレイ遅延Δｔ_displayとレンダリング遅延Δｔ^r _renderからなる定常遅延と、未知の変動遅延Δｔⁿ _transmitに分解することができる。全遅延量Δｔ^r _predictを計算するためには、既知の定常遅延を使って、未知の値｛Δｔⁱ _transmit｝_i∈Nを推定しなければならない。

ここで、描画装置３００上でのデータの受信時間間隔Δｔⁱ _receive＝ｔⁱ _receive−ｔ^i-1 _receive（ｉ∈Ｎ）が一定であることと、伝送遅延｛Δｔⁱ _transmit｝_i∈Nが一定であることは同値である。ある時間継続して伝送遅延時間をあらかじめ測定しておくことで、定常的な遅延時間の平均値Δｔ_const＝Ｅ_i（Δｔⁱ _transmit）を計測することができる。したがって、上式（１）の第３項を、下式（２）のように定常伝送遅延Δｔ_constと変動伝送遅延Δｔⁿ _variantに分解することができる。また、下式（２）を上式（１）に代入すると、下式（３）の通りとなる。

上式（３）の右辺第１項〜第３項は、事前測定やシステム・クロック測定により測定が可能であり、定常遅延に分類される。本実施形態では、右辺第１項のディスプレイ遅延Δｔ_displayと右辺第３項の定常伝送遅延Δｔ_constは、あらかじめ測定したものを使用して、予測時間の見積もりを行なうものとする。

一方、上式（３）の右辺第４項のΔｔⁿ _variantは伝送遅延のばらつきである。伝送遅延のばらつきΔｔⁿ _variantは、測定不可能であり、変動遅延に分類される。本実施形態では、変動伝送遅延Δｔⁿ _variantを、下式（４）又は（５）のように数式で表現する。但し、下式（４）に示す変動伝送遅延Δｔⁿ _variantを導出する方法の詳細については、後述に譲る。

上式（４）又は（５）の右辺の、受信時間間隔Δｔⁿ _receiveは、頭部動作追跡装置２００から（ｎ−１）番目に送信された姿勢情報のクォータニオンを描画装置３００で受信した時刻ｔ^n-1 _receiveと、頭部動作追跡装置２００からｎ番目に送信された姿勢情報のクォータニオンを描画装置３００で受信した時刻ｔⁿ _receiveとの差分である。伝送遅延のばらつきがなければ、受信時間間隔Δｔⁿ _receive（＝ｔⁿ _receive−ｔ^n-1 _receive）は頭部動作追跡装置２００から姿勢情報の送信周期Δｔ_periodに等しいが、ばらつきがあるとΔｔⁿ _receive−Δｔ_periodはゼロでなくなる。上式（４）では、過去ｎ個分の姿勢情報の受信間隔のばらつきの和をとって変動伝送遅延Δｔⁿ _variantを見積もっている。また、上式（５）は、ｎを無限大にしたときの近似式と解することもできる。

上式（１）で表される、定常遅延（ディスプレイ遅延、レンダリング遅延、伝送遅延の平均）と変動遅延の和からなる全遅延量Δｔ^r _predictが、ある時刻において頭部動作追跡装置２００から送信された姿勢情報を受信する予測時間となる。

次いで、予測時間における姿勢情報を予測する方法について説明する。

既に述べたように、本実施形態では、姿勢情報をクォータニオンｑで表現する。クォータニオンｑは、下式（６）並びに図４に示すように、回転軸（ベクトル）と回転角（スカラー）からなる４元数である。

クォータニオンは、特異点がないことから計算に適している。コンピューター・グラフィックスの分野では、物体の姿勢をクォータニオンで表現するのが一般的である。本実施形態では、頭部動作追跡装置２００から描画装置３００に届いたクォータニオンの時系列ｑ_iから（但し、ｑ_iはｉ番目に受信したクォータニオンとする）、予測時間Δｔ^r _predictにおけるクォータニオンを予測する。

姿勢を表すクォータニオンは、３次元球面上の１点として記述される。２つのクォータニオンｑ_i-1とｑ_iの間を線形補間する方法として、下式（７）並びに図５に示すように、クォータニオンｑ_i-1とｑ_iの終点を結ぶ線分上で線形補間する方法Ｌｅｒｐと、下式（８）並びに図６に示すように、クォータニオンｑ_i-1とｑ_iの間を３次元球面上で線形補間する球面線形補間Ｓｌｅｒｐが挙げられる。

通常の線形補間Ｌｅｒｐよりも、球面線形補間Ｓｌｅｒｐの方がより正確な補間を行なうことができると思料される。

上式（８）において、０≦ｔ≦１であれば２つのクォータニオンｑ_i-1とｑ_iの間を線形補間することになるが、ｔ≧１であれば、２つのクォータニオンｑ_i-1とｑ_iの先を外挿して、時刻ｔだけ先のクォータニオンを予測することになる。したがって、本実施形態では、見積もった予測時間を上式（８）のｔに代入することで、予測時間後におけるクォータニオンを予測する。

頭部動作追跡装置２００からクォータニオンｑ_i-1とｑ_iが送信される間隔はΔｔ_periodである。一方、次に頭部動作追跡装置２００から送信されるクォータニオンｑ_i+1が描画装置３００で受信される予測時間は、送信間隔Δｔ_periodに全遅延量Δｔ^r _predictを加えた時間Δｔ_period＋Δｔ^r _predictである。この時間を送信間隔Δｔ_periodで正規化した値（ｔ_r＝１＋Δｔ^r _predict／Δｔ_period）をｔとして上式（８）に代入することにより、予測時間Δｔ^r _predict後のクォータニオンｑ_predict（ｔ_r）を、下式（９）又は（１０）に従って予測することができる。但し、下式（１０）の場合、ｑ_predict（ｔ_n-1）を下式（１１）とおく。下式（９）に示す予測時間ｔ_rにおけるクォータニオンｑ_predict（ｔ_r）を導出する方法の詳細については、後述に譲る。

図７には、姿勢情報の予測アルゴリズムを適用した描画装置３００の構成例を示している。

変動遅延見積部７１は、受信部３０１で頭部動作追跡装置２００からクォータニオンを受信する時刻をモニターして、上式（４）又は（５）に従って変動遅延Δｔⁿ _variantを見積もる。

全遅延量計算部７２は、変動遅延見積部７１から変動遅延Δｔⁿ _variantを入力するとともに、事前測定したディスプレイ遅延や伝送遅延の平均、描画処理部３０２におけるレンダリング遅延を入力して、上式（１）に従って全遅延量Δｔを算出する。

予測部７３は、２つのクォータニオン間を３次元球面上で線形補間する球面線形補間器（Ｓｌｅｒｐ）として構成されるが、パラメーターｔに全遅延量Δｔから求まる予測時間を代入することで、上式（６）に示したように、次のクォータニオンｑ_i+1を外挿して、現在の正しい姿勢情報として予測する。そして、予測部７３は、予測したクォータニオンｑを、描画処理部３０２に出力する。描画処理部３０２は、予測されたクォータニオンｑを用いて、ユーザーの頭部の姿勢情報に対応した画角の画像のレンダリングを実行する。

図８には、予測部７３によるクォータニオンの予測結果の時系列グラフを示している。但し、横軸は時間軸、縦軸はクォータニオンのｓ成分とする。

図８中、参照番号８１で示す曲線は、クォータニオンのｓ成分の正解値、すなわち頭部動作追跡装置２００から出力される値である。

また、描画装置３００で受信したクォータニオン（予測前のクォータニオン）のｓ成分を、◆で示している。上述したように、頭部動作追跡装置２００から描画装置３００にクォータニオンを伝送する際に伝送遅延が生じ、クォータニオン毎に伝送遅延はばらつく。

参照番号８２、８３で示すように、予測部７３は、受信した２つのクォータニオンから予測時間における現在の正しいクォータニオンを予測して、描画処理部３０２に出力する。図８中では、予測前の２つのクォータニオンから予測されたクォータニオンのｓ成分を●で示している。予測されたクォータニオンは正解値に近づいていることが分かる。

ここで、上式（４）に示した変動伝送遅延Δｔⁿ _variantの導出方法について説明しておく。データの受信時間間隔Δｔⁱ _receiveと伝送遅延Δｔⁱ _variantの間には、下式（１２）に示す関係式が成り立つ。下式（１２）に下式（１３）を用いると、下式（１４）に示す通りとなる。

変動伝送遅延Δｔⁱ _variantの平均値は０になるはずである。したがって、下式（１５）が成立する。

ここで、上式（１４）を変形して、下式（１６）とする。

あるＮを固定したとき、任意のｊに対してｊ≦ｉ≦Ｎ−１に関する上式（１６）の両辺の総和をとると、下式（１７）、ひいては下式（１８）の通りとなる。

さらに、ｉに関する上式（１８）の両辺の総和をとると、下式（１９）、（２０）が成り立つ。

ここで、上式（５）より、Ｎが十分に大きいとき、下式（２１）のようになる。したがって、上式（２０）は下式（２２）のようになる。そして、下式（２２）のＮをＮ＋１に置き換えると、下式（２３）に示す通りとなる。

上式（２３）から上式（２２）を辺々引き算すると、下式（２４）を得る。

ここで、上式（２３）の右辺第１項を下式（２５）に示すように変形し、下式（２６）が成り立つことに注意すると、上式（２４）について、下式（２７）、（２８）が成り立つ。

したがって、上式（２８）をΔｔ^N+1 _variantに関する推定式とみなすと、十分大きなＮに対して下式（２９）となり、上式（４）を導くことができる。

続いて、上式（９）に示した、予測時間ｔ_rにおけるクォータニオンｑ_predict（ｔ_r）を導出する方法について説明する。現在までに取得された最新の３つのクォータニオンｑ（ｔ_n-2）、ｑ（ｔ_n-1）、ｑ（ｔ_n）を使用し、球面線形補間の式を使用して、予測クォータニオンｑ_predict（ｔ_r）、を以下のように計算する。

上式（３０）は、クォータニオンの微分を予測していることを意味している。また、上式（３１）は、上記の予測クォータニオンｑ_predict（ｔ_n）を使って、予測時間Δｔ^r _predictだけ先の姿勢のクォータニオンを予測したものである。

ここで、下式（３２）のようにおくと、上式（３１）は下式（３３）の通りとなる。

すなわち、この導出方法では、クォータニオンｑ（ｔ_n-1）を推定した値ｑ_predict（ｔ_n-1）を使用して、球面線形補間により予測時間ｔ_rにおけるクォータニオンｑ_predict（ｔ_r）を予測していると解することができる。

特開２０１２−１４１４６１号公報 特開平９−１０６３２２号公報 特開２０１０−２５６５３４号公報

以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。

本明細書では、時系列データとしてユーザーの頭部、あるいは手先、足先、腰など身体の一部又は全部の姿勢情報に基づいて画像のレンダリングを行なう実施形態を中心に説明してきたが、他の時系列データに基づいて画像のレンダリングを行なう場合においても、同様に本明細書で開示する技術を適用することができる。また、本明細書では、姿勢情報をクォータニオンで表現する実施形態を中心に説明してきたが、その他の形式で姿勢情報を表現する場合においても、同様に本明細書で開示する技術を適用することができる。

要するに、例示という形態により本明細書で開示する技術について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。

なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
（１）外部装置から時系列データを受信する受信部と、
過去に受信したデータの中で最新ものが前記外部装置において生成された時刻から次の画像の表示時刻までの予測時間を算出する予測時間計算部と、
前記予測時間における時系列データを予測する時系列データ予測部と、
前記予測部が予測した時系列データに基づいて画像をレンダリングする描画処理部と、
を具備する画像処理装置。
（２）前記時系列データ予測部は、２つの時系列データ間を補間する構成を備え、２つの時系列データの先を外挿して、前記予測時間だけ先の時系列データを予測する、
上記（１）に記載の画像処理装置。
（３）レンダリングした前記画像を表示装置に送信する送信部をさらに備える、
上記（１）又は（２）のいずれかに記載の画像処理装置。
（４）レンダリングした前記画像を表示する表示部をさらに備える、
上記（１）乃至（３）のいずれかに記載の画像処理装置。
（５）前記外部装置は、画像を観察するユーザーの身体の一部又は全部の位置又は姿勢を追跡し、
前記受信部は、前記外部装置から時系列データとして姿勢情報を受信し、
前記描画処理部は、前記姿勢情報に基づいてユーザーの身体の一部又は全部の動きに追従する画像をレンダリングする、
上記（１）乃至（５）のいずれかに記載の画像処理装置。
（６）前記予測時間計算部は、前記外部装置で姿勢情報を送信してからその姿勢情報に基づく画像を表示するまでの全遅延量に基づいて予測時間を算出する、
上記（５）に記載の画像処理装置。
（７）前記全遅延量は、前記外部装置から姿勢情報を伝送する際の伝送遅延と、姿勢情報に基づいて画像をレンダリングする際のレンダリング遅延と、レンダリングした画像を表示する際のディスプレイ遅延を含む、
上記（６）に記載の画像処理装置。
（８）前記予測時間計算部は、全遅延量を測定可能な定常遅延と測定不能な変動遅延に分解して計算する、
上記（６）又は（７）のいずれかに記載の画像処理装置。
（９）前記変動遅延は、伝送遅延のばらつきを含む、
上記（８）に記載の画像処理装置。
（１０）前記受信部は、前記外部装置から時系列データとしてユーザーの身体の一部又は全部の位置又は姿勢を表現するクォータニオンを受信する、
上記（５）に記載の画像処理装置。
（１１）前記時系列データ予測部は、２つのクォータニオンを線形補間する構成を備え、２つのクォータニオンの先を外挿して、前記予測時間だけ先のクォータニオンを予測する、
上記（１０）に記載の画像処理装置。
（１２）前記時系列データ予測部は、２つのクォータニオンを球面線形補間する構成を備え、２つのクォータニオンの先を外挿して、前記予測時間だけ先のクォータニオンを予測する、
上記（１０）又は（１１）のいずれかに記載の画像処理装置。
（１３）外部装置から時系列データを受信する受信部と、
過去に受信したデータの中で最新のものに対して前記外部装置において付加された時刻から次の画像の表示時刻までの予測時間を算出する予測時間計算部と、
前記予測時間における時系列データを予測する時系列データ予測部と、
前記予測部が予測した時系列データに基づいて画像をレンダリングする描画処理部と、
を具備する画像処理装置。
（１４）外部装置から時系列データを受信する受信部と、
過去に受信したデータの中で前記外部装置からの最新の送信時刻から次の画像の表示時刻までの予測時間を算出する予測時間計算部と、
前記予測時間における時系列データを予測する時系列データ予測部と、
前記予測部が予測した時系列データに基づいて画像をレンダリングする描画処理部と、
を具備する画像処理装置。
（１５）外部装置から時系列データを受信する受信ステップと、
過去に受信したデータの中で最新ものが前記外部装置において生成された時刻から次の画像の表示時刻までの予測時間を算出する予測時間計算ステップと、
前記予測時間における時系列データを予測する時系列データ予測ステップと、
前記予測ステップで予測した時系列データに基づいて画像をレンダリングする描画処理ステップと、
を有する画像処理方法。
（１６）外部装置から時系列データを受信する受信部、
過去に受信したデータの中で最新ものが前記外部装置において生成された時刻から次の画像の表示時刻までの予測時間を算出する予測時間計算部、
前記予測時間における時系列データを予測する時系列データ予測部、
前記予測部が予測した時系列データに基づいて画像をレンダリングする描画処理部、
としてコンピューターを機能させるようにコンピューター可読形式で記述されたコンピューター・プログラム。
（１７）時系列データを送信する外部装置と、
時系列データを受信して画像をレンダリングする描画装置と、
描画装置でレンダリングした画像を表示する表示装置と、
を具備し、
前記描画装置は、過去に受信したデータの中で最新ものが前記外部装置において生成された時刻から次の画像の表示時刻までの予測時間を予測し、前記予測時間における時系列データを予測し、予測した時系列データに基づいて画像をレンダリングする、
画像表示システム。
（１８）前記外部装置は、前記表示部の表示画像を観察するユーザーの身体の一部又は全部の位置又は姿勢を追跡する追跡装置で、姿勢情報を送信し、
前記描画装置は、受信した姿勢情報に基づいてユーザーの身体の一部又は全部の動きに追従する画像をレンダリングする、
上記（１７）に記載の画像表示システム。
（１９）前記追跡装置は、ユーザーの身体の一部又は全部の位置又は姿勢を表現するクォータニオンを送信し、
前記描画装置は、２つのクォータニオンの先を外挿して球面線形補間することにより前記予測時間だけ先のクォータニオンを予測し、予測したクォータニオンに基づいて画像をレンダリングする、
上記（１７）に記載の画像表示システム。

１００…画像表示システム
２００…頭部動作追跡装置、２０１…センサー部、２０２…姿勢角演算部
２０３…送信部
３００…描画装置、３０１…受信部、３０２…描画処理部、３０３…送信部
３０４…画像ソース
４００…表示装置、４０１…受信部、４０２…表示部
７１…変動遅延見積部、７２…全遅延量計算部、７３…予測部

Claims (19)

1. 外部装置から時系列データを受信する受信部と、
   過去に受信したデータの中で最新ものが前記外部装置において生成された時刻から次の画像の表示時刻までの予測時間を算出する予測時間計算部と、
   前記予測時間における時系列データを予測する時系列データ予測部と、
   前記予測部が予測した時系列データに基づいて画像をレンダリングする描画処理部と、
   を具備する画像処理装置。
2. 前記時系列データ予測部は、２つの時系列データ間を補間する構成を備え、２つの時系列データの先を外挿して、前記予測時間だけ先の時系列データを予測する、
   請求項１に記載の画像処理装置。
3. レンダリングした前記画像を表示装置に送信する送信部をさらに備える、
   請求項１に記載の画像処理装置。
4. レンダリングした前記画像を表示する表示部をさらに備える、
   請求項１に記載の画像処理装置。
5. 前記外部装置は、画像を観察するユーザーの身体の一部又は全部の位置又は姿勢を追跡し、
   前記受信部は、前記外部装置から時系列データとして姿勢情報を受信し、
   前記描画処理部は、前記姿勢情報に基づいてユーザーの身体の一部又は全部の動きに追従する画像をレンダリングする、
   請求項１に記載の画像処理装置。
6. 前記予測時間計算部は、前記外部装置で姿勢情報を送信してからその姿勢情報に基づく画像を表示するまでの全遅延量に基づいて予測時間を算出する、
   請求項５に記載の画像処理装置。
7. 前記全遅延量は、前記外部装置から姿勢情報を伝送する際の伝送遅延と、姿勢情報に基づいて画像をレンダリングする際のレンダリング遅延と、レンダリングした画像を表示する際のディスプレイ遅延を含む、
   請求項６に記載の画像処理装置。
8. 前記予測時間計算部は、全遅延量を測定可能な定常遅延と測定不能な変動遅延に分解して計算する、
   請求項６に記載の画像処理装置。
9. 前記変動遅延は、伝送遅延のばらつきを含む、
   請求項８に記載の画像処理装置。
10. 前記受信部は、前記外部装置から時系列データとしてユーザーの身体の一部又は全部の位置又は姿勢を表現するクォータニオンを受信する、
    請求項５に記載の画像処理装置。
11. 前記時系列データ予測部は、２つのクォータニオンを線形補間する構成を備え、２つのクォータニオンの先を外挿して、前記予測時間だけ先のクォータニオンを予測する、
    請求項１０に記載の画像処理装置。
12. 前記時系列データ予測部は、２つのクォータニオンを球面線形補間する構成を備え、２つのクォータニオンの先を外挿して、前記予測時間だけ先のクォータニオンを予測する、
    請求項１０に記載の画像処理装置。
13. 外部装置から時系列データを受信する受信部と、
    過去に受信したデータの中で最新のものに対して前記外部装置において付加された時刻から次の画像の表示時刻までの予測時間を算出する予測時間計算部と、
    前記予測時間における時系列データを予測する時系列データ予測部と、
    前記予測部が予測した時系列データに基づいて画像をレンダリングする描画処理部と、
    を具備する画像処理装置。
14. 外部装置から時系列データを受信する受信部と、
    過去に受信したデータの中で前記外部装置からの最新の送信時刻から次の画像の表示時刻までの予測時間を算出する予測時間計算部と、
    前記予測時間における時系列データを予測する時系列データ予測部と、
    前記予測部が予測した時系列データに基づいて画像をレンダリングする描画処理部と、
    を具備する画像処理装置。
15. 外部装置から時系列データを受信する受信ステップと、
    過去に受信したデータの中で最新ものが前記外部装置において生成された時刻から次の画像の表示時刻までの予測時間を算出する予測時間計算ステップと、
    前記予測時間における時系列データを予測する時系列データ予測ステップと、
    前記予測ステップで予測した時系列データに基づいて画像をレンダリングする描画処理ステップと、
    を有する画像処理方法。
16. 外部装置から時系列データを受信する受信部、
    過去に受信したデータの中で最新ものが前記外部装置において生成された時刻から次の画像の表示時刻までの予測時間を算出する予測時間計算部、
    前記予測時間における時系列データを予測する時系列データ予測部、
    前記予測部が予測した時系列データに基づいて画像をレンダリングする描画処理部、
    としてコンピューターを機能させるようにコンピューター可読形式で記述されたコンピューター・プログラム。
17. 時系列データを送信する外部装置と、
    時系列データを受信して画像をレンダリングする描画装置と、
    前記描画装置でレンダリングした画像を表示する表示装置と、
    を具備し、
    前記描画装置は、過去に受信したデータの中で最新ものが前記外部装置において生成された時刻から次の画像の表示時刻までの予測時間を予測し、前記予測時間における時系列データを予測し、予測した時系列データに基づいて画像をレンダリングする、
    画像表示システム。
18. 前記外部装置は、前記表示部の表示画像を観察するユーザーの身体の一部又は全部の姿勢を追跡する追跡装置で、姿勢情報を送信し、
    前記描画装置は、受信した姿勢情報に基づいてユーザーの身体の一部又は全部の動きに追従する画像をレンダリングする、
    請求項１７に記載の画像表示システム。
19. 前記追跡装置は、ユーザーの身体の一部又は全部の位置又は姿勢を表現するクォータニオンを送信し、
    前記描画装置は、２つのクォータニオンの先を外挿して球面線形補間することにより前記予測時間だけ先のクォータニオンを予測し、予測したクォータニオンに基づいて画像をレンダリングする、
    請求項１７に記載の画像表示システム。