JP6514089B2 - 情報処理装置、情報処理システム、および情報処理方法 - Google Patents

Description

本発明は、実世界での動きに応じた情報処理を行う情報処理技術に関する。

ユーザの体やマーカーをカメラで撮影し、その像の領域を別の画像で置換してディスプレイに表示するゲームが知られている（例えば、特許文献１参照）。撮影画像のみならず、各種センサをユーザに装着させたり把持させたりしてその計測値を解析し、ゲームなどの情報処理に反映させる技術は、小型のゲーム機からレジャー施設まで、その規模によらず幅広い分野で利用されている。

欧州特許出願公開第０９９９５１８号明細書

上記のような技術において、対象物の姿勢や動きに係る情報をいかに正確に取得するかは常に重要な課題である。例えばユーザが頭部に装着したヘッドマウントディスプレイにより、ユーザの頭部の動き、ひいては視野の変化と対応するような仮想世界を表示させる場合、より臨場感や没入感のある表現を実現するためには、頭部の姿勢や動きを精度よく検出することが課題となる。表現上の問題ばかりでなく、頭部の姿勢の検出値が僅かにずれているのみでも、それを反映させた表示画像を見続けることにより平衡感覚が失われ、体調に悪影響を及ぼす危険性もある。

本発明はこうした課題に鑑みてなされたものであり、その目的は、対象物の姿勢に係る情報を、高精度かつ容易に取得できる技術を提供することにある。

本発明のある態様は情報処理装置に関する。この情報処理装置は、対象物に搭載された加速度センサからの出力値を取得する入力情報取得部と、出力値に基づき加速度センサの軸方向の加速度を算出し、それに基づき当該軸の傾き角を求めることにより対象物の姿勢情報を取得する姿勢データ取得部と、姿勢情報を用いて情報処理を実施しその結果として生成した出力データを出力する情報処理部と、を備え、姿勢データ取得部は、加速度センサの軸と対象物に与えた基準の軸との角度誤差に基づき、加速度センサの姿勢情報を対象物の姿勢情報に補正することを特徴とする。

本発明の別の態様は情報処理方システムに関する。この情報処理システムは、ヘッドマウントディスプレイと、当該ヘッドマウントディスプレイと通信を確立し表示画像のデータを生成する情報処理装置と、を含み、情報処理装置は、ヘッドマウントディスプレイに搭載された加速度センサからの出力値を取得する入力情報取得部と、出力値に基づき加速度センサの軸方向の加速度を算出し、それに基づき当該軸の傾き角を求めることによりヘッドマウントディスプレイの姿勢情報を取得する姿勢データ取得部と、姿勢情報を用いて、姿勢に応じて変化する視野を有する表示画像のデータを生成しヘッドマウントディスプレイに出力する情報処理部と、を備え、姿勢データ取得部は、加速度センサの軸とヘッドマウントディスプレイに与えた基準の軸との角度誤差に基づき、加速度センサの姿勢情報をヘッドマウントディスプレイの姿勢情報に補正することを特徴とする。

本発明の別の態様は情報処理方法に関する。この情報処理方法は、対象物に搭載された加速度センサからの出力値を取得するステップと、出力値に基づき加速度センサの軸方向の加速度を算出し、それに基づき当該軸の傾き角を求めることにより対象物の姿勢情報を取得するステップと、姿勢情報を用いて情報処理を実施しその結果として生成した出力データを他の装置へ出力するステップと、を含み、姿勢情報を取得するステップは、加速度センサの軸と対象物に与えた基準の軸との角度誤差に基づき、加速度センサの姿勢情報を対象物の姿勢情報に補正することを特徴とする。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、コンピュータプログラムを記録した記録媒体などの間で変換したものもまた、本発明の態様として有効である。

本発明によると、対象物の姿勢に係る情報を高精度かつ容易に取得できる。

本実施の形態を適用できる情報処理システムの構成例を示す図である。 本実施の形態における情報処理装置の内部回路構成を示す図である。 本実施の形態におけるＨＭＤの内部回路構成を示す図である。 本実施の形態におけるＨＭＤの外観形状の例を示す図である。 本実施の形態における情報処理装置とＨＭＤの機能ブロックの構成を示す図である。 本実施の形態において加速度センサが計測対象とする加速度と表示画像との関係性の一例を説明するための図である。 本実施の形態においてキャリブレーションにより補正式を求める手法を説明するための図である。 本実施の形態における回転補正を行うための原理を説明するための図である。 本実施の形態における姿勢データ取得部の姿勢取得処理の手順を示すフローチャートである。

図１は本実施の形態を適用できる情報処理システムの構成例を示す。情報処理システム８は、対象物を撮影する撮像装置１２、撮影した画像に基づき情報処理を行う情報処理装置１０、情報処理の結果として得られた画像を表示する平板型ディスプレイ１６およびヘッドマウントディスプレイ（以下、「ＨＭＤ」と呼ぶ）１８、ユーザが操作する入力装置１４を含む。

情報処理装置１０と、撮像装置１２、入力装置１４、平板型ディスプレイ１６、ＨＭＤ１８とは、有線ケーブルで接続されても、Bluetooth（登録商標）など既知の無線通信技術により接続されてもよい。また情報処理装置１０が実施する情報処理によっては、入力装置１４および平板型ディスプレイ１６は選択的に導入してもよい。またこれらの装置の外観形状は図示するものに限らない。さらにこれらのうち２つ以上の装置を一体的に備えた装置としてもよい。例えば情報処理装置１０、入力装置１４、平板型ディスプレイ１６を、それらを備えた携帯端末などで実現してもよい。

ＨＭＤ１８は、ユーザが頭に装着することによりその眼前に位置する有機ＥＬパネルなどの表示パネルに画像を表示する表示装置である。例えば左右の視点から見た視差画像を生成し、表示画面を２分割してなる左右の領域にそれぞれ表示させることにより、画像を立体視させてもよい。またＨＭＤ１８には、加速度センサ、ジャイロセンサなどのモーションセンサが内蔵または外付けされ、ユーザの頭部の姿勢や動きに係る物理量を計測して情報処理装置１０に逐次送信する。ＨＭＤ１８はさらに、ユーザの耳に対応する位置に音声を出力するスピーカーやイヤホンを内蔵していてもよい。

撮像装置１２は、ユーザなどの対象物を所定のフレームレートで撮影するカメラと、その出力信号にデモザイク処理など一般的な処理を施すことにより撮影画像の出力データを生成し、情報処理装置１０に送出する機構とを有する。カメラはＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなど、一般的な可視光センサを既知の間隔で左右に配置したステレオカメラである。

情報処理装置１０は、ＨＭＤ１８から送信されたモーションセンサによる計測値や、撮像装置１２から送信された撮影画像のデータを用いて必要な情報処理を行い、画像や音声などの出力データを生成する。ここで情報処理装置１０が行う処理の内容は特に限定されず、ユーザが求める機能やアプリケーションの内容などによって適宜決定してよい。例えばユーザの動きや入力に従いゲームを進捗させるとともに、頭部の動きに応じて視野が変化するように仮想世界の表示画像を生成したり、ユーザの動きをコマンド入力に変換して情報処理を行ったりする。

情報処理装置１０は、入力装置１４に設けたマーカーを利用して入力装置１４の動きを取得してもよい。またＨＭＤ１８の外面に設けた複数のマーカーを追跡することにより、ユーザの頭部の姿勢や動きをモーションセンサ以外の手段でも取得してよい。このときモーションセンサによる計測値と相補完的に利用することにより、姿勢や動きの検出精度を高めてもよい。あるいは後述するように、撮影画像におけるマーカーの像に基づき取得した頭部の姿勢の情報を、モーションセンサによる計測値の補正に利用してもよい。情報処理装置１０が生成した出力データは、ＨＭＤ１８および平板型ディスプレイ１６の少なくとも一方に送信される。

平板型ディスプレイ１６は、２次元の画像を出力するディスプレイおよび音声を出力するスピーカーを有するテレビでよく、例えば液晶テレビ、有機ＥＬテレビ、プラズマテレビ、ＰＣディスプレイ等である。あるいはタブレット端末や携帯端末のディスプレイおよびスピーカーであってもよい。入力装置１４は、ユーザが操作することにより、処理の開始、終了、機能の選択、各種コマンド入力などの要求を受け付け、情報処理装置１０に電気信号として供給する。

入力装置１４は、ゲームコントローラ、キーボード、マウス、ジョイスティック、平板型ディスプレイ１６の表示画面上に設けたタッチパッドなど、一般的な入力装置のいずれか、またはそれらの組み合わせによって実現してよい。入力装置１４はさらに、所定の色で発光する素子またはその集合からなる発光マーカーを備えていてもよい。この場合、情報処理装置１０が撮影画像を用いてマーカーの動きを追跡することにより、入力装置１４自体の動きをユーザ操作とすることができる。なお入力装置１４を、発光マーカーとそれを把持する機構のみで構成してもよい。

図２は情報処理装置１０の内部回路構成を示している。情報処理装置１０は、ＣＰＵ（Central Processing Unit）２２、ＧＰＵ（Graphics Processing Unit)２４、メインメモリ２６を含む。これらの各部は、バス３０を介して相互に接続されている。バス３０にはさらに入出力インターフェース２８が接続されている。入出力インターフェース２８には、ＵＳＢやＩＥＥＥ１３９４などの周辺機器インターフェースや、有線又は無線ＬＡＮのネットワークインターフェースからなる通信部３２、ハードディスクドライブや不揮発性メモリなどの記憶部３４、平板型ディスプレイ１６やＨＭＤ１８へデータを出力する出力部３６、撮像装置１２、入力装置１４、およびＨＭＤ１８からデータを入力する入力部３８、磁気ディスク、光ディスクまたは半導体メモリなどのリムーバブル記録媒体を駆動する記録媒体駆動部４０が接続される。

ＣＰＵ２２は、記憶部３４に記憶されているオペレーティングシステムを実行することにより情報処理装置１０の全体を制御する。ＣＰＵ２２はまた、リムーバブル記録媒体から読み出されてメインメモリ２６にロードされた、あるいは通信部３２を介してダウンロードされた各種プログラムを実行する。ＧＰＵ２４は、ジオメトリエンジンの機能とレンダリングプロセッサの機能とを有し、ＣＰＵ２２からの描画命令に従って描画処理を行い、表示画像を図示しないフレームバッファに格納する。そしてフレームバッファに格納された表示画像をビデオ信号に変換して出力部３６に出力する。メインメモリ２６はＲＡＭ（Random Access Memory）により構成され、処理に必要なプログラムやデータを記憶する。

図３はＨＭＤ１８の内部回路構成を示している。ＨＭＤ１８は、ＣＰＵ５０、メインメモリ５２、表示部５４、音声出力部５６を含む。これらの各部はバス５８を介して相互に接続されている。バス５８にはさらに入出力インターフェース６０が接続されている。入出力インターフェース６０には、有線又は無線ＬＡＮのネットワークインターフェースからなる通信部６２、モーションセンサ６４、発光部６６が接続される。

ＣＰＵ５０は、バス５８を介してＨＭＤ１８の各部から取得した情報を処理し、出力データを表示部５４や音声出力部５６に供給する。メインメモリ５２はＣＰＵ５０における処理に必要なプログラムやデータを格納する。ただし実行するアプリケーションや装置の設計によっては、情報処理装置１０がほぼ全ての処理を行い、ＨＭＤ１８では情報処理装置１０から送信されたデータを出力するのみで十分な場合がある。この場合、ＣＰＵ５０やメインメモリ５２は、より簡易なデバイスで置き換えることができる。

表示部５４は、液晶パネルや有機ＥＬパネルなどの表示パネルで構成され、ＨＭＤ１８を装着したユーザの眼前に画像を表示する。上述したように左右の目に対応する領域に一対の視差画像を表示することにより立体視を実現してもよい。表示部５４はさらに、ＨＭＤ１８装着時に表示パネルとユーザの目との間に位置し、ユーザの視野角を拡大する一対のレンズを含んでもよい。この場合、表示画像には、情報処理装置１０またはＨＭＤ１８のいずれかにおいて、レンズを介して見たときに正常な状態で見えるような歪み補正の処理を施しておく。

音声出力部５６は、ＨＭＤ１８の装着時にユーザの耳に対応する位置に設けたスピーカーやイヤホンで構成され、ユーザに音声を聞かせる。出力される音声のチャンネル数は特に限定されず、モノラル、ステレオ、サラウンドのいずれでもよい。通信部６２は、情報処理装置１０や平板型ディスプレイ１６との間でデータを送受するためのインターフェースであり、例えばBluetooth（登録商標）などの既知の無線通信技術を用いて実現できる。

モーションセンサ６４は、例えば加速度センサやジャイロセンサなどの組み合わせで実現し、ＨＭＤ１８の姿勢や動きを検出する。検出結果は通信部６２を介して情報処理装置１０に送信される。発光部６６は、所定の色で発光する素子またはその集合であり、ＨＭＤ１８の外面の複数箇所に設ける。これをマーカーとして追跡することによりＨＭＤ１８の位置を取得するほか、撮影画像におけるその像の数や位置関係からＨＭＤ１８の姿勢を取得する。

図４はＨＭＤ１８の外観形状の例を示している。この例においてＨＭＤ１８は、出力機構部１０２および装着機構部１０４で構成される。装着機構部１０４は、ユーザが被ることにより頭部を一周し装置の固定を実現する装着バンド１０６を含む。装着バンド１０６は各ユーザの頭囲に合わせて長さの調節が可能な素材または構造とする。例えばゴムなどの弾性体としてもよいし、バックルや歯車などを利用してもよい。

出力機構部１０２は、ＨＭＤ１８をユーザが装着した状態において左右の目を覆うような形状の筐体１０８を含み、内部には装着時に目に正対するように表示パネルを備える。そして筐体１０８の外面には、発光マーカー１１０ａ、１１０ｂ、１１０ｃ、１１０ｄ、などを設ける。発光マーカーの数や配置は特に限定されないが、本実施の形態では出力機構部１０２の筐体前面の４隅に設ける。さらに、装着バンド１０６後方の両側面にも発光マーカー１１０ｅ、１１０ｆを設けてよい。なお発光マーカー１１０ｃ、１１０ｄは出力機構部１０２の下側、発光マーカー１１０ｅ、１１０ｆは装着バンド１０６の外側にあり、図４の視点からは本来は見えないため、外周を点線で表している。

発光マーカーは、撮影画像の平面におけるユーザの位置を示すとともに、ＨＭＤ１８において図示するような配置とすることにより、頭部の姿勢を取得するのにも利用できる。例えば、ユーザが撮像装置１２に正対しているときは４つの発光マーカー１１０ａ、１１０ｂ、１１０ｃ、１１０ｄが、横を向いているときは３つの発光マーカー（例えば発光マーカー１１０ｂ、１１０ｄ、１１０ｅ）が、後ろを向いているときは２つの発光マーカー１１０ｅ、１１０ｆが撮影される。

その間の向きであっても、ＨＭＤ１８の３次元モデルの姿勢と、マーカーの撮像面への射影との関係性を、コンピュータグラフィックスと同様に取得すれば、撮影画像におけるマーカーの像の位置関係などからＨＭＤ１８の３次元空間での姿勢を推定することができる。ＨＭＤ１８にはさらに、モーションセンサ６４が外付けまたは内蔵されているが、ここでは図示を省略している。本実施の形態では、モーションセンサ６４を構成する加速度センサにより、重力ベクトルからの角度を求め、ジャイロセンサにより顔の向きを求め、それらに基づき頭部の姿勢を取得することを基本とする。

３次元空間における頭部の位置は、ステレオカメラが左右の視点から撮影したステレオ画像におけるマーカーの像の位置に基づき取得する。このように頭部の位置と姿勢を取得し、ＨＭＤ１８に表示させた仮想世界の画像の視野をそれらに応じて変化させれば、あたかも仮想世界の中にいるような状況を演出できる。ただし姿勢を得る際は、撮影画像におけるマーカーの像から得られる情報を統合して精度を向上させてもよい。なおＨＭＤ１８とモーションセンサ６４は一体的でなくてもよい。例えばモーションセンサ６４をユーザの体の一部に装着させて姿勢や動きを検出し、その結果として生成した画像を平板型ディスプレイ１６に表示するような態様でも本実施の形態を適用できる。

いずれの態様においても、モーションセンサ６４の計測値は、微小なずれであっても情報処理や表示結果に大きな影響を及ぼすことがあり得る。例えば表示された仮想世界を進んでいくようなゲームにおいて、ユーザが直進しているつもりが進行方向が微妙にずれていったり、首をかしげていないのに表示画像の視野に微少量の傾斜があり違和感を与えたりすることが考えられる。水平がずれた状態の画像を見続けることにより、平衡感覚を損なって体調に異常を来すことも考えられる。そこで本実施の形態では、加速度センサ、およびジャイロセンサなど同梱の他のセンサの出力値から頭部の姿勢を取得するまでの間の補正を適正に行うことにより、角度の検出誤差を最小限とし、そのような問題を起こりにくくする。

図５は情報処理装置１０とＨＭＤ１８の機能ブロックの構成を示している。図５に示す各機能ブロックは、ハードウェア的には、図２、３に示したＣＰＵ、ＧＰＵ、各種メモリ、ディスプレイ、スピーカー、発光素子、センサなどの構成で実現でき、ソフトウェア的には、記録媒体などからメモリにロードした、データ入力機能、データ保持機能、画像処理機能、通信機能などの諸機能を発揮するプログラムで実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

情報処理装置１０は、入力装置１４およびＨＭＤ１８からの入力情報を取得する入力情報取得部７２、撮像装置１２から撮影画像のデータを取得する撮影画像取得部７４、ユーザの頭部の姿勢を表すデータを取得する姿勢データ取得部７６、撮影画像を解析し対象物の追跡等を行う画像解析部７８、ゲームなど実行するアプリケーションに応じた情報処理を行う情報処理部８０、および、出力すべきデータをＨＭＤ１８および平板型ディスプレイ１６に送信する出力データ送信部８２を含む。

ＨＭＤ１８は、情報処理装置１０から送信された出力データを受信する出力データ受信部９４、モーションセンサおよび通信機構からなる計測部９０、発光素子とその発光を制御する機構からなる発光部９２、出力データ受信部９４が受信した出力データのうち画像の表示を実現する表示処理部９８、出力データのうち音声の出力を実現する音声処理部９６を含む。

情報処理装置１０の入力情報取得部７２は、ユーザ操作の内容を入力装置１４から取得する。ここでユーザ操作とは、実行するアプリケーションの選択、処理の開始／終了、コマンド入力など、一般的な情報処理でなされるものでよい。入力情報取得部７２は入力装置１４から取得した情報を、その内容に応じて撮影画像取得部７４または情報処理部８０に供給する。入力情報取得部７２はさらに、ＨＭＤ１８の計測部９０からモーションセンサの出力値を受信し、姿勢データ取得部７６に供給する。

撮影画像取得部７４はステレオ画像など、撮像装置１２が動画撮影して得られる撮影画像のデータを所定のフレームレートで取得する。撮影画像取得部７４はさらに、入力情報取得部７２が取得したユーザからの処理開始／終了要求に従い、撮像装置１２における撮影の開始／終了を制御したり、情報処理部８０における処理の結果に応じて、撮像装置１２から取得するデータの種類を制御したりしてもよい。

姿勢データ取得部７６は、ＨＭＤ１８の計測部９０からのセンサ出力値に基づき、ユーザの頭部の姿勢や動きを所定のレートで求め、情報処理部８０に供給する。ここで姿勢データ取得部７６は、センサ出力値から姿勢を求める際の補正に必要なデータ（以後、「補正データ」と呼ぶ）を格納する記憶領域である補正データ記憶部８４、当該データを用いてセンサ出力値から頭部の姿勢を算出する姿勢算出部８６、および補正データを必要に応じて更新する補正データ更新部８８を含む。具体的な補正手法については後述するが、本実施の形態では（１）モーションセンサの取り付け状態等に起因して初期に発生する誤差、（２）モーションセンサの経時変化に起因し徐々に発生する誤差、の双方に対し補正を実施する。

（１）を補正するためのデータは、ＨＭＤ１８を製造した段階で取得できるため、出荷時などに補正データ記憶部８４に格納しておく。（２）を補正するためのデータは、元から補正データ記憶部８４に格納されている補正データを、補正データ更新部８８が必要に応じて更新する。このとき補正データ更新部８８は、画像解析部７８が撮影画像における複数のマーカーの像から上述のように取得したＨＭＤ１８自体の姿勢と、姿勢算出部８６が算出した姿勢とを比較することにより補正データの更新の必要性を判定する。両者の差が大きければ、画像解析により得られた姿勢と合致する姿勢が、モーションセンサの出力値からも得られるように補正データを更新する。

そして姿勢算出部８６は、以後の補正においては更新された補正データを用いる。なお情報処理装置１０に複数のＨＭＤ１８を接続する可能性がある場合、補正データ記憶部８４には、ＨＭＤ１８の個体識別情報と対応づけて補正データを格納しておくことにより、ＨＭＤごとに補正データを管理する。また補正データの初期値をＨＭＤ１８の内部メモリ等に格納しておく場合、姿勢データ取得部７６は初回の接続時等に入力情報取得部７２を介してそれを読み出し、補正データ記憶部８４に格納しておく。

画像解析部７８は、撮影画像の各フレームからＨＭＤ１８のマーカーの像を検出し、それに基づきユーザの頭部の実空間における位置や姿勢を取得する。頭部の実空間における位置は、ステレオ画像における対応するマーカーの像の位置関係に基づき算出した撮像面からマーカーまでの距離と、画像平面におけるマーカーの像の位置により特定できる。このようなステレオ画像を用いた対象物の位置特定や追跡処理には既存の技術を適用できる。画像解析部７８は取得した位置や姿勢の情報を、順次、情報処理部８０に供給する。

画像解析部７８はさらに、所定のタイミング、あるいは姿勢データ取得部７６の補正データ更新部８８から要求された時点で、撮影画像における複数のマーカーの像の数や位置関係から取得したＨＭＤ１８の姿勢に係る情報を補正データ更新部８８に供給する。これにより補正データ更新部８８は、必要に応じて補正データ記憶部８４に格納された補正データを更新する。

情報処理部８０は、姿勢データ取得部７６か取得した、頭部の姿勢に係るデータ、画像解析部７８が取得したユーザの位置や姿勢に係るデータを適宜統合して、所定の情報処理を実施する。最も代表的には、上述のとおりユーザの頭部の動きに応じてゲームを進捗させたり視野を変化させながら仮想世界を表現したりすることが考えられるが、頭部の姿勢を利用する限りにおいては情報処理の内容は特に限定されない。情報処理部８０はそのようにして実施した情報処理の結果を、画像や音声等の出力データとして生成する。出力データ送信部８２は、情報処理部８０が生成した出力データを順次取得し、必要に応じて成形したうえ、ＨＭＤ１８および平板型ディスプレイ１６の少なくともいずれかに供給する。

ＨＭＤ１８の出力データ受信部９４は、情報処理装置１０から送信された出力データを受信する。出力データ受信部９４は受信した出力データのうち、画像のデータを表示処理部９８に、音声のデータを音声処理部９６に供給する。これにより、表示処理部９８に含まれる表示パネルからは画像が、音声処理部９６に含まれるスピーカーなどからは音声が出力される。表示処理部９８は、そのようにして生成した画像の一部を切り出すなどして、そのデータを平板型ディスプレイ１６に送信してもよい。

計測部９０は図３のモーションセンサ６４および通信部６２を含み、モーションセンサ６４の出力値を所定のレートで情報処理装置１０に送信する。この出力値には、加速度センサが計測した、所定数の軸における加速度や、ジャイロセンサが計測した角速度などの情報が含まれる。発光部９２は図３の発光部６６を含み、それを所定の色で発光させることにより発光マーカーとして機能させる。なお発光色は情報処理装置１０が指定してもよい。この場合、出力データ受信部９４は、発光色の指定に係るデータを情報処理装置１０から取得し、発光部９２に通知する。例えばユーザの識別情報に応じて発光色を変えることにより、複数のユーザの頭部を発光色によって区別できる。同様に、情報処理装置１０は入力装置１４が備えるマーカーの発光色も指定してよい。

図６は、加速度センサが計測対象とする加速度と表示画像との関係性の一例を説明するための図である。この例では、ユーザ１５０が３軸加速度センサを搭載したＨＭＤ１８を装着し、その頭部の姿勢に応じて仮想世界１５２に対する視野を変化させる態様を想定している。重力ベクトルｇを垂直下向きとしたときの基準の直交座標系（Ｘ_０軸およびＹ_０軸を水平面、Ｚ_０軸を垂直方向とする）から、加速度センサのＸ軸、Ｙ軸、Ｚ軸がそれぞれ角度θ、ψ、φだけ傾いていた場合、計測される加速度Ａ（Ｘ）、Ａ（Ｙ）、Ａ（Ｚ）と角度との関係は次のようになる。

式１のように各軸について計測された加速度を用いて加速度センサの姿勢を求め、顔の向きをジャイロセンサから求めることにより、ユーザ１５０の頭部の姿勢、ひいては顔面が向いている方向ベクトルｖが判明する。これによりスクリーン座標系を決定し、対応して設定したスクリーン１５４に仮想世界１５２を投影することにより、ユーザの向く方向によって視野が変化する仮想世界の画像を表示させることができる。

ただし加速度センサの出力値には、センサの個体差や基板の取り付け精度に起因して誤差が生じる。そこで一般的には、加速度センサが製造された時点で初期キャリブレーションを実施し、出力値から有効な加速度を得るための補正式を決定しておく。各軸に対する加速度センサの出力値をＡ_ｏｕｔ（Ｘ）、Ａ_ｏｕｔ（Ｙ）、Ａ_ｏｕｔ（Ｚ）とすると、補正式は次のように与えられる。
Ａ（Ｘ）＝Ｓ_Ｘ×Ａ_ｏｕｔ（Ｘ）＋Ｂ_Ｘ
Ａ（Ｙ）＝Ｓ_Ｙ×Ａ_ｏｕｔ（Ｙ）＋Ｂ_Ｙ
Ａ（Ｚ）＝Ｓ_Ｚ×Ａ_ｏｕｔ（Ｚ）＋Ｂ_Ｚ
ここでＳ_Ｘ、Ｓ_Ｙ、Ｓ_Ｚはスケール値、Ｂ_Ｘ、Ｂ_Ｙ、Ｂ_Ｚはバイアス値と呼ばれ、補正データの一部を構成する。

図７は、キャリブレーションにより補正式を求める手法を説明するための図である。キャリブレーションでは、図示するような６方向で加速度センサを治具により固定し、その出力値を取得する。具体的には、Ｘ軸の正方向を垂直上向きおよび下向きとした（ａ）および（ｂ）の状態で、Ｘ軸の出力値Ａ_ｏｕｔ（Ｘ＋）、Ａ_ｏｕｔ（Ｘ−）を取得する。Ｙ軸の正方向を垂直上向きおよび下向きとした（ｃ）および（ｄ）の状態でＹ軸の出力値Ａ_ｏｕｔ（Ｙ＋）、Ａ_ｏｕｔ（Ｙ−）を計測する。Ｚ軸の正方向を垂直上向きおよび下向きとした（ｅ）および（ｆ）の状態でＺ軸の出力値Ａ_ｏｕｔ（Ｚ＋）、Ａ_ｏｕｔ（Ｚ−）を計測する。

例えばＸ軸の加速度Ａ（Ｘ）は、（ａ）の状態において−ｇ、（ｂ）の状態において＋ｇを示すべきであるから、それらの状態について次の式が成り立つ。
−ｇ＝Ｓ_Ｘ×Ａ_ｏｕｔ（Ｘ＋）＋Ｂ_Ｘ
＋ｇ＝Ｓ_Ｘ×Ａ_ｏｕｔ（Ｘ−）＋Ｂ_Ｘ
この連立方程式を解くことにより、スケール値Ｓ_Ｘおよびバイアス値Ｂ_Ｘを求めることができる。Ｙ軸およびＺ軸についても同様である。結果として各軸に対し、スケール値Ｓ_Ｘ、Ｓ_Ｙ、Ｓ_Ｚ、バイアス値Ｂ_Ｘ、Ｂ_Ｙ、Ｂ_Ｚが与えられる。

原理的には、このようなキャリブレーションにより姿勢の取得精度を高めることができる。しかしながら本実施形態のように、当該姿勢を表示画像に反映させる場合、１°程度の僅かな誤差であってもユーザには上述のような違和感を与えることがあり得る。ＨＭＤのような没入感のある表示形態では特に、人体に影響を及ぼすことも考えられる。上記のような初期キャリブレーションを行ってもなお、キャリブレーション時に用いた治具の精度や測定誤差、ＨＭＤ１８への取り付け精度など様々な要因で、そのような僅かな誤差が発生し得る。

そこで、加速度センサをＨＭＤ１８に取り付けた状態においてさらなる補正データを取得しておくことにより、誤差を最小限に抑えるようにする。具体的には加速度センサの取り付け角度に微小な誤差があることを想定し、加速度から得られた姿勢に対し、当該誤差分を相殺するような回転補正を施す。これにより加速度センサの姿勢から、ＨＭＤ１８、ひいては頭部の姿勢を正確に取得する。なお取り付け後の上記要因による誤差は、ジャイロセンサなどモーションセンサ６４に搭載された他のセンサについても同様に生じるため、同じ補正データを用いてそれらの出力値も同様に補正することができる。これにより、顔面が向いている方向ベクトルｖ等をより高精度に取得できる。図８は、回転補正を行うための原理を説明するための図である。まず加速度センサをＨＭＤ１８に搭載した状態で、図７の（ａ）〜（ｆ）の各方向に対応するようにＨＭＤ１８を固定したうえで、加速度センサの３方向の軸の出力値を取得する。

それらの出力値を上述のスケール値Ｓ_Ｘ、Ｓ_Ｙ、Ｓ_Ｚおよびバイアス値Ｂ_Ｘ、Ｂ_Ｙ、Ｂ_Ｚを用いて補正する。加速度センサの取り付けに誤差がなければ、上記初期キャリブレーションと同様の状態であるため、補正後の加速度Ａ（Ｘ）、Ａ（Ｙ）、Ａ（Ｚ）は、図７の（ａ）、（ｂ）の状態ではＸ軸方向、（ｃ）、（ｄ）の状態ではＹ軸方向、（ｅ）、（ｆ）ではＺ軸方向で、＋ｇまたは−ｇのいずれかを示し、それ以外の軸方向では０を示す。一方、誤差があれば、ＨＭＤ１８を図７の（ａ）〜（ｆ）に対応するように固定していても加速度センサが微少量傾いていることにより軸が垂直方向から角度を有し、結果として加速度はそれ以外の値を示す。

すなわち当該加速度から、ＨＭＤ１８の本来の座標軸を重力ベクトルに合わせたときの６態様における、加速度センサの軸の傾きが加速度ベクトルとして得られることになる。当該軸の傾き角は、各態様で得られた加速度Ａ（Ｘ）、Ａ（Ｙ）、Ａ（Ｚ）と、上記（式１）の関係を有する。ここで、ＨＭＤ１８を図７の（ａ）〜（ｆ）に対応するように固定したときの６態様における、加速度センサが示す加速度ベクトルをそれぞれ、Ｖ（Ｘ＋）、Ｖ（Ｘ−）、Ｖ（Ｙ＋）、Ｖ（Ｙ−）、Ｖ（Ｚ＋）、（Ｚ−）とする。図８ではそれらの状態を統合し、ＨＭＤ１８の座標軸であるＸ_Ｈ軸、Ｙ_Ｈ軸、Ｚ_Ｈ軸に対する各加速度ベクトルの傾きを同時に示している。ここで、図７の（ａ）と（ｂ）はθが１８０°の差を有するため、原理的には、加速度ベクトルＶ（Ｘ＋）と加速度ベクトルＶ（Ｘ−）は逆方向で同一の直線上に乗ることになる。これが加速度センサのＸ軸を構成する。

同様に、加速度ベクトルＶ（Ｙ＋）と加速度ベクトルＶ（Ｙ−）が加速度センサのＹ軸を、加速度ベクトルＶ（Ｚ＋）と加速度ベクトルＶ（Ｚ−）が加速度センサのＺ軸を構成する。加速度センサに取り付け誤差がなければ、そのＸ軸、Ｙ軸、Ｚ軸は、ＨＭＤ１８の座標軸とそれぞれ一致するが、加速度センサが僅かに傾いているなどした場合、Ｘ軸、Ｙ軸、Ｚ軸の直交座標は、ＨＭＤ１８の直交座標に対し、その傾き分だけ回転した状態となる。そこでこの誤差角度σ_θ、σ_ψ、σ_φをあらかじめ求めておき補正データ記憶部８４に格納しておく。

運用時には、姿勢算出部８６が、加速度センサの出力値に基づく加速度から式１により姿勢を求め、さらに各角度から当該誤差分を差し引くことにより、ＨＭＤ１８、ひいては頭部を主体とした姿勢を正確に算出する。その他のセンサが示す角度情報も同様に補正する。ただし取り付け誤差以外の要因により、加速度センサの同一軸を構成する加速度ベクトルの直線性や軸相互の直交性が得られない場合がある。例えば加速度ベクトルＶ（Ｚ＋）と加速度ベクトルＶ（Ｚ−）が直線を構成していなかったり、どちらかのベクトルがＸ軸やＹ軸と明らかに直交していなかったりすることがあり得る。

この場合、加速度ベクトルをそのまま回転させても、ＨＭＤ１８の直交する座標軸と一致しないことになる。これに対する方策として、このような加速度ベクトルを誤差角度σ_θ、σ_ψ、σ_φの算出から除いてもよい。例えば精度が悪いと見込まれる１軸を直線性、直交性より特定し、除く２軸のみを回転させてＨＭＤ１８の対応する軸と一致するように２つの誤差角度を求めてもよい。ゲームなどの情報処理の内容によって、角度変化が大きい軸が限定的である場合は、そのような軸を優先してＨＭＤ１８の軸と合わせるように誤差角度を求めておくことにより、姿勢検出精度を実効的に向上させることができる。

あるいは加速度ベクトルごとに、ＨＭＤ１８の対応する軸とのなす角度を取得し、軸ごとの平均値を誤差角度としてもよい。ＨＭＤ１８の軸と最も近くなるときの回転量から誤差角度を算出してもよい。なお同じ軸上に乗るべき加速度ベクトルの直線性や軸相互の直交性から明らかに外れている加速度が得られる軸については、運用時においても姿勢の計算から除外するようにしてもよい。

次にこれまで述べた構成によって実現される動作について説明する。図９は、補正データ更新部８８による補正データの更新処理を含めた、姿勢データ取得部７６の姿勢取得処理の手順を示すフローチャートである。なお姿勢データ取得部７６は、ＨＭＤ１８に搭載されるモーションセンサに含まれる加速度センサ以外のセンサによる計測値から、頭部の角速度などに係る情報を適宜生成したり情報を統合したりしてよいが、ここでは図示を省略している。

まず姿勢算出部８６は、ＨＭＤ１８の加速度センサからの出力値を取得すると（Ｓ１０）、補正データ記憶部８４に格納された補正データを参照して当該出力値を補正する（Ｓ１２）。具体的には各軸に対する出力値を、あらかじめ準備されたスケール値およびバイアス値を含む補正式に代入することで有効な加速度を算出する。この際、情報処理装置１０に複数のＨＭＤ１８を接続可能な環境においては、先にＨＭＤ１８の個体識別情報を取得し、それに対応づけられた補正データを参照する。このことは、スケール値およびバイアス値のみならず角度誤差についても同様である。

次に姿勢算出部８６は、式１を用いて、基準の直交座標系からの傾き角度θ、ψ、φ、すなわち姿勢を算出する（Ｓ１４）。このとき補正データ記憶部８４に格納された誤差角度σ_θ、σ_ψ、σ_φ分だけ回転補正をかけることにより、加速度センサ自体の姿勢から頭部の姿勢を正確に導出する。またその他のセンサの角度に係る出力値も同様に回転補正を施す。このようにして算出した姿勢の情報は情報処理部８０に出力する（Ｓ１６）。一方、補正データ更新部８８は、撮影画像の解析結果として得られたＨＭＤ１８の姿勢に係る情報を画像解析部７８から取得する（Ｓ１８）。この情報は上述のとおり、撮影画像におけるＨＭＤ１８のマーカーの像の個数および位置関係に基づき、コンピュータグラフィックスの技術を応用した幾何計算などにより得られる。

次に補正データ更新部８８は、Ｓ１４で得られたモーションセンサに基づく姿勢と、画像解析の結果として得られた姿勢とを比較し、その差が所定のしきい値以上か否かを判定する（Ｓ２０）。例えば軸ごとに角度を比較し、しきい値以上の差を有する軸があればそれを特定する。そのような軸がなければ処理を終了する（Ｓ２０のＮ）。差がしきい値以上の軸がある場合（Ｓ２０のＹ）、画像解析から得られた姿勢に合致する角度が得られるように補正データ記憶部８４に格納された補正データを更新する（Ｓ２２）。例えば式１の逆算により、画像解析に基づく角度が得られる加速度の値を求め、加速度センサの出力値から当該加速度が得られるようにバイアス値を更新する。ただし補正対象はバイアス値に限らず、スケール値や回転補正に用いる誤差角度を含めてもよい。

Ｓ１０からＳ２２の処理を所定の頻度で繰り返すことにより、継続的にＨＭＤ１８、ひいては頭部の姿勢が得られ、それを表示画像など情報処理の結果に反映させることができる。また運用している段階で補正データが経時変化しても、その影響を最小限にすることができる。なお図示する例では、姿勢の算出および出力処理と補正データの更新処理を直列的に行ったが、実際には両者を独立したタイミングで行ってもよい。例えば画像解析に基づく姿勢情報を所定期間、蓄積し、加速度センサに基づく姿勢との差がしきい値以上となる状態が所定時間以上続いたら補正データを更新するようにしてもよい。

このように、画像解析の結果に基づき姿勢情報を補正する場合に、補正後の姿勢が得られるような補正データを導出して記憶しておき、次回の処理時にはそのデータを採用することにより、姿勢取得の精度を維持できる。また画像解析に基づく姿勢情報との差を短期間で修正するため、経時変化が持続しても１回の補正量が少なくてすみ、時間をかけて大がかりな補正を実施する必要がなくなる。なおこのような経時変化は、加速度センサの製造工程等の影響で、所定の軸に限定して発現する場合がある。

このように他の軸より経時変化の大きい、あるいは測定精度の悪い軸の情報を、モーションセンサの特性として製品情報等から得た場合、または実測により検出した場合、ＨＭＤ１８への取り付け時には、人の認知しやすさを考慮して、当該軸を特定の方向に取り付ける。例えば当該軸を垂直方向とし、水平面に対する角度検出については経時変化を起こりにくくすることにより、最も敏感に認知される水平方向の角度を安定化でき、違和感のない画像表示を長期的に実現できる。

３軸の経時変化量や精度に順序がある場合は、変化量の大きい順や精度の低い順に、垂直方向、前後方向、左右方向など、認知されにくい順に取り付けることにより、加速度センサの特性がもたらす影響を最小限にできる。認知のされにくさ以外に、ゲームなど情報処理の内容によって特定方向の傾きは結果に反映させない、ユーザの動きとして変化が小さい、といった影響の少なさを考慮して取り付け方向を決定してもよい。

以上述べた本実施の形態によれば、モーションセンサを用いて対象物の姿勢を検出する技術において、加速度センサの出力値を加速度に変換するためのスケール値およびバイアス値のほかに、回転誤差を取得し、記憶させておく。運用時にはそれを用いて加速度センサやその他のセンサから得られる角度情報に回転補正をかけることにより、対象物自体の姿勢を正確に取得する。これにより、センサの個体差、取り付け精度、キャリブレーションのための治具の精度など様々な要因によって生じる誤差の影響を最小限に抑えることができる。

ＨＭＤにモーションセンサを取り付け、頭部の動きに応じて視野を変化させて画像を表示させる態様においては、１°程度の誤差でも表示される世界に違和感を覚えやすく、体調にも影響しやすいため、上記のような構成が特に有効となる。また運用時においては、モーションセンサ以外の手段で取得した同じ対象物の姿勢情報と比較して、必要に応じて補正に用いるデータを更新する。例えばモーションセンサをＨＭＤに取り付ける態様においては、ＨＭＤに複数のマーカーを設け、撮影画像におけるそれらの像の個数や位置関係から別途、頭部の姿勢を取得する。

これを用いて補正データを随時、更新することにより、センサ自体の経年変化の影響を抑えることができ、良好な状態を容易に持続させることができる。さらに、他の軸より経時変化が大きかったり測定精度が低かったりする軸があらかじめ判明している場合は、当該軸を垂直方向など、認知のされにくさによって選択した特定方向に配置して取り付ける。これにより、姿勢を反映した視野で表示させた画像への違和感など人への影響を最小限にできる。また比較的安価な加速度センサも利用できるため、システムの製造コストを抑えることもできる。

以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

例えば本実施の形態では、角度誤差に基づく回転補正、画像解析結果を利用した補正データの更新、センサの軸の特性に応じた取り付け方向の決定、を組み合わせて実施する場合を説明したが、それぞれは独立して実施することも可能である。そのようにしても、それぞれの態様により、姿勢情報を安定的かつ高精度に得られる。

８ 情報処理システム、 １０ 情報処理装置、 １２ 撮像装置、 １４ 入力装置、 １６ 平板型ディスプレイ、 １８ ＨＭＤ、 ２２ ＣＰＵ、 ２４ ＧＰＵ、 ３２ 通信部、 ５４ 表示部、 ５６ 音声出力部、 ６２ 通信部、 ６４ モーションセンサ、 ６６ 発光部、 ７２ 入力情報取得部、 ７４ 撮影画像取得部、 ７６ 姿勢データ取得部、 ７８ 画像解析部、 ８０ 情報処理部、 ８２ 出力データ送信部、 ８４ 補正データ記憶部、 ８６ 姿勢算出部、 ９０ 計測部、 ９２ 発光部、 ９４ 出力データ受信部、 ９６ 音声処理部、 ９８ 表示処理部。

Claims (12)

1. 対象物に搭載された加速度センサからの出力値を取得する入力情報取得部と、
   前記出力値に基づき前記加速度センサの軸方向の加速度を算出し、それに基づき当該軸の傾き角を求めることにより対象物の姿勢情報を取得する姿勢データ取得部と、
   前記姿勢情報を用いて情報処理を実施しその結果として生成した出力データを出力する情報処理部と、
   前記対象物に与えた複数の基準の軸と、それぞれに対応する、前記加速度センサの軸との角度誤差を格納する補正データ記憶部と、
   を備え、
   前記姿勢データ取得部は、前記補正データ記憶部に格納された、前記加速度センサの軸ごとの前記角度誤差に基づき、前記加速度センサの姿勢情報を対象物の姿勢情報に補正することを特徴とする情報処理装置。
2. 前記補正データ記憶部は、前記加速度センサの複数の軸を同時に回転させたときに、前記対象物に与えた複数の基準の軸のうち対応する軸とそれぞれ合致するまでの角度の変化量を前記角度誤差として格納することを特徴とする請求項１に記載の情報処理装置。
3. 前記補正データ記憶部は、前記加速度センサを搭載した対象物である装置の個体識別情報に対応づけて前記角度誤差を格納し、
   前記姿勢データ取得部は、前記出力値の取得元の加速度センサを搭載した装置の個体識別情報を取得し、それに基づき対応する前記角度誤差を参照することを特徴とする請求項１または２に記載の情報処理装置。
4. 前記加速度センサ以外の手段により生成された、同一の対象物の姿勢情報を取得し、前記姿勢データ取得部が取得した姿勢情報と比較することにより、当該姿勢データ取得部が前記出力値から姿勢情報を取得するまでに用いる補正のためのデータを更新し、前記補正データ記憶部に更新後のデータを格納する補正データ更新部をさらに備えたことを特徴とする請求項１から３のいずれかに記載の情報処理装置。
5. 前記補正データ更新部は、前記出力値に基づき前記加速度を算出する補正式に用いるパラメータの少なくともいずれかを更新することを特徴とする請求項４に記載の情報処理装置。
6. 前記姿勢データ取得部は、前記対象物に与えた基準の軸を、重力ベクトルの正および負の方向で一致させた状態における前記加速度センサが示す２つの加速度ベクトルを接続してなる線を、前記加速度センサの軸とすることによってあらかじめ算出された前記角度誤差を用いて、姿勢情報の補正を行うことを特徴とする請求項１から５のいずれかに記載の情報処理装置。
7. 前記姿勢データ取得部は、前記加速度センサと同梱された、角度に係る値を計測する別のセンサの出力値を、前記角度誤差に基づき補正したうえ、前記姿勢情報と統合することを特徴とする請求項１から６のいずれかに記載の情報処理装置。
8. ヘッドマウントディスプレイと、当該ヘッドマウントディスプレイと通信を確立し表示画像のデータを生成する情報処理装置と、を含み、
   前記情報処理装置は、
   前記ヘッドマウントディスプレイに搭載された加速度センサからの出力値を取得する入力情報取得部と、
   前記出力値に基づき前記加速度センサの軸方向の加速度を算出し、それに基づき当該軸の傾き角を求めることにより前記ヘッドマウントディスプレイの姿勢情報を取得する姿勢データ取得部と、
   前記姿勢情報を用いて、姿勢に応じて変化する視野を有する表示画像のデータを生成し前記ヘッドマウントディスプレイに出力する情報処理部と、
   前記ヘッドマウントディスプレイに与えた複数の基準の軸と、それぞれに対応する、前記加速度センサの軸との角度誤差を格納する補正データ記憶部と、
   を備え、
   前記姿勢データ取得部は、前記補正データ記憶部に格納された、前記加速度センサの軸ごとの前記角度誤差に基づき、前記加速度センサの姿勢情報を前記ヘッドマウントディスプレイの姿勢情報に補正することを特徴とする情報処理システム。
9. 前記加速度センサは、軸ごとに得られた特性に応じた向きで前記ヘッドマウントディスプレイに取り付けられていることを特徴とする請求項８に記載の情報処理システム。
10. 前記加速度センサは、出力値の経時変化が他の軸より大きい軸が、ユーザが装着した状態における前記ヘッドマウントディスプレイの垂直方向となるように取り付けられていることを特徴とする請求項９に記載の情報処理システム。
11. 対象物に搭載された加速度センサからの出力値を取得するステップと、
    前記出力値に基づき前記加速度センサの軸方向の加速度を算出し、それに基づき当該軸の傾き角を求めることにより対象物の姿勢情報を取得するステップと、
    前記姿勢情報を用いて情報処理を実施しその結果として生成した出力データを他の装置へ出力するステップと、
    を含み、
    前記姿勢情報を取得するステップは、前記対象物に与えた複数の基準の軸と、それぞれに対応する、前記加速度センサの軸との角度誤差をメモリから読み出し、前記加速度センサの軸ごとの前記角度誤差に基づき、前記加速度センサの姿勢情報を対象物の姿勢情報に補正することを特徴とする情報処理装置による情報処理方法。
12. 対象物に搭載された加速度センサからの出力値を取得する機能と、
    前記出力値に基づき前記加速度センサの軸方向の加速度を算出し、それに基づき当該軸の傾き角を求めることにより対象物の姿勢情報を取得する機能と、
    前記姿勢情報を用いて情報処理を実施しその結果として生成した出力データを出力する機能と、
    をコンピュータに実現させ、
    前記姿勢情報を取得する機能は、前記対象物に与えた複数の基準の軸と、それぞれに対応する、前記加速度センサの軸との角度誤差をメモリから読み出し、前記加速度センサの軸ごとの前記角度誤差に基づき、前記加速度センサの姿勢情報を対象物の姿勢情報に補正することを特徴とするコンピュータプログラム。