JP6545270B2 - 情報処理システム、情報処理装置、出力装置、プログラム及び記録媒体 - Google Patents

Description

本発明は、情報処理システム、情報処理装置、出力装置、プログラム及び記録媒体に関する。

近年、例えばヘッドマウントディスプレイやスマートグラスなどのように、ユーザが頭部に装着して使用する出力装置がある。このような出力装置は、ユーザの左右の目のそれぞれの前に配される一対のディスプレイを備え、当該ディスプレイに表示した画像をユーザに提示する。このような出力装置は、臨場感のある映像をユーザに視認させることができるため、バーチャルリアリティ技術などに利用されている。

こうした出力装置では、その視野角を広くするために、ディスプレイに表示した画像を、敢えて歪みの強いレンズを介してユーザの目の前に結像させている。このようなレンズを用いる場合、ディスプレイに表示する画像はユーザに提示する画像そのものではなく、レンズの歪みを考慮して、予め元の画像（ソース画像）に対してレンズの歪みとは逆の歪みを与えた補正画像を生成し、当該補正画像を表示する。これによりレンズを介してユーザに視認される画像がソース画像に対応したものとなる。

しかしながら製造時にこのレンズを取り付ける際の取り付け位置に誤差があり、レンズの光軸とディスプレイの中心とがずれてしまうと、ユーザの左右の目に見えるそれぞれの画像の中心がずれてしまうこととなり、左右の視線方向が交差しない（外向きになる）場合や、視線が内向きとなってしまう場合があった。このため、従来は、意図した距離感がユーザに提示できないという問題点があった。

本発明は上記実情に鑑みて為されたもので、意図した距離感をユーザに提示できる情報処理システム、情報処理装置、出力装置、プログラム及び記録媒体を提供することを、その目的の一つとする。

上記従来例の問題点を解決する本発明は、情報処理システムであって、出力装置と、情報処理装置とを有し、前記出力装置が、ピクセルごとに複数のサブピクセルを含んで構成されるディスプレイ部と、前記ディスプレイ部の表示面側に配されるレンズと、前記レンズの光軸と前記ディスプレイ部の中心との位置のずれを表す組み付け誤差の情報を出力する手段と、を含み、前記情報処理装置が、前記出力装置から前記組み付け誤差の情報を取得し、表示の対象となるソース画像データに基づいて所定の補正を行って生成した補正画像データを、さらに前記取得した組み付け誤差の情報に基づいて平行移動した第２の補正画像データを生成する補正画像データ生成手段と、前記補正画像データ生成手段が生成した第２の補正画像データを前記出力装置に出力する手段と、を含み、前記出力装置が、前記情報処理装置が出力する第２の補正画像データを、前記ディスプレイ部に表示することとしたものである。

本発明によると、意図した距離感をユーザに提示できる。

本発明の実施の形態に係る情報処理システムの例を表す構成ブロック図である。 本発明の実施の形態に係る出力装置の例を表す構成ブロック図である。 本発明の実施の形態に係る出力装置においてレンズの組み付け誤差を測定する方法の例を表す説明図である。 本発明の実施の形態に係る出力装置のディスプレイ部のサブピクセルの配置位置の例を表す説明図である。 本発明の実施の形態に係る情報処理装置の例を表す機能ブロック図である。 本発明の実施の形態に係る情報処理装置の処理例を表すフローチャート図である。

本発明の実施の形態について図面を参照しながら説明する。本発明の実施の形態に係る情報処理システム１０は、図１に例示するように、情報処理装置１１と、出力装置１２とを含んで構成される。

本実施形態の一例では、情報処理装置１１は、例えば家庭用ゲーム機等のコンピュータ利用機器であり、具体的には図１に示したように、制御部２１と、記憶部２２と、インタフェース部２３と、を含んで構成されている。また出力装置１２は、例えばヘッドマウントディスプレイであり、図２に模式的に例示するように、制御部３１と、記憶部３２と、入出力インタフェース部３３と、一対のディスプレイ部３４Ｌ，３４Ｒと、一対のレンズ３５Ｌ，３５Ｒとを含んで構成されている。

また本実施の形態では、出力装置１２は、その工場出荷時に一対のディスプレイ部３４Ｌ，３４Ｒ（以下、区別の必要がないときにはディスプレイ部３４とまとめて記す）、及びレンズ３５（左目側のレンズ３５Ｌと右目側のレンズ３５Ｒとのそれぞれ）の組み付け誤差が測定される。この測定は広く知られた方法で行うことができる。具体的には、この測定は次のように行われる。まず、左目用、右目用のそれぞれの画像を表示するディスプレイ部３４Ｌ，３４Ｒと、レンズ３５とを組み付けた後、各ディスプレイ部３４Ｌ，３４Ｒの中心に、当該中心の位置ｃで交差する一対の線分（十字）の画像（マーカー）を表示する。

次にディスプレイ部３４Ｌとレンズ３５Ｌ、及びディスプレイ部３４Ｒとレンズ３５Ｒのそれぞれの理想的な組み付け位置の中心軸Ａに対し、その光軸とを一致させた状態に設置した測定用カメラでそれぞれのディスプレイ部３４Ｌ，３４Ｒに表示されたマーカーを撮影する。

そしてこうして撮影されたマーカーの画像で表される交差点ｃが、測定用カメラの光軸に相当する位置からどれだけずれているかを測定する。

これにより、レンズ３５Ｌ，３５Ｒを通じて視認される、対応するディスプレイ部３４Ｌ，３４Ｒに表示された画像と、視点とのずれｄ（Δｘ，Δｙ）（ディスプレイ部３４の座標で表される）が測定される。なおここではピクセルの行方向をＸ軸、当該Ｘ軸に直交する方向をＹ軸としている。そして当該測定した結果（左目側のレンズ３５Ｌ及びディスプレイ部３４Ｌと、右目側のレンズ３５Ｒ及びディスプレイ部３４Ｒとのそれぞれの組についての測定結果）を組み付け誤差の情報として記憶部３２に格納する。

情報処理装置１１の制御部２１は、記憶部２２に格納されたプログラムに従って動作するＣＰＵや画像処理モジュールであるＧＰＵ等のプログラム制御デバイスである。本実施の形態の制御部２１は、出力装置１２における表示の対象となるソース画像データを受け入れ、当該受け入れたソース画像データに基づいて、所定の変換式により出力装置１２が備えるレンズ３５の歪みを補正した補正画像データを生成する。またこの制御部２１は、当該生成した補正画像データを、出力装置１２に対して出力する。この制御部２１の動作については、後に詳しく述べる。

記憶部２２は、メモリデバイスやディスクデバイス等であり、制御部２１によって実行されるプログラムが格納される。このプログラムは、ＤＶＤ−ＲＯＭ等の、コンピュータ可読かつ非一時的な記録媒体に格納されて提供され、この記憶部２２に格納されたものであってもよい。また、この記憶部２２は、制御部２１のワークメモリとしても動作し、例えば処理の対象となる画像データを格納するフレームバッファ領域が設定されていてもよい。

インタフェース部２３は、例えばＨＤＭＩ（登録商標）（High-Definition Multimedia
Interface）ポートや、ＵＳＢポート等であり、出力装置１２に接続される。またこのインタフェース部２３は、制御部２１から入力される指示に従い、データ（画像データ等）を出力装置１２へ出力する。またインタフェース部２３は、出力装置１２から入力される情報を制御部２１に出力する。

出力装置１２の制御部３１は、記憶部３２に格納されたプログラムに従って動作するＣＰＵ等のプログラム制御デバイスである。本実施の形態においてこの制御部３１は、情報処理装置１１から入出力インタフェース部３３を介して入力される補正画像データをディスプレイ部３４に出力する処理を行う。またこの制御部３１は、記憶部３２に格納されている組み付け誤差の情報要求を外部（情報処理装置１１等）から受けて、当該要求された組み付け誤差の情報を記憶部３２から読み出して要求元である情報処理装置１１等へ送出する処理を行ってもよい。この制御部３１の動作については、後に述べる。

記憶部３２は、メモリデバイス等であり、制御部３１によって実行されるプログラムが格納される。このプログラムは、ＤＶＤ−ＲＯＭ等の、コンピュータ可読かつ非一時的な記録媒体に格納されて提供され、この記憶部３２に格納されたものであってもよい。また、この記憶部３２は、制御部３１のワークメモリとしても動作し、例えば表示する補正画像データを格納する領域が設定されていてもよい。さらに本実施の形態では既に述べたように、この記憶部３２には、工場出荷時に測定された組み付け誤差の情報が格納されている。

入出力インタフェース部３３は、例えばＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）ポートや、ＵＳＢポート等であり、情報処理装置１１等に接続されている。

一対のディスプレイ部３４Ｌ，３４Ｒは、例えば液晶ディスプレイ等であり、図２に例示するように、ユーザの左右の目のそれぞれに対応して設けられる（以下、区別の必要がない場合は、ディスプレイ部３４とまとめて表記する）。各ディスプレイ部３４はそれぞれ複数のピクセル３４１を含んで構成され、各ピクセル３４１はさらに、Ｒ，Ｇ，Ｂの各色で発光するサブピクセル３４２を備えている。このサブピクセル３４２は、ピクセル３４１ごとに図４（ａ）または図４（ｂ）に例示するような位置に配置されている。ここでの例では、Ｒのサブピクセル３４２ｒの中心は、図４（ａ），図４（ｂ）ともに、ピクセル３４２の中心座標（Ｃx，Ｃy）から（Ｒx，Ｒy）だけ離れた位置（Ｃx＋Ｒx，Ｃy＋Ｒy）に位置している。また、Ｇのサブピクセル３４２ｇの中心もまた、図４（ａ），図４（ｂ）ともに、ピクセル３４２の中心座標（Ｃx，Ｃy）から（Ｇx，Ｇy）だけ離れた位置（Ｃx＋Ｇx，Ｃy＋Ｇy）に位置している。一方、Ｂのサブピクセル３４２ｂの中心は、図４（ａ）ではピクセル３４２の中心座標（Ｃx，Ｃy）から（Ｂx1，Ｂy1）だけ離れた位置（Ｃx＋Ｂx1，Ｃy＋Ｂy1）に位置し、図４（ｂ）ではピクセル３４２の中心座標（Ｃx，Ｃy）から（Ｂx2，Ｂy2）（図４（ａ），（ｂ）の例ではＢx1＝Ｂx2、Ｂy1≠Ｂy2）だけ離れた位置（Ｃx＋Ｂx2，Ｃy＋Ｂy2）に位置する。なお、ここで中心座標は、ピクセル３４１またはサブピクセル３４２の外接矩形の対角線が交わる点などというように、ピクセル３４１またはサブピクセル３４２内の点として予め定めておく。

一対のレンズ３５Ｌ，３５Ｒは、対応するディスプレイ部３４Ｌ，３４Ｒと、当該ディスプレイ部３４Ｌ，３４Ｒに表示される画像を見るユーザの目との間に（つまり、ディスプレイ部３４の表示面側に）配される（以下、区別の必要がない場合は、レンズ３５としてまとめて表記する）。このレンズ３５は、対応するディスプレイ部３４に表示された画像（補正画像データに相当する画像）に所定の歪（例えば方眼面を表示したときに中心部に向って糸巻きの形状に縮む糸巻き歪）を生じさせて、ユーザの目に認識させる。

ここで情報処理装置１１の制御部２１の動作について説明する。制御部２１は、機能的には図５に例示するように、ソース画像受入部４１と、補正画像生成部４２と、出力部４３とを含んで構成されている。ここでソース画像受入部４１は、左目用と右目用の一対のソース画像データの入力を受け入れる。本実施の形態の一例では、制御部２１は、ゲームのための処理等、画像の補正とは異なる処理（他の処理）も並列して（時分割的に）実行しており、このソース画像受入部４１は、当該他の処理からソース画像データを受け入れることとしてもよい。

補正画像生成部４２は、一対のソース画像データのそれぞれに対してレンズ３５の歪を打ち消すための所定の変換式（例えば樽型歪を与える変換の演算式）により定められる変換を施して、補正画像データを生成する。

具体的にこの補正画像生成部４２は、左目用と右目用の一対の補正画像データのそれぞれについて、補正画像データを構成する各ピクセルを順次選択し、選択したピクセルの位置の情報と上記変換式とにより、当該補正画像データ上のピクセルに対応するソース画像データ上のピクセル（変換式により選択した補正画像データ上のピクセルの位置に写るピクセル）を演算により求め、当該ソース画像上の対応するピクセルの画素値に基づいて、補正画像データ上の選択したピクセルの輝度を決定することで補正画像データを生成する。

また補正画像生成部４２は、出力装置１２に対して組み付け誤差の情報の要求を送出し、当該要求に応答して出力装置１２が出力する組み付け誤差の情報を受け入れて記憶部２２に格納しておく。この組み付け誤差の情報を得るタイミングは、次の処理を行う前までであれば、いつでも構わない。

補正画像生成部４２は、左目側のレンズ３５Ｌ及びディスプレイ部３４Ｌについての組み付け誤差の情報を記憶部２２から読み出して、左目用の補正画像データを、当該読み出した誤差の情報に相当する量だけ平行移動する。すなわち補正用画像生成部４２は、補正画像データのうちディスプレイ部３４Ｌの中心に表示されるべきピクセルが、レンズ３５Ｌを通じて視認される、ユーザの視線の光軸上にあるディスプレイ部３４Ｌのピクセルの位置になるよう左目用の補正画像データ全体を平行移動し、左目用の第２補正画像データを得る。また補正画像生成部４２は、右目側のレンズ３５Ｒ及びディスプレイ部３４Ｒについての組み付け誤差の情報を記憶部２２から読み出して、右目用の補正画像データを、当該読み出した誤差の情報に相当する量だけ平行移動する。つまり補正用画像生成部４２は、補正画像データのうちディスプレイ部３４Ｒの中心に表示されるべきピクセルが、レンズ３５Ｒを通じて視認される、ユーザの視線の光軸上にあるディスプレイ部３４Ｒのピクセルの位置になるよう右目用の補正画像データ全体を平行移動し、右目用の第２補正画像データを得る。

出力部４３は、補正画像生成部４２にて生成した第２の補正画像データを出力する。

［動作］
本実施の形態の情報処理システムは以上の構成を備えており、次のように動作する。

情報処理装置１１の制御部２１は、出力装置１２に対して組み付け誤差の情報の要求を送出し、当該要求に応答して出力装置１２が出力する組み付け誤差の情報を受け入れて記憶部２２に格納する。

そして制御部２１は、ゲームのための処理において生成された、左目用と右目用の一対のソース画像データのそれぞれに対応する補正画像データを格納する領域を記憶部２２に確保する。

制御部２１は、一対の補正画像データのそれぞれについて次の処理を行う。すなわち制御部２１は、補正画像データに含まれるピクセルのそれぞれを順次選択する。制御部２１は選択したピクセルの中心座標を演算する。

制御部２１は、レンズ３５の歪みを打ち消す変換式により当該ピクセルの中心座標に変換されるソース画像データ上の座標を、対応座標として演算により求める。そして制御部２１は、ソース画像データ上で、当該対応座標を中心として所定の範囲にあるピクセル（複数あってもよい）における画素値（選択したサブピクセルの色に対応する画素値の成分）に基づいて、選択されたサブピクセルの輝度を決定する。制御部２１は、この処理をピクセルごとに行うことで、補正画像データに含まれる各ピクセルの画素値を得ていく。また制御部２１はこれらの処理を左目用と右目用とについてそれぞれ行うことで、左目用と右目用の一対の補正画像データを生成する。

また、制御部２１は、左目側のレンズ３５Ｌ及びディスプレイ部３４Ｌについての組み付け誤差の情報を記憶部２２から読み出して、左目用の補正画像データを、当該読み出した誤差の情報に相当する量だけ平行移動して左目用の第２補正画像データを得る。また制御部２１は、右目側のレンズ３５Ｒ及びディスプレイ部３４Ｒについての組み付け誤差の情報を記憶部２２から読み出して、右目用の補正画像データを、当該読み出した誤差の情報に相当する量だけ平行移動して、右目用の第２補正画像データを得る。

そして制御部２１は、当該生成した一対の第２の補正画像データを、インタフェース部２３を介して出力装置１２へ出力する。出力装置１２では、入力された左目用の第２の補正画像データを左目用のディスプレイ部３４Ｌに表示し、右目用の第２の補正画像データを右目用のディスプレイ部３４Ｒに表示する。

これら表示された第２の補正画像データは上述のようにレンズ３５の歪みを打ち消すように補正されたものであり、いずれも、対応するレンズ３５Ｌ，Ｒを介することでレンズ３５の歪を受けて補正による変形と歪による変形とが相殺されて、ソース画像データに相当する画像が、ユーザの目に入ることとなる。また、この例では、ディスプレイ３４やレンズ３５が組み付け時にずれて配されたとしても、レンズ３５を通じたユーザの視線の光軸上に、本来のソース画像データの中心が位置するようディスプレイ３４に表示する画像が補正されているので、ユーザに対して、意図した遠近感を与えることが可能となる。

本実施の形態の例では、出力装置１２のディスプレイ部３４に表示される画像（補正画像データの表す画像）は、出力装置１２ごとにピクセル単位で位置が異なることがある（組み付け時の誤差が偶々一致している出力装置１２同士では同じになる）。

［サブピクセルの中心位置とピクセルの中心位置とがずれていることを考慮した処理］
さらに本実施の形態のある例では、補正画像生成部４２は、レンズ３５の歪みを打ち消す補正を行う際に、サブピクセルの中心位置とピクセルの中心位置とがずれていることを考慮した処理を行ってもよい。

この場合、補正画像生成部４２による補正画像データの生成処理は次のようになる。すなわち補正画像生成部４２は、一対のソース画像データのそれぞれについて次の補正画像データの生成処理を行う。補正画像生成部４２はいずれかのソース画像データについての補正画像データの生成処理を開始すると、図６に例示するように補正画像データを格納する領域を記憶部２２に確保する（Ｓ１）。この領域は、出力装置１２のディスプレイ部３４のピクセル数に合わせて確保される。

補正画像生成部４２は、補正画像データのピクセル３４１の一つを選択する（Ｓ２）。この選択は例えば左上隅のピクセルからスキャンライン順に行えばよい。つまり最も上側にあるピクセルの行において、左から右へとピクセルを順に選択し、次いで次の行（一つ下の行）へ移ってまた左から右へとピクセルを順に選択する…というように選択していけばよい。もっとも、ピクセルの選択はこの順序に限られるものではなく、任意の順に選択してよい。また、ＧＰＵ（Graphics Processing Unit）を利用して、複数のピクセルを並列的に選択して次の処理を行うこととしてもよい。

補正画像データのピクセル３４１の一つを選択すると、補正画像生成部４２は、当該選択したピクセルに含まれるサブピクセル３４２のそれぞれを順次選択する（Ｓ３）。具体的には、Ｒ，Ｇ，Ｂの順など、予め定めた順に選択すればよい。補正画像生成部４２は、処理Ｓ２で選択したピクセル３４１の中心の座標（Ｃx，Ｃy）を用いて、処理Ｓ３で選択したサブピクセル３４２の中心座標の位置を演算する（Ｓ４）。

このサブピクセル３４２の中心座標は、サブピクセル３４２の配置がすべてのピクセル３４１において同じであれば、各サブピクセル３４２の中心座標が、ピクセル３４１の中心座標からどれだけ離れているかを表す情報を予め記憶部２２に格納しておき、当該情報を参照することで演算できる。

またピクセル３４１によって、少なくとも一つのサブピクセル３４２の中心座標が異なる場合（例えば図４（ａ），（ｂ）に例示したように二種類の配置がある場合など）は、配置の種類ごとに、ピクセル３４１の中心座標から各サブピクセル３４２の中心座標がどれだけ離れているかを表す情報を記憶部２２に格納しておくとともに、ピクセル３４１ごとに、ピクセル３４１を特定する情報と、当該情報で特定されるピクセル３４１においてサブピクセル３４２がどの種類の配置となっているかを表す情報とを関連付けて記憶部２２に格納しておく。補正画像生成部４２は、処理Ｓ２にて選択したピクセル３４１における配置の種類を当該情報に基づいて特定し、当該特定した種類の配置における各サブピクセル３４２の中心座標に係る情報（サブピクセル３４２の中心座標がピクセル３４１の中心座標からどれだけ離れているかを表す、サブピクセル３４２の位置の情報）を参照して各サブピクセル３４２の中心座標の位置を演算する。

さらにピクセル３４１によって、少なくとも一つのサブピクセル３４２の中心座標が異なる場合（例えば図４（ａ），（ｂ）に例示したように二種類の配置がある場合など）、ピクセル３４１の各々についての、ピクセル３４１の中心座標から各サブピクセル３４２の中心座標がどれだけ離れているかを表す情報を平均し、各サブピクセル３４２の平均の中心座標を求めて、予め記憶部２２に格納しておいてもよい。この場合、補正画像生成部４２は、処理Ｓ２にて選択したピクセル３４１の中心座標からどれだけ離れているかを表す情報（平均の情報）を記憶部２２から読み出して参照し、各サブピクセル３４２の中心座標の位置を演算する。

補正画像生成部４２は、処理Ｓ４にて演算したサブピクセル３４２の中心座標に対応する、ソース画像データ上の対応座標を演算により求める（Ｓ５）。この演算は、ソース画像データから補正画像データを得るためのレンズ３５の歪みを打ち消す所定の変換式と、処理Ｓ４にて演算されたサブピクセル３４２の中心座標とにより、上記所定の変換式により当該選択したサブピクセル３４２の中心座標に変換されるソース画像データ上の座標を、対応座標として演算により求めるものである。その具体的な演算方法は広く知られているので、ここでの詳しい説明は省略する。

補正画像生成部４２は、求められたソース画像データ上の対応座標を中心として、ソース画像データ上で所定の範囲にあるピクセル（複数あってもよい）における画素値（処理Ｓ３で選択されたサブピクセル３４２の色に対応する画素値の成分）に基づいて、処理Ｓ３で選択されたサブピクセル３４２の輝度を決定する（Ｓ６）。例えば処理Ｓ３で選択されたサブピクセル３４２の色がＲ（赤）であれば、ここではソース画像データ上の対応座標を中心としてソース画像データ上で所定の範囲にあるピクセルの画素値の赤色成分（ＲＧＢ値のうちＲの値）に基づいて、処理Ｓ３で選択されたサブピクセル３４２の輝度を決定する。

一般に、処理Ｓ５により求められる対応座標の値はいずれかのピクセルの中心には位置しないので、ここでの輝度の決定は、求められたソース画像データ上の対応座標を中心として所定の範囲にあるピクセルにおける画素値を補間して求めることになる。この補間法には最近傍（ニアレストネイバー）補間、双一次（バイリニア）補間、双三次（バイキュビック）補間等の広く知られたものを用いることができる。一例としてこの処理Ｓ５，Ｓ６に係る演算はOpenCV等のソフトウエアにおいて用いられているものと同様のレンズ歪み補正処理を利用して行うことができる。

補正画像生成部４２は、処理Ｓ３からＳ６を各サブピクセル３４２について繰り返し行う。これにより、処理Ｓ２にて選択したピクセル３４１に含まれる各サブピクセル３４２のそれぞれの輝度が決定され、当該ピクセル３４１の画素値が決定される。すなわち本実施の形態のこの例において特徴的なことの一つは、ピクセルごとではなく、サブピクセルごとにそのピクセル内での位置に基づいてソース画像データ内の対応するピクセルを特定し、当該特定したピクセルの画素値のうちサブピクセルの色の成分を用いて、サブピクセルの輝度を特定することで補正画像データを得ていることである。

補正画像生成部４２は、処理Ｓ２から処理Ｓ６までの処理を、各ピクセル３４１について繰り返し行う。これにより補正画像生成部４２は、補正画像データに含まれる各ピクセル３４１の画素値を得ていく。また補正画像生成部４２は以上の処理を左目用と右目用とについてそれぞれ行うことで、左目用と右目用の一対の補正画像データを生成する。

本実施の形態のこの例による情報処理装置１１により生成された補正画像データでは、サブピクセルの配置が、例えば図４（ａ）または図４（ｂ）に示されたものである場合、Ｒ，Ｇのサブピクセルが縦方向に配されていることから、水平な線に対して非対称となっており、従って水平な線に対して対称な一対の画像をそれぞれソース画像データとした場合に、それぞれから得られる補正画像データは、互いに異なった結果となる。また、ここではディスプレイ及びレンズの組み付け誤差による補正処理と、ピクセル中心とサブピクセル中心とがずれていることに対応する補正処理とを個別に行っているが、これらを一度の補正処理にて行うこととしても構わない。

［変形例］
本実施の形態では、出力装置１２のディスプレイ部３４における各ピクセル内のサブピクセルの位置の情報については記憶部２２に格納されているものとしたが、この、サブピクセルの位置の情報は、例えば出力装置１２のドライバのインストール時に格納されてもよい。

また本実施の形態の別の例では、出力装置１２が接続されたときに、情報処理装置１１が出力装置１２からサブピクセルの位置の情報を取得して、記憶部２２に格納してもよい。この例では、出力装置１２の記憶部３２に、ディスプレイ部３４における各ピクセル内のサブピクセルの位置を表す情報（各ピクセル３４１の中心座標から各サブピクセル３４２の中心座標がどれだけ離れているかを表す情報、またはピクセル３４１の中心座標から各サブピクセル３４２の中心座標が平均してどれだけ離れているかを表す情報）が格納される。この情報は、例えば工場出荷時等に、記憶部３２に書き込まれる。

そして出力装置１２の制御部３１は、外部（情報処理装置１１等）から、サブピクセルの位置の情報の要求を受けると、当該要求に応答して、記憶部３２に格納されている、上記サブピクセルの位置の情報を要求元となった情報処理装置１１等に出力する。

この例においては、情報処理装置１１は、出力装置１２が接続されたタイミングなど、補正画像データの生成処理を行うよりも前の段階でサブピクセルの位置の情報を出力装置１２から取得して記憶部２２に格納し、補正画像データの生成処理に用いる。

なお、この例において出力装置１２に対して要求を出力しても、サブピクセルの位置の情報が取得できない場合は、ソース画像データの各ピクセルの中心にすべてのサブピクセルの中心座標があるものとして、補正画像データの生成処理を行ってもよい。この場合、具体的には、従来一般的な画像変形の処理を用いることができるので、ここでの詳しい説明は省略する。

また、ここまでの説明では、ディスプレイやレンズの組み付け誤差を考慮した処理を行う場合、出力装置１２が要求に応じて、工場出荷時に書き込まれたレンズ３５の組み付け誤差の情報を情報処理装置１１に送出するものとしていたが、本実施の形態はこれに限られない。

すなわち、本実施の形態では、出力装置１２がレンズ３５の光軸と対応するディスプレイ部３４の中心との位置のずれを測定する装置を備えていてもよい。この装置は具体的には、広く知られたオートコリメータを用いるもので構わない。なお、本実施の形態では、組み付け誤差の測定は、理想的な光軸に対する位置ずれを測定するものであっても構わないし、レンズ光軸とディスプレイ部３４の中心との相対的な位置ずれを測定するものであってもよい。

この例では、出力装置１２の制御部３１は、外部（情報処理装置１１等）から組み付け誤差の情報の要求を受けて、記憶部３２に格納されている組み付け誤差の情報を読み出す代わりに、各レンズ３５Ｌ，３５Ｒの光軸と、対応するディスプレイ部３４Ｌ，３４Ｒの中心との位置のずれを測定し、当該測定した組み付け誤差の情報を、要求元である情報処理装置１１等に対して出力する。

このようにすると、工場出荷後、例えばユーザが出力装置１２を落とすなどして衝撃を与えたときにディスプレイ３４や、レンズ３５の位置がずれたとしても、当該位置ずれを考慮した処理を行うことが可能となる。

１０ 情報処理システム、１１ 情報処理装置、１２ 出力装置、２１，３１ 制御部、２２，３２ 記憶部、２３ インタフェース部、３３ 入出力インタフェース部、３４
ディスプレイ部、３５ レンズ、４１ ソース画像受入部、４２ 補正画像生成部、４３ 出力部、３４１ ピクセル、３４２ サブピクセル。

Claims (7)

1. ヘッドマウントディスプレイと、情報処理装置とを有し、
   前記ヘッドマウントディスプレイが、
   ピクセルごとに複数のサブピクセルを含んで構成されるディスプレイ部と、
   前記ディスプレイ部の表示面側に配されるレンズと、
   前記レンズの光軸と前記ディスプレイ部の中心との位置のずれを表す組み付け誤差の情報を出力する手段と、を含み、
   前記情報処理装置が、
   前記ヘッドマウントディスプレイから前記組み付け誤差の情報を取得し、
   表示の対象となるソース画像データに基づいて所定の補正を行って生成した補正画像データを、さらに前記取得した組み付け誤差の情報に基づいて平行移動した第２の補正画像データを生成する補正画像データ生成手段と、
   前記補正画像データ生成手段が生成した第２の補正画像データを前記ヘッドマウントディスプレイに出力する手段と、を含み、
   前記ヘッドマウントディスプレイが、前記情報処理装置が出力する第２の補正画像データを、前記ディスプレイ部に表示する情報処理システム。
2. ユーザの左右の目に対応して設けられ、それぞれがピクセルごとに複数のサブピクセルを含んで構成される一対のディスプレイ部と、前記ディスプレイ部のそれぞれの表示面側に配される左目側のレンズと右目側のレンズとを有し、前記それぞれのレンズの光軸と、対応する前記ディスプレイ部の中心との位置のずれを表す組み付け誤差の情報を出力するヘッドマウントディスプレイに接続され、前記それぞれのディスプレイ部に表示される画像を生成する情報処理装置であって、
   表示の対象となるソース画像データに基づいて所定の補正を行って生成した左目用と右目用の一対の補正画像データのそれぞれを、さらに対応する前記組み付け誤差の情報に基づいて平行移動した、左目用と右目用の一対の第２の補正画像データを生成する補正画像データ生成手段と、
   前記補正画像データ生成手段が生成した一対の第２の補正画像データを、前記ヘッドマウントディスプレイに出力する手段と、
   を含む情報処理装置。
3. ピクセルごとに複数のサブピクセルを含んで構成されるディスプレイ部と、
   前記ディスプレイ部の表示面側に配されるレンズと、
   前記レンズの光軸と前記ディスプレイ部の中心との位置のずれを表す組み付け誤差の情報を出力する手段と、を有するヘッドマウントディスプレイ。
4. 請求項３に記載のヘッドマウントディスプレイであって、
   測定により得られた、前記レンズの光軸と前記ディスプレイ部の中心との位置のずれを表す組み付け誤差の情報を記憶する記憶手段をさらに備え、
   前記組み付け誤差の情報を出力する手段は、前記記憶手段に格納された組み付け誤差の情報を出力するヘッドマウントディスプレイ。
5. 請求項３に記載のヘッドマウントディスプレイであって、
   前記レンズの光軸と前記ディスプレイ部の中心との位置のずれを表す組み付け誤差を測定する測定手段をさらに有し、
   前記組み付け誤差の情報を出力する手段は、当該測定手段により測定された組み付け誤差の情報を出力するヘッドマウントディスプレイ。
6. ユーザの左右の目に対応して設けられ、それぞれがピクセルごとに複数のサブピクセルを含んで構成される一対のディスプレイ部と、前記ディスプレイ部のそれぞれの表示面側に配される左目側のレンズと右目側のレンズとを有し、前記それぞれのレンズの光軸と、対応する前記ディスプレイ部の中心との位置のずれを表す組み付け誤差の情報を出力するヘッドマウントディスプレイに接続され、前記それぞれのディスプレイ部に表示される画像を生成する情報処理装置を、
   表示の対象となるソース画像データに基づいて所定の補正を行って生成した左目用と右目用の一対の補正画像データのそれぞれを、さらに対応する前記組み付け誤差の情報に基づいて平行移動した、左目用と右目用の一対の第２の補正画像データを生成する補正画像データ生成手段と、
   前記補正画像データ生成手段が生成した一対の第２の補正画像データを、前記ヘッドマウントディスプレイに出力する手段と、
   として機能させるプログラム。
7. ユーザの左右の目に対応して設けられ、それぞれがピクセルごとに複数のサブピクセルを含んで構成される一対のディスプレイ部と、前記ディスプレイ部のそれぞれの表示面側に配される左目側のレンズと右目側のレンズとを有し、前記それぞれのレンズの光軸と、対応する前記ディスプレイ部の中心との位置のずれを表す組み付け誤差の情報を出力するヘッドマウントディスプレイに接続され、前記それぞれのディスプレイ部に表示される画像を生成する情報処理装置を、
   表示の対象となるソース画像データに基づいて所定の補正を行って生成した左目用と右目用の一対の補正画像データのそれぞれを、さらに対応する前記組み付け誤差の情報に基づいて平行移動した、左目用と右目用の一対の第２の補正画像データを生成する補正画像データ生成手段と、
   前記補正画像データ生成手段が生成した一対の第２の補正画像データを、前記ヘッドマウントディスプレイに出力する手段と、
   として機能させるプログラムを格納した、コンピュータ可読な記録媒体。

Images