JP6649010B2

JP6649010B2 - 情報処理装置

Info

Publication number: JP6649010B2
Application number: JP2015165084A
Authority: JP
Inventors: 友博大戸
Original assignee: Sony Interactive Entertainment Inc
Current assignee: Sony Interactive Entertainment Inc
Priority date: 2015-08-24
Filing date: 2015-08-24
Publication date: 2020-02-19
Anticipated expiration: 2035-08-24
Also published as: JP2017046065A

Description

本発明は、映像表示装置に立体映像を表示させる情報処理装置、映像表示システム、映像表示装置の制御方法、及びプログラムに関する。

ユーザーの左目に左目用画像、右目には左目用画像とは異なる右目用画像を閲覧させることで、視差を利用した立体映像の表示を実現する映像表示装置が知られている。

上述した映像表示装置が、立体視のために用意される画像を傾けた状態で表示した場合、左目用画像と右目用画像とで画像内に写っている同じ物体の高さ方向の位置がずれてしまう。そうすると、垂直視差が生じるため、ユーザーがその物体の奥行きを正しく認識できなくなり、違和感を感じるおそれがある。

本発明は上記実情を考慮してなされたものであって、その目的の一つは、映像表示装置に傾けた状態の画像が表示される場合に、ユーザーが感じる違和感を軽減することのできる情報処理装置、映像表示システム、映像表示装置の制御方法、及びプログラムを提供することにある。

本発明に係る情報処理装置は、立体映像を表示する映像表示装置と接続される情報処理装置であって、撮影空間内を二つの撮影位置から見た景色を表す二つの撮影画像を取得する取得部と、前記取得した二つの撮影画像に基づいて二つの表示画像を描画して、立体映像として前記映像表示装置に表示させる表示画像描画部と、前記表示画像内におけるユーザーの注視点を特定する注視点特定部と、を含み、前記表示画像描画部は、前記二つの撮影画像が表す景色を傾けた状態を表す前記二つの表示画像を描画する場合に、前記特定された注視点の位置において、前記二つの撮影画像内で互いに対応する対応点の高さ方向のずれを低減させるように、前記二つの表示画像を描画することを特徴とする。

また、本発明に係る映像表示システムは、立体映像を表示する映像表示装置と、当該映像表示装置に接続される情報処理装置と、を含む映像表示システムであって、前記情報処理装置は、撮影空間内を二つの撮影位置から見た景色を表す二つの撮影画像を取得する取得部と、前記取得した二つの撮影画像に基づいて二つの表示画像を描画する表示画像描画部と、前記表示画像内におけるユーザーの注視点を特定する注視点特定部と、を含み、前記映像表示装置は、前記表示画像描画部が描画した二つの表示画像を立体映像として表示し、前記表示画像描画部は、前記二つの撮影画像が表す景色を傾けた状態を表す前記二つの表示画像を描画する場合に、前記特定された注視点の位置において、前記二つの撮影画像内で互いに対応する対応点の高さ方向のずれを低減させるように、前記二つの表示画像を描画することを特徴とする。

また、本発明に係る映像表示装置の制御方法は、立体映像を表示する映像表示装置の制御方法であって、撮影空間内を二つの撮影位置から見た景色を表す二つの撮影画像を取得する取得ステップと、前記取得した二つの撮影画像に基づいて二つの表示画像を描画して、立体映像として前記映像表示装置に表示させる表示画像描画ステップと、前記表示画像内におけるユーザーの注視点を特定する注視点特定ステップと、を含み、前記表示画像描画ステップでは、前記二つの撮影画像が表す景色を傾けた状態を表す前記二つの表示画像を描画する場合に、前記特定された注視点の位置において、前記二つの撮影画像内で互いに対応する対応点の高さ方向のずれを低減させるように、前記二つの表示画像を描画することを特徴とする。

また、本発明に係るプログラムは、立体映像を表示する映像表示装置と接続されるコンピュータを、撮影空間内を二つの撮影位置から見た景色を表す二つの撮影画像を取得する取得手段、前記取得した二つの撮影画像に基づいて二つの表示画像を描画して、立体映像として前記映像表示装置に表示させる表示画像描画手段、及び、前記表示画像内におけるユーザーの注視点を特定する注視点特定手段、として機能させるためのプログラムであって、前記表示画像描画手段は、前記二つの撮影画像が表す景色を傾けた状態を表す前記二つの表示画像を描画する場合に、前記特定された注視点の位置において、前記二つの撮影画像内で互いに対応する対応点の高さ方向のずれを低減させるように、前記二つの表示画像を描画することを特徴とする。このプログラムは、コンピュータ読み取り可能で非一時的な情報記憶媒体に格納されて提供されてよい。

本発明の実施の形態に係る情報処理装置を含んだ映像表示システムの構成を示す構成ブロック図である。本実施形態に係る情報処理装置の機能を示す機能ブロック図である。撮影画像を撮影する際の撮影位置の位置関係を示す図である。視点カメラと仮想スクリーンの位置関係を示す図である。仮想スクリーン上の貼り付け対象領域を示す図である。視点カメラが傾けられた状態における視野範囲を示す図である。視点カメラが傾けられた状態において表示画像内で生じる被写体の高さ方向のずれを説明する図である。本実施形態に係る情報処理装置が実行する処理の流れの一例を示す図である。全天周の景色を含んだ撮影画像に基づいて表示画像を描画する場合の視点カメラと仮想スクリーンの位置関係を示す図である。

以下、本発明の実施形態について、図面に基づき詳細に説明する。

図１は、本発明の一実施形態に係る情報処理装置１０を含む映像表示システム１の構成を示す構成ブロック図である。同図に示されるように、映像表示システム１は、情報処理装置１０と、操作デバイス２０と、カメラ２５と、中継装置３０と、映像表示装置４０と、を含んで構成されている。

情報処理装置１０は、映像表示装置４０が表示すべき映像を供給する装置であって、例えば家庭用ゲーム機、携帯型ゲーム機、パーソナルコンピューター、スマートフォン、タブレット等であってよい。図１に示されるように、情報処理装置１０は、制御部１１と、記憶部１２と、インタフェース部１３と、を含んで構成される。

制御部１１は、ＣＰＵ等のプロセッサーを少なくとも一つ含み、記憶部１２に記憶されているプログラムを実行して各種の情報処理を実行する。なお、本実施形態において制御部１１が実行する処理の具体例については、後述する。記憶部１２は、ＲＡＭ等のメモリデバイスを少なくとも一つ含み、制御部１１が実行するプログラム、及び当該プログラムによって処理されるデータを格納する。

インタフェース部１３は、操作デバイス２０、カメラ２５、及び中継装置３０との間のデータ通信のためのインタフェースである。情報処理装置１０は、インタフェース部１３を介して有線又は無線のいずれかで操作デバイス２０、カメラ２５及び中継装置３０のそれぞれと接続される。具体例として、インタフェース部１３は、情報処理装置１０が供給する映像や音声を中継装置３０に送信するために、ＨＤＭＩ（High-Definition Multimedia Interface：登録商標）などのマルチメディアインタフェースを含んでよい。また、中継装置３０経由で映像表示装置４０から各種の情報を受信したり、制御信号等を送信したりするために、ＵＳＢ等のデータ通信インタフェースを含んでよい。また、インタフェース部１３は、操作デバイス２０に対するユーザーの操作入力の内容を示す信号を受信するために、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＵＳＢ等のデータ通信インタフェースを含んでいる。さらにインタフェース部１３は、カメラ２５によって撮像された画像のデータを受信するために、ＵＳＢ等のデータ通信インタフェースを含んでいる。

操作デバイス２０は、家庭用ゲーム機のコントローラ等であって、ユーザーが情報処理装置１０に対して各種の指示操作を行うために使用される。操作デバイス２０に対するユーザーの操作入力の内容は、有線又は無線のいずれかにより情報処理装置１０に送信される。なお、操作デバイス２０は情報処理装置１０の筐体表面に配置された操作ボタンやタッチパネル等を含んでもよい。カメラ２５は、本映像表示システム１を利用するユーザーの前方に設置され、ユーザーが装着する映像表示装置４０を含んだ映像を撮像する。

中継装置３０は、有線又は無線のいずれかにより映像表示装置４０と接続されており、情報処理装置１０から供給される映像のデータを受け付けて、受け付けたデータに応じた映像信号を映像表示装置４０に対して出力する。このとき中継装置３０は、必要に応じて、供給された映像データに対して、映像表示装置４０の光学系によって生じる歪みを補正する処理などを実行し、補正された映像信号を出力してもよい。なお、中継装置３０から映像表示装置４０に供給される映像信号は、左目用映像、及び右目用映像の二つの映像を含んでいる。また、中継装置３０は、映像データ以外にも、音声データや制御信号など、情報処理装置１０と映像表示装置４０との間で送受信される各種の情報を中継する。

映像表示装置４０は、中継装置３０から入力される映像信号に応じた映像を表示し、ユーザーに閲覧させる。本実施形態では、映像表示装置４０はユーザーが頭部に装着して使用する映像表示装置であって、両目での映像の閲覧に対応しているものとする。すなわち映像表示装置４０は、ユーザーの右目及び左目それぞれの目の前に映像を表示する。また、映像表示装置４０は両眼視差を利用した立体映像の表示を行うものとする。図２に示すように、映像表示装置４０は、映像表示素子４１、光学素子４２、発光素子４３、モーションセンサー４４、及び通信インタフェース４５を含んで構成される。

映像表示素子４１は、有機ＥＬ表示パネルや液晶表示パネルなどであって、中継装置３０から供給される映像信号に応じた映像を表示する。本実施形態において映像表示素子４１は、左目用映像、及び右目用映像の２つの映像を表示する。なお、映像表示素子４１は、左目用映像及び右目用映像を並べて表示する１つの表示素子であってもよいし、それぞれの映像を独立に表示する２つの表示素子によって構成されてもよい。また、公知のスマートフォン等を映像表示素子４１として用いてもよい。なお、映像表示素子４１は、立体視を実現するために、左目用映像及び右目用映像として互いに異なる映像を表示するものとする。

光学素子４２は、ホログラムやプリズム、ハーフミラーなどであって、ユーザーの目の前に配置され、映像表示素子４１が表示する映像の光を透過又は屈折させて、ユーザーの左右それぞれの目に入射させる。具体的に、映像表示素子４１が表示する左目用映像は、光学素子４２を経由してユーザーの左目に入射し、右目用映像は光学素子４２を経由してユーザーの右目に入射する。これによりユーザーは、映像表示装置４０を頭部に装着した状態で、左目用映像を左目で、右目用映像を右目で、それぞれ閲覧することができる。なお、本実施形態において映像表示装置４０は、ユーザーが外界の様子を視認することができない非透過型の映像表示装置であるものとする。

発光素子４３は、ＬＥＤ等であって、映像表示装置４０の前面に配置され、情報処理装置１０からの指示に応じて発光する。この発光素子４３の光をカメラ２５で撮影することによって、情報処理装置１０はカメラ２５の視野内における映像表示装置４０の位置を特定することができる。すなわち、情報処理装置１０は発光素子４３の光を利用して映像表示装置４０の位置や傾きの変化をトラッキングすることができる。なお、発光素子４３は複数配置されてもよい。

モーションセンサー４４は、映像表示装置４０の位置や向き、動きに関する各種の情報を測定する。例えばモーションセンサー４４は、加速度センサー、ジャイロスコープ、又は地磁気センサーなどを含んでよい。モーションセンサー４４の測定結果は、中継装置３０を経由して情報処理装置１０に送信される。情報処理装置１０は、映像表示装置４０の動きや向きの変化を特定するために、このモーションセンサー４４の測定結果を用いることができる。具体的に情報処理装置１０は、加速度センサーの測定結果を用いることで、映像表示装置４０の鉛直方向に対する傾きや平行移動を検出できる。また、ジャイロスコープや地磁気センサーの測定結果を用いることで、映像表示装置４０の回転運動を検出できる。

通信インタフェース４５は、中継装置３０との間でデータ通信を行うためのインタフェースである。例えば映像表示装置４０が中継装置３０との間で無線ＬＡＮやＢｌｕｅｔｏｏｔｈなどの無線通信によりデータの送受信を行う場合、通信インタフェース４５は通信用のアンテナ、及び通信モジュールを含む。また、通信インタフェース４５は、中継装置３０との間で有線によるデータ通信を行うためのＨＤＭＩやＵＳＢ等の通信インタフェースを含んでもよい。

次に、情報処理装置１０が実現する機能について図２を用いて説明する。図２に示すように、情報処理装置１０は、機能的に、撮影画像取得部５１と、表示画像描画部５２と、視点制御部５３と、注視点特定部５４と、を含む。これらの機能は、制御部１１が記憶部１２に記憶されたプログラムを実行することにより実現される。このプログラムは、インターネット等の通信ネットワークを介して情報処理装置１０に提供されてもよいし、光ディスク等のコンピュータ読み取り可能な情報記憶媒体に格納されて提供されてもよい。

撮影画像取得部５１は、撮影空間内を二つの撮影位置から見た景色を表す二つの撮影画像を取得する。ここでは具体的に、撮影空間は実空間であるものとし、撮影画像は実際の景色をカメラによって撮影したものとする。また、二つの撮影位置は、実空間において水平方向に沿って左右に並んだ位置である。この二つの撮影位置のそれぞれに設置したカメラから撮影空間内の被写体を撮影することによって、二つの撮影画像が得られる。以下、二つの撮影位置に配置されるカメラを左撮影カメラＣＬ及び右撮影カメラＣＲとする。また、左撮影カメラＣＬで撮影空間を撮影して得られる撮影画像を左撮影画像ＰＬと表記し、右撮影カメラＣＲで撮影空間を撮影して得られる撮影画像を右撮影画像ＰＲと表記する。また、二つの撮影位置の中点を基準撮影位置Ｒｃと表記する。二つの撮影位置は互いに距離ｄｃだけ離れているものとする。

図３は、二つの撮影カメラにより撮影画像を撮影する様子を示す図であって、二つの撮影カメラを天頂方向から見た状態を示している。図中の破線は撮影カメラの水平画角を示しており、この破線で囲まれた撮影範囲内に存在する被写体が撮影画像に含まれる。なお、この図の例においては二つのカメラの光軸（撮影方向）は互いに平行であることとし、その撮影方向は二つの撮影位置を含む鉛直面に直交する向きになっている。また、ここでは具体例として、撮影画像内に被写体Ｓが含まれるものとし、二つの撮影位置から被写体Ｓまでの撮影方向に沿った距離をｄｘとする。

以下では、二つの撮影画像において撮影空間内の同じ位置が写っている点を対応点という。水平方向に沿って並んだ二つの撮影位置から撮影を行うことで、二つの撮影画像内の対応点は互いに水平方向にずれた位置に表示されることになる。なお、ここでは二つの撮影カメラの撮影方向が一致することとしているので、撮影位置からの距離が遠くなるほど二つの対応点は各撮影画像内の互いに近い位置に配置され、撮影位置からの距離が近くなるほど互いに離れた位置に配置される。この対応点の左右方向のずれによって、両眼視差による立体視が実現される。

表示画像描画部５２は、撮影画像取得部５１が取得した二つの撮影画像に基づいて二つの表示画像を描画して、描画した表示画像を中継装置３０に対して出力することによって映像表示装置４０に表示させる。具体的に表示画像描画部５２は、左撮影画像ＰＬに基づいて左目用表示画像ＤＬを描画し、右撮影画像ＰＲに基づいて右目用表示画像ＤＲを描画する。そして、二つの表示画像を映像表示装置４０に表示させることによって、左目用表示画像ＤＬをユーザーの左目で、右目用表示画像ＤＲを右目で、それぞれ閲覧させる。

本実施形態において表示画像描画部５２は、左目用表示画像ＤＬ及び右目用表示画像ＤＲのそれぞれを、以下のようにして描画する。すなわち、表示画像描画部５２は、仮想空間内に平板状の仮想スクリーンＶＳを配置し、その仮想スクリーンＶＳの少なくとも一部を視野内に含めるような位置に、ユーザーの左右の目に対応する二つの視点カメラを配置する。以下ではこの二つの視点カメラを左視点カメラＶＬ及び右視点カメラＶＲと表記する。左視点カメラＶＬ及び右視点カメラＶＲは、人の左右の目と同様に互いに所定距離だけ離れて左右に並んで仮想空間内に配置される。以下では、二つの視点カメラの配置位置の中点を基準視点位置Ｒｖと表記する。また、二つの視点カメラ間の距離をｄｖとする。なお、ここでは距離ｄｖは、実空間における二つの撮影位置の間の距離ｄｃに一致するものとする。また、二つの視点カメラの光軸（視線方向）は、撮影カメラの場合と同様に互いに平行であるものとする。

図４は、仮想スクリーンＶＳ、及び二つの視点カメラが配置された仮想空間を上方から見た様子を示している。図中の破線は二つの視点カメラの水平画角を示している。同図においては、仮想スクリーンＶＳは基準視点位置Ｒｖから視線方向に沿って距離ｄｓだけ離れた位置に配置されている。また、ここでは二つの視点カメラは、仮想スクリーンＶＳに平行な平面内に配置され、その視線方向は仮想スクリーンＶＳの表面に直交している。

以上説明した条件下において、表示画像描画部５２は、仮想スクリーンＶＳの表面に左撮影画像ＰＬをテクスチャーとして貼り付け、この左撮影画像ＰＬを左視点カメラＶＬから見た様子を示す画像を、左目用表示画像ＤＬとして描画する。同様に、右撮影画像ＰＲをテクスチャーとして貼り付けた仮想スクリーンＶＳの表面を右視点カメラＶＲから見た様子を示す画像を、右目用表示画像ＤＲとして描画する。そして、描画した左目用表示画像ＤＬ及び右目用表示画像ＤＲを映像表示装置４０に表示させ、ユーザーに左右の目で閲覧させる。これによりユーザーは、二つの撮影位置から見た景色を立体的に認識することができる。

なお、二つの撮影画像のそれぞれを仮想スクリーンＶＳ上に貼り付ける際の貼り付け位置及び大きさは、各撮影画像を撮影した撮影カメラの位置、及び画角に応じて決定される。具体的に、仮想空間内の基準視点位置Ｒｖに基準撮影位置Ｒｃが一致するように、二つの撮影カメラを撮影時の位置関係を保ったまま仮想空間内に配置したとする。このとき二つの撮影カメラは、撮影時と同様に水平方向に並び、かつ二つの撮影カメラを含む鉛直面が仮想スクリーンＶＳと平行になるように配置される。この場合に、各撮影カメラの画角に応じて決まる撮影範囲が仮想スクリーンＶＳ上において占める領域が、撮影画像を貼り付ける領域となる。以下では、仮想スクリーンＶＳ上の左撮影画像ＰＬが貼り付けられる領域を貼り付け対象領域ＡＬといい、右撮影画像ＰＲが貼り付けられる領域を貼り付け対象領域ＡＲという。貼り付け対象領域ＡＬと貼り付け対象領域ＡＲとは、仮想スクリーンＶＳ上において水平方向に沿って互いに距離ｄｃだけずれた領域となる。また、各貼り付け対象領域の大きさは、撮影カメラの画角と、基準視点位置Ｒｖから仮想スクリーンＶＳまでの距離ｄｓと、に応じて決定される。各撮影画像は、この貼り付け対象領域の大きさに合わせて拡大または縮小されて、対応する貼り付け対象領域に貼り付けられる。図５は、仮想スクリーンＶＳ上の貼り付け対象領域ＡＬ及びＡＲを示す図であって、二つの視点カメラの後方から仮想スクリーンＶＳを見た様子を示している。なお、図中の破線は二つの視点カメラの視野範囲を示している。

視点制御部５３は、仮想空間内に配置された二つの視点カメラの位置を制御する。本実施形態において視点制御部５３は、映像表示装置４０の傾きの変化に応じて二つの視点カメラを回転させる回転制御を実行する。具体的に視点制御部５３は、一定時間おきにモーションセンサー４４の測定結果、またはカメラ２５による撮像画像を取得し、解析することによって、取得時点における映像表示装置４０の傾きを特定する。ここで映像表示装置４０の傾きは、映像表示装置４０の前後方向を回転軸とした回転の回転量を表すロール角によって定義されるものとする。映像表示装置４０はユーザーの頭部に固定された状態で使用されるので、この映像表示装置４０の傾きは、そのままユーザーの顔の傾きに対応することになる。なお、ここでは映像表示装置４０を装着した状態におけるユーザーの顔の正面に一致する方向を、映像表示装置４０の前方向（正面方向）としている。また、ロール角の値は、ユーザーが顔を傾けずに左右の目が水平になっている状態を基準状態として、この基準状態からの回転量を表すものであってよい。

視点制御部５３は、特定した映像表示装置４０の傾きの変化に連動して、二つの視点カメラを鉛直面内で回転させる。図６は視点カメラが回転した様子を示す図であって、図５と同様に仮想空間内に配置された二つの視点カメラを背面方向から見た様子を示している。また、図中の破線は二つの視点カメラの視野範囲を示している。同図に示されるように、二つの視点カメラは、基準視点位置Ｒｖを回転中心として、視点カメラの視線方向を回転軸として回転する。その回転方向及び回転量φは、特定された映像表示装置４０のロール角の値に一致してよい。図６に示されるように、視点カメラが回転したとしても、貼り付け対象領域ＡＲ及びＡＬの位置、及び向きは変化しない。そのため、視点カメラの視野範囲内に含まれる撮影画像ＰＲ及びＰＬは、視点カメラの回転に連動して傾けられることになる。表示画像描画部５２は、このように回転された各視点カメラから対応する撮影画像が貼り付けられた仮想スクリーンＶＳを見た様子を表示画像として描画する。これにより、ユーザーは、二つの撮影画像が表す景色を、自身の顔の傾きの変化に応じて傾けられた状態で閲覧することができる。

なお、視点制御部５３は、映像表示装置４０の傾きだけでなく、映像表示装置４０の前面が向いている方向を特定してもよい。例えば映像表示装置４０の方向は、上下方向を回転軸とした回転量を表すヨー角と、左右方向を回転軸とした回転量を表すピッチ角と、によって定義される。ヨー角及びピッチ角の値は、それぞれ基準方向に対する回転量を表すものであってよい。ここで基準方向は、映像表示装置４０の使用開始時などに決定される方向であってよい。また、視点制御部５３は、映像表示装置４０の傾き、方向だけでなく、映像表示装置４０が平行移動してその位置が変化した場合に、平行移動の向き、及び移動量を特定してもよい。そして、視点制御部５３は、この映像表示装置４０の方向、及び位置の変化に応じて、仮想空間内に配置された二つの視点カメラの視線方向、及び位置を変化させてよい。これにより、視線カメラが撮影画像内の限られた領域だけを視野範囲としている場合に、ユーザーの頭の動きに連動して視点カメラの位置や向きを変化させて、撮影画像内の任意の位置を視点カメラの視野範囲に含めるようにすることができる。

しかしながら、前述したように二つの視点カメラを傾ける制御を行うと、撮影画像内の被写体に垂直視差が生じて、ユーザーが被写体を立体的に認識しにくくなることがある。これにつき、以下に説明する。前述したように、左撮影画像ＰＬと右撮影画像ＰＲとでは、撮影空間内の同じ位置に対応する対応点が左右方向にずれた位置に写っている。そのため、各撮影画像を傾けられた視点から見ると、二つの対応点の位置が高さ方向にずれることになる。図７は、この高さ方向のずれを説明する模式図であって、被写体Ｓが写っている左撮影画像ＰＬ及び右撮影画像ＰＲに基づいて描画される左目用表示画像ＤＬ及び右目用表示画像ＤＲを示している。また、上段は視点カメラを傾ける前の状態（視点カメラが水平方向に並んだ状態）、下段は視点カメラを傾けた状態の表示画像を示している。上段に示されるように、左目用表示画像ＤＬと右目用表示画像ＤＲの間では、被写体Ｓの高さ方向の位置は一致しているが、左右方向の位置にずれが生じている。この左右方向のずれにより、ユーザーは被写体Ｓを立体的に認識することができる。これに対して、回転された視点カメラから仮想スクリーンＶＳを見た場合、図７の下段に示すように、左目用表示画像ＤＬと右目用表示画像ＤＲとの間で、被写体Ｓの高さ方向の位置にずれが生じることが分かる。このような表示画像を表示した場合、垂直視差が生じてしまい、ユーザーが被写体Ｓの奥行きを両眼視差によって正しく認識するのが難しくなる。

そこで本実施形態に係る情報処理装置１０は、撮影画像内においてユーザーが注目している位置に写っている被写体を立体映像としてユーザーが正しく認識できるように、表示画像を描画する。以下ではユーザーが注目する表示画像内の位置を注視点といい、撮影画像内における注視点に対応する位置を注目位置という。また、撮影画像内のおいて注目位置に写っている被写体を注目被写体という。以下に説明するような描画処理を実行することで、注目被写体以外の被写体（特に撮影位置からの距離が注目被写体と大きく異なる被写体）については上述したような垂直視差が生じるおそれがあるものの、注目被写体については正しく奥行きを認識することができるようになる。これにより、立体映像を閲覧中にユーザーが感じる違和感を軽減することができる。以下、このような描画処理の具体例について説明する。

上述した描画処理を実現するために、注視点特定部５４は、表示画像描画部５２が描画した表示画像が映像表示装置４０に表示される際に、ユーザーの注視点を特定する。具体的に、例えば注視点特定部５４は、表示中の表示画像内においてユーザーが実際に視線を向けている位置を注視点として特定する。この場合、映像表示装置４０内の、ユーザーの左右の目を撮像可能な位置に、カメラが取り付けられているものとする。注視点特定部５４は、このカメラによって撮影されたユーザーの目の画像を解析して、ユーザーの左右それぞれの目の視線方向を特定する。そして、特定された視線方向が向いている表示画像内の位置を注視点として特定する。

あるいは注視点特定部５４は、ユーザーが表示画像の中心を注視していると仮定して、表示画像の中心位置を注視点として特定してもよい。この場合、表示画像内における注視点の位置は固定されて変化しないことになるが、視点カメラの向きや位置が変化した場合に、これに伴って撮影画像内の注目位置が変化することになる。

また、注視点特定部５４は、ユーザーの操作デバイス２０に対する操作入力の内容に応じて注視点を特定してもよい。この場合、例えば注視点特定部５４は、注視点を表すマーカーを表示画像と重ねて映像表示装置４０に表示させ、ユーザーの方向を指示する操作入力に応じてこのマーカーを移動させる。そして、マーカーと重なる表示画像内の位置を、ユーザーの注視点として特定する。

注視点特定部５４が注視点を特定すると、表示画像描画部５２は、特定された注視点の位置において、二つの撮影画像内の互いに対応する対応点の高さ方向のずれを低減させるように、二つの表示画像を描画する。これにより、少なくとも注視点の位置においては垂直視差が低減され、その位置に写っている注目被写体をユーザーが立体的に認識しやすくなる。以下、このような垂直視差を低減する描画方法の具体例について、説明する。

まず表示画像描画部５２は、注視点に対応する撮影画像内の注目位置を特定する。具体的に、表示画像内の注視点を仮想スクリーンＶＳ上の位置座標に変換することで、仮想スクリーンＶＳに貼り付けられた左撮影画像ＰＬ、又は右撮影画像ＰＲ内における注目位置を特定する。この注目位置に写っている被写体が注目被写体となる。

次に表示画像描画部５２は、撮影空間内における撮影位置から注目被写体までの撮影方向に沿った距離ｄｎを特定する。例えば表示画像描画部５２は、二つの撮影画像内における注目位置の左右方向のずれ量（視差量）を計測することによって、この視差量を注目被写体までの距離ｄｎに換算する。あるいは表示画像描画部５２は、撮影画像とともに予め用意された距離画像（デプスマップ）を用いて注目被写体までの距離ｄｎを特定してもよい。この場合、距離画像は、撮影画像の撮影を行う際に併せて距離センサーなどを用いて生成される。この距離画像は、撮影画像と同じ撮影範囲を含んだ画像であって、画像内の各画素の画素値が当該位置に存在する被写体までの距離を示す数値によって構成された画像である。このような距離画像を予め用意しておけば、表示画像描画部５２は、この距離画像を参照することで容易に距離ｄｎを特定できる。

なお、表示画像描画部５２は、距離ｄｎを特定する際に、注視点に対応する注目位置の一点だけを用いてその一点に対応する注目被写体までの距離を特定するのではなく、撮影画像内における注目位置を含む所定の範囲内に写っている被写体までの距離を特定することによって、距離ｄｎを決定してもよい。この場合の所定の範囲は、例えば注目位置を中心とした所定の大きさの矩形領域であってよい。この場合、表示画像描画部５２は、撮影画像の所定の範囲内に含まれる複数の画素のそれぞれについて、当該画素に写っている被写体までの距離を特定する。そして、特定された画素ごとの距離の代表値を、求めるべき注目被写体までの距離ｄｎとして算出する。この場合の代表値は、例えば平均値であってもよいし、最小値であってもよい。各画素に写っている被写体までの距離のうちの最小値を距離ｄｎとして採用することによって、ユーザーが注目している範囲のうち最も手前側にある被写体を注目被写体とすることができる。このような制御によれば、表示画像描画部５２が特定する距離ｄｎの値が頻繁に変化しないようにすることができる。

続いて表示画像描画部５２は、特定された距離ｄｎの値に応じて決まる仮想空間内の位置に仮想スクリーンＶＳを配置する。具体的には、距離ｄｎと同じ距離だけ基準視点位置Ｒｖから離れた位置に仮想スクリーンＶＳを配置する。このようにして決定された位置に仮想スクリーンＶＳを配置し、その表面に各撮影画像を貼り付けることによって、注目被写体の二つの撮影画像間の視差量が距離ｄｃに一致し、左撮影画像ＰＬ内の注目被写体と右撮影画像ＰＲ内の注目被写体とが仮想スクリーンＶＳ上の同じ位置に貼り付けられることになる。これにより、二つの視点カメラを傾けた状態で各視点カメラから仮想スクリーンＶＳ上の撮影画像を見た場合に、注目被写体の高さ方向の位置が二つの表示画像間で互いに同じになる。そのため、垂直視差を生じさせずにユーザーは注目被写体を立体的に認識することができる。

具体例として、図３に示す撮影空間を撮影した場合において、ユーザーが被写体Ｓの写っている位置を注目したとする。この場合、基準撮影位置Ｒｃから被写体Ｓまでの距離ｄｘと基準視点位置Ｒｖから仮想スクリーンＶＳまでの距離ｄｓが一致するように仮想スクリーンＶＳを配置する。これにより、撮影カメラと同じ位置関係で仮想空間内に配置された二つの視点カメラのそれぞれから仮想スクリーンＶＳに貼り付けられた撮影画像を見た場合に、被写体Ｓが仮想スクリーンＶＳ上の同じ位置に見えることになる。そのため、視点カメラを傾けても、二つの表示画像内の被写体Ｓに垂直視差が生じず、ユーザーは被写体Ｓの奥行きを正しく認識できる。

なお、ここでは二つの撮影位置間の距離ｄｃと二つの視点カメラ間の距離ｄｖとが一致すると仮定したが、距離ｄｃと距離ｄｖとが相違する場合であっても、基準視点位置Ｒｃから仮想スクリーンＶＳまでの距離ｄｓは、距離ｄｖに関係なく基準撮影位置Ｒｃから注目被写体までの距離ｄｎに応じて決定することができる。すなわち、仮想スクリーンＶＳを配置する距離ｄｓを基準撮影位置Ｒｃから注目被写体までの距離ｄｎに一致させることで、仮想スクリーンＶＳ上の同じ位置に注目被写体が貼り付けられるので、左右二つの視点カメラから見た際に注目被写体に垂直視差が生じさせないように制御することができる。

また、以上の説明ではある時点での注視点を検出した後、直ちにその注視点に対応する注目被写体までの距離ｄｎに応じて決まる位置に仮想スクリーンＶＳを配置することとした。しかしながら、このような制御によると、注視点の変化に伴って仮想スクリーンＶＳの位置が大きく前後に移動することになる。そこで、単位時間ごとに注視点に応じて決定される距離ｄｎの数値列に対して、ローパスフィルタ処理を施して得られる値に基づいて、仮想スクリーンＶＳの配置位置を決定してもよい。これにより、仮想スクリーンＶＳの位置が急激に変動しないようにすることができる。

以下、本実施形態に係る情報処理装置１０が表示画像を描画する描画処理の流れの一例について、図８のフロー図を用いて説明する。この図に示す処理は、表示画像が映像表示装置４０に表示されている間、所定時間ごとに繰り返し実行される。

まず視点制御部５３が、当該処理の実行時点における映像表示装置４０の姿勢（傾き、向き、及び位置）に関する情報を取得し（ＳＴＥＰ１）、取得した情報に応じて仮想空間内における二つの視点カメラの配置位置を更新する（ＳＴＥＰ２）。

次に注視点特定部５４が、当該処理の実行時点におけるユーザーの注視点を特定する（ＳＴＥＰ３）。そして、表示画像描画部５２は、特定された注視点に対応する撮影画像内の注目位置に写っている被写体までの距離ｄｎを用いて、仮想空間内における仮想スクリーンＶＳの配置位置を決定する（ＳＴＥＰ４）。

その後、表示画像描画部５２は、ＳＴＥＰ２で決定された位置に配置される二つの視点カメラのそれぞれから、ＳＴＥＰ４で決定される位置に配置される仮想スクリーンＶＳに貼り付けられた撮影画像を見た様子を示す表示画像を描画する（ＳＴＥＰ５）。そして、描画された二つの表示画像を中継装置３０に対して出力することにより、映像表示装置４０に表示させる（ＳＴＥＰ６）。

このような処理を所定時間ごとに繰り返し実行することによって、情報処理装置１０は、ユーザーの注視点や頭の動きにリアルタイムで連動して、ユーザーがどのような姿勢でどの位置を見ている場合であっても、注目する被写体を立体的に認識できるような態様で立体映像を表示させることができる。

以上の説明では、撮影画像は一定の撮影範囲内の景色を含んだ画像であることとしたが、例えば全方位カメラなどによってより広い範囲を撮影して得られるパノラマ画像を撮影画像として用いてもよい。具体例として、全天周の景色を含んだパノラマ画像を撮影画像として使用する場合について、以下に説明する。なお、ここでは全天周の景色を含むパノラマ画像を例として説明するが、その一部範囲を撮影して得られる撮影画像を用いる場合にも、同様の処理を適用可能である。

この例においても、水平方向に沿って並んだ二つの撮影位置のそれぞれから全天周の景色を撮影することによって、二つの撮影画像が生成される。例えば、二つの撮影カメラを並べて配置し、両者の中間点を回転中心として３６０度回転させながら撮影を行うことによってこのような撮影画像が生成される。これらの撮影画像は、正距円筒図法などのデータフォーマットで記録されてよい。

情報処理装置１０の表示画像描画部５２は、このような撮影画像に基づいて二つの表示画像を描画する。具体的にこの例では、球の内面が仮想スクリーンＶＳになる。表示画像描画部５２は、球状の仮想スクリーンＶＳを仮想空間内に配置するとともに、その球の中心に左右に並ぶ二つの視点カメラを配置する。表示画像描画部５２は、左撮影画像ＰＬに基づいて生成される、撮影位置から見た景色を表すテクスチャーを球の内面に貼り付けて、その様子を左視点カメラＶＬから見た様子を左目用表示画像ＤＬとして描画する。同様に、右撮影画像ＰＲに基づいて生成される景色を表すテクスチャーを球の内面に貼り付けて、その様子を右視点カメラＶＲから見た様子を右目用表示画像ＤＲとして描画する。これら二つの表示画像を映像表示装置４０に表示させることによって、前述した平面的な仮想スクリーンＶＳの例と同様に、ユーザーは撮影画像に写っている景色を立体映像として閲覧できる。

さらに、視点制御部５３は、映像表示装置４０の傾き、方向、及び位置の変化に応じて視点カメラの位置を制御する。特に映像表示装置４０の方向の変化に応じて視点制御部５３が視線カメラの視線方向を変化させることによって、ユーザーは全天周の任意の方向の景色を閲覧することができる。

また、表示画像描画部５２は、注視点特定部５４が特定するユーザーの注視点の変化に応じて、注視点に対応する注目位置に写っている注目被写体が立体的に認識できるように、二つの表示画像を描画する。具体的には、前述した平板状の仮想スクリーンＶＳの例と同様に、基準撮影位置Ｒｃから注目被写体までの距離ｄｎと、基準視点位置Ｒｖから仮想スクリーンＶＳまでの距離ｄｓとが一致するように、仮想スクリーンＶＳを配置する。ここでは仮想スクリーンＶＳが球面であって、基準視点位置Ｒｖは球の中心に位置しているので、基準視点位置Ｒｖから仮想スクリーンＶＳまでの距離ｄｓはこの球の半径となる。そのため表示画像描画部５２は、球の大きさを距離ｄｎに応じて変化させることになる。図９は、この例における二つの視点カメラと球状の仮想スクリーンＶＳの位置関係を示す図であって、上方から見た様子を示している。

なお、表示画像描画部５２は、仮想スクリーンＶＳの大きさだけでなく、仮想スクリーンＶＳに対する二つの撮影画像に基づくテクスチャーの貼り付け位置についても、注視点に応じて変化させる。具体的には、注目被写体の仮想スクリーンＶＳ上の貼り付け位置が二つのテクスチャー間で一致するように、二つのテクスチャーの貼り付け位置をシフトさせる。これにより、距離ｄｎに対応する視差量で注目被写体を二つの表示画像内に配置することができ、かつ、視点カメラを傾けても注目被写体に垂直視差が生じないようにすることができる。

以上説明した本実施形態に係る情報処理装置１０によれば、撮影画像を傾けた状態を表示画像として表示する場合に、ユーザーが注目している位置の垂直視差を低減し、その位置に写っている注目被写体をユーザーが立体的に認識できるような立体映像を表示することができる。そのため、ユーザーが立体映像を見る際の違和感を減らすことができる。

なお、本発明の実施の形態は以上説明したものに限られない。例えば以上の説明では、撮影空間は実空間であって、撮影画像は現実の景色を撮影して得られるものとしたが、これに限らず撮影画像は、仮想空間内に配置された撮影位置からその仮想空間を見た様子を示す画像であってもよい。

また、以上の説明では映像表示装置４０はユーザーの頭部に装着して使用される映像表示装置であることとしたが、これに限らず、立体映像を表示可能な表示装置であれば、部屋に設置して使用するタイプのものであってもよい。この場合、注視点特定部５４は、ユーザーの前方に配置されたカメラを用いてユーザーの目を撮影することによって、ユーザーの注視点を特定してもよい。また、視点制御部５３は、ユーザーの頭部の動きに応じて視点カメラの傾きや向きを変化させる代わりに、ユーザーの操作デバイス２０に対する操作入力に応じて視点カメラを移動させてもよい。

また、以上の説明では撮影画像は静止画像であることとしたが、撮影画像は時間とともに変化する動画像であってもよい。さらにこの場合、撮影空間内において撮影位置に比較的近い場所に位置しており、撮影範囲内を移動する被写体（すなわち、動物や乗り物など、他の背景に対して相対的に移動している被写体）にユーザーが注目すると想定して、この移動する被写体を注目被写体として以上説明した処理を実行してもよい。

１映像表示システム、１０情報処理装置、１１制御部、１２記憶部、１３インタフェース部、２０操作デバイス、２５カメラ、３０中継装置、４０映像表示装置、４１映像表示素子、４２光学素子、４３発光素子、４４モーションセンサー、４５通信インタフェース、５１撮影画像取得部、５２表示画像描画部、５３視点制御部、５４注視点特定部。

Claims

立体映像を表示する映像表示装置と接続される情報処理装置であって、
撮影空間内を二つの撮影位置から見た景色を表す二つの撮影画像を取得する取得部と、
前記取得した二つの撮影画像が表す景色を仮想空間内に配置された仮想スクリーンに貼り付け、当該仮想スクリーンを前記仮想空間内に並んで配置された二つの視点カメラから見た様子を示す二つの表示画像を描画して、立体映像として前記映像表示装置に表示させる表示画像描画部と、
前記表示画像内におけるユーザーの注視点を特定する注視点特定部と、
を含み、
前記表示画像描画部は、前記二つの撮影画像が表す景色を傾けた状態を表す前記二つの表示画像を描画する場合に、前記特定された注視点に対応する位置に写っている注目被写体までの前記二つの撮影位置の中点からの撮影方向に沿った距離と、前記二つの視点カメラの中点から当該二つの視点カメラの向きに沿った前記仮想スクリーンまでの距離とが一致するように前記仮想スクリーンを配置することで、前記二つの表示画像内で前記注目被写体の高さ方向のずれを低減させるように、前記二つの表示画像を描画する
ことを特徴とする情報処理装置。
請求項１に記載の情報処理装置において、
前記映像表示装置は、ユーザーが頭部に装着して使用する表示装置であって、
前記情報処理装置は、前記映像表示装置の傾きに応じて、前記二つの視点カメラを回転させる視点制御部をさらに含み、
前記表示画像描画部は、前記二つの撮影画像が表す景色が、前記二つの視点カメラの回転に応じて傾けられた状態を表す前記二つの表示画像を描画する
ことを特徴とする情報処理装置。
請求項１又は２に記載の情報処理装置において、
前記表示画像描画部は、前記注目被写体までの前記撮影位置からの距離を、当該注目被写体の前記二つの撮影画像内における視差量に基づいて算出する
ことを特徴とする情報処理装置。
請求項１から３に記載の情報処理装置において、
前記表示画像描画部は、前記撮影画像において、前記特定された注視点に対応する所定の範囲内に写っている被写体のうち、前記撮影位置からの距離が最も近い被写体を、前記注目被写体として特定する
ことを特徴とする情報処理装置。
請求項１から４のいずれか一項に記載の情報処理装置において、
前記注視点特定部は、前記ユーザーの視線方向を検出することにより、前記注視点を特定する
ことを特徴とする情報処理装置。
立体映像を表示する映像表示装置と、当該映像表示装置に接続される情報処理装置と、を含む映像表示システムであって、
前記情報処理装置は、
撮影空間内を二つの撮影位置から見た景色を表す二つの撮影画像を取得する取得部と、
前記取得した二つの撮影画像が表す景色を仮想空間内に配置された仮想スクリーンに貼り付け、当該仮想スクリーンを前記仮想空間内に並んで配置された二つの視点カメラから見た様子を示す二つの表示画像を描画する表示画像描画部と、
前記表示画像内におけるユーザーの注視点を特定する注視点特定部と、
を含み、
前記映像表示装置は、前記表示画像描画部が描画した二つの表示画像を立体映像として表示し、
前記表示画像描画部は、前記二つの撮影画像が表す景色を傾けた状態を表す前記二つの表示画像を描画する場合に、前記特定された注視点に対応する位置に写っている注目被写体までの前記二つの撮影位置の中点からの撮影方向に沿った距離と、前記二つの視点カメラの中点から当該二つの視点カメラの向きに沿った前記仮想スクリーンまでの距離とが一致するように前記仮想スクリーンを配置することで、前記二つの表示画像内で前記注目被写体の高さ方向のずれを低減させるように、前記二つの表示画像を描画する
ことを特徴とする映像表示システム。
立体映像を表示する映像表示装置の制御方法であって、
撮影空間内を二つの撮影位置から見た景色を表す二つの撮影画像を取得する取得ステップと、
前記取得した二つの撮影画像が表す景色を仮想空間内に配置された仮想スクリーンに貼り付け、当該仮想スクリーンを前記仮想空間内に並んで配置された二つの視点カメラから見た様子を示す二つの表示画像を描画して、立体映像として前記映像表示装置に表示させる表示画像描画ステップと、
前記表示画像内におけるユーザーの注視点を特定する注視点特定ステップと、
を含み、
前記表示画像描画ステップでは、前記二つの撮影画像が表す景色を傾けた状態を表す前記二つの表示画像を描画する場合に、前記特定された注視点に対応する位置に写っている注目被写体までの前記二つの撮影位置の中点からの撮影方向に沿った距離と、前記二つの視点カメラの中点から当該二つの視点カメラの向きに沿った前記仮想スクリーンまでの距離とが一致するように前記仮想スクリーンを配置することで、前記二つの表示画像内で前記注目被写体の高さ方向のずれを低減させるように、前記二つの表示画像を描画する
ことを特徴とする映像表示装置の制御方法。
立体映像を表示する映像表示装置と接続されるコンピュータを、
撮影空間内を二つの撮影位置から見た景色を表す二つの撮影画像を取得する取得手段、
前記取得した二つの撮影画像が表す景色を仮想空間内に配置された仮想スクリーンに貼り付け、当該仮想スクリーンを前記仮想空間内に並んで配置された二つの視点カメラから見た様子を示す二つの表示画像を描画して、立体映像として前記映像表示装置に表示させる表示画像描画手段、及び、
前記表示画像内におけるユーザーの注視点を特定する注視点特定手段、
として機能させるためのプログラムであって、
前記表示画像描画手段は、前記二つの撮影画像が表す景色を傾けた状態を表す前記二つの表示画像を描画する場合に、前記特定された注視点に対応する位置に写っている注目被写体までの前記二つの撮影位置の中点からの撮影方向に沿った距離と、前記二つの視点カメラの中点から当該二つの視点カメラの向きに沿った前記仮想スクリーンまでの距離とが一致するように前記仮想スクリーンを配置することで、前記二つの表示画像内で前記注目被写体の高さ方向のずれを低減させるように、前記二つの表示画像を描画する
ことを特徴とするプログラム。