JP2011081453A

JP2011081453A - 映像再生装置及び映像再生方法

Info

Publication number: JP2011081453A
Application number: JP2009230905A
Authority: JP
Inventors: Shinji Kuno; 真司久野; Masahiro Ozawa; 政博小澤
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2009-10-02
Filing date: 2009-10-02
Publication date: 2011-04-21
Also published as: US8885020B2; US20110080470A1; US9081420B2; US20140145942A1

Abstract

【課題】三次元表示に対する操作に関し、ユーザの利便性を向上させることができる映像再生装置及び映像再生方法を提供する。
【解決手段】映像再生装置１は、操作対象について視野差を有する第１の映像の対を生成する左右視野映像生成部２３３と、利用者の三次元の動作を認識する動き認識部２２と、動き認識部２２が認識した動作に基づいて三次元の指示座標を特定し、指示座標に対応したマーカについて視野差を有する第２の映像の対を生成するマーカ生成部２３０と、第１の映像の対と前記第２の映像の対とを合成して第３の映像の対を生成する映像合成部２３５とを有する。
【選択図】図３

Description

本発明は、映像再生装置及び映像再生方法に関する。

従来の電子機器として、カメラによって撮影された利用者の手の形状に基づいて動作する映像再生装置がある（例えば、特許文献１参照）。

この映像再生装置は、利用者を撮影するカメラと、予め設定された複数の手の形状を記憶する手形状データベースと、カメラによって撮影された映像中の利用者の手の形状を手形状データベースに記憶された手の形状に基づいて認識する手形状認識部と、手形状認識部によって認識された利用者の手の動作を解析する手動作解析部とを有し、手動作解析部は、手動作を解析した結果に基づいて操作対象となるソフトウェアに操作信号を送信するため、利用者は手の動作でソフトウェアを操作することができる。

特開２００８−１４６２４３号公報

しかし、従来の映像再生装置では、三次元表示への対応について考慮がなされていない。例えば特許文献１に示すような従来技術では、ユーザの手の動作と三次元表示に対する操作とを対応させることが出来ず、該三次元表示に対する操作をユーザに直感的に把握させることができない可能性があり、利便性に欠ける。

従って、本発明の目的は、三次元表示に対する操作に関し、ユーザの利便性を向上させることができる映像再生装置及び映像再生方法を提供することにある。

［１］本発明は、上記した目的を達成するため、操作対象について視野差を有する第１の映像の対を生成する映像生成部と、利用者の三次元の動作を認識する動き認識部と、前記動き認識部が認識した前記動作に基づいて三次元の指示座標を特定し、前記指示座標に対応したマーカについて視野差を有する第２の映像の対を生成するマーカ生成部と、前記第１の映像の対と前記第２の映像の対とを合成して第３の映像の対を生成する映像合成部とを有することを特徴とする映像再生装置を提供する。

上記した構成によれば、動き認識部によって利用者の三次元の動作を認識するとともに、認識した動作に基づいてマーカを生成し、マーカと操作対象とが表示される映像を生成するため、利用者の三次元の動作を認識するとともに、三次元の操作対象に対する利用者の操作を表示することができる。

［２］また、本発明は、上記した目的を達成するため、操作対象について視野差を有する第１の映像の対を生成する映像生成ステップと、利用者の三次元の動作を認識する動き認識ステップと、前記動き認識ステップにおいて認識した前記動作に基づいて三次元の指示座標を特定し、前記指示座標に対応したマーカについて視野差を有する第２の映像の対を生成するマーカ生成ステップと、前記第１の映像の対と前記第２の映像の対とを合成して第３の映像の対を生成する映像合成ステップとを有することを特徴とする映像再生方法を提供する。

上記した構成によれば、［１］と同様の効果を有する映像再生方法を達成できる。

［３］また、本発明は、上記した目的を達成するため、第１視点に対応する第１画像情報と、前記第１視点とは異なる第２視点に対応する第２画像情報とを其々生成する画像情報生成手段と、前記画像情報生成手段で其々生成された前記第１画像情報と前記第２画像情報とを合成し、第１表示画像と、この第１表示画像の下に重ねられる第２表示画像とを其々生成して表示画面に表示させる表示手段と、外部操作部の位置を検知する位置検知手段と、前記位置検知手段で検知された前記外部操作部の位置が第１の位置であれば前記第１表示画像を選定し、前記位置検知手段で検知された前記外部操作部の位置が、第１の位置より前記表示画面に近い第２の位置であれば前記第２表示画像を選定する選定手段と、を具備することを特徴とする映像再生装置を提供する。

上記した構成によれば、三次元表示に対する操作に関し、ユーザの利便性を向上させることができる。

本発明によれば、三次元表示に対する操作に関し、ユーザの利便性を向上させることができる。

図１Ａは、本発明の実施の形態に係る映像再生装置の構成を示す概略図である。図１Ｂは、シャッターメガネの構成を示す概略図である。図２は、本発明の実施の形態に係る映像再生装置の構成を示すブロック図である図３は、コンテンツ表示制御部の構成を示す概略図である。図４は、表示部に表示される３Ｄ映像の構成例を示す概略図である。図５は、表示部に表示される３Ｄ映像の構成例を示す概略図である。図６は、表示部に表示される３Ｄ映像の構成例を示す概略図である。図７は、ボール型コンテンツ表示画面、ウォール型コンテンツ表示画面及び映像コンテンツ再生画面の遷移を示す概略図である。図８は、映像再生装置が生成する映像の構成を示す概略図である。図９は、映像再生装置が生成する映像の構成を示す概略図である。図１０Ａ（ａ）〜（ｄ）は、視野差を有する映像の対の構成例を示す概略図である。図１０Ｂは、映像再生装置の映像合成動作例を示すフローチャートである。図１１（ａ）及び（ｂ）は、利用者の動作と映像再生装置の表示例を示す概略図である。図１２（ａ）及び（ｂ）は、利用者の動作と映像再生装置の他の表示例を示す概略図である。図１３（ａ）及び（ｂ）は、利用者の動作と映像再生装置の他の表示例を示す概略図である。図１４（ａ）及び（ｂ）は、利用者の動作と映像再生装置の表示例を示す概略図である。図１５（ａ）及び（ｂ）は、利用者の動作と映像再生装置の他の表示例を示す概略図である。図１６Ａ（ａ）及び（ｂ）は、利用者の動作と映像再生装置の他の表示例を示す概略図である。図１６Ｂ（ａ）〜（ｃ）は、利用者の動作と映像再生装置の他の表示例を示す概略図である。図１７（ａ）及び（ｂ）は、利用者の動作と映像再生装置の表示例を示す概略図である。図１８（ａ）及び（ｂ）は、利用者の動作と映像再生装置の他の表示例を示す概略図である。図１９は、表示が２Ｄと３Ｄとで切り替えられる場合の映像再生装置の映像合成動作例を示すフローチャートである。

［実施の形態］
（映像再生装置の構成）
図１Ａは、本発明の実施の形態に係る映像再生装置の構成を示す概略図である。

映像再生装置１は、本体２の内部に備えられたチューナによって受信した映像コンテンツや、本体２内部に備えられたＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）等の記憶部に記憶された映像コンテンツを再生可能であり、再生した結果、映像をＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）等の表示画面を備える表示部（表示手段）２５に表示する。なお、映像コンテンツは、二次元（以下、「２Ｄ」という。）又は視野差を有する２つの映像の対からなる三次元（以下、「３Ｄ」という。）の映像コンテンツである。また、再生する映像コンテンツを選択するため、又は再生中の映像コンテンツを操作するためのＯＳＤ（Ｏｎ−ＳｃｒｅｅｎＤｉｓｐｌａｙ）映像を３Ｄで表示する。

また、ここでいう「視野差を有する２つの映像の対」とは、仮想空間上に設定された利用者４の右目と左目とに対応した視点座標からの視野による右視野映像及び左視野映像の対を意味し、例えば、表示部２５で表示される同一の映像コンテンツに対し、該表示部２５の右側から表示画面を見た場合に対応した映像と左側から表示画面を見た場合に対応した映像との組合せを指す。

映像再生装置１は、３Ｄの映像コンテンツを再生する場合、３Ｄの映像コンテンツに含まれる視野差を有する２つの映像を交互に再生し、利用者４が装着するシャッターメガネ５の右シャッター５Ｒと左シャッター５Ｌ（後述）とを３Ｄの映像コンテンツの再生に同期させて交互に開閉させる。３Ｄ映像コンテンツの再生とシャッターメガネ５との同期は、映像再生装置１に接続されたタイミングジェネレータ５Ａからタイミング信号を発信させ、タイミング信号をシャッターメガネ５に受信させることで達成する。なお、以下において、３Ｄと記載があるときは、特に断りがない限り上記した方法又はそれに代わる方法で利用者４に立体視させるよう映像を再生することとする。

また、映像再生装置１は、映像再生装置１に対面する利用者４との距離情報を取得する距離センサ（位置検知手段）３を有し、距離センサ３が取得した距離情報に基づいて利用者４の動作を認識する。なお、距離センサ３は、例えば、赤外線レーザー又は赤外線ＬＥＤと複数の受光素子からなる赤外線カメラ又は赤外線センサとを備え、赤外線レーザー又は赤外線ＬＥＤが放射した赤外線の反射を赤外線カメラで撮影すること又は赤外線センサで検知することで距離情報を取得する。

図１Ｂは、シャッターメガネ５の構成を示す概略図である。

シャッターメガネ５は、電子制御のシャッターを備えた右シャッター５Ｒ及び左シャッター５Ｌと、タイミング信号を受信するタイミング信号受信部５０とを有し、タイミング信号に基づいて右シャッター５Ｒと左シャッター５Ｌとを交互に開閉する制御回路を内部に有する。

以上の図１Ａ及び図１Ｂに示す構成において利用者４は、３Ｄ映像コンテンツを視聴し、体の一部を用いて映像再生装置１の動作を制御する。

図２は、本発明の実施の形態に係る映像再生装置１の構成を示すブロック図である。

映像再生装置１の本体２は、奥行画像取得部２０と、両手検出部２１と、動き認識部２２と、コンテンツ表示制御部２３と、表示制御部２４と、表示部２５と、記憶部２６とを有する。

奥行画像取得部２０は、距離センサ３が取得した距離情報を奥行画像として取得する。

両手検出部２１は、奥行画像取得部２０が取得した奥行画像から指示領域として利用者４の両手（又は片手）を検出する。検出方法としては、例えば、映像再生装置１に対して最も奥行きが小さい対象物を手と認識する。右手及び左手の認識は、分離する対象物が２つある場合にそれぞれ左右のどちらに配置されているかを判断して行う。

動き認識部２２は、両手検出部２１が検出した両手の位置、及び両手の動きを奥行き方向及び奥行き方向と直行する方向において認識し、その動きに基づいた利用者動作信号をコンテンツ表示制御部２３に出力する。なお、動き認識は、左手及び右手のそれぞれに対して行い、それらの動きの組み合わせ等も認識する。

コンテンツ表示制御部２３は、後述する２Ｄ映像コンテンツ２６ａや３Ｄ映像コンテンツ２６ｂの再生処理と、コンテンツ操作用のＯＳＤ映像の生成及び表示処理と、動き認識部２２から出力される利用者動作信号に基づいて生成されたマーカの表示と、動き認識部２２から出力される利用者動作信号に基づいたコンテンツ表示制御部２３の各部に対する制御とを実行する。なお、ＯＳＤ映像及びマーカの表示は３Ｄ映像にて実行される。

表示制御部２４は、コンテンツ表示制御部２３が再生した映像コンテンツを表示制御するとともに、３Ｄ映像コンテンツの再生、つまり視野差の異なる２つの映像の切り替えタイミングに同期させてタイミングジェネレータ５Ａを制御する。

表示部２５は、表示制御部２４の制御によって動作し、映像コンテンツを表示するＬＣＤ等から構成される。

記憶部２６は、２Ｄ映像コンテンツ２６ａ及び３Ｄ映像コンテンツ２６ｂを記憶する。２Ｄ映像コンテンツ２６ａは、１つの映像からなる映画やＴＶ番組等を収録した一般的な映像コンテンツである。３Ｄ映像コンテンツ２６ｂは、右視野用の映像と左視野用の映像を有する３Ｄ視聴用の映像コンテンツである。

図３は、コンテンツ表示制御部２３の構成を示す概略図である。

コンテンツ表示制御部２３は、マーカ生成部２３０と、コンテンツサムネイル取得部２３１と、３Ｄ−ＯＳＤ生成部（選定手段）２３２と、左右視野映像生成部（画像情報生成手段）２３３と、コンテンツ再生部２３４と、映像合成部２３５と、操作信号生成部２３６とを有する。

マーカ生成部２３０は、利用者４の手の位置を表示部２５に表示される３Ｄ映像上にマーカとして表示するために、動き認識部２２が出力した利用者動作信号に基づいて、視野差を考慮したマーカの左右視野映像を生成する。

コンテンツサムネイル取得部２３１は、後述する３Ｄ−ＯＳＤ上において使用するサムネイルを記憶部２６に記憶された２Ｄ映像コンテンツ２６ａ及び３Ｄ映像コンテンツ２６ｂから取得する。なお、取得するサムネイルは、２Ｄ又は３Ｄのいずれをも取得可能であり、２Ｄのサムネイルから３Ｄのサムネイルを擬似的に生成することもできるものとする。

３Ｄ−ＯＳＤ生成部２３２は、球面上に映像コンテンツのサムネイルを並べて表示する表示方法や、タイル状に並べられたサムネイルを複数層に渡って表示する表示方法によって映像コンテンツの一覧を３Ｄの仮想空間上に生成する。また、再生中の映像コンテンツの操作制御に使用する再生ボタンや停止ボタン等の３Ｄの表示画像を生成する。また、動き認識部２２から入力される利用者４の手の位置を仮想空間上の指示座標として認識し、３Ｄ−ＯＳＤに対する指示座標及び動き認識部２２が出力する利用者動作信号を操作信号生成部２３６に出力する。

左右視野映像生成部２３３は、３Ｄ−ＯＳＤ生成部２３２が生成した映像コンテンツの一覧や操作制御に使用する表示画像を、仮想空間上に設定された右目と左目に対応した視点座標からの視野による右視野映像（第１画像情報）及び左視野映像（第２画像情報）を生成する。

コンテンツ再生部２３４は、２Ｄ映像コンテンツ２６ａ及び３Ｄ映像コンテンツ２６ｂをデコードして再生する。また、コンテンツ再生部２３４は、２Ｄ映像コンテンツ２６ａから３Ｄ映像コンテンツを擬似的に生成して再生する２Ｄ−３Ｄ映像変換部を有する。

映像合成部２３５は、マーカ生成部２３０が生成したマーカの左右視野映像と、左右視野映像生成部２３３が生成した３Ｄ−ＯＳＤの左右視野映像と、コンテンツ再生部２３４が再生した左右視野映像とを合成する。

操作信号生成部２３６は、３Ｄ−ＯＳＤ生成部２３２から入力する３Ｄ−ＯＳＤに対する指示座標の位置及び動き認識部２２が出力する利用者動作信号に基づいてコンテンツ表示制御部２３の各部を制御するための制御信号を生成する。例えば、マーカが３Ｄ−ＯＳＤの再生制御用のボタンを指示していたときは、映像コンテンツを再生し、利用者の両手が中心から外側へ開くような動作であるときはＯＳＤの表示を拡大する等する。

図４は、表示部２５に表示される３Ｄ映像の構成例を示す概略図である。

ボール型コンテンツ表示画面２５０は、右視野用ボール型コンテンツ表示画面２５０Ｌと、左視野用ボール型コンテンツ表示画面２５０Ｒとからなる映像の対を表示部２５にそれぞれ交互に表示することで構成され、コンテンツのサムネイルを複数の球面上に配置したボール型コンテンツ表示２５０Ａと、利用者の手が指示する位置を示すマーカ２５０Ｂとを有する。

ボール型コンテンツ表示２５０Ａは、複数の球面を有し、それぞれに対して同数のサムネイルを配置する。利用者は、視点を移動することで球の中心に近づいたり遠ざかったり、球を回転したりすることができる。

図５は、表示部２５に表示される３Ｄ映像の構成例を示す概略図である。

ウォール型コンテンツ表示画面２５１は、右視野用ウォール型コンテンツ表示画面２５１Ｌと、左視野用ウォール型コンテンツ表示画面２５１Ｒとからなる映像の対を表示部２５にそれぞれ交互に表示することで構成され、コンテンツのサムネイルを複数の平面上に配置したウォール型コンテンツ表示２５１Ａと、利用者の手が指示する位置を示すマーカ２５１Ｂとを有する。

ウォール型コンテンツ表示２５１Ａは、複数の平面を有し、それぞれに対して同数のサムネイルを配置する。利用者は、視点を移動することで所望の平面に近づいたり、平面を画面左右又は上下方向に移動したりすることができる。なお、サムネイルは、そのサムネイルに該当する映像コンテンツが３Ｄである場合には、３Ｄで表示してもよい。

図６は、表示部２５に表示される３Ｄ映像の構成例を示す概略図である。

映像コンテンツ再生画面２５２は、右視野用映像コンテンツ再生画面２５２Ｌと、左視野用映像コンテンツ再生画面２５２Ｒとからなる映像の対を表示部２５にそれぞれ交互に表示することで構成され、コンテンツを再生した映像コンテンツ表示２５２Ａと、利用者の手が指示する位置を示すマーカ２５２Ｂと、マーカ２５２Ｂによって映像コンテンツを再生制御するコンテンツ再生制御表示２５２Ｃとを有する。

（動作）
以下に、本発明の実施の形態における映像再生装置の動作を各図を参照しつつ説明する。

（１）映像再生装置１の基本動作
利用者４が、距離センサ３に対向すると、距離センサ３は利用者４対象物として検知し、その距離情報を取得する。

次に、両手検出部２１は、距離が最も近いものを利用者４の右手及び左手として検知する。また、右手及び左手の区別は、例えば、右手及び左手が、センターより右側に位置するか左側に位置するかで区別される。

次に、動き認識部２２は、両手検出部２１が検出した右手及び左手の位置、並びに右手及び左手の奥行き方向及び奥行き方向と直行する方向の動きを利用者動作信号としてコンテンツ表示制御部２３に送信する。

コンテンツ表示制御部２３は、動き認識部２２が出力する利用者動作信号に基づいて図４〜図６に示した内容を切り替えて表示する。切り替え動作の詳細については、後述する。

表示制御部２４は、コンテンツ表示制御部２３によって表示される映像を表示部２５に表示する。このとき、映像が３Ｄである場合は、視野差のある映像の対を予め定めた周期で交互に表示部２５に表示するとともに、その表示の周期に同期させてタイミングジェネレータ５Ａを動作させる。

タイミングジェネレータ５Ａは、表示の周期でタイミング信号を出力し、利用者４に装着されたシャッターメガネ５は、タイミング信号を受信して右シャッター５Ｒ及び左シャッター５Ｌを交互に開閉する。以上の動作により、利用者４に対して表示部２５に表示された映像の対のうち右目の視野に対応した映像を右目に、左目の視野に対応した映像を左目にそれぞれ視覚させることで、コンテンツ映像を立体視させる。

（２−１）コンテンツ表示制御部２３の切り替え遷移動作
図７は、ボール型コンテンツ表示画面２５０、ウォール型コンテンツ表示画面２５１及び映像コンテンツ再生画面２５２の遷移を示す概略図である。

ボール型コンテンツ表示Ａ１は、映像再生装置１が図４に示すボール型コンテンツ表示画面２５０を表示している状態であり、ウォール型コンテンツ表示Ａ２は、図５に示すウォール型コンテンツ表示画面２５１を表示している状態である。ボール型コンテンツ表示Ａ１とウォール型コンテンツ表示Ａ２とは利用者の操作によって切り替えられる。切り替えは、例えば、ボール型コンテンツ表示画面２５０又はウォール型コンテンツ表示画面２５１に用意された切り替え操作用の表示をマーカによって指示することで達成される。

３Ｄ映像コンテンツ再生Ａ３は、映像再生装置１が図６に示す映像コンテンツ再生画面２５２において３Ｄ映像コンテンツ２６ｂを再生している状態である。

２Ｄ−３Ｄ映像コンテンツ再生Ａ４は、映像再生装置１が図６に示す映像コンテンツ再生画面２５２において２Ｄ映像コンテンツ２６ａを３Ｄに変換して再生している状態である。

２Ｄ映像コンテンツ再生Ａ５は、映像再生装置１が図６に示す映像コンテンツ再生画面２５２において２Ｄ映像コンテンツ２６ａを再生している状態である。

ボール型コンテンツ表示Ａ１（又は、ウォール型コンテンツ表示Ａ２）において、利用者によって映像コンテンツが指示されて再生が指示されると、そのコンテンツの種類に応じて３Ｄ映像コンテンツ再生Ａ３、２Ｄ−３Ｄ映像コンテンツ再生Ａ４又は２Ｄ映像コンテンツ再生Ａ５に遷移する。また、３Ｄ映像コンテンツ再生Ａ３、２Ｄ−３Ｄ映像コンテンツ再生Ａ４又は２Ｄ映像コンテンツ再生Ａ５において、利用者によって映像コンテンツの停止が指示されると、ボール型コンテンツ表示Ａ１（又は、ウォール型コンテンツ表示Ａ２）に遷移する。

なお、図示していないが、上記において括弧書きしたように、ボール型コンテンツ表示Ａ１と、３Ｄ映像コンテンツ再生Ａ３、２Ｄ−３Ｄ映像コンテンツ再生Ａ４又は２Ｄ映像コンテンツ再生Ａ５との遷移関係は、ウォール型コンテンツ表示Ａ２と、３Ｄ映像コンテンツ再生Ａ３、２Ｄ−３Ｄ映像コンテンツ再生Ａ４又は２Ｄ映像コンテンツ再生Ａ５との遷移関係にも適用される。

（２−２）コンテンツ表示制御部２３の映像生成及び合成動作
図８は、映像再生装置１が生成する映像の構成を示す概略図である。なお、この例は、図４に示すボール型コンテンツ表示２５０Ａに対応するＯＳＤを表示して、再生する映像コンテンツを利用者が選択するための画面を示している。

マーカ映像２３０Ａは、マーカ生成部２３０によって生成される映像であり、それぞれ左視野用及び右視野用に生成されるマーカ映像２３０Ｌ及び２３０Ｒを有する。

３Ｄ−ＯＳＤ映像２３３Ａは、左右視野映像生成部２３３によって仮想空間上の３Ｄ−ＯＳＤ２３２Ａから生成される映像であり、それぞれ左視野用及び右視野用に生成される３Ｄ−ＯＳＤ映像２３３Ｌ及び２３３Ｒを有する。

３Ｄ合成映像２３５Ａは、映像合成部２３５によってマーカ映像２３０Ａ及び３Ｄ−ＯＳＤ映像２３３Ａを合成して得られる映像であり、それぞれ左視野用及び右視野用の３Ｄ合成映像２３５Ｌ及び２３５Ｒを有する。３Ｄ合成映像２３５Ａは、表示部２５に表示することによりボール型コンテンツ表示画面２５０となる。

図９は、映像再生装置１が生成する映像の構成を示す概略図である。なお、この例は、図６に示す映像コンテンツ表示２５２Ａ及びコンテンツ再生制御表示２５２ｃに対応するＯＳＤを表示して、映像コンテンツの再生及び再生の制御操作を利用者が実行するための画面を示している。

マーカ映像２３０Ｂは、マーカ生成部２３０によって生成される映像であり、それぞれ左視野用及び右視野用に生成されるマーカ映像２３０Ｌ及び２３０Ｒを有する。

３Ｄ−ＯＳＤ映像２３３Ｂは、左右視野映像生成部２３３によって仮想空間上の３Ｄ−ＯＳＤ２３２Ｂから生成される映像であり、それぞれ左視野用及び右視野用に生成される３Ｄ−ＯＳＤ映像２３３Ｌ及び２３３Ｒを有する。

３Ｄコンテンツ映像２３４Ｂは、コンテンツ再生部２３４によって映像コンテンツを再生して得られる映像であり、それぞれ左視野用及び右視野用に生成される３Ｄコンテンツ映像２３４Ｌ及び２３４Ｒを有する。

３Ｄ合成映像２３５Ｂは、映像合成部２３５によってマーカ映像２３０Ａ、３Ｄ−ＯＳＤ映像２３３Ａ及び３Ｄコンテンツ映像２３４Ｂを合成して得られる映像であり、それぞれ左視野用及び右視野用の３Ｄ合成映像２３５Ｌ及び２３５Ｒを有する。３Ｄ合成映像２３５Ｂは、表示部２５に表示することにより映像コンテンツ再生画面２５２となる。

図１０Ａ（ａ）〜（ｄ）は、視野差を有する映像の対の構成例を示す概略図である。

図１０Ａ（ａ）に示すように、利用者４と表示部画面位置２５ａとの位置関係において、位置４２に視覚対象が配置されるかのように利用者に立体視されるためには、図１０Ａ（ｂ）のように視覚対象４２Ｌ及び４２Ｒが表示部２５に描画される。なお、視覚対象４２Ｌは、左目４１Ｌにのみ視覚される映像であり、視覚対象４２Ｒは、右目４１Ｒにのみ視覚される映像である。

同様に、位置４３又は位置４４に視覚対象が配置されるかのように利用者に立体視されるためには、図１０Ａ（ｃ）又は（ｄ）のように視覚対象４３Ｌ及び４３Ｒ又は視覚対象４４Ｌ及び４４Ｒが表示部２５に描画される。つまり、利用者４に対してより近くに視覚されるものは視野差が大きくなり、所定の距離にあるように視覚されるものは視野差が０となり、それより遠くに視覚されるものは左右入れ替わって視野差が大きくなる。

以上に説明するように図８及び図９に示すＯＳＤ２３２Ａ又は２３２Ｂから視野差を有する映像の対である３Ｄ−ＯＳＤ映像２３３Ａ又は２３３Ｂが生成される。また、マーカ２３０ｌ及び２３０ｒもマーカ生成部２３０によって同様の方法で生成される。

図１０Ｂは、映像再生装置１の映像合成動作例を示すフローチャートである。

まず、３Ｄ−ＯＳＤ生成部２３２は、動き認識部２２から受信した指示座標及び利用者動作信号に基づいて利用者の手の位置を認識し（Ｓ１）、また、マーカ生成部２３０は、利用者の手の位置に基づいて図８、図９に示すような左右視野用に異なるマーカ映像２３０Ｌ及び２３０Ｒの対を生成する（Ｓ２）。

次に、左右視野映像生成部２３３は、３Ｄ−ＯＳＤ生成部２３２が生成した仮想空間上のＯＳＤ２３２Ａ又は２３２Ｂから、図８、図９に示すような左右視野用に異なる３Ｄ−ＯＳＤ映像２３３Ｌ及び２３３Ｒの対を生成する（Ｓ３）。

次に、図７の状態Ａ３〜Ａ５に該当するように映像コンテンツを再生中である場合（Ｓ４；Ｙｅｓ）、コンテンツ再生部２３４は、再生中のコンテンツ映像を左右のフレームごとに３Ｄコンテンツ映像２３４Ｌ及び２３４Ｒに分離する（Ｓ５）。ここで、２Ｄ映像コンテンツ２６ａは、２Ｄ−３Ｄ映像変換部２３４ａにおいて３Ｄ映像に変換されているものとする。

次に、映像合成部２３５は、左右の視野ごとにマーカ映像２３０Ｌ及び２３０Ｒ、３Ｄ−ＯＳＤ映像２３３Ｌ及び２３３Ｒ、並びに３Ｄコンテンツ映像２３４Ｌ及び２３４Ｒを合成し、図９に示すように３Ｄ合成映像２３５Ｂを生成する（Ｓ６）。

次に、表示制御部２４は、３Ｄ合成映像２３５Ｂのフレームが通常の映像の２倍になっていることから、２倍フレームレートを指定して表示部２５に出力する（Ｓ７）。また、表示制御部２４は、シャッターメガネ５のシャッター制御と３Ｄ合成映像２３５Ａ又は２３５Ｂの表示とを同期させるため、タイミングジェネレータ５Ａに対してフレームレートを出力する。

また、ステップＳ４において、図７の状態Ａ１又はＡ２に該当する状態のように映像コンテンツを再生中でない場合（Ｓ４；Ｎｏ）、映像合成部２３５は、左右の視野ごとにマーカ映像２３０Ｌ及び２３０Ｒ、並びに３Ｄ−ＯＳＤ映像２３３Ｌ及び２３３Ｒを合成し、図８に示すように３Ｄ合成映像２３５Ａを生成する（Ｓ８）。

（２−３）利用者４の動作に対する映像再生装置１の動作対応
図１１（ａ）及び（ｂ）は、利用者４の動作と映像再生装置１の表示例を示す概略図である。

図１１（ａ）に示すように、映像再生装置１は、表示部２５にボール型の３Ｄ−ＯＳＤ２５Ｂと、３Ｄマーカ２５Ｃとを有する３Ｄ合成映像２５Ａを表示する。なお、３Ｄマーカ２５Ｃは、マーカ生成部２３０によって利用者４の左手４０Ｌの位置に応じて表示される。なお、３Ｄマーカ２５Ｃは、利用者４の左手４０Ｌ及び右手４０Ｒそれぞれの指示座標に応じて表示されるものであり、以下の説明において「３Ｄマーカ２５Ｃが指示する」と説明されているものは、仮想空間上の３Ｄ−ＯＳＤ２３２Ａ又は３Ｄ−ＯＳＤ２３２Ｂの***作対象部を「指示座標が指示する」のと同じ意味であるとする。

また、３Ｄマーカ２５Ｃが３Ｄ−ＯＳＤ２５Ｂのサムネイルを指示すると、サムネイルに選択枠２５ｃが表示されて選択状態となる。なお、サムネイルを選択状態とするには、３Ｄマーカ２５Ｃでサムネイルを予め定めた時間、例えば、２秒間指示する。

また、図１１（ｂ）に示すように、動き認識部２２が、左手４０Ｌが奥行き方向に移動されたと認識すると、マーカ生成部２３０は、３Ｄマーカ２５Ｃを左手４０Ｌの移動距離に比例して３Ｄ合成映像２５Ａ中の奥行き方向に移動し、３Ｄマーカ２５Ｃが中心側の球面に配置されたサムネイルを指示すると、サムネイルが選択枠２５ｃによって選択状態となる。
図１２（ａ）及び（ｂ）は、利用者４の動作と映像再生装置１の他の表示例を示す概略図である。

図１２（ａ）に示すように、３Ｄマーカ２５Ｃが３Ｄ−ＯＳＤの最も外側の球付近にある場合、動き認識部２２は、左手４０Ｌが右方向に通常の動作より素早く移動されたと認識すると、左手４０Ｌの移動距離に比例して３Ｄ−ＯＳＤの最も外側の球のみ回転させる。

また、図１２（ｂ）に示すように、３Ｄマーカ２５Ｃが３Ｄ−ＯＳＤの中心側の球付近にある場合、動き認識部２２は、左手４０Ｌが右方向に通常の動作より素早く移動されたと認識すると、左手４０Ｌの移動距離に比例して３Ｄ−ＯＳＤの中心側の球のみ回転させる。
図１３（ａ）及び（ｂ）は、利用者４の動作と映像再生装置１の他の表示例を示す概略図である。

図１３（ａ）に示すように、動き認識部２２が、左手４０Ｌが奥行き方向に移動されたと認識すると、マーカ生成部２３０は、３Ｄマーカ２５Ｃを左手４０Ｌの移動距離に比例して３Ｄ合成映像２５Ａ中の奥行き方向に移動する。

また、図１３（ｂ）に示すように、動き認識部２２が、左手４０Ｌを握って手前方向に移動されたと認識すると、３Ｄ−ＯＳＤ生成部２３２が視点を奥行き方向に移動し、３Ｄ−ＯＳＤを引き寄せる。
図１４（ａ）及び（ｂ）は、利用者４の動作と映像再生装置１の表示例を示す概略図である。

図１４（ａ）に示すように、映像再生装置１は、表示部２５にウォール型の３Ｄ−ＯＳＤ２５Ｅと、３Ｄマーカ２５Ｃとを有する３Ｄ合成映像２５Ａを表示する。なお、３Ｄマーカ２５Ｃは、マーカ生成部２３０によって利用者４の左手４０Ｌの位置に応じて表示される。

また、３Ｄマーカ２５Ｃが３Ｄ−ＯＳＤ２５Ｅのサムネイルを指示すると、サムネイルに選択枠２５ｃが表示されて選択状態となる。なお、サムネイルを選択状態とするには、３Ｄマーカ２５Ｃでサムネイルを予め定めた時間、例えば、２秒間指示する。

また、図１４（ｂ）に示すように、動き認識部２２が、左手４０Ｌが奥行き方向に移動されたと認識すると、マーカ生成部２３０は、３Ｄマーカ２５Ｃを左手４０Ｌの移動距離に比例して３Ｄ合成映像２５Ａ中の奥行き方向に移動し、３Ｄマーカ２５Ｃが奥行き方向の平面に配置されたサムネイルを指示すると、サムネイルが選択枠２５ｃによって選択状態となる。
図１５（ａ）及び（ｂ）は、利用者４の動作と映像再生装置１の他の表示例を示す概略図である。

図１５（ａ）に示すように、３Ｄマーカ２５Ｃが３Ｄ−ＯＳＤ２５Ｅの最も手前の平面付近にある場合、動き認識部２２は、左手４０Ｌが右方向に通常の動作より素早く移動されたと認識すると、左手４０Ｌの移動距離に比例して３Ｄ−ＯＳＤの最も手前の平面のみ平行移動させる。

また、図１５（ｂ）に示すように、３Ｄマーカ２５Ｃが３Ｄ−ＯＳＤの奥行き側の平面付近にある場合、動き認識部２２は、左手４０Ｌが右方向に通常の動作より素早く移動されたと認識すると、左手４０Ｌの移動距離に比例して３Ｄ−ＯＳＤの奥行き側の平面のみ平行移動させる。

図１６Ａ（ａ）及び（ｂ）は、利用者４の動作と映像再生装置１の他の表示例を示す概略図である。

図１６Ｂ（ａ）〜（ｃ）は、利用者４の動作と映像再生装置１の他の表示例を示す概略図である。なお、図１６Ｂ（ａ）は図１６Ａ（ａ）に、また図１６Ｂ（ｂ）は図１６Ａ（ｂ）に対応しており、利用者４を側面側から見た場合の概略図である。

図１６Ａ（ａ）に示すように、映像再生装置１は、表示部２５に映像再生装置１の操作制御用の３Ｄ−ＯＳＤである音量調整バー２５３Ｂ、再生位置バー２５４Ｂ及び入力切替バー２５５Ｂと、３Ｄマーカ２５Ｃとを有する３Ｄ合成映像２５Ａを表示する。なお、３Ｄマーカ２５Ｃは、マーカ生成部２３０によって利用者４の左手４０Ｌの位置に応じて表示される。

音量調整バー２５３Ｂは、映像再生装置１において出力される音量の大小を調整する。

再生位置バー２５４Ｂは、映像再生装置１において再生中の映像コンテンツの再生時間の位置を指示する。

入力切替バー２５５Ｂは、映像再生装置１において表示される映像のソースを、例えば、ビデオ入力、ＴＶ放送又はその他の外部入力等から選択する。

左手４０Ｌが図１６Ｂ（ａ）に示す位置にあるとき、図１６Ａ（ａ）に示すように、３Ｄマーカ２５Ｃが音量調整バー２５３Ｂの付近に表示され、音量カーソル２５３ｂを選択している場合、動き認識部２２は、左手４０Ｌが右方向に移動されたと認識すると、左手４０Ｌの移動距離に比例して音量カーソル２５３ｂを平行移動させ、その結果、操作信号生成部２３６は、音量調整を行う制御信号を出力する。

また、左手４０Ｌが図１６Ｂ（ｂ）に示す位置にあるとき、図１６Ａ（ｂ）に示すように、３Ｄマーカ２５Ｃが再生位置バー２５４Ｂの付近に表示され、再生位置カーソル２５４ｂを選択している場合、動き認識部２２は、左手４０Ｌが右方向に移動されたと認識すると、左手４０Ｌの移動距離に比例して再生位置カーソル２５４ｂを平行移動させ、その結果、操作信号生成部２３６は、再生位置を変更する制御信号を出力する。

（３）２Ｄ表示時の利用者４の動作に対する映像再生装置１の動作対応
図１７（ａ）及び（ｂ）は、利用者４の動作と映像再生装置１の表示例を示す概略図である。

映像再生装置１は、表示が２Ｄである場合、図１７（ａ）のように、表示部２５に２Ｄのマーカ２５Ｈと２ＤのＯＳＤ２５Ｇとを有する２Ｄ合成画像２５Ｆを表示する。動き認識部２２は、左手４０Ｌが右方向に移動されたと認識すると、図１７（ｂ）に示すように、ＯＳＤ２５Ｇを左手４０Ｌの移動距離に比例して回転させる。

図１８（ａ）及び（ｂ）は、利用者４の動作と映像再生装置１の他の表示例を示す概略図である。

動き認識部２２は、図１８（ａ）に示すように左手４０Ｌ及び右手４０Ｒが突き出されたと認識し、図１８（ｂ）及び（ｃ）に示すように両手が外側へ拡げられたと認識すると、ＯＳＤ２５Ｇの表示縮尺を移動距離に比例して拡大、つまり、表示上の視点を中心に近づくように移動する。また、両手が内側へ狭められたと認識すると、表示上の視点を中心から遠ざかるように移動する。

図１９は、表示が２Ｄと３Ｄとで切り替えられる場合の映像再生装置１の映像合成動作例を示すフローチャートである。

コンテンツ表示制御部２３は、３Ｄ表示を実行する場合（Ｓ２０；Ｙｅｓ）、図１〜図１６Ａに説明したように各部を動作させて利用者に３Ｄ−ＯＳＤ又は３Ｄ映像コンテンツが立体視されるよう、映像再生装置１の各部を動作させて各映像の対を生成する（Ｓ２１）。また、操作信号生成部２３６は、３Ｄ表示に対応した操作信号を生成する（Ｓ２２）。

また、ステップＳ２０において３Ｄ表示を実行せず、すべての映像を２Ｄ表示する場合（Ｓ２０；Ｎｏ）、マーカ生成部２３０は、２Ｄ映像においてマーカを生成し、左右視野映像生成部２３３は、その機能を停止させて３Ｄ−ＯＳＤから１つの視点に基づく映像を生成し、コンテンツ再生部２３４は、２Ｄ映像コンテンツを再生し、２Ｄ−３Ｄ映像変換部２３４ａの動作を停止させ、映像合成部２３５は、これらの２Ｄ映像を合成する（Ｓ２３）。

次に、操作信号生成部２３６は、動き認識部２２が出力する利用者動作信号に基づいて、３Ｄ表示時とは異なる、図１７及び図１８に示すような２Ｄ表示に対応した操作信号を生成する（Ｓ２４）。

（実施の形態の効果）
上記した実施の形態によると、映像再生装置１は、操作対象としての３Ｄ−ＯＳＤ映像２３３Ａ（２３３Ｂ）と、利用者４の左手４０Ｌ及び右手４０Ｒが指示する３Ｄ空間における位置を示す３Ｄマーカ映像２３０Ａ（２３０Ｂ）とを合成して３Ｄ合成映像２３５Ａ（２３５Ｂ）を生成するとともに、マーカが指示した位置及び利用者動作信号に基づいて映像再生装置１の各部を制御する操作信号を生成するため、利用者の三次元の動作を認識するとともに、三次元の操作対象に対する利用者の操作を表示することができ、利用者は、動作に対応した直感的な制御を実行することができる。

なお、本実施の形態において説明した立体視の方法、つまり、左右視野用に異なる映像の対を交互に表示する方法以外に、左右視野用に異なる映像の対を１フレームに１走査線ごとに交互に並べて表示し、１走査線おきに偏光方向を変えた画素表示を行う液晶パネルを用いて表示する方法を用いてもよい。その際、利用者４は、それぞれ偏光方向を変えた右レンズ、左レンズを有する偏光メガネを使用する。

また、両手検出部２１は、手を検出対象としたが、頭、足等の手以外の部位又は体全体を対象としてもよい。また、利用者４の３Ｄにおける指示位置及び動作を検出できれば、他の入力装置を用いてもよい。

１…映像再生装置、２…本体、３…距離センサ、４…利用者、５…シャッターメガネ、５Ａ…タイミングジェネレータ、５Ｌ…左シャッター、５Ｒ…右シャッター、２０…奥行画像取得部、２１…両手検出部、２２…動き認識部、２３…コンテンツ表示制御部、２４…表示制御部、２５…表示部、２５Ａ…３Ｄ合成映像、２５Ｂ…３Ｄ−ＯＳＤ、２５Ｃ…３Ｄマーカ、２５Ｅ…３Ｄ−ＯＳＤ、２５Ｆ…２Ｄ合成画像、２５Ｇ…ＯＳＤ、２５Ｈ…マーカ、２５ｃ…選択枠、２６…記憶部、２６ａ…映像コンテンツ、２６ｂ…映像コンテンツ、４０Ｌ…左手、４０Ｒ…右手、４１Ｌ…左目、４１Ｒ…右目、４２〜４４…位置、４２Ｌ〜４４Ｌ、４２Ｒ〜４４Ｒ…視覚対象、５０…タイミング信号受信部、２３０…マーカ生成部、２３０Ａ…マーカ映像、２３０Ｂ…マーカ映像、２３０Ｌ、２３０Ｒ…マーカ映像、２３１…コンテンツサムネイル取得部、２３２…３Ｄ−ＯＳＤ生成部、２３３…左右視野映像生成部、２３３Ａ…３Ｄ−ＯＳＤ映像、２３３Ｂ…３Ｄ−ＯＳＤ映像、２３３Ｌ…３Ｄ−ＯＳＤ映像、２３４…コンテンツ再生部、２３４Ｂ…３Ｄコンテンツ映像、２３４Ｌ…３Ｄコンテンツ映像、２３４ａ…２Ｄ−３Ｄ映像変換部、２３５…映像合成部、２３５Ａ…３Ｄ合成映像、２３５Ｂ…３Ｄ合成映像、２３５Ｌ…３Ｄ合成映像、２３６…操作信号生成部、２５０…ボール型コンテンツ表示画面、２５０Ａ…ボール型コンテンツ表示、２５０Ｂ…マーカ、２５０Ｌ…右視野用ボール型コンテンツ表示画面、２５０Ｒ…左視野用ボール型コンテンツ表示画面、２５１…ウォール型コンテンツ表示画面、２５１Ａ…ウォール型コンテンツ表示、２５１Ｂ…マーカ、２５１Ｌ…右視野用ウォール型コンテンツ表示画面、２５１Ｒ…左視野用ウォール型コンテンツ表示画面、２５２…映像コンテンツ再生画面、２５２Ａ…映像コンテンツ表示、２５２Ｂ…マーカ、２５２Ｃ…コンテンツ再生制御表示、２５２Ｌ…右視野用映像コンテンツ再生画面、２５２Ｒ…左視野用映像コンテンツ再生画面、２５２ｃ…コンテンツ再生制御表示、２５３Ｂ…音量調整バー、２５３ｂ…音量カーソル、２５４Ｂ…再生位置バー、２５４ｂ…再生位置カーソル、２５５Ｂ…入力切替バー

Claims

操作対象について視野差を有する第１の映像の対を生成する映像生成部と、
利用者の三次元の動作を認識する動き認識部と、
前記動き認識部が認識した前記動作に基づいて三次元の指示座標を特定し、前記指示座標に対応したマーカについて視野差を有する第２の映像の対を生成するマーカ生成部と、
前記第１の映像の対と前記第２の映像の対とを合成して第３の映像の対を生成する映像合成部とを有することを特徴とする映像再生装置。
前記指示座標と前記操作対象との位置関係に基づいて操作信号を生成する操作信号生成部をさらに有することを特徴とする請求項１に記載の映像再生装置。
前記操作信号生成部が生成する前記操作信号に基づいて映像コンテンツを再生して第４の映像の対を生成するコンテンツ再生部をさらに有し、
前記映像合成部は、前記第１の映像の対、前記第２の映像の対及び前記第４の映像の対を合成して前記第３の映像の対を生成することを特徴とする請求項２に記載の映像再生装置。
前記操作信号生成部は、前記映像生成部及び前記マーカ生成部が視野差を有する映像の対を生成する場合と、視野差を考慮しない映像を生成する場合とにおいて、前記動き認識部が認識する動きに基づいて、それぞれ異なる操作信号を生成することを特徴とする請求項１に記載の映像再生装置。
操作対象について視野差を有する第１の映像の対を生成する映像生成ステップと、
利用者の三次元の動作を認識する動き認識ステップと、
前記動き認識ステップにおいて認識した前記動作に基づいて三次元の指示座標を特定し、前記指示座標に対応したマーカについて視野差を有する第２の映像の対を生成するマーカ生成ステップと、
前記第１の映像の対と前記第２の映像の対とを合成して第３の映像の対を生成する映像合成ステップとを有することを特徴とする映像再生方法。
第１視点に対応する第１画像情報と、前記第１視点とは異なる第２視点に対応する第２画像情報とを其々生成する画像情報生成手段と、
前記画像情報生成手段で其々生成された前記第１画像情報と前記第２画像情報とを合成し、第１表示画像と、この第１表示画像の下に重ねられる第２表示画像とを其々生成して表示画面に表示させる表示手段と、
外部操作部の位置を検知する位置検知手段と、
前記位置検知手段で検知された前記外部操作部の位置が第１の位置であれば前記第１表示画像を選定し、前記位置検知手段で検知された前記外部操作部の位置が、第１の位置より前記表示画面に近い第２の位置であれば前記第２表示画像を選定する選定手段と、
を具備することを特徴とする映像再生装置。