JP5341946B2 - 立体視再生を行う再生方法、立体視再生装置 - Google Patents
立体視再生を行う再生方法、立体視再生装置 Download PDFInfo
- Publication number
- JP5341946B2 JP5341946B2 JP2011090909A JP2011090909A JP5341946B2 JP 5341946 B2 JP5341946 B2 JP 5341946B2 JP 2011090909 A JP2011090909 A JP 2011090909A JP 2011090909 A JP2011090909 A JP 2011090909A JP 5341946 B2 JP5341946 B2 JP 5341946B2
- Authority
- JP
- Japan
- Prior art keywords
- plane
- video
- graphics
- offset
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 168
- 230000015572 biosynthetic process Effects 0.000 claims description 34
- 238000003786 synthesis reaction Methods 0.000 claims description 33
- 230000008859 change Effects 0.000 claims description 18
- 230000033001 locomotion Effects 0.000 claims description 16
- 239000007921 spray Substances 0.000 claims 2
- 230000015654 memory Effects 0.000 abstract description 82
- 230000002452 interceptive effect Effects 0.000 description 219
- 238000003860 storage Methods 0.000 description 175
- 238000012545 processing Methods 0.000 description 125
- 230000008569 process Effects 0.000 description 92
- 238000004364 calculation method Methods 0.000 description 48
- 238000010586 diagram Methods 0.000 description 40
- 230000006870 function Effects 0.000 description 32
- 230000000694 effects Effects 0.000 description 28
- 238000007726 management method Methods 0.000 description 28
- 239000004973 liquid crystal related substance Substances 0.000 description 27
- 239000011521 glass Substances 0.000 description 26
- 230000009467 reduction Effects 0.000 description 23
- 239000004065 semiconductor Substances 0.000 description 20
- 239000002131 composite material Substances 0.000 description 19
- 239000000203 mixture Substances 0.000 description 16
- 238000009877 rendering Methods 0.000 description 16
- 239000000872 buffer Substances 0.000 description 15
- 230000003287 optical effect Effects 0.000 description 14
- 230000005540 biological transmission Effects 0.000 description 8
- 238000001514 detection method Methods 0.000 description 8
- 230000001360 synchronised effect Effects 0.000 description 8
- 208000003464 asthenopia Diseases 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 230000003068 static effect Effects 0.000 description 7
- 230000007246 mechanism Effects 0.000 description 6
- 230000004044 response Effects 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 238000013461 design Methods 0.000 description 5
- 230000001172 regenerating effect Effects 0.000 description 5
- 230000002194 synthesizing effect Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 230000011664 signaling Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 239000003855 balanced salt solution Substances 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 229940053083 eye stream Drugs 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000005206 flow analysis Methods 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000013468 resource allocation Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 206010053615 Thermal burn Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- NUHSROFQTUXZQQ-UHFFFAOYSA-N isopentenyl diphosphate Chemical compound CC(=C)CCO[P@](O)(=O)OP(O)(O)=O NUHSROFQTUXZQQ-UHFFFAOYSA-N 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000036316 preload Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 238000011069 regeneration method Methods 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/139—Format conversion, e.g. of frame-rate or size
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/156—Mixing image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
- H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Television Signal Processing For Recording (AREA)
- Processing Or Creating Images (AREA)
- Controls And Circuits For Display Device (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
Description
現状、立体視再生技術の応用は、劇場等での応用が主流であるが、家庭設置用のディスプレイや再生装置で立体視再生を楽しむ利用形態も、今後の急速な普及が期待される。
2つ目の方法は、特許文献2のように、一つのビデオストリームと、それに対応するDepth情報からビデオに立体効果をもたらし、その上に字幕オブジェクトを重ね合わせる方法である。この特許文献2では、字幕がビデオと重なる部分の奥行きをZeroパララックス、つまり奥行きを無くして表示することで、字幕とビデオとの奥行き感の違いをユーザに感じさせないようにしている。
前記グラフィックスデータを書き込んだグラフィックスプレーンを第1方向に、オフセットに示された移動量にて移動させ、前記グラフィックスデータを書き込んだグラフィックスプレーンを前記第1方向とは反対の第2方向に、前記オフセットに示された移動量にて移動させるプレーンシフトエンジンと、
左目用のビデオデータを左目用のビデオプレーンに書き込み、右目用のビデオデータを右目用のビデオプレーンに書き込むビデオデータ書き込み部、
前記左目用のビデオプレーンに書き込んだ左目用のビデオデータに前記第1の方向に移動させたグラフィックスプレーンに書き込んだグラフィックスデータを合成し、前記右目用のビデオプレーンに書き込んだ右目用のビデオデータに前記第2の方向に移動させたグラフィックスプレーンに書き込んだグラフィックスデータを合成する合成部とを備え、
前記ビデオデータの表示スケールの変更を受け付けると、前記オフセットに応じた移動量は、前記オフセットに前記表示スケールのスケーリング倍率を当該乗じた値に基づいて変更されることを特徴としている。
図1は、記録媒体、再生装置の、使用行為についての形態の一例を示す図である。本図に示すように、記録媒体の一例であるBD-ROM100、再生装置200は、リモコン300、テレビ400、液晶眼鏡500と共にホームシアターシステムを構成し、ユーザによる使用に供される。
再生装置200は、テレビ400と接続され、BD-ROM100を再生する。こうして再生される再生映像には、2D映像、3D映像が存在する。2D映像とは、例えば表示装置の表示画面を含む平面をX-Y平面として捉えて、このX-Y平面上に位置する表示画面の表示位置における画素にて表現される画像であり、平面視画像とも呼ばれる。
テレビ400の画面のうち、下半分は、ネクストスキップ、プレビアススキップを受け付けるボタン部材bn1、メニューコールを受け付けるボタン部材bn2、戻る操作を受け付けるボタン部材bn3、ネットワーク接続を受け付けるボタン部材bn4を含み、カレントタイトルの番号及びカレントチャプターの番号を表示するためのインディケータir1を含む。これらのボタン部材については、リモコン300による操作が可能となる。
以上がホームシアターシステムについての説明である。
m2ts)が存在する。
CLIPINFディレクトリには、拡張子clpiが付与されたファイル(00001.clpi)が存在する。
JARディレクトリには、拡張子jarが付与されたファイル(YYYYY.jar)が存在する。
METAディレクトリには、XMLファイル(ZZZZZ.xml)が存在する。
<m2tsファイル>
先ず初めに、拡張子m2ts;が付与されたファイルについて説明する。拡張子m2ts;が付与されたファイルは、MPEG-TS(TransportStream)形式のデジタルAVストリームであり、ビデオストリーム、1つ以上のオーディオストリーム、グラフィクスストリームを多重化することで得られる。ビデオストリームは映画の動画部分を、オーディオストリームは映画の音声部分をそれぞれ示している。2D用のストリームのみを含むトランスポートストリームを“2Dストリーム”、3D用のストリームを含むトランスポートストリームを“3Dストリーム”という。
AVC MVC)を使うことが望ましい。そのようなコーデックで圧縮符号化されたビデオストリームを、MVCビデオストリームと呼ぶ。
拡張子“mpls”が付与されたファイルは、PlayList(PL)情報を格納したファイルである。プレイリスト情報は、AVクリップを参照してプレイリストを定義する情報である。
プレイリスト情報は、MainPath情報、Subpath情報、PlayListMark情報を含む。
3)Subpath情報は、1つ以上のSubPlayItem情報から構成され、SubPlayItem情報は、前記AVストリームと同期して再生すべきエレメンタリストリームの指定と、そのエレメンタリストリームの再生時間軸におけるIn_Time情報及びOut_Time情報の組みとを含む。再生制御のためのJava(登録商標)アプリケーションが、このプレイリスト情報を再生するJMFプレーヤインスタンスの生成をJava(登録商標)仮想マシンに命じることで、AV再生を開始させることができる。JMF(Java Media Frame work)プレーヤインスタンスとは、JMFプレーヤクラスを基にして仮想マシンのヒープメモリ上に生成される実際のデータのことである。
続いて、拡張子BDJOを付したファイルについて説明する。拡張子BDJOを付したファイルは、BD-Jオブジェクトを格納したファイルである。BD-Jオブジェクトは、プレイリスト情報により定義されるAVクリップ列と、アプリケーションとの関連付けにより、タイトルを定義する情報である。BD-Jオブジェクトは、“アプリケーション管理テーブル”と、“プレイリスト情報に対する参照値”とを示す。“プレイリスト情報に対する参照値”は、このタイトルの開始時に、同時に再生すべきプレイリスト情報を示す。アプリケーション管理テーブルは、このタイトルを生存区間とするアプリケーションを指定する情報を羅列したものである。
「アプリケーション管理テーブル(AMT)」は、タイトルを生存区間としたアプリケーションシグナリングを、再生装置に行わせるためのテーブルである。引き出し線bj1は、アプリケーション管理テーブルの内部構成をクローズアップして示している。この引き出し線に示すように、アプリケーション管理テーブルは、BD-Jオブジェクトに対応するタイトルがカレントタイトルになった際、動作させるべきアプリケーションを特定する『アプリケーション識別子』と、『制御コード』とを含む。制御コードは、AutoRunに設定された場合、このアプリケーションをヒープメモリにロードした上、自動的に起動する旨を示し、Presentに設定された場合、このアプリケーションをヒープメモリにロードした上、他のアプリケーションからのコールを待って、起動すべき旨を示す。
また字幕ストリーム、グラフィックスストリームについては左目用/右目用のものがそれぞれBD-ROM100に記録されていても良いし、1の字幕ストリーム、グラフィックスストリームを左右で共有する構成であっても良い。この場合、後述するようにオフセットを与えることにより、液晶眼鏡500を介して見える字幕、グラフィックスは平面的な像ではあるものの、表示画面から飛び出た位置に見えるようにしたり、表示画面よりも奥に位置するように見えるようにすることができる。
BDドライブ1aは、例えば、半導体レーザ(不図示)、コリメートレンズ(不図示)、ビームスプリッタ(不図示)、対物レンズ(不図示)、集光レンズ(不図示)、光検出器(不図示)を有する光学ヘッド(不図示)を備える。半導体レーザから出射された光ビームは、コリメートレンズ、ビームスプリッタ、対物レンズを通って、光ディスクの情報面に集光される。集光された光ビームは、光ディスク上で反射/回折され、対物レンズ、ビームスプリッタ、集光レンズを通って、光検出器に集光される。光検出器にて集光された光の光量に応じて、生成された信号がBD-ROMから読み出されたデータに対応する。
ネットワークインターフェース1bは、再生装置の外部と通信を行うためのものであり、インターネットでアクセス可能なサーバにアクセスしたり、ローカルネットワークで接続されたサーバにアクセスしたりすることが可能である。例えば、インターネット上に公開されたBD-ROM追加コンテンツのダウンロードに用いられたり、コンテンツが指定するインターネット上のサーバとの間でデータ通信を行うこうことでネットワーク機能を利用したコンテンツの再生を可能としたりする。BD-ROM追加コンテンツとは、BDドライブ1aに装填したオリジナルのBD-ROM100にないコンテンツで、例えば追加の副音声、字幕、特典映像、アプリケーションなどである。BD-Jプラットフォームからネットワークインターフェース1bを制御することができ、インターネット上に公開された追加コンテンツをローカルストレージ1cにダウンロードすることができる。
ローカルストレージ1cは、ビルドインメディア、リムーバブルメディアを備え、ダウンロードしてきた追加コンテンツやアプリケーションが使うデータなどの保存に用いられる。追加コンテンツの保存領域はBD-ROM毎に分かれており、またアプリケーションがデータの保持に使用できる領域はアプリケーション毎に分かれている。また、ダウンロードした追加コンテンツをどのようにBDドライブ1aに装填したBD-ROM上のデータとマージされるか、マージ規則が記載されたマージ管理情報もこのビルドインメディア、リムーバブルメディアに保存される。
リムーバブルメディアとは、例えば可搬性を有する記録媒体であり、好適にはSDカードなどの可搬性を有する半導体メモリーカードである。
リードバッファ2aは、BDドライブ1aから読み出されたレフトビューストリームを構成するエクステントを構成するソースパケットを一旦格納しておき、転送速度を調整した上、デマルチプレクサ4に転送するためのバッファである。
リードバッファ2bは、BDドライブ1aから読み出されたライトビューストリームを構成するエクステントを構成するソースパケットを一旦格納しておき、転送速度を調整した上、デマルチプレクサ4に転送するためのバッファである。
仮想ファイルシステム3は、例えば追加コンテンツと共にローカルストレージ1cにダウンロードされたマージ管理情報を元に、ローカルストレージに格納された追加コンテンツと装填したBD-ROM上のコンテンツをマージさせた、仮想的なBD-ROM(仮想パッケージ)を構築する。仮想パッケージの構築のため仮想ファイルシステム3は、アプリケーション関連付け情報を生成、及び更新するためのアプリデータ関連付けモジュールを有している。アプリデータ関連付け情報とは、BD-ROMディスク上の情報と、アプリケーションが設定する属性情報とを元にして、ローカルストレージの情報をアプリケーションに関連付ける情報である。
デマルチプレクサ4は、例えばソースパケットデパケッタイザー、PIDフィルタから構成され、再生すべきストリーム(ストリームは構築した仮想パッケージ(装填したBD-ROMおよび装填したBD-ROMに対応するローカルストレージ上のデータ)に含まれる)に対応するパケット識別子の指示を受け付けて、当該パケット識別子に基づくパケットフィルタリングを実行する。パケットフィルタリングにあたって、左右処理記憶部19のフラグを基に、レフトビュービデオストリーム、ライトビュービデオストリームのうち、表示方式フラグに対応したビデオストリームを抜き出し、ビデオデコーダ5a、ビデオデコーダ5bに転送する。デマルチプレクサ3はストリームのヘッダ情報から左目用ビデオフレームと右目用ビデオフレームの振り分けを行う。
ビデオデコーダ5aは、デマルチプレクサ4から出力されたTSパケットを復号して非圧縮形式のピクチャをレフトビュービデオプレーン6(図4のビデオプレーン6における符号(L)で示したもの)に書き込む。
ビデオデコーダ5bは、デマルチプレクサ4から出力されたライトビュービデオストリームを復号してTSパケットを復号して非圧縮形式のピクチャをライトビュービデオプレーン6(図4のビデオプレーン6における符号(R)で示したもの)に書き込む。
ビデオプレーン6は例えば、1920×2160(1280×1440)といった解像度に応じたピクチャデータを格納することができるプレーンメモリであり、1920×1080(1280×720)の解像度をもつ左目用プレーン(図4のビデオプレーン6における符号(L)で示したもの)、1920×1080(1280×720)の解像度をもつ右目用プレーン(図4のビデオプレーン6における符号(R)で示したもの)を有する。
イメージデコーダ7a,bは、デマルチプレクサ4から出力され、イメージメモリ7c、7dに書き込まれた字幕ストリームを構成するTSパケットを復号して非圧縮形式のグラフィクス字幕をグラフィクスプレーン8aに書き込む。イメージデコーダ7a,bによりデコードされる“字幕ストリーム”は、ランレングス符号化によって圧縮された字幕を表すデータであり、Y値,Cr値,Cb値,α値を示すピクセルコードと、そのピクセルコードのランレングスとによって定義される。
イメージプレーン8は、例えば1920×1080(1280×720)といった解像度によって、字幕ストリームをデコードすることにより得られたグラフィクスデータ(例えば字幕データ)を格納することができるグラフィクスプレーンであり、例えば1920×1080(1280×720)の解像度をもつデータを格納できるような記憶領域を有する左目用プレーン(図4に示したイメージプレーン8における符号(L)で示したもの)、1920×1080(1280×720)の解像度をもつデータを格納できるような記憶領域を有する右目用プレーン(図4に示したイメージプレーン8における符号(R)で示したもの)を有する。
オーディオデコーダ9は、デマルチプレクサ4から出力されたオーディオフレームを復号して、非圧縮形式のオーディオデータを出力する。
インタラクティブグラフィクスプレーン10は、例えば1920×1080(1280×720)といった解像度によって、BD-Jアプリケーションがレンダリングエンジン22aを利用して描画したグラフィクスデータを格納することができる記憶領域を有するグラフィクスプレーンであり、例えば1920×1080(1280×720)の解像度をもつデータを格納できるような記憶領域を有する左目用プレーン(図4のインタラクティブグラフィクスプレーン10において、符号(L)を付したもの)、1920×1080(1280×720)の解像度をもつデータを格納できるような記憶領域を有する右目用プレーン(図4のインタラクティブグラフィクスプレーン10において、符号(R)を付したもの)を有する。
バックグラウンドプレーン11は、例えば1920×1080(1280×720)といった解像度によって、背景画となるべき静止画データを格納することができるプレーンメモリであり、具体的には、1920×1080(1280×720)の解像度をもつ左目用プレーン(図4に示すバックグラウンドプレーン11における符号(L)を付したもの)、1920×1080(1280×720)の解像度をもつ右目用プレーン(図4に示すバックグラウンドプレーン11における符号(R)を付したもの)を有する。
レジスタセット12は、プレイリストの再生状態を格納する再生状態レジスタ、再生装置におけるコンフィグレーションを示すコンフィグレーション情報を格納する再生設定レジスタ、コンテンツが利用する任意の情報を格納できる汎用レジスタを含む、レジスタの集まりである。プレイリストの再生状態とは、プレイリストに記載されている各種AVデータ情報の中のどのAVデータを利用しているか、プレイリストのどの位置(時刻)を再生しているかなどの状態を現す。
静的シナリオメモリ13は、カレントプレイリスト情報やカレントクリップ情報を格納しておくためのメモリである。カレントプレイリスト情報とは、BD-ROMまたはビルドインメディアドライブ、リムーバブルメディアドライブからアクセスできる複数プレイリスト情報のうち、現在処理対象になっているものをいう。カレントクリップ情報とは、BD-ROMまたはビルドインメディアドライブ、リムーバブルメディアドライブからアクセスできる複数クリップ情報のうち、現在処理対象になっているものをいう。
再生制御エンジン14は、HDMVモードの動作主体であるコマンドインタプリタ、BD-Jモードの動作主体であるJavaプラットフォームからの関数呼び出しに応じて、AV再生機能、プレイリストの再生機能を実行する。AV再生機能とは、DVDプレーヤ、CDプレーヤから踏襲した機能群であり、再生開始、再生停止、一時停止、一時停止の解除、静止画機能の解除、再生速度を即値で指定した早送り、再生速度を即値で指定した巻戻し、音声切り替え、副映像切り替え、アングル切り替えといった処理である。プレイリスト再生機能とは、このAV再生機能のうち、再生開始や再生停止をカレントプレイリストを構成するカレントプレイリスト情報、カレントクリップ情報に従って行うことをいう。
スケーリングエンジン15は、イメージプレーン8やビデオプレーン5にある映像の縮小、拡大、及び等倍の制御を行うことが可能である。スケーリングエンジン15は、イメージデータ、ピクチャデータのデコードがされた時点でプレーンシフトエンジン20内に値が設定されていれば、スケーリングが発生しているとみなし、デコードされたビデオデータをビデオプレーンに格納する前、デコードされたグラフィクスをイメージプレーンに格納する前にスケーリングエンジン15を通してスケーリングを行わせる。
(合成部16)
合成部16は、インタラクティブグラフィクスプレーン10、イメージプレーン8、ビデオプレーン6、バックグラウンドプレーン11の格納内容を合成する。
HDMI送受信部17は、例えばHDMI規格(HDMI:High Definition Multimedia Interface)に準拠したインターフェイスを含み、再生装置とHDMI接続する装置(この例ではテレビ400)とHDMI規格に準拠するように送受信を行うものであり、ビデオに格納されたピクチャデータと、オーディオデコーダ9によってデコードされた非圧縮のオーディオデータとを、HDMI送受信部16を介してテレビ400に伝送する。テレビ400は、例えば立体視表示に対応しているかに関する情報、平面表示可能な解像度に関する情報、立体表示可能な解像度に関する情報を保持しており、再生装置からHDMI送受信部16を介して要求があると、テレビ400は要求された必要な情報(例えば立体視表示に対応しているかに関する情報、平面表示可能な解像度に関する情報、立体表示可能な解像度に関する情報)を再生装置へ返す。このように、HDMI送受信部16を介することで、テレビ400が立体視表示に対応しているかどうかの情報を、テレビ400から取得することができる。
表示機能フラグ保存部18は、再生装置は再生装置が3Dの表示が可能か否かの区別を示す、3D表示機能フラグを保存している。
左右処理記憶部19は、現在の出力処理がレフトビュー用の出力か、または、ライトビュー用の出力かを記憶する。左右処理記憶部19のフラグは、図1に示した再生装置と接続する表示デバイス(図1の例ではテレビ)に対する出力が、レフトビュー出力であるか、ライトビュー出力であるかを示す。レフトビュー出力をしている間、左右処理記憶部19のフラグはレフトビュー出力を示すフラグに設定される。また、ライトビュー出力をしている間、左右処理記憶部19のフラグはライトビュー出力を示すフラグに設定される。
プレーンシフトエンジン20はプレーンオフセットを保存する領域を兼ね備え、左右処理記憶部19に現在の処理対象が左目映像か右目映像かを判定した後、保存しているプレーンオフセットを用いてイメージプレーンの横軸のシフト量(表示画面上に表示される像を表示画面の水平方向へ基準となる位置からどの程度ずらすかを示す量)を計算し、シフトする。表示される字幕(グラフィクス)のシフト量を調節することにより、液晶眼鏡500を介して見える平面的な字幕(グラフィクス)は表示画面の位置よりも手前/奥に表示されているように見せることができる。シフト量というのは表示画面の位置からどの程度、手前に位置しているように見えるかまたは奥に位置しているように見えるかを調節するための量である。
オフセット設定部21は、オフセットの更新要求があった場合に更新すべきオフセットを後述するプレーンシフトエンジン20のオフセット値保存部41に設定するものである。
BD-Jプラットフォーム22は、BD-Jモードの動作主体であるJavaプラットフォームであり、Java2Micro_Edition(J2ME)
Personal Basis Profile(PBP 1.0)と、Globally Executable MHP
specification(GEM1.0.2)for package media targetsとをフル実装しており、JARアーカイブファイルに存在するクラスファイルからバイトコードを読み出して、ヒープメモリに格納することにより、BD-Jアプリケーションを起動する。そしてBD-Jアプリケーションを構成するバイトコード、システムアプリケーションを構成するバイトコードをネィティブコードに変換して、MPUに実行させる。BD-Jプラットフォーム22は、BD-Jアプリケーションからスケーリングが要求された際、引数として与えられたスケーリングFactorを後述する図21に示すスケーリングエンジン20のスケーリングFactor保存部42に格納する
(レンダリングエンジン22a)
レンダリングエンジン22aは、Java2D,OPEN-GLといった基盤ソフトウェアを備え、BD-JモードにおいてはBD-Jプラットフォーム22からの指示に従って、グラフィクスや文字列をインタラクティブグラフィクスプレーン10に書き込む。またHDMVモードにおいて、レンダリングエンジン22aは、字幕に対応するストリーム(字幕ストリーム)以外のグラフィクスストリームから抽出したグラフィクスデータ(例えば、入力ボタンに対応するグラフィクスデータ)をレンダリングし、インタラクティブグラフィクスプレーン10に書き込む。
動的シナリオメモリ23は、カレント動的シナリオを格納しておき、HDMVモードの動作主体であるHDMVモジュール、BD-Jモードの動作主体であるJavaプラットフォームによる処理に供されるメモリである。カレント動的シナリオとは、BD-ROMまたはビルドインメディア、リムーバブルメディアに記録されているIndex.bdmv、BD-Jオブジェクト、ムービーブジェクトのうち、現在実行対象になっているものをいう。
モード管理モジュール24は、BD-ROM100またはローカルストレージ1c(図4の例ではビルドインメディアドライブ、リムーバブルメディアドライブ)から読み出されたIndex.bdmvを保持して、モード管理及び分岐制御を行う。モード管理モジュール24によるモード管理とは、動的シナリオを、BD-Jプラットフォーム22、HDMVモジュール25のどちらに実行させるかという、モジュールの割り当てである。
HDMVモジュール25は、HDMVモードの動作主体となるDVD仮想プレーヤであり、HDMVモードの実行主体となる。本モジュールは、コマンドインタプリタを具備し、ムービーオブジェクトを構成するナビゲーションコマンドを解読して実行することでHDMVモードの制御を実行する。ナビゲーションコマンドは、DVD-Videoと似たようなシンタックスで記述されているため、かかるナビゲーションコマンドを実行することにより、DVD-Videoライクな再生制御を実現することができる。
UO検知モジュール26は、GUIに対するユーザオペレーションを受け付ける。かかるGUIによって受け付けられるユーザオペレーションには、BD-ROMに記録されているタイトルのうち、どれを選択するかというタイトル選択、字幕選択、音声選択がある。特に、立体視再生特有のユーザオペレーションとして、立体視映像の奥行き感のレベルを受け付けることがある。例えば、奥行き感が、遠い、普通、近い等の3つのレベルを受け付けることがあるし、奥行き感は何cm、何mmというように、数値入力によって奥行き感のレベルを受け付けることもある。
静止画メモリ27aは、BD-ROM、または、構築した仮想パッケージから取り出された背景画となる静止画データを格納する。
静止画デコーダ27bは、静止画メモリ27aに読み出された静止画データをデコードして、非圧縮の背景画データをバックグラウンドプレーン11に書き込む。
表示モード設定イニシャル表示設定部28は、BD-Jプラットフォーム部に供せられるカレントタイトルにおけるBD-Jオブジェクトに基づき、表示モード、解像度の設定を行う。
表示モード記憶部29は、表示モードが2Dまたは3Dのいずれであるのか、およびステレオモードがONまたはOFFのいずれであるのかを記憶する。再生装置が3D表示機能フラグとして3D表示が可能と設定されている場合、表示モード記憶部29に保存された端末設定である表示モードは、2D、3Dの何れかに切り替えることが可能となる。以後、表示モードが“3D”と示されている状態を“3D表示モード”と呼び、表示モードが“2D”と示されている状態を“2D表示モード”と呼ぶ。
表示モード設定イニシャル表示設定部28は、BD-Jプラットフォーム部に供せられるカレントタイトルにおけるBD-Jオブジェクトに基づき、表示モード、解像度の設定を行う。
(ビデオプレーン6への書き込み)
先ず始めに、ビデオプレーン6について説明する。ビデオデータの表示モードが3D表示モードであって、かつステレオモードがオンである場合には、ビデオデコーダ5aがレフトビュー用のビデオストリームをデコードし、左目用プレーン(図5に示したビデオプレーン6における符号(L)で示したもの)に書き込むとともに、ビデオデコーダ5bがライトビュー用のビデオストリームをデコードし、右目用プレーン(図5に示したビデオプレーン6における符号(R)で示したもの)に書き込む。
続いて、イメージプレーン8の詳細について説明する。
(イメージプレーン8への書き込み)
例えば字幕データの表示モードが3D表示モードであって、かつステレオモードがオンである場合には、イメージデコーダ7aがイメージメモリ7cに記憶されたレフトビュー用の字幕ストリームをデコードし、左目用プレーン(図5に示したイメージプレーン8における符号(L)で示したもの)に書き込むとともに、イメージデコーダ7bがイメージメモリ7dに記憶されたライトビュー用の字幕ストリームをデコードし、右目用プレーン(図5に示したイメージプレーン8における符号(R)で示したもの)に書き込む。
(インタラクティブグラフィクスプレーン10への書き込み)
インタラクティブグラフィクスの表示モードが例えば3D表示モードであって、かつステレオモードがオンである場合、左目から見えるインタラクティブグラフィクス(左目用インタラクティブグラフィクス)、右目から見えるインタラクティブグラフィクスであって、左目用インタラクティブグラフィクスとは異なるインタラクティブグラフィクス(右目用インタラクティブグラフィクス)を描画するプログラムがBD-Jアプリケーションに組み込まれていることを意味する。
(バックグラウンドプレーン11への書き込み)
背景画の表示モードが例えば3D表示モードであって、かつステレオモードがオンである場合、静止画デコーダ27bは、静止画メモリ27aに格納された、レフトビュー用の静止画データ、ライトビュー用の静止画データをデコードして、レフトビュー用の静止画データを左目用プレーン(図4に示すバックグラウンドプレーン11における符号(L)を付したもの)、ライトビュー用の静止画データを右目用プレーン(図4に示すバックグラウンドプレーン11における符号(R)を付したもの)にそれぞれ書き込む。
次に、本実施の形態における2D表示モード、3D表示モードの切り替えの詳細について説明する。
本図の右側には3D表示モード時の出力モデルが表示されている。再生装置が3D表示モードの場合、ビデオプレーン6、イメージプレーン8(図中の“Subtitle”)、インタラクティブグラフィクスプレーン10はそれぞれレフトビュー用と、ライトビュー用とに分けられており、これらに再生すべきピクチャデータ、グラフィクスデータが格納される。
図6では各プレーンがステレオモードを統一させている場合の例を示しているが、プレーン毎にステレオモードのON/OFFが変更可能である。
第2段目は、ビデオストリームと、ビデオプレーン6、その合成前の出力とを示す。
第3段目は、イメージプレーン8と、その合成前の出力とを示す。
ステレオモードがONの場合、バックグラウンドプレーンは、(L)が付された領域で示す左目用バックグラウンドプレーンがレフトビュー用の背景データの書き込みに使われ、(R)が付された領域で示す右目用バックグラウンドプレーンがライトビュー用の背景データが書き込まれ、左目用/右目用の合成時にそれぞれ使われる。バックグラウンドプレーン11のステレオモードがOFFの場合はアプリケーションによりレフトビュー用の背景データがバックグラウンドプレーンの、(L)、(R)を付した領域にそれぞれ書き込まれるので、ライトビュー用の背景データは表示に影響しない。
Left)。
図9は、プレーン毎の合成結果を示す。
6L、6Rは、ビデオプレーンの一例を示すものである。女性の顔の向きの違いから、レフトビュー用のストリームとライトビューのストリームは違った角度から撮られたものであることがうかがえる。尚、図9における人物の顔の向きや位置のズレは模式的なものであり、立体視再生を実現するための正確な顔の向きや位置を表している訳ではない。液晶眼鏡500をかけず、裸眼でテレビ400の表示画面を見た場合、この違った角度から撮影された映像があたかも重ね合わされて表示されているかのように見えることになる。
インタラクティブグラフィクスプレーン10における前後スキップの操作を受け付けるGUI部品は、BD-Jアプリケーションがインタラクティブグラフィクスプレーン10に描画したグラフィックス画像である。
ライトビューとレフトビュー用の映像は、例えば液晶眼鏡500を通してフィルタされ、左右の目にそれぞれ違う映像を映し出す。ここで注目すべき点は、ビデオストリーム映像が左右の画像が重ねられて立体化されているのみでなく、“I love you”の字幕や前後スキップの操作を受け付けるGUI部品も左目と右目で異なっていることである。このように、予め左目用と右目用の両方のコンテンツが用意されている場合はステレオモードをONにすることにより、自然とビデオ、字幕やGUI部品全て奥行きが保たれた構成になることがわかる。
立体視効果の実現のため、グラフィクスプレーンをずらす方向について説明する。
プレーンシフトエンジン20がシフトする方向はグラフィクスプレーンを表示画面よりも奥に位置するような立体感をもたせるか、表示画面よりも手前に位置するような立体感を持たせるかによって異なる。
元の画素データの座標と、右方向又は左方向にシフトした場合の各画素データの座標との差分を“シフト量“又は“シフト数”という。このシフト量は、立体視においては、イメージプレーン8に書き込まれた字幕、又は、インタラクティブグラフィクスプレーン10書き込まれたグラフィックス画像を表示画面よりもどの程度、手前または奥に位置するように表示をさせるのかという奥行き値によって算出されるべきである。また、立体視再生において、両目の視差として採用することができる何等のパラメータから、導出することができる。
グラフィクスプレーンのプレーンオフセットは、ライトビューのグラフィクスプレーンに格納されている画素データの座標、及び、レフトビュー用のグラフィクスプレーンに格納されている画素データの座標を何画素だけずらすかという画素数を示す。
とは異なる値、インタラクティブグラフィックスプレーンのプレーンオフセットが“0“ とは異なる値のときの右方向にシフトされたShiftedLeftレフトビューグラフィクスプレーン、左方向にシフトされたShifted Leftライトビューグラフィクスプレーンを示す図である。
図13は、プレーンオフセットの符号が正(レフトビュー用のグラフィクスイメージを右方向へずらし、ライトビュー用のグラフィクスイメージを左方向へずらす)である場合、像が表示画面よりも手前にあるように見える原理を説明するための図である。
まず、プレーンオフセットがない場合、右目に見える像も左目に見える像も同じ位置であるため、両目を用いて、この像を見たときの焦点位置は、表示画面上に位置する(図13(a))。結果として表示される像は表示画面上に位置する。
図15は、正と負のプレーンオフセットの見え方の違いの一例を示す図である。
同図(a)(b)において、手前の方は、ライトビュー出力時にシフトしたシフト後のグラフィクスプレーンを用いて出力されるライトビュー用のグラフィクスイメージを示す。奥の方は、レフトビュー出力時にシフトしたシフト後のグラフィクスプレーンを用いて出力されるレフトビュー用のグラフィクスイメージを示す。
以上の説明から、プレーンシフトにおけるプレーンオフセットによって、平面的な画像が表示画面よりも手前に表示されたり奥に表示されたりするように見えることが判った。しかしながら、プレーンシフトの対象となる字幕グラフィクスの大きさは固定化されている訳ではなく、対話性の向上のため、動画像の拡大縮小などの処理に伴って変動することが一般的である。
簡単な例を用いて説明をする。
図18(a)はフルスクリーン表示としたときの場合を示し、図18(b)はビデオを縮小表示したときの場合を示す。ビデオを縮小表示する場合におけるビデオの飛び出しの度合いは、縮小の度合いに応じて動的に変化をする。しかし、字幕が仮想的に見える位置というのはイメージプレーンのオフセットによって与えられる固定的な値であり、縮小処理によってオフセットが変化することはないので、スケーリングに応じてイメージプレーンのオフセットを変えないと、字幕の位置が妙に飛び出たように見えてしまう。
本実施形態に係る再生装置は、この技術的課題に着目し、解決する構成を提供するものである。
以上のようにして、アンバランス感を解消するには、スケーリングFactorを考慮して、最適なプレーンオフセットを算出する仕組みをプレーンシフトエンジン20内に設ける必要がある。このように、スケーリングFactorを考慮して、最適なプレーンオフセットを算出する仕組みを組込んだのが、図21におけるプレーンシフトエンジン20である。以下、図21を参照しながら、プレーンシフトエンジン20について説明する。
オフセット値保存部41は、オフセット設定部21からコンテンツ、あるいはユーザから指定されたオフセット値を格納する。
スケーリングFactor保存部42は、スケーリング前からの倍率情報を保存する。例えば、スケーリングしていない場合は“1”、半分の場合は1/2、2倍に拡大する場合は“2”などという値を保持する。
プレーンオフセット演算部43は、オフセット値保存部41に保存されたオフセット値を基にスケーリングや画面サイズを考慮して、シフト部44によるシフトを行うシフト量をピクセル単位に変換する計算を実行する。具体的な実装例で言えば、スケーリングFactorが“1/2”と指定された場合は、オフセット値保存部41に保存されたオフセット値に、スケーリングFactor保存部42に保存されたスケーリング倍率を乗じた値を新しい“プレーンオフセットE”として得る。
次に、演算結果における小数点以下の扱いについて説明する。プレーンオフセット演算部43による演算は、スケーリングFactorとの乗算を伴うものであり、この場合、小数点以下の数値の扱いが問題となる。何故なら、シフト量は画素の数に応じた数分シフトするため、シフト量は整数でなければならないからである。プレーンオフセット演算部43が演算を行うに当たって、演算結果に小数点以下の数値が出現した場合、その小数点以下の数値を、次の整数に繰り上げることにする。例えばプレーンオフセット演算部43による演算結果が“3.2“である場合、演算結果を“4”にすることを意味する。
次に、アプリケーションからの解像度維持の要求による影響について述べる。プレーンオフセット演算部43は、スケーリング時のKEEP_RESOLUTION設定時であっても、スケーリングFactorに応じたシフト量の計算を実行する。KEEP_RESOLUTION設定とは、スケーリング命令時にインタラクティブグラフィクスプレーンの拡大/縮小を行なわずに、ビデオプレーンのみ拡大/縮小を行う機能である。そうすることにより、KEEP_REOLUTION時もビデオの奥行きと同期した字幕の奥行きの変更が可能となる。
シフト部44は、プレーンオフセット演算部43が計算した値を基にイメージプレーンの横軸へのシフティングを行う。
手前はスケーリングFactor=1/1のL画像、R画像の組みを示し、真ん中はスケーリングFactor=1/2のL画像、R画像の組み、一番後ろは、スケーリングFactor=1/4のL画像、R画像の組みを示す。
スケーリングFactor=1/2では、縦画素数及び横画素数が、1/2になっており、画面の左端に小さく表示されていることがわかる。スケーリングFactor=1/4では、縦画素数及び横画素数が、1/4になっており、画面の左端に小さく表示されていることがわかる。
スケーリングFactorが1/1である場合、GUIはが存在しないが、スケーリングFactor=1/2であれば、GUIが表示されていることがわかる。テレビ400の画面のうち右半分は、映画作品の監督によって記述されたディレクターズコメントcm1を表し、テレビ400の画面のうち下半分は、ネクストスキップ、プレビアススキップを受け付けるボタン部材bn1、メニューコールを受け付けるボタン部材bn2、戻る操作を受け付けるボタン部材bn3、ネットワーク接続を受け付けるボタン部材bn4を含む。これらは、図1に示したものと同一である。
図29は、右方向のシフト、左方向のシフトがなされた後の、前景領域の画素データ及び背景領域の画素データを示す。本図(a)は、シフト前の画素データであり、本図(b)は右方向のシフト後の画素データである。この場合、前後チャプターへのスキップ操作を受け付けるGUIが右方向に移動していることがわかる。本図(c)は、左方向のシフトがなされた後の画素データである。前後チャプターへのスキップ操作を受け付けるGUIが左方向に移動していることがわかる。
(a)は、イメージプレーン8から生成された、左方向シフト後のグラフィクスプレーンと、右方向シフト後のグラフィクスプレーンとを示す。
3D表示モード中、かつイメージプレーン8のステレオモードがOFFの場合、再生装置はプレーンオフセットEに示されるシフト量に基づいてプレーンを次のように処理した上で合成を行う。
(a)は、インタラクティブグラフィクスプレーン10から生成された、左方向シフト後のグラフィクスプレーンと、右方向シフト後のグラフィクスプレーンとを示す。
上述したようなシフトによって、グラフィクスプレーンの記憶素子における画素データが、どのように移動するかを示す。グラフィクスデータは、1920×1080、1280×720といった解像度の画素データから構成されている。
同図(a)は、プレーンオフセットEが“3”に設定されていて、右方向にシフトされたグラフィクスプレーンを示す。プレーンオフセットEが“3“であるから、アドレス0004の記憶素子には、グラフィクスプレーン座標系における座標(0,0)の画素データが、アドレス0005の記憶素子には、グラフィクスプレーン座標系における座標(1,0)の画素データが、アドレス0006の記憶素子には、グラフィクスプレーン座標系における座標(2,0)の画素データが格納されていることがわかる。
上述したように、プレーンシフトはメモリにおいて、画素の座標をどのように移動させるかという制御で実現されるものであり、いわば、再生装置における組込みソフトウェアによって実現されるものである。対照的に、BD-ROMから供給される、再生制御のためのプログラムは、上述したようなJava言語で記述されたバイトコードアプリケーションなので、このバイトコードアプリケーションの実行主体が、再生装置200に存在することになる。以降、バイトコードアプリケーションを実行する主体である、BD-Jプラットフォーム部22の内部構成について説明する。
ヒープメモリ31は、システムアプリケーションのバイトコード、BD-Jアプリケーションのバイトコード、システムアプリケーションが利用するシステムパラメータ、BD-Jアプリケーションが利用するアプリケーションパラメータが配置されるスタック領域である。
バイトコードインタプリタ32は、ヒープメモリ31に格納されているBD-Jアプリケーションを構成するバイトコード、システムアプリケーションを構成するバイトコードをネィティブコードに変換して、MPUに実行させる。
ミドルウェア33は、組込みソフトウェアのためのオペレーティングシステムであり、カーネル、デバイスドライバから構成される。カーネルは、BD-Jアプリケーションからのアプリケーションプログラミングインターフェイス(API)のコールに応じて、再生装置特有の機能をBD-Jアプリケーションに提供する。また、割込信号により割込ハンドラ部を起動する等のハードウェア制御を実現する。
クラスローダ34は、システムアプリケーションの1つであり、JARアーカイブファイルに存在するクラスファイルからバイトコードを読み出して、ヒープメモリ31に格納することにより、BD-Jアプリケーションのロードを行う。
アプリケーションマネージャ35は、システムアプリケーションの1つであり、BD-Jオブジェクト内のアプリケーション管理テーブルに基づき、BD-Jアプリケーションを起動したりBD-Jアプリケーションを終了したりする等、BD-Jアプリケーションのアプリケーションシグナリングを行う。
上記レイヤモデルにおいて表示モード設定イニシャル表示設定部28は、プラットフォーム部の下位のレイヤーに存在しており、BD-Jプラットフォーム部に供せられるカレントタイトルにおけるBD-Jオブジェクトに基づき、表示モード、解像度の設定を行う。
表示モード記憶部29は、以上のレイヤモデルから参照できる構造になっているので、表示モード記憶部29は、APIを通じて参照でき、且つ、バックグラウンドグラフィクスプレーン11、ビデオプレーン6、イメージプレーン8、インタラクティブグラフィクスプレーン10の各状態や設定を、明らかにできるような構成になっている。以降、表示モード記憶部29の構成について、図35を参照しながら説明する。
本図において表示モード記憶部29は、再生装置が2Dモードであるか、3Dモードであるかの表示モードの状態を示す情報に加え、バックグラウンドプレーン11設定、ビデオプレーン設定、イメージプレーン設定、インタラクティブグラフィクスプレーン設定を保存する。各プレーンの設定項目としては「解像度(図中の:YY×ZZ)」、ステレオモード(図中の:ON
or OFF)、THREE_Dの設定(図中の:ON or OFF)が保存されている。イメージプレーン8設定及びインタラクティブグラフィクスプレーン10設定については、以上の設定項目の他に、プレーンオフセットを“−63“から“+63”の範囲で設定することができる。
再生装置が2D表示モードである場合、イニシャル表示設定としてバックグラウンドプレーン11、ビデオプレーン6、イメージプレーン8、インタラクティブグラフィクスプレーン10は1920×1080、1280×720、720×576、720×480ピクセルの解像度をサポートする。
(表示モード設定イニシャル表示設定部28の実装)
表示モード設定イニシャル表示設定部28の実装について説明する。一個のタイトルが選択され、そのタイトルに対応するBD-Jオブジェクトが再生装置で有効になっている期間においても、動作中のアプリケーションが、ユーザオペレーションに応じてJMFプレーヤインスタンスをコールすることにより、新たなプレイリストの再生が開始されることがある。このように新たなプレイリストの再生が開始されれば、タイトル内で、表示モードを設定やり直す必要がある。
図36は、タイトル切り替え時の表示モード設定の処理手順の一例を示すフローチャートである。本フローチャートは、ステップS21、ステップS22、ステップS23、ステップS26の判定結果に応じて、ステップS24、ステップS25、ステップS27の処理を選択的に実行する。
図37は、タイトル内表示モード設定の処理手順を示すフローチャートである。本フローチャートは、ステップS31、ステップS32という、2つのステップを直列的に接続したものである。まず、タイトル内表示モード設定はプレイリストの再生要求から始まる。プレイリスト再生要求を受け付けた時点で、ステップS31は、現在のステータス3Dかどうかの判定を行い、2Dであれば、ステップS34において表示モードを2Dに設定する。ステップS32は、再生要求のあったプレイリストが3Dプレイリストか否かを判定し、もし、3Dプレイリストであれば、ステップS33に移行し、表示モードを3Dにし、2Dプレイリストであれば、ステッステップS34に移行し、表示モードを2Dにする。
(再生制御エンジン14の実装)
再生制御エンジン14は、何等かの要因によってカレントプレイリストが選択された際、そのカレントプレイリストの再生を行うものであり、具体的には、カレントプレイリストに対応するプレイリスト情報を静的シナリオメモリ13に読み出して、このプレイリスト情報のプレイアイテム情報によって参照されている3Dストリーム、2Dストリームを再生に供するという処理を実現せねばならず、具体的には、以下のフローチャートに示す処理手順を実行するようなプログラムを作成して再生装置に組み込み、MPUに実行させる必要がある。
ステップS40は、選択されたタイトルに関連するBD-Jオブジェクトに示される自動再生プレイリストの設定又はJMFプレーヤインスタンスの生成により、カレントプレイリスト番号が設定されたかどうかの判定であり、もし設定されれば、ステップS41において、カレントプレイリスト番号にて指示されているプレイリスト情報ファイルをシナリオメモリにロードし、ステップS42において、プレイリスト情報に、プレーンオフセットが存在すれば、プレーンオフセットが存在すれば、オフセット設定部はプレーンシフトエンジン19のプレーンオフセット値として設定する。そして、ステップS43においてタイトル内表示モード設定を行う。
ステップS47においてステップS43で判定した表示モードは、2Dであるか、又は3Dであるかの判定を行う。3Dであれば、ステップS49において3D表示モード時の3Dビデオストリームの再生を実行する。2Dであれば、ステップS48に移行する。
ステップS60において、ビデオストリームに組み込まれているプレーンオフセットDをプレーンシフトエンジン20に設定し、ステップS61において、レフトビューストリームのパケットIDに対応するエントリマップを用いて、カレントPlayItem.In_Time及びカレントPlayItem.Out_TimeをStart_SPN[i]及びEnd_SPN[i]に変換する。
図40は、3DAVストリームの3D表示の処理手順を示すフローチャートである。本フローチャートは、ステップS602〜ステップS606からなるループを実行するというものである。このループは、左目用処理(ステップS602)、右目用処理(ステップS603)を順次実行するという処理を、フレーム出力が途絶えるまで(ステップS606でNo)継続するものである。
現在の表示モードが3D表示モードであり、再生対象が3Dプレイリスト及び3Dストリームである場合、図41〜図42の処理手順を実行することになる。
図41におけるステップS701〜ステップS707は左目用処理である。
図42は、例えば図40に示すステップS603(右目用処理)の具体的一例であり、詳しくは、表示モードが3Dのときの右目用処理の処理手順の一例を示すフローチャートである。図42におけるステップS801〜ステッステップS809は右目用処理である。ステップS801で合成部15は、表示モード記憶部29にある、バックグラウンドプレーン設定のステレオモードのフラグを確認する。ステレオモードがOFFの場合はレフトビュー用の背景データをバックグラウンドプレーン11の(R)を付したものに書き込み、バックグラウンドプレーン11の(R)を付したものから背景データを取得する(ステップS802a)。ステレオモードがONの場合はライトビュー用の背景データをバックグラウンドプレーン11の(R)を付したものに書き込み、バックグラウンドプレーン11の(R)を付したものからライトビュー用の背景データを取得する(ステップS802b)。
なお、再生装置がAVストリームのヘッダ領域からプレーンオフセットDを取得する方法、かつ毎フレーム更新する実装をしている場合は、ステップS810の時点でオフセット設定部21によりプレーンシフトエンジン20のオフセットを次のフレームと対応した値に更新する必要がある。
まず、ビデオデコーダ5aを用いてレフトビュー用のビデオストリームをデコードしてビデオデータを出力する(ステップS201)。
この判断は、例えばBD-Jプラットフォーム22から指定された、スケーリングFactorーを参照し、参照した値に基づいて判断することにより、実現される。
ステップS202において、スケーリングFactorが“1“であると判断した場合(ステップS202において、“No”と判定された場合)、ビデオデコーダ5aを用いてレフトビュー用のビデオストリームをデコードしたビデオデータをビデオプレーン6に書き込む(S204)。
まず、ビデオデコーダ5bを用いてライトビュー用のビデオストリームをデコードしてビデオデータを出力する(ステップS201b)。
ステップS202において、スケーリングFactorが“1“でないと判断した場合(ステップS202において、“Yes”と判定された場合)デコードしたビデオデータにおける水平ピクセル数(表示画面の水平方向の画素数)、および垂直ピクセル数(表示画面の垂直方向のピクセル数)をスケーリングFactorに応じた水平ピクセル数、垂直ピクセル数に変換し(つまり拡大/縮小処理し)、変換した水平ピクセル数、垂直ピクセル数のビデオデータを表示画面の所定の位置に表示されるようにビデオプレーン6(符号(R)を付した領域)に書き込む(ステップS203b)。
次にステップS202において、スケーリングFactorが“1“でないと判断した場合(ステップS202において、“Yes”と判定された場合)デコードしたイメージデータにおける水平ピクセル数(表示画面の水平方向の画素数)、および垂直ピクセル数(表示画面の垂直方向のピクセル数)をスケーリングFactorに応じた水平ピクセル数、垂直ピクセル数に変換し(つまり拡大/縮小処理し)、変換した水平ピクセル数、垂直ピクセル数のイメージデータを表示画面の所定の位置に表示されるようにイメージプレーン8(図4の(L)を付した領域)に書き込む(ステップS203c)。
ステップS202において、スケーリングFactorが“1“であると判断した場合(ステップS202において、“No”と判定された場合)、イメージデコーダ7aを用いてレフトビュー用の字幕ストリームをデコードした字幕データをイメージプレーン8(図4の(L)を付した領域)に書き込む(S204c)。
ステップS202において、スケーリングFactorが“1“でないと判断した場合(ステップS202において、“Yes”と判定された場合)、デコードしたイメージデータにおける水平ピクセル数(表示画面の水平方向の画素数)、および垂直ピクセル数(表示画面の垂直方向のピクセル数)をスケーリングFactorに応じた水平ピクセル数、垂直ピクセル数に変換し(つまり拡大/縮小処理し)、変換がなされた水平ピクセル数、垂直ピクセル数のイメージデータが表示画面の所定の位置に表示されるようにイメージプレーン8(図4の(R)を付した領域)に書き込む(ステップS203e)。
次にステップS202において、スケーリングFactorが“1“であると判断した場合(ステップS202において、“No”と判定された場合)、イメージデコーダ7bを用いてライトビュー用の字幕ストリームをデコードした字幕データをイメージプレーン8(図4の(R)を付した領域)に書き込む(S204e)。
次にステップS202において、スケーリングFactorが“1“でないと判断した場合(ステップS202において、“Yes”と判定された場合)、生成したインタラクティブグラフィクスデータにおける水平ピクセル数(表示画面の水平方向の画素数)、および垂直ピクセル数(表示画面の垂直方向のピクセル数)をスケーリングFactorに応じた水平ピクセル数、垂直ピクセル数に変換し(つまり拡大/縮小処理し)、変換後の水平ピクセル数、垂直ピクセル数のインタラクティブグラフィクスデータが表示画面の所定の位置に表示されるように、インタラクティブグラフィクスデータをインタラクティブグラフィクスプレーン10(図4の(L)を付した領域)に書き込む(ステップS203d)。
また、次にステップS202において、スケーリングFactorが“1“であると判断した場合(ステップS202において、“No”と判定された場合)、生成したレフトビュー用のインタラクティブグラフィクスデータを、インタラクティブグラフィクスプレーン10(図4の(L)を付した領域)に書き込む(ステップS204d)。
但し、インターラクティブグラフィックスプレーンのスケーリングFactorを考慮しない(つまり、インターラクティブグラフィックスプレーンのスケーリングFactorを常に1とする)のであれば、ステップS201dの後にステップS204dを行うようにし、ステップS202、ステップS203dは削除するようにすればよい、
例えば、インタラクティブグラフィクス画像がGUI部品に対応するグラフィクス画像である場合には、ステップS203dの処理において、表示画面において縮小したビデオ・字幕の合成画像が表示される部分以外にGUI部品に相当するインタラクティブグラフィクス画像の全画面表示がなされるように、インタラクティブグラフィクスデータをインタラクティブグラフィクスプレーン10(符号(L)を付した領域)に書き込むよう構成することも可能である。
図23(b)は、図42に示すステップS808bの具体的一例を説明するためのフローチャート図である。図において、まず、ライトビュー用のインタラクティブグラフィクスデータを生成する(ステップS201f)。
次にステップS202において、スケーリングFactorが“1“であると判断した場合(ステップS202において、“No”と判定された場合)、生成したライトビュー用のインタラクティブグラフィクスデータを、インタラクティブグラフィクスプレーン10(図4の(R)を付した領域)に書き込む(ステップS204f)。
但し、インターラクティブグラフィックスプレーンのスケーリングFactorを考慮しない(つまり、インターラクティブグラフィックスプレーンのスケーリングFactorを常に1とする)のであれば、ステップS201fの後にステップS204fを行うようにし、ステップS202、ステップS203fは削除するようにすればよい。
図44(a)は、図41に示すステップS704aの具体的一例を説明するためのフローチャート図である。
ステップS406においては、レフトビュー用の字幕ストリームをデコードする構成を説明するが、字幕ストリームとして左右の表示で同じ字幕ストリームを共有するような構成である場合には、左右の表示で共有する字幕ストリームを読み込めばよい。
次に、プレーンシフトエンジン20のオフセット値保存部41に保存されたオフセット値、ステップS408において参照したスケーリングFactorを参照し、イメージプレーン8(具体的には図4において、(L)を付した領域)に格納した字幕データについて、左目用のシフト処理を行う。これは、演算(オフセット保存部の値(オフセット値)×スケーリングFactor)を行なった結果(小数点以下は切り上げる)に相当する分のオフセット値を用いてシフト処理を行うことに相当する(ステップS409)。
まず、イメージデコーダ7aを用いてレフトビュー用の字幕ストリームをデコードして字幕データを出力する(ステップS406)。
この判断は、例えばBD-Jプラットフォーム22から指定された、スケーリングFactorーを参照し、参照した値に基づいて判断することにより、実現される。
次に、プレーンシフトエンジン20のオフセット値保存部41に保存されたオフセット値、ステップS408bにおいて参照したスケーリングFactorを参照し、イメージプレーン8(具体的には図4において、(R)を付した領域)に格納した字幕データについて、右目用のシフト処理を行う。これは、演算(オフセット保存部の値(オフセット値)×スケーリングFactor)を行なった結果(小数点以下は切り上げる)に相当する分のオフセット値を用いてシフト処理を行うことに相当する(ステップS409b)。
プレーンシフトエンジン20のオフセット値保存部41に保存されたオフセット値、ステップS423cにおいて参照したスケーリングFactorを参照し、インタラクティブグラフィクスプレーン10(具体的には図4において、(L)を付した領域)に格納したインタラクティブグラフィクスデータについて、左目用のシフト処理を行う。これは、演算(オフセット保存部の値(オフセット値)×スケーリングFactor)を行なった結果(小数点以下は切り上げる)に相当する分のオフセット値を用いてシフト処理を行うことに相当する(ステップS424c)。
例えば、インタラクティブグラフィクス画像がGUI部品に対応するグラフィクス画像である場合には、ステップS203dの処理において、表示画面において縮小したビデオ、字幕の合成画像を表示する部分以外にGUI部品に相当するインタラクティブグラフィクス画像の全画面表示を行うよう、インタラクティブグラフィクスデータをインタラクティブグラフィクスプレーン10(符号(L)を付した領域)に書き込む構成を採用することが可能となる。
本実施の形態では、第1実施形態のように、字幕データ、インタラクティブグラフィクスデータのストリームをビデオストリームの奥行きに追従するのではなく、ビデオストリームを字幕・GUIの奥行きに追従させることにより、字幕付きビデオのスケーリング時の視聴者への目の疲労度を低減する変形例について述べる。
第1実施形態におけるプレーンシフトは、グラフィクスプレーンに対するもののみであったが、本実施形態では、ビデオプレーンについてもプレーンシフトの対象になるので、ビデオプレーンのためのプレーンシフトの処理手順が必要になる。そして、イメージプレーンにおけるプレーンオフセットを考慮した、ビデオプレーンのプレーンオフセットの処理手順を示したのが、図47のフローチャートである。
図において、図43(a)に付した符号と同一の符号を付したものは、同一またはこれに相当するものであるので、ここでは重複する説明は省略する。
次に、イメージプレーン用のプレーンオフセットDを用いて以下の数式の計算を実行し、ビデオプレーン用の画素のプレーンオフセットVを算出する。
ビデオプレーン用の画素のプレーンオフセットV=Ceil(D-(スケーリングFactor×D))
そして、上述の数式により得られたビデオプレーンのプレーンオフセットVに基づき、左目用のビデオのシフト処理を行う(ステップS205e)。
図において、図43(a)、図47(a)に付した符号と同一の符号を付したものは、同一またはこれに相当するものであるので、ここでは重複する説明は省略する。
(数式)
ビデオプレーン用のプレーンオフセットV=Ceil(D-(スケーリングFactor×D))
そして、上述の数式により得られたビデオプレーンのプレーンオフセットVに基づき、右目用のビデオのシフト処理を行う(ステップS205f)。
(数式)
ビデオプレーン用のプレーンオフセットV=Ceil(D-(スケーリングFactor×D))
そして、上述の数式により得られたビデオプレーンのプレーンオフセットVに基づき、右目用のビデオのシフト処理を行う(ステップS205g)。
図48(a)は、スケーリングがなされた動画像及びグラフィクスのうち、グラフィクスの座標を所定の画素数だけ移動させることを意図した状況を示す。これは、本実施の形態を行わずスケーリングを行った場合の出力画面を示すものである。本図において、プレーンオフセットが-40に設定されているので、レフトビュー時には、9RRに示すように右方向に40画素だけ、ライトビュー時には、9LLに示すように左方向に40画素だけ、各画素の座標が移動していることがわかる。
具体的なプレーンオフセットが−40画素であるものとし、スケーリングFactorが1/2であるものとする。これらを上記数式に適用してビデオプレーンのシフト量を算出すると、以下の計算によりビデオプレーンのプレーンオフセットは“-20”と算出される。
ビデオプレーンについては、ビデオプレーンのための実パラメータであるプレーンオフセットVが-20と算出されているので、レフトビュー時には右方向に20画素だけ、ライトビュー時には左方向に20画素だけ、ビデオプレーンの各画素の座標が移動することになる。動画像及びグラフィクスにスケーリングを施した場合、スケーリングを施したビデオが20画素だけシフトされ、その上に、40画素だけシフトされた字幕が合成されることになる。
(第3実施形態)
本実施形態は、第1実施形態の拡張例である。スケーリングを行った場合は、拡大・縮小率が高いと奥行きの変更もスケーリング前と後で激しく異なる。第1実施形態ではスケーリングを行った際はスケーリング要求後の次のフレームでスケーリングFactorに応じた奥行き変更が反映される。急に映像の奥行きが激しく異なってしまうと、ユーザの目の疲労に繋がってしまう。本実施形態ではスケーリング要求があった際は次のフレームで一度に奥行きも変更してしまうのではなく、少しずつ奥行きを変更させていくことにより、ユーザの目の疲労を軽減させることを目的とする変形例について述べる。
前情報保存部41aは、オフセット設定部21から指示されたプレーンオフセットDを、スケーリング前のプレーンオフセットとして保存する。
後情報保存部41bは、スケーリングが完了後のプレーンオフセットE、つまり、プレーンオフセットDにスケーリングFactorを乗じた値を保持する。また、オフセット値保存部にプレーンオフセットDにスケーリングFactorを乗じた値が更新された場合、更新されたオフセットが後情報保存部41bに格納される。
プレーンオフセット演算部43は、前情報保存部41aに保存されているプレーンオフセットに示されるプレーンオフセットDと、後情報保存部41bに保存されているプレーンオフセットEとを、それぞれ画素座標に変換する。そして、その2つの画素座標の差分を計算し、スケーリング時に必要なプレーンオフセットを得て、更新済みフレーム数保存部46bの値をフレーム更新スパン保存部46aの値で割る。
(数式)
“プレーンオフセットP(i)=(スケーリング完了前のプレーンオフセットD - スケーリング完了後のプレーンオフセット)x (更新済みフレーム数i÷フレーム更新スパン)“。
(シフト部44)
シフト部44は、右目用の処理を行う場合、画面より手前に飛び出さす場合は左へシフトさせ、奥に引っ込める場合は右へシフトさせる。左目用の処理を行う場合、画面より手前に飛び出さす場合は右へシフトさせ、奥に引っ込めさせる場合は左へシフトさせる。
フレームカウンタ部46は、スケーリング要求後にフレーム単位で前情報保存部41aに保存された値から、後情報保存部41bに近づける機能を兼ね備えている。
更新済みフレーム数保存部46bがフレーム更新スパン保存部46aの値より低い場合は、更新済みフレーム数保存部46bの値は、1だけインクリメントされる。
更新済みフレーム数は、再生対象となるビデオフレームの変化に伴い、更新されてゆくものなので、本実施形態の処理を再生装置に実装するには、第1実施形態に示した3DAVストリームの再生処理の処理手順に、更新済みフレーム数に関する処理を追加せねばならない。そのような更新済みフレーム数に関する処理には、更新済みフレーム数をリセットする処理、更新済みフレーム数をインクリメントする処理がある。これら更新済みフレーム数に関する処理を追加すれば、3DAVストリームの3D表示の処理手順は、図50のようなものになる。
図50では、図40からの変更点として、ステップS611からステップS614までが追加されていることになっていることに注目していただきたい。
本フローチャートは、ステップS602、S603、S613、S614、S615、S616、S617およびS606を含むステップを実行するというものである。
次に左目用処理を行う(ステップS602)
このとき、左目用処理において、イメージプレーンオフセット(シフト量)の算出において、後述するスケーリング前のプレーンオフセットD、スケーリング完了後のプレーンオフセットE、更新済みフレーム数の数i、更新スパンを用いて算出されるP(i)を用いる。
このとき、右目用処理においてイメージプレーンオフセット(シフト量)の算出において、上述のP(i)を用いる。
ステップS606では、次フレームがあるのかどうかを判断する。
次フレームがない場合、つまりステップS606において、Noと判断した場合には3DAVストリームの3D表示の処理を終了する。
図51において、イメージプレーンのプレーンシフトの処理手順は左目用のシフト処理、右目用のシフト処理とは互いに共通する部分が多いため共通のフローチャートを用いて、説明をする。但し、左目用のシフト処理を行う場合はイメージプレーンの符号(L)を付した領域に格納した字幕データがシフト処理の対象となり、右目用のシフト処理を行う場合はイメージプレーンの符号(R)を付した領域に格納した字幕データがシフト処理の対象となる。
そして、以下の計算により、フレームiにおけるプレーンオフセットP(i)を算出する。
プレーンオフセットP(i) =(スケーリング完了前のプレーンオフセットD - スケーリング完了後のプレーンオフセットE)x (更新済みフレームi÷フレーム更新スパン)
こうして算出されたプレーンオフセットP(i)に基づき、イメージプレーンのピクセル座標をシフトする(ステップS904)。但し、ステップS904は左目用のシフト処理をするときにシフトする方向と、右目用のシフト処理をするときにシフトする方向とは互いに逆向きである。
(フレーム1)
フレーム1において、更新済みフレームi=“1“を上記数式に適用すれば、更新済みフレームi÷フレーム更新スパンは“1/3”になり、フレームP(i)における画素プレーンオフセットP(1)は、(-40-(1/2×-40)×1/3)の計算により、“-7”と算出される。従って、フレーム1においては、レフトビュー時においてイメージプレーンは右方向に7画素だけシフトし、ライトビュー時においてイメージプレーンは左方向に7画素だけシフトする。
フレーム2において、更新済みフレームi=“2“を上記数式に適用すれば、更新済みフレームi÷フレーム更新スパンは“2/3”になり、フレームP(i)におけるプレーンオフセットP(2)は、(-40-(1/2×-40)×2/3)の計算により、“-14”と算出される。従って、フレーム2においては、レフトビュー時においてイメージプレーンは右方向に14画素だけシフトし、ライトビュー時においてイメージプレーンは左方向に14画素だけシフトする。
フレーム3において、更新済みフレームi=“3“を上記数式に適用すれば、更新済みフレームi÷フレーム更新スパンは“3/3”になり、フレームP(i)におけるプレーンオフセットP(3)は、(-40-(1/2×-40)×3/3)の計算により、“-20”と算出される。従って、フレーム3においては、レフトビュー時においてイメージプレーンは右方向に20画素だけシフトし、ライトビュー時においてイメージプレーンは左方向に20画素だけシフトする。
この具体例では、-20画素の1/3にあたるシフト数(7ピクセル)を各フレームで移動させ、3フレーム目には-20ピクセルシフトがなされ、4フレーム目以降は3フレーム目のシフト数が維持され状態が継続する。この継続はステップS606において、次フレームがないと判断されるまで維持される。
プレーンシフトエンジン20が、プレーンシフトを行うにあたってのシフト量は、立体視のための何等かのパラメータに基づき、算出する必要がある。かかるシフト量算出のためにパラメータにはMVC(Multi
View Codec)ビデオストリームに組み込まれている立体視用のプレーンオフセットを採用することが望ましい。ただし、これには限らず、コンテンツプロバイダがBD-ROMを通じて再生装置に供給する様々な情報要素を通じて、プレーンシフトエンジン20に供給できるようにしておく方が望ましい。
図53は、プレーンオフセットの設定に関わる部分の構成を示す。
プレーンオフセットの供給の仕方には、以下の(AA)〜(FF)のバリエーションがある。
上記プレーンオフセットはBD-JアプリケーションによりgetOffsetValueメソッドにより取得可能である。
イメージプレーン8及びインタラクティブグラフィクスプレーン10の奥行きを変更するAPIは、アプリケーションが起動した後ならば、起動したアプリケーションからいつでも呼び出し可能であり、それ以外でも例えばビデオの停止中に呼び出される可能性もある。しかし、表示モード記憶部29内のプレーンオフセットをプレーンシフトエンジン20に格納するタイミングを制御することでグラフィクスプレーンのずらし幅が必ず同期していることを保障できる。
(DD)トランスポートストリームの読み出し及びデコードが開始された際、トランスポートストリームパケットのヘッダ領域に組込まれているオフセットを、プレーンシフトエンジン20のプレーンオフセットとしてに更新する。望ましくは1フレーム分のレフトビューとライトビューの両方の出力が完了した時点で、現在処理中のフレームと対応するプレーンオフセットを、プレーンシフトエンジン20のプレーンオフセットとして、リードバッファ28内に設定する。
(EE)カレントプレイリストが決定されて、プレイリスト情報がロードされた際、このプレイリスト情報のオフセットを、プレーンシフトエンジン20内にプレーンオフセットとして設定する。プレイリスト情報を用いる場合、オーサリングでの自由は高いが、ストリームにオフセットを埋め込んだ場合に比べると、一度オフセットを設定してから、オフセットを再度更新するまでのオフセット更新の時間間隔を余り短くすることができず、リアルタイム性がやや劣る。
ユーザ操作やアプリケーションから提供される値はシフト量そのものではなく、例えば、現状プレーンシフトエンジン20に設定されている値からの調整値が与えられることがある。この場合、プレーンオフセット計算を実行する。例えば、右矢印キーが3回押されたり、数値キーの“3”という値が入力されれば、装置内に設定されているプレーンオフセットにかかる値を加算して、プレーンシフトエンジン20は加算された値を基にプレーンオフセットを計算する。“+”の値であると、例えばよりずらし幅が縮小され、奥に見えるようにし、“―”の値であると、例えばずらし幅を増やし、より手前に見えるようにすることが考えられる。
上述したように、字幕、GUI等のグラフィクスを横軸にシフトする際、字幕、GUI等のグラフィクスの横軸のずらし幅を変更することによって、奥行きが変更する。例えば、レフトビュー字幕とライトビュー字幕を一定方向に近くへ寄せれば寄せるほど画面に近づくに表示がなされ、逆方向に離せば離すほど画面から離れる視覚効果を得られる。しかし、プレーンオフセットと、飛び出し度合との相関性は、テレビにおけるインチ数、3D眼鏡における液晶の特性に影響するところが大きいので、この視覚効果の実現にあたって、予め端末内に係数を設定しておき、プレーンオフセットにこの係数を乗じたものをシフトに用いる。このように係数を乗じることで、テレビや再生装置、3D眼鏡における特性に基づき、立体視映像の飛び出し度合を調整することが可能になる。
本実施形態では、これまでの実施形態で述べた再生装置を、どのようなハードウェアを用いて構成するかを説明する。
システムLSI102は、論理素子から構成され、再生装置中核をなす。少なくとも、デマルチプレクサ4、ビデオデコーダ5a,b、イメージデコーダ7a,b、オーディオデコーダ9、再生状態/設定レジスタ(PSR)セット12、再生制御エンジン14、合成部15、プレーンシフトエンジン20といった構成要素は、このシステムLSIの内部に組み込まれることになる。
メモリデバイス103は、SDRAM等のメモリ素子のアレイによって構成される。メモリデバイス107は、例えばリードバッファ2a、リードバッファ2b、動的シナリオメモリ23、静的シナリオメモリ13、グラフィクスプレーン6,8、ビデオプレーン10、バックグラウンドプレーン11を含む。
不揮発性メモリ105は、読み書き可能な記録媒体であり、電源が供給されなくても、記録内容を保持できる媒体であり、後述する表示モード記憶部29に記憶されている表示モードのバックアップに利用される。かかる不揮発性メモリ105には、例えばフラッシュメモリ、FeRAMなどを利用することができる。
Uniphierアーキテクチャに準拠したシステムLSIは、以下の回路ブロックから構成される。
これは、複数の要素プロセッサが同一動作するSIMD型プロセッサであり、各要素プロセッサに内蔵されている演算器を、1つの命令で同時動作させることで、ピクチャを構成する複数画素に対するデコード処理の並列化を図る。
これは、命令RAM、命令キャッシュ、データRAM、データキャッシュからなる「Local Memory Controller」、命令フェッチ部、デコーダ、実行ユニット、レジスタファイルからなる「Processing Unit部」、複数アプリケーションの並列実行をProcessing Unit部に行わせる「Virtual Multi Processor Unit部」で構成される。
これは、ARMコア、外部バスインターフェイス(Bus Control Unit:BCU)、DMAコントローラ、タイマー、ベクタ割込コントローラといった周辺回路、UART、GPIO(General Purpose Input Output)、同期シリアルインターフェイスなどの周辺インターフェイスで構成される。
これは、USBインターフェイスやATA Packetインターフェイスを介して、外部バス上に接続されたドライブ装置、ハードリディスクドライブ装置、SDメモリカードドライブ装置とのデータ入出力を行う。
これは、オーディオ入出力、ビデオ入出力、OSDコントローラで構成され、テレビ、AVアンプとのデータ入出力を行う。
これは、外部バスを介して接続されたSD-RAMの読み書きを実現するブロックであり、各ブロック間の内部接続を制御する内部バス接続部、システムLSI外部に接続されたSD-RAMとのデータ転送を行うアクセス制御部、各ブロックからのSD-RAMのアクセス要求を調整するアクセススケジュール部からなる。
on chip)実装とは、1チップ上に複数の回路を焼き付ける技術である。SiP(System in Package)実装とは、複数チップを樹脂等で1パッケージにする技術である。以上の過程を経て、本発明に係るシステムLSIは、各実施形態に示した再生装置200の内部構成図を基に作ることができる。
FPGAを用いてシステムLSIを実現した場合は、多数のロジックエレメントが格子状に配置されており、LUT(Look Up Table)に記載されている入出力の組合せに基づき、縦・横の配線をつなぐことにより、各実施形態に示したハードウェア構成を実現することができる。LUTは、SRAMに記憶されており、かかるSRAMの内容は、電源断により消滅するので、かかるFPGAの利用時には、コンフィグ情報の定義により、各実施形態に示したハードウェア構成を実現するLUTを、SRAMに書き込ませる必要がある。
本実施の形態は、ミドルウェアとシステムLSIに対応するハードウェア、システムLSI以外のハードウェア、ミドルウェアに対するインターフェイスの部分、ミドルウェアとシステムLSIのインターフェイスの部分、ミドルウェアとシステムLSI以外の必要なハードウェアへのインターフェイスの部分、ユーザインターフェースの部分で実現し、これらを組み込んで再生装置を構成したとき、それぞれが連携して動作することにより特有の機能が提供されることになる。
以上、本願の出願時点において、出願人が知り得る最良の実施形態について説明したが、以下に示す技術的トピックについては、更なる改良や変更実施を加えることができる。各実施形態に示した通り実施するか、これらの改良・変更を施すか否かは、何れも任意的であり、実施する者の主観によることは留意されたい。
BD-ROM上には再生対象のストリームが2D用か3D用かを識別する次元識別フラグが存在しており、第1実施形態ではプレイリスト(PL)情報に次元識別フラグを埋め込んが、これに限らず、ストリーム本体とそのストリーム2D用か3D用かを特定できる情報として記録される情報であれば、BD-ROM上に他の形で記録されていてもよい。
(ビデオプレーン6の物理的形態)
図4に示したビデオプレーン6に含まれる、左目用プレーン、右目用プレーンは物理的に分離したメモリを例示しているが、これに限定される必要はなく、例えば、1つのメモリ内に左目用プレーンの領域、右目用プレーンの領域を設け、この領域に対応するビデオデータを書き込むような構成であってもよい。
図4に示したイメージプレーン8に含まれる、左目用プレーン、右目用プレーンは物理的に分離したメモリを例示しているが、これに限定される必要はなく、例えば、1つのメモリ内に左目用プレーンの領域、右目用プレーンの領域を設け、この領域に対応するグラフィクスデータを書き込むような構成であってもよい。
図4では、インタラクティブグラフィクスプレーン10は左目用の領域(符号(L)を付したもの)と、右目用の領域(符号(R)を付したもの)とが、1つのプレーンメモリ内に予め設けられている例を示しているが、これに限定される必要はなく、例えばインタラクティブグラフィクスプレーン10の左目用の領域(符号(L)を付したもの)、右目用の領域(符号(R)を付したもの)を物理的に分離したものを用いてもよい。
(オフセット調整の仕方)
図7〜8を用いた説明は、ステレオモードがオフの状態において、バックグラウンドとビデオのオフセットを調整しない(つまりオフセットが0、より具体的には表示画面の位置に表示されている)例を題材にしている。これは上述の説明を簡単にするためである。従って上述の説明に限定される必要はなく、例えばグラフィクスイメージ(字幕)よりも奥にビデオが位置するように、かつ背景データがビデオよりも奥に位置するようにオフセットを調整して表示してもよい。
再生装置が3D表示モードである場合は、バックグラウンドプレーン11、イメージプレーン8、インタラクティブグラフィクスプレーンは2D表示モードの解像度に加えて、1920x2160や1280x1440ピクセルの解像度をサポートしてもよい。その場合は1920x2160や1280x1440ピクセルのアスペクト比は、16/18のアスペクト比になり、上半分を左目用の領域、下半分を右目用領域に利用することになる。
プレーンオフセットは、例えば、イメージプレーン用とインタラクティブグラフィクスプレーン用の2つのシフト量をもち、プレーンシフトを行う対象に応じてその2つのシフト量を使い分けてもよい。再生装置がセットアップ機能を兼ね備えていない場合、“0“がデフォルトで指定されるようにする。この場合は表示画面の位置に字幕、GUIなどのグラフィクスが表示され、表示画面から飛び出るような効果はない。
(合成部による合成からの除外)
2D静止画データ、2Dビデオデータ、2Dグラフィクスデータ(字幕データ)、2Dインタラクティブグラフィクスの順で合成する際、ビデオデータが全画面表示であれば、2D静止画データは、合成処理から除外してもよい。
表示モード記憶部29の2D表示モードか3D表示モードを示すフラグは再生状態レジスタ12で保存してもよいし、表示モード記憶部29と再生状態レジスタ12の両方で保存してもよい。
プレーンオフセットから画素座標への変換アルゴリズムは様々考えられるが、表示対象のディスプレイのサイズや解像度、あるいは表示対象のビデオのサイズに依存したアルゴリズムを使うのが望ましい。
図の構成図にはビデオデコーダ、ビデオプレーン、イメージプレーン加算器を各一つずつ有しているが、各部分を2つずつもたせ、左目用の映像と右目用の映像を平行に処理をするようにしてもよい。
デコードとスケーリングを施したイメージプレーンを保存している場合は、それを再利用してもよい。ただし、再利用した場合は、シフトしたイメージプレーンを元に戻す必要がある。
さらに、2Dビデオストリームとその2Dビデオストリームのフレーム毎の各画面ピクセルの奥行きを入力とする方式の場合は、フレーム毎の各画面ピクセルの奥行きから、一番手前にあるピクセルの奥行きを抽出し、プレーンオフセットとして利用してもよい。
左目と右目を同期するために、フラグを別途もうけ、左目用のスケーリング処理を施した場合のみ、右目用のスケーリング処理を行うようにしてもよい。
スケーリングFactorとしてスケーリング完了後の画素座標を具体的に指定してもよい。例えば、横の長さは1000、縦の長さは250のように直接指定してもよい。
本実施の形態の構成ではスケーリング命令受信後に少しずつ奥行きを変更させることも可能だが、字幕の表示を無効にしておき、一定のフレームが経過した後に一度に後情報保存部の値から算出したシフト画素座標で表示するようにしてもよい。その方法は、フレームに応じたずらし幅を計算するのではなく、更新済みフレーム数保存部の値がフレーム更新スパン保存部の値に到達した時点で、後情報保存部で計算できるピクセルシフト幅をシフトさせ表示させる。そうすることによって、ユーザがスケーリング後のビデオストリームの奥行き変更に目が慣れた状態で字幕が表示されるため、立体感の差がさらに吸収され、ユーザの目の疲れを軽減させる効果をもたらす。
BD-ROM上に配置されたストリームは右目用ストリーム、左目用ストリームが別々に記録されてもよいし、一つのストリームファイルに埋め込んでおいてもよい。
第1実施形態で説明の前提とした視差画像方式は、左右の映像を時間軸方向で交互に表示させるために、例えば、通常の2次元の映画であれば1秒に24枚の映像を表示させるのに対して、左右の映像合わせて1秒に48枚の映像を表示させる必要がある。従って、この方式では、一画面の書き換えが比較的早い表示装置において好適である。この視差画像を用いた立体視は、既に遊園地の遊具などで一般的に使用されており、技術的にも確立されているため、家庭における実用化に最も近いものと言える。視差画像を用いた立体視のための方法はこれらの他にも、2色分離方式などさまざまな技術が提案されている。本実施形態においては、継時分離方式あるいは偏光メガネ方式を例として用いて説明したが、視差画像を用いる限りこれら2方式に限定するものではない。
各実施形態で示したイメージデータは、Presentation Graphicsストリームであることが望ましい。
各実施形態に示したアプリケーションプログラムは、以下のようにして作ることができる。先ず初めに、ソフトウェア開発者は、プログラミング言語を用いて、各フローチャートや、機能的な構成要素を実現するようなソースプログラムを記述する。この記述にあたって、ソフトウェア開発者は、プログラミング言語の構文に従い、クラス構造体や変数、配列変数、外部関数のコールを用いて、各フローチャートや、機能的な構成要素を具現するソースプログラムを記述する。
コンパイラによる翻訳は、構文解析、最適化、資源割付、コード生成といった過程からなる。構文解析では、ソースプログラムの字句解析、構文解析および意味解析を行い、ソースプログラムを中間プログラムに変換する。最適化では、中間プログラムに対して、基本ブロック化、制御フロー解析、データフロー解析という作業を行う。資源割付では、ターゲットとなるプロセッサの命令セットへの適合を図るため、中間プログラム中の変数をターゲットとなるプロセッサのプロセッサが有しているレジスタまたはメモリに割り付ける。コード生成では、中間プログラム内の各中間命令を、プログラムコードに変換し、オブジェクトプログラムを得る。
各実施の形態における記録媒体は、光ディスク、半導体メモリーカード等、パッケージメディア全般を含んでいる。本実施の形態の記録媒体は予め必要なデータが記録された光ディスク(例えばBD-ROM、DVD-ROMなどの既存の読み取り可能な光ディスク)を例に説明をするが、これに限定される必要はなく、例えば、放送またはネットワークを経由して配信された本発明の実施に必要なデータを含んだ3Dコンテンツを光ディスクへ書き込む機能を有する端末装置(例えば左記の機能は再生装置に組み込まれていてもよいし、再生装置とは別の装置であってもよい)を利用して書き込み可能な光ディスク(例えばBD-RE、DVD-RAMなどの既存の書き込み可能な光ディスク)に記録し、この記録した光ディスクを本発明の再生装置に適用しても本発明の実施は可能である。
各実施形態において、ビデオデコーダは、左目用のビデオデコーダ5a、右目用のビデオデコーダ5bのそれぞれのものが存在すると説明したが、これらを一体にしてもよい。
各実施の形態で説明をしたデータ構造を半導体メモリーに記録する記録装置、及び、再生する再生装置の実施形態について説明する。
BD-ROMに記録されたデータのうち、例えば著作権の保護、データの秘匿性の向上の観点からデータの一部が、必要に応じて暗号化されている場合がある。
半導体メモリカード再生装置においては、BD-ROM内の暗号化されたデータを解読するために必要な鍵に対応するデータ(例えばデバイスキー)が予め再生装置に記憶されている。
200 再生装置
300 リモコン
400 テレビ
500 液晶眼鏡
1a BDドライブ
1b ローカルストレージ
1c ネットワークインターフェース
2a,2b リードバッファ
3 仮想ファイルシステム
4 デマルチプレクサ
5a,b ビデオデコーダ
6 ビデオプレーン
7a,b イメージデコーダ
7c,d、イメージメモリ
8 イメージプレーン
9 オーディオデコーダ
10 インタラクティブグラフィクスプレーン
11 バックグラウンドプレーン
12 レジスタセット
13 静的シナリオメモリ
14 再生制御エンジン
15 スケーラエンジン
16 合成部
17 HDMI送受信部
18 表示機能フラグ保持部
19 左右処理記憶部
20 プレーンシフトエンジン
21 オフセット設定部
22 BD-Jプラットフォーム
22a レンダリングエンジン
23 動的シナリオメモリ
24 モード管理モジュール
25 HDMVモジュール
26 UO検知モジュール
27a 静止画メモリ
27b 静止画デコーダ
28 表示モード設定イニシャル表示設定部
29 表示モード記憶部
Claims (6)
- コンピュータ上で立体視再生を行なう再生方法であって、
グラフィックスデータをグラフィックスプレーンに書き込むステップと
前記グラフィックスデータを書き込んだグラフィックスプレーンを第1方向に、オフセットに示された移動量にて移動させる第1のプレーンシフトステップと、
前記グラフィックスデータを書き込んだグラフィックスプレーンを前記第1方向とは反対の第2方向に、前記オフセットに示された移動量にて移動させる第2のプレーンシフトステップと、
ビデオデータに含まれる左目用のビデオデータを左目用のビデオプレーンに書き込むステップと、
前記ビデオデータに含まれる右目用のビデオデータを右目用のビデオプレーンに書き込むステップと、
前記左目用のビデオプレーンに書き込んだ左目用のビデオデータに前記第1の方向に移動させたグラフィックスプレーンに書き込んだグラフィックスデータを合成するステップと、
前記右目用のビデオプレーンに書き込んだ右目用のビデオデータに前記第2の方向に移動させたグラフィックスプレーンに書き込んだグラフィックスデータを合成するステップと、
前記ビデオデータの表示スケールの変更を受け付けると、前記オフセットに応じた移動量は、前記オフセットに前記表示スケールのスケーリング倍率を当該乗じた値に基づいて変更される再生方法。 - 前記オフセットに応じた移動量は、前記オフセットに前記表示スケールのスケーリング倍率を当該乗じた値の小数点以下の数値をくり上げた移動量とする請求項1記載の立体視再生方法。
- 第1のプレーンシフトステップは、前記移動させたグラフィックスプレーンの第1方向側の端部領域を前記オフセットに示された移動量に応じて除去する第1除去ステップと、前記移動させたグラフィックスプレーンの第2方向側の端部に前記除去した端部領域と同じ大きさの透明領域を追加する第1追加ステップを含み、
第2のプレーンシフトステップは、前記移動させたグラフィックスプレーンの第2方向側の端部領域を前記オフセットに示された移動量に応じて除去する第2除去ステップと、前記移動させたグラフィックスプレーンの第1方向側の端部に前記除去した端部領域と同じ大きさの透明領域を追加する第2追加ステップを含む請求項1または2に記載の立体視再生方法。 - グラフィックスデータをグラフィックスプレーンに書き込むグラフィックスデータ書き込み部と、
前記グラフィックスデータを書き込んだグラフィックスプレーンを第1方向に、オフセットに示された移動量にて移動させ、前記グラフィックスデータを書き込んだグラフィックスプレーンを前記第1方向とは反対の第2方向に、前記オフセットに示された移動量にて移動させるプレーンシフトエンジンと、
左目用のビデオデータを左目用のビデオプレーンに書き込み、右目用のビデオデータを右目用のビデオプレーンに書き込むビデオデータ書き込み部、
前記左目用のビデオプレーンに書き込んだ左目用のビデオデータに前記第1の方向に移動させたグラフィックスプレーンに書き込んだグラフィックスデータを合成し、前記右目用のビデオプレーンに書き込んだ右目用のビデオデータに前記第2の方向に移動させたグラフィックスプレーンに書き込んだグラフィックスデータを合成する合成部とを備え、
前記ビデオデータの表示スケールの変更を受け付けると、前記オフセットに応じた移動量は、前記オフセットに前記表示スケールのスケーリング倍率を当該乗じた値に基づいて変更される立体視再生装置。 - 前記オフセットに応じた移動量は、前記オフセットに前記表示スケールのスケーリング倍率を当該乗じた値の小数点以下の数値をくり上げた移動量とする請求項4記載の立体視再生装置。
- 前記プレーンシフトエンジンは、前記移動させたグラフィックスプレーンの第1方向側の端部領域を前記オフセットに示された移動量に応じて除去する第1除去部と、前記移動させたグラフィックスプレーンの第2方向側の端部に前記除去した端部領域と同じ大きさの透明領域を追加する第1追加部と、
前記移動させたグラフィックスプレーンの第2方向側の端部領域を前記オフセットに示された移動量に応じて除去する第2除去部と、前記移動させたグラフィックスプレーンの第1方向側の端部に前記除去した端部領域と同じ大きさの透明領域を追加する第2追加部を有する請求項4又は5に記載の立体視再生装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011090909A JP5341946B2 (ja) | 2008-11-18 | 2011-04-15 | 立体視再生を行う再生方法、立体視再生装置 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008294500 | 2008-11-18 | ||
JP2008294500 | 2008-11-18 | ||
JP2011090909A JP5341946B2 (ja) | 2008-11-18 | 2011-04-15 | 立体視再生を行う再生方法、立体視再生装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010539134A Division JP4772163B2 (ja) | 2008-11-18 | 2009-11-16 | 立体視再生を行う再生装置、再生方法、プログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2011239373A JP2011239373A (ja) | 2011-11-24 |
JP2011239373A5 JP2011239373A5 (ja) | 2012-11-22 |
JP5341946B2 true JP5341946B2 (ja) | 2013-11-13 |
Family
ID=42197989
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010539134A Active JP4772163B2 (ja) | 2008-11-18 | 2009-11-16 | 立体視再生を行う再生装置、再生方法、プログラム |
JP2011090909A Expired - Fee Related JP5341946B2 (ja) | 2008-11-18 | 2011-04-15 | 立体視再生を行う再生方法、立体視再生装置 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010539134A Active JP4772163B2 (ja) | 2008-11-18 | 2009-11-16 | 立体視再生を行う再生装置、再生方法、プログラム |
Country Status (9)
Country | Link |
---|---|
US (2) | US8301013B2 (ja) |
EP (1) | EP2348746B1 (ja) |
JP (2) | JP4772163B2 (ja) |
CN (1) | CN102210156B (ja) |
BR (1) | BRPI0922046A2 (ja) |
ES (1) | ES2537073T3 (ja) |
RU (1) | RU2512135C2 (ja) |
TW (2) | TW201032577A (ja) |
WO (1) | WO2010058546A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11373351B2 (en) | 2019-03-26 | 2022-06-28 | Fujifilm Corporation | Image processing method, program, and image processing system |
Families Citing this family (53)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8301013B2 (en) * | 2008-11-18 | 2012-10-30 | Panasonic Corporation | Reproduction device, reproduction method, and program for stereoscopic reproduction |
US8335425B2 (en) * | 2008-11-18 | 2012-12-18 | Panasonic Corporation | Playback apparatus, playback method, and program for performing stereoscopic playback |
JP4998650B2 (ja) * | 2009-04-03 | 2012-08-15 | ソニー株式会社 | 情報処理装置、情報処理方法、及び、プログラム |
JP4915458B2 (ja) | 2009-04-03 | 2012-04-11 | ソニー株式会社 | 情報処理装置、情報処理方法、及び、プログラム |
JP4985807B2 (ja) | 2009-04-15 | 2012-07-25 | ソニー株式会社 | 再生装置および再生方法 |
DE102010009291A1 (de) | 2010-02-25 | 2011-08-25 | Expert Treuhand GmbH, 20459 | Verfahren und Vorrichtung für ein anatomie-adaptiertes pseudoholographisches Display |
WO2011118215A1 (ja) * | 2010-03-24 | 2011-09-29 | パナソニック株式会社 | 映像処理装置 |
JP4787369B1 (ja) * | 2010-03-30 | 2011-10-05 | 富士フイルム株式会社 | 画像処理装置および方法並びにプログラム |
JP2011216937A (ja) * | 2010-03-31 | 2011-10-27 | Hitachi Consumer Electronics Co Ltd | 立体画像表示装置 |
US8982151B2 (en) * | 2010-06-14 | 2015-03-17 | Microsoft Technology Licensing, Llc | Independently processing planes of display data |
JP5505637B2 (ja) * | 2010-06-24 | 2014-05-28 | ソニー株式会社 | 立体表示装置および立体表示装置の表示方法 |
US20110316972A1 (en) * | 2010-06-29 | 2011-12-29 | Broadcom Corporation | Displaying graphics with three dimensional video |
JP2012023648A (ja) * | 2010-07-16 | 2012-02-02 | Sony Corp | 再生装置、再生方法、およびプログラム |
US10194132B2 (en) * | 2010-08-03 | 2019-01-29 | Sony Corporation | Establishing z-axis location of graphics plane in 3D video display |
US8605136B2 (en) * | 2010-08-10 | 2013-12-10 | Sony Corporation | 2D to 3D user interface content data conversion |
JP5450330B2 (ja) * | 2010-09-16 | 2014-03-26 | 株式会社ジャパンディスプレイ | 画像処理装置および方法、ならびに立体画像表示装置 |
WO2012044128A2 (ko) * | 2010-10-01 | 2012-04-05 | 삼성전자 주식회사 | 디스플레이 장치 및 신호 처리 장치와, 그 방법들 |
KR101817171B1 (ko) * | 2010-10-14 | 2018-01-11 | 톰슨 라이센싱 | 3d 비디오 시스템을 위한 원격 제어 디바이스 |
US8537201B2 (en) * | 2010-10-18 | 2013-09-17 | Silicon Image, Inc. | Combining video data streams of differing dimensionality for concurrent display |
TWI540896B (zh) | 2010-11-15 | 2016-07-01 | 國立研究開發法人科學技術振興機構 | 印刷有視錯覺影像的媒體及記錄有電腦可讀取的影像資料之記錄媒體 |
CN103262547B (zh) * | 2010-12-03 | 2016-01-20 | 皇家飞利浦电子股份有限公司 | 3d图像数据的转移 |
CN103262552A (zh) * | 2010-12-10 | 2013-08-21 | 富士通株式会社 | 立体动态图像生成装置、立体动态图像生成方法以及立体动态图像生成程序 |
WO2012117729A1 (ja) | 2011-03-03 | 2012-09-07 | パナソニック株式会社 | 追体験映像を提供することができる映像提供装置、映像提供方法、映像提供プログラム |
JP2012186652A (ja) * | 2011-03-04 | 2012-09-27 | Toshiba Corp | 電子機器、画像処理方法及び画像処理プログラム |
TWI492610B (zh) * | 2011-03-10 | 2015-07-11 | Realtek Semiconductor Corp | 影像控制裝置 |
TWI482484B (zh) * | 2011-06-17 | 2015-04-21 | Wistron Corp | 立體顯示系統及其方法 |
PL2727381T3 (pl) * | 2011-07-01 | 2022-05-02 | Dolby Laboratories Licensing Corporation | Sposób i urządzenie do renderowania obiektów audio |
EP2544152A3 (en) * | 2011-07-07 | 2013-02-20 | HTC Corporation | Management of multiple interface display layers |
CN102905143B (zh) * | 2011-07-28 | 2015-04-15 | 瑞昱半导体股份有限公司 | 2d转3d图像转换装置及其方法 |
US20130307930A1 (en) * | 2011-11-15 | 2013-11-21 | Mediatek Singapore Pte. Ltd. | Stereoscopic image processing apparatus and method thereof |
TWI489418B (zh) * | 2011-12-30 | 2015-06-21 | Nat Univ Chung Cheng | Parallax Estimation Depth Generation |
JP5319796B2 (ja) * | 2012-01-12 | 2013-10-16 | 株式会社東芝 | 情報処理装置および表示制御方法 |
JP6307213B2 (ja) * | 2012-05-14 | 2018-04-04 | サターン ライセンシング エルエルシーSaturn Licensing LLC | 画像処理装置、画像処理方法およびプログラム |
TWI555400B (zh) * | 2012-05-17 | 2016-10-21 | 晨星半導體股份有限公司 | 應用於顯示裝置的字幕控制方法與元件 |
EP2887653A4 (en) * | 2012-08-17 | 2016-03-30 | Nec Corp | PORTABLE TERMINAL DEVICE AND PROGRAM |
TWI559255B (zh) * | 2012-09-28 | 2016-11-21 | Japan Science & Tech Agency | Visual illusion analysis device, visual illusion adding image generating device, visual illusion analysis method, visual illusion adding image generation method, and program |
KR101946455B1 (ko) * | 2013-03-14 | 2019-02-11 | 삼성전자주식회사 | 시스템 온-칩 및 이의 동작 방법 |
KR20140120000A (ko) * | 2013-04-01 | 2014-10-13 | 한국전자통신연구원 | 3차원공간의 분석을 통한 입체영상 자막 생성 장치 및 방법 |
WO2014186346A1 (en) * | 2013-05-13 | 2014-11-20 | Mango Languages | Method and system for motion picture assisted foreign language learning |
US20140347350A1 (en) * | 2013-05-23 | 2014-11-27 | Htc Corporation | Image Processing Method and Image Processing System for Generating 3D Images |
WO2015019656A1 (ja) * | 2013-08-06 | 2015-02-12 | 株式会社ソニー・コンピュータエンタテインメント | 3次元画像生成装置、3次元画像生成方法、プログラム及び情報記憶媒体 |
JP6129759B2 (ja) * | 2014-02-03 | 2017-05-17 | 満男 江口 | Simd型超並列演算処理装置向け超解像処理方法、装置、プログラム及び記憶媒体 |
CN104038827B (zh) | 2014-06-06 | 2018-02-02 | 小米科技有限责任公司 | 多媒体播放方法及装置 |
AU2016308731A1 (en) | 2015-08-18 | 2018-03-15 | Magic Leap, Inc. | Virtual and augmented reality systems and methods |
WO2018003669A1 (ja) | 2016-06-27 | 2018-01-04 | ローム株式会社 | タイミングコントローラ、それを用いた電子機器、車載用ディスプレイ装置、医療用ディスプレイ装置 |
US10958890B2 (en) * | 2017-03-31 | 2021-03-23 | Samsung Electronics Co., Ltd. | Method and apparatus for rendering timed text and graphics in virtual reality video |
KR102448340B1 (ko) * | 2017-12-20 | 2022-09-28 | 삼성전자주식회사 | 디스플레이 구동 회로에 저장된 좌표 정보에 기반하여, 콘텐트의 표시 위치를 이동하기 위한 전자 장치 및 방법 |
US10735649B2 (en) | 2018-02-22 | 2020-08-04 | Magic Leap, Inc. | Virtual and augmented reality systems and methods using display system control information embedded in image data |
CN108900904B (zh) * | 2018-07-27 | 2021-10-15 | 北京市商汤科技开发有限公司 | 视频处理方法及装置、电子设备和存储介质 |
CN111193919B (zh) * | 2018-11-15 | 2023-01-13 | 中兴通讯股份有限公司 | 一种3d显示方法、装置、设备及计算机可读介质 |
CN109561263A (zh) * | 2018-11-23 | 2019-04-02 | 重庆爱奇艺智能科技有限公司 | 在vr设备的3d视频中实现3d字幕效果 |
KR102582160B1 (ko) * | 2018-12-26 | 2023-09-22 | 엘지디스플레이 주식회사 | 유기 발광 다이오드 디스플레이 장치 |
CN117009016A (zh) * | 2023-07-12 | 2023-11-07 | 江西科骏实业有限公司 | 显示模式切换方法、***、终端设备以及存储介质 |
Family Cites Families (41)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2100324C (en) * | 1992-08-06 | 2004-09-28 | Christoph Eisenbarth | Method and apparatus for determining mis-registration |
JPH08249493A (ja) | 1995-03-09 | 1996-09-27 | Sony Corp | 立体映像装置 |
US5784097A (en) * | 1995-03-29 | 1998-07-21 | Sanyo Electric Co., Ltd. | Three-dimensional image display device |
US6175575B1 (en) * | 1997-09-26 | 2001-01-16 | Lucent Technologies Inc. | Internet service via ISDN |
JPH11113028A (ja) * | 1997-09-30 | 1999-04-23 | Toshiba Corp | 3次元映像表示装置 |
JP3639108B2 (ja) * | 1998-03-31 | 2005-04-20 | 株式会社ソニー・コンピュータエンタテインメント | 描画装置および描画方法、並びに提供媒体 |
JP4006105B2 (ja) | 1998-08-25 | 2007-11-14 | キヤノン株式会社 | 画像処理装置およびその方法 |
US20030043918A1 (en) | 1999-12-20 | 2003-03-06 | Jiang Hong H. | Method and apparatus for performing video image decoding |
KR100641848B1 (ko) * | 2000-11-02 | 2006-11-02 | 유겐가이샤 후지야마 | 디지탈 영상 콘텐츠의 배신 시스템 및 재생 방법 및 그 재생 프로그램을 기록한 기록 매체 |
JP3826039B2 (ja) * | 2002-01-22 | 2006-09-27 | キヤノン株式会社 | 信号処理装置 |
RU2225593C2 (ru) * | 2002-04-10 | 2004-03-10 | Федеральное государственное унитарное предприятие "Научно-производственное предприятие "Рубин" | Фотограмметрическое рабочее место |
US7804995B2 (en) * | 2002-07-02 | 2010-09-28 | Reald Inc. | Stereoscopic format converter |
CN1703915A (zh) * | 2002-09-27 | 2005-11-30 | 夏普株式会社 | 3-d图像显示单元,3-d图像记录装置和3-d图像记录方法 |
AU2002355052A1 (en) * | 2002-11-28 | 2004-06-18 | Seijiro Tomita | Three-dimensional image signal producing circuit and three-dimensional image display apparatus |
EP1578142B1 (en) * | 2002-12-16 | 2014-10-08 | Sanyo Electric Co., Ltd. | Stereoscopic video creating device and stereoscopic video distributing method |
JP2004248212A (ja) | 2003-02-17 | 2004-09-02 | Kazunari Era | 立体視画像表示装置 |
JP2004274125A (ja) * | 2003-03-05 | 2004-09-30 | Sony Corp | 画像処理装置および方法 |
US7417664B2 (en) * | 2003-03-20 | 2008-08-26 | Seijiro Tomita | Stereoscopic image picking up and display system based upon optical axes cross-point information |
US20040213542A1 (en) * | 2003-04-22 | 2004-10-28 | Hiroshi Hamasaka | Apparatus and method to reproduce multimedia content for a multitude of resolution displays |
JP2005004341A (ja) | 2003-06-10 | 2005-01-06 | Sanyo Electric Co Ltd | 画像表示装置およびコンピュータに画像表示機能を付与するプログラム |
WO2004107764A1 (ja) * | 2003-05-27 | 2004-12-09 | Sanyo Electric Co., Ltd. | 画像表示装置及びプログラム |
JP2005073049A (ja) * | 2003-08-26 | 2005-03-17 | Sharp Corp | 立体映像再生装置および立体映像再生方法 |
CN1938774B (zh) * | 2004-06-03 | 2010-04-21 | 松下电器产业株式会社 | 再现设备及方法 |
EP1875440B1 (en) | 2005-04-19 | 2008-12-03 | Koninklijke Philips Electronics N.V. | Depth perception |
JP4491035B2 (ja) * | 2006-03-24 | 2010-06-30 | パナソニック株式会社 | 再生装置、デバッグ装置、システムlsi、プログラム |
US20090284584A1 (en) * | 2006-04-07 | 2009-11-19 | Sharp Kabushiki Kaisha | Image processing device |
US8358332B2 (en) * | 2007-07-23 | 2013-01-22 | Disney Enterprises, Inc. | Generation of three-dimensional movies with improved depth control |
JP2009135686A (ja) * | 2007-11-29 | 2009-06-18 | Mitsubishi Electric Corp | 立体映像記録方法、立体映像記録媒体、立体映像再生方法、立体映像記録装置、立体映像再生装置 |
GB0806183D0 (en) * | 2008-04-04 | 2008-05-14 | Picsel Res Ltd | Presentation of objects in 3D displays |
CN102150434A (zh) * | 2008-09-18 | 2011-08-10 | 松下电器产业株式会社 | 立体视觉再现影像内容的再现装置、再现方法及再现程序 |
EP2326101B1 (en) * | 2008-09-18 | 2015-02-25 | Panasonic Corporation | Stereoscopic video reproduction device and stereoscopic video display device |
WO2010052857A1 (ja) * | 2008-11-06 | 2010-05-14 | パナソニック株式会社 | 再生装置、再生方法、再生プログラム、及び集積回路 |
US8301013B2 (en) * | 2008-11-18 | 2012-10-30 | Panasonic Corporation | Reproduction device, reproduction method, and program for stereoscopic reproduction |
US8335425B2 (en) * | 2008-11-18 | 2012-12-18 | Panasonic Corporation | Playback apparatus, playback method, and program for performing stereoscopic playback |
MX2011008609A (es) * | 2009-02-17 | 2011-09-09 | Koninklije Philips Electronics N V | Combinar datos de imagen tridimensional y graficos. |
JP4919122B2 (ja) * | 2009-04-03 | 2012-04-18 | ソニー株式会社 | 情報処理装置、情報処理方法、及び、プログラム |
WO2010143439A1 (ja) * | 2009-06-12 | 2010-12-16 | パナソニック株式会社 | 再生装置、集積回路、記録媒体 |
US8164619B2 (en) * | 2009-09-25 | 2012-04-24 | Panasonic Corporation | Recording medium, playback device, and integrated circuit |
US20110080462A1 (en) * | 2009-10-02 | 2011-04-07 | Panasonic Corporation | Playback device, integrated circuit, playback method, and program for stereoscopic video playback |
US9066076B2 (en) * | 2009-10-30 | 2015-06-23 | Mitsubishi Electric Corporation | Video display control method and apparatus |
US9030533B2 (en) * | 2009-11-06 | 2015-05-12 | Sony Corporation | Stereoscopic overlay offset creation and editing |
-
2009
- 2009-11-16 US US13/119,729 patent/US8301013B2/en not_active Expired - Fee Related
- 2009-11-16 WO PCT/JP2009/006115 patent/WO2010058546A1/ja active Application Filing
- 2009-11-16 CN CN2009801449706A patent/CN102210156B/zh not_active Expired - Fee Related
- 2009-11-16 RU RU2011118876/08A patent/RU2512135C2/ru not_active IP Right Cessation
- 2009-11-16 JP JP2010539134A patent/JP4772163B2/ja active Active
- 2009-11-16 BR BRPI0922046A patent/BRPI0922046A2/pt not_active IP Right Cessation
- 2009-11-16 ES ES09827327.9T patent/ES2537073T3/es active Active
- 2009-11-16 EP EP09827327.9A patent/EP2348746B1/en active Active
- 2009-11-17 TW TW098138975A patent/TW201032577A/zh unknown
- 2009-11-17 TW TW100125613A patent/TW201145979A/zh unknown
-
2011
- 2011-04-15 JP JP2011090909A patent/JP5341946B2/ja not_active Expired - Fee Related
-
2012
- 2012-09-24 US US13/625,429 patent/US20130021435A1/en not_active Abandoned
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11373351B2 (en) | 2019-03-26 | 2022-06-28 | Fujifilm Corporation | Image processing method, program, and image processing system |
Also Published As
Publication number | Publication date |
---|---|
CN102210156A (zh) | 2011-10-05 |
TW201145979A (en) | 2011-12-16 |
JP4772163B2 (ja) | 2011-09-14 |
JPWO2010058546A1 (ja) | 2012-04-19 |
ES2537073T3 (es) | 2015-06-02 |
WO2010058546A1 (ja) | 2010-05-27 |
EP2348746A1 (en) | 2011-07-27 |
US20130021435A1 (en) | 2013-01-24 |
JP2011239373A (ja) | 2011-11-24 |
RU2512135C2 (ru) | 2014-04-10 |
EP2348746B1 (en) | 2015-03-11 |
EP2348746A4 (en) | 2013-03-06 |
TWI361614B (ja) | 2012-04-01 |
BRPI0922046A2 (pt) | 2019-09-24 |
US8301013B2 (en) | 2012-10-30 |
CN102210156B (zh) | 2013-12-18 |
TW201032577A (en) | 2010-09-01 |
US20110211815A1 (en) | 2011-09-01 |
RU2011118876A (ru) | 2012-12-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5341946B2 (ja) | 立体視再生を行う再生方法、立体視再生装置 | |
JP5395117B2 (ja) | 立体視再生が可能な再生装置、再生方法、プログラム | |
US8335425B2 (en) | Playback apparatus, playback method, and program for performing stereoscopic playback | |
JP5480948B2 (ja) | 再生装置、再生方法、プログラム | |
JP4923162B2 (ja) | 受信装置、受信方法 | |
JP5291026B2 (ja) | 3d映像を再生する再生装置、および配信装置 | |
WO2010032403A1 (ja) | 映像コンテンツを立体視再生する再生装置、再生方法、および再生プログラム | |
JP2011097595A (ja) | 半導体集積回路 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121009 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121009 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130628 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130716 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130808 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130826 |
|
LAPS | Cancellation because of no payment of annual fees |