JP4974984B2

JP4974984B2 - 映像記録装置及び方法

Info

Publication number: JP4974984B2
Application number: JP2008233409A
Authority: JP
Inventors: 昌明島田; 英俊三嶋
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2008-09-11
Filing date: 2008-09-11
Publication date: 2012-07-11
Anticipated expiration: 2028-09-11
Also published as: JP2010068315A

Description

本発明は、映像記録装置及び方法に関する。本発明は特に、三次元映像コンテンツと二次元映像コンテンツが混在した放送番組を光ディスクやＨＤＤ（ハードディスク装置）などの蓄積記録媒体に記録し、その記録された映像データを再生する技術に関するものである。

近年、映像表示方法として、左右の目の視差を利用して作成した右目用の映像と左目用の映像を、それぞれ対応する目に個別に入射させるように構成して立体的な表示を行う三次元映像表示が実用化されている。ＢＳ放送では左目映像と右目映像とをそれぞれ水平方向に１／２サブサンプリングし、サンプリングした左目映像を画面左側に、サンプリングした右目映像を画面右側に位置させた三次元映像の記録フォーマットであるサイドバイサイド方式による三次元映像放送が開始された。当該サイドバイサイド方式で生成された三次元映像は、表示装置側で立体視が可能となるように、右目映像と左目映像が合成して表示される。

二次元映像と三次元映像が混在した放送番組を送信する際に、送信される映像ストリーム中に、当該映像ストリームが三次元映像であるか否かを示す映像特性情報とを多重化して記録する映像記録再生装置が開示されている（特許文献１参照）。本特許文献１によれば、番組受信中に映像ストリーム中に多重化された映像特性情報に基づいて、表示装置の表示方式を三次元映像対応に設定するか否かを自動的に切替えることができる。

また二次元映像と三次元映像が混在した放送番組を受信する際に、画面上の動きが速い映像であっても、信号内容が二次元映像と三次元映像かを判別することができる映像信号種類判別装置が開示されている（特許文献２参照）。

特開２００６−３５２８７６号公報特開平１１−６９３８４号公報

特許文献１に開示されている方法では、三次元映像であるか否かを示す情報が映像ストリーム中に多重化されているため、映像ストリームを再生する前に三次元映像か否かを判別するには非常に多くの時間を要する。また特許文献１には、放送された映像信号自体から三次元映像であるか否か判別する方法については、開示されていない。

特許文献２に開示されている映像信号種類判別処理装置は、入力映像がフィールド毎に左目映像と右目映像を交互に送信された場合には正常に三次元映像か否かを判別することができるが、サイドバイサイド方式で記録された三次元映像について本方式で判別することができないといった問題がある。また通常、入力映像の受信状態が突然悪くなる場合には異常な映像フレームが記録されることがあるが、そういった場合において三次元映像であると誤検出する可能性が高い。また全黒画面や全白画面のような入力映像であった場合について、三次元映像であるか二次元映像であるかを判別できないといった問題があった。

本発明の映像記録装置は、
入力映像信号が三次元映像信号であるか二次元映像信号であるかを判定する三次元映像判定手段と、
入力映像信号またはこれを変換したものを記録する映像信号記録手段と、
前記三次元映像判定手段の出力に基づいて三次元映像属性情報を設定し、前記三次元映像情報とともに記録する三次元映像属性設定手段と
を備え、
前記三次元映像判定手段は、映像の左側半部及び右側半部の一方の、複数の部分領域を順に着目部分領域として選択し、前記左側半部及び右側半部の他方の、前記着目部分領域と同一の垂直方向位置にある複数の部分領域を順位参照画素として選択し、参照部分領域の前記着目部分領域に対する類似度のうちの最大のものを最大類似度として検出し、該最大類似度を、複数の着目部分領域について集計することにより得られる映像の左側半部と右側半部との相関性に基づいて、三次元映像であるか否かを判定する
ことを特徴とする。

本発明によれば、サイドバイサイド方式の三次元映像を録画する際に、小さな回路規模で三次元映像か否かを判別することができ、三次元映像の記録再生に要する機器のコストを抑えることができる。
また三次元映像であった場合、記録時に映像ストリームを管理するための再生制御情報に三次元映像に係る属性情報を含ませることができるため、再生前に三次元映像に関する情報を知ることができる。

実施の形態１．
本発明の実施の形態１の映像記録再生装置は、サイドバイサイド方式の三次元映像と二次元映像とが混在する入力映像信号、例えば放送番組の入力映像信号を記録、再生するものであり、三次元映像か否かを判定する回路の規模を小さく構成できるという効果を有する。

本実施の形態の映像記録再生装置は、放送を録画する際に三次元映像か否かを示す情報を含み、さらに、該三次元映像である場合には、三次元映像フォーマットを示す情報を含む、三次元映像に係る属性情報を、映像ストリームのストリーム属性やアドレス情報を管理した再生制御情報ファイルに記録する。従って、当該映像ストリームの再生開始指示があった際には即座に三次元映像が含まれる区間を判別することができる。再生前に三次元映像の区間を知ることができ、さらに、再生できないフォーマットの三次元映像が含まれる場合には事前にユーザーに警告することができる。
さらに、三次元映像の立体度合いを記録しておくことにより、三次元映像が心身へ及ぼす影響度が高い映像シーンを再生するに先立って警告画面を表示したり、映像記録再生装置もしくは表示装置で当該区間の立体度合いを緩和するなどの措置を講じることができる。

図１は本発明の実施の形態１の映像記録再生装置のシステム構成を示すブロック図である。図示の映像記録再生装置１００は、システム制御部１０１と、チューナー部１０３と、デジタル復調部１０４と、誤り訂正部１０５と、番組抽出部１０６と、ストリーム制御部１１０と、記録再生ドライブ部１０２と、パケット分離部１４１と、デコーダ部１１１と、映像合成部１４２と、デジタルインターフェース部１１２と、映像解析部１５３と、再生制御情報メモリ部１２０とを備えている。
デジタルインターフェース部１１２は、表示装置１１３に接続されている。

システム制御部１０１は、映像記録再生装置１００全体を統合制御するものであり、操作部１３０からの信号を受けることができるように構成されている。
システム制御部１０１はまた、三次元映像判定部１５１と再生制御情報生成部１５２とを備える。

チューナー部１０３と、デジタル復調部１０４と、誤り訂正部１０５と、番組抽出部１０６と、ストリーム制御部１１０と、記録再生ドライブ部１０２と、パケット分離部１４１と、デコーダ部１１１と、映像合成部１４２と、デジタルインターフェース部１１２と、映像解析部１５３とで、デコーダブロック１４０が構成されている。このデコーダブロック１４０は、システム制御部１０１からの指示のもと、映像ストリームの記録再生を行なう。

システム制御部１０１と、ストリーム制御部１１０と、記録再生ドライブ部１０２と、パケット分離部１４１と、デコーダ部１１１と、映像合成部１４２と、デジタルインターフェース部１１２と、映像解析部１５３と、再生制御情報メモリ部１２０とで、映像再生ブロック１６０が構成されている。

記録再生ドライブ部１０２は、例えばハードディスク装置から成り、記録媒体への情報書き込み、読出しを行う。

記録再生ドライブ部１０２で読み書きを行なう記録媒体（例えば磁気ディスク）には、符号化映像が多重化されたストリーム情報、および当該ストリーム情報の再生制御情報が記録されている。
再生制御情報は、記録再生ドライブ部１０２で読み書きを行なう記録媒体に記録されているストリーム情報から分離した符号化映像ストリーム、音声ストリーム、システム管理情報に関する属性情報や、ストリーム情報のアクセス単位（通常ＧＯＰ：ＧｒｏｕｐＯｆＰｉｃｔｕｒｅｓ単位）で再生開始時間情報と再生開始位置情報の対応関係を示す情報などを含む。

操作部１３０を通じて、ユーザーなどから映像記録再生装置１００に対してユーザー操作の要求を行う。操作部１３０は、例えば、映像記録再生装置１００のフロントパネルに配置されている操作パネルやリモコンなどで構成されている。

システム制御部１０１は、操作部１３０によって要求された命令の内容を解釈し、デコーダブロック１４０を制御することで任意のストリーム情報の記録再生を行う。

なお以下では、具体例として記録再生ドライブ部１０２がハードディスク装置から成るものと仮定して説明を進めるが、光ディスクドライブ装置やＳＤメディアドライブでも良い。その場合、光ディスクやＳＤメディア上にはストリーム情報と再生制御情報が記録され、記録再生ドライブ部１０２を通じて読出しや書込みが行なわれる。なお、このように光ディスクやＳＤメディアのような可搬性記録媒体を再生する場合においては、チューナ部１０３、デジタル復調部１０４、誤り訂正部１０５及び番組抽出部１０６を省き、映像再生ブロック１６０のみで映像記録再生装置を構成することができる。

映像解析部１５３は、デコーダ部１１１から復号化された映像信号を受けて、映像を解析し、左側半部と右側の半部の相関性についての情報を得る。
三次元映像判定部１５１は、ストリーム情報の記録時に映像解析部１５３で得られた解析結果に基づいて、三次元映像か否か（三次元映像か二次元映像か）を判定する。
再生制御情報生成部１５２は、上記の判定結果を、当該ストリーム情報の再生制御情報として、記録再生ドライブ部１０２（の記録媒体）へ書き込む。またその際に立体度合いを示す視差量に関する情報を併せて記録しても良い。

なお再生制御情報の記録タイミングとしては、ストリーム情報の記録時にリアルタイムで記録再生ドライブ部１０２に記録することとしても良いし、システム制御部１０１に接続されている再生制御情報メモリ部１２０に一時的に当該情報を構築しておき記録終了時にまとめて記録することとしても良い。
また本実施の形態では、放送記録中に三次元映像か否かを判定しているが、一旦ストリーム情報を記録再生ドライブ部１０２に記録した後、オフラインで三次元映像か否かを判定する処理を行ってもよい。

なお三次元映像判定部１５１および再生制御情報生成部１５２は、システム制御部１０１内のファームウェアなどで構成される例を示しているが、システム制御部１０１の外部に設けても良いし、当該機能を有するハードウェアであっても良い。一方、映像解析部１５３はハードウェアで構成されている例を示しているが、システム制御部１０１内のファームウェアで構成しても良い。

まず本実施の形態１における記録処理の流れについて、図１及び図２を用いて説明する。
システム制御部１０１からの指示に基づいて、チューナー部１０３はパラボラアンテナ等で受信した電波から、選局された放送局の変調波を取り出す（Ｓ１０１）。
その後、デジタル変調部１０４で前記チューナー部１０３から出力された変調波をベースバンド信号に変換する（Ｓ１０２）。

デジタル放送の電波は非常に弱い上、外来ノイズも多いことから情報が欠落する可能性が高い通信方式である。そのため変換されたベースバンド信号には、本来の放送波情報と誤り訂正用情報が多重化（誤り訂正符号化）されて伝送されている。誤り訂正部１０５では、このように情報が欠落した際に誤り訂正用情報に基づいて、それを修正して正しい情報（放送波情報）に戻している（Ｓ１０３）。

当該放送波情報は、１３個のセグメントと呼ばれる区間に分けて使用されている。当該放送波情報の内１２セグメントは地上デジタルハイビジョン放送用の符号化圧縮映像が伝送され、残りの１セグメントは携帯端末用の１セグ放送の送信に利用される。なお１２セグメントの地上デジタルハイビジョン用の符号化圧縮映像には、複数番組の映像音声が多重化されていてもよい。その場合、番組抽出部１０６で、指定チャンネルのＭＰＥＧ−２ＴｒａｎｓｐｏｒｔＳｔｒｅａｍ（以下、ＭＰＥＧ−２ＴＳ）を抽出し、ストリーム制御部１１０へ入力する（Ｓ１０４）。このように抽出されたＭＰＥＧ−２ＴＳを、ストリーム情報と言う。

ストリーム制御部１１０は、システム全体のストリーム情報の流れを統括制御しており、ストリーム情報を一時的に展開するための一時メモリ領域であるストリームバッファ１２１を備えている。ストリームバッファ１２１は少なくとも映像の１フレーム分のストリーム情報を格納しておける容量を持つ。

システム制御部１０１は、ストリームバッファ１２１に格納されているストリーム情報中のシステム管理情報を解析することで、ストリーム情報を構成する映像ストリーム、音声ストリームに関する後述するパケットＩＤを知ることができる。
パケット分離部１４１は、当該映像ストリームを示すパケットＩＤでフィルタリング（分離）した後で、符号化映像情報をデコーダ部１１１に供給する。その間、ストリームバッファ１２１には、当該ストリーム情報が保持される。

デコーダ部１１１は、映像フレームを復号化し、復号化により得られた情報を映像解析部１５３に供給する。
映像解析部１５３は、後で詳細に説明する方法で、映像を解析し、映像解析結果としてヒストグラム情報を出力する。
三次元映像判定部１５１は、映像解析部１５３から出力される解析結果に基づいて、解析対象の映像フレームがサイドバイサイド方式の三次元映像であるか否かを判定する（Ｓ１０５）。
なお、三次元映像であると判断された場合、三次元映像判定部１５１はヒストグラム情報で表される左目映像と右目映像の相関関係から、視差映像の分布状態を判断し、立体度合いを示す情報を更に取得するようにしても良い。この情報は、三次元映像の視聴が及ぼす心身への影響が大きいかどうかの判断のために利用される。

その後、録画開始時であるか否かが判別され（Ｓ１０６）、録画開始時と判断されるとシステム制御部１０１内の再生制御情報生成部１５２で、入力映像に適した再生制御情報を構築する。

録画開始時であると判断された場合（Ｓ１０６でＹＥＳ）には、ステップＳ１０７に進み、ステップＳ１０５における判別処理でサイドバイサイド方式の三次元映像であると判断されている場合（Ｓ１０７でＹＥＳ）には、次にステップＳ１０８に進み、サイドバイサイド方式の三次元映像でない場合（Ｓ１０７でＮＯ）には、次にステップＳ１１０に進む。

ステップＳ１０８では、後で詳細に説明する三次元映像用の再生制御情報の生成、すなわちプログラム構造の生成を行なって、記録再生ドライブ部１０２に記録する。即ち、後述の図７のストリーム管理ファイル内の属性情報管理テーブルを逐次生成、更新していく。

その後、ストリーム変換部１２２は、ストリームバッファ１２１に保持されている、三次元映像の映像フレームをシステム制御部１０１により指定された記録方式に変換し、記録再生ドライブ部１０２に記録する（Ｓ１０９）。
システム制御部１０１で指定する記録方式は、例えば、サイドバイサイド方式、両眼映像混在ストリーム方式、奥行き情報付ストリーム方式の３種類の方式のいずれかである。

サイドバイサイド方式が指示された場合、ストリーム情報はストリームバッファ１２１に保持されているサイドバイサイド方式のストリーム情報をそのまま記録再生ドライブ部１２１に記録する。そして再生制御情報には、サイドバイサイド方式で記録されたことを示す情報が付加される。

両眼映像混在ストリーム方式が指示された場合、ストリームバッファ１２１に保持されているストリーム情報を、ストリーム変換部１２２で左目映像と右目映像を示す２本の二次元映像に分離した後、各映像における水平方向のサンプリングを２倍にして、それぞれの画像をオリジナル画像サイズに変換し、各映像には別々の後述するパケットＩＤを付加した後で１本のストリーム情報に多重化し、記録再生ドライブ部１２１に記録する。そして再生制御情報には、両眼映像混在ストリーム方式で記録されたことを示す情報が付加される。
このようにストリーム情報を構成したため、記録画像品質に優れたストリーム情報を記録できるという効果を奏する。

また別の効果として、上記のようにサイドバイサイド方式の映像を分離して記録再生ドライブ部１０２にストリーム情報を記録することにより、表示装置１１３がサイドバイサイド方式の映像表示に対応していない場合でも、ユーザーは通常の放送と同様のアスペクトレシオで映像出力ができるため、確実に視聴することができる。

奥行き情報付ストリーム方式が指示された場合、上記両眼映像混在ストリーム方式を生成する場合の処理と同様に、まず左目映像と右目映像を分離しそれぞれオリジナル画像サイズに変換する。その後、正面から見た二次元映像を合成するとともに当該入力映像に表示される対象物（オブジェクト）すべての奥行き情報を生成した後で１本のストリーム情報として多重化し、記録再生ドライブ部１２１に記録する。そして再生制御情報には、奥行き情報付ストリーム方式で記録されたことを示す情報が付加される。このようにストリーム情報を構成することで、圧縮効率に優れたストリーム情報を記録できるという効果を奏する。

またステップＳ１０７で、二次元映像であると判断されてステップＳ１１０に進んだ場合、ステップＳ１１０では、二次元映像用の再生制御情報の生成、すなわちプログラム構造の生成を行う。即ち、後述の図７のストリーム管理ファイル内の属性情報管理テーブルを逐次生成、更新していく。その後、ストリームバッファ１２１に保持されている二次元映像をそのまま記録再生ドライブ部１２１に記録する。

その後、ストリーム情報の記録時に、システム制御部１０１ではアクセス単位でストリーム情報の時刻と記録位置を特定する情報であるアクセスマップを生成し、再生制御情報として記録再生ドライブ部１０２に書込む（Ｓ１１１）。

その後、記録が終了しているか否かを判定し、記録終了が行われていなければ、ステップＳ１０５に戻り、以後順次同様の処理を行う。なおシステム制御部１０１では、記録中にストリーム情報の属性に変化があったかどうかを逐次判定している（Ｓ１１３）。ストリーム情報の属性に変化がなければ、通常の記録処理であるステップＳ１１１に進む。ストリーム情報の属性に変化があったと判断された場合（Ｓ１１３でＹＥＳ）には、ステップＳ１０７に進み、ステップＳ１０７以降の、再生制御情報中のプログラムストリームの情報を更新する処理を行う。

なおストリーム情報は、システム制御部１０１からの命令に基づいて、記録再生ドライブ部１０２への書込みが行われるが、当該書込みを行う際にシステム制御部１０１内の再生制御情報生成部１５２で、本ストリーム情報の再生制御情報を構築した後、同様に記録再生ドライブ部１０２へ記録する。

その後、ステップＳ１１２において、記録終了すべきか否（ユーザによる記録終了の指示、記録装置内部で発生した記録終了の制御信号などが入力されているか）の判定を行い、終了すべきでなければ、ステップＳ１０５に戻る。終了すべきであれば、終了する。

なお本実施の形態では、入力映像の１フレーム毎に三次元映像であるか否かの判定（Ｓ１０５）を行っているが、例えば符号化圧縮単位であるＧＯＰ毎に当該判定を行っても良い。その場合、フレーム内圧縮であるＩピクチャを判定フレームとして利用すれば、演算量を最小にすることができる。

次に本実施の形態１における再生処理の流れを、図１及び図３を用いて説明する。ユーザーが操作部１３０に対して、任意の番組の再生命令を行う（Ｓ２０１）と、当該命令がシステム制御部１０１へ伝えられる。その後、システム制御部１０１は当該番組に関連する再生制御情報を、記録再生ドライブ部１０２により読み出して再生制御情報メモリ部１２０に保持しておく（Ｓ２０２）。このように、再生制御情報メモリ部１２０に保持しておくのは、その後必要に応じて即座に利用可能とするためである。

その後システム制御部１０１は、再生制御情報メモリ部１２０に保持されている再生制御情報から、選択番組の構成情報である後述するプレイリスト情報を読み出す。プレイリスト情報は、１つ以上のプレイアイテムと呼ばれる再生区間から成り立ち、プレイアイテムには再生対象のストリーム情報のファイル名、開始時刻、終了時刻が記録されている。プレイアイテムによって特定されるストリーム情報のファイル名に基づいて、当該ストリーム情報のストリーム管理ファイルを参照することができる。ストリーム管理ファイルを参照することにより、プレイアイテムで示す再生区間が三次元映像を含むか否か、三次元映像を含んでいた場合の開始位置と終了位置、三次元映像に係る属性情報、ストリーム情報を構成するパケットＩＤ、当該再生区間の再生時の読出し位置を示す物理アドレス等を取得することができる（Ｓ２０３）。

このようにして、選択番組全体における全ての再生区間の情報を、ストリーム情報の再生前に即座に知ることができる。このような手順で番組再生前に、三次元映像の表示可否や三次元映像が心身に与える影響等を、再生前に前もって知ることができるため、事前にユーザーへの警告画面を表示することができる。また心身に与える影響が強いと判断された場合に、視差を減らすように三次元映像を合成して表示しても良い。また事前に三次元映像の記録された区間を知ることができるため、二次元映像から三次元映像に切り替わる際に、事前に切替え準備を行うことができるので円滑に表示方式を切り替えることができる。

その後、プレイリスト情報が構成するプレイアイテムを先頭から順番に再生を始める。まず次に再生すべきプレイアイテムをあるか否かを判定する（Ｓ２０４）。次のプレイアイテムが存在する場合、当該プレイアイテムが参照するストリーム情報ファイルの読出しを行う（Ｓ２０５）。システム制御部１０１は、あらかじめストリーム情報を構成している映像ストリーム、音声ストリーム、システム管理情報のパケットＩＤを読み出しているので、パケット分離部１４１でパケットＩＤに基づいて映像ストリームのみを抽出し、デコーダ部１１１へ供給する。これにより映像情報が復号化される。なお本実施の形態では、映像ストリームの復号化についてのみ図示しているが、音声ストリームやシステム管理情報は、図示しない他のデコーダ部により復号化される。

システム制御部１０１は、逐次再生位置が三次元映像区間か否かを判定している（Ｓ２０６）。再生位置が三次元映像で且つ、両眼映像混在ストリーム方式であった場合には、左目映像と右目映像を示すパケットＩＤがそれぞれ異なる値に設定されており、それぞれ別個にデコーダ部１１１へ供給される。そしてデコーダ部１１１ではそれぞれを個別に復号化した後、当該２本の映像情報を映像合成部１４２へ供給する。一方、サイドバイサイド方式、および奥行き情報付ストリーム方式の場合には、映像に関するパケットＩＤは１つだけ設定されているため、上記２本の映像を個別に分離、復号化する必要はない。

次に映像合成部１４２の処理について説明する。映像合成部１４２では、三次元映像である場合にはデコーダ部１１１から供給された左目映像と右目映像を合成（Ｓ２０７）し、１本の映像としてデジタルインターフェース部１１２に供給する。なお合成とは、例えば左目映像を奇数ラインに表示し、右目映像を偶数ラインに表示する等の処理を指す。ここでは、システム制御部１０１から指示された記録フォーマット（サイドバイサイド方式、両眼映像混在ストリーム方式、奥行き情報付ストリーム方式のいずれか）に基づいて、適切な合成方式を選択した後、上述した立体合成映像を構築する。

映像合成部１４２に入力された信号が二次元映像であった場合、映像合成部１４２では特段の処理を行わず、そのままデジタルインターフェース部１１２へ転送する。

なお映像合成部１４２では、システム制御部１０１によって生成されるユーザーへの警告画面などを画面上に表示するためのＯＳＤ（ＯｎＳｃｒｅｅｎＤｉｓｐｌａｙ）画面情報の合成を併せて行なっても良い。

デジタルインターフェース部１１２では、供給された映像信号、音声信号をＨＤＭＩインターフェースに適合した信号に変換する。表示装置１１３は、当該ＨＤＭＩ信号に変換された出力映像信号の表示を行う。なお三次元映像を表示している区間の場合、システム制御部１０１からの命令が、デジタルインターフェース部１１２を経由して表示装置側に伝えられ、この命令に基づいて表示装置では現在の三次元映像属性に最適な表示方式に切替えを行う（Ｓ２０８）。一方、二次元映像表示時には、同様に二次元映像に適した表示方式への切替えを行う（Ｓ２０９）。

上記再生処理は、プレイアイテムで示された区間の再生が終了するまで継続される（Ｓ２１０）。プレイアイテムで示すストリーム情報の読込みが終了すると、ステップＳ２０４に進み、次プレイアイテムが存在するかを判定する。もし次に読込むプレイリストが存在しない場合は、再生処理を終了する。

以下、デジタル放送で配信される三次元映像２００が横方向Ｍ画素×縦方向Ｎ画素から成るものであり、三次元映像がサイドバイサイド方式のものであるとして三次元映像の解析について説明する。その場合、図４に示すように、三次元映像を構成する左目映像は、水平方向に１／２サブサンプリングした後に、画像左側の部分（左側半部）２０１に記録され、右目映像は、水平方向に１／２サブサンプリングした後に、画像右側の部分（右側半部）２０２に記録される。図４に示す例では、左目映像２０１と右目映像２０２の視差が大きいオブジェクトである「家」の映像部分が、立体映像として表示される。なお視差が大きい場合には、左目映像２０１と右目映像２０２の同じオブジェクトの映像部分が各半部内の同一位置に存在せず、例えば、左目映像２０１におけるオブジェクトの位置に比べて、右目映像２０２における当該オブジェクトの位置が、右側に移動した表示内容になる。

図５は、この発明の実施の形態１における記録再生ドライブ部１０２の論理ファイル構造を図示したものである。このファイル構造は論理的に階層構造を成すものであり、最上位階層のディレクトリ構造であるルートディレクトリ３００の下位階層にディスクディレクトリ３０１が配置されている。

ディスクディレクトリ３０１は、再生制御情報領域３２０とストリーム情報領域３２１から構成される。ストリーム情報領域３２１は、少なくとも１つ以上の多重化圧縮された一連のストリームを示すストリーム情報ファイル３１２を記録している。

ストリーム情報ファイル３１２は、映像ストリームやデータ放送ストリームや同期情報が多重化されたファイルであり、デコーダ部１１１で復号化することにより映像ストリームが生成できる。映像ストリームは、例えば、ＭＰＥＧ−２ＥＳ（エレメンタリストリーム）規格に規定されているＧＯＰ（ＧｒｏｕｐｏｆＰｉｃｔｕｒｅｓ）などの圧縮単位で符号化されたストリーム情報である。

ディスクディレクトリ３０１は、再生制御情報ファイル３１０、アドレス管理ディレクトリ３０２、およびストリーム管理ディレクトリ３０３で構成される。再生制御情報ファイル３１０は、記録再生ドライブ部１０２に記録されているディスクコンテンツ管理情報である。
アドレス管理ディレクトリ３０２は、ストリーム管理ファイル３１１をまとめて記録されたフォルダである。ストリーム管理ディレクトリ３０３は、ストリーム情報ファイル２３１をまとめて記録されたフォルダである。

再生制御情報領域３２０には、１つの再生制御情報ファイル３１０と、少なくとも１つのストリーム管理ファイル３１１が記録されている。
再生制御情報ファイル３１０には、番組プログラムの再生区間情報および再生順序情報、ストリーム情報ファイル３１２毎のコンテンツ情報などが記述されている。
ストリーム管理ファイル３１１は、ストリーム情報ファイル３１２と１：１で関連付けされており、ファイル名などで対応付けされている。ストリーム管理ファイル３１１は、対応付けられたストリーム情報ファイル３１２を構成しているアクセスポイント毎の開始アドレス、表示開始時刻情報などが記述されている。なおアクセスポイントは、複数のＧＯＰで構成されていても良い。また実施の形態１では、１つの再生制御情報ファイル３１０が存在する場合について述べたが、当該情報を細分化し複数のファイルに分けて管理しても良い。すなわち本構成では記録再生ドライブ部１０２に保持している全てのプレイリスト情報を再生制御情報ファイル２２１内に保持している例を示しているが、番組を示すプレイリスト情報毎に管理するファイルを分割して形成しても良い。

ストリーム管理ファイル３１１とストリーム情報ファイル３１２は、例えば、５桁のファイル名により１：１で対応付けされている。この場合ファイル名は５桁の数字であれば良く、連番である必要はない。

またストリーム管理ファイル３１１とストリーム情報ファイル３１２は個別のディレクトリ内に配置する例を示しているが、同一のディレクトリ内に配置されていたり、当該ファイルがルートディレクトリ３００に直接配置されていたりしても良い。また当該ストリーム管理ファイル３１１は、ストリーム情報ファイル３１２に１：１で対応して記録している例を示しているが、１つのストリーム管理ファイル３１１にまとめて記録されていても良い。

図６は、ストリーム情報ファイル３１２の内部データ構造を示すストリーム構成図である。
ストリーム情報ファイル３１２はパケット４００と呼ばれる固定長のデータ単位により構成されている。映像データ、音声データ、ストリーム管理データは、このパケット４００単位に分割された後、多重化されてストリーム情報ファイル３１２を構成する。それぞれのパケット４００の先頭にはヘッダ情報４０１があり、ヘッダ情報４０１に記述されたパケットＩＤ４０２（Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）により、パケット４００内のデータ識別を行う。パケット分離部１４１は、このパケットＩＤ４０２を識別して、映像ストリーム、音声ストリーム、ストリーム管理情報に分離する。

図７は、ストリーム管理ファイル３１１のシンタックスを示す図である。“Ｓｔａｒｔ＿ＰＴＳ”（５０１）は対象となるストリーム情報ファイル３１２の最初のビデオフレームの開始時刻を示すＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ＿ＴｉｍｅＳｔａｍｐ）を示し、“Ｅｎｄ＿ＰＴＳ”（５０２）は最終のビデオフレームの終了時刻を示すＰＴＳを示す。

ストリーム情報ファイル３１２は、１つ又は複数のプログラムストリームという管理単位に分割される。プログラムストリームとは、映像情報や音声情報などのストリーム属性情報が切り替わる単位であり、具体的には、ストリーム情報ファイル３１２中で、三次元映像と二次元映像とが切り替わる部分などでプログラムストリームが分割されることになる。同図中の“属性情報管理テーブル”は、ストリーム情報ファイル３１２を構成しているプログラムストリーム毎に、プログラムストリームの開始位置、三次元映像か否かを示す情報、三次元映像属性情報、およびストリーム情報ファイル３１２を構成している各パケットＩＤ４０２などが格納されている。

“ｎｕｍ＿ｏｆ＿ｐｒｏｇｒａｍ”（５０３）はプログラムストリームの総数であり、次のループ文（ｆｏｒ以下）は、“ｎｕｍ＿ｏｆ＿ｐｒｏｇｒａｍ”（５０３）の数だけ繰り返される。“ＳＰＮ＿Ｐｒｏｇｒａｍ＿Ｓｔａｒｔ５０４”はストリーム情報ファイル３１２の先頭から当該プログラムストリームの先頭までの相対パケット数が記録されており、プログラムストリームの開始位置を示している。“Ｖｉｄｅｏ＿Ｔｙｐｅ”（５０５）は、本プログラムストリームが、三次元映像（サイドバイサイド方式）、三次元映像（両眼映像混在ストリーム方式）、三次元映像（奥行き情報付ストリーム方式）もしくは二次元映像のいずれの形式で記録されているかを示す情報である。“Ｖｉｄｅｏ＿Ｔｙｐｅ”（５０５）には、三次元映像（サイドバイサイド方式）が記録された場合には“３Ｄ＿Ｓｉｄｅ”という定数情報が設定される。同様に三次元映像（両眼映像混在ストリーム方式）の場合には“３Ｄ＿Ｂｏｔｈ”が、三次元映像（奥行き情報付ストリーム方式）の場合には“３Ｄ＿Ｄｅｐｔｈ”が、二次元映像の場合には“２Ｄ”を示す値が設定される。

“３Ｄ＿Ｉｎｆｏ”（５０６）は三次元映像情報の属性情報を示し、入力映像の解像度、記録後の映像解像度、三次元映像の立体度合い、著作権情報等の情報が格納されている。なお三次元映像の立体度合いとは、人体へ及ぼす影響度を示し、三次元映像の視差量、視差情報が存在する映像位置、数、字幕深度に基づいて決定されるものであり、数値が高いほど目が疲れやすい映像となる。なおプログラムストリームとして二次元映像を記録していた場合、当該“３Ｄ＿Ｉｎｆｏ”（５０６）には、無効であることを示す情報が格納される。

“Ｖｉｄｅｏ＿ｐａｃｋｅｔ＿ＩＤ”（５０７）、“Ａｕｄｉｏ＿ｐａｃｋｅｔ＿ＩＤ”（５０８）、“Ｓｔｒｅａｍ＿ｐａｃｋｅｔ＿ＩＤ”（５０９）は、ストリーム情報ファイル３１２に多重化された映像ストリーム、音声ストリーム、ストリーム管理情報のそれぞれが割り当てられたパケットＩＤ４０２の値が記述される。

なおプログラムストリームが、三次元映像（両眼映像混在ストリーム方式）の場合には、左目映像と右目映像に、別々のパケットＩＤ４０２を割り振る必要がある。そのため“Ｖｉｄｅｏ＿Ｔｙｐｅ”（５０５）に“３Ｄ＿Ｂｏｔｈ“が設定されていた場合、“Ｖｉｄｅｏ＿Ｌ＿ｐａｃｋｅｔ＿ＩＤ”（５１０）、“Ｖｉｄｅｏ＿Ｒ＿ｐａｃｋｅｔ＿ＩＤ”（５１１）が有効になる。本パラメータには、ストリーム情報ファイル２３１に多重化された左目映像、右目映像のそれぞれの映像ストリームの割り当てられるパケットＩＤ４０２が記述される。なおこの場合、“Ｖｉｄｅｏ＿ｐａｃｋｅｔ＿ＩＤ”（５０７）には無効なデータを示す値が設定される。

“アクセスポイント管理テーブル”は、アクセスポイント毎のストリーム読み出し位置と、再生開始時間を記録したリストであり、当該情報を用いてサーチや特殊再生などのランダムアクセス再生を行うことができる。なお例えば映像データがＭＰＥＧ−２ビデオストリームでエンコードされている場合、ＧＯＰ（ＧｒｏｕｐｏｆＰｉｃｔｕｒｅｓ）の先頭が、アクセスポイントに相当するものであり、ストリーム情報ファイル３１２のどのパケットに、ＧＯＰの先頭が存在するかが記述されている。

“ｎｕｍ＿ｏｆ＿ｅｎｔｒｙ”（５１２）は、アクセスポイントの総数であり、次のループ文（ｆｏｒ以下）は、“ｎｕｍ＿ｏｆ＿ｅｎｔｒｙ”（５１２）の数だけ繰り返される。“ＰＴＳ＿ＧＯＰ＿Ｓｔａｒｔ”（５１３）は、当該アクセスポイントの表示開始ＰＴＳを示し、“ＳＰＮ＿ＧＯＰ＿Ｓｔａｒｔ”（５１４）はストリーム情報ファイル３１２の先頭からアクセスポイントの先頭までの相対パケット数である。パケットは固定長であることから、ストリーム情報ファイル３１２の先頭からアクセスポイント先頭までの相対バイト数は、“ＳＰＮ＿ＧＯＰ＿Ｓｔａｒｔ”（５１４）の値とパケット当たりのバイト数を掛け合せた値で算出できる。映像記録再生装置１００は、ストリーム情報ファイル３１２の先頭からのバイト数から、ディスク上のアクセスポイントの位置を割り出し、ランダムアクセス再生を行うことができる。

図８は、再生制御情報ファイル３１０のシンタックスを示す図である。“ディスク一般情報”は、ディスク情報を示すものであり、ディスク保護設定やディスク名設定情報を格納する。

“録画番組情報”は、番組単位の情報であるプレイリスト情報に関する情報を含む。“ｎｕｍ＿ｏｆ＿ＰｌａｙＬｉｓｔ”（６０１）は、記録再生ドライブ部１０２に記録されたプレイリスト情報の総数であり、次のループ文（ｆｏｒ以下）は“ｎｕｍ＿ｏｆ＿ＰｌａｙＬｉｓｔ”（６０１）の数だけ繰り返される。“ｎｕｍ＿ｏｆ＿Ｐｌａｙ＿Ｉｎｔｅｒｖａｌ”（６０２）は、プレイリスト情報を構成している再生区間情報の総数を示し、次のループ文で“ｎｕｍ＿ｏｆ＿Ｐｌａｙ＿Ｉｎｔｅｒｖａｌ”（６０２）の数だけ繰り返される。再生区間情報は、プレイアイテムとも呼ばれ、“ｓｔｒｅａｍ＿ｎａｍｅ”（６０３）、“Ｓｔａｒｔ＿Ｔｉｍｅ”（６０４）、“Ｅｎｄ＿Ｔｉｍｅ”（６０５）の情報が記録されている。“ｓｔｒｅａｍ＿ｎａｍｅ”（６０３）は、再生の対象となるストリーム情報ファイル３１２のファイル名を示し、“Ｓｔａｒｔ＿ｔｉｍｅ”（６０４）、“Ｅｎｄ＿ｔｉｍｅ”（６０５）は再生対象のストリーム情報ファイル３１２の所定区間の再生開始時間と再生終了時間を示す。本実施例では映像データのＰＴＳ（ＰｒｅｓｅｎｔａｔｉｏｎＴｉｍｅＳｔａｍｐ）ベースで“Ｓｔａｒｔ＿ｔｉｍｅ”（６０４）、“Ｅｎｄ＿ｔｉｍｅ”（６０５）の値が設定される。これらの情報から、映像記録再生装置１００は、ストリーム情報ファイル３１２のどの区間を再生すればよいのかを判断することができる。

図９は、映像解析部１５３内での、左右映像の比較に関する説明図である。三次元映像か否かの判断のため、左側半部２０１と右側半部２０２の比較を行う。比較に際しては映像の左側半部と右側半部の、互いに同一の位置（従って、垂直方向位置が互いに同じで、各半部の左端からの水平方向距離が互いに等しい）にある画素同士を比較して、画素同士の類似度を求める。

具体的には、同図に示すように左上隅を画面の原点を示す座標（０，０）とすると、まず左側半部の開始点である（０，０）の画素と右側半部の開始点である（Ｍ／２，０）の画素を比較する。比較においては、例えば、画素の持つ輝度の差を求める。各画素における当該情報の階調は−２５５から＋２５５の整数値で表される。通常、「０」の値は完全に一致している（類似度が最大である）ことを示し、数字が大きくなるほど画素の類似度が低いことを示す。
なお本実施の形態では、各画素の輝度情報の差を算出することで類似度を求めているが、輝度情報に加え色成分の情報をも考慮に入れて、画素同士の類似度を求めることとしても良い。

画素の比較が終了すると、左側半部と右側半部での対象点を１画素分右にずらして、再度画素の比較を行う。順次、画素比較を行うが、各映像において水平方向の画素中で右端の画素比較が終わると、次のライン（１行下のライン）の左端の画素に対象点を移動した後、同様の手順で比較を進めていく。このようにして、左右映像の全画素についての比較を行う。

なお本実施の形態では全画素について比較を行っているが、例えば画素を間引くことで、比較対象となるサンプル数を減らしても良い。画素を間引く方法として、例えば２画素おきに比較対象として選択したり、奇数番目の水平ライン上の画素のみ、あるいは偶数番目の水平ライン上の画素のみを選択しても良い。
また放送波では、画面の左右部分に黒画が挿入されることが多く、また映画等においては上下に黒帯が挿入されることもあることを考慮し、該左右上下の領域を比較領域から外し、入力画像の中央部のみに限定して画素比較を行っても良い。このように構成することで、より高速に左右画像の比較を行うことができる。

図１０は、映像解析部１５３の一例を示す。
図示の映像解析部１５３は、遅延部８０１と、差分算出部８０２と、絶対値算出部８０３と、ローパスフィルタ８０４と、代表点抽出部８０５と、比較部８０６と、ヒストグラムテーブル８０７と、計数部８０８と、ヒストグラムメモリ８０９とを有する。

図１１は映像解析部１５３における映像解析処理、及び三次元映像映像判定部１５１における、三次元映像か否かの判定を行なう処理を示すフローチャートである。図１２（Ａ）〜（Ｄ）は、図１０の映像解析部１５３の各部における信号で表される映像の例を示す。図１３（Ａ）〜（Ｄ）は、図１０の映像解析部１５３の各部で得られる差異値の例を示す。図１４は、図１０の映像解析部１５３のヒストグラムメモリ８０９でで生成されるヒストグラムの一例を示す。次に本実施の形態１における画像解析処理を、図１０、図１１、図１２（Ａ）〜（Ｄ）、図１３（Ａ）〜（Ｄ）及び図１４を用いて詳細に説明する。

図９で説明したように、映像解析部１５３は、デコーダ部１１１からの映像信号を入力映像として、その左側半部（左映像）２０１と右側半部（右映像）２０２を画素単位で比較する（Ｓ３０１）。画素の走査（順次選択）は、例えば、左上隅から順に、複数のラインを上から下へ、各ラインの画素を左から右へ順に選択することで行われる。

画素比較に際しては、遅延部８０１で、水平方向に１／２画面分の遅延が行われるため、入力映像（図１２（Ａ））のうちの遅延部８０１からの出力される左側半部２０１（図１２（Ｂ））と、入力映像のうちの右側半部２０２（図１２（Ｃ））の同じ位置に配置された画素が同時に入力される。その後、差分算出部８０２で、上記したように画素の持つ輝度の差である差異値が、−２５５から＋２５５の範囲で求められる（Ｓ３０２）。

なお図１２（Ａ）〜（Ｃ）のように左目映像と右目映像の視差がある円の内側と外側で輝度が異なる図形が入力された場合においての視差を示す概念図としては、図１２（Ｄ）において、ハッチングで示す部分が差分量の大きい箇所を示している。画面上の上下方向の中ほど（縦方向座標値が（Ｎ／２）の位置の水平ライン８１９に沿う（画面の各半部の水平方向位置を横軸に取って）、差分量の大きさをグラフ化したものが、図１３（Ａ）に示す差分量グラフ８２０である。当該差分量グラフ８２０は、横軸に水平方向の画素位置、縦軸に差分量を示している。

差分算出部８０２で出力される差異値はマイナス値をとる可能性があるため、以後の比較計算を簡易化するため絶対値算出部８０３で、差異値を絶対値化する（Ｓ３０３）。この時点で差異値は、０から２５５の間の値をとり、数値が大きいほど差異量が大きく、類似度が低いことを意味する。この時点での画素比較の差分量は、図１３（Ｂ）に示す差分量グラフ８２１のように示される。

その後、当該差分量をローパスフィルタ８０４で大きな差異値の部分を平坦化する（Ｓ３０４）。ローパスフィルタ８０４は、差分量の大きい成分を抑制するよう動作するために用いられる。ローパスフィルタ８０４による処理を受けた後の差分量は、図１３（Ｃ）に差分量グラフ８２２で示すごとくとなる。

このような画素比較を順次行ってゆき、画面を構成する全画素の比較が終了したかを判定する（Ｓ３０５）。全ての画素比較が終了すれば、ステップＳ３１０に進む。全画素の比較が終了していない場合は、水平ライン部分が終了したか否かを判定する（Ｓ３０６）。なお画素比較については左目映像の画素を基準としており、左側半部２０１に関して水平ライン部分が終了したか否かは、図９に示す水平方向座標が（Ｍ／２）−１に到達したかを判定することによって行われる。水平ラインの終端（左半部の右端）に到達した場合は、次のラインで先頭（左端）の画素に対象点を移し（Ｓ３０７）、ステップＳ３０１の処理に戻る。一方、水平ラインの終端に到達していない場合、現在比較している画素の右隣の画素に対象点を移し（Ｓ３０８）、ステップＳ３０１の処理に戻る。

次にステップＳ３１０の処理として、当該ローパスフィルタ８０４からの出力結果から、水平方向の間引きによりヒストグラムの生成に用いる点（代表点）を抽出する（Ｓ３１０）。即ち、ローパスフィルタ８０４の出力として、１水平ラインにつき９６０画素分の差異値データ（サンプル）が得られているが、そのうちの所定数の画素ごと、例えば５画素ごとのデータのみをヒストグラム生成のための代表点のデータとして抽出する。抽出された代表点のデータを、図１３（Ｄ）に示す。なお、図１３（Ｄ）では、間引き率が極めて大きいものとして図示しているが、５画素毎であれば、間引きにより選択されたサンプルの、水平方向の間隔は、図１３（Ｄ）に示すのより、はるかに小さい。

サンプルを間引くことによって最終的な演算量を抑えることができ、システム制御部１０１への負荷が抑え、高速で三次元映像であるか否かを判定することができる。
なお、間引きを行なわず、ローパスフィルタ８０４から出力されるサンプル値を全て、ヒストグラム生成に用いることとしても良い。

次に選択された代表点についての差異値の、それぞれの階級への分類（グループ分け）を行う（Ｓ３１１）。ヒストグラムテーブル８０７は、代表点抽出部８０５から出力された差異値を階級分けするための情報（各階級の上限及び下限を示す情報）を記憶したものである。比較部８０６は、代表点抽出部８０５から出力される差異値を、ヒストグラムテーブル８０７から供給される、各階級の上限値、下限値と比較することにより、階級分け（マッピング）を行う。

本例では、代表点抽出部８０５から出力される差異値は０から２５５までの数値を取るが、階級分けにより、０から１００までの階級に分類される。このように処理することでヒストグラム生成に用いられる数値が限定され処理の高速化につながる。

なお、階級分けに当たり、０〜１０を一つの階級として、２４５〜２５５を一つの階級とするなど、差異値の範囲の端部付近において比較的多数の差異値を含む階級を設定することとしても良い。このように構成することで例えば全く左右画像が一致しているにも関わらず受信映像のノイズ等の理由により若干の差異が発生した場合等にも、同じ画像ファイルであることを精度よく検出することができる。

計数部８０８は、比較部８０６によるグループ分けの結果を受け、各階級ごとの出現頻度を計数する。

ヒストグラムメモリ８０９は、計数部８０８の計数結果を記憶する。画面全体にわたるグ処理（差分算出部８０２から計数部８０８までの処理）が終わった時点で、ヒストグラムグラムメモリ８０９に記憶されている、それぞれの階級の出現頻度がヒストグラムを表す。その一例８１０が図１４に示されている。同図で、横軸は階級及び階級に対応する差異値を表し、縦軸は出現頻度を表す。出現頻度の全階級にわたる合計は、画面の半分内の代表点の総数に等しい。

次に、三次元映像判別部１５１は、ストグラムメモリ８０９に記憶されているヒストグラム８１０から、所定の閾値以上の階級の出現頻度の合計が所定の値以上かどうか、或いは該合計の、代表点の総数に対する比が所定の値以上かどうかの判定を行なう（Ｓ３１２）。上記の比に対する所定の閾値は、例えば「５０％」とされる。そして、もしも、所定の値未満であれば、三次元映像と判定され（Ｓ３１３）、所定の値以上であれば、三次元映像ではない（二次元映像である）と判定される（Ｓ３１４）。

このようにして三次元映像かどうかの判定が可能であるのは、サイドバイサイド方式の三次元映像の場合には、左側半部と右側半部の相関が強く、差分算出部８０２で求められる差異値が小さくなることが多く、従って、生成されるヒストグラムにおいても、大きい差異値に対応する階級の出現頻度が小さくなる傾向があるためである。

上記「所定の値」は、三次元映像判定部１５１に予め設定されていれば良い。また、例えば、ユーザーが設定画面を通じて、当該設定値を変更し得るようにしても良い。

上記の例では、画面全体についてヒストグラムを生成しているが、１水平ラインについてヒストグラムを生成することとしても良い。その場合、画面の垂直方向の中央部の水平ラインについてヒストグラムを生成するのが望ましい。そのように構成することで、三次元映像か否かの判定に要する時間を短くすることができる。

図１５（Ａ）〜（Ｃ）は、映像解析部１５３で生成したヒストグラムの互いに異なる例を示す。横軸には、階級を表すとともに、階級に属する差異値の代表値を示す。図１５（Ａ）は、二次元映像の解析結果の一例を示す。図１５（Ａ）に示す例では、画面の左側部分と右側部分の相関が小さいため、大きい差異値に対応する階級にも多数のサンプルが出現する。図１５（Ｂ）及び図１５（Ｃ）は、一般的な三次元映像の解析結果の事例である。このうち、図１５（Ｂ）は、図１０のローパスフィルタ８０４を設けない場合を示し、図１５（Ｃ）は、図１０のローパスフィルタ８０４を設けた場合を示す。三次元映像の場合、左側半部２０１と右側半部２０２の相関性が高いことから、小さい差異値を含む階級の出現頻度がより高くなる。そのため例えば差異値が１７５である箇所に閾値を設け、全体のサンプル数に対する、閾値（１７５）よりも上の階級の出現頻度（サンプル数）の合計の比を所定の閾値（例えば５０％）と比較することで、二次元映像か三次元映像かを把握することができる。

なお、図１５（Ｃ）に示すようにローパスフィルタ８０４を用いると、大きい差異値の属する階級における出現頻度の頂点が低くなり、このため、三次元映像か否かを判定する際の判別の信頼性が向上する。

本実施の形態１によれば、小さな回路規模で三次元映像か否かを判別することができるため、三次元映像の記録再生に要する機器のコストを抑えることができる。

また記録時に三次元映像にかかわる情報を、ストリーム情報とは別に存在するサイズの小さな再生制御情報として記録しているため、映像記録再生装置１００は番組開始前に即座に三次元映像が含まれるか、および当該三次元映像が及ぼす身体への影響等を即座に知ることができる。またサイドバイサイド方式の映像は解像度が低いが、映像記録再生装置１００内でアップコンバートした映像を別々に記録することができるため、システム制御部１０１の負荷を抑えながら再生時にクオリティの高い映像を視聴することができる。

なお、映像記録再生装置１００と表示装置１１３の通信用伝送路として双方向の通信が可能なＣＥＣ（ＣｏｎｓｕｍｅｒＥｌｅｃｔｒｏｎｉｃｓＣｏｎｔｒｏｌ）を用いれば、映像記録再生装置１００が出力した三次元映像に最適な表示設定を表示装置１１３が知ることができる。
また、映像の再生中に、三次元映像判定部１５１において、三次元映像が視差が大きいものであり、その視聴が及ぼす心身への影響が大きいと判断した場合には、表示装置１１３側でも視差を緩和するように表示方式を切替えることができる。
このため本映像表示装置１００は、ユーザーへの心身への影響に配慮しつつ、表示品質の向上が図ることができるといった効果を奏する。

上記の例では、画素同士の差異値乃至類似度に用いてヒストグラムを生成し、該ヒストグラムに基づいて三次元映像か否かの判定を行なっているが、本発明はヒストグラムを用いる場合に限定されず、画素同士の差異値又は類似度を、複数の画素について集計し、該集計結果に基づいて映像の左側半部と右側半部の相関性を求め、該相関性に基づいて三次元映像か否かの判定を行なうこととすれば良い。

実施の形態２．
実施の形態１では、サイドバイサイド方式の三次元映像と二次元映像が混在する放送波を受信して記録する際に、入力画像の左側半部２０１と、入力映像の右半分を示す右側半部２０２の同一の位置にある画素（各半部における相対位置が同じである画素同士の類似度に基づいて、ヒストグラムを生成し、該ヒストグラムから三次元映像かどうかの判定を行なっている。

本実施の形態２では、映像の左側半部と右側半部の、互いに同一の垂直方向位置にある画素から成る部分領域同士の類似度に基づいて、三次元映像であるか否かを判定する。例えば、映像の左側半部及び右側半部の一方（例えば左側半部）の各部分領域（着目部分領域）に対して、映像の左側半部及び右側半部の他方（例えば右側半部）にあり、上記着目領域と同一の垂直方向位置にある複数の部分領域のうち、上記着目部分領域に対する類似度が最も高いものの類似度（言い換えれば、上記着目部分領域に対して、映像の他方の半部（右側半部）にあり、上記着目領域と同一の垂直方向位置にある複数の部分領域のそれぞれの、上記着目部分領域に対する類似度のうちの、最も高いもの）を、複数の着目部分領域について集計することで求められる、映像の左側半部と右側半部の相関性に基づいて、三次元映像であるか否かを判定する。ここで、部分領域は、例えば映像を任意の大きさに分割した、例えば矩形の領域であり、ブロックとも呼ばれる。上記の「複数の着目部分領域について集計する」処理は、例えば、一方の半部（左側半部）の全域にある複数の着目部分領域ついて集計する処理であっても良く、代わりに、一方の半部（左側半部）の同一の垂直方向位置にある複数の着目部分領域について集計する処理であっても良い。

このような方法で、三次元映像かどうかの判定を行なうのは、三次元映像上の立体視されるオブジェクトは水平方向に移動した場所に配置されるので、左側半部と右側半部の、同じ垂直方向位置に、類似度の著しく高いブロックの対が存在することが多いことに着目したものである。なお、映像内のオブジェクトのみを抽出できれば、より正確に三次元映像かどうかの判定を行なえるが、オブジェクトの抽出は困難であるので、ブロック同士を比較することとしている。

ブロック対についての類似度は、例えば、上記の一対のブロック内における相対位置が同じ画素同士の差分の、ブロック全体にわたる合計を求め、該合計が該合計が小さいほど類似度が高いとして扱う。
このような方法により判定を行なう結果、視差があるオブジェクトが表示された三次元映像であっても、より正確に三次元映像であるか否かを判断することができる。

図１６は、本発明の実施の形態２における左右映像比較に関する説明図である。図１７は、実施の形態２で用いられる映像解析部１５３の一例を示す。図１８は三次元映像か否かの判別動作フローである。次に本実施の形態２における画像解析処理の流れを、図１６と図１８を用いて詳細に説明する。なお実施の形態１において説明した構成と同様の構成については同一の符号を付記する。

実施の形態２では、図１６で示すようにあらかじめ定められた大きさのブロックを単位として、左側半部の映像（左映像）２０１と右側半部の映像（右映像）２０２の比較を行う（Ｓ４０１）。図１６には、左側半部のブロック（着目ブロック）１３０１に最も類似度する（最も差分が小さい）ブロックを探索する例を示す。なお当該ブロックの大きさは、例えば、ＭＰＥＧで符号化圧縮される単位である８画素×８画素である。しかし、本実施の形態２で示すブロックの大きさは当該サイズに限定されず、異なる大きさであっても良い。

実施の形態２の映像解析部１５３は、図１７に示されるように、映像信号メモリ９０１と、左側ブロック抽出部９０２と、右側ブロック抽出部９０３と、類似度算出部９０４と、類似度記憶部９０５と、最大類似度検出部０９６と、ローパスフィルタ８０４と、代表点抽出部８０５と、比較部８０６と、ヒストグラムテーブル８０７と、計数部８０８と、ヒストグラムメモリ８０９とを備える。
ローパスフィルタ８０４、代表点抽出部８０５、比較部８０６、ヒストグラムテーブル８０７、計数部８０８、及びヒストグラムメモリ８０９は、実施の形態１に関し図１０を参照して説明したのと同様のものである。

映像信号メモリ９０１は、デコーダ部１１１から出力される映像信号を、例えば１フレーム分蓄える。
左側ブロック抽出部９０２は、映像の左側半部のブロックを着目ブロックとして順次抽出する。
右側ブロック抽出部９０３は、映像の右側半部内にあり、上記着目ブロックと同じ垂直方向位置にあるブロックを順次参照ブロックとして選択して抽出する。
最大類似度検出部９０４は、左側ブロック抽出部９０２で抽出されたブロック（着目ブロック）について、右側ブロック抽出部９０３で順次選択された複数のブロックの各々との類似度を求め、求めた類似度のうちの最大のものを当該着目ブロックについての最大類似度として出力する。

このような処理のため、左側ブロック抽出部９０２が一つの着目ブロックを出力している間に、右側ブロック抽出部９０３は、右側半部の、上記着目ブロックと同じ垂直方向位置にあるブロックを順次参照ブロックとして抽出して出力する。例えば、右側半部の左端のブロック（図１６に符号１３１１で示す）から、右端のブロック（図１８に符号１３１２で示す）順に１画素分ずらしながら、順にブロックを選択する。図１８には、左端と右端の任意の位置にあるブロックが符号１３１３で示されている。

まず左側半部の映像２０１において、左側ブロック抽出部９０２で抽出された左側半部のブロック（着目ブロック）１３０１と同一の垂直方向位置に存在する（同一水平ライン上に存在する）右側半部の左端に位置するブロック（参照ブロック）１３１１とを比較することで類似度を求める。ブロック同士の類似度は、該ブロック内における相対位置が同じ画素同士の差分（輝度、色情報の差分）の絶対値の、ブロック全体にわたる（即ち、８×８画素にわたる）合計を求めることで得られ、差分の絶対値の合計が小さいほど類似度が大きいとして扱われる。

一つの右側半部の参照ブロック１３１１についての比較が終わると、右側ブロック抽出部９０３は、次に、右側半部の参照ブロックが右端に位置するか否かを判定し（Ｓ４０２）、右端に位置しないと判定すると、右側半部の参照ブロックを水平右方向に１画素ずらして、同様の比較処理を行う（Ｓ４０３）。このように同じ垂直方向位置に存在する（同一水平ライン上に存在する）右側半部の右端に位置するブロック１３１２まで、同様の比較処理を進める。
そして、そのようにして右側半部の参照ブロックのうちで、類似度が最大となるものを特定し、当該ブロックの類似度を最大類似度として出力する（Ｓ４０４）。なお、類似度が最大となる参照ブロックを特定せず、右側半部の参照ブロックのそれぞれについて求めた類似度のうちで最大のものを最大類似度として求めることとしても良い。このような最大類似度を求める処理は、最大類似度検出部９０４で行なわれる。上記のように、類似度の最も高いブロック（或いは部分領域）を探索する処理は、ブロックマッチングと呼ばれる。

最大類似度検出部９０４から出力される最大類似度は、ローパスフィルタ８０４に供給され、実施の形態１に関し図１０を参照して説明したのと同様のローパスフィルタリングを受ける（Ｓ３０４）。

以後は、実施の形態１で示したのと同じ方式で、左右映像の比較を順次進める。具体的には、左側半部の参照ブロック１３０１の処理が終了すれば、参照ブロックを右方向に１画素分ずらして、同様の比較処理を継続する（Ｓ４０８）。
参照ブロックが、左側半部２０１の右端に到達したら（Ｓ３０６でＹＥＳ）、参照ブロックを下方向に一画素分ずらし、且つ左側半部２０１の先頭（左端）に移動（Ｓ４０７）し、ステップＳ４０１に戻って同様の比較処理を継続する。このような手順で、左側半部２０１の全体について比較処理を終了すれば、当該三次元映像２００の比較処理が全画面について終了したことになる（Ｓ３０５でＹＥＳ）。

なお上記の例では、左側半部における着目ブロックの選択及び右側半部における参照ブロックの選択に際し、１画素単位で、即ち１画素ずつ（１列ずつ）ずらしながら、水平方向に走査していく（順次に選択する）例を示しているが、ずらす量は１画素に限らない。要するに、所定数の画素ずつずらしながら走査（順次選択）を行なえば良い。垂直方向についても、１ライン（１行）ずつに限らず、所定数のライン（行）ずつ、例えば、ブロックの高さに相当する８ラインずつ、ずらしながら走査（順次選択）を行なえば良い。
また、垂直方向にずらすことなく、垂直方向の一定の位置についてのみ（ブロックの垂直方向の位置をずらすことなく）、水平方向にのみずらすこととしても良い。この場合、画面の垂直方向の中央付近に位置するブロックについて比較を行うのが望ましい。

全画面について比較処理が終了したら（Ｓ３０５でＹＥＳ）、次にステップＳ３１０において、間引きにより代表点を抽出し、ステップＳ３１１において、階級分けを行い、ステップＳ３１２、Ｓ３１３、Ｓ３１４でヒストグラムに基づく判定を行なう。これらの処理は、実施の形態１に関し説明したのと同様である。

図１９は実施の形態２の映像解析部１５３で生成したヒストグラムの具体例を示す。図１９のヒストグラムは、実施の形態２に示すブロックマッチング法を採用した場合の三次元映像の解析結果である。図１９では、横軸の差異値の値が０〜１６，３２０となっている。１画素についての差異値の最大値が２５５であり、ブロック内の画素の数が８×８であることを考慮したものである。なお、ブロック単位で特定の一点（例えば、左上隅位置、中央位置の画素のみを比較することとすれば差異値の範囲が０〜２５５）となる。同ヒストグラムに示すように、視差のある三次元映像を比較した場合においても、ヒストグラム上の出現頻度が、小さい差異値が属する階級（図で左側）においてより多くなるため、類否判定の信頼性が向上する。

本実施の形態２によれば、三次元映像か否かを判定する場合に垂直方向の位置が同じブロック同士を比較することで、視差のある映像についても、より確実に三次元映像であるか否かを判別することができる。また比較の対象を垂直方向の位置が同じブロックに限定しているため、処理演算量を削減することができ、ＣＰＵへの負荷を抑えつつ高い確度で三次元映像であることを把握することができる。

上記の例では、ブロック同士の類似度に用いてヒストグラムを生成し、該ヒストグラムに基づいて三次元映像か否かの判定を行なっているが、本発明はヒストグラムを用いる場合に限定されず、ブロック同士の類似度を、複数のブロックについて集計し、該集計結果に基づいて映像の左側半部と右側半部の相関性を求め、該相関性に基づいて三次元映像か否かの判定を行なうこととすれば良い。
また矩形の領域であるブロック同士を比較しているが、矩形以外の形状の領域を比較に用いても良い。

実施の形態３．
実施の形態３は、入力画像が二次元映像で且つ、全画面が白映像（以降、全白画面と呼ぶ）や、全画面が黒映像（以降、全黒画面と呼ぶ）の映像が入力された場合においても、三次元映像だと誤検出しないようにしたものである。実施の形態１および実施の形態２では、全白画面や全黒画面を入力画像とした場合、入力画像の左半分と右半分の映像の相関が高いため、三次元映像であると誤検出される可能性がある。実施の形態３では、画面全体の周波数成分を解析し空間周波数の高周波数成分の有無を判定することで、全白画像や全黒画像のような低周波成分（直流成分を含む）が主体の画像を三次元映像であると誤認識しないようにしている。

図２０は、実施の形態３で用いられる三次元映像判定部１５１の一例を示す機能ブロックである。図示の三次元映像判定部１５１は、相関判定部１５１ａと、高域成分検出部１５１ｂと、総合判定部１５１ｃとを有する。相関性判定部１５１ａにおける処理は、例えば実施の形態１又は２に関し、三次元映像判定部１５１の処理として説明したのと同じである。
但し、実施の形態１又は２の三次元映像判定部１５１では、「左側半部と右側半部の相関性が高い」と判定すると、直ちに「三次元映像である」と判定しているが、実施の形態３における三次元映像判定部１５１では、相関性判定部１５１ａにおける、「左側半部と右側半部の相関性が高いか否か」の判定結果を直ちに「三次元映像か否か」の判定結果とはせず、相関性判定部１５１ａによる判定結果を総合判定部１５１ｃに供給している。
高域成分検出部１５１ｂは、デコーダ部１１１の出力に高周波数成分が所定量以上含まれるかどうかの判定を行う。例えば、デコーダ部１１１の出力を受けて所定の周波数よりも高い成分のみを通過させるハイパスフィルタと、ハイパスフィルタの出力が所定の値以上かどうかを判定するレベル検出部とを備え、レベル検出部により「所定の値以上」と判定された場合には、「高周波数成分が所定量以上含まれる」との判定結果を出力する。この判定結果は、「全白画面」や「全黒画面」を含め、「全体にわたり同一色の画面」ではないことを示すものであるとも言える。
総合判定部１５１ｃは、相関判定部１５１ａの出力が「相関性が高い」ことを示すものでないとき、あるいは、高域成分検出部１５１ｂの出力が「高周波数成分が所定量以上含まれる」ことを示すものでないときは、二次元映像であるとの判定をし、相関判定部１５１ａの出力が「相関性が高い」ことを示すものであり、かつ高域成分検出部１５１ｂの出力が「高周波数成分が所定量以上含まれる」ことを示すものであるときは、三次元映像であるとの判定をする。

図２１は、実施の形態３の三次元映像判定部１５１における三次元映像か否かを判別する処理を示すフローチャートである。なお同図において、実施の形態１において図１１を参照して説明した構成と同様の構成については同一の符号を付記する。ステップＳ３１２までの処理については、実施の形態１と同様のため、説明を省略する。

ステップＳ３１２での判定結果がＮＯである場合には、次にステップＳ５０１で画面全体に高周波数成分が含まれるか否かを判定する。高周波数成分が含まれない場合、映像の切替わり時に表示される全白画面や全黒画面と判断し、ステップＳ３１４で二次元映像であると判定する。高周波数成分が含まれる場合は、通常の動画の１場面であると判定されるので、ステップＳ３１３で三次元映像と判定することで処理を終了する。

本実施の形態３によれば、画面中の左側半部２０１と右側半部２０２の画像相関性が強くても、高周波を含まない画像に関しては二次元映像であると判定できる。そのため全白画面や全黒画面が入力された場合においても、三次元映像であると誤検出しない。従って、三次元映像か否かを判断する際により信頼性が高い判断を行うことができる。

実施の形態４．
実施の形態４は、「画像の左右相関性が高い二次元映像」のように、三次元映像と誤認識されやすい映像が入力された場合にも、精度良く三次元映像か否かの判断を行なうことができるようにするものである。特に動画像の記録時には、上記のように二次元映像であっても、三次元映像と誤認識されやすいフレームが含まれる場合がある。また放送の受信感度が悪いために、異常画像が入力されることもある。実施の形態４では、相関性が高いとの判断が所定時間以上（所定のフレーム数以上）続くかどうかに基づいて、三次元映像かどうかの判定を行なうことで上記のような場合にも誤判定を回避するようにしたものである。

図２２は、実施の形態４で用いられる三次元映像判定部１５１の一例を示す機能ブロック図である。図示の三次元映像判定部１５１は、フレーム別判定部１５１ｄと連続性判定部１５１ｅとを有する。フレーム別判定部１５１ｄにおける処理は、例えば実施の形態１〜３に関し、三次元映像判定部１５１の処理として説明したのと同じである。
但し、実施の形態１〜３の三次元映像判定部１５１では、各フレームのデータに基づいて、「左側半部と右側半部の相関性」に基づいて（実施の形態１及び２）、或いは該相関性と高域成分の有無とに基づいて（実施の形態３）、「三次元映像である」か否かの判定しているが、実施の形態４におけるフレーム別判定部１５１ｄは、各フレームのデータに基づくフレーム別判定部１５１ｄによる判定結果を、直ちに「三次元映像か否か」の判定結果とはせず、
連続性判定部１５１ｅに供給している点で異なる。

図２３（Ａ）及び（Ｂ）は、本発明の実施の形態４における三次元映像判定部１５１の動作を示す。図２３（Ａ）はフレーム別判定部１５１ｄにおける判定結果を示し、図２３（Ｂ）は、連続性判定部１５１ｅにおける判定結果を示す。
図示の例においては、期間Ｔ１、Ｔ３、Ｔ５においては、相関性が高いとの判断がなされ、一方期間Ｔ２、Ｔ４においては、相関性が低いとの判断がなされ、期間Ｔ２の長さは所定のフレーム数の期間以下であり（Ｔ２≦Ｔα）、期間Ｔ４の長さは所定のフレーム数の期間Ｔαよりも長い（Ｔ４＞Ｔα）。そのため、期間Ｔ２においては、三次元映像であるとの判定はされず、期間Ｔ４においては、三次元映像であるとの判定がなされる。なお、閾値Ｔαは予め連続性判定部１５１ｅに設定されている。ユーザによる変更が可能としても良い。

なお、図示の例では、相関性が高いと判定された期間が所定の閾値Ｔα以上であることが検出されると、その期間が開始したとき以降の映像のすべて三次元映像として扱っているが、相関性が高いとの判定が所定の期間Ｔα以上続いたときに、それ以降の映像（その後、相関性が低いとの判断がされるまでの映像）三次元映像であるとして扱うこととしても良い。

以上、相関性が高いとの判断が所定のフレーム数以上続いた場合に、三次元映像であるとの判定をすることとしているが、逆に相関性が低いとの判断が所定のフレーム数以上続いた場合に、二次元映像であるとの判定をすることとしても良い。
また、一旦二次元映像であるとの判定がなされたら、映像信号の入力が続いている限り、その後相関性が高いとの判断が所定のフレーム数以上続いた場合に、三次元映像に切り替わったとの判断をし、このようにして、一旦三次元映像であるとの判定がなされたら、映像信号の入力が続いている限り、その後相関性が低いとの判断が所定のフレーム数以上続いた場合に、二次元映像に切り替わったとの判断をすることとし、その後も同様に判断の切替を行なうようにしても良い。

なお本判定については、ストリーム情報の記録終了後にまとめておこなっても良いし、記録中に適宜判定しても良い。記録中に適宜判定を行う場合は、ストリームバッファ１２１には、判定を行うために少なくとも三次元映像時間閾値１７０３以上の時間分のストリーム情報を格納できるサイズを用意しておく。

本実施の形態４によれば、三次元映像か否を判断する際に、三次元映像や二次元映像の時間的な連続性を考慮に入れて、三次元映像か二次元映像かの判断を行なうので、より正確に三次元映像の区間を検出することができる。

この発明の実施の形態１の映像記録再生装置のシステム構成を示すブロック図である。実施の形態１における記録動作のフロー図である。実施の形態１における再生動作のフロー図である。サイドバイサイド方式による三次元映像の説明図である。実施の形態１における記録再生ドライブ部の論理ファイル構造を図示したものである。この発明に係るストリーム情報ファイルの内部データ構造を示すストリーム構成図である。この発明に係るストリーム管理ファイルのシンタックスを示す図である。この発明に係る再生制御情報ファイルのシンタックスを示す図である。実施の形態１における映像解析部の特徴比較に関する説明図である。実施の形態１で用いられる映像解析部の一例を示すブロック図である。実施の形態１における三次元映像判定動作のフロー図である。（Ａ）〜（Ｄ）は、図１０の映像解析部１５３の各部における信号で表される映像の例を示す図である。（Ａ）〜（Ｄ）は、図１０の映像解析部１５３の各部で得られる差異値の例を示す図である。図１０の映像解析部１５３のヒストグラムメモリ８０９でで生成されるヒストグラムの一例を示す図である。（Ａ）〜（Ｃ）は、映像解析部１５３で生成したヒストグラムの互いに異なる例を示す図である。この発明に係る実施の形態２における左右映像比較に関する説明図である。実施の形態２で用いられる映像解析部１５３を示すブロック図である。実施の形態２における三次元映像判定動作のフロー図である。実施の形態２で用いられる映像解析部１５３で生成したヒストグラムの具体例を示す。この発明の実施の形態３で用いられる三次元映像判定部１５１の一例を示すブロック図である。実施の形態３における三次元映像判定動作のフロー図である。この発明の実施の形態４で用いられる三次元映像判定部１５１の一例を示すブロック図である。（Ａ）及び（Ｂ）は、実施の形態４における三次元映像判定部１５１の動作を示す。

符号の説明

１００符号化映像記録再生装置、１０１システム制御部、１０２記録再生ドライブ部、１０３チューナー部、１０４デジタル復調部、１０５誤り訂正部、１０６番組抽出部、１１０ストリーム制御部、１１１デコーダ部、１１２デジタルインターフェース部、１１３表示装置、１２０再生制御情報メモリ部、１２１ストリームバッファ、１２２ストリーム変換部、１３０操作部、１４０デコーダブロック、１４１パケット分離部、１４２映像合成部、１５１三次元映像判定部、１５２再生制御情報生成部、１５３映像解析部、１６０映像再生ブロック、２００三次元画像、２０１左目映像、２０２右目映像、３００ルートディレクトリ、３０１ディスクディレクトリ、３０２アドレス管理ディレクトリ、３０３ストリーム管理ディレクトリ、３１０再生制御情報ファイル、３１１ストリーム管理ファイル、３１２ストリーム情報ファイル、３２０再生制御情報領域、３２１ストリーム情報領域、４００パケット、４０１ヘッダ情報、４０２パケットＩＤ、５０１Ｓｔａｒｔ＿ＰＴＳ、５０２Ｅｎｄ＿ＰＴＳ、５０３ｎｕｍ＿ｏｆ＿Ｐｒｏｇｒａｍ、５０４ＳＰＮ＿Ｐｒｏｇｒａｍ＿Ｓｔａｒｔ、５０５Ｖｉｄｅｏ＿Ｔｙｐｅ、５０６３Ｄ＿Ｉｎｆｏ、５０７Ｖｉｄｅｏ＿Ｐａｃｋｅｔ＿ＩＤ、５０８Ａｕｄｉｏ＿Ｐａｃｋｅｔ＿ＩＤ、５０９Ｓｔｒｅａｍ＿Ｐａｃｋｅｔ＿ＩＤ、５１０Ｖｉｄｅｏ＿Ｌ＿Ｐａｃｋｅｔ＿ＩＤ、５１１Ｖｉｄｅｏ＿Ｒ＿Ｐａｃｋｅｔ＿ＩＤ、５１２ｎｕｍ＿ｏｆ＿Ｅｎｔｒｙ、５１３ＰＴＳ＿ＧＯＰ＿Ｓｔａｒｔ、５１４ＳＰＮ＿ＧＯＰ＿Ｓｔａｒｔ、６０１ｎｕｍ＿ｏｆ＿ＰｌａｙＬｉｓｔ、６０２ｎｕｍ＿ｏｆ＿Ｐｌａｙ＿Ｉｎｔｅｒｖａｌ、６０３Ｓｔｒｅａｍ＿ｎａｍｅ、６０４Ｓｔａｒｔ＿Ｔｉｍｅ、６０５Ｅｎｄ＿Ｔｉｍｅ、８０１遅延部、８０２差分算出部、８０３絶対値算出部、８０４ローパスフィルタ、８０５代表点抽出部、８０６比較部、８０７ヒストグラムテーブル、８０８計数部、８０９ヒストグラムメモリ、９０１映像信号メモリ、９０２左側ブロック抽出部、９０３右側ブロック抽出部、９０４最大類似度検出部。

Claims

入力映像信号が三次元映像信号であるか二次元映像信号であるかを判定する三次元映像判定手段と、
入力映像信号またはこれを変換したものを記録する映像信号記録手段と、
前記三次元映像判定手段の出力に基づいて三次元映像属性情報を設定し、前記三次元映像情報とともに記録する三次元映像属性設定手段と
を備え、
前記三次元映像判定手段は、映像の左側半部及び右側半部の一方の、複数の部分領域を順に着目部分領域として選択し、前記左側半部及び右側半部の他方の、前記着目部分領域と同一の垂直方向位置にある複数の部分領域を順位参照画素として選択し、参照部分領域の前記着目部分領域に対する類似度のうちの最大のものを最大類似度として検出し、該最大類似度を、複数の着目部分領域について集計することにより得られる映像の左側半部と右側半部との相関性に基づいて、三次元映像であるか否かを判定する
ことを特徴とする映像記録装置。
前記三次元映像判定手段は、前記相関性が所定値以上であるとの判断が所定のフレーム数以上続いたときに、三次元映像であると判定することを特徴とする請求項１に記載の映像記録装置。
入力映像信号が三次元映像信号であるか二次元映像信号であるかを判定する三次元映像判定手段と、
入力映像信号またはこれを変換したものを記録する映像信号記録手段と、
前記三次元映像判定手段の出力に基づいて三次元映像属性情報を設定し、前記三次元映像情報とともに記録する三次元映像属性設定手段と
を備え、
前記三次元映像判定手段は、入力映像に高周波数成分が所定量以上含まれていない場合に二次元映像であると判定する
ことを特徴とする映像記録装置。
前記三次元映像判定手段は、さらに映像の左側半部と右側半部の、互いに同一の位置にある画素同士の類似度を、複数の画素について集計することにより得られる映像の左側半部と右側半部との相関性に基づいて、三次元映像であるか否かを判定することを特徴とする請求項３に記載の映像記録装置。
前記三次元映像判定手段は、前記相関性が所定値以上であるとの判断が所定のフレーム数以上続いたときに、三次元映像であると判定する
ことを特徴とする請求項４に記載の映像記録装置。
前記入力映像信号が三次元映像であると判断された場合に、当該入力映像信号を左目用映像と右目用映像に分離し、分離した後の左目用映像と右目用映像を水平方向に画素を補間して、元の映像フレームの解像度に変換するデータ変換手段をさらに備え、
前記映像信号記録手段は、前記データ変換手段における変換で得られる符号化映像信号を記録する
ことを特徴とする請求項１乃至５のいずれかに記載の映像記録装置。
前記データ変換手段は、分離した後の左目用映像と右目用映像に対して、各々別の映像識別用ＩＤを付した後、１つの映像ストリームに多重化することを特徴とする請求項６に記載の映像記録装置。
前記データ変換手段は、分離した後の左目用映像と右目用映像から、正面から見た二次元映像を合成するとともに
当該入力映像に表示される対象物すべての奥行き情報を生成することを特徴とする請求項６に記載の映像記録装置。
入力映像信号が三次元映像信号であるか二次元映像信号であるかを判定する三次元映像判定ステップと、
入力映像信号またはこれを変換したものを記録する映像信号記録ステップと、
前記三次元映像判定ステップの出力に基づいて三次元映像属性情報を設定し、前記三次元映像情報とともに記録する三次元映像属性設定ステップと
を備え、
前記三次元映像判定ステップは、映像の左側半部及び右側半部の一方の、複数の部分領域を順に着目部分領域として選択し、前記左側半部及び右側半部の他方の、前記着目部分領域と同一の垂直方向位置にある複数の部分領域を順位参照画素として選択し、参照部分領域の前記着目部分領域に対する類似度のうちの最大のものを最大類似度として検出し、該最大類似度を、複数の着目部分領域について集計することにより得られる映像の左側半部と右側半部との相関性に基づいて、三次元映像であるか否かを判定する
ことを特徴とする映像記録方法。
前記三次元映像判定ステップは、前記相関性が所定値以上であるとの判断が所定のフレーム数以上続いたときに、三次元映像であると判定することを特徴とする請求項９に記載の映像記録方法。
入力映像信号が三次元映像信号であるか二次元映像信号であるかを判定する三次元映像判定ステップと、
入力映像信号またはこれを変換したものを記録する映像信号記録ステップと、
前記三次元映像判定ステップの出力に基づいて三次元映像属性情報を設定し、前記三次元映像情報とともに記録する三次元映像属性設定ステップと
を備え、
前記三次元映像判定ステップは、入力映像に高周波数成分が所定量以上含まれていない場合に二次元映像であると判定する
ことを特徴とする映像記録方法。
前記三次元映像判定ステップは、さらに映像の左側半部と右側半部の、互いに同一の位置にある画素同士の類似度を、複数の画素について集計することにより得られる映像の左側半部と右側半部との相関性に基づいて、三次元映像であるか否かを判定することを特徴とする請求項１１に記載の映像記録方法。
前記三次元映像判定ステップは、前記相関性が所定値以上であるとの判断が所定のフレーム数以上続いたときに、三次元映像であると判定する
ことを特徴とする請求項１２に記載の映像記録方法。
前記入力映像信号が三次元映像であると判断された場合に、当該入力映像信号を左目用映像と右目用映像に分離し、分離した後の左目用映像と右目用映像を水平方向に画素を補間して、元の映像フレームの解像度に変換するデータ変換ステップをさらに備え、
前記映像信号記録ステップは、前記データ変換ステップにおける変換で得られる符号化映像信号を記録する
ことを特徴とする請求項９乃至１３のいずれかに記載の映像記録方法。
前記データ変換ステップは、分離した後の左目用映像と右目用映像に対して、各々別の映像識別用ＩＤを付した後、１つの映像ストリームに多重化することを特徴とする請求項１４に記載の映像記録方法。
前記データ変換ステップは、分離した後の左目用映像と右目用映像から、正面から見た二次元映像を合成するとともに
当該入力映像に表示される対象物すべての奥行き情報を生成することを特徴とする請求項１４に記載の映像記録方法。