以下、本発明に好適な実施形態の例(実施例)を説明する。但し、本発明は本実施例に限定されない。本実施例は、主には受信装置について説明してあり、受信装置での実施に好適であるが、受信装置以外への適用を妨げるものではない。また、実施例の構成すべてが採用される必要はなく取捨選択可能である。
<システム>
図1は、本実施例のシステムの構成例を示すブロック図である。放送で情報を送受信して記録再生する場合を例示している。ただし放送に限定されず通信によるVODであってもよく、総称して配信ともいう。
1は放送局などの情報提供局に設置される送信装置、2は中継局や放送用衛星などに設置される中継装置、3はインターネットなど一般家庭と放送局を繋ぐ公衆回線やユーザーの宅内に設置されるネットワーク網、ユーザーの宅内などに設置される4は受信装置、10は受信装置4に内蔵される受信記録再生部である。受信記録再生部10では、放送された情報を記録し再生、またはリムーバブルな外部媒体からのコンテンツの再生、などができる。
送信装置1は、中継装置2を介して変調された信号電波を伝送する。図のように衛星による伝送以外にも例えばケーブルによる伝送、電話線による伝送、地上波放送による伝送、公衆回線を含むネットワーク網3を介したインターネットなどのネットワーク経由による伝送などを用いることもできる。受信装置4で受信されたこの信号電波は、後に述べるように、復調されて情報信号となった後、必要に応じ記録媒体に記録される。または公衆回線網を介して伝送する場合には、公衆回線網に適したプロトコル(例えばTCP/IP)に準じたデータ形式(IPパケット)等の形式に変換され、前記データを受信した受信装置4は、復号して情報信号とし、必要に応じ記録するに適した信号となって記録媒体に記録される。また、ユーザーは、受信装置4にディスプレイが内蔵されている場合はこのディスプレイで、内蔵されていない場合には受信装置4と図示しないディスプレイとを接続して情報信号が示す映像音声を視聴することができる。
<送信装置>
図2は、図1のシステムのうち、送信装置1の構成例を示すブロック図である。
11はソース発生部、12はMPEG2、或いはH.264方式等で圧縮を行い、番組情報などを付加するエンコード部、13はスクランブル部、14は変調部、15は送信アンテナ、16は管理情報付与部である。カメラ、記録再生装置などから成るソース発生部11で発生した映像音声などの情報は、より少ない占有帯域で伝送できるよう、エンコード部12でデータ量の圧縮が施される。必要に応じてスクランブル部13で、特定の視聴者には視聴可能となるように伝送暗号化される。変調部14でOFDM,TC8PSK,QPSK、多値QAMなど伝送するに適した信号となるよう変調された後、送信アンテナ15から、中継装置2に向けて電波として送信される。このとき、管理情報付与部16では、ソース発生部11で作成されたコンテンツの属性などの番組特定情報(例えば、映像や音声の符号化情報、音声の符号化情報、番組の構成、3D映像か否か等)が付与され、また、放送局が作成した番組配列情報(例えば現在の番組や次番組の構成、サービスの形式、1週間分の番組の構成情報等)なども付与される。これら番組特定情報および番組配列情報を合わせて、以下では番組情報と呼ぶ。
なお、一つの電波には複数の情報が、時分割、スペクトル拡散などの方法で多重されることが多い。簡単のため図2には記していないが、この場合、ソース発生部11とエンコード部12の系統が複数個あり、エンコード部12とスクランブル部13との間に、複数の情報を多重するマルチプレクス部(多重化部)が置かれる。
また、公衆回線を含むネットワーク網3を経由して送信する信号についても同様に、エンコード部12で作成された信号が必要に応じて暗号化部17で、特定の視聴者には視聴可能となるように暗号化される。通信路符号化部18で公衆回線網で伝送するに適した信号となるよう符号化された後、ネットワークI/F(Interface)部19から、公衆回線網に向けて送信される。
<3D伝送方式>
送信装置1から伝送される3D番組の伝送方式には大きく分けて二つの方式がある。一つの方式は、既存の2D番組の放送方式を生かし、1枚の画像内に左目用と右目用の映像を収めた方式がある。この方式は映像圧縮方式として既存のMPEG2(Moving Picture Experts Group 2)やH.264 AVCが利用され、その特徴は、既存の放送と互換があり、既存の中継インフラを利用でき、既存の受信機(STBなど)での受信が可能であるが、既存の放送の再高解像度の半分(垂直方向、あるいは水平方向)の3D映像の伝送となる。例えば、図39(a)で示すように1枚の画像を左右に分割して左目用映像(L)と右目用映像(R)それぞれの水平方向の幅が2D番組の約半分、垂直方向の幅が2D番組と同等の画面サイズで収めた「Side-by-Side(サイドバイサイド)」方式や1枚の画像を上下に分割して左目用映像(L)と右目用映像(R)それぞれのが水平方向の幅が2D番組と同等、垂直方向が2D番組の約半分の画面サイズで収めた「Top-and-Bottom(トップアンドボトム)」方式、その他インタレースを利用して収めた「Field alternative」方式や走査線1本ごとに左目用と右目用の映像を交互に収めた「Line alternative」方式や2次元(片側の)映像と映像の各ピクセルごとの深度(被写体までの距離)情報を収めた「Left+Depth」方式がある。これらの方式は、1枚の画像を複数の画像に分割して複数の視点の画像を格納するものであるので、符号化方式自体は、元々多視点映像符号化方式ではないMPEG2やH.264 AVC(MVCを除く)符号化方式をそのまま用いることができ、既存の2D番組の放送方式を生かして3D番組放送を行うことができるというメリットがある。なお、例えば、2D番組を最大水平方向が1920ドット、垂直方向が1080ラインの画面サイズで伝送可能な場合には、「Side-by-Side」方式で3D番組放送を行う場合には、1枚の画像を左右に分割して左目用映像(L)と右目用映像(R)それぞれが水平方向が960ドット、垂直方向が1080ラインの画面サイズで収めて伝送すればよい。同様にこの場合、「Top-and-Bottom」方式で3D番組放送を行う場合には、1枚の画像を左右に分割して左目用映像(L)と右目用映像(R)それぞれが水平方向が1920ドット、垂直方向が540ラインの画面サイズで収めて伝送すればよい。
他の方式としては、左目用の映像と右目用の映像をそれぞれ別ストリーム(ES)で伝送する方式がある。本実施例では、当該方式を以下、「2視点別ES伝送」と称する。この方式の一例として、例えば、多視点映像符号化方式であるH.264 MVCによる伝送方式がある。その特徴は、高解像度の3D映像が伝送できる。この方式を用いると、高解像度の3D映像を伝送できるという効果がある。なお、多視点映像符号化方式とは、多視点の映像を符号化するために規格化された符号化方式であり、1画像を視点ごとに分割することなく、多視点の映像を符号化でき、視点ごとに別画像を符号化するものである。
この方式で3D映像を伝送する場合では、例えば左目用視点の符号化画像を主視点画像とし、右目用の符号化画像を他の視点画像として伝送すればよい。このようにすれば主視点画像については既存の2D番組の放送方式と互換性を保つことが可能である。例えば、多視点映像符号化方式としてH.264 MVCを用いる場合には、H.264 MVCのベースレイヤサブビットストリームについては、主視点画像はH.264 AVCの2D画像と互換性を保つことができ、主視点画像を2D画像として表示可能である。
さらに、本発明の実施例では、「3D2視点別ES伝送方式」の他の例として以下の方式も含めることとする。
「3D2視点別ES伝送方式」の他の一例に、左目用の符号化画像を主視点画像としMPEG2で符号化し、右目用の符号化画像を他の視点画像としH.264 AVCで符号化してそれぞれ別ストリームとする方式を含める。この方式によれば、主視点画像はMPEG2互換となり2D画像として表示可能となることから、MPEG2による符号化画像が広く普及している既存の2D番組の放送方式と互換性を保つことが可能である。
「3D2視点別ES伝送方式」の他の一例に、左目用の符号化画像を主視点画像としMPEG2で符号化し、右目用の符号化画像を他の視点画像としてMPEG2で符号化してそれぞれ別ストリームとする方式を含める。この方式も、主視点画像はMPEG2互換となり2D画像として表示可能となることから、MPEG2による符号化画像が広く普及している既存の2D番組の放送方式と互換性を保つことが可能である。
「3D2視点別ES伝送方式」の他の一例として、左目用の符号化画像を主視点画像としH.264 AVCまたはH.264 MVCで符号化し、右目用の符号化画像を他の視点画像としてMPEG2で符号化することもありえる。
なお、「3D2視点別ES伝送方式」とは別に、元々多視点映像符号化方式として規定された符号化方式ではないMPEG2やH.264 AVC(MVCを除く)などの符号化方式であっても左目用の映像と右目用のフレームを交互に格納したストリームを生成することで3D伝送も可能である。
<番組情報>
番組特定情報と番組配列情報とを番組情報という。
番組特定情報はPSI(Program Specific Information)とも呼ばれ、所要の番組を選択するために必要な情報で、放送番組に関連するPMT(Program Map Table)を伝送するTSパケットのパケット識別子を指定するPAT(Program Association Table)、放送番組を構成する各符号化信号を伝送するTSパケットのパケット識別子および有料放送の関連情報のうち共通情報を伝送するTSパケットのパケット識別子を指定するPMT、変調周波数など伝送路の情報と放送番組を関連付ける情報を伝送するNIT(Network Information Table)、有料放送の関連情報のうち個別情報を伝送するTSパケットのパケット識別子を指定するCAT(Conditional Access Table)の4つのテーブルからなり、MPEG2システム規格で規定されている。例えば、映像の符号化情報、音声の符号化情報、番組の構成を含む。本発明では、さらに3D映像か否かなどを示す情報を新たに含める。当該PSIは管理情報付与部16で付加される。
番組配列情報はSI(Service Information)とも呼ばれ、番組選択の利便性のために規定された各種情報であり、MPEG−2システム規格のPSI 情報も含まれ、番組名、放送日時、番組内容など、番組に関する情報が記載されるEIT(Event Information Table)、編成チャンネル名、放送事業者名など、編成チャンネル(サービス)に関する情報が記載されるSDT(Service Description Table)などがある。
例えば、現在放送されている番組や次に放送される番組の構成、サービスの形式、また、1週間分の番組の構成情報などを示す情報を含み、管理情報付与部16で付加される。
番組情報には番組情報の構成要素であるコンポーネント記述子、コンポーネントグループ記述子、3D番組詳細記述子、サービス記述子、サービスリスト記述子などを含む。これらの記述子は、PMT、EIT[schedule basic/schedule extended/present/following]、NIT、SDTといったテーブルの中に記載される。
PMT、EITそれぞれのテーブルの使い分けとしては、例えばPMTについては現在放送されている番組の情報のみの記載であるため、未来に放送される番組の情報については確認することができない。しかし、送信側からの送信周期が短いため受信完了までの時間が短く、現在放送されている番組の情報なので変更されることがないという意味での信頼度が高いといった特徴がある。一方、EIT[schedule basic/schedule extended]については現在放送されている番組以外に7日分先までの情報を取得できるが、送信側からの送信周期がPMTに比べ長いため受信完了までの時間が長く、保持する記憶領域が多く必要で、かつ未来の事象のため変更される可能性があるという意味で信頼度が低いなどのデメリットがある。EIT[following]については次の放送時間の番組の情報を取得できる。
番組特定情報のPMTは、ISO/IEC13818−1で規定されているテーブル構造を用い、その2ndループ(ES(Elementary Stream)毎のループ)に記載の8ビットの情報であるstream_type(ストリーム形式種別)により、放送されている番組のESの形式を示すことができる。本発明の実施例では、従来よりもESの形式を増やし、例えば、図3に示すように放送する番組のESの形式を割り当てる。
まず、多視点映像符号化(例:H.264/MVC)ストリームのベースビューサブビットストリーム(主視点)について、既存のITU-T 勧告H.264|ISO/IEC 14496-10 映像で規定されるAVC 映像ストリームと同じ0x1Bを割り当てる。次に、0x20に3D映像番組に用いることが可能な多視点映像符号化ストリーム(例えばH.264 MVC)のサブビットストリーム(他の視点)を割り当てる。
また、3D映像の複数視点を別ストリームで伝送する「3D2視点別ES伝送方式」でもちいる場合のH.262(MPEG2)方式のベースビュービットストリーム(主視点)について、既存のITU-T 勧告H.262|ISO/IEC 13818-2 映像と同じ0x02を割り当てる。ここで、3D映像の複数視点を別ストリームで伝送する場合のH.262(MPEG2)方式のベースビュービットストリーム(主視点)とは、3D映像の複数視点の映像うち、主視点の映像のみをH.262(MPEG2)方式で符号化したストリームである。
さらに、0x21に、3D映像の複数視点を別ストリームで伝送する場合のH.262(MPEG2)方式の他の視点のビットストリームを割り当てる。
さらに、0x22に3D映像の複数視点を別ストリームで伝送する場合のITU-T 勧告H.264|ISO/IEC 14496-10 映像で規定されるAVC ストリーム方式の他の視点ビットストリームのビットストリームを割り当てる。
なお、ここでの説明では3D映像番組に用いることが可能な多視点映像符号化ストリームのサブビットストリームを0x20に割り当て、3D映像の複数視点を別ストリームで伝送する場合のH.262(MPEG2)方式の他の視点のビットストリームを0x21に割り当て、3D映像の複数視点を別ストリームで伝送する場合のITU-T 勧告H.264|ISO/IEC 14496-10 映像で規定されるAVC ストリームを0x22に割り当てるとしたが、0x23〜0x7Eの何れかに割り当てられることでも良い。また、MVC映像ストリームは単なる一例であって、3D映像番組に用いることが可能な多視点映像符号化ストリームを示すのであれば、H.264/MVC以外の映像ストリームでもよい。
以上ように、stream_type(ストリーム形式種別)のビットを割りあてることにより、送信装置1側の放送事業者が3D番組を伝送(放送)するにあたり、本発明の実施例では、例えば、図47に示すようなストリームの組合せで伝送することが可能となる。
組合せ例1では、主視点(左目用)映像ストリームとして、多視点映像符号化(例:H.264/MVC)ストリームのベースビューサブビットストリーム(主視点)(ストリーム形式種別0x1B)を伝送し、副視点(右目用) 映像ストリームとして多視点映像符号化(例:H.264/MVC)ストリームの他の視点用サブビットストリーム(ストリーム形式種別0x20)を伝送する。
この場合は、主視点(左目用)映像ストリーム、副視点(右目用) 映像ストリームともに、多視点映像符号化(例:H.264/MVC)方式のストリームを用いる。多視点映像符号化(例:H.264/MVC)方式は、そもそも多視点の映像を伝送するための方式であり、図47の組合せ例の中で最も効率よく3D番組を伝送することができる。
また、3D番組を3D表示(出力)する際には、受信装置は、主視点(左目用)映像ストリームと副視点(右目用) 映像ストリームとの両者を処理して、3D番組を再生することが可能となる。
受信装置が3D番組を2D表示(出力)する場合には、主視点(左目用)映像ストリームのみを処理すれば、2D番組として表示(出力)することが可能となる。
なお、多視点符号化方式H.264/MVCのベースビューサブビットストリームと、既存のH.264/AVC(MVCを除く)の映像ストリームには互換性があるので、図3のように両者のストリーム形式種別を同じ0x1Bに割り当てることにより以下の効果がある。つまり、3D番組を3D表示(出力)する機能を有していない受信装置が組合せ例1の3D番組を受信したとしても、受信装置に既存のH.264/AVC(MVCを除く)の映像ストリーム(ITU-T 勧告H.264|ISO/IEC 14496-10 映像で規定されるAVC 映像ストリーム)を表示(出力)する機能さえあれば、ストリーム形式種別に基づいて当該番組の主視点(左目用)映像ストリームを、既存のH.264/AVC(MVCを除く)の映像ストリームと同様のストリームと認識して通常の2D番組として表示(出力)することが可能となるという効果である。
さらに、副視点(右目用) 映像ストリームには、従来にないストリーム形式種別を割り当てているので既存の受信装置では無視される。これにより、既存の受信装置で副視点(右目用) 映像ストリームについて放送局側が意図しない表示(出力)を防止できる。
よって、新たに組合せ例1の3D番組の放送を開始したとしても、既存のH.264/AVC(MVCを除く)の映像ストリームを表示(出力)する機能を有する既存の受信装置で表示(出力)できないという状況を回避することができる。これにより、CM(commercial message)などの広告収入により運営する放送などで新たに当該3D番組放送を開始したとても、3D表示(出力)機能に対応していない受信装置でも視聴可能となるので、受信装置の機能の制限により、視聴率が低下すること回避することができ、放送局側でもメリットがある。
組合せ例2では、主視点(左目用)映像ストリームとして、3D映像の複数視点を別ストリームで伝送する場合のH.262(MPEG2)方式のベースビュービットストリーム(主視点)(ストリーム形式種別0x02)を伝送し、副視点(右目用) 映像ストリームとして3D映像の複数視点を別ストリームで伝送する場合のITU-T 勧告H.264|ISO/IEC 14496-10 映像で規定されるAVC ストリーム(ストリーム形式種別0x22)を伝送する。
組合せ例1と同様に、3D番組を3D表示(出力)する際には、受信装置は、主視点(左目用)映像ストリームと副視点(右目用) 映像ストリームとの両者を処理して、3D番組を再生することが可能となり、受信装置が3D番組を2D表示(出力)する場合には、主視点(左目用)映像ストリームのみを処理すれば、2D番組として表示(出力)することが可能となる。
さらに、3D映像の複数視点を別ストリームで伝送する場合のH.262(MPEG2)方式のベースビュービットストリーム(主視点)を、既存のITU-T勧告H.262|ISO/IEC 13818-2映像ストリームと互換性のあるストリームとし、図3のように両者のストリーム形式種別を同じ0x1Bに割り当てることにより、既存のITU-T勧告H.262|ISO/IEC 13818-2映像ストリームを表示(出力)する機能を有する受信装置であれば、3D表示(出力)機能を有しない受信装置でも、2D番組として表示(出力)することが可能となる。
また、組合せ例1と同様に、副視点(右目用) 映像ストリームには、従来にないストリーム形式種別を割り当てているので既存の受信装置では無視される。これにより、既存の受信装置で副視点(右目用) 映像ストリームについて放送局側が意図しない表示(出力)を防止できる。
既存のITU-T勧告H.262|ISO/IEC 13818-2映像ストリームについての表示(出力)機能を有する受信装置は広く普及しているので、受信装置の機能の制限による視聴率の低下をより防ぐことが可能となり、放送局にとって最も好ましい放送を実現することができる。
さらに、副視点(右目用) 映像ストリームを、ITU-T 勧告H.264|ISO/IEC 14496-10 映像で規定されるAVC ストリーム(ストリーム形式種別0x22)とすることにより、副視点(右目用) 映像ストリームを高い圧縮率で伝送することが可能となる。
すなわち、組合せ例2によれば、放送局の商業的なメリットと高効率伝送による技術的メリットを両立することが可能となる。
組合せ例3では、主視点(左目用)映像ストリームとして、3D映像の複数視点を別ストリームで伝送する場合のH.262(MPEG2)方式のベースビュービットストリーム(主視点)(ストリーム形式種別0x02)を伝送し、副視点(右目用) 映像ストリームとして3D映像の複数視点を別ストリームで伝送する場合のH.262(MPEG2)方式の他の視点のビットストリーム(ストリーム形式種別0x21)を伝送する。
この場合も、組合せ例3と同様に、既存のITU-T勧告H.262|ISO/IEC 13818-2映像ストリームを表示(出力)する機能を有する受信装置であれば、3D表示(出力)機能を有しない受信装置でも、2D番組として表示(出力)することが可能となる。
受信装置の機能の制限による視聴率の低下をより防ぐという放送局の商業的なメリットに加え、主視点(左目用)映像ストリームと副視点(右目用) 映像ストリームとの符号化方式をH.262(MPEG2)方式に統一することにより、受信装置における映像復号化機能のハードウェア構成を簡素化することが可能となる。
なお、組合せ例4のように、主視点(左目用)映像ストリームとして、多視点映像符号化(例:H.264/MVC)ストリームのベースビューサブビットストリーム(主視点)(ストリーム形式種別0x1B)を伝送し、副視点(右目用) 映像ストリームとして3D映像の複数視点を別ストリームで伝送する場合のH.262(MPEG2)方式の他の視点のビットストリーム(ストリーム形式種別0x21)を伝送することも可能である。
なお、図47の組合せにおいて、多視点映像符号化(例:H.264/MVC)ストリームのベースビューサブビットストリーム(主視点)(ストリーム形式種別0x1B)の代わりに、ITU-T 勧告H.264|ISO/IEC 14496-10 映像で規定されるAVC 映像ストリーム(ストリーム形式種別0x1B)としても同様の効果を得ることができる。
また、図47の組合せにおいて、3D映像の複数視点を別ストリームで伝送する場合のH.262(MPEG2)方式のベースビュービットストリーム(主視点)の代わりに、ITU-T勧告H.262|ISO/IEC 13818-2映像ストリーム(ストリーム形式種別0x1B)としても同様の効果を得ることができる。
図4は、番組情報の一つであるコンポーネント記述子(Component Descriptor)の構造の一例を示す。コンポーネント記述子はコンポーネント(番組を構成する要素。例えば、映像、音声、文字、各種データなど)の種別を示し、エレメンタリストリームを文字形式で表現するためにも利用される。この記述子はPMTおよび/またはEITに配置される。
コンポーネント記述子の意味は次の通りである。つまり、descriptor_tagは8ビットのフィールドで、この記述子がコンポーネント記述子と識別可能な値が記載される。descriptor_lengthは8ビットのフィールドで、この記述子のサイズを記載している。stream_content(コンポーネント内容)は4ビットのフィールドで、ストリームの種別(映像、音声、データ)を表し、図4に従って符号化される。component_type(コンポーネント種別)は8ビットのフィールド、映像、音声、データといったコンポーネントの種別を規定し、図4に従って符号化される。component_tag(コンポーネントタグ)は、8 ビットのフィールドである。サービスのコンポーネントストリームは、この8ビットのフィールドにより、コンポーネント記述子で示される記述内容(図5)を参照できる。
プログラムマップセクションでは、各ストリームに与えるコンポーネントタグの値は異なる値とすべきである。コンポーネントタグは、コンポーネントストリームを識別するためのラベルであり、ストリーム識別記述子内のコンポーネントタグと同一の値である(ただし、ストリーム識別記述子がPMT内に存在する場合)。ISO_639_language_code(言語コード)の24 ビットのフィールドは、コンポーネント(音声、あるいはデータ)の言語、およびこの記述子に含まれる文字記述の言語を識別する。
言語コードは、ISO 639-2(22)に規定されるアルファベット3文字コードで表す。各文字はISO8859-1(24)に従って8ビットで符号化され、その順で24ビットフィールドに挿入される。例えば、日本語はアルファベット3文字コードで「jpn」であり、次のように符号化される。「0110 1010 0111 0000 0110 1110」。text_char(コンポーネント記述)は、8ビットのフィールドである。一連のコンポーネント記述のフィールドは、コンポーネントストリームの文字記述を規定する。
図5(a)〜(e)は、コンポーネント記述子の構成要素であるstream_content(コンポーネント内容)とcomponent_type(コンポーネント種別)の一例を示す。図5(a)に示すコンポーネント内容の0x01は、MPEG2形式で圧縮された映像ストリームの様々な映像フォーマットについて表す。
図5(b)に示すコンポーネント内容の0x05は、H.264 AVC形式で圧縮された映像ストリームの様々な映像フォーマットについて表す。図5(c)に示すコンポーネント内容の0x06は、多視点映像符号化(例えば、H.264 MVC形式)で圧縮された3D映像ストリームの様々な映像フォーマットについて表す。
図5(d)に示すコンポーネント内容の0x07は、MPEG2、またはH.264 AVC形式で圧縮された3D映像のSide-by-Side形式のストリームの様々な映像フォーマットについて表す。この例ではMPEG2とH.264 AVC形式で同じコンポーネント内容の値としたが、MPEG2とH.264 AVCで別の値を設定することでも良い。
図5(e)に示すコンポーネント内容の0x08は、MPEG2、またはH.264 AVC形式で圧縮された3D映像のTop-and-Bottom形式のストリームの様々な映像フォーマットについて表す。この例ではMPEG2とH.264 AVC形式で同じコンポーネント内容の値としたが、MPEG2とH.264 AVCで別の値を設定することでも良い。
図5(d)や図5(e)のように、コンポーネント記述子の構成要素であるstream_content(コンポーネント内容)とcomponent_type(コンポーネント種別)の組合せによって、3D映像であるか否か、3D映像の方式、解像度、アスペクト比の組合せを示す構成とすることにより、3Dと2Dの混合放送であっても、少ない伝送量で、2D番組/3D番組識別を含めた各種映像方式情報の伝送が可能となる。
特に、元々多視点映像符号化方式として規定された符号化方式ではないMPEG2やH.264 AVC(MVCを除く)などの符号化方式を用いて、Side-by-Side形式やTop-and-Bottom形式などの1画像中に複数の視点の画像を含めて3D映像番組を伝送する場合は、上述したstream_type(ストリーム形式種別)だけでは、3D映像番組用に一画像中に複数の視点の画像を含めて伝送しているのか、1視点の通常の画像なのかを識別することは困難である。よって、この場合は、stream_content(コンポーネント内容)とcomponent_type(コンポーネント種別)の組合せによって、当該番組が2D番組/3D番組識別を含めた各種映像方式の識別を行えばよい。また、EITにより現在放送している、或いは将来放送される番組に関するコンポーネント記述子が配信されることにより、受信装置4においてEITを取得することによりEPG(番組表)を作成し、EPGの情報として3D映像であるか否か、3D映像の方式、解像度、アスペクト比、3D映像であるか否かを作成することができる。受信装置は、EPGにこれらの情報を表示(出力)できるようになるメリットがある。
以上説明したとおり、受信装置4がstream_contentとcomponent_typeを監視することで、現在受信している、あるいは将来受信する番組が3D番組であることを認識できる効果がある。
図6は、番組情報の一つであるコンポーネントグループ記述子(Component Group Descriptor)の構造の一例を示す。コンポーネントグループ記述子は、イベント内のコンポーネントの組み合わせを定義し、識別する。つまり、複数コンポーネントのグループ化情報を記述する。この記述子はEITに配置される。
コンポーネントグループ記述子の意味は次の通りである。つまり、descriptor_tagは8ビットのフィールドで、この記述子がコンポーネントグループ記述子と識別可能な値が記載される。descriptor_lengthは8ビットのフィールドで、この記述子のサイズを記載している。component_group_type(コンポーネントグループ種別)は3ビットのフィールドで、図7に従い、コンポーネントのグループ種別を表す。
ここで、001は、3DTVサービスを表し、000のマルチビューTVサービスと区別される。ここで、マルチビューTVサービスとは、複数視点の2D映像をそれぞれの視点ごとに切り替えて表示可能なTVサービスである。例えば、多視点映像符号化映像ストリームや、元々多視点映像符号化方式として規定された符号化方式ではない符号化方式のストリームにおいて1画面中に複数の視点の画像を含めて伝送する場合のストリームを3D映像番組のみならず、マルチビューTV番組にも用いる場合もありえる。この場合には、ストリームに多視点の映像が含まれていても、上述したstream_type(ストリーム形式種別)だけでは3D映像番組なのか、マルチビューTV番組なのか識別できない場合もある。このような場合は、component_group_type(コンポーネントグループ種別)による識別が有効である。total_bit_rate_flag(総ビットレートフラグ)は1 ビットのフラグで、イベント中のコンポーネントグループ内の総ビットレートの記述状態を示す。このビットが「0」の場合、コンポーネントグループ内の総ビットレートフィールドが当該記述子中に存在しないことを示す。このビットが「1」の場合、コンポーネントグループ内の総ビットレートフィールドが当該記述子中に存在することを示す。num_of_group(グループ数)は4 ビットのフィールドで、イベント内でのコンポーネントグループの数を示す。
component_group_id(コンポーネントグループ識別)は4 ビットのフィールドで、図8に従い、コンポーネントグループ識別を記述する。num_of_CA_unit(課金単位数)は4 ビットのフィールドで、コンポーネントグループ内での課金/非課金単位の数を示す。CA_unit_id(課金単位識別)は4 ビットのフィールドで、図9に従い、コンポーネントが属する課金単位識別を記述する。
num_of_component(コンポーネント数)は4 ビットのフィールドで、当該コンポーネントグループに属し、かつ直前のCA_unit_id で示される課金/非課金単位に属するコンポーネントの数を示す。component_tag(コンポーネントタグ)は8 ビットのフィールドで、コンポーネントグループに属するコンポーネントタグ値を示す。
total_bit_rate(トータルビットレート)は8 ビットのフィールドで、コンポーネントグループ内のコンポーネントの総ビットレートを、トランスポートストリームパケットの伝送レートを1/4Mbps 毎に切り上げて記述する。text_length(コンポーネントグループ記述長)は8 ビットのフィールドで、後続のコンポーネントグループ記述のバイト長を表わす。text_char(コンポーネントグループ記述)は8 ビットのフィールドである。一連の文字情報フィールドは、コンポーネントグループに関する説明を記述する。
以上、受信装置4がcomponent_group_typeを監視することで、現在受信している、あるいは将来受信する番組が3D番組であることを認識できる効果がある。
次に、3D番組に関する情報を示す新たな記述子を用いる例を説明する。図10(a)は、番組情報の一つである3D番組詳細記述子の構造の一例を示す。3D番組詳細記述子は番組が3D番組である場合の詳細情報を示し、受信機における3D番組判定用などに利用される。この記述子はPMTおよび/またはEITに配置される。3D番組詳細記述子は、既に説明した図5(c)〜(e)に示す3D映像番組用のstream_content(コンポーネント内容やとcomponent_type(コンポーネント種別)と並存させてもよい。しかし、3D番組詳細記述子を伝送することにより、3D映像番組用のstream_content(コンポーネント内容やcomponent_type(コンポーネント種別)を伝送しない構成としても良い。3D番組詳細記述子の意味は次の通りである。次にdescriptor_tagは8ビットのフィールドで、この記述子が3D番組詳細記述子と識別可能な値(例えば0xE1)が記載される。descriptor_lengthは8ビットのフィールドで、この記述子のサイズを記載している。
3d_2d _type(3D/2D種別)は8ビットのフィールドで、図10(b)に従い、3D番組中における3D映像/2D映像の種別を表す。このフィールドは、例えば番組本編は3D映像であり、番組の途中で挿入されるコマーシャルなどが2D映像で構成されるような3D番組において、3D映像なのか2D映像なのかを識別するための情報であり、受信装置における誤動作(受信装置は3D処理を行っているのに放送番組が2D映像のため発生する表示(出力)の問題)を防ぐ目的で配置される。0x01は3D映像、0x02は2D映像を表す。
3d_method_type(3D方式種別)は8ビットのフィールドで、図11に従い、3Dの方式種別を表す。0x01は「3D2視点別ES伝送方式」方式、0x02はSide-by-Side 方式、0x03はTop-and-Bottom 方式を表す。stream_type(ストリーム形式種別)は8ビットのフィールドで、上記で説明した図3に従い、番組のESの形式を示す。
なお、3D番組詳細記述子を、3D映像番組の場合に伝送し、2D映像番組では伝送しない構成としてもよい。受信した番組についての3D番組詳細記述子の伝送の有無だけで、当該番組が2D映像番組なのか、3D映像番組なのか識別することが可能となる。
component_tag(コンポーネントタグ)は、8ビットのフィールドである。サービスのコンポーネントストリームは、この8ビットのフィールドにより、コンポーネント記述子で示される記述内容(図5)を参照できる。プログラムマップセクションでは、各ストリームに与えるコンポーネントタグの値は異なる値とすべきである。コンポーネントタグは、コンポーネントストリームを識別するためのラベルであり、ストリーム識別記述子内のコンポーネントタグと同一の値である(ただし、ストリーム識別記述子がPMT内に存在する場合)。
以上、受信装置4が3D番組詳細記述子を監視することで、この記述子が存在すれば、現在受信している、あるいは将来受信する番組が3D番組であることを認識できる効果がある。加えて、番組が3D番組である場合には、3D伝送方式の種別を識別すること、3D映像と2D映像が混在している場合にはその識別が可能となる。
次に、サービス(編成チャンネル)単位で3D映像か2D映像かを識別する例について説明する。図12は、番組情報の一つであるサービス記述子(Service Descriptor)の構造の一例を示す。サービス記述子は、編成チャンネル名とその事業者名をサービス形式種別とともに文字符号で表す。この記述子はSDTに配置される。
サービス記述子の意味は次の通りである。つまり、service_type(サービス形式種別)は8ビットのフィールドで、図13に従ってサービスの種類を表す。0x01は、3D映像サービスを表す。service_provider_name_length(事業者名長)の8 ビットのフィールドは、後続の事業者名のバイト長を表す。char(文字符号)は8 ビットのフィールドである。一連の文字情報フィールドは、事業者名あるいはサービス名を表す。service_name_length(サービス名長)の8 ビットのフィールドは、後続のサービス名のバイト長を表す。
以上、受信装置4がservice_typeを監視することで、サービス(編成チャンネル)が3D番組のチャンネルであることを認識できる効果がある。このように、サービス(編成チャンネル)が3D映像サービスか2D映像サービスかを識別することができれば、例えば、EPG表示などで、当該サービスが3D映像番組放送サービスである旨の表示などが可能となる。但し、3D映像番組を中心に放送しているサービスといえども、広告映像のソースが2D映像しかない場合など、2D映像を放送しなければならない場合もありうる。よって、当該サービス記述子のservice_type(サービス形式種別)による3D映像サービスの識別は、既に説明した、stream_content(コンポーネント内容)とcomponent_type(コンポーネント種別)の組合せによる3D映像番組の識別、component_group_type(コンポーネントグループ種別)による3D映像番組の識別、または3D番組詳細記述子による3D映像番組の識別と併用することが望ましい。複数の情報を組み合わせて識別する場合は、3D映像放送サービスであるが、一部の番組だけ2D映像であるなどの識別も可能となる。このような識別ができる場合は、受信装置で、例えばEPGでは当該サービスが「3D映像放送サービス」であることを明示することができ、かつ、当該サービスに3D映像番組以外に2D映像番組が混在していても、番組受信時等に3D映像番組と2D映像番組とで表示制御等を必要に応じて切り替えることが可能となる。
図14は、番組情報の一つであるサービスリスト記述子(Service List Descriptor)の構造の一例を示す。サービスリスト記述子は、サービス識別とサービス形式種別によるサービスの一覧を提供する。つまり、編成チャンネルとその種別の一覧を記述する。この記述子はNITに配置される。
サービスリスト記述子の意味は次の通りである。つまり、service_id(サービス識別)は16 ビットのフィールドで、そのトランスポートストリーム内の情報サービスをユニークに識別する。サービス識別は、対応するプログラムマップセクション内の放送番組番号識別(program_number)に等しい。service_type(サービス形式種別)は8ビットのフィールドで、上記で説明した図12に従ってサービスの種類を表す。
これらのservice_type(サービス形式種別)によって「3D映像放送サービス」であるか否かを識別することができるので、例えば、当該サービスリスト記述子に示される編成チャンネルとその種別の一覧を用いて、EPG表示において「3D映像放送サービス」のみをグルーピングする表示を行うことなどが可能となる。
以上、受信装置4がservice_typeを監視することで、編成チャンネルが3D番組のチャンネルであることを認識できる効果がある。
以上説明した記述子の例は、代表的なメンバのみを記載しており、これ以外のメンバを持つこと、複数のメンバを一つに纏めること、一つのメンバを詳細情報を持つ複数のメンバに分割することも考えられる。
<番組情報の送出運用規則例>
上記で説明した番組情報のコンポーネント記述子、コンポーネントグループ記述子、3D番組詳細記述子、サービス記述子、サービスリスト記述子は、例えば管理情報付与部16で生成、付加され、MPEG-TSのPSI(一例としてPMTなど)、或いはSI(一例としてEIT、或いはSDT、或いはNITなど)に格納されて送信装置1から送出される情報である。
送信装置1における番組情報の送出運用規則例について以下説明する。
図15は、コンポーネント記述子の送信装置1における送出運用規則の一例を示す。「descriptor_tag」にはコンポーネント記述子を意味する“0x50”を記述する。「descriptor_length」には、コンポーネント記述子の記述子長を記述する。記述子長の最大値は規定しない。「stream_content」には、“0x01”(映像)を記述する。
「component_type」には、当該コンポーネントの映像コンポーネント種別を記述する。コンポーネント種別については、図5の中から設定する。「component_tag」は当該番組内で一意となるコンポーネントタグ値を記述する。「ISO_639_language_code」は“jpn(”0x6A706E“)”を記述する。
「text_char」は複数映像コンポーネント存在時に映像種類名として16byte(全角8文字)以下で記述する。改行コードは使用しない。コンポーネント記述がデフォルトの文字列である場合はこのフィールドを省略することができる。デフォルト文字列は「映像」である。
なお、イベント(番組)に含まれる0x00〜0x0F のcomponent_tag 値を持つ、全ての映像コンポーネントに対して必ず一つ送出する。
このように送信装置1で送出運用することにより、受信装置4がstream_contentとcomponent_typeを監視することで、現在受信している、あるいは将来受信する番組が3D番組であることを認識できる効果がある。
図16は、コンポーネントグループ記述子の送信装置1における送出運用規則の一例を示す。
「descriptor_tag」にはコンポーネントグループ記述子を意味する“0xD9”を記述する。「descriptor_length」には、コンポーネントグループ記述子の記述子長を記述する。
記述子長の最大値は規定しない。「component_group_type」は、コンポーネントグループの種別を示す。‘000’は、マルチビューテレビを‘001’は、3Dテレビを示す。
「total_bit_rate_flag」には、イベント中のグループ内の総ビットレートがすべて規定のデフォルト値にある場合は’0’を、イベント中のグループ内の総ビットレートのいずれかが規定のデフォルト値を越えている場合は’1’を示す。
「num_of_group」はイベント内でのコンポーネントグループの数を記述する。マルチビューテレビ(MVTV)の場合には最大3とし、3Dテレビ(3DTV)の場合には最大2とする。
「component_group_id」はコンポーネントグループ識別を記述する。メイングループの場合には”0x0”を割り当て、各サブグループの場合には放送事業者がイベント内で一意に割り当てる。
「num_of_CA_unit」はコンポーネントグループ内での課金/非課金単位の数を記述する。最大値は2 とする。当該コンポーネントグループ内に課金を行うコンポーネントが一切含まれない場合は"0x1"とする。
「CA_unit_id」は課金単位識別を記述する。放送事業者がイベント内で一意に割り当てる。「num_of_component」は当該コンポーネントグループに属し、かつ直前の「CA_unit_id 」で示される課金/非課金単位に属するコンポーネントの数を記述する。最大値は15とする。
「component_tag」はコンポーネントグループに属するコンポーネントタグ値を記述する。「total_bit_rate」はコンポーネントグループ内の総ビットレートを記述する。ただし、デフォルト値の場合は”0x00”を記述する。
「text_length」は後続のコンポーネントグループ記述のバイト長を記述する。最大値は16(全角8 文字)とする。「text_char」はコンポーネントグループに関する説明を必ず記述する。デフォルト文字列は規定しない。また、改行コードは使用しない。
なお、マルチビューテレビサービスを行う場合には「component_group_type」は’000’として必ず送出する。また、3Dテレビサービスを行う場合には「component_group_type」は’001’として必ず送出する。
このように送信装置1で送出運用することにより、受信装置4がcomponent_group_typeを監視することで、現在受信している、あるいは将来受信する番組が3D番組であることを認識できる効果がある。
図17は、3D番組詳細記述子の送信装置1における送出運用規則の一例を示す。「descriptor_tag」には3D番組詳細記述子を意味する“0xE1”を記述する。「descriptor_length」には、3D番組詳細記述子の記述子長を記述する。「3d_2d_type」は3D/2D識別を記述する。図10(b)の中から設定する。「3d_method_type」は3D方式識別を記述する。図11の中から設定する。「stream_type」は番組のESの形式を記述する。図3の中から設定する。「component_tag」は当該番組内で一意となるコンポーネントタグ値を記述する。
このように送信装置1で送出運用することにより、受信装置4が3D番組詳細記述子を監視することで、この記述子が存在すれば、現在受信している、あるいは将来受信する番組が3D番組であることを認識できる効果がある。
図18は、サービス記述子の送信装置1における送出運用規則の一例を示す。「descriptor_tag」にはサービス記述子を意味する“0x48”を記述する。「descriptor_length」には、サービス記述子の記述子長を記述する。「service_type」はサービス形式種別を記述する。
サービス形式種別については、図13の中から設定する。「service_provider_name_length」はBS/CSデジタルテレビジョン放送では事業者名長を記述する。最大値は20とする。地上デジタルテレビジョン放送ではservice_provider_name を運用しないため、“0x00”を記述する。
「char」はBS/CSデジタルテレビジョン放送では事業者名を記述する。最大全角10文字。地上デジタルテレビジョン放送では何も記述しない。「service_name_length」は編成チャンネル名長を記述する。最大値は20 とする。「char」は編成チャンネル名を記述する。20バイト以内かつ全角10文字以内である。なお、対象編成チャンネルに対し、1個のみを必ず配置する。
このように送信装置1で送出運用することにより、受信装置4がservice_typeを監視することで、編成チャンネルが3D番組のチャンネルであることを認識できる効果がある。
図19は、サービスリスト記述子の送信装置1における送出運用規則の一例を示す。「descriptor_tag」にはサービスリスト記述子を意味する“0x41”を記述する。「descriptor_length」には、サービスリスト記述子の記述子長を記述する。「loop」は対象トランスポートストリームに含まれるサービス数のループを記述する。
「service_id」は当該トランスポートストリームに含まれるservice_id を記述する。「service_type」は対象サービスのサービスタイプを記述する。図13の中から設定する。なお、NIT内TSループに対して必ず配置する。
このように送信装置1で送出運用することにより、受信装置4がservice_typeを監視することで、編成チャンネルが3D番組のチャンネルであることを認識できる効果がある。
以上、送信装置1における番組情報の送出例について説明したが、番組が2D番組から3D番組に切り替わる際に、3D番組の始まる最初の画面において、例えばテロップなどを用いて「これから3D番組が開始される旨」、「3D表示で視聴する場合には3D視聴用のメガネを装着する旨」、「眼が疲れているときや体調が悪いときには2D表示の視聴を勧める旨」、「3D番組の長時間の視聴は眼が疲れたり体調が悪くなる可能性がある旨」などを送信装置1で作成する3D番組の映像にはめ込んで送出することにより受信装置4で3D番組を視聴するユーザーに対して3D番組視聴に対する注意・警告を行うことができるメリットがある。
<装置のハードウェア構成>
図25は、図1のシステムのうち、受信装置4の構成例を示すハードウェア構成図である。21は受信機全体を制御するCPU(Central Processing Unit)、22はCPU21と装置内各部との制御および情報を送信するための汎用バス、23は無線(衛星、地上)、ケーブルなどの放送伝送網を介して送信装置1から送信された放送信号を受信し、特定の周波数を選局し復調、誤り訂正処理、などを行い、MPEG2-Transport Stream(以下、「TS」ともいう。)などの多重化パケットを出力するチューナ、24はスクランブル部13によるスクランブルを復号するデスクランブラ、25はネットワークと情報を送受信し、インターネットと受信装置間で各種情報およびMPEG2―TSを送受信するネットワークI/F(Interface)、26は例えば受信装置4に内蔵されているHDD(Hard Disk Drive)やフラッシュメモリ、またはリムーバブルなHDD、ディスク型記録媒体、フラッシュメモリ、などの記録媒体、27は記録媒体26を制御し、記録媒体26への信号の記録や記録媒体26からの信号の再生を制御する記録再生部、29はMPEG2―TSなどの形式に多重化されている信号を、映像ES(Elementary Stream)、音声ES、番組情報などの信号に分離する多重分離部である。ESとは、圧縮・符号化された画像・音声データのそれぞれのことである。30は映像ESを、映像信号に復号する映像復号部、31は音声ESを、音声信号に復号し、スピーカ48に出力または音声出力42から出力する音声復号部、32は、映像復号部30で復号された映像信号を前記CPUの指示に従い3Dまたは2Dの映像信号を後述する変換処理により所定のフォーマットに変換する処理や、CPU21が作成したOSD(On Screen Display)などの表示を映像信号に重畳する処理などを行い、処理後の映像信号をディスプレイ47または映像信号出力部41に出力し、処理後の映像信号のフォーマットに対応する同期信号や制御信号(機器制御に使用)を映像信号出力部41および制御信号出力部43から出力する映像変換処理部、33はユーザー操作入力部45からの操作入力(例えばIR(Infrared Radiation)信号を発信するリモートコントローラーからのキーコード)を受信し、またCPU21や映像変換処理部32が生成した外部機器への機器制御信号(例えばIR)を機器制御信号送信部44から送信する制御信号送受信部、34は内部にカウンタを有し、また現在の時刻の保持を行うタイマー、46は前記多重分離部で再構成されたTSに対し暗号化等必要な処理を行い外部にTSを出力、または外部から受信したTSを復号化して多重分離部29に対して入力するシリアルインタフェースやIPインタフェースなどの高速デジタルI/F、47は映像復号部30が復号して映像変換処理部32により映像が変換された3D映像および2D映像を表示するディスプレイ、48は音声復号部が復号した音声信号に基づいて音を出力するスピーカを表しており、主にこれらの装置により、受信装置4は構成されている。ディスプレイに3D表示する場合も、必要であれば、同期信号や制御信号は制御信号出力部43や機器制御信号送信端子44から出力する。
受信装置および視聴装置および3D視聴補助装置(例えば3Dメガネ)を含めたシステム構成について、図35および図36に例を示す。図35は受信装置と視聴装置が一体となったシステム構成、また図36は受信装置と視聴装置が別構成となった場合の例である。
図35において、3501は前記受信装置4の構成を含み3D映像表示および音声出力が可能な表示装置、3503は前記表示装置3501から出力される3D視聴補助装置制御信号(例えばIR信号)、3502は3D視聴補助装置を表している。図35の例においては、映像信号は前記表示装置3501が具備する映像ディスプレイから表示され、また音声信号は前記表示装置3501が具備するスピーカから出力される。また同様に表示装置3501は機器制御信号44または制御信号43の出力部から出力される3D視聴補助装置制御信号を出力する出力端子を具備する。
なお、上記の説明は、図35に示す表示装置3501と3D視聴補助装置3502とが後述するアクティブシャッター方式により表示する例を前提として説明したが、図35に示す表示装置3501と3D視聴補助装置3502とが後述する偏光分離による3D映像表示装置を行う方式の場合には、3D視聴補助装置3502は左目と右目に異なる映像が入射するように偏光分離を行うものであればよく、表示装置3501から機器制御信号44または制御信号43の出力部から3D視聴補助装置3502へ出力される3D視聴補助装置制御信号3503を出力しなくともよい。
また図36おいて、3601は前記受信装置4の構成を含む映像音声出力装置、3602は映像/音声/制御信号を伝送する伝送経路(例えばHDMIケーブル)、3603は外部から入力された映像信号や音声信号を表示出力するディスプレイを表す。
この場合、映像音声出力装置3601(受信装置4)の映像出力41から出力される映像信号と音声出力42から出力される音声信号、制御信号出力部43から出力される制御信号は、伝送路3602で規定されているフォーマット(例えばHDMI規格により規定されるフォーマット)に適した形式の伝送信号に変換され、伝送経路3602を経由しディスプレイ3603に入力される。ディスプレイ3603では前記伝送信号を受信し、もとの映像信号、音声信号、制御信号に復号し、映像と音声を出力するとともに、3D視聴補助装置3502に対して3D視聴補助装置制御信号3503を出力する。
なお、上記の説明は、図36に示す表示装置3603と3D視聴補助装置3502とが後述するアクティブシャッター方式により表示する例を前提として説明したが、図36に示す表示装置3603と3D視聴補助装置3502とが後述する偏光分離による3D映像表示装置を行う方式の場合には、3D視聴補助装置3502は左目と右目に異なる映像が入射するように偏光分離を行うものであればよく、表示装置3603から3D視聴補助装置3502へ3D視聴補助装置制御信号3603を出力しなくともよい。
なお、図25に示した21〜46の各構成要件の一部は、1つの、又は複数のLSIで構成されていてもよい。また、図25に示した21〜46の各構成要件の一部の機能をソフトウェアで実現する構成としてもよい。
<装置の機能ブロック図>
図26は、CPU21内部における処理の機能ブロック構成の一例である。ここで各機能ブロックは例えばCPU21で実行されるソフトウェアのモジュールとして存在しており、それぞれのモジュール間は何らかの手段(例えばメッセージパッシング、ファンクションコール、イベント送信)などを行って情報やデータの受け渡しおよび制御指示を行う。
また、各モジュールは受信装置4内部の各ハードウェアとも、汎用バス22を介して情報の送受信を行っている。また図に記載の関係線(矢印)は今回の説明に関連する部分を主に記載しているが、その他のモジュール間についても通信手段および通信を必要とした処理は存在する。例えば選局制御部59は、選局に必要な番組情報を番組情報解析部54から適宜取得している。
次に各機能ブロックの機能について説明する。システム制御部51は各モジュールの状態やユーザーの指示状態などを管理し、各モジュールに対して制御指示を行う。ユーザー指示受信部52は制御信号送受信部33が受信したユーザー操作の入力信号を受信および解釈し、ユーザーの指示をシステム制御部51に伝える。機器制御信号送信部53はシステム制御部51や、他のモジュールからの指示に従い、制御信号送受信部33に対して機器制御信号を送信するように指示する。
番組情報解析部54は多重分離部29から番組情報を取得して内容を分析し、必要な情報を各モジュールに対して提供する。時間管理部55は番組情報解析部54から、TSに含まれる時刻補正情報(TOT:Time offset table)を取得して現在の時刻を管理するとともに、タイマー34が有するカウンタを使用し、各モジュールの要求に従いアラーム(指定時刻の到来を通知)やワンショットタイマ(一定時間の経過を通知)の通知を行う。
ネットワーク制御部56は、ネットワークI/F25を制御し、特定URL(Unique Resource Locater)や特定IP(Internet Protocol)アドレスからの各種情報およびTSの取得を行う。復号制御部57は、映像復号部30および音声復号部31を制御し、デコードの開始や停止、ストリームに含まれる情報の取得などを行う。
記録再生制御部58は記録再生部27を制御し、記録媒体26から、特定のコンテンツの特定の位置から、また任意の読み出しの形式(通常再生、早送り、巻戻し、一時停止)で信号を読み出す。また、記録再生部27に入力された信号を、記録媒体26に対して記録する制御を行う。
選局制御部59は、チューナ23、デスクランブラ24、多重分離部29および復号制御部57を制御し、放送の受信および放送信号の記録を行う。または記録媒体からの再生を行い、映像信号および音声信号を出力するまでの制御を行う。詳しい放送受信の動作および放送信号の記録動作、記録媒体からの再生動作については後述する。
OSD作成部60は、特定のメッセージを含むOSDデータを作成し、映像変換制御部61に対して前記作成したOSDデータを映像信号に重畳して出力するように指示を行う。ここでOSD作成部60は、左目用と右目用といった視差のあるOSDデータを作成し、映像変換制御部61に対して、前記左目用と右目用のOSDデータをもとに3D表示を要求することにより、3Dでのメッセージ表示等を行う。
映像変換制御部61は、映像変換処理部32を制御し、映像復号部30から映像変換処理部32に入力された映像信号を、前記システム制御部51からの指示に従い3Dまたは2Dの映像に変換し変換した映像と、OSD作成部60から入力されたOSDを重畳し、さらに必要に応じて映像を加工(スケーリングやPinP、3D表示など)してディスプレイ47に表示または外部に出力する。映像変換処理部32における3D映像、2D映像の所定のフォーマットへの変換方法の詳細については後述する。各機能ブロックはこれらのような機能を提供する。
<放送受信>
ここで放送受信を行う場合の制御手順と信号の流れについて説明する。まず特定チャンネル(CH)の放送受信を示すユーザーの指示(例えばリモコンのCHボタン押下)を、ユーザー指示受信部52から受信したシステム制御部51は、ユーザーの指示したCH(以下指定CH)での選局を選局制御部59に指示する。
前記指示を受信した選局制御部59は、チューナ23に対して指定CHの受信制御(指定周波数帯への選局、放送信号復調処理、誤り訂正処理)を指示し、TSをデスクランブラ24に出力させる。
次に選局制御部59は、デスクランブラ24に対して前記TSのデスクランブルし多重分離部29に出力するように指示し、多重分離部29に対しては、入力されたTSの多重分離、および多重分離した映像ESの映像復号部30への出力と、音声ESの音声復号部31への出力、を指示する。
また、選局制御部59は、復号制御部57に対し、映像復号部30と音声復号部31に入力された映像ESおよび音声ESの復号指示を行う。前記復号指示を受信した復号制御部31は、映像復号部30に対して復号した映像信号を映像変換処理部32に出力するように制御し、音声復号部31に対して復号した音声信号をスピーカ48または音声出力42に出力するように制御を行う。このようにして、ユーザーが指定したCHの映像および音声を出力する制御を行う。
また、選局時のCHバナー(CH番号や番組名、番組情報等を表示するOSD)を表示するために、システム制御部51はOSD作成部60に対してCHバナーの作成および出力を指示する。前記指示を受信したOSD作成部60は、作成したCHバナーのデータを映像変換制御部61に送信し、前記データを受信した映像変換制御部61はCHバナーを映像信号に重畳して出力するように制御を行う。このようにして、選局時等のメッセージ表示を行う。
<放送信号の記録>
次に放送信号の記録制御と信号の流れについて説明する。特定のCHの記録を行う場合には、システム制御部51は選局制御部59に対して特定CHの選局および記録再生部27への信号出力を指示する。
前記指示を受信した選局制御部59は、前記放送受信処理と同様に、チューナ23に対して指定CHの受信制御を指示し、デスクランブラ24に対して、チューナ23から受信したMPEG2−TSのデスクランブル、多重分離部29に対してデスクランブラ24からの入力を記録再生部27に出力するように制御する。
また、システム制御部51は、記録再生制御部58に対して、記録再生部27への入力TSを記録するように指示する。前記指示を受信した記録再生制御部58は、記録再生部27に入力される信号(TS)に対して、暗号化などの必要な処理を行い、また記録再生時に必要な付加情報(記録CHの番組情報、ビットレート等のコンテンツ情報)の作成、また管理データ(記録コンテンツのID、記録媒体26上の記録位置、記録形式、暗号化情報など)への記録を行った後に、前記MPEG2−TSおよび付加情報、管理データを記録媒体26へ書き込む処理を行う。このようにして放送信号の記録を行う。
<記録媒体からの再生>
次に記録媒体からの再生処理について説明する。特定の番組の再生を行う場合には、システム制御部51は、記録再生制御部58に対して、特定の番組の再生を指示する。この際の指示としては、コンテンツのIDと再生開始位置(例えば番組の先頭、先頭から10分の位置、前回の続き、先頭から100Mbyteの位置等)を指示する。前記指示を受信した記録再生制御部58は、記録再生部27を制御し、付加情報や管理データを用いて記録媒体26から信号(TS)を読み出して、暗号の復号などの必要な処理を行った後に、多重分離部29に対してTSを出力するように処理を行う。
また、システム制御部51は、再生信号の映像音声出力を選局制御部59に対して指示する。前記指示を受信した選局制御部59は、記録再生部27からの入力を多重分離部29に出力するように制御し、多重分離部29に対して、入力されたTSの多重分離、および多重分離された映像ESの映像復号部30への出力、および多重分離された音声ESの音声復号部31への出力、を指示する。
また、選局制御部59は、復号制御部57に対し、映像復号部30と音声復号部31に入力された映像ESおよび音声ESの復号指示を行う。前記復号指示を受信した復号制御部31は、映像復号部30に対して復号した映像信号を映像変換処理部32に出力するように制御し、音声復号部31に対して復号した音声信号をスピーカ48または音声出力42に出力するように制御を行う。このようにして記録媒体からの信号再生処理を行う。
<3D映像の表示方法>
本発明に用いることのできる3D映像の表示方式としては、左目と右目に視差を感じさせる左目用と右目用の映像を作成し、人間に立体物が存在しているように認識させるいくつかの方式がある。
ひとつの方式としては、ユーザーが着用するメガネに対して、液晶シャッター等を用いて左右のグラスを交互に遮光を行い、またそれと同期させて左目用と右目用の映像を表示させ、左右の目に映る画像に視差を発生させるアクティブシャッター方式がある。
この場合、受信装置4は、ユーザーが着用するアクティブシャッター方式メガネへ、制御信号出力部43や機器制御信号送信端子44から同期信号や制御信号を出力する。また、映像信号出力部41から映像信号を外部の3D映像表示装置へ出力して、左目用の映像と右目用の映像とを交互に表示させる。または、受信装置4の有するディスプレイ47に同様の3D表示を行う。このようにすれば、アクティブシャッター方式メガネを着用したユーザは、当該3D映像表示装置または受信装置4の有するディスプレイ47で3D映像を視聴することができる。
また、別の方式としては、ユーザーが着用するメガネに対して、左右のグラスに直線偏光で直交するフィルムを貼るもしくは直線偏光コートを施す、または円偏光で偏光軸の回転方向が逆方向のフィルムを貼るもしくは円偏光コートを施し、左目と右目のメガネの偏光にそれぞれ対応した互いに異なる偏光による左目用の映像と右目用の映像を同時に出力することにより、左目と右目のそれぞれに入射する映像を偏光状態により分離することで左目と右目で視差を発生させる偏光方式がある。
この場合、受信装置4は、映像信号出力部41から映像信号を外部の3D映像表示装置へ出力して、該3D映像表示装置は、左目用の映像と右目用の映像とを異なる偏光状態で表示させる。または、受信装置4の有するディスプレイ47によって同様の表示を行う。このようにすれば、偏光方式メガネを着用したユーザーは、当該3D映像表示装置または受信装置4の有するディスプレイ47で3D映像を視聴することができる。なお、偏光方式では、偏光方式メガネには、受信装置4から同期信号や制御信号を送信することなく、3D映像視聴が可能となるため、制御信号出力部43や機器制御信号送信端子44から同期信号や制御信号を出力する必要はない。
また、このほか、色による左右の目の映像を分離させるカラー分離方式を用いてもよい。また、裸眼で視聴可能な視差障壁を利用して3D映像を作り出す視差障壁方式を用いてもよい。
なお、本発明に係る3D表示方式は特定の方式に限定されるものではない。
<番組情報を利用した3D番組の具体的な判定方法の例>
3D番組の判定方法の例としては、既に説明した放送信号および再生信号の番組情報に含まれる各種テーブルや記述子から、新たに含めた3D番組か否かを判定する情報を取得し、3D番組か否かを判定することが可能である。
PMTや、EIT[schedule basic/schedule extended/present/following]、といったテーブルの中に記載の、コンポーネント記述子、コンポーネントグループ記述子に新たに含められた3D番組か否かを判定する情報を確認する、または3D番組判定用の新たな記述子である3D番組詳細記述子を確認する、NITや、SDT、といったテーブルの中に記載の、サービス記述子、サービスリスト記述子などに新たに含められた3D番組か否かを判定する情報を確認する、などにより3D番組か否かを判定する。これらの情報は、前述した送信装置において放送信号に付与され、送信される。送信装置では、例えば管理情報付与部16によってこれらの情報が放送信号に付与される。
それぞれのテーブルの使い分けとしては、例えばPMTについては現在の番組の情報しか記載していないため、未来の番組の情報については確認することができないが、信頼度は高いといった特徴がある。一方EIT[schedule basic/schedule extended]については現在の番組だけでなく未来の番組の情報を取得できるが、受信完了までの時間が長く、保持する記憶領域が多く必要で、かつ未来の事象のため信頼度が低いなどのデメリットがある。EIT[following]については次の放送時間の番組の情報を取得できるため、本実施例への適用については好適である。またEIT[present]については現在の番組情報の取得に使用でき、PMTとは異なる情報を入手できる。
次に、送信装置1から送出された、図4、図6、図10、図12、図14で説明した番組情報に関係する受信装置4の処理の詳細例を説明する。
図20は、受信装置4における、コンポーネント記述子の各フィールドに対する処理の一例を示す。
「descriptor_tag」が“0x50”だと、当該記述子がコンポーネント記述子であると判断する。「descriptor_length」により、コンポーネント記述子の記述子長であると判断する。「stream_content」が“0x01”,“0x05”,“0x06”,“0x07”だと、当該記述子は有効(映像)である判断する。“0x01”,“0x05”,“0x06”,“0x07”以外の場合、当該記述子は無効である判断する。「stream_content」が“0x01”,“0x05”,“0x06”,“0x07”の場合、以降の処理を行う。
「component_type」は、当該コンポーネントの映像コンポーネント種別と判断する。このコンポーネント種別については、図5のいずれかの値が指定されている。この内容により、当該コンポーネントが3D映像番組についてのコンポーネントか否かが判断可能である。
「component_tag」は、当該番組内で一意となるコンポーネントタグ値で、PMT のストリーム識別子のコンポーネントタグ値と対応させて利用できる。
「ISO_639_language_code」は、当該コンポーネントの言語、およびこの記述子に含まれる文字記述の言語を識別する。例えば値が“jpn(”0x6A706E“)”であれば、後に配置される文字コードを”jpn”(日本語)として扱う。
「text_char」は、16byte(全角8 文字)以内をコンポーネント記述と判断する。このフィールドが省略された場合はデフォルトのコンポーネント記述と判断する。デフォルト文字列は「映像」である。
以上説明したように、コンポーネント記述子はイベント(番組)を構成する映像コンポーネント種別を判断でき、コンポーネント記述を受信機における映像コンポーネント選択の際に利用する事ができる。
なお、component_tag値が0x00〜0x0F の値に設定された映像コンポーネントのみを単独での選択対象とする。前記以外のcomponent_tag 値で設定された映像コンポーネントは、単独での選択対象とはならず、コンポーネント選択機能などの対象としてはならない。
また、イベント(番組)中のモード変更などにより、コンポーネント記述が実際のコンポーネントと一致しないことが有る。(コンポーネント記述子のcomponent_type は、当該コンポーネントの代表的なコンポーネント種別を記載し、番組途中でのモード変更に対しリアルタイムでこの値を変えるようなことは行わない。)
また、コンポーネント記述子により記載されたcomponent_type は、デジタル記録機器におけるコピー世代を制御する情報および最大伝送レートの記述であるデジタルコピー制御記述子が当該イベント(番組)に対して省略された場合のデフォルトのmaximum_bit_rate を判断する際に参照される。
このように受信装置4における、本記述子の各フィールドに対する処理をおこなうことにより、受信装置4がstream_contentとcomponent_typeを監視することで、現在受信している、あるいは将来受信する番組が3D番組であることを認識できる効果がある。
図21は、受信装置4における、コンポーネントグループ記述子の各フィールドに対する処理の一例を示す。
「descriptor_tag」が“0xD9”だと、当該記述子がコンポーネントグループ記述子であると判断する。「descriptor_length」により、コンポーネントグループ記述子の記述子長であると判断する。
「component_group_type」が‘000’ だと、マルチビューテレビサービスと判断し、‘001’ だと、3Dテレビサービスと判断する。
「total_bit_rate_flag」が’0’だと、イベント(番組)中のグループ内の総ビットレートが当該記述子に記載されていないと判断する。’1’だと、イベント(番組)中のグループ内の総ビットレートが当該記述子に記載されていると判断する。
「num_of_group」は、イベント(番組)内でのコンポーネントグループの数と判断する。最大値が存在しこれを越えた場合には最大値として処理する可能性がある。
「component_group_id」は、”0x0”だと、メイングループと判断する。”0x0”以外だと、サブグループと判断する。
「num_of_CA_unit」は、コンポーネントグループ内での課金/非課金単位の数と判断する。最大値を越えた場合には2 として処理する可能性がある。
「CA_unit_id」が“0x0”だと、非課金単位グループと判断する。“0x1”だと、デフォルトES群を含む課金単位と判断する。“0x0”と“0x1”以外だと、上記以外の課金単位識別と判断する。
「num_of_component」は、当該コンポーネントグループに属し、かつ直前のCA_unit_id で示される課金/非課金単位に属するコンポーネントの数と判断する。最大値を越えた場合には15として処理する可能性がある。
「component_tag」は、コンポーネントグループに属するコンポーネントタグ値と判断し、PMTのストリーム識別子のコンポーネントタグ値と対応させて利用できる。
「total_bit_rate」は、コンポーネントグループ内の総ビットレートと判断する。ただし、”0x00”の際はデフォルトと判断する。
「text_length」が16(全角8 文字)以下だとコンポーネントグループ記述長と判断し、16(全角8 文字)より大きいと、コンポーネントグループ記述長が16(全角8文字)を超えた分の説明文は無視して良い。
「text_char」は、コンポーネントグループに関する説明文を指す。なお、component_group_type=’000’のコンポーネントグループ記述子の配置によって、当該イベント(番組)においてマルチビューテレビサービスを行うと判断し、コンポーネントグループ毎の処理に利用することができる。
また、component_group_type=’001’のコンポーネントグループ記述子の配置によって、当該イベント(番組)において3Dテレビサービスを行うと判断し、コンポーネントグループ毎の処理に利用することができる。
さらに、各グループのデフォルトES群は、CA_unit ループ先頭に配置されるコンポーネントループ中に必ず記載する。
メイングループ(component_group_id=0x0)において、
・グループのデフォルトES群が非課金対象ならば、free_CA_mode=0 とし、CA_unit_id=0x1 のコンポーネントループを設定してはならない。
・グループのデフォルトES群が課金対象ならば、free_CA_mode=1 とし、CA_unit_id=”0x1”のコンポーネントループを必ず設定し、記載する。
また、サブグループ(component_group_id>0x0)において、
・サブグループに対しては、メイングループと同じ課金単位、あるいは非課金単位のみ設定できる。
・グループのデフォルトES群が非課金対象ならば、CA_unit_id=0x0 のコンポーネントループを設定し、記載する。
・グループのデフォルトES群が課金対象ならば、CA_unit_id=0x1 のコンポーネントループを設定し、記載する。
このように受信装置4における、本記述子の各フィールドに対する処理をおこなうことにより、受信装置4がcomponent_group_typeを監視することで、現在受信している、あるいは将来受信する番組が3D番組であることを認識できる効果がある。
図22は、受信装置4における、3D番組詳細記述子の各フィールドに対する処理の一例を示す。
「descriptor_tag」が“0xE1”だと、当該記述子が3D番組詳細記述子であると判断する。「descriptor_length」により、3D番組詳細記述子の記述子長であると判断する。「3d_2d_type」は、当該3D番組における3D/2D識別であると判断する。図10(b)の中から指定される。「3d_method_type」は、当該3D番組における3D方式識別であると判断する。図11の中から指定される。
「stream_type」は、当該3D番組のESの形式であると判断する。図3の中から指定される。「component_tag」は、当該3D番組内で一意となるコンポーネントタグ値であると判断する。PMT のストリーム識別子のコンポーネントタグ値と対応させて利用できる。
なお、3D番組詳細記述子自体の有無により、当該番組が3D映像番組であるか否かを判断する構成としてもよい。すなわち、この場合は、3D番組詳細記述子がなければ、2D映像番組と判断し、3D番組詳細記述子がある場合には、3D映像番組であると判断する。
このように受信装置4における、本記述子の各フィールドに対する処理をおこなうことにより、受信装置4が3D番組詳細記述子を監視することで、この記述子が存在すれば、現在受信している、あるいは将来受信する番組が3D番組であることを認識できる効果がある。
図23は、受信装置4における、サービス記述子の各フィールドに対する処理の一例を示す。「descriptor_tag」が“0x48”だと、当該記述子がサービス記述子であると判断する。「descriptor_length」により、サービス記述子の記述子長であると判断する。「service_type」は、図13に示されたservice_type 以外の場合は当該記述子を無効と判断する。
「service_provider_name_length」は、BS/CSデジタルテレビジョン放送の受信の場合には、20以下だと、事業者名長と判断し、20より大きいと、事業者名を無効と判断する。一方、地上デジタルテレビジョン放送の受信の場合には、“0x00”以外は無効と判断する。
「char」は、BS/CSデジタルテレビジョン放送の受信の場合には、事業者名と判断する。一方、地上デジタルテレビジョン放送の受信の場合には、記載内容は無視する。「service_name_length」が20以下だと、編成チャンネル名長と判断し、20より大きいと、編成チャンネル名を無効と判断する。
「char」は、編成チャンネル名と判断する。なお、上記図18で説明した送出運用規則の一例に従い記述子を配置したSDTを受信できなければ、対象サービスの基本情報は無効であると判断する。
このように受信装置4における、本記述子の各フィールドに対する処理をおこなうことにより、受信装置4がservice_typeを監視することで、編成チャンネルが3D番組のチャンネルであることを認識できる効果がある。
図24は、受信装置4における、サービスリスト記述子の各フィールドに対する処理の一例を示す。「descriptor_tag」が“0x41”だと、当該記述子がサービスリスト記述子であると判断する。「descriptor_length」により、サービスリスト記述子の記述子長であると判断する。
「loop」は、対象トランスポートストリームに含まれるサービス数のループを記述する。「service_id」は、当該トランスポートストリームに対するservice_id と判断する。「service_type」は、対象サービスのサービスタイプを示す。図13で規定されるサービスタイプ以外は無効と判断する。
以上説明したように、サービスリスト記述子は対象ネットワークに含まれるトランスポートストリームの情報と判断することができる。
このように受信装置4における、本記述子の各フィールドに対する処理をおこなうことにより、受信装置4がservice_typeを監視することで、編成チャンネルが3D番組のチャンネルであることを認識できる効果がある。
次に各テーブル内の具体的な記述子について説明する。まず、PMTの2ndループ(ES毎のループ)に記載のstream_typeの中のデータの種類により、上記図3で説明したようにESの形式を判定することができるが、この中に、現在放送されているストリームが3D映像であることを示す記述が存在する場合には、その番組を3D番組と判定する(例えば、stream_typeに多視点映像符号化(例:H.264/MVC)ストリームのサブビットストリーム(他の視点)を示す0x1Fがあれば、その番組を3D番組と判定する。
また、stream_type以外にも、PMTの中で現在reservedとされている領域について、新たに3D番組または2D番組を識別する2D/3D識別ビットを割り当て、その領域で判定することも可能である。
EITについても同様にreservedの領域に新たに2D/3D識別ビットを割り当てして判定することも可能である。
PMTおよび/またはEITに配置されるコンポーネント記述子で3D番組を判定する場合は、上記図4および5で説明したようにコンポーネント記述子のcomponent_typeに、3D映像を示す種別を割り当て(例えば、図5(c)〜(e))、component_typeが3Dを表すものが存在すれば、その番組を3D番組と判定することが可能である。(例えば、図5(c)〜(e)などを割り当てし、その値が対象番組の番組情報に存在していることを確認する。)
EITに配置されるコンポーネントグループ記述子による判定方法としては、上記図6および7で説明したようにcomponent_group_typeの値に、3Dサービスを表す記述を割り当て、component_group_typeの値が、3Dサービスを表していれば、3D番組と判別可能である(例えば、ビットフィールドで001は、3DTVサービスなどを割り当てし、その値が対象番組の番組情報に存在していることを確認する。)
PMTおよび/またはEITに配置される3D番組詳細記述子による判定方法としては、上記図10および11で説明したように対象の番組が3D番組であるか判定する場合には、3D番組詳細記述子内の3d_2d _type(3D/2D種別)の内容により判定可能である。また、受信番組について3D番組詳細記述子が伝送されていない無い場合は、2D番組と判断する。また、前記記述子の中に含まれる3D方式種別(上記3d_method_type)に受信装置が対応可能な3D方式であれば、次番組を3D番組と判定する方法も考えられる。その場合には、記述子の解析処理は複雑になるが、受信装置が対応不可能な3D番組に対してメッセージ表示処理や記録処理を行う動作を中止することが可能になる。
SDTに配置されるサービス記述子やNITに配置されるサービスリスト記述子に含まれるservice_typeの情報に、上記図12および13および14で説明したように0x01に3D映像サービスを割り当て、当該記述子がある番組情報を取得した場合に、3D番組として判定することが可能である。この場合には、番組単位での判定ではなく、サービス(CH、編成チャンネル)単位での判定となり、同一編成チャンネル内での次番組の3D番組判定はできないが、情報の取得が番組単位でないため容易といった利点もある。
また番組情報については、専用の通信路(放送信号、またはインターネット)を通じて取得する方法もある。その場合にも、番組の開始時間とCH(放送編成チャンネル、URLまたはIPアドレス)、その番組が3D番組かをあらわす識別子があれば、同様に3D番組判定は可能である。
以上の説明では、サービス(CH)または番組単位で3D映像か否かを判定するためのさまざまな情報(テーブルや記述子に含まれる情報)について説明したが、これらは本発明において必ずしも全て送信する必要はない。放送形態に合せて必要な情報を送信すればよい。これらの情報のうち、それぞれ単独の情報を確認して、サービス(CH)または番組単位で3D映像か否かを判定してもよく、複数の情報を組み合わせてサービス(CH)または番組単位で3D映像か否かを判定してもよい。複数の情報を組み合わせて判定する場合は、3D映像放送サービスであるが、一部の番組だけ2D映像であるなどの判定も可能となる。このような判定ができる場合は、受信装置で、例えばEPGでは当該サービスが「3D映像放送サービス」であることを明示することができ、かつ、当該サービスに3D映像番組以外に2D映像番組が混在していても、番組受信時に3D映像番組と2D映像番組とで表示制御等を切り替えることが可能となる。
なお、以上説明した3D番組の判定方法により、3D番組と判定された場合において、例えば図5(c)〜(e)で指定された3Dコンポーネントが受信装置4で適切に処理(表示、出力)することができる場合には3Dにて処理(再生、表示、出力)し、受信装置4で適切に処理(再生、表示、出力)することができない場合(例えば、指定された3D伝送方式に対応する3D映像再生機能がない場合など)には2Dにて処理(再生、表示、出力)してもよい。このとき、2D映像の表示、出力とともに、当該3D映像番組が、受信装置において適切に3D表示または3D出力できない旨を合せて表示してもよい。
この場合のメッセージ表示例を図50に示す。701は装置が表示または出力する画面全体、5001が、受信装置4が処理不能な3D方式種別であることをユーザーに示すメッセージの一例である。メッセージ5001には、エラーの種別を表すエラーコードや、3D方式種別(例えば3d_method_typeの値)やそれらを組み合わせた値を表示しても良い。これによりユーザーに対して受信装置内部の状況が判断可能になるなどのメリットがある。
このようにエラーメッセージを表示する場合の、システム制御部51の処理フロー例について、図51を用いて説明する。システム制御部51は番組情報解析部54から現在の番組の番組情報を取得し(S201)、現在の番組が3D番組か否かを上記の3D番組の判定方法により判定する。現在の番組が3D番組で無い場合(S202のno)、特に処理は行わない。現在の番組が3D番組の場合(S202のyes)、次に現在の番組の3D方式種別について、受信装置が対応しているかを確認する(S802)。具体的には前記番組情報に含まれる3D方式種別(例えば、前記3D番組詳細記述子記載の3d_method_type)が、受信装置4が対応している3D方式を表す値かを判定するなどの方法がある。対応可能な3D方式種別の値は、受信装置4の記憶部などに予め記憶しておき、当該判定にもちいればよい。判定の結果、受信装置が対応している3D方式種別の場合(S802のyes)、特にメッセージ表示等は行わない。受信装置が対応していない3D方式種別の場合(S802のno)、図49で示すような、機器未対応のメッセージ表示を行う(S803)。
このようにすれば、2D映像番組として放送された番組なのか、3D映像番組として放送された番組であるが受信装置で適切に処理できないため2D映像を表示しているのかをユーザが把握することができる。
<3D番組の、電子番組表表示例および画面表示の表示例>
図48に、3D番組を含む電子番組表の表示例を示す。電子番組表は主に放送信号に多重化され伝送されるEITに含まれる番組情報をもとに構成するが、それ以外にも放送における独自の多重化方式での番組情報データ送付や、インターネット経由での番組情報の送付なども行ってもよい。電子番組表に使用される情報は、イベント(番組)に関連する、番組名、放送開始時刻、放送期間、その他番組の詳細な情報(出演者、監督、映像や音声の復号化に関する情報、シリーズ名など)、などがあり、これらの情報をもとに図48のような電子番組表を構成する。なお、EITは、現在放送されている番組のみならず、将来放送される番組についても送信される。すなわち、受信装置では、現在受信している番組および将来受信する番組についてEITに含まれる情報を用いて、以下に示す電子番組表等の表示処理を行うことができる。
図の701は装置が表示または出力する画面全体、4801は前記画面上に提示された電子番組表全体を示しており、横軸がサービス(CH:チャンネル)、縦軸が時刻を表しており、この例ではサービス1CH、3CH、4CH、6CHの7:00〜12:00までの電子番組表を表示している。なお、電子番組表の表示の際は、現在受信している番組を再生せずに、電子番組表のみを表示してもよい。または、現在受信している番組の映像に電子番組表を重畳して表示しても良い。これらの処理は、図25の受信装置では、CPU21(システム制御部51、OSD作成部60)の制御により、映像変換処理部32で行えばよい。
この例において、電子番組表データ(例えばEIT)に含まれるイベント(番組)の中に、上記の方法で判定される3D番組が存在していた場合(例えば、図48の例において、3CHの8:00〜10:00で表示される矩形が表す番組)、その番組が3D番組であるとわかる、例えば4802のようなマーク(以下3D番組マーク)を、その番組に対してマークが付与されているとわかる範囲内(例えば番組を表す矩形の範囲内、もしくはその矩形の周囲の規定の範囲内)に表示する。このようにすることにより、ユーザーが電子番組表内でどの番組が3D番組かを容易に認識することが可能になる。
ここで3D番組マークの表示方法としては、4802の表示例以外に、例えば4803のように前記3d_method_typeの情報から該番組の3D方式種別を取得して判別し、3D放送の方式を表す文字やマークを表示しても良い。この例の場合では多視点符号化方式を表す“MVC”のマークが表示されている例を示している。この場合、ユーザーが電子番組表から、該番組が3D番組であるとともに、どのような3D方式種別で放送されているかを容易に判断できる。
また別の表示方法としては、4804の例のように、前記3d_method_typeから取得した3D方式種別が受信装置で対応していない場合、非対応を表すマーク(例えば図の“×”)や表示色を変える(図の網掛けのような表示を行う、またはグレー等に電子番組表示領域の色を変える)といった表示を行い、また該番組が、受信装置が対応している3D方式種別の場合には対応を表すマーク(例えば図の×の表示位置に、代わりに“○”を表示)するといったように、該番組の3D方式種別が、受信装置で対応しているかによって、表示内容を変更する方法が考えられる。このようにすることにより、ユーザーに対して該番組が、受信装置が対応している3D方式種別の番組か否かを容易に認識させることができる。
またこれらの表示を組み合わせて、番組の3D方式種別を表示しつつ、表示色を変えて自装置が非対応の3D方式種別と示す表示も可能である。その場合には、ユーザーは該番組の3D方式種別を確認しつつ、受信装置が対応している3D方式種別かを容易に判断可能である。
またユーザーがリモコンを介して電子番組表に表示されるカーソル(選択領域)を操作し、3D番組にカーソルのフォーカスがあたった場合に、選択されている領域とは別の領域に3D番組マークを表示してもよい。具体例としては、図49の4902に示すように、選択された前記番組が表す矩形の範囲外に、例えば番組の詳細な情報(例えば4901に示す、CH番号、放送時刻、番組名)と共に表示してもよい。なお、図49の例は、3D番組マーク表示4902や番組の詳細な情報表示4901のための領域を、電子番組表の番組一覧表示領域4903の外に設けたものである。
電子番組表の表示方法としては、その他にもユーザーがリモコンを介して特定の操作(例えばボタン押下、メニューでの設定)を行った場合、または3D番組専用の電子番組表を開いた場合、または3D対応の装置であれば、3D番組のみを電子番組表に表示しても良い。このようにするとユーザーが3D番組を探すことがより容易になる。
電子番組表以外にも、番組選局時や番組情報変更時、またはユーザーが特定ボタン(例えば“画面表示”)を押下した際に表示される、番組表示(例えばCHバナー)にも、3D番組マークを表示しても良い。上記と同様の3D番組判定方法により、現在番組が3D番組と判断した場合、図53の例のように、3D番組を2D表示している際の番組表示5301に前記3D番組マークを表示することも可能である。このようにすると、ユーザーが番組表を開かなくても、該番組が3D番組か否かを判断することが可能になる。この場合も、例えば5301に示す、CH番号、放送時刻、番組名などの番組の詳細な情報と共に表示してもよい。また、3D番組を3D表示している場合にも図53の表示をおこなってもよい。
ここで3D番組マークの表示については、上記3D番組の判定方法で用いられる記述子以外に、電子番組表の文字データ(例えばEITに含まれる短形式イベント記述子のtext_char部分)の特定位置(例えば先頭部分)に含まれる“3D”という文字であっても良い。この場合には、既存の受信装置であっても、ユーザーが電子番組表から3D番組を認識可能となる。
<3D2視点別ES伝送方式の3Dコンテンツの3D再生/出力/表示処理>
次に3Dコンテンツ(3D映像を含むデジタルコンテンツ)再生時の処理について説明する。ここではまず、図47に示すような、1つのTSに主視点映像ESと副視点映像ESが存在する、3D2視点別ES伝送方式の場合の再生処理について説明する。まずユーザーが3D出力/表示への切替指示(例えばリモコンの「3D」キー押下)等を行った場合、前記キーコードを受信したユーザー指示受信部52は、システム制御部51に対して3D映像への切替を指示する(なお、以下の処理は、3D2視点別ES伝送方式のコンテンツについて、3Dコンテンツの3D表示/出力へのユーザー切替指示以外の条件で3D出力/表示に切り替える場合でも同様の処理を行う)。次に、システム制御部51は、上記の方法で現在の番組が3D番組か否かを判定する。
現在の番組が3D番組であった場合には、システム制御部51はまず選局制御部59に対して、3D映像の出力を指示する。前記指示を受信した選局制御部59は、まず番組情報解析部54から主視点映像ESと副視点映像ESそれぞれについて、PID(packet ID)、および符号化方式(例えばH.264/MVC,MPEG2,H.264/AVCなど)を取得し、次に多重分離部29に対して前記主視点映像ESと副視点映像ESを多重分離して映像復号部30に出力するよう制御を行う。
ここで、例えば前記主視点映像ESは、映像復号部の1番入力、前記副視点映像ESは映像復号部の2番入力に入力するように、多重分離部29を制御する。その後選局制御部59は、復号制御部57に対して、映像復号部30の1番入力は主視点映像ESで2番入力は副視点映像ESという情報およびそれぞれの前記符号化方式を送信し、かつこれらのESを復号するように指示を行う。
図47に示す3D2視点別ES伝送方式の組合せ例2や組合せ例4のように、主視点映像ESと副視点映像ESで符号化方式が異なる3D番組を復号するために、映像復号部30は、それぞれの符号化方式に対応した、複数種類の復号機能を有するように構成すればよい。
図47に示す3D2視点別ES伝送方式の組合せ例1や組合せ例3のように、主視点映像ESと副視点映像ESで符号化方式が同じ3D番組を復号するために、映像復号部30は、単一の符号化方式に対応した復号機能のみを有する構成でもかまわない。この場合は、映像復号部30を安価に構成することができる。
前記指示を受信した復号制御部57は、主視点映像ESと副視点映像ESそれぞれの符号化方式に対応した復号を行い、左目用と右目用の映像信号を映像変換処理部32に出力する。ここで、システム制御部51は映像変換制御部61に対して、3D出力処理を行うように指示を行う。前記指示をシステム制御部51から受信した映像変換制御部61は、映像変換処理部32を制御して、映像出力41から出力する、または受信装置4が備えるディスプレイ47に3D映像を表示する。
当該3D再生/出力/表示方法について、図37を用いて説明する。
図37(a)は、3D2視点別ES伝送方式の3Dコンテンツの左右の視点の映像を交互に表示、出力するフレームシーケンシャル方式の出力、表示に対応する再生/出力/表示方法の説明図である。図の左側上部のフレーム列(M1,M2,M3,・・・)が、3D2視点別ES伝送方式のコンテンツの主視点(左目用)映像ESに含まれる複数のフレーム、図の左側下部のフレーム列(S1,S2,S3,・・・)が3D2視点別ES伝送方式のコンテンツの副視点(右目用)映像ESに含まれる複数のフレームを表している。映像変換処理部32では、前記入力された主視点(左目用)/副視点(右目用)映像信号の各フレームを、図の右側のフレーム列(M1,S1,M2,S2,M3,S3,・・・・・・)で表すように、交互にフレームを映像信号として出力/表示する。このような出力/表示方式によれば、各視点それぞれについてディスプレイに表示可能な解像度を最大に用いることができ、高解像度の3D表示が可能となる。
図36のシステム構成において、図37(a)の方式を用いる場合には、上記映像信号の出力とともに、それぞれの映像信号が主視点(左目)用、副視点(右目)用と判別可能な同期信号を制御信号43から出力する。前記映像信号と前記同期信号を受信した外部の映像出力装置は、前記映像信号を前記同期信号に合わせて主視点(左目用)、副視点(右目用)の映像を出力し、かつ3D視聴補助装置に同期信号を送信することにより3D表示を行うことが可能になる。なお、外部の映像出力装置から出力される同期信号は、外部の映像出力装置で生成してもよい。
また図35のシステム構成において、図37(a)の方式を用いて、前記映像信号を受信装置4が備えるディスプレイ47に表示する場合には、前記同期信号を機器制御信号送信部53および制御信号送受信部33を経由し、機器制御信号送信端子44から出力して、外部の3D視聴補助装置の制御(例えばアクティブシャッターの遮光切替)を行うことにより、3D表示を行う。
図37(b)は、3D2視点別ES伝送方式の3Dコンテンツの左右の視点の映像をディスプレイの異なる領域に表示する方式の出力、表示に対応する再生/出力/表示方法の説明図である。当該処理は、3D2視点別ES伝送方式のストリームを映像復号部30で復号し、映像変換処理部32で映像変換処理を行うものである。ここで、異なる領域に表示するとは、例えば、ディスプレイの奇数ラインと偶数ラインをそれぞれ主視点(左目)用、副視点(右目)用の表示領域として表示する等の方法がある。または、表示領域はライン単位でなくともよく、視点ごとに異なる画素を持つディスプレイの場合は、主視点(左目)用の複数の画素の組合せと副視点(右目)用の画素の複数の画素の組合せのそれぞれの表示領域とすればよい。例えば、上述した偏光方式の表示装置では、例えば、上記の異なる領域から、3D視聴補助装置の左目右目のそれぞれの偏光状態に対応した、互いに異なる偏光状態の映像を出力すればよい。このような出力/表示方式によれば、各視点それぞれについてディスプレイに表示可能な解像度は、図37(a)の方式よりも少なくなるが、主視点(左目)用の映像と副視点(右目)用の映像を同時に出力/表示可能であり、交互に表示する必要がない。これにより、図37(a)の方式よりもちらつきの少ない3D表示が可能となる。
なお、図35、図36のいずれのシステム構成においても、図37(b)の方式を用いる場合には、3D視聴補助装置は、偏光分離メガネであればよく、特に電子制御を行う必要がない。この場合、3D視聴補助装置をより安価に提供することが可能となる。
<3D2視点別ES伝送方式の3Dコンテンツの2D出力/表示処理>
3D2視点別ES伝送方式の3Dコンテンツの2D出力/表示を行う場合の動作について以下に説明する。ユーザーが2D映像への切替指示(例えばリモコンの「2D」キー押下)を行った場合、前記キーコードを受信したユーザー指示受信部52は、システム制御部51に対して2D映像への信号切替を指示する(なお、以下の処理は、3D2視点別ES伝送方式の3Dコンテンツの2D出力/表示へのユーザー切替指示以外の条件で2D出力/表示に切り替える場合でも同様の処理を行う)。次に、システム制御部51はまず選局制御部59に対して、2D映像の出力を指示する。
前記指示を受信した選局制御部59は、まず番組情報解析部54から2D映像用のES(前記主視点ES、またはデフォルトタグを持つES)のPIDを取得し、多重分離部29に対して前記ESを映像復号部30に出力するよう制御を行う。その後選局制御部59は復号制御部57に対して、前記ESを復号するように指示を行う。すなわち、3D2視点別ES伝送方式では、主視点と副視点とで、サブストリームまたはESが異なっているので、主視点のサブストリームまたはESのみを復号すればよい。
前記指示を受信した復号制御部57は映像復号部30を制御して前記ESの復号を行い、映像信号を映像変換処理部32に出力する。ここで、システム制御部51は映像変換制御部61に対して、映像の2D出力を行うように制御を行う。前記指示をシステム制御部51から受信した映像変換制御部61は、映像変換処理部32に2D映像信号を映像出力端子41から出力する、またはディスプレイ47に2D映像を表示する制御を行う。
当該2D出力/表示方法について、図38を用いて説明する。符号化映像の構成は図37と同様であるが、上記説明の通り、映像復号部30では第2のES(副視点映像ES)は復号されないため、映像変換処理部32復号される一方のES側の映像信号を図の右側のフレーム列(M1,M2,M3,・・・・・・)で表すような2D映像信号に変換して出力する。このようにして2D出力/表示を行う。
ここでは2D出力/表示の方法として右目用ESの復号を行わない方法について記載したが、3D表示時と同様に、左目用ESと右目用ESの両方の復号を行い、映像変換処理部32で右目用映像信号を間引く処理を実施することにより2D表示を行っても良い。その場合は復号処理や多重分離処理の切り替え処理が無くなり切り替え時間の低減やソフトウェア処理の簡略化などの効果が期待できる。
<Side-by-Side方式/Top-and-Bottom方式の3Dコンテンツの3D出力/表示処理>
次に1つの映像ESに左目用映像と右目用映像が存在する場合(例えばSide-by-Side方式やTop-and-Bottom方式のように1つの2D画面中に左目用映像と右目用映像とを格納する場合)の3Dコンテンツの再生処理を説明する。上記と同様にユーザーが3D映像への切替指示を行った場合、前記キーコードを受信したユーザー指示受信部52は、システム制御部51に対して3D映像への切替を指示する(なお、以下の処理は、Side-by-Side方式やTop-and-Bottom方式の3Dコンテンツの2D出力/表示へのユーザー切替指示以外の条件で2D出力/表示に切り替える場合でも同様の処理を行う)。次に、システム制御部51は、同様に上記の方法で現在の番組が3D番組か否かを判定する。
現在の番組が3D番組であった場合には、システム制御部51はまず選局制御部59に対して、3D映像の出力を指示する。前記指示を受信した選局制御部59は、まず番組情報解析部54から3D映像を含む3D映像ESのPID(packet ID)、および符号化方式(例えばMPEG2,H.264/AVC等)を取得し、次に多重分離部29に対して前記3D映像ESを多重分離して映像復号部30に出力するよう制御し、また映像復号部30に符号化方式に応じた復号化処理を行い、復号した映像信号を映像変換処理部32に出力するように制御を行う。
ここで、システム制御部51は映像変換制御部61に対して、3D出力処理を行うように指示を行う。前記指示をシステム制御部51から受信した映像変換制御部61は、入力された映像信号を左目用映像と右目用映像に分離してスケーリング等の加工(詳細は後述する)を行うように映像変換処理部32に対して指示を行う。映像変換処理部32は変換した映像信号を映像出力41から出力する、または受信装置4が備えるディスプレイ47に映像を表示する。
当該3D映像の再生/出力/表示方法について、図39を用いて説明する。
図39(a)は、Side-by-Side方式またはTop-and-Bottom方式の3Dコンテンツの左右の視点の映像を交互に表示、出力するフレームシーケンシャル方式の出力、表示に対応する再生/出力/表示方法の説明図である。符号化映像としてSide-by-Side方式、Top-and-Bottom方式の説明を併記して図示しているが、両者の異なる点は左目用映像と右目用映像の映像内の配置が異なる点のみのため、以下の説明ではSide-by-Side方式を用いて説明し、Top-and-Bottom方式の説明を省略する。図の左側のフレーム列(L1/R1,L2/R2,L3/R3・・・)が、左目用と右目用の映像が1フレームの左側/右側に配置されたSide-by-Side方式映像信号を表している。映像復号部30では、左目用と右目用の映像1フレームの左側/右側に配置された状態のSide-by-Side方式映像信号が復号され、映像変換処理部32では、前記復号されたSide-by-Side方式映像信号の各フレームを左目用映像と右目用映像になるように左右分離して、さらにスケーリング(出力映像の横サイズに合うように伸張/補間、または圧縮/間引等を実施)をする。さらに、図の右側のフレーム列(L1,R1,L2,R2,L3,R3,・・・・・・)で表すように、交互にフレームを映像信号として出力する。
図39(a)において、交互にフレームを出力/表示する出力/表示映像に変換した後の処理および、3D視聴補助装置への同期信号や制御信号の出力等については、既に説明した、図37(a)で説明した3D2視点別ES伝送方式の3Dコンテンツの3D再生/出力/表示処理と同様であるため、説明を省略する。
図39(b)は、Side-by-Side方式またはTop-and-Bottom方式の3Dコンテンツの左右の視点の映像をディスプレイの異なる領域に表示する方式の出力、表示に対応する再生/出力/表示方法の説明図である。図39(a)と同様に、符号化映像としてSide-by-Side方式、Top-and-Bottom方式の説明を併記して図示しているが、両者の異なる点は左目用映像と右目用映像の映像内の配置が異なる点のみのため、以下の説明ではSide-by-Side方式を用いて説明し、Top-and-Bottom方式の説明を省略する。図の左側のフレーム列(L1/R1,L2/R2,L3/R3・・・)が、左目用と右目用の映像が1フレームの左側/右側に配置されたSide-by-Side方式映像信号を表している。映像復号部30では、左目用と右目用の映像1フレームの左側/右側に配置された状態のSide-by-Side方式映像信号が復号され、映像変換処理部32では、前記復号されたSide-by-Side方式映像信号の各フレームを左目用映像と右目用映像になるように左右分離して、さらにスケーリング(出力映像の横サイズに合うように伸張/補間、または圧縮/間引等を実施)をする。さらに、スケーリングした左目用映像と右目用映像とを異なる異なる領域に出力、表示する。図37(b)での説明と同様に、ここで、異なる領域に表示するとは、例えば、ディスプレイの奇数ラインと偶数ラインをそれぞれ主視点(左目)用、副視点(右目)用の表示領域として表示する等の方法がある。その他、異なる領域への表示処理および偏光方式の表示装置での表示方法等は、図37(b)で説明した3D2視点別ES伝送方式の3Dコンテンツの3D再生/出力/表示処理と同様であるため、説明を省略する。
図39(b)の方式では、ディスプレイの垂直解像度と入力映像の垂直解像度とが同じであっても、左目用映像と右目用映像とをそれぞれディスプレイの奇数ラインと偶数ラインに出力、表示する場合は、それぞれの垂直の解像度を減らす必要がある場合があるが、このような場合も上記スケーリング処理において、左目用映像と右目用映像の表示領域の解像度に対応した間引を実施すればよい。
<Side-by-Side方式/Top-and-Bottom方式の3Dコンテンツの2D出力/表示処理>
Side-by-Side方式またはTop-and-Bottom方式の3Dコンテンツの2D表示を行う場合の各部の動作について下記に説明する。ユーザーが2D映像への切替指示(例えばリモコンの「2D」キー押下)を行った場合、前記キーコードを受信したユーザー指示受信部52は、システム制御部51に対して2D映像への信号切替を指示する(なお、以下の処理は、Side-by-Side方式またはTop-and-Bottom方式の3Dコンテンツの2D出力/表示へのユーザー切替指示以外の条件で2D出力/表示に切り替える場合でも同様の処理を行う)。前記指示を受信したシステム制御部51は映像変換制御部61に対して、2D映像の出力を指示する。前記指示をシステム制御部51から受信した映像変換制御部61は、映像変換処理部32に入力された前記映像信号に対して、2D映像出力を行うように制御を行う。
映像の2D出力/表示方法について、図40を用いて説明する。図40(a)はSide-by-Side方式、図40(b)はTop-and-Bottom方式の説明を図示しており、どちらも左目用映像と右目用映像の映像内の配置が異なるのみのため、説明は図40(a)のSide-by-Side方式を用いて説明する。図の左側のフレーム列(L1/R1,L2/R2,L3/R3・・・)が、左目用と右目用の映像信号が、1フレームの左側/右側に配置されたSide-by-Side方式映像信号を表している。映像変換処理部32では、前記入力されたSide-by-Side方式映像信号の各フレームを左右の左目用映像、右目用映像の各フレームに分離した後、主視点映像(左目用映像)部分のみをスケーリングし、図の右側のフレーム列(L1,L2,L3,・・・・・・)で表すように、主視点映像(左目用映像)のみを映像信号として出力する。
映像変換処理部32は、上記処理を行った映像信号について、2D映像として映像出力41から出力し、制御信号43から制御信号を出力する。このようにして2D出力/表示を行う。
なお、Side-by-Side方式やTop-and-Bottom方式の3Dコンテンツを、1画像に2視点格納したそのままの2D出力/表示を行う例も図40(c)(d)に示す。例えば、図36のように、受信装置と視聴装置が別構成の場合などにおいて、受信装置からは復号したSide-by-Side方式やTop-and-Bottom方式の映像を1画像に2視点格納した映像のまま出力し、視聴装置で3D表示のための変換をおこなってもよい。
<現番組が3Dコンテンツであるか否かに基づく2D/3D映像表示処理フローの例>
次に、現番組が3Dコンテンツである場合、または現番組が3Dコンテンツになった場合のコンテンツの出力/表示処理について説明する。現番組が3Dコンテンツ番組である場合または3Dコンテンツ番組になった場合の3Dコンテンツの視聴に関して、無条件で3Dコンテンツの表示が開始されてしまうと、ユーザは当該コンテンツを視聴することはできず、ユーザの利便性を損ねるおそれがある。これに対し、以下に示す処理を行うことで、ユーザの利便性を向上させることができる。
図41は、番組の切り替わり時における現在番組や番組情報の変更などの契機で実行されるシステム制御部51の処理フローの一例である。図41の例では、2D番組でも、3D番組でも、まずは一方の視点(例えば主視点)の映像の2D表示を行うフローである。
システム制御部51は番組情報解析部54から現在の番組の番組情報を取得し、現在の番組が3D番組か否かを上記の3D番組の判定方法により判定し、さらに現在の番組の3D方式種別(例えば2視点別ES伝送方式/Side-by-Side方式など、例えば3D番組詳細記述子に記載の3D方式種別から判断)を同様に番組情報解析部54から取得する(S401)。なお、現在番組の番組情報の取得は、番組の切り替わり時に限らず、定期的に取得しても良い。
判定の結果、現在の番組が3D番組で無い場合(S402のno)、2Dの映像を2Dで表示するように制御を行う(S403)。
現在の番組が3D番組の場合(S402のyes)、システム制御部51は、図38や図40(a)(b)で説明した方法で、それぞれの3D方式種別に対応した形式で3D映像信号の一方の視点(例えば主視点)を2D表示するように制御を行う(S404)。このとき、3D番組である旨を示す表示を番組の2D表示映像に重畳して表示してもよい。このようにして、現在の番組が3D番組の場合に、一方の視点(例えば主視点)の映像を2D表示する。
なお、選局動作を行い、現在の番組が変更になった場合にも、システム制御部51において上記のフローが実施される。
このように、現在番組が3D番組である場合に、とりあえず一方の視点(例えば主視点)の映像の2D表示とする。これにより、ユーザが3D視聴補助装置を装着していない等、ユーザの3D視聴準備が整っていなくとも、ユーザはとりあえず2D番組とほぼ同様に視聴することが可能となる。特に、Side-by-Side方式やTop-and-Bottom方式の3Dコンテンツの場合には、図40(c)(d)に示すように、1画像に2視点格納した映像のまま出力するのではなく、図40(a)(b)に示すように、一方の視点の2D出力/表示とすることにより、1画像に2視点格納した映像を一方の視点のを2D表示する指示を、リモコン等を介してユーザが手動で行わなくとも、ユーザが通常の2D番組と同様に視聴することが可能となる。
次に、図42は、例えばステップS404で映像を2D表示するとともにシステム制御部51がOSD作成部60に表示させるメッセージの一例である。ユーザーに3D番組が開始されたことを通知するメッセージを表示し、さらにユーザーが応答を行うオブジェクト(以下ユーザー応答受信オブジェクト:例えばOSD上のボタン)1602を表示し、その後の動作を選択させる。
メッセージ1601表示時、例えばユーザーがリモコンの“OK”ボタンを押下した場合、ユーザー指示受信部52は“OK”が押下されたことをシステム制御部51に通知する。
図42の画面表示におけるユーザー選択の判定方法の一例としては、ユーザーがリモコンを操作し、リモコンの<3D>ボタンを押下した場合または画面の「OK/3D」にカーソルを合わせリモコンの<OK>ボタンを押下した場合は、ユーザー選択は“3D切替”と判定する。
または、ユーザーがリモコンの<キャンセル>ボタンまたは<戻る>ボタンを押下した場合または画面の「キャンセル」にカーソルを合わせリモコンの<OK>を押下した場合は、ユーザー選択は“3D切替以外”と判定する。これ以外にも、例えばユーザーの3D視聴準備が完了したか否かの状態(3D視聴準備状態)がOKになる動作が行われた場合(例えば3Dメガネ装着)には、ユーザー選択は“3D切替”となる。
ユーザーが選択を行った後に実行されるシステム制御部51の処理フローについて、図43に示す。ユーザー選択結果を、システム制御部51はユーザー指示受信部52から取得する(S501)。ユーザー選択が、“3D切替”で無かった場合(S502のno)、映像は2D表示のまま終了し、特に処理は行わない。
ユーザーの選択が“3D切替”であった場合(S502のyes)、上記の3D表示方法で映像を3D表示(S504)する。
以上のフローにより、3D番組開始時には、一方の視点の映像を2D出力/表示しておき、ユーザーが操作や3D視聴準備などを行った後など、ユーザが3D視聴を行いたいときに、3D映像を出力/表示して映像を3Dで視聴をすることが可能となり、ユーザの都合に合せた視聴方法を提供することができる。
なお、図42の表示例では、ユーザーが応答を行うためのオブジェクトを表示したが、単純に「3D番組」等、当該番組が「3D視聴」に対応した番組であることを単に示す文字または、ロゴ、マーク等を表示するのみでもよい。この場合は、「3D視聴」に対応した番組であることを認識したユーザがリモコンの「3D」キーを押下げ、当該リモコンからの信号を受信したユーザー指示受信部52からシステム制御部51への通知を契機に2D表示から3D表示に切り替えを行えばよい。
さらに、ステップS404で表示するメッセージ表示の別の例としては、図42のように単純にOKだけでなく、番組の表示方式を2D映像にするか3D映像にするかを明記する方法も考えられる。その場合のメッセージと、ユーザー応答受信オブジェクトの例を図44に示す。
このようにすると図42のような“OK”の表示に比べ、ユーザーがボタン押下後の動作をより判断しやすくなる他、明示的に2Dでの表示を指示できるなど(1202に記載の“2Dで見る”押下時には、ユーザー3D視聴準備状態をNGと判定)、利便性が高まる。
図42または図44におけるメッセージ表示(1601または1201で表示するメッセージ)に替えて図52の(a)〜(c)に記載の5201、5202、5203のような注意喚起メッセージ表示をすることも考えられる。5201のようなメッセージを表示することにより、ユーザーに対して健康面への配慮をおこない、2D映像での視聴を促すことや、5202のようなメッセージを表示することにより、ユーザーに対して健康面での注意喚起を促すことや、5203のような、子供の視聴に対する保護者への注意喚起を促すことが可能になる。
さらに、これらのメッセージと共に、図42または図44に示したユーザー応答受信応答オブジェクトを画面に表示してもよい。その場合、ユーザーは前記メッセージを確認しながら、映像を2D/3Dに切り替える操作が可能になる。
これら図52(a)(b)(c)のメッセージを表示するタイミングとしては、上記例のように番組開始以前が、ユーザーが視聴の準備をするために好都合である。また、番組開始後に表示することや、3D映像への切り替えを行った際に表示することも可能である。番組開始時にメッセージ表示する場合は、例えば映像の切り替わり点であるため、ユーザーに対して該番組に関するメッセージであると認識させ、注意を引かせやすいというメリットがある。また、映像が3D映像へ切り替わったタイミング(例えばユーザーが3Dボタン押下時)でのメッセージ表示は、ユーザーが操作を行っている可能性が高く、ユーザーがメッセージを視認する可能性が高いというメリットがある。
また、図52(a)(b)(c)のメッセージを表示すると同時に、効果音を再生、出力することも考えられる。その場合はユーザーに対して前記メッセージへの注意をひきつける効果がある。前記効果音は、放送局側で、例えば3D放送番組を送出開始する、または3D放送に関連する記述子を送出開始する場合に音声ESやデータ放送ESに多重して送信し、受信した受信装置が再生、出力してもよい。また、受信装置が内蔵している効果音を再生、出力してもよい(例えば音声復号装置31の内部またはROMまたは記録媒体26からデータを読み出して復号出力)。
次に、3Dコンテンツの視聴に関して、3D番組視聴開始時に、特定の映像/音声を出力、または映像/音声をミュート(黒画面表示/表示停止、音声出力を停止)する例について説明する。これはユーザーが3D番組を視聴開始した場合に。無条件で3Dコンテンツの表示が開始されてしまうと、ユーザは当該コンテンツを視聴することはできず、ユーザの利便性を損ねるおそれがある。これに対し、以下に示す処理を行うことで、ユーザの利便性を向上させることができる。
この場合の3D番組開始時にシステム制御部51で実行される処理フローを図45に示す。図41の処理フローと異なる点は、S404の処理に代わり、特定映像音声を出力するステップ(S405)が追加された点である。
ここでいう特定映像音声とは、例えば映像であれば、3D準備を促すメッセージ、黒画面、番組の静止画、などが挙げられ、音声としては、無音、または固定パターンの音楽(環境音楽)などが挙げられる。
固定パターン映像(メッセージや環境映像、または3D映像等)の表示については、映像復号部30内部または図に記載していないROMまたは記録媒体26からデータを読み出し、映像復号部30が復号して出力することにより実現できる。黒画面の出力については、例えば映像復号部30が黒色を表す信号のみの映像を出力する、または映像変換処理部32が出力信号のミュートまたは黒映像の出力することにより実現できる。
また、固定パターン音声(無音、環境音楽)の場合も同様に、音声復号部31の内部またはROMまたは記録媒体26からデータを読み出して復号出力、出力信号のミュート等により実現できる。
番組映像の静止画の出力については、システム制御部51から記録再生制御部58に対して、番組の再生および映像の一時停止を指示することにより実現できる。ユーザー選択を実施した後のシステム制御部51の処理は上記と同様、図43のように実行する。
これによりユーザーが3D視聴準備を完了するまでの間、番組の映像や音声を出力しないことが可能になる。
前記の例と同様に、ステップS405で表示するメッセージ表示としては、図46のようになる。図42と異なる点は、表示されている映像および音声が異なるのみで、ひょうじされるメッセージやユーザー応答受信オブジェクトの構成、ユーザー応答受信オブジェクトの動作も同様である。
メッセージの表示については図46のように単純にOKだけでなく、番組の表示方式を2D映像にするか3D映像にするかを明記する方法も考えられる。その場合のメッセージと、ユーザー応答受信オブジェクトの例も図44と同様に表示可能であり、このようにすると前記のような“OK”の表示に比べ、ユーザーがボタン押下後の動作をより判断しやすくなる他、明示的に2Dでの表示を指示できるなど、前記の例と同様に利便性が高まる。
<次番組が3Dコンテンツであるか否かに基づく2D/3D映像表示処理フローの例>
次に、次番組が3Dコンテンツである場合のコンテンツの出力/表示処理について説明する。次番組が3Dコンテンツである場合の当該次番組である3Dコンテンツ番組の視聴に関して、ユーザが3Dコンテンツを視聴する状態ではないにもかかわらず、3Dコンテンツの表示が開始されてしまうと、ユーザはベストの状態で当該コンテンツを視聴することはできず、ユーザの利便性を損ねるおそれがある。これに対し、以下に示す処理を行うことで、ユーザの利便性を向上させることができる。
図27では、選局処理などにより次の番組開始までの時間が変化した場合や、放送局から送信される番組情報のEITに含まれる次番組の開始時刻または現在番組の終了時刻情報などにより、次の番組の開始時刻が変化したと判定した場合などに、システム制御部51で実行されるフローの一例である。まずシステム制御部51は番組情報解析部54から次の番組の番組情報を取得し(S101)、前記3D番組の判定方法により、次番組が3D番組か否かを判定する。
次番組が3D番組でない場合(S102のno)、特に処理は行わずに終了する。次番組が3D番組の場合(S102のyes)、次番組の開始までの時間を計算する。具体的には前記取得した番組情報のEITから次番組の開始時刻または現在番組の終了時刻を取得し、時間管理部55から現在時刻を取得して、その差分を計算する。
次番組開始までX分以下で無い場合(S103のno)、特に処理を行わずに次番組開始X分前となるまで待つ。次番組開始までX分以下の場合(S103のyes)、ユーザーに対して、3D番組がもうすぐ始まる旨のメッセージを表示する(S104)。
図28にその際のメッセージ表示の例を示す。701が装置が表示する画面全体、702に装置が表示するメッセージを示している。このようにして、3D番組が開始される以前に、ユーザーに対して3D視聴補助装置を準備させるように注意を促すことが可能となる。
上記番組開始前までの判定時間Xについては、Xを小さくすると番組開始までにユーザーの3D視聴準備が間に合わない可能性がある。またXを大きくすると、長期間メッセージ表示が視聴の妨げになる、準備が完了した後に間が空いてしまうというデメリットがあるため、適度な時間に調整する必要がある。
また、ユーザーに対してメッセージを表示する際に、具体的に次の番組の開始時間を表示しても良い。その場合の画面表示例を図29に示す。802が3D番組開始までの時間を表示したメッセージである。ここでは分単位での記載を行っているが、秒単位で記載を行っても良い。その場合には、より詳細な次番組の開始時間をユーザーが知ることができるが、処理負荷が高くなるというデメリットもある。
なお、図29には3D番組が開始されるまでの時間を表示する例を示したが、3D番組が開始される時刻を表示するようにしてもよい。午後9時に3D番組が開始される場合は、例えば「午後9時から3D番組が始まります。3Dメガネを着用して下さい。」というメッセージを表示すればよい。
このようなメッセージを表示することにより、ユーザーが具体的な次番組の開始時間を知り適切なペースで3D視聴の準備を行うことが可能になる。
また、図30のように、3D視聴補助装置使用時には立体的に見えるマーク(3Dチェックマーク)を付加することも考えられる。902が3D番組開始を予告するメッセージ、903が3D視聴補助装置使用時に立体に見えるマークである。これにより、3D番組開始前に、ユーザーが3D視聴補助装置の正常動作を確認することができる。例えば3D視聴補助装置に不具合(例えばバッテリー切れ、故障など)が発生した場合に、番組開始までに修理や交換等の対応を行うことも可能になる。
次に、次番組が3Dであることをユーザーに通知した後、ユーザーの3D視聴準備が完了したか否かの状態(3D視聴準備状態)を判定し、3D番組の映像を2D表示または3D表示に切り替える方法について説明する。
次番組が3Dであることをユーザーに通知する方法については、上述したとおりである。ただし、ステップS104でユーザーに表示するメッセージについて、ユーザーが応答を行うオブジェクト(以下ユーザー応答受信オブジェクト:例えばOSD上のボタン)が表示されている点が異なる。このメッセージの例について図31に示す。
1001はメッセージ全体、1002はユーザーが応答を行うためのボタンを表している。図31のメッセージ1001表示時、例えばユーザーがリモコンの“OK”ボタンを押下した場合、ユーザー指示受信部52は“OK”が押下されたことをシステム制御部51に通知する。
前記通知を受信したシステム制御部51は、ユーザーの3D視聴準備状態がOKであることを状態として保存する。次に時間が経過し、現在番組が3D番組になった場合のシステム制御部51の処理フローについて、図32を用いて説明する。
システム制御部51は番組情報解析部54から現在の番組の番組情報を取得し(S201)、現在の番組が3D番組か否かを上記の3D番組の判定方法により判定する。現在の番組が3D番組で無い場合(S202のno)、上記の方法で映像を2D表示するように制御を行う(S203)。
現在の番組が3D番組の場合(S202のyes)、次にユーザーの3D視聴準備状態を確認する(S204)。システム制御部51が保存している前記3D視聴準備状態が、OKで無い場合(S205のno)、同様に映像を2D表示するように制御を行う(S203)。
前記3D視聴準備状態がOKの場合(S205のyes)、上記の方法で映像を3D表示するように制御を行う(S206)。このようにして、現在の番組が3D番組でかつユーザーの3D視聴準備が完了したことを確認できた場合に、映像の3D表示を行う。
ステップS104で表示するメッセージ表示としては、図31のように単純にOKだけでなく、次番組の表示方式を2D映像にするか3D映像にするかを明記する方法も考えられる。その場合のメッセージと、ユーザー応答受信オブジェクトの例を図33および図34に示す。
このようにすると前記のような“OK”の表示に比べ、ユーザーがボタン押下後の動作をより判断しやすくなる他、明示的に2Dでの表示を指示できるなど(1202に記載の“2Dで見る”押下時には、ユーザー3D視聴準備状態をNGと判定)、利便性が高まる。
また、ユーザーの3D視聴準備状態の判定は、ここではリモコンでのユーザーメニューの操作としているが、他にも例えば3D視聴補助装置が発信するユーザー装着完了信号により、前記3D視聴準備状態を判定する方法や、撮像装置でユーザーの視聴状態を撮影し、前記撮影結果から画像認識やユーザーの顔認識を行い、3D視聴補助装置を着用していることを判定しても良い。
このように判定することにより、ユーザーが何か受信装置に対して操作を行う手間を省くことが可能になり、さらに誤操作で2D映像視聴と3D映像視聴を誤って設定してしまうことを避けることが可能になる。
また、別の方法としては、ユーザーがリモコンの<3D>ボタンを押下した場合に、3D視聴準備状態をOKと判断、ユーザーがリモコンの<2D>ボタンまたは<戻る>ボタンまたは<キャンセル>ボタンを押下した場合に、3D視聴準備状態をNGと判定する方法もある。この場合は明確で容易にユーザーが自分の状態を装置に通知できるが、誤操作や誤解による状態送信などのデメリットも考えられる。
また、上記例において、現在の番組の情報を取得せず、事前に取得した次の番組の番組情報のみを判定して処理を行うことも考えられる。この場合は、図32のステップS201において、現在の番組が3D番組かの判定を行なわず、事前に(例えば図27のステップS101)取得した番組情報を使用する方法も考えられる。この場合は処理構造が簡易になるなどのメリットが考えられるが、突如番組構成が変更になり、次番組が3D番組でなくなるような場合にも3D映像切替処理が実行される可能性があるなどのデメリットが存在する。
本実施例で説明した各ユーザーへのメッセージ表示については、ユーザー操作後に消去することが望ましい。その場合にはユーザーが操作を行った後には映像が視聴しやすいというメリットがある。また一定時間経過後についても同様に、ユーザーはすでにメッセージの情報を認識していると考え、メッセージを消去し、映像を視聴しやすい状態にすることがユーザーの利便性を高める。
上記で説明した実施例によれば、3D番組の開始部分について、事前にユーザーが3D視聴準備を完了できたり、3D番組の開始に間に合わない場合には記録再生機能を用いてユーザーが3D番組を視聴する準備が完了してから再度映像表示をさせたりするなど、より良い状態でユーザーが3D番組を視聴することが可能になる。また、ユーザーにとって望ましいと思われる表示方法(3D映像を視聴したい場合に3D映像表示、またはその逆)へ映像表示を自動的に切り替えるなど、ユーザーの利便性を高めることが可能になる。また、選局により3D番組へと切り替えた場合や、記録されている3D番組の再生開始時なども同様の効果が期待できる。
以上の説明においては、図10(a)で説明した3D番組詳細記述子をPMT(Program Map Table)やEIT(Event Information Table)などのテーブルに配置して伝送する例を説明した。これに替えて、またはこれに加えて、当該3D番組詳細記述子に含まれる情報を映像符号化時に映像とともに符号化するユーザデータ領域や付加情報領域に格納して伝送してもよい。この場合、これらの情報は番組の映像ES内に含まれることとなる。
格納する情報の、図10(b)で説明した3d_2d _type(3D/2D種別)情報や図11で説明した3d_method_type(3D方式種別)情報などが挙げられる。なお、格納する際には、3d_2d _type(3D/2D種別)情報と3d_method_type(3D方式種別)情報とは別情報でも良いが、3D映像か2D映像かを種別する情報と、当該3D映像がどの3D方式であるかをあわせて識別する情報としてもよい。
具体的には、映像符号化方式がMPEG2方式である場合には、Picture header、Picture Coding Extensionに続くユーザデータ領域に上記の3D/2D種別情報や3D方式種別情報を含めて符号化を行えばよい。
また、映像符号化方式がH.264/AVC方式である場合には、アクセスユニットに含まれる付加情報(supplemental enhancement information)領域に上記の3D/2D種別情報や3D方式種別情報を含めて符号化を行えばよい。
このように、ES内の映像の符号化層において3D映像/2D映像の種別を表す情報や3D方式の種別を表す情報を伝送することにより、映像のフレーム(ピクチャー)単位での識別が可能になるという効果がある。
この場合、PMT(Program Map Table)に格納した場合よりも、短い単位で上記識別が可能となるため、送信される映像における3D映像/2D映像の切り替わりに対する受信機の応答速度を向上させることが可能となり、3D映像/2D映像切り替わり時に生じる可能性があるノイズなどをより抑えることが可能となる。
また、PMT(Program Map Table)には、上記3D番組詳細記述子を配置せず、映像符号化時に映像とともに符号化する映像符号化層に上記情報を格納する場合は、従来の2D放送の放送局で新たに2D/3D混在放送を開始する際に、例えば、放送局側は、図2の送信装置1におけるエンコード部12のみを新たに2D/3D混在放送に対応する構成とすればよく、管理情報付与部16で付加するPMT(Program Map Table)の構成を変更する必要がなく、より低コストに2D/3D混在放送を開始することが可能となる。
なお、映像符号化時に映像とともに符号化されるユーザデータ領域や付加情報領域などの所定領域に、3d_2d _type(3D/2D種別)情報や3d_method_type(3D方式種別)情報などの3D関連情報(特に3D/2Dを識別する情報)が格納されていない場合には、受信機は、当該映像は2D映像であると判断する構成にしてもよい。この場合、放送局は、2D映像については、符号化処理時にこれらの情報の格納を省略することも可能となり、放送における処理工数が低減できる。
以上の説明において、番組(イベント)単位、サービス単位で3D映像を識別する識別情報を配置する例として、コンポーネント記述子、コンポーネントグループ記述子、サービス記述子、サービスリスト記述子などの番組情報に含める例や、新たに3D番組詳細記述子を設ける例を説明した。また、これらの記述子をPMT、EIT[schedule basic/schedule extended/present/following]、NIT、SDTなどのテーブルに含めて伝送することとした。
ここで、さらに別の例として、図54に示すコンテント記述子(Content descriptor)に3D番組(イベント)の識別情報を配置する例を説明する。
図54は、番組情報の一つであるコンテント記述子の構造の一例を示す。コンテント記述子は、イベント(番組)のジャンルに関する情報を記述する。この記述子はEITに配置する。コンテント記述子には、イベント(番組)のジャンル情報のほか、番組特性を示す情報を記述できる。
コンテント記述子の構造は次の通りである。descriptor_tagは記述子自体を識別するための8ビットのフィールドで、この記述子がコンテント記述子と識別可能な値“0x54”が記載される。descriptor_lengthは8ビットのフィールドで、この記述子のサイズを記載している。
content_nibble_level_1(ジャンル1)は4ビットのフィールドで、コンテント識別の第一段階分類を表す。具体的には、番組ジャンルの大分類を記述する。番組特性を示す際には”0xE”を指定する。
content_nibble_level_2(ジャンル2)は4ビットのフィールドで、content_nibble_level_1(ジャンル1)より詳細なコンテント識別の第二段階分類を表す。具体的には、番組ジャンルの中分類を記述する。content_nibble_level1=”0xE”のときは、番組特性コード表の種類を記述する。
user_nibble(ユーザジャンル)は4ビットのフィールドで、content_nibble_level1=”0xE”としたときのみ、番組特性を記述する。その他の場合は、”0xFF”(未定義)とする。図54に示すようにuser_nibbleの4ビットのフィールドは二つ配置可能であり、当該二つのuser_nibbleの値の組合せ(以下、先に配置されるビットを「第1のuser_nibbleビット」、後に配置されるビットを「第2のuser_nibbleビット」と称する)により、番組特性を定義することができる。
当該コンテント記述子を受信した受信機は、descriptor_tagが“0x54”であれば、当該記述子はコンテント記述子と判断する。また、descriptor_lengthにより、本記述子で記述されるデータの終わりを判断できる。さらにdescriptor_lengthに示される長さ以下の部分の記述を有効と判断し、超えた部分の記述は無視して処理を行う。
また、受信機は、content_nibble_level_1の値が“0xE”か否かを判断し、“0xE”ではないときは、番組ジャンルの大分類であると判断する。“0xE”ではないときはジャンルとして判断せず、後続のuser_nibble で何らかの番組特性が指定されていると判断する。
受信機は、上記content_nibble_level_1の値が“0xE”でなかった場合には、content_nibble_level_2を番組ジャンルの中分類と判断し、番組ジャンルの大分類と共に、検索、表示等に利用する。上記content_nibble_level_1の値が“0xE”であった場合には、第1のuser_nibbleビットと第2のuser_nibbleビットの組合せにより定義される番組特性コード表の種類を示すと判断する。
受信機は、上記content_nibble_level_1の値が“0xE”である場合には、第1のuser_nibbleビット、第2のuser_nibbleビットを組合せにより番組特性を示すビットと判断する。上記content_nibble_level_1の値が“0xE”でない場合には、第1のuser_nibbleビット、第2のuser_nibbleビットにいかなる値が入っていても無視する。
よって、放送局は、当該コンテント記述子のcontent_nibble_level_1の値を“0xE”としない場合、content_nibble_level_1の値とcontent_nibble_level_2の値の組合せによって、受信機に対象イベント(番組)のジャンル情報を伝送することができる。
ここで、例えば、図55に示すように、content_nibble_level_1の値が“0x0”の場合、番組ジャンルの大分類を「ニュース/報道」と定義し、content_nibble_level_1の値が“0x0”であってcontent_nibble_level_2の値が”0x1”の場合を「天気」と定義し、content_nibble_level_1の値が“0x0”であってcontent_nibble_level_2の値が”0x2”の場合を「特集・ドキュメント」と定義し、content_nibble_level_1の値が“0x1”の場合、番組ジャンルの大分類を「スポーツ」と定義し、content_nibble_level_1の値が“0x1”であってcontent_nibble_level_2の値が”0x1”の場合を「野球」と定義し、content_nibble_level_1の値が“0x1”であってcontent_nibble_level_2の値が”0x2”の場合を「サッカー」と定義した場合について説明する。
この場合、受信機は、content_nibble_level_1の値により、番組ジャンルの大分類が「ニュース/報道」なのか「スポーツ」なのか判断することが可能となり、content_nibble_level_1の値とcontent_nibble_level_2の値の組合せにより、「ニュース/報道」や「スポーツ」などの番組ジャンルの大分類よりも下位の番組ジャンルである番組ジャンルの中分類まで判断することが可能となる。
なお、当該判断処理を実現するためには、受信機の有する記憶部にcontent_nibble_level_1の値とcontent_nibble_level_2の値の組合せと番組ジャンルの定義の対応関係を示すジャンルコード表情報を予め記憶しておけばよい。
ここで、当該コンテント記述子を用いて対象イベント(番組)の3D番組関連の番組特性情報を伝送する場合について説明する。以下では、3D番組の識別情報を番組ジャンルではなく番組特性として伝送する場合について説明する。
まず、コンテント記述子を用いて3D番組関連の番組特性情報を伝送する場合に、放送局は、コンテント記述子のcontent_nibble_level_1の値を“0xE”として伝送する。これにより、受信機は、当該コンテント記述子が伝送する情報が対象イベント(番組)のジャンル情報ではなく対象イベント(番組)の番組特性情報であると判断できる。また、これによりコンテント記述子に記述される第1のuser_nibbleビットと第2のuser_nibbleビットとがその組合せにより番組特性情報を示すものであると判断することができる。
ここで、例えば、図56に示すように、第1のuser_nibbleビットの値が“0x3”の場合、該コンテント記述子が伝送する対象イベント(番組)の番組特性情報が「3D番組関連の番組特性情報」であると定義し、第1のuser_nibbleビットの値が“0x3”であって第2のuser_nibbleビットの値が“0x0”の場合の番組特性を「対象イベント(番組)に3D映像が含まれない」と定義し、第1のuser_nibbleビットの値が“0x3”であって第2のuser_nibbleビットの値が“0x1”の場合の番組特性を「対象イベント(番組)の映像は3D映像である」と定義し、第1のuser_nibbleビットの値が“0x3”であって第2のuser_nibbleビットの値が“0x2”の場合の番組特性を「対象イベント(番組)中に3D映像と2D映像とが含まれる」と定義した場合について説明する。
この場合、受信機は、第1のuser_nibbleビットの値と第2のuser_nibbleビットの値の組合せによって、対象イベント(番組)の3D番組関連の番組特性を判断可能となり、当該コンテント記述子が含まれるEITを受信した受信機は、電子番組表(EPG)表示において、将来受信するまたは現在受信している番組について「3D映像が含まれない」旨、当該番組について「3D映像番組である」旨、当該番組について「3D映像と2D映像とが含まれる」旨の説明の表示や、その旨を示す図形の表示を行うことが可能となる。
また、当該コンテント記述子が含まれるEITを受信した受信機は、3D映像が含まれない番組、3D映像が含まれる番組、3D映像と2D映像とが含まれる番組等の検索が可能となり、該当番組の一覧表示等を行うことが可能となる。
なお、当該判断処理を実現するためには、受信機の有する記憶部に第1のuser_nibbleビットの値と第2のuser_nibbleビットの値の組合せと番組特性の定義の対応関係を示す番組特性コード表情報を予め記憶しておけばよい。
また、3D番組関連の番組特性情報の別の定義例として、例えば、図57に示すように、第1のuser_nibbleビットの値が“0x3”の場合、該コンテント記述子が伝送する対象イベント(番組)の番組特性情報が「3D番組関連の番組特性情報」であると定義し、第1のuser_nibbleビットの値が“0x3”であって第2のuser_nibbleビットの値が“0x0”の場合の番組特性を「対象イベント(番組)に3D映像が含まれない」と定義し、第1のuser_nibbleビットの値が“0x3”であって第2のuser_nibbleビットの値が“0x1”の場合の番組特性を「対象イベント(番組)に3D映像が含まれ、その3D映像伝送方式がSide-by-Side方式である」と定義し、第1のuser_nibbleビットの値が“0x3”であって第2のuser_nibbleビットの値が“0x2”の場合の番組特性を「対象イベント(番組)に3D映像が含まれ、その3D映像伝送方式がTop-and-Bottom方式である」と定義し、第1のuser_nibbleビットの値が“0x3”であって第2のuser_nibbleビットの値が“0x3”の場合の番組特性を「対象イベント(番組)に3D映像が含まれ、その3D映像伝送方式が3D2視点別ES伝送方式である」と定義した場合について説明する。
この場合、受信機は、第1のuser_nibbleビットの値と第2のuser_nibbleビットの値の組合せによって、対象イベント(番組)の3D番組関連の番組特性を判断可能となり、対象イベント(番組)に3D映像が含まれるかのみならず、3D映像が含まれる場合の3D伝送方式を判断することが可能となる。受信機が対応可能(3D再生可能)な3D伝送方式の情報を予め受信機が有する記憶部に記憶しておけば、受信機は、予め記憶部に記憶した当該対応(再生)可能な3D伝送方式の情報と、EITに含まれるコンテント記述子により判断した対象イベント(番組)の3D伝送方式の情報を比較することにより、電子番組表(EPG)表示において、将来受信するまたは現在受信している番組について「3D映像が含まれない」旨、当該番組について「3D映像が含まれ、本受信機で3D再生が可能である」旨、当該番組について「3D映像が含まれるが、本受信機で3D再生はできない」旨の説明の表示や、その旨を示す図形の表示を行うことが可能となる。
また、上記の例では、第1のuser_nibbleビットの値が“0x3”であって第2のuser_nibbleビットの値が“0x3”の場合の番組特性を「対象イベント(番組)に3D映像が含まれ、その3D映像伝送方式が3D2視点別ES伝送方式である」と定義したが、図47に示す「3D2視点別ES伝送方式」の詳細なストリーム組合せごとに第2のuser_nibbleビットの値を用意してもよい。このようにすれば、受信機においてさらに詳細な識別が可能となる。
また、対象イベント(番組)の3D伝送方式の情報を表示しても良い。
また、当該コンテント記述子が含まれるEITを受信した受信機は、3D映像が含まれない番組、3D映像が含まれ本受信機で3D再生可能な番組、3D映像が含まれるが本受信機で3D再生できない番組等の検索が可能となり、該当番組の一覧表示等を行うことが可能となる。
また、3D映像が含まれる番組について3D伝送方式ごとに番組検索も可能となり、3D伝送方式ごと番組の一覧表示を行うことも可能となる。なお、3D映像が含まれるが本受信機で3D再生できない番組の検索や3D伝送方式ごとの番組検索は、例えば、本受信機では3D再生できなくとも、利用者が有する他の3D映像番組再生機器において再生可能である場合に有効である。本受信機で3D再生できない3D映像が含まれる番組であっても、本受信機の映像出力部から他の3D映像番組再生機器に当該番組をトランスポートストリーム形式のまま出力して、3D映像番組再生機器で、受信したランスポートストリーム形式の番組を3D再生することも可能であり、また、本受信機にリムーバブルメディアへのコンテンツを記録する記録部があれば、リムーバブルメディアへ当該番組を記録して、上記他の3D映像番組再生機器で当該リムーバブルメディアに記録された上記番組を3D再生することも可能だからである。
なお、当該判断処理を実現するためには、受信機の有する記憶部に、第1のuser_nibbleビットの値と第2のuser_nibbleビットの値の組合せと番組特性の定義の対応関係を示す番組特性コード表情報と、受信機が対応可能(3D再生可能)な3D伝送方式の情報とを予め記憶しておけばよい。
<記録媒体26への情報保存処理例>
図58以降の図面を用いて,記録再生部27により放送データを記録媒体26に記録する場合に、記録する映像データが3Dであるかどうかという情報を合わせて記録する受信装置の動作例を示す。
図58は記録再生部27の内部ブロック図を示す。多重分離部29で記録するパーシャルTS(あるいはフルTS)が選別され、記録再生部27に記録するストリームが入力される。また、多重分離部29は放送ストリームに含まれるEITなどの番組情報も分離、取得する。得られた番組情報のうち、再生リスト表示などで必要となる可能性のある録画番組情報を収集し、このデータも入力される。
図58(a)においては、多重分離部で分離されたストリームはデマルチプレクサ5801と情報取得部5802に入力される。デマルチプレクサ5801では情報をESレベルまで解析し、例えばUserData領域に書かれている3D/2D識別子を取得する。取得した情報はCPU21を介して番組情報管理部5806へ転送し、他の番組情報と合わせて記録する。情報取得部5802では、TSレベルで取得できる情報を取得する。例えば録画番組の再生、特に特殊再生を行う場合に必要なデータ読み出し位置情報(クリップ情報とも呼ぶ、詳細は後述)を作成するなどである。
次に暗号化部5803ではセキュリティの観点からストリームデータを暗号化する。暗号方式は独自方式でもよいし、なんらか規格で定められた方式であっても良い。暗号化を完了したデータはファイルシステム5804に渡される。ファイルシステム5804では独自もしくはあらかじめ定められたフォーマットで記録媒体26へデータの記録を行う。
記録や読み出しを行う場合には記録媒体制御部5805を通してデータの処理を行う。また先に述べた番組情報については、番組情報管理部5806が受けて,あらかじめ定められた形式のデータに整合する。完成した番組情報はファイルシステム5804へ送付され記録媒体26へ書き込まれる。
5807は汎用バス22から接続された汎用バスであり、CPU21と各ブロックとで制御信号の伝送を行う。
番組情報の記録を行うタイミングは情報が確定したと思われるタイミングであれば良く、例えば録画を開始して10秒後や、録画が全て完了した後とするなどの例が挙げられる。また、2D/3D情報が確定したと思われるタイミングでデマルチプレクサ5801は動作を停止しても良い。
図58(b)は上記(a)の変形例で、多重分離部27で選択されたストリームデータはデマルチプレクサ5801に入力される。デマックスされたデータから情報取得部5802ではESレベルの2D/3D情報を取得することが可能である。リマックス部5803でパーシャルTSの形に再形成し、以降の記録は図58(a)の説明と同様にして行われる。
例えばデマックス、リマックスの間で映像信号・音声信号のフォーマット変換(トランスコードとも言う)やビットレート変換(トランスレート)などを行ってもよい.映像信号のトランスコードを行った場合は、それに応じて2D/3D形式を示すフラグも適宜生成して記録することが必要である。
図59、60を用いて3D/2D情報を記録媒体26での情報保存方法の一例を示す。図59は記録時のフォルダ、ファイル構成の一例を示す。全体情報ファイルには、例えば番組がいくつ記録されているか、それらの管理データ(番組情報ファイルとも言う)の記録位置やデータサイズといった情報が記録されている。メニューサムネイルファイルには、記録されている全メニューサムネイル画像の個数や、録画番組の一覧表示を行うメニュー画面で用いられる画像データやそれらの画像データを読み出すための記録位置情報などが記録されている。
チャプタサムネイルファイルには、記録されているチャプター用サムネイル画像の個数や、各録画番組に後述するチャプター情報を一覧表示する際に表示する画像データやそれらの画像データを読み出すための記録位置情報などが記録されている。
図59では映像・音声データを含む各録画番組ファイル(プログラムN(Nは1以上の自然数))について対応する番組情報ファイル(番組情報N)、映像・音声データの記録位置と再生時刻の括りつけを行うクリップ情報ファイル(クリップ情報N)とをそれぞれひとつ別フォルダ内に記録したフォルダ、ファイル構成を例示している。
この場合に例えばさらに新しく番組を記録した場合、例えばストリームディレクトリ以下にプログラム3ファイルが生成され、プレイリストディレクトリ以下に番組情報3ファイル、クリップ情報ディレクトリ以下にクリップ情報3ファイルを作成する。データの編集をユーザーに許可する場合、1つの番組情報ファイルやクリップ情報ファイルに複数の録画番組ファイルの情報を記録したり、録画番組ファイルのある一部分の情報のみを記録したりすることでもよい。
例えば番組情報1がプログラム1の全部とプログラム2の一部分とに対応する情報を組み合わせることを示す場合、ユーザーにはそれらを一つの再生番組として見せることが可能である。
また、記録済みの番組データを削除する場合、例えばユーザーの編集の指定が番組情報単位でのコンテンツ削除の指定であると、該当する番組情報ファイルを削除し、関連付けられた録画番組ファイル(プログラム)全てについて、該当の番組情報ファイルのみに関連付けられているかどうか調査し、関連が該当の番組情報ファイルのみであれば削除、それ以外の番組情報ファイルに関連付けられている場合は削除しないようにする。
こうすることで番組情報ファイルと録画番組ファイル間の関連付けの整合が取れている状態を維持する。メニューサムネイルファイル、チャプタサムネイルファイルについても録画番組ファイルと同様に関連付けを確認し、整合が取れた状態を維持すれば良い。また全体情報は同じディレクトリ内(図59のAVファイルディレクトリ内)のデータの変更があるたびに適宜修正し整合が取れている状態を維持する。
番組情報ファイル内部のデータ構成と3D/2D判別情報を追加する一例を図60に示す。
番組共通情報には例えば関連付けされているプログラムに依存せずに保持する情報を記録する。「キャラクタセット」は例えば以下の情報を記録する言語コードを指定する。「再生プロテクトフラグ」は例えば値が1の場合、ユーザーがPINコードを入力しなければ再生が出来ないといった制約があることを意味する。値が0の場合は制限無く再生が可能とする。
「書き込みプロテクトフラグ」は例えば値が1の場合、ユーザーが編集や削除が出来ないことを意味する。値が0の場合、ユーザーが自由に編集・削除などの操作を実行できる。書き込みプロテクトフラグは例えば設定メニューなどのOSD(インタフェース)を設けてユーザーが設定可能としても良い。
「未再生フラグ」は例えば値が1であれば記録後一度もユーザーの操作によって再生が行われていないことを示す。値が0であれば一度でも再生が行われていることを示す。「編集フラグ」は例えば値が0であれば記録後一度も部分削除や分割・結合といった編集処理が行われていないことを示す。値が1であればユーザーによって何らかの編集が行われたことを示す。
「タイムゾーン」は例えばこの番組情報が記録された土地のタイムゾーンを表す。「録画日時」は例えばこの番組情報が記録された日付と時刻を示す。「再生時間」は例えばこの番組情報が関連付けられた各プログラムの録画時間の合計値を時間で示す。
「メーカーID」は例えばこの番組情報を生成した際に別途一意に定められる機器製造会社をあらわす数値を登録する。「メーカーモデルコード」は例えばこの番組情報を生成した際に機器製造会社によって別途一意に定められた機器の型番を登録する。「放送局番号」は例えば記録した番組が放送受信したデータの場合にその放送局番号を記録する。
「放送局名」は例えば記録した番組が方送受信したデータの場合にその放送局名を記録する。「番組名」は例えば記録した番組の番組タイトル名称を保存する。番組名は記録後でもユーザーが自由に改編可能としても良い。「番組詳細」は例えば記録した番組の内容を表す詳細情報を保存する。例えばSI・PSIの中に含まれている番組の出演者や簡易なストーリー説明が記載されている番組内容をそのまま記録してよい。
この番組共通情報のリザーブ領域に3D/2D識別情報を追加する。これは例えば1ビットの情報で値が1であれば本プレイリストに関連するプログラムに少なくとも1つの3D映像信号を含むプログラムがあることを示し、値が0であれば3D映像信号が関連するプログラム中に含まれないことを示す。この場合その3D映像信号の3D方式は問わない。
ここに情報を記録することで、例えば録画番組を一覧表示する際にこの情報を参照して、ある番組中に3D映像が含まれているかどうかをユーザーに通知可能である。
「プレイリスト情報」の中には例えば「プレイアイテム数」を記録する。「プレイアイテム」とは例えばこの番組情報が関連付けられているひとつのプログラムを意味するものである。すなわちプレイアイテムとプログラムは1対1で関連付けられる。したがって「プレイアイテム数」はこの番組情報が関連付けられるプログラム数を意味する。
「プレイアイテム情報」はプレイアイテム数と等しい個数だけ保持され、その内部には対応する各プログラム独自の情報を記録しておく。「クリップ情報ファイル名」は対応するクリップ情報ファイルの名前を保持する。「コーデック識別情報」は対応するプログラムの映像・音声データの符号化方式について示す。例えば映像であればMPEG2やH.264、音声であれば、MPEG2−AACやMP3、あるいはMPEG1−Layer2などの音声符号化形式である。
「開始時刻」はこのプレイアイテム情報が指し示す位置が対応するプログラムの開始位置を示している。指定する値はたとえばPTS/DTSなどの時間情報で記録すれば良い。「終了時刻」はこのプレイアイテム情報が指し示す位置が対応するプログラムの終了位置を示している。指定する値はたとえばPTS/DTSなどの時間情報で記録すれば良い。
図60の例示ではプレイアイテム情報をひとつのみ記しているが、関連付けられた番組が複数ある場合には複数のプレイアイテム情報を同様に記録して良い。
代表的な例として図60では番組共通情報の中に3D/2D識別情報を追加した例を示したが、プレイアイテム情報の中に「リザーブ領域」がある場合に、ここに3D/2D識別情報を追加しても良いし、あるいは両方に記録しても良い。例えば1ビットの情報で値が1であれば該当のプログラムに3D映像信号が含まれることを示し、値が0であれば3D映像信号がそのプログラム中に含まれないことを示す。ここに記録することでより詳細な単位での管理が可能になる。なお、3D/2D識別情報を追加するには、コーデックなどの映像信号の特徴を示す情報が集約されている領域で、情報を登録するための空き領域があるところに追加すれば良い。
「チャプター情報」の中にはこの番組情報に該当するプレイリスト中にいくつのチャプター(チャプターマーク、あるいは単にマークとも言う)が設定されているかを示す「マーク情報」の個数が記録される。「マーク情報」はマークひとつにつき、ひとつの情報が例えばPTSやSTCの更新回数の情報を組み合わせるなどでプログラムファイル中のどこにそのマークがあるかを一意に識別できる時間情報として記録される。例えばユーザー操作や装置が自動的にチャプターを登録する機能によって該当のプログラム中にチャプターが追加されると、マーク情報がひとつ増える。
「マーク無効フラグ」は値が1の場合、該当のチャプターは無効であり例えばユーザーに対しても表示をしないことを意味する。値が0の場合、該当のチャプターは有効であり、表示も行うことを意味する。「マークタイプ」はマークの分類を意味する。レジューム位置を示すマークであるとか、チャプター位置を示すマークである、などである。
受信装置4の製造者も任意に分類を設定可能とすれば、例えば番組本編とCMの区切りを示すチャプター位置を示すマーク、ユーザー操作によって設定されたチャプター位置を示すマーク、といった任意の分類が可能である。「メーカーID」はそのマークを生成する際に別途一意に定められる機器製造会社をあらわす数値を登録する。
「プレイアイテムID」は対応するプレイアイテム情報のIDを保持する。「マーク時刻」はこのマーク情報が対応するプログラム上の位置を示す。「エントリES PID」は該当するプログラム中のどのESに対するマーク情報であるかを示す。
これにより該当のプログラムに複数の映像ESがある場合であっても一意に対象を特定可能である。「サムネイル参照」は本図には表記していないが、各マークの位置にあるサムネイル静止画像のファイルを保持する場合にそのファイルを特定するためのIDを保持する。
「マーク名」は該当のマークに名称を付ける場合に情報を保持する。図60の例示ではマーク情報をひとつのみ記しているが、ユーザー操作により生成、あるいは記録再生装置内のプログラムにより自動生成されたマークが複数ある場合には複数のマーク情報を同様に記録して良い。
上記実施例に示したようにそれまで記録されていた情報ではリザーブ領域であった場所に3D/2D識別情報を記録することで、3D情報が認識できない旧来の装置においては3D/2D情報は無視され誤動作を引き起こさない効果がある。本実施例とは異なるデータ形式で記録する場合においてもリザーブ領域を使用することで同様の効果を得られる。
また、デマルチプレクサ5801で映像ESレベルの情報まで見ることによりフレーム単位での2D/3Dの切り替わりを把握することが可能である。これを利用してマーク情報として2D/3Dが切り替わる位置を保存することによって、受信装置はより厳密に切り替わり位置を管理することが可能であり、例えば再生時に上述したユーザーへのメガネ着用のメッセージを表示するタイミングをより正確に制御可能であるといった利点がある。マークタイプを2D/3D切り替わりを示すタイプ(分類)として保持しても良い。
クリップ情報ディレクトリに記録されるクリップ情報ファイルは例えばプログラムファイルと1対1で対応するファイルであり、該当のプログラムファイルのデータ位置情報を記録する。例えば情報取得部5802において、記録するストリームのIピクチャ先頭データが含まれるパケットとその時間情報(例えばPTS)を検出し、ファイルシステム5804はIピクチャの先頭データ位置を一意に定めることが可能な形式、例えばプログラムの先頭からのパケット数と時間情報とを合わせたデータ、としてクリップ情報ファイルに記録する。
この情報を記録することにより、再生時に任意のIピクチャの位置から再生を開始したり、早送り・巻き戻し再生を行う場合に全てのデータを読み出すのではなく、必要なIピクチャのデータを読み出して表示させたり、といった制御が可能になる。
あるいは情報取得部5802においてIピクチャ位置の検出が出来ない場合には、例えばある一定のデータサイズと時間情報(例えばPCRやPTS)とを合わせたデータをクリップ情報ファイルに記録するのでも良い。これによりIピクチャ位置を記録した場合ほど正確な制御は出来ないが、同じように記録された表示位置からの再生開始や、部分的な表示による特殊再生の実現が可能である。
上記説明の実施例では番組情報と映像・音声データを含む録画番組ファイルと番組情報ファイル、クリップ情報ファイルとを別のフォルダ内に設けたが、変形例として同じフォルダ内に記録してもよいし、番組情報ファイルをストリームディレクトリの形式で録画番組ファイルに括りつけても良い。
また、番組情報ファイル内のデータ構成についても図60の例に限定されず、全ファイルを一定の形式で記録し、再生時に規則的に情報読み出し可能であれば良く、同様の効果を得ることが出来る。
以上説明したデータ構造の例は、代表的なメンバのみを記載しており、これ以外のメンバを持つこと、複数のメンバを一つに纏めること、一つのメンバを詳細情報を持つ複数のメンバに分割することも考えられる。
図61は録画する番組が例えばSBS方式の立体表示映像を含む番組かどうかの判定シーケンスの一例を示す。S6101では多重分離部29で録画をするストリームから図7、図10(a)、図56に示すようなPSI或いはSI情報上の3D/2Dを判定する識別子を取得しCPU21へデータ送信しS6102へ進む。
S6102ではCPU21で取得した情報に3D・2Dを示す情報が存在するかを判別する。判別結果、識別子があれば(Yesならば)S6103へ、無いならば(Noならば)S6104へ遷移する。
S6103ではCPU21で取得した情報が3D番組を示すかどうかを判定し、3D番組であれば(Yesならば)S6104へ、2D番組を示すのであれば(Noならば)S6105へ進む。
S6104ではCPU21から番組情報管理部5806へ指示し、例えば図60に示したような規定のフォーマットに従い番組情報に3Dと記録して処理を終了する。
S6105ではCPU21から番組情報管理部5806へ指示し、例えば図60に示したような規定のフォーマットに従い番組情報に2Dと記録し、処理を終了する。
図62は3D番組かどうかの判定シーケンスの別の一例を示す。S6201ではデマルチプレクサ5801で録画するストリームの映像ES内に存在する3D識別情報(例えばMPEG2映像のUserData内の情報、H.264映像のFrame Packing Arrangement SEI情報)を取得してCPU21へ送信しS6202へ進む。
S6202ではCPU21は取得した情報が3D番組かどうかを判別し、取得した情報が3D番組を示すのであれば(Yesならば)S6104へ、2D番組を示すのであれば(Noならば)S6105へ進む。
S6104ではCPU21から番組情報管理部5806へ指示し、例えば図60に示したような規定のフォーマットに従い番組情報に3Dと記録して処理を終了する。S6105ではCPU21から番組情報管理部5806へ指示し、例えば図60に示したような規定のフォーマットに従い番組情報に2Dと記録し、処理を終了する。
PSI或いはSIに記録される情報とuser_nibbleに記録される情報はひとつのストリーム中に同時に存在可能である。図63はその両方の情報を用いて3D番組かどうかを判定するシーケンスの一例を示す。
S6101では多重分離部29で録画をするストリームから図7、図10(a)に示すようなPSI或いはSI情報上の3D/2Dを判定する識別子を取得しCPU21へデータ送信しS6201へ進む。
S6201ではデマルチプレクサ5801で録画するストリームから図56に示したようなuser_nibbleに記された情報を取得してCPU21へ送信しS6301へ進む。
S6301ではCPU21が得られた二つの情報から録画するストリームが3Dかどうかを判断し、両方とも3Dを示す情報であればS6104へ進み、一方でも2Dを示す情報であればS6105へ進む。
S6104ではCPU21から番組情報管理部5806へ指示し、例えば図60に示したような規定のフォーマットに従い番組情報に3Dと記録して処理を終了する。
S6105ではCPU21から番組情報管理部5806へ指示し、例えば図60に示したような規定のフォーマットに従い番組情報に2Dと記録し、処理を終了する。
図61から図63に示した処理を実行するタイミングは任意であるが、例えばある番組先頭から予約録画をした場合、受信装置4が録画成立(記録媒体26にデータを保存しておくこと)が確定するタイミングに応じて付随する番組情報を記録しても良いし、録画開始後一定時間経過後に取得された値を記録しても良い。ひとつの放送番組毎に1記録ファイルとするようなシステムであれば、放送番組の切り替わりを検出してから一定時間経過後(例えば10秒後)に番組情報を記録するなどしても良い。
CPU21での録画番組の3D判定から実際に記録媒体26に番組情報を記録するまでの時間は任意の時間差があっても良く、例えば録画開始から一定時間後に情報取得と解析を行い、録画終了のタイミングで記録媒体26に番組情報を記録しても良い。
図64(a)は図60で示した番組情報ファイル内部のデータ構成例に、さらに3D放送の方式識別情報を追加した例である。番組共通情報の中に十分な「リザーブ領域」がある場合に、「3D/2D識別情報」と「3D方式識別情報」を追加する。
本図では変更のないチャプター情報といった箇所の表示は省略している。「3D方式識別情報」のビット列とそれが示す意味の一例を図64(b)に示す。ビット値が0x00であれば該当のプログラムがサイドバイサイド方式の3D映像信号を含む。ビット値が0x01であれば該当のプログラムがトップアンドボトム方式の3D映像信号を含む。ビット値が0x02であればフレームシーケンシャル方式の3D映像信号を含む。0x03は将来の拡張のためのリザーブとする。
これにより受信装置4は複数の異なる方式の3D放送を受信して記録する場合に3D方式も記録することで情報表示が可能であり、再生時に適切な3D表示方式を選択して正常に再生を行うことが可能である。
録画時の情報取得のシーケンスは図61から図63に示した例と同様であり、番組情報を記録媒体26に記録する際に3D方式識別情報を記録すれば良い。これにより録画番組一覧表示時にユーザーに3D方式をあわせて提示することが可能である。3D方式の提示が必要無い場合に3D映像を含んでいることのみ提示しても良い。
またプレイアイテム情報内の「リザーブ領域」に「3D/2D識別情報」と「3D方式識別情報」を記録しても良い。これによってより詳細な単位でユーザーに3D方式を提示することが可能である。
さらに異なる変形例として番組共通情報内に「3D/2D識別情報」を記録し、プレイアイテム情報内に「3D識別情報」を記録しても良い。こうすることで番組共通情報を参照するだけで3D映像信号が含まれるかどうかをユーザーに提示でき、さらに詳細に情報を提示する場合にはプレイアイテム情報を参照することで3D方式を提示することが可能である。
図64では「3D/2D識別情報」と「3D方式識別情報」とを分けて記録する例を示したが、これらを「3D識別情報」のようなひとつの情報にまとめても良い。例えばこの情報のビット値が0x00であれば該当のプログラムは3D映像信号を含まない。0x01であれば該当のプログラムがサイドバイサイド方式の3D映像信号を含む。ビット値が0x02であれば該当のプログラムがトップアンドボトム方式の3D映像信号を含む。ビット値が0x03であればフレームシーケンシャル方式の3D映像信号を含むとしても良いし、また、本実施例で取り上げた以外の3D表示方式を利用する場合であっても十分なビットを割り当てて順次定義をすれば上述した実施例と同様の効果が得られる。
<再生時の情報表示処理例>
以上で説明したように記録媒体26に記録された番組情報に3D判別情報が含まれていれば、再生時には以下のような効果が得られる。
図65は記録媒体26に記録された番組データを一覧表示する場合の画面表示の一例を示す。6501は表示するディスプレイである。6502は例えば受信装置が記録媒体を複数個接続可能な場合に、今どの記録媒体の記録データを表示しているかを示すタグを表示する領域を示す。6503はユーザーが番組を分類して表示したい場合に選択する分類情報タブを表示する領域を示す。
例えばリモコンの上下キーを使用して「未視聴」というタブを選択すると6504の表示領域にはそれに該当する記録してからまだ一度も再生が行われていない番組だけが表示される。この階層に表示されるタブは複数階層に渡っても良い。例えば「ジャンル」を選択した場合、6503の領域にもうひとつ同様のタブ表示領域を設けて、「ドラマ」「ニュース」「アニメ」といったジャンルタブを並べることが可能である。
例えばユーザーがその中から「ドラマ」を選択すれば、6504の表示領域に該当するドラマ番組だけが表示される。そのために番組情報の中にジャンル情報が記録されている必要がある。6504は6503で選択した分類に適合する録画番組のデータを一覧表示する領域である。ユーザーはここに表示された番組の中から再生したい番組を選択するなどの操作を行う。
一画面に収まる個数(本例では5個)以上の録画番組が存在する場合は、複数ページにまたいで表示を行う。横にスクロールバーを表示しても良い。ひとつの録画番組データの中に表示する情報は任意ではあるが、例えばサムネイル画像や録画された日付と時間、番組名称、録画した際の録画モードなどを表示する。サムネイル画像は静止画でも動画でも構わない。6505はユーザーへの簡易な操作説明やリモコンで可能な操作内容などを表示するガイド表示領域である。
図65(a)は記録媒体26に記録されている全ての番組を一覧表示した際に、番組情報の3D判別情報を参照し、3D番組にはそれを示すマーク(アイコンとも言う)を表示した例である。番組Bおよび番組Dは3D番組であり、それ以外の番組については2D番組であるため何も表示しない。
これによりユーザーは3D番組を容易に見つけることが出来るという効果がある。勿論アイコンによる表示に限らず、番組タイトルに3D番組を示す文字列を追加して表示してもよい。また同様に2D番組には2Dであることを示すマークを表示しても良い。その場合3D・2Dをユーザーがさらに区別しやすいように表示色を変えておくなどしても良い。
図65(b)は分類タブで「3D」が選択され記録媒体26に記録されている3D番組を一覧表示した例を示す。録画時に番組情報として3D判別情報を記録しておくことでこのような分類による表示も可能となる。CPU21によって全録画番組の番組情報の3D判別情報を参照し、3D番組のみを抽出し表示することで実現可能である。
これによりユーザーは多くの記録番組がある中からでも簡単に3D番組を探すことが可能となる。本例では一覧表示領域6504において各番組それぞれに3D番組であることを示すマークを表示しているが、分類タブ領域6503で3D番組を表示することが明らかなため、マークを表示しなくても良い。
6504の表示領域に示される情報は図65で示した内容に限らない。すなわち番組名や番組録画時間などの各情報の表示順も本例とは異なっても良く、表示する情報も例えば未視聴を示すマークやチャプターが登録されていることを示すマークなど、この例以外で番組情報から導出される情報を表示して良い。
図66は各番組の一覧表示領域6504での番組表示方法が異なるリスト表示とした例を示す。番組毎の表示内容が簡素化されるが、一度に多くの番組を表示することが可能である。この表示例においても3D番組を示すマークを合わせて表示することによりユーザーは簡単に3D番組を区別することが出来る。
また、番組情報に3D方式識別情報を合わせて記録している場合には、図67に示すように3D方式を一覧表示時に表示しても良い。Side-by-sideやTop-and-Bottom,フレームシーケンシャルといった特徴を捉えたマークによって示すことで、ユーザーが簡単にどの3D方式であるかを理解できる効果がある。
これによりユーザーは伝送方式を含めてどの番組が3D放送であるかを簡単に理解できるという効果が得られる。図67では分類タブで「3D」を選択した場合を例示しているが、「すべて」や他のタブを選択した場合にも同様に方式種別情報を表示しても良い。
また、録画時の動作として図61から図63に示したシーケンスにそって3D番組を検出した場合、S6104の動作でCPU21が番組情報管理部5806で記録する番組情報の番組名称を先頭に例えば「[3D]」という文字データを記録することによって、さらなる効果が得られる。
追加する文字列については3D番組であることがわかれば文字データの記録位置、内容は問わず、例えば「[3D]」や「(3D)」といった文字列でも構わないし、番組名称の最後に[3D番組として放送されたものです]といった文字列でも良い。番組名称で記録できる文字数に上限があり、「[3D]」という文字列を追加することで上限を超えてしまう場合、末尾の文字のデータを追加に十分なデータ量(例えばこの例では全角4文字)だけ削除して先頭に「[3D]」という文字データを追加する。
図68はそのように制御を行った場合に表示される録画番組一覧画面の一例を示す。3D番組である番組1と番組4の番組名称先頭に文字列が追加されているため、番組名称のみでどの番組が3D放送であるかが一目で判別できる効果がある。この時図65で示したような3D番組を示すマークを合わせて表示しても良い。リスト表示形式で表示を行う場合でも、同様の表示によって同様の効果を得ることが可能である。
受信装置4が取り外し可能な記録媒体を備え、取り外した記録媒体を異なる機器に接続して使用可能な場合を考えると、この制御により、接続した機器が記録された番組情報の3D判別情報を読み出せない機器であっても番組名称を読み出すことでユーザーはいずれの番組が3Dであるかを録画番組の情報表示時に判別可能となる効果がある。
この時の録画番組一覧の表示例を図68(b)に示す。図6502の記録媒体情報の表示領域番組一覧表示領域6504では番組1と番組4に(a)と同様に「[3D]」を示している。これによりユーザーは3D判別情報が読み出せない機器使用時であっても簡単に一覧表上で3D番組を判別することが可能である。
本例では分類タブ表示領域6503には「3D」タブを表示していないが番組名称先頭に規則性があるので、これを検出することで例えば [3D]というタブを作成して表示することが可能である。
図65に示す一覧表示形式のサムネイル画像はサイズが小さく静止画のため3D番組のサムネイルであっても2Dで作成・表示しても良い。例えばサイドバイサイドの映像信号を持つ番組の場合、記録媒体26からデータを読み出し映像復号部30で左側の映像をデコード、横方向2倍に伸縮した映像をキャプチャし、JPEG形式などの静止画に変換して記録媒体26の該当箇所に保存する。先の番組情報データにもその旨を記録し更新をおこなう。
複数の録画番組の全部あるいは一部をつなぎ合わせて出来た再生コンテンツをプレイリストと表現し、図65に例示した一覧表示ではユーザーがリモコン装置の青ボタンを押すことでプレイリストの一覧表示に切替わる。
図69はプレイリストのコンテンツ一覧を表示する一例を示す。この場合6504は作成済みのプレイリストの一覧表示領域となる。各プレイリストに含まれる個別のプログラムの番組情報を確認し、その中でひとつでも3D/2D識別情報の値が3Dを含むという意味の値であった場合には、そのプレイリストの表示箇所に3Dを示すマークを合わせて表示を行う。
これによりユーザーは一目で3D番組を含むストリームが判るという効果がある。さらにプレイリスト中のどの位置で2D/3Dが切り替わるかという情報は、先に述べたチャプター情報としてマークを記録しておくことで対応が可能である。
図69で分類タブからユーザーが3Dを選択した場合やリモコンの緑ボタンを押下した後のリスト表示を行う場合の表示方法については図65(b)や図66と同様の表示を行う。プレイリストを編集,新規作成する際にも3D/2D識別情報を元に表示することでユーザーは3D番組がどの位置に入るかが確認できるメリットがある。
図70は記録媒体26に記憶されている録画番組の番組やシーンを抜き出してプレイリストを作成する画面表示の一例を示す。7001はプレイリストを作成するためのソースとなる番組データの表示領域であり、番組単位や各番組のチャプター単位でサムネイル画像を表示する。
ユーザーはユーザーが所望のシーンのサムネイル画像を選択することで、そのシーンをプレイリストへ追加可能なようにしている。7002は作成中のプレイリストの内容を各シーンのサムネイル画像の列として表示する領域である。例えばユーザーは7001の領域でリモコンの左右キーなどにより所望のシーンを選択、次に7002の領域で好きな箇所にそのシーンを挿入することでプレイリストを作成する。
また例えば7002の領域で黄色ボタンを押すと、カーソルの当たっている一シーンがプレイリストより削除される。3D/2Dの切り替わり目を示すチャプター情報がある場合、7001および7002に表示される番組あるいはシーン毎にこのチャプター情報を参照することで3D/2Dの判別が可能であり、3Dの番組あるいはシーンに3Dであることを示すマークを表示する。
番組あるいはシーンの映像データや番組情報を解析することでマークを表示しても良い。これによりユーザーはどの位置に3D番組が挿入されたかを確認しながらプレイリストを作成することが可能である。
<別システム構成での一覧表示・再生処理例>
図36で示したシステム構成において映像音声出力装置3601(受信装置4)が記録媒体を保持している場合を考える。図60に示すように例えば番組情報内には1ビットの情報のみを付加して各録画番組が3D映像を含んでいるかどうかの情報を保持していれば、伝送経路3602を経由して図65に示したような3D番組をユーザーが容易に識別可能な一覧画面をディスプレイ3603で表示することが可能である。
3D映像データを含む録画番組データを本システム構成で視聴する場合には、伝送路3602で規定されているフォーマット(例えばHDMI規格により規定されるフォーマット)で3Dメタデータを送信可能であれば、映像音声出力装置3601(受信装置4)は映像出力と共にメタデータで3D方式種別情報をディスプレイ3603に通知する。伝送路3602で規定されているフォーマットで3Dメタデータを送信できない場合には、ディスプレイ3603は3D映像データを含む録画番組データを受信し、もとの映像信号に復号して3D方式種別を判定すれば良い。
映像音声出力装置3601が図64に示したように複数ビットを割り当てて3D方式識別情報まで番組情報として保持していれば、図67で示したように3D方式までユーザーが容易に識別可能な一覧画面をディスプレイ3603で表示することが可能である。この時、3D映像データを含む録画番組データを本システム構成で視聴する場合には、伝送路3602で規定されているフォーマット(例えばHDMI規格により規定されるフォーマット)で3Dメタデータを送信可能であれば、番組情報に保持している3D方式識別情報を規定のメタデータのフォーマットに変換して送信することで3D方式種別情報をディスプレイ3603に通知可能である。
<ネットワーク経由での視聴処理例>
本発明の受信装置4にて録画した番組を例えば家庭内ネットワークによって接続された別の再生装置で再生することが可能である。図71に受信装置4と再生装置7102および記録再生装置7103を接続する一例を示す。接続制御装置7101は例えばルーティング機能を持ったモデムといった機器であり、公衆回線を含むネットワーク網3から入力されたデータを接続された装置の中から適当な装置を判断して転送を行う。あるいは接続制御装置7101に接続された機器間でのデータ転送処理を司る。
再生装置7102はネットワークを経由して受信装置4内の記録媒体26に記録された番組の一覧情報を取得・表示し、また所望の番組をネットワーク経由でデータを受信して視聴することが出来る再生装置である。ネットワークを介してコンテンツの制御を行う具体的方法としては例えばDLNA(Digital Living Network Alliance)のように、策定された仕様に基づいて良い。
記録再生装置7103は記録媒体を持ち、再生装置7102と同様に受信装置4内の番組の一覧情報を取得・表示し、また所望の番組をネットワーク経由でデータを受信して視聴することと、受信装置4内の任意の番組のデータを記録媒体にコピーして利用することが出来る。受信装置4のデータ出力手順は、CPU21が番組情報をネットワーク転送に適切なフォーマットに変換し、ネットワークI/F25からネットワーク網3へ出力する。
映像・音声データを出力するには記録再生部27が記録媒体26に記録されている番組のデータを読み出し,CPU21は記録再生制御部でネットワーク網に送信するために適切な暗号処理を施し,ネットワークI/F25より出力する。
それとは逆に受信装置4において記録再生装置7103内の記録媒体に記録されている番組の一覧情報を取得・表示すること、所望の番組をネットワーク越しにデータを受信して視聴すること、任意の番組のデータを記録媒体26にコピーして利用することも可能である。
以上の図71に示した機器接続構成において、図72は再生装置7102上で記録媒体26に記録された番組の一覧を表示する一例を示す。7201はネットワークを介して接続されている装置を一覧表示する領域である。ユーザーはリモコンの上下キーなどを操作することで所望の装置からの番組情報を呼び出すことが可能である。
7202はひとつ上の階層に移動するための選択ボタンを示す。7203は選択した装置の選択したフォルダに記録された番組の一覧を表示する領域である。本例では番組名と記録日時、記録時間長に加え、図72(a)では3D番組についてはそれを示すアイコンを表示している。
記録媒体26に記録された番組の一覧を表示する際に、例えばネットワークを通じて番組名や番組の長さの情報とともに番組情報データの3D/2D識別情報を入手することで、3D番組については例えばアイコンを表示するといったわかりやすい表示が可能である。
一方で再生装置7102が3D再生に対応していないなどで3D番組用のアイコンデータを保持していない場合,このような表示は無理である。
図72(b)は受信装置4が図68を用いて説明したように記録時に番組名称を修正して「 [3D]」という文字列を記録した場合に、再生装置7102での記録媒体26に記録された番組の一覧を表示する一例を示す。これによりたとえ再生装置7102が3D番組用のアイコンデータを保持していない場合でも、どの番組が3D番組かをユーザーは識別可能である。
7204は6505と同様にユーザーの操作ガイドを表示する領域である。「赤」「青」ボタンには機能を割り当てず「黄」に表示画面をひとつ前の状態に戻す機能を割り当てる、というように6505での設定内容と異なって良い。
記録再生装置7103にて表示する場合や、受信装置4にて記録再生装置7103内の録画番組一覧を表示する場合についても同様である。
なお装置の接続は、上記実施例を実現するための構成としては、再生装置7102と受診装置4を直接接続しても実現可能である。また、図71で示したよりも多くの再生装置や記録再生装置、あるいは受信装置が複数台接続されても良く、接続制御装置が多段に組み合わされても良い。また各装置と接続制御装置が無線ネットワークで接続されていても良い。そのように異なる接続の構成であっても再生装置7201と同様に接続された再生機器から受信装置4の録画番組を閲覧することが可能である。また受信装置4から別の記録装置の録画番組を閲覧することも可能である。
再生装置7102が3D表示できない装置の場合、受信装置4があらかじめ再生装置7102の特性を認識して3Dコンテンツの情報を送らないようにしても良い。図73にシーケンスを示す。
7301では再生装置7102が受信装置4にコンテンツの一覧をネットワーク経由で問い合わせを行う。7302では受信装置4のCPU21により例えば再生装置7102の機種情報を取得するなどによって3D番組が再生できるかどうかを判定する。再生不可能と判断すると7304へ遷移し、再生可能、あるいは不明な場合には7303へ遷移する。
7303では3D番組の情報を含めて録画番組の一覧を送付し、処理を終了する。7304では3D番組の情報を含めずに録画番組の一覧を送付して処理を終了する。これにより再生装置7102が3D番組を再生できない場合には、受信装置4の録画媒体26内の録画番組の一覧を表示する際に余計な情報(再生の出来ない3D番組の情報)を見せずに済むため使い勝手を向上できる。
あるいは再生装置7102が3D表示できない場合に、録画番組情報は3D番組を含めて送信し、ユーザーが再生装置7102で3D番組を選択,再生を行う際に受信装置4内で3D番組を2Dに変換して映像データを出力することでユーザーの使い勝手の向上を図っても良い。
<ネットワーク経由のデータコピー・移動処理例>
図71に示したような構成においては、例えば受信装置4の記録媒体に記録されたデータをネットワーク経由で記録再生装置7103の記録媒体にコピー・移動することも可能である。受信装置4のCPU21は番組情報や録画番組データをネットワーク伝送路で規定されたフォーマット(例えばDLNAで規定されるフォーマット)に適した形式の伝送信号に変換してネットワーク伝送路で規定された手順に適した方法でデータを送信する。
例えば最初に伝送元と伝送先の機器が問題なくコピー・移動が可能であるかを確認する機器認証を行い、認証が成立したら、データの移動であれば伝送元のデータを再生不能なように無効化する、番組情報を規定のフォーマット(例えばXMLフォーマット)で伝送する、録画番組データを規定のフォーマット(例えばDTCP−IP暗号化を施したMPEG−TSフォーマット)で転送し、最後まで転送が完了したら、セッションを閉じる、といった手順である。記録再生装置7103は伝送されたデータを適宜装置内に記録するために規定されたデータフォーマット、暗号方式に変換をして記録媒体へデータを記録する。
3D/2D識別情報がネットワーク伝送路でのデータフォーマットおよび記録再生装置7103内で記録する際のデータフォーマットで規定されていれば、データコピー・移動を実行した結果、記録再生装置7103の番組情報として同等の情報が保持され、ユーザーの使い勝手が向上する。3D方式識別情報が同様に伝送されても良い。
<記録媒体間のダビング処理例>
3D/2D判別情報の利用シーンとして、記録媒体間でのデータのコピーや移動(総称してダビングと呼ぶ)がある。例えば受信装置4に記録再生部27を介して複数の記録媒体が接続可能である場合、ひとつの記録媒体から別の記録媒体へのダビングが可能である。
また記録媒体が光ディスクのような可搬性を備えたものであればユーザーはダビングしたデータをさらに別の再生装置で再生することが可能である。図74(a)は記録媒体26に記録されている録画番組の中からダビング対象のデータを選択する際の表示画面を示す。
番組一覧表示領域6504にはダビングに関する情報として各番組がコピー可能かどうか、あるいはコピー可能な回数を表示する。例えば「コピー禁止」としている番組は移動もコピーも不可、「ムーブ」と示した番組は移動(他の機器にデータを移動する場合元のデータは削除)は可能、「コピーN回」と示した番組は(N−1)回の複製コピーが可能(最後の1回はムーブになる)、といった表示を行う。
この中で録画番組一覧の表示例と同様に3D番組について容易に判別可能なアイコンなどの表示を行う。これによりダビング実行時においてもユーザーは簡単に3D番組の判別が可能である。
ダビング実行の際には移動元の記録媒体と移動先の記録媒体とではその種類によってフォルダ・ファイル構成も異なる場合がある。したがってCPU21はあらかじめ移動元と移動先の記録されるデータフォーマットを理解し、記録すべき情報(番組情報、サムネイルファイル、記録映像・音声データ)を適宜転送先のフォーマットへ変換してダビングする。しかし全ての情報を移動しなくても良い。
例えば移動先の記録媒体が従うデータフォーマットの番組情報の規定では2D/3D識別情報が定義されていない場合、CPU21は3D/2D識別情報は移動先に記録を行うことが出来ない。あるいはサムネイル画像のデータが大きく、移動先の記録媒体の従う既定では必須の記録事項になっていない場合、ダビング操作を完了する時間を考慮してサムネイル画像データはダビングを行わないという実装も可能である。
上述のように移動先の記録媒体のデータフォーマットの都合などにより2D/3D識別情報をダビングしない場合、先の実施例でも述べたように例えば番組名称に「 [3D]」といった文字列を追加することで、ユーザーが番組名を見て3Dかどうかを理解できるようになるため、利便性の向上が可能である。
図74(b)は記録媒体26から光ディスクに番組名称を変更する処理を行ったうえでダビングを行い、ダビング完了した後の光ディスク内の記録番組一覧の表示例である。図74(a)のようなアイコン表示はなくとも、ユーザーは番組名で容易に3D番組の判別が可能である。2D/3D識別情報も合わせてダビングを実行していれば、図74(b)においてもアイコン表示をおこなっても良い。3D方式識別情報についても同様にダビング時に情報を引き継ぎ可能であれば、図74(b)にて情報表示をおこなっても良い。
<特殊再生処理>
ユーザが図65に例示した番組一覧表示画面から1つの番組を選択すると、記録媒体26に保存されている番組データの中から、選択された番組の再生が開始される。一般に再生中はユーザによるリモコン操作などによって再生速度や再生方向、再生位置を任意に調整できる機能(1倍速の正方向への再生を普通再生と呼び、それに対して他の速度や逆方向への再生方法を総称して特殊再生と呼ぶこともある)が備わっている。正方向への2倍速や10倍速といった高速サーチや、逆方向への高速サーチ、音声出力を伴って1.3倍速で出力・表示を行う再生(早見再生とも呼ぶ)などが例として挙げられる。
高速サーチでは、ストリームに含まれる全ての画像をデコード・表示するのではなく、例えば所定のIピクチャのみデコード・表示を繰り返すことで、任意の倍速再生速度に調整が可能である。例えば、Iピクチャに限らず、それ単独で映像表示が可能なピクチャデータであっても良い。図75では2倍速の高速サーチを行う場合の処理の一例を模式図で表す。
ストリームから映像データを抜き出した際の構成の一例を図75の上部に示す。図75では例えばSide−by−Side方式やTop−and−Bottom方式のように左目用映像と右目用映像とを1枚の画像の中に分割して収めた3D映像データ(2視点同一ES方式とも呼ぶ)を例に示している。
映像データはGOP構造の連なりから成立しており、1GOPには例えば0.5秒分の静止画列が含まれている。また、1GOPには1枚のIピクチャが含まれているとする。このような映像データを2倍速で再生する場合、表示例1ではGOP1のIピクチャを表示した後、0.25秒後にGOP2のIピクチャ、0.5秒後にGOP3のIピクチャ、...というように全てのGOPのIピクチャを元の時間間隔の2倍で表示することで、2倍速の高速サーチを行う。
一方、表示例2ではGOP1のIピクチャ表示後、0.5秒後にGOP3のIピクチャ、1秒後にGOP5のIピクチャ、...のように1枚ずつ表示ピクチャを間引く代わりに1枚のIピクチャの表示時間を長くしており、これでも2倍速の表示を実現可能である。
すなわち、静止画の表示枚数と1枚あたりの表示時間とを調整することで高速サーチは任意に実現できる。図75に示した2倍速の例に限らず、任意の倍速数が同様に静止画の表示枚数と1枚あたりの表示時間とを調整することで実現が可能である。これは逆方向への高速サーチでも同様である。また、1枚の静止画の表示時間も一定である必要は無い。
高速サーチにおいては、復号部に対する入力データが不連続になり、また出力される映像データとしても不連続となるため、音声出力については例えば復号部で出力をミュート処理するなどして出力しないように制御し、映像と音声の同期が取れていない不自然な出力とならないようにしてもよい。
以上の説明は2視点別ES方式の3D番組を再生する場合も同様であり、図75の映像データに該当するデータが2つ存在し、同一表示タイミングのそれぞれのIピクチャを読み出し、図37で示した交互の表示を行うことで、同様に3D番組の高速サーチが可能となる。
次に説明するデータ読み出し時に参照する位置情報(図59に示したクリップ情報ディレクトリ内に保存)によってストリーム再生時間と記録媒体上のデータ読み出し位置は一意に定まる。再生時に位置情報を参照することで、データ読み出し位置の再生時間間隔が把握できるため、GOP構成が図75に示すようにGOP毎の時間間隔が0.5秒と一意でなかったとしても、また1GOPに複数のIピクチャ(もしくは単独で映像表示が可能なピクチャ)が含まれていたとしても、静止画の表示枚数と1枚あたりの表示時間とを調整することが可能であり、任意の倍速数の高速再生が実現できる。図76にクリップ情報データおよびデータ読み出し位置情報の一例を示す。
<クリップ情報データおよびデータ読み出し位置情報>
図76(a)に、クリップ情報ファイルのデータ構成の一例を示す。「ストリーム形式情報」は例えばMPEG2−TSといったストリームの形式を示す。「バージョン情報」はこのクリップ情報ファイルが記録された際の規格のバージョンを示す。これを参照することで以降の情報列の形式が一意に判断でき、記録媒体が可搬であっても機器間での互換性を保つことが可能となる。
「シーケンス情報開始アドレス」は後述する「シーケンス情報」の開始位置を示す。同様に「プログラム情報開始アドレス」、「特徴点情報開始アドレス」、「クリップマーク情報開始アドレス」、「メーカ固有情報開始アドレス」は夫々の情報の開始位置を示す。
「クリップ情報」は、例えばどのようにエンコードされたか、放送受信を記録した際に変換がされたか、ビットレートはいくつか、といったこのクリップ情報に該当するプログラムの特質を示す。
「シーケンス情報」は、ストリームのSTC値が連続している部分を1シーケンスと定義し、このクリップ情報に該当するプログラムにいくつのシーケンスが含まれているか、それらのシーケンスのPCR値や開始位置および終了位置のPTS値などを含む。
「プログラム情報」は、このクリップ情報に該当するプログラムが含む番組数を記録し、各番組の放送時のストリームのIDや、さらにはその番組に含まれる全ESの詳細情報(映像ESであればその映像形式やフレームレートやアスペクト比や音声ESであればそのサンプリング周波数など)を保持する。
「クリップマーク情報」には、このクリップ情報に該当するプログラムが含むチャプタの情報が記録され、その内容は図60で示したチャプター情報と類似のものである。「メーカ固有情報」は、受信装置4を製造したメーカが独自の情報を入力するために使用可能なデータ領域である。
「特徴点情報」には、映像ES数を示す「ストリーム数」、その映像ES毎にPIDを示す「ストリームPID」、GOP先頭のデータ形式を判別する(例えばMPEG2形式のデータでIピクチャの前にはGOPヘッダとシーケンスヘッダがある、など)ための「映像ストリーム形式情報」、後述する位置情報(詳細)のデータ個数、後述する位置情報(概要)のデータ個数、位置情報の開始位置を示す「位置情報開始アドレス」とを記録し、その後に各映像ES毎の位置情報の実体が記録される。
図76(b)に位置情報のデータ構成の一例を示す。本例では読み出し位置を示す位置情報を位置情報(詳細)と位置情報(概要)の二つのテーブルで管理する。例えば位置情報(概要)テーブルには記録媒体上のデータ位置情報とそのデータの再生時間の算出に使用可能なPTS値の上位ビット(例えば14ビット)を記録した概要PTS値とを保持する。
また、各データは位置情報(詳細)テーブルのデータとの関連を表す参照値を保持する。位置情報(詳細)テーブルのデータが実際の読み出し位置(例えばIピクチャの先頭パケットなど)に該当し、記録媒体上のデータ位置情報(例えば下位17ビット)とそのデータの再生時間の算出に使用可能な詳細PTS値とを保持する。詳細PTS値は完全に下位ビットまで無くても、例えば中間の11ビットを保存するという形式でも十分な時間解像度が守れれば良い。
これらの情報を保持することで,任意のデータ位置と対応するPTS値を一意に決定することが可能である。位置情報(概要)の参照値データが位置情報(詳細)を参照する位置は夫々が表現可能なデータサイズに依存する。
例えばデータ位置情報を0からカウント開始して表現可能なサイズを超え、再び0に戻る時に位置情報(概要)テーブルに新たなデータを追加し、これと同時に作成された位置情報(詳細)テーブルのデータが参照値となる。以上二つの配列情報を1つのファイルに例えば位置情報(概要)の次に位置情報(詳細)の順に並べて特頂点データ内に記録することで管理する。
しかし、データの構成は本実施例に制限されず、例えば該当する映像ESのPIDやIピクチャデータのサイズ、映像データのフォーマット(MPEG2形式かH.264形式か、など)といった付随情報を一緒に位置情報(詳細)に記録しても良い。こうすることで位置情報(詳細)で管理されるデータ毎にそのストリームの素性を判別することができるので、再生時により細かい制御が可能になる。
また、本実施例では位置情報(詳細)と位置情報(概要)の二つのテーブルで管理する方法を説明したが、二つのテーブルで管理する方法の利点は例えばテーブルで管理する場合に比べて上位レベルの情報を概要テーブルに纏めて情報量を削減しているので、大量の情報から検索する場合に検索速度を高速化できる点である。勿論、PTS値と記録媒体上のデータ記録位置とを1対1で対応させた一つのテーブルのみで管理することで実現しても良い。
<記録時の処理手順>
次に、位置情報の記録処理を説明する。受信したデータを記録媒体26へ記録する際に、情報取得部5802でIピクチャを検出したら、その位置をデータ先頭からのパケット数値で認識し、データ位置情報とする。またIピクチャ先頭パケットにPTS値があればそこから概要PTS値と詳細PTS値を生成し、記録する。PTS値の正確な位置についてはストリーム形式が判別されれば一意に確定する。
また、必ずしも全てのIピクチャに対して位置情報を作成・記録する必要は無いし、Iピクチャの情報と合わせてPピクチャやBピクチャの位置情報を同様にして記録することも可能である。
録画番組が3Dの2視点別ES伝送方式の場合、このような管理テーブルをES毎に作成し、全ての配列情報を1つのファイルに並べて記録することが可能である。すなわち上述の「特徴点情報」の「ストリーム数」が2となり、主視点映像の位置情報と副視点映像の位置情報が順に記録されている状態である。
なお上記位置情報の記録については、一般的にピクチャ毎の位置情報検出のために専用のハードウェアによる処理やソフトウェア処理の追加が生じる。それらの処理を実装できない事情を考慮して、より簡易的な特徴点情報の記録方法が定められていることがある。
装置内に設けた送出設備と同期するクロック(27MHzで駆動するのが一般的である)をベースとして動作する時間カウンタによって入力ストリームの到着時間を管理し、例えば1秒毎というように定期的な区切りを設けて時間カウンタの値もしくは到着時間と共にその時のパケット記録位置を記録する方法や、一定量サイズのデータが入力される毎にその時のパケット記録位置と共に時間カウンタの値もしくは到着時間を記録していく方法などがある。
これらの方法によれば正確なピクチャの記録位置は判別できないものの、ストリーム読み出し位置と時間情報の括りつけが可能であり、この情報を元に高速再生を実現することが可能である。例えばN倍速といった再生を行う場合、図75に例示した場合と同様にして記録された時間カウンタ値もしくは到着時間の情報を参照して該当するパケット位置よりデータを読みだし、映像復号部30は入力データを順次解析を進めてデコード可能なピクチャを検出したところでデコードを実行する、といった実施方法がある。
以上で説明したような高速サーチを行った場合、速度が速くなるほどに1表示画像ごとにシーンが切り替わり、全く異なる静止画の表示が連続して行われる可能性が高くなる。3D表示映像を再生している場合は特に、右目用画像と左目用画像が表示されてからユーザが脳内でこの2枚の画像を結像し、3次元映像として認識するまでに時間を要するため、1枚あたりの表示時間を短くすると表示映像を正常に視聴できなくなる問題がある。
この問題を解決するために、3次元映像表示時にはそれに合わせた高速サーチ時の表示方法を適用する。
<高速サーチ時の制御実施例>
図77には、図75で示した2視点同一ES映像データの構成に対して、ユーザが視聴しやすい3次元映像の高速サーチ処理例を示す。
表示例1では、1秒間普通再生を行った後にスキップ(再生位置の変更、ジャンプともいう)を行うことで2倍の高速サーチを実現する場合を示す。スキップは上述したクリップ情報を利用することで可能となる。
図77では普通再生時間を1秒としているが、任意の秒数で実行して構わない。例えば普通再生時間を2秒として2秒後にGOP9へスキップすることでも2倍の高速サーチとなる。普通再生時間を長くすればそれだけユーザの3D認識は容易になるが、一度のスキップ時間間隔が大きくなるため、所望のシーンを探し当てる精度は悪くなるおそれがある。
表示例2では、1秒間静止画表示を行った後にスキップを行うことで2倍の高速サーチを実現する場合を示す。スキップは上述したクリップ情報を利用することで可能となる。1枚あたりの静止画表示時間を1秒としているが、任意の秒数で実行して構わない。例えば静止画表示時間を2秒として2秒後にGOP9に含まれるIピクチャを表示、...と処理することでも2倍の高速サーチとなる。
以上の処理によってユーザは3D映像を3Dで認識しつつサーチを行うことが可能となる。
一方で表示を3次元映像で行うのではなく、高速サーチ実行時には2次元画像の表示を行うことで実行しても良い。ユーザの画像の認識が容易になり、一度のスキップ時間間隔を短くして表示画像数を増やすことが出来るので、所望のシーンを探し当てる精度を向上させることが可能となり、使い勝手が向上する。
以上で示した複数の処理をユーザが設定メニューなどから選択可能なようにしても良い。例えば3D映像シーンでの表示方法を表示例1の形式と表示例2の形式のいずれを使用するか選択することや、表示例1の形式を用いる場合には一回の普通再生時間を何秒とするか時間を指定することで行う。
また、3次元映像を含む映像データの高速サーチにおいて2次元画像の表示とするか3次元映像の表示とするかを選択可能なようにしてもよい。
このように選択可能とすることで例えば、ユーザ個々の視聴特性に適した表示を可能としたり、表示する画像の特性に適した表示方法に変更したりするなど使い勝手が向上する。
なお、例えば1.3倍速や1.5倍速といった高速再生については、BピクチャあるいはPピクチャなどの参照画像を伴って復号が行われるピクチャデータを速度に応じて適宜出力しないように映像出力を制御する。ほぼ連続して見えるため音声データも例えば速度に応じた間隔で部分的に出力をしないように制御して、映像に合わせた音声出力を行う。これによりユーザは連続したシーンとして視認可能なため、上記で述べたような処理は実施しないでも良い。
<装置における処理>
装置において再生シーンが2Dか3Dかによって異なる処理を実施し、適切な3Dシーンを含むコンテンツの高速サーチを実行する処理の一例を図78に示す。以下の説明では、図25に示す受信装置を例に説明を行う。
ユーザからのリモコン操作などで高速サーチを指定されると、S7801では映像復号部30が符号化されたユーザデータ領域や付加情報領域に格納された3D番組詳細記述子を検出しS7802へ進む。なおこの検出は多重分離部29や番組情報解析部54で行っても良いし、検出するデータは図54で示したコンテント記述子に含まれた番組特性であって良い。
S7802ではシステム制御部51でS7801にて取得された情報から現在復号を行っている場面が2Dか3Dかを判定する。判定結果が3Dの場合にはS7803に進み、2Dの場合にはS7804に進む。なお、S7801、7802における2Dか3Dかの判定は、その他の方法で行われてもよい。
S7803ではシステム制御部51が3D表示に応じた特殊再生の設定を関係する処理ブロックに指示し、各処理ブロックは必要な処理を行い処理を終了する。S7804ではシステム制御部51が2D表示に応じた特殊再生の設定を関係する処理ブロックに指示し、各処理ブロックは必要な処理を行って処理を終了する。
S7803で行う処理は表示形式をどうするかによって異なる。図79は表示形式として図77の表示例1に示したように数秒間連続した動画を表示する場合にS7803で行う特殊再生の設定の一例を示すシーケンス図である。
S7901ではシステム制御部51が映像復号部30の復号方法を通常再生と同様のデコード処理を行う設定を維持したままS7902へ進む。S7902ではシステム制御部51が記録再生制御部58に録画番組データの読み出し・転送方法の変更指示を行い、1回に連続した秒数分(例えば1秒間)の映像データを含むデータを出力する。
より具体的には記録再生制御部58は図76に示したGOP情報を参照することで所望の数秒間のデータの読み出し位置を判別することが可能である。順次必要なデータを読み出して映像復号部30へ転送したら、倍速数に応じて次の読み出し位置を判別する、という処理を繰り返す設定として処理を終了する。
1回の連続したデータの秒数は任意である。各データ転送のタイミングは記録再生制御部58が図示しない動作クロックを参照することで管理し、映像復号部30はそれに応じて入力データを遂次デコード処理を実行することで実現しても良いし、映像復号部30が表示タイミングを管理し、記録再生制御部58は映像復号部30の復号前バッファのデータ残量に応じて、空きが出来たらデータを高速に転送する処理(フロー制御とも呼ぶ。)としても良い。また本シーケンスの場合、高速サーチ中であっても動画を表示しているため、合わせて音声出力を実施しても良い。
図80は表示形式として図77の表示例2に示したように数秒間一枚の静止画を表示する場合にS7803で行う特殊再生の設定の一例を示すシーケンス図である。S8001ではシステム制御部51が映像復号部30の復号処理方法をIピクチャのみデコードするように変更してS8002へ進む。
S8002ではシステム制御部51が記録再生制御部58に録画番組データの読み出し・転送方法の変更指示を行い、1回に1枚のIピクチャデータを出力する。なお、S8001で映像復号部がIピクチャデータのみ処理するよう設定されているため、Iピクチャデータ以外のデータを転送しても動作に問題はない。
Iピクチャデータのみ処理することで処理負荷の低減が可能である。記録再生制御部58は図76に示した位置情報を参照することで所望のIピクチャデータの読み出し開始位置と終了位置を判別可能である。Iピクチャデータを読み出して映像復号部30へ転送したら、倍速数と1枚のIピクチャの表示時間に応じて次の読み出し位置を判別する、という処理を繰り返す設定として処理を終了する。1枚のIピクチャの表示時間間隔は任意である。
また3Dシーンの特殊再生中の表示形式を2Dにする場合は、S7803で行う特殊再生の設定シーケンスは、記録された映像フォーマットによって処理内容は異なる。記録映像が2視点別ES伝送方式の番組であった場合は図80と同様の処理を実行すればよく、ただしS8002では記録再生制御部58は主要な1ESのみを選択して出力し、必要な時間間隔でIピクチャデータを提供する設定を行って処理を終了する。
この場合Iピクチャの表示間隔を例えば100ミリ秒など、2D再生時と同等の細かい表示間隔となるよう処理すれば、ユーザがより詳細な再生位置を把握しやすくなるなどの利点がある。
記録映像が2視点同一ES伝送方式の場合の処理シーケンスの一例を図81に示す。S8001と同様の処理を行った後、S8101では映像変換処理部32で例えばサイドバイサイド方式などの2視点分の映像であれば2D視聴用に1視点分の表示に変換する設定としてS8102へ進む。
S8102ではS8002と同様の設定を行い処理を終了する。ただしIピクチャの表示間隔を例えば100ミリ秒など、2D再生時と同等の細かい表示間隔となるよう処理しても良い。また、いずれのフォーマットの場合であっても3D視聴補助装置3502の3D視聴機能を停止するか、3D視聴補助装置3502の3D視聴機能はそのままに、右目と左目に同一の画像を見せる(図37(a)のS画像表示タイミングでM画像を再表示、図39(a)のR画像表示タイミングでL画像を再表示する)制御を行う。
以上の処理によって図25に示す構成を持った受信装置4の記録媒体から3次元映像データを含む番組を再生する場合に、3次元映像シーンにおいてユーザが視聴しやすい高速サーチを実現できる効果を得る。
<複数の装置を接続した場合の処理>
図25に示す受信装置4は例えば高速デジタルI/F46や図示しないデジタルI/Fを介して、記録媒体を有し記録機能を持った記録再生装置や再生機能を持った再生装置と連携することが可能である。構成の一例となる模式図を図82に示す。
記録再生装置8201は受信装置に接続可能であり、単体で記録機能を有する。したがって記録再生装置8201で記録した番組をデジタル出力し、それを受信装置4の入力として視聴することが考えられる。(以下記録再生装置8201との接続を例に説明を行うが、再生装置であっても同等の処理で同等の効果が得られる。)
また、例えばHDMI(登録商標。High-Definition Multimedia Interfaceの略。)接続のようなデジタルI/Fではコマンドの送受信が可能であるため、ユーザからの指示を受けるのは受信装置4であって、受信装置4から記録再生装置8201に対して制御コマンドを送信して記録再生装置8201を制御することが可能である。
本構成の場合、記録再生装置8201で映像データのデコードや映像変換処理などを行ってデジタルI/Fに出力されるため、受信装置4は図示しないデジタルI/Fから入力されたデータを図示しない表示部に出力するだけで、映像データを表示可能である。
本構成において3Dシーンを含むコンテンツの高速サーチを実行する処理の一例を説明する。処理シーケンスは図78から図81に示した処理に準じる。ユーザからのリモコン操作などで高速サーチを指定されるとシステム制御部51は制御信号を生成し、図示しないデジタルI/Fから記録再生装置8201へ送信する。以降の各処理内容は上記実施例と同等であり、実行箇所が表示装置4ではなく、記録再生装置8201で行われるため説明を省略する。
以上の処理によって図82に示す構成を持った受信装置4において記録再生装置8201もしくは再生装置の出力した信号を受けて3次元映像データを含む番組を再生する場合に、3次元映像シーンにおいてユーザが視聴しやすい高速サーチを実現できる効果を得る。
<ネットワークを介した再生における処理>
図25に示す受信装置4は図71に示した構成の例のように、ネットワークI/F25を介して、異なる受信装置や記録再生装置、再生装置などと連携することが可能である(例えばDLNA(登録商標。Digital Living Network Allianceの略。)ガイドラインで規定されるネットワークを介したコンテンツの視聴や、VOD(Video On Demandの略。)サービスによるコンテンツの視聴等)。記録再生装置7103を接続制御装置7101を介してネットワークケーブルで放送受信装置4と接続し、記録再生装置7103で記録した番組データを伝送して放送受信装置4で表示、視聴することが可能である。
本構成において3Dシーンを含むコンテンツの高速サーチを実行するシーケンスを説明する。(以下説明は記録再生装置7103からのデータ出力を例に説明を行うが、再生装置7102と読み替えても同等の処理で同等の効果を得られる。)
本構成の場合,データの出力制御は記録再生装置7103で行い、デコード・画像変換処理は受信装置4で行う。基本的な処理手順は図78から図81に記載した一連の制御に準じている。
普通再生中に例えばユーザからのリモコン操作などで高速サーチを指定された場合にS7801へ移動する。またそれに合わせて通信コマンドを記録再生装置7103へネットワーク経由で送信する。S7801では映像復号部30が符号化されたユーザデータ領域や付加情報領域に格納された3D番組詳細記述子を検出しS7802へ進む。なおこの検出は多重分離部29や番組情報解析部54で行っても良いし、検出するデータは図54で示したコンテント記述子に含まれた番組特性であって良い。
S7802ではシステム制御部51でS7801にて取得された情報から現在復号を行っている場面が2Dか3Dかを判定する。判定結果が3Dの場合にはS7803に進み、2Dの場合にはS7804に進む。なお、S7801、7802における2Dか3Dかの判定は、その他の方法で行われてもよい。
S7803ではシステム制御部51が3D表示に応じた特殊再生の設定を関係する処理ブロックに指示し、各処理ブロックは必要な処理を行いシーケンスを終了する。S7804ではシステム制御部51が2D表示に応じた特殊再生の設定を関係する処理ブロックに指示し、各処理ブロックは必要な処理を行ってシーケンスを終了する。
表示形式として図77の表示例1に示したように数秒間連続した動画を表示する場合には、S7901では映像復号部30は通常再生と同等の処理を実行する設定を保ってS7902へ進む。S7902では記録再生装置7103にて、録画番組データの読み出し・転送方法の変更を行い、1回に連続した秒数分(例えば1秒間)の映像データを含むデータを出力する。なお読み出す連続したデータの秒数は任意である。
記録再生装置7103内部でも例えば図75および図76に示した形式で位置情報を記録していれば、この情報を参照することで所望の数秒間のデータの読み出し位置を判別することが可能であるため、倍速数に応じて次の読み出し位置を判別する、という処理を繰り返す設定として処理を終了する。
受信装置4ではネットワークI/F25で受信したデータを順次多重分離部29での映像・音声などのデータの分離から映像復号部30での復号処理、映像変換処理部32での映像変換処理、ディスプレイ47での表示まで放送受信時と同等に一連の処理を行う。
表示形式として図77の表示例2に示したように数秒間一枚の静止画を表示する場合には、S8001ではシステム制御部51が映像復号部30の復号処理方法をIピクチャのみデコードするように変更してS8002へ進む。
S8002では記録再生装置7103が録画番組データの読み出し・転送方法の変更を行い、1回に1枚のIピクチャデータを出力する。なお、S8001で映像復号部がIピクチャデータのみ処理するよう設定されているため、Iピクチャデータ以外のデータを転送しても動作に問題はない。Iピクチャデータのみ処理することで処理負荷の低減が可能である。記録再生装置7103が録画時に例えば図75および図76に示したように位置情報を記録していれば、これを参照することで所望のIピクチャデータの読み出し開始位置と終了位置を判別可能である。
Iピクチャデータを読み出してネットワーク出力を行ったら、倍速数と1枚のIピクチャの表示時間に応じて次の読み出し位置を判別する、という処理を繰り返す設定として処理を終了する。
また3Dシーンの特殊再生中の表示形式を2Dにする場合は、S7803で行う特殊再生の設定シーケンスは、記録された映像フォーマットによって処理内容は異なる。記録映像が2視点別ES伝送方式の番組であった場合は図80と同様の処理を実行すればよいが、S8002では記録再生制御部58は主要な1ESのみを選択して出力し、必要な時間間隔でIピクチャデータを提供する設定を行って処理を終了する。この場合Iピクチャの表示間隔を例えば100ミリ秒など、2D再生時と同等の細かい表示間隔となるよう処理すれば、ユーザがより詳細な再生位置を把握しやすくなるなどの利点がある。
記録映像が2視点同一ES伝送方式の場合の処理シーケンスの一例を図81に示す。S8001と同様の処理を行った後、S8101では映像変換処理部32で例えばサイドバイサイド方式などの2視点分の映像であれば2D視聴用に1視点分の表示に変換する設定としてS8102へ進む。S8102ではS8002と同様の設定を行い処理を終了する。
ただしIピクチャの表示間隔を例えば100ミリ秒など、2D再生時と同等の細かい表示間隔となるよう処理しても良い。また、いずれのフォーマットの場合であっても3D視聴補助装置3502の3D視聴機能を停止するか、3D視聴補助装置3502の3D視聴機能はそのままに、右目と左目に同一の画像を見せる(図37(a)のS画像表示タイミングでM画像を再表示、図39(a)のR画像表示タイミングでL画像を再表示する)制御を行う。
受信装置4と記録再生装置7103とがお互いが齟齬なく動作することを担保するためには送信側処理と受信側処理とが予め規定されている方式に則って夫々が独立した制御をおこなうことで実現可能である。あるいは操作を切り替える際にネットワーク上でのコマンド送受信を実行して受信装置4から記録再生装置7103へ出力制御方法を指示する仕組み、記録再生装置7103から実データ送信前に制御方法を通知する仕組みとしても良い。
以上の処理によって図71に示す構成を持った受信装置4において記録再生装置7103もしくは再生装置7102の出力した信号を受けて3次元映像データを含む番組を再生する場合に、3次元映像シーンにおいてユーザが視聴しやすい高速サーチを実現できる効果を得る。
<番組中に2D映像と3D映像とが混在している場合の切り替わり処理>
以上では3D番組詳細記述子の検出による処理を説明したが、図64(a)で示した3D/2D識別情報を持つ場合、2次元映像データと3次元映像データが混在している番組を再生・表示する場合にユーザの使い勝手を向上する制御について説明する。
図83に処理シーケンスの一例を示す。S8301では該当の再生コンテンツの3D識別情報を参照し3次元映像データ有りを示す値の場合はS8302へ進み、3次元映像データ無しを示す値の場合はS8303へ進む。識別情報の参照方法は毎回ファイルアクセスするよりは、再生開始前にファイルアクセスを1回行い、ローカル変数として記録しておくことで、以降判定の度に該当のローカル変数を参照すれば3D/2D識別情報の値を判断可能であり、処理負荷が軽くなる利点がある。
S8302では再生表示位置が3次元映像データか2次元映像データかに関わらず、上述した図79から図81で説明を行った3次元映像データ向けの処理を行う設定として処理を終了する。ただしS8101で述べた処理については、映像変換処理部32で入力映像が、例えば図40で説明したようにSide−by−Side形式やTop−and−Bottom形式の3次元映像であれば2次元映像に変換する処理を行い、入力映像が2次元映像であれば変換処理は行わない。
S8303では図78に示した処理を行い、再生位置の映像データが3次元映像データか2次元映像データかに応じて処理を行うよう設定をして終了する。ただしS7803で行う特殊再生の設定シーケンスについては、映像変換処理部32で入力映像が、例えば図40で説明したようにSide−by−SideやTop−and−Bottom形式の3次元映像であれば2次元映像に変換する処理を行い、入力映像が2次元映像であれば変換処理は行わない。
以上の処理によって3D/2D識別情報を参照すれば、2次元映像データと3次元映像データが混在しているコンテンツにおいて2次元映像シーンと3次元映像シーンとの高速サーチ中の映像の見た目を共通化可能であり、2次元/3次元シーンが切り替わった際でも違和感を軽減でき、ユーザが高速再生中の3D映像を視認しやすいという利点がある。
S8301で行う3D/2D識別情報の判定の代わりに、番組共通情報に含まれる番組名(番組タイトルとも言う)に3次元映像を含む意味をもつタイトルかどうかで判断をしてもよい。これによれば3D/2D識別情報が無い場合でも、3D映像シーンを含むかどうか判断可能であり、より使い勝手を向上できる。また、その他の方法により3D映像シーンを含むか否かを判定してもよい。
<ESレベルのフラグが無い場合の処理>
2視点同一ES伝送方式の再生コンテンツがユーザデータ領域や付加情報領域に3D番組詳細記述子を保持していない場合、受信装置4は再生シーンの2D・3Dの判定が困難となる場合がある。そうすると、高速サーチ中に2D映像と3D映像との切り替わりが発生した場合、2D映像を3D形式で表示してしまうことが考えられる。
これを防ぐために、再生シーンの2D・3Dの判定が困難となる場合は、例えばユーザが特殊再生動作に切り替えた場合には、特殊再生中の表示形式を2Dとして扱うこととしてもよい。これによって、表示形式を誤ってユーザに不快な映像を見せてしまう可能性を排除し、視聴しやすい特殊再生を実現できる効果が得られる。