以下、本発明に好適な実施形態の例(実施例)を説明する。但し、本発明は本実施例に限定されない。本実施例は、主には受信装置について説明してあり、受信装置での実施に好適であるが、受信装置以外への適用を妨げるものではない。また、実施例の構成すべてが採用される必要はなく取捨選択可能である。
以下の実施例において、3Dとは3次元を、2Dとは2次元を意味する。例えば3D映像とは、左右の眼に視差のある映像を提示することにより、観察者があるオブジェクトを立体的に、自分と同じ空間に存在するかのように知覚することを可能とする映像を意味する。また、例えば3Dコンテンツとは、表示装置による処理で3D映像の表示が可能となる映像信号を含むコンテンツである。
3D映像を表示する方法としては、アナグリフ方式、偏光表示方式、フレームシーケンシャル方式、視差(パララックス)バリア方式、レンチキュラレンズ方式、マイクロレンズアレイ方式、光線再生方式等がある。
アナグリフ方式とは、左右異なる角度から撮影した映像をそれぞれ赤と青の光で重ねて再生し、左右に赤と青のカラーフィルタの付いたメガネ(以下、「アナグリフメガネ」ともいう)で見る方式である。
偏光表示方式とは、左右の映像に直交する直線偏光をかけて重ねて投影し、これを偏光フィルタの付いたメガネ(以下、「偏光メガネ」ともいう)により分離する方式である。
フレームシーケンシャル方式とは、左右異なる角度から撮影した映像を交互に再生し、左右の視界が交互に遮蔽されるシャッターを備えたメガネ(必ずしもメガネの形状を取る必要は無く、電気的特性によりレンズ内の素子の光の透過具合が制御可能なデバイスを指す。以下、「シャッターメガネ」ともいう。)で見る方式である。
視差バリア方式とは、ディスプレイに「視差バリア」と呼ばれる縦縞のバリアを重ねることで、右眼には右眼用の映像、左眼には左眼用の映像を見せる方式であり、ユーザが特別なメガネ等を着用する必要がない。視差バリア方式は、さらに視聴する位置が比較的狭い2視点方式、視聴する位置が比較的広い多視点方式等に分類することもできる。
レンチキュラレンズ方式とは、ディスプレイにレンチキュラレンズを重ねることで、右眼には右眼用の映像、左眼には左眼用の映像を見せる方式であり、ユーザが特別なメガネ等を着用する必要がない。レンチキュラレンズ方式は、さらに視聴する位置が比較的狭い2視点方式、視聴する位置が左右に比較的広い多視点方式等に分類することもできる。
マイクロレンズアレイ方式とは、ディスプレイにマイクロレンズアレイを重ねることで、右眼には右眼用の映像、左眼には左眼用の映像を見せる方式であり、ユーザが特別なメガネ等を着用する必要がない。マイクロレンズアレイ方式は、視聴する位置が上下左右に比較的広い多視点方式である。
光線再生方式とは、光線の波面を再生することにより、観察者に視差画像を提示する方式であり、ユーザが特別なメガネ等を着用する必要がない。また、視聴する位置も比較的広い。
なお、3D映像の表示方式は一例であり、上記以外の方式を採用してもよい。また、アナグリフメガネ、偏光メガネ、シャッターメガネ等、3D映像を視聴するために必要な道具や装置を総称して3Dメガネ、または3D視聴補助装置ともいう。
<システム>
図1は、本実施例のシステムの構成例を示すブロック図である。放送で情報を送受信して記録再生する場合を例示している。ただし放送に限定されず通信によるVOD(Video On Demand)であってもよく、総称して配信ともいう。
1は放送局などの情報提供局に設置される送信装置、2は中継局や放送用衛星などに設置される中継装置、3はインターネットなど一般家庭と放送局を繋ぐ公衆回線網、ユーザの宅内などに設置される4は受信装置、10は受信装置4に内蔵される記録再生装置(受信記録再生部)である。記録再生装置10では、放送された情報を記録し再生、またはリムーバブルな外部媒体からのコンテンツの再生、などができる。
送信装置1は、中継装置2を介して変調された信号電波を伝送する。図のように衛星による伝送以外にも例えばケーブルによる伝送、電話線による伝送、地上波放送による伝送、公衆回線網3を介したインターネットなどのネットワーク経由による伝送などを用いることもできる。受信装置4で受信されたこの信号電波は、後に述べるように、復調されて情報信号となった後、必要に応じ記録媒体に記録される。または公衆回線網3を介して伝送する場合には、公衆回線網3に適したプロトコル(例えばTCP/IP)に準じたデータ形式(IPパケット)等の形式に変換され、前記データを受信した受信装置4は、復号して情報信号とし、必要に応じ記録するに適した信号となって記録媒体に記録される。また、ユーザは、受信装置4にディスプレイが内蔵されている場合はこのディスプレイで、内蔵されていない場合には受信装置4と図示しないディスプレイとを接続して情報信号が示す映像音声を視聴することができる。
<送信装置>
図2は、図1のシステムのうち、送信装置1の構成例を示すブロック図である。11はソース発生部、12はMPEG2、或いはH.264方式等で圧縮を行い、番組情報などを付加するエンコード部、13はスクランブル部、14は変調部、15は送信アンテナ、16は管理情報付与部である。カメラ、記録再生装置などから成るソース発生部11で発生した映像音声などの情報は、より少ない占有帯域で伝送できるよう、エンコード部12でデータ量の圧縮が施される。必要に応じてスクランブル部13で、特定の視聴者には視聴可能となるように伝送暗号化される。変調部14でOFDM、TC8PSK、QPSK、多値QAMなど伝送するに適した信号となるよう変調された後、送信アンテナ15から、中継装置2に向けて電波として送信される。このとき、管理情報付与部16では、ソース発生部11で作成されたコンテンツの属性などの番組特定情報(例えば、映像や音声の符号化情報、音声の符号化情報、番組の構成、3D映像か否か等)が付与され、また、放送局が作成した番組配列情報(例えば現在の番組や次番組の構成、サービスの形式、1週間分の番組の構成情報等)なども付与される。これら番組特定情報および番組配列情報を合わせて、以下では番組情報と呼ぶ。
なお、一つの電波には複数の情報が、時分割、スペクトル拡散などの方法で多重されることが多い。簡単のため図2には記していないが、この場合、ソース発生部11とエンコード部12の系統が複数個あり、エンコード部12とスクランブル部13との間に、複数の情報を多重するマルチプレクス部(多重化部)が置かれる。
また、公衆回線網3を経由して送信する信号についても同様に、エンコード部12で作成された信号が必要に応じて暗号化部17で、特定の視聴者には視聴可能となるように暗号化される。通信路符号化部18で公衆回線網3で伝送するに適した信号となるよう符号化された後、ネットワークI/F(Interface)部19から、公衆回線網3に向けて送信される。
<3D伝送方式>
送信装置1から伝送される3D番組の伝送方式には大きく分けて二つの方式がある。一つの方式は、既存の2D番組の放送方式を生かし、1枚の画像内に左目用と右目用の映像を収めた方式がある。この方式は映像圧縮方式として既存のMPEG2(Moving Picture Experts Group 2)やH.264 AVCが利用され、その特徴は、既存の放送と互換があり、既存の中継インフラを利用でき、既存の受信装置(STBなど)での受信が可能であるが、既存の放送の最高解像度の半分(垂直方向、あるいは水平方向)の3D映像の伝送となる。
例えば、図17(a)で示すように1枚の画像を左右に分割して左目用映像(L)と右目用映像(R)それぞれの水平方向の幅が2D番組の約半分、垂直方向の幅が2D番組と同等の画面サイズで収めた「Side−by−Side」方式(以下、SBSと表記する)や1枚の画像を上下に分割して左目用映像(L)と右目用映像(R)それぞれの水平方向の幅が2D番組と同等、垂直方向が2D番組の約半分の画面サイズで収めた「Top−and−Bottom」方式(以下、TABと表記する)、その他インタレースを利用して収めた「Field alternative」方式や走査線1本ごとに左目用と右目用の映像を交互に収めた「Line alternative」方式や2次元(片側の)映像と映像の各ピクセルごとの深度(被写体までの距離)情報を収めた「Left+Depth」方式がある。
これらの方式は、1枚の画像を複数の画像に分割して複数の視点の画像を格納するものであるので、符号化方式自体は、元々多視点映像符号化方式ではないMPEG2やH.264 AVC(MVCを除く)符号化方式をそのまま用いることができ、既存の2D番組の放送方式を生かして3D番組放送を行うことができるというメリットがある。なお、例えば、2D番組を最大水平方向が1920ドット、垂直方向が1080ラインの画面サイズで伝送可能であり、SBS方式で3D番組放送を行う場合には、1枚の画像を左右に分割して左目用映像(L)と右目用映像(R)それぞれを水平方向が960ドット、垂直方向が1080ラインの画面サイズとして伝送すればよい。同様にこの場合、TAB方式で3D番組放送を行う場合には、1枚の画像を上下に分割して左目用映像(L)と右目用映像(R)それぞれを水平方向が1920ドット、垂直方向が540ラインの画面サイズとして伝送すればよい。
他の方式としては、左目用の映像と右目用の映像をそれぞれ別ストリームで伝送する方式がある。この方式の一例として、例えば、多視点映像符号化方式であるH.264 MVCによる伝送方式がある。その特徴は、SBS方式やTAB方式に比べて高解像度の3D映像が伝送できることである。
なお、多視点映像符号化方式とは、多視点の映像を符号化するために規格化された符号化方式であり、1画像を視点ごとに分割することなく、多視点の映像を符号化でき、視点ごとに別画像を符号化するものである。
この方式で3D映像を伝送する場合では、例えば左目用視点の符号化画像を主視点画像とし、右目用の符号化画像を他の視点画像として伝送すればよい。このようにすれば主視点画像については既存の2D番組の放送方式と互換性を保つことが可能である。例えば、多視点映像符号化方式としてH.264 MVCを用いる場合には、H.264 MVCのベースサブストリームについては、主視点画像はH.264 AVCの2D画像と互換性を保つことができ、主視点画像を2D画像として表示可能である。本実施例では、上記のような方式を以下、「3D2視点別ES伝送」と称する(ESとは、Elementary Streamの略である)。
「3D2視点別ES伝送方式」の他の一例に、左目用の符号化画像を主視点画像としMPEG2で符号化し、右目用の符号化画像を他の視点画像としH.264 AVCで符号化してそれぞれ別ストリームとする方式がある。この方式によれば、主視点画像はMPEG2互換となり2D画像として表示可能となることから、MPEG2による符号化画像が広く普及している既存の2D番組の放送方式と互換性を保つことが可能である。
「3D2視点別ES伝送方式」の他の一例に、左目用の符号化画像を主視点画像としMPEG2で符号化し、右目用の符号化画像を他の視点画像としてMPEG2で符号化してそれぞれ別ストリームとする方式がある。この方式も、主視点画像はMPEG2互換となり2D画像として表示可能となることから、MPEG2による符号化画像が広く普及している既存の2D番組の放送方式と互換性を保つことが可能である。
「3D2視点別ES伝送方式」の他の一例として、左目用の符号化画像を主視点画像としH.264 AVCまたはH.264 MVCで符号化し、右目用の符号化画像を他の視点画像としてMPEG2で符号化することも可能である。
なお、「3D2視点別ES伝送方式」とは別に、元々多視点映像符号化方式として規定された符号化方式ではないMPEG2やH.264 AVC(MVCを除く)などの符号化方式であっても左目用の映像と右目用のフレームを交互に格納したストリームを生成することで3D映像信号を伝送することも可能である。
<番組情報>
番組特定情報と番組配列情報とを番組情報という。
番組特定情報はPSI(Program Specific Information)とも呼ばれ、所要の番組を選択するために必要な情報で、放送番組に関連するPMT(Program Map Table)を伝送するTSパケットのパケット識別子を指定するPAT(Program Association Table)、放送番組を構成する各符号化信号を伝送するTSパケットのパケット識別子および有料放送の関連情報のうち共通情報を伝送するTSパケットのパケット識別子を指定するPMT、変調周波数など伝送路の情報と放送番組を関連付ける情報を伝送するNIT(Network Information Table)、有料放送の関連情報のうち個別情報を伝送するTSパケットのパケット識別子を指定するCAT(Conditional Access Table)の4つのテーブルからなり、MPEG2システム規格で規定されている。例えば、映像の符号化情報、音声の符号化情報、番組の構成を含む。本発明では、さらに3D映像か否かなどを示す情報を新たに含める。当該PSIは管理情報付与部16で付加される。
番組配列情報はSI(Service Information)とも呼ばれ、番組選択の利便性のために規定された各種情報であり、MPEG−2システム規格のPSI情報も含まれ、番組名、放送日時、番組内容など、番組に関する情報が記載されるEIT(Event Information Table)、編成チャンネル名、放送事業者名など、編成チャンネル(サービス)に関する情報が記載されるSDT(Service Description Table)などがある。
例えば、現在放送されている番組や次に放送される番組の構成、サービスの形式、また、1週間分の番組の構成情報などを示す情報を含み、管理情報付与部16で付加される。
PMT、EITそれぞれのテーブルの使い分けとしては、例えばPMTについては現在放送されている番組の情報のみの記載であるため、未来に放送される番組の情報については確認することができない。しかし、送信側からの送信周期が短いため受信完了までの時間が短く、現在放送されている番組の情報なので変更されることがないという意味での信頼度が高いといった特徴がある。一方、EIT[schedule basic/schedule extended]については現在放送されている番組以外に7日分先までの情報を取得できるが、送信側からの送信周期がPMTに比べ長いため受信完了までの時間が長く、保持する記憶領域が多く必要で、かつ未来の事象のため変更される可能性があるという意味で信頼度が低いなどのデメリットがある。
<受信装置のハードウェア構成>
図13は、図1のシステムのうち、受信装置4の構成例を示すハードウェア構成図である。21は受信装置全体を制御するCPU(Central Processing Unit)である。22はCPU21と受信装置内各部との制御および情報を送信するための汎用バスである。
23は無線(衛星、地上)、ケーブルなどの放送伝送網を介して送信装置1から送信された放送信号を受信し、特定の周波数を選局し復調、誤り訂正処理、などを行い、MPEG2−Transport Stream(以下、「TS」ともいう。)などの多重化パケットを出力するチューナである。
24はスクランブル部13によるスクランブルを復号するデスクランブラである。25はネットワークと情報を送受信し、インターネットと受信装置間で各種情報およびMPEG2―TSを送受信するネットワークI/F(Interface)である。
26は例えば受信装置4に内蔵されているHDD(Hard Disk Drive)やフラッシュメモリ、またはリムーバブルなHDD、ディスク型記録媒体、フラッシュメモリ、などの記録媒体である。27は記録媒体26を制御し、記録媒体26への信号の記録や記録媒体26からの信号の再生を制御する記録再生部である。
29はMPEG2―TSなどの形式に多重化されている信号を、映像ES(Elementary Stream)、音声ES、番組情報などの信号に分離する多重分離部である。ESとは、圧縮・符号化された画像・音声データのそれぞれのことである。
30は映像ESを、映像信号に復号する映像復号部である。31は音声ESを、音声信号に復号し、スピーカ48に出力または音声出力42から出力する音声復号部である。
32は、映像復号部30で復号された映像信号を前記CPUの指示に従い3Dまたは2Dの映像信号を後述する変換処理により所定のフォーマットに変換する処理や、CPU21が作成したOSD(On Screen Display)などの表示を映像信号に重畳する処理などを行い、処理後の映像信号をディスプレイ47または映像信号出力部41に出力し、処理後の映像信号のフォーマットに対応する同期信号や制御信号(機器制御に使用)を映像信号出力部41および制御信号出力部43から出力する映像変換処理部である。
33はユーザ操作入力部45からの操作入力(例えばIR(Infrared Radiation)信号を発信するリモートコントローラーからのキーコード)を受信し、またCPU21や映像変換処理部32が生成した外部機器への機器制御信号(例えばIR)を機器制御信号送信部44から送信する制御信号送受信部である。
34は内部にカウンタを有し、また現在の時刻の保持を行うタイマーである。46は前記多重分離部で再構成されたTSに対し暗号化等必要な処理を行い外部にTSを出力、または外部から受信したTSを復号化して多重分離部29に対して入力するシリアルインタフェースやIPインタフェースなどの高速デジタルI/Fである。
47は映像復号部30が復号して映像変換処理部32により映像が変換された3D映像および2D映像を表示するディスプレイである。48は音声復号部が復号した音声信号に基づいて音を出力するスピーカである。
ディスプレイに3D映像を表示する場合、必要であれば、同期信号や制御信号は制御信号出力部43や機器制御信号送信端子44から出力してもよいし、別途専用の信号出力部を設けてもよい。
受信装置、視聴装置および3D視聴補助装置(例えば3Dメガネ)を含めたシステム構成について、図15および図16に例を示す。図15は受信装置と視聴装置が一体となったシステム構成、また図16は受信装置と視聴装置が別構成となった場合の例である。
図15において、3501は前記受信装置4の構成を含み、3D映像の表示および音声出力が可能な表示装置である。3503は3D視聴補助装置を制御する制御信号(例えばIR信号)で、前記表示装置3501から出力される。3502は3D視聴補助装置である。
図15の例においては、映像信号は前記表示装置3501が具備する映像ディスプレイに表示され、また音声信号は前記表示装置3501が具備するスピーカから出力される。また同様に表示装置3501は機器制御信号44または制御信号43の出力部から出力される3D視聴補助装置を制御する制御信号を出力する出力端子を具備する。
なお、上記の説明は、図15に示す表示装置3501と3D視聴補助装置3502とがフレームシーケンシャル方式により表示する例を前提として説明したが、図15に示す表示装置3501と3D視聴補助装置3502とが偏光表示方式を採用する場合には、3D視聴補助装置3502は偏光メガネであればよく、表示装置3501から3D視聴補助装置3502へ出力される制御信号3503を出力しなくともよい。
また、図16において、3601は前記受信装置4の構成を含む映像音声出力装置、3602は映像/音声/制御信号等を伝送する伝送経路(例えばHDMIケーブル)、3603は外部から入力された映像信号や音声信号を表示出力するディスプレイを表す。
この場合、映像音声出力装置3601(受信装置4)の映像出力41から出力される映像信号と音声出力42から出力される音声信号、制御信号出力部43から出力される制御信号は、伝送路3602で規定されているフォーマット(例えばHDMI規格により規定されるフォーマット)に適した形式の伝送信号に変換され、伝送経路3602を経由しディスプレイ3603に入力される。
ディスプレイ3603では前記伝送信号を受信し、もとの映像信号、音声信号、制御信号に復号し、映像と音声を出力するとともに、3D視聴補助装置3502に対して3D視聴補助装置制御信号3503を出力する。
なお、上記の説明は、図16に示す表示装置3603と3D視聴補助装置3502とがフレームシーケンシャル方式により表示する例を前提として説明したが、図16に示す表示装置3603と3D視聴補助装置3502とが偏光表示方式の場合には、3D視聴補助装置3502は偏光メガネであればよく、表示装置3603から3D視聴補助装置3502へ制御信号3603を出力しなくともよい。
なお、図13に示した21〜46の各構成要件の一部は、1つの、又は複数のLSIで構成されていてもよい。また、図13に示した21〜46の各構成要件の一部の機能をソフトウェアで実現する構成としてもよい。
<受信装置の機能ブロック図>
図14は、CPU21内部における処理の機能ブロック構成の一例である。ここで各機能ブロックは例えばCPU21で実行されるソフトウェアのモジュールとして存在しており、それぞれのモジュール間は何らかの手段(例えばメッセージパッシング、ファンクションコール、イベント送信)などを行って情報やデータの受け渡しおよび制御指示を行う。
また、各モジュールは受信装置4内部の各ハードウェアとも、汎用バス22を介して情報の送受信を行っている。また図に記載の関係線(矢印)は今回の説明に関連する部分を主に記載しているが、その他のモジュール間についても通信手段および通信を必要とした処理は存在する。例えば選局制御部59は、選局に必要な番組情報を番組情報解析部54から適宜取得している。
次に各機能ブロックの機能について説明する。システム制御部51は各モジュールの状態やユーザの指示状態などを管理し、各モジュールに対して指示を行う。ユーザ指示受信部52は制御信号送受信部33が受信したユーザ操作の入力信号を受信および解釈し、ユーザの指示をシステム制御部51に伝える。
機器制御信号送信部53はシステム制御部51や、他のモジュールからの指示に従い、制御信号送受信部33に対して機器制御信号を送信するように指示する。
番組情報解析部54は多重分離部29から番組情報を取得して内容を分析し、必要な情報を各モジュールに対して提供する。時間管理部55は番組情報解析部54から、TSに含まれる時刻補正情報(TOT:Time offset table)を取得して現在の時刻を管理するとともに、タイマー34が有するカウンタを使用し、各モジュールの要求に従いアラーム(指定時刻の到来を通知)やワンショットタイマ(一定時間の経過を通知)の通知を行う。
ネットワーク制御部56は、ネットワークI/F25を制御し、特定URL(Unique Resource Locater)や特定IP(Internet Protocol)アドレスからの各種情報およびTSの取得を行う。復号制御部57は、映像復号部30および音声復号部31を制御し、デコードの開始や停止、ストリームに含まれる情報の取得などを行う。
記録再生制御部58は記録再生部27を制御し、記録媒体26から、特定のコンテンツの特定の位置から、また任意の読み出しの形式(通常再生、早送り、巻戻し、一時停止)で信号を読み出す。また、記録再生部27に入力された信号を、記録媒体26に対して記録する制御を行う。
選局制御部59は、チューナ23、デスクランブラ24、多重分離部29および復号制御部57を制御し、放送の受信および放送信号の記録を行う。または記録媒体からの再生を行い、映像信号および音声信号を出力するまでの制御を行う。詳しい放送受信の動作および放送信号の記録動作、記録媒体からの再生動作については後述する。
OSD作成部60は、特定のメッセージを含むOSDデータを作成し、映像変換制御部61に対して前記作成したOSDデータを映像信号に重畳して出力するように指示を行う。ここでOSD作成部60は、左目用と右目用といった視差のあるOSDデータを作成し、映像変換制御部61に対して、前記左目用と右目用のOSDデータをもとに3D表示を要求することにより、3Dでのメッセージ表示等を行う。
映像変換制御部61は、映像変換処理部32を制御し、映像復号部30から映像変換処理部32に入力された映像信号を、前記システム制御部51からの指示に従い3Dまたは2Dの映像に変換し変換した映像と、OSD作成部60から入力されたOSDを重畳し、さらに必要に応じて映像を加工(スケーリングやPinP、3D表示など)してディスプレイ47に表示または外部に出力する。映像変換処理部32における3D映像、2D映像の所定のフォーマットへの変換方法の詳細については後述する。各機能ブロックはこれらのような機能を提供する。
<放送受信>
ここで放送受信を行う場合の制御手順と信号の流れについて説明する。まず特定チャンネル(CH)の放送受信を示すユーザの指示(例えばリモコンのCHボタン押下)を、ユーザ指示受信部52から受信したシステム制御部51は、ユーザの指示したCH(以下指定CH)での選局を選局制御部59に指示する。
前記指示を受信した選局制御部59は、チューナ23に対して指定CHの受信制御(指定周波数帯への選局、放送信号復調処理、誤り訂正処理)を指示し、TSをデスクランブラ24に出力させる。
次に選局制御部59は、デスクランブラ24に対して前記TSをデスクランブルし多重分離部29に出力するように指示する。多重分離部29に対しては、入力されたTSの多重分離、および多重分離した映像ESの映像復号部30への出力と、音声ESの音声復号部31への出力、を指示する。
また、選局制御部59は、復号制御部57に対し、映像復号部30と音声復号部31に入力された映像ESおよび音声ESの復号指示を行う。前記復号指示を受信した復号制御部31は、映像復号部30に対して復号した映像信号を映像変換処理部32に出力するように制御し、音声復号部31に対して復号した音声信号をスピーカ48または音声出力42に出力するように制御を行う。このようにして、ユーザが指定したCHの映像および音声を出力する制御を行う。
また、選局時のCHバナー(CH番号や番組名、番組情報等を表示するOSD)を表示するために、システム制御部51はOSD作成部60に対してCHバナーの作成および出力を指示する。前記指示を受信したOSD作成部60は、作成したCHバナーのデータを映像変換制御部61に送信し、前記データを受信した映像変換制御部61はCHバナーを映像信号に重畳して出力するように制御を行う。このようにして、選局時等のメッセージ表示を行う。
<放送信号の記録>
次に放送信号の記録制御と信号の流れについて説明する。特定のCHの記録を行う場合には、システム制御部51は選局制御部59に対して特定CHの選局および記録再生部27への信号出力を指示する。
前記指示を受信した選局制御部59は、前記放送受信処理と同様に、チューナ23に対して指定CHの受信制御を指示し、デスクランブラ24に対して、チューナ23から受信したMPEG2−TSのデスクランブル、多重分離部29に対してデスクランブラ24からの入力を記録再生部27に出力するように制御する。
また、システム制御部51は、記録再生制御部58に対して、記録再生部27への入力TSを記録するように指示する。前記指示を受信した記録再生制御部58は、記録再生部27に入力される信号(TS)に対して、暗号化などの必要な処理を行い、また記録再生時に必要な付加情報(記録CHの番組情報、ビットレート等のコンテンツ情報)の作成、また管理データ(記録コンテンツのID、記録媒体26上の記録位置、記録形式、暗号化情報など)への記録を行った後に、前記MPEG2−TSおよび付加情報、管理データを記録媒体26へ書き込む処理を行う。このようにして放送信号の記録を行う。
<記録媒体からの再生>
次に記録媒体からの再生処理について説明する。特定の番組の再生を行う場合には、システム制御部51は、記録再生制御部58に対して、特定の番組の再生を指示する。この際の指示としては、コンテンツのIDと再生開始位置(例えば番組の先頭、先頭から10分の位置、前回の続き、先頭から100MByteの位置等)を指示する。
前記指示を受信した記録再生制御部58は、記録再生部27を制御し、付加情報や管理データを用いて記録媒体26から信号(TS)を読み出して、暗号の復号などの必要な処理を行った後に、多重分離部29に対してTSを出力するように処理を行う。
また、システム制御部51は、再生信号の映像音声出力を選局制御部59に対して指示する。前記指示を受信した選局制御部59は、記録再生部27からの入力を多重分離部29に出力するように制御し、多重分離部29に対して、入力されたTSの多重分離、および多重分離された映像ESの映像復号部30への出力、および多重分離された音声ESの音声復号部31への出力、を指示する。
また、選局制御部59は、復号制御部57に対し、映像復号部30と音声復号部31に入力された映像ESおよび音声ESの復号指示を行う。前記復号指示を受信した復号制御部31は、映像復号部30に対して復号した映像信号を映像変換処理部32に出力するように制御し、音声復号部31に対して復号した音声信号をスピーカ48または音声出力42に出力するように制御を行う。このようにして記録媒体からの信号再生処理を行う。
<3D映像の表示方法>
フレームシーケンシャル方式の場合、受信装置4は、ユーザが着用するシャッターメガネへ、制御信号出力部43や機器制御信号送信端子44から同期信号や制御信号を出力する。また、映像信号出力部41から映像信号を外部の3D映像表示装置へ出力して、左目用の映像と右目用の映像とを交互に表示させる。
または、受信装置4の有するディスプレイ47に同様の3D表示を行う。このようにすれば、シャッターメガネを着用したユーザは、当該3D映像表示装置または受信装置4の有するディスプレイ47で3D映像を視聴することができる。
また、偏光表示方式の場合、受信装置4は、映像信号出力部41から映像信号を外部の3D映像表示装置へ出力して、該3D映像表示装置は、左目用の映像と右目用の映像とを異なる偏光状態で表示させる。または、受信装置4の有するディスプレイ47によって同様の表示を行う。
このようにすれば、偏光方式メガネを着用したユーザは、当該3D映像表示装置または受信装置4の有するディスプレイ47で3D映像を視聴することができる。なお、偏光表示方式では、偏光メガネには、受信装置4から同期信号や制御信号を送信することなく、3D映像を視聴することが可能となるため、制御信号出力部43や機器制御信号送信端子44から同期信号や制御信号を出力する必要はない。
また、このほか、アナグリフ方式、視差(パララックス)バリア方式、レンチキュラレンズ方式、マイクロレンズアレイ方式、光線再生方式等を用いてもよい。なお、本発明に係る3D表示方式は特定の方式に限定されるものではない。
<コンテンツの記録処理>
前述の方式などにより、3Dコンテンツを放送する3D放送が実施される可能性がある。その際に、例えば記録するデータサイズの削減などを目的として、放送された3Dコンテンツ(以下、「3D放送コンテンツ」ともいう。)を2D映像のコンテンツに変換して記録(2D変換記録)する方法が考えられる。本実施例では、3D放送コンテンツを、2Dコンテンツ(表示装置による処理で2D映像として表示が可能となる映像信号を含むコンテンツ)として受信装置が備える記録媒体などに適切に記録する方法について説明する。
まず本実施例において、2D変換記録を実施するか否かを選択する方法について述べる。例えば、図3、図4に示すように番組の録画予約画面やダビング画面などのGUI画面表示により、変換処理の要否をユーザに選択させる方法がある。この方法では、ユーザがコンテンツごとに任意に2D変換を指定できるため使い勝手が向上する。なお、当該予約番組が3Dでない場合は、2Dへの変換処理は不要であるため、変換処理を行わない実装としてもよい。
また、設定メニュー画面などに同様の選択画面を用意し、この画面で設定した内容を保持しておき、以降の録画やダビング処理時にはすべて自動的にその設定を用いる方法も考えられる。この方法では、一括して設定しておくことで変換処理の要否を逐次判断する必要がなくなるため、使い勝手が向上する。
他の方法として、受信装置が備える表示部、または受信装置が接続された表示装置などの表示性能を検出し、受信装置が2D変換記録を自動的に選択する方法が考えられる。例えば、図13に示す受信装置4の場合、ディスプレイ47より表示性能を示す情報を制御バスなどを経由して取得する(例えばHDMI経由でEDID(Extended Display Identification Data)を取得するなど)。
そして、その情報から、当該表示装置が3D表示可能かどうかを判別し、3D表示不可能または2D表示のみ対応であった場合などに、記録時に受信装置が自動的に2D変換記録を選択する。このように自動的に2D変換記録を選択することで、ユーザが変換処理実施のための操作を行う必要がなく使い勝手が向上する。
また、このように自動的に2D変換記録を行うかどうかの設定は、設定メニュー画面などで有効/無効を切り替えられるよう構成してもよい。このように設定メニューで切り替える方式では、ユーザが明示的に受信装置の変換処理を自動で行うかどうかを決定でき、特定の状況で自動での変換処理を無効にしたいときなどに使い勝手が向上する。なお、本実施例における2D変換記録を実施するか否かを選択する方法はこれらに限定されない。
一例として、SBS方式の3Dコンテンツの2D変換記録を行う場合の各部の動作について下記に説明する。2D変換記録が選択された場合、システム制御部51に対して2D記録開始を指示する。前記指示を受信したシステム制御部51は記録再生制御部58に対して、2D変換記録開始を指示する。前記指示を受信した記録再生制御部58は、記録再生部27に対して、2D変換記録を行うように制御を行う。
映像の2D変換記録方法について、図6はSBS方式を2D変換して記録する場合の説明を図示している。図6の左側のフレーム列(L1/R1、L2/R2、L3/R3・・・)は、左目用と右目用の映像信号が1フレームの左側/右側に配置されたSBS方式映像信号を表している。
2D変換記録処理を行う記録再生部27の備える機能ブロックの概略図の一例を図10に示す。ストリーム解析部101は、入力されるストリームを解析し、例えば3D識別子などの内部のデータを取得する。また、番組情報などストリームに多重されているデータの内容も取得してもよい。
映像復号部102は、入力されるストリームのうち映像データを抽出し、映像のデータを復号する。例えばMPEG2−TSで伝送されるストリームから、映像データを含むESを抽出し、これを復号するなどである。主に画像処理を実施するために使用され、受信装置4が備える映像復号部との役割は異なるが、通常動作時の映像復号に使用される構成であっても本実施例の実施に支障はない。画像処理部103は、前記映像復号部102で得た映像データを、例えば左右二等分に分割する処理や、映像データを所定の画角に拡大するなどの画像処理を行う。
符号化部104は、前記画像処理部103で得た映像データを、記録媒体で記録する形式へ符号化(エンコード)するなどの処理を行う。
ストリーム書換部105は、ストリームに含まれる例えば3D識別子などのデータを書き換える処理を行う。また、前述のブロックで処理された映像データと、音声データやその他の制御用データなどとの再多重化などを行う。例えば記録するストリーム形式がMPEG2−TSであれば、その形式となるよう再多重化を行う。本実施例で書き換える3D識別子などのデータについては後述する。記録処理部106は、接続される記録媒体などにアクセスする処理や、データを書き込む処理などを行う。
再生処理部107は、記録媒体からの再生を行う。なお、これらの機能ブロックは、ハードウェアとして搭載されてもよいし、ソフトウェアからなるモジュールであってもよい。また、記録再生部27はCPU21内の機能モジュールである記録再生制御部58より制御されるが、記録再生部27内の各機能モジュールは自動的あるいは個別に動作してもよい。なお、図示したこれらの機能ブロックの接続順は一例であり、順序を入れ替えたものであっても問題ない。また、2D変換記録処理を行わない場合は、上記ストリーム解析部101、映像復号部102、画像処理部103、符号化部104、ストリーム書換部105の機能ブロックをすべて通過して何の処理も行なわず記録処理部106へストリームを入力して記録してもよいし、またこれらの機能ブロックのすべてを経由せず、例えば入力されたストリームを直接記録処理部106などへ入力するなどしてもよい。
記録再生部27は、暗復号処理を行う機能ブロックや、圧縮形式を変更(トランスコードや再エンコード)する機能ブロックや、記録データのビットレートを下げ圧縮記録(トランスレート)する機能ブロック、超解像技術などによる高精細化処理を行う機能ブロックなどを備えた構成であってもよい。
なお、本実施例におけるトランスコードとは、圧縮および/または符号化された映像データをデコード(復号化)することなく、または部分的にデコードしたデータを、改めてエンコード(符号化)することで映像圧縮形式や圧縮率を変更する技術および処理のことを示す。
また本実施例における再エンコードとは、圧縮および/または符号化された映像データをデコードし、当該デコードされたデータを再度エンコードすることで映像圧縮形式や圧縮率を変更する技術および処理のことを示す。
また本実施例におけるトランスレートとは、圧縮および/または符号化された映像データに対し、符号化方式や圧縮形式を変更することなくビットレートを変更する(主に圧縮する)技術および処理のことを示す。これらの機能ブロックに関しては、簡略化のため説明と図示は割愛する。
図7にSBS方式のコンテンツを2D変換する場合の処理手順を示す。処理開始後、S701にてSBS方式かどうかの判別を行う。この判別は、例えばストリーム解析部101などでストリームを解析し、3D映像方式を示す3D識別子の有無とその内容を参照して行う方法がある。
SBS方式でない場合、この例では処理を終了する。また、SBS方式以外の別の方式かどうかの判定処理を続けて行い、該当する方式の2D変換処理(後述)へ移行する処理としてもよい。この場合は、一回の処理で複数の方式を判定し2D変換処理へ以降することができ、ユーザ操作が簡便となり使い勝手が向上する。
SBS方式である場合は、S702へ遷移し、映像復号部102で復号したSBS方式映像信号の各フレームを、画像処理部103により映像データを画面中央より左右に分離する処理を行い、左右の左目用映像(L側)、右目用映像(R側)の各フレームを得る。
その後S703へ遷移し、画像処理部103により例えば主視点映像(例えばL側)部分のみをスケーリング(拡大)し、図6の右側のフレーム列(L1,L2,L3,・・・・・・)で表すように、主視点映像(左目用映像)のみを映像信号として抽出し、符号化部104で符号化し映像データとして出力し処理を終了する。以上のようにして変換した2D映像ストリームを得る。以上の処理により、記録媒体26には2Dコンテンツとして記録される。なお、本発明は、上記の3D映像形式および2D変換記録方法に限定されない。
加えて、上記の方法などにより2D変換記録する際に、ユーザデータ領域の3Dコンテンツを示すデータを書き換え、2Dコンテンツを示すデータとなるように変更する処理を行う。
本実施例で書き換える3D識別子を有するデータ構造の一例を図5(a)(b)(c)(d)に示す。この例では、MPEG−2 Videoピクチャレイヤのuser_dataに3D識別子を定義する。
図5(a)に示すvideo_sequence内ピクチャレイヤにてuser_dataを運用する。user_data内では、図5(b)に従いStereo_Video_Format_Signalingを定義する。この例では、Stereo_Video_Format_Signaling()はuser_data()内に1つのみ配置される。
図5(c)に示すStereo_Video_Format_Signaling内のStereo_Video_Format_Signaling_typeが3D映像フォーマットを識別するデータであり、図5(d)に従って各フォーマットの種別を示す。
この例では、SBSの場合は0000011となり、2Dの場合は0001000となる。本実施例では、このVideo_Format_Signaling_typeが3D識別子に該当する。この説明の簡略化のため3D映像形式はSBS方式のみとして説明するが、3D識別子の定義および扱うストリーム方式はSBS方式に限定されず、TAB方式や3D2視点別ES伝送方式(多視点ストリーム)などを個別に定義し扱っても良い。
本実施例における2D変換記録処理の一例を図8に示す。処理開始後、S801において、2Dコンテンツへの変換記録を行うかどうかを判別する。この判別は前述のように、受信装置の表示性能や接続された表示装置の表示性能を検出し自動的に選択しても良いし、図3、4に示すようなGUI画面を提示し、ユーザに選択させてもよいし、その他の方法でもよい。
2D変換を行わない場合は、S804へ遷移し、3Dコンテンツとしてストリームを記録し、処理を終了する。2D変換を行う場合は、S802へ遷移し、ストリーム書換部105にて、ストリームが備える3D識別子を、SBS方式を示す値から2D映像を示す値に書き換える。
前述のデータ構造の場合、ストリーム内に存在するピクチャレイヤのuser_data内に存在する、図5(d)に示すStereo_Video_Format_Signaling_type値を0000011から0001000に書き換える。
その後、S803へ遷移し、前述の2D変換方法に従い、SBSのストリームを2Dに変換するための処理を行う。S803では、一例として図7で説明したようなSBSのL側の映像のみを抽出し拡大することで、2D映像を得る方式を用いる。
以上のようにして、3D識別子を書き換え、かつ2D映像形式のストリームを抽出したのちに、S804へ遷移し、前記ストリームを記録媒体へ記録し処理を終了する。S804において記録する際に、記録処理部106などで例えば圧縮形式を変更(トランスコードや再エンコード)する処理や、記録データのビットレートを下げ圧縮記録(トランスレート)処理、超解像技術などによる高精細化処理を行ってもよく、これらの処理を追加で行えることで、ユーザのニーズに応じた実装が可能であるというメリットがある。
例えば前述のようにSBS方式による3Dコンテンツを2D変換したコンテンツの圧縮形式を、記録時にMPEG2からMPEG4−AVCに変更する場合は、S802で書き換えた識別子の値に従い、Frame_packing_arrangement_SEIを追加せずにストリームを再構成する処理を行う、または適切な値として追加するように書き換える処理を行う(frame_packing_arrangement_flagの値を2Dとして規定される1に設定するなど)ことにより同様の効果を得ることができる。
なお、S802とS803は、ストリーム内におけるそれぞれの処理結果の適用箇所が違うため、順序が逆であっても同様の効果が得られることもある。また、3D映像から2D映像への変換の場合は、当該3D識別子を削除してもよい。例えば前述のデータ構造の場合は、当該3D識別子がない場合も、従来の2D放送方式と互換性が保たれているため、削除しても2D映像であると受信装置は認識することが可能である。
以上の例では、MPEG2 videoで定義されるvideo_sequence内ピクチャレイヤでuser_dataを運用する例を用いて説明を行ったが、本発明はこれに限定されない。例えば番組情報(例えばSI、コンポーネント記述子など)を対象としてもよく、それらのデータ内で定義された3D識別子を書き換える、または削除する方法もある。この場合は、記録再生部27の機能であるストリーム解析部101にて、多重分離部29から得た番組情報を解析し、ストリーム書換部105にて番組情報から3D識別子を示すデータを書き換える、または削除する。削除の場合は、3D識別子自体を削除してもよい。この方法によれば、video_sequence内ピクチャレイヤのuser_dataが存在しない場合でも、番組情報を用いて同様の処理が可能となる。
また、番組情報、例えばSIに含まれる3D識別子と、MPEG2 videoで定義されるvideo_sequence内ピクチャレイヤのuser_dataに含まれる3D識別子を同時に運用してもよく、その場合、例えば3D映像を含むかどうかのみを示す情報をSIに付加し、どの3D方式を使用した3D映像であるかを示す情報をuser_dataに付加する、などの方法が考えられる。
このような運用がなされる場合の処理の一例としては、2D変換記録の際に、3D映像を含むかを示す情報を持つSIを削除し、かつuser_dataに含まれる3D方式を示す情報内容を書き換えるまたは削除する処理を行う。削除の場合は、3D識別子自体を削除してもよい。この書き換え処理や削除処理の方法は、例えば前述の方法を各々用いてもよいし、それ以外の方法でもよい。この方法によれば、SIに含まれる3D識別子と、user_dataの3D識別子双方を使用することでより柔軟な処理が可能となる場合がある。
また、上述の実施例では3D伝送方式をSBS方式として説明したが、他の方式(TAB方式や2視点別ES伝送方式など)であってもよい。TAB方式の2D変換の場合の処理手順の一例を図29に示す。処理開始後、S2901にてTAB方式かどうかの判別を行う。この判別は、例えばストリーム解析部101などでストリームを解析し、3D映像方式を示す3D識別子の有無とその内容を参照して行う方法がある。
TAB方式でない場合、この例では処理を終了する。TAB方式である場合は、S2902へ遷移し、映像復号部102で復号したTAB方式映像信号の各フレームを、画像処理部103により映像データを画面中央より上下に分離する処理を行い、左右の左目用映像(上側)、右目用映像(下側)の各フレームを得る。その後S2903へ遷移し、画像処理部103により例えば主視点映像(例えば上側)部分のみを拡大し、主視点映像(左目用映像)のみを映像信号として抽出、出力し処理を終了する。以上のような処理を行うことで2D表示形式のデータを得る。
また、例えば2視点別ES伝送方式の2D変換の場合の処理手順の一例を図30に示す。処理開始後、S3001にて2視点別ES伝送方式かどうかの判別を行う。この判別は、例えばストリーム解析部101などでストリームを解析し、3D映像方式を示す3D識別子の有無とその内容を参照して行う方法がある。
2視点別ES伝送方式でない場合、この例では処理を終了する。2視点別ES伝送方式である場合は、S3002へ遷移し、映像復号部102で復号した映像信号のうち、主視点ESとなるデータのみを抽出する。その後S3003へ遷移し、ストリーム書換部105により再多重化する際に、映像信号に関してはS3002で抽出した主視点ESのみを取り扱う、すなわちS3002で抽出しなかった副視点ESを削除した上で出力し、処理を終了する。以上のような処理を行うことで2D表示形式のデータを得る。このように各3D伝送方式に適した方法で2D変換記録を行う。
本実施例によれば、受信装置が取り扱えるデータ形式に合わせるなどの目的に従い、3Dコンテンツを2Dコンテンツとして記録することができ、かつ記録した2Dコンテンツを適切に扱うことが可能となるというメリットがある。
また、3Dコンテンツのデータサイズよりも2Dコンテンツのデータサイズが小さい場合(例えば2視点別ES伝送方式の3Dコンテンツを2Dコンテンツに変換する場合、副視点ESを削除するため、データサイズが小さくなる)、3Dコンテンツをそのまま記録するよりも記録容量を低減できるというメリットがある。
また、3D識別子に従い表示方法を変更することができる表示装置などに出力する場合に適切な表示が可能となり、また、変換後のコンテンツを例えば記録装置などで管理する場合に2Dコンテンツであることを正確に判別することが可能となるというメリットがある。
さらに、記録媒体26が着脱可能なデバイス(例えばリムーバブルHDDなど)である場合、記録媒体26を取り外し別の記録再生装置(または受信装置、表示装置など)に接続し、再生を行うというケースにおいて、別の記録再生装置が2Dコンテンツしか取り扱えない場合であっても、本実施例の方法によれば、2Dコンテンツに変換し、かつ3D識別子の不一致を防ぐことが出来るため、他機器との互換性を向上できるというメリットがある。
次に、従来放送方式の2D放送コンテンツを、3Dコンテンツに変換して記録する例を挙げる。
本実施例における3D変換記録処理の一例を図9に示す。本実施例で説明する、3D識別子を示すデータ構造は図5(a)(b)(c)(d)に示すような構造であるとし、変換後の3D映像形式は任意であるとするが、本発明はこれらに限定されない。
処理開始後、S901において、3Dコンテンツへの変換を行うかどうかを判別する。3D変換を行わない場合は、S904へ遷移し、2Dコンテンツとしてストリームを記録し、処理を終了する。
3D変換を行う場合は、S902へ遷移し、記録再生部27にて、ストリームが備える3D識別子を、2Dを示す値から3D映像を示す値に書き換える、あるいは3D識別子を付加する。この値は、後のS903での変換処理で行う方式に準ずる値を用いるものとする。
例えばSBS方式の3Dコンテンツとして変換を行う場合には、ストリーム内に存在するピクチャレイヤのuser_data内に存在する、図5(d)に示すStereo_Video_Format_Signaling_type値を0001000から0000011に書き換える。その後、S903へ遷移し、3Dに変換するための処理を行う。3D変換処理については後述する。
以上のようにして、3D識別子を書き換え、かつ3D映像形式のストリームを生成したのちに、S904へ遷移し、前記ストリームを記録媒体へ記録し、処理を終了する。
また、S904で記録を行う際に、例えば圧縮形式を変更(トランスコードや再エンコード)する処理や、記録データのビットレートを下げ圧縮記録(トランスレート)処理、超解像技術などによる高精細化処理を行ってもよく、これらの処理を追加で行えることで、ユーザのニーズに応じた実装が可能であるというメリットがある。
例えば、前述のように2DコンテンツをSBS方式3D変換したコンテンツの圧縮形式を、記録時にMPEG2からMPEG4−AVCに変更する場合は、S902で書き換えた識別子の値に従い、Frame_packing_arrangement_SEIを追加し、適切な値を設定する処理を行う(例えばframe_packing_arrangement_flagの値を3Dとして規定される0に設定した上で、frame_packing_arrangement_typeの値をSBS方式を示す3に設定するなど)ことにより同様の効果を得ることができる。なお、S902とS903は、ストリーム内におけるそれぞれの処理結果の適用箇所が違うため、順序が逆であっても同様の効果が得られることもある。
3D変換処理の方法については、例えば画像を解析することで、画像内の奥行きを推定しそれに基づいた視差を付加する方法などが考えられる。このように視差を付加した画像を、SBS方式などの形式へ変換することで3D映像を得るなどの方法がある。なお、本実施例における3D変換処理はこの方法に限定されない。また、3D変換後の表示形式(フォーマット)は、SBS方式や3D2視点別ES伝送方式、TAB方式などがあるが、本実施例はこれらの方式に限定されない。
以上の実施例では、MPEG2 videoで定義されるvideo_sequence内ピクチャレイヤでuser_dataを運用する例を用いて説明を行ったが、本発明はこれに限定されない。例えば番組情報(例えばSI、コンポーネント記述子など)を対象としても良く、それらのデータ内で定義された3D識別子を付加する、または書き換える方法もある。この場合は、記録再生部27の機能であるストリーム書換部105にて、実施した3D変換の方式に応じて、3D識別子を示すデータをSIに付加するまたは書き換える。この方法によれば、video_sequence内ピクチャレイヤのuser_dataが存在しない場合でも、番組情報を用いて同様の処理が可能となる。
また、番組情報、例えばSIに含まれる3D識別子と、MPEG2 videoで定義されるvideo_sequence内ピクチャレイヤのuser_dataに含まれる3D識別子を同時に運用してもよく、例えば、3D変換記録の際に、3D映像を含むことを示す情報をSIに付加し、かつuser_dataに3D方式を示す情報、識別子を付加するまたは書き換える処理を行うなどをしてもよい。この付加処理や書き換え処理の方法は、例えば前述の方法を各々用いてもよいし、それ以外の方法でもよい。この方法によれば、SIに含まれる3D識別子と、user_dataの3D識別子双方を使用することでより柔軟な処理が可能となる場合がある。
本実施例によれば、従来放送方式の2Dコンテンツをより高臨場感の3Dコンテンツとして記録でき、かつ記録した3Dコンテンツを適切に扱うことが可能となる。具体的には、3D識別子に従い表示方法を変える表示装置などで適切な表示が可能となり、また、変換後のコンテンツを例えば記録装置などで管理する場合に3Dコンテンツであることを正確に判別することが可能となる。
次に、3Dコンテンツを3Dコンテンツのまま記録する場合に、その3Dコンテンツが、3Dコンテンツを示す識別子を持たない(あるいは2Dコンテンツを示す値の識別子を持つ)場合の処理について説明する。
3D識別子の挿入が規格上必須でない場合や、3Dコンテンツ放送への移行時期および放送局の放送設備などの要因により、3Dコンテンツであっても前記のような3D識別子を持たない、あるいは2Dコンテンツを示す値の3D識別子を持つコンテンツの放送が存在しうる。
このようなコンテンツを、受信装置にそのまま記録した場合、3D表示可能な受信装置であっても、3D識別子による識別を行うことができず、当該コンテンツの再生時に2Dコンテンツと判定し3D表示を行えない可能性がある。このような処理では、ユーザは当該コンテンツの再生の際、3D表示を希望する場合に、毎回3D表示への切替操作が必要となり、使い勝手が劣る。
そこで、本実施例では、記録するコンテンツが3Dであり、かつ3D識別子を持たない(あるいは2Dコンテンツを示す値の識別子を持つ)場合に、受信装置が3D識別子を付加して記録する処理を行う。
図11に本実施例における処理手順の一例を示す。本実施例で説明する、3D識別子を示すデータ構造は図5(a)(b)(c)(d)に示すような構造であるとするが、本発明はこれに限定されない。
処理開始後、S1101において、3D識別子の値を判定する。この処理は、例えば記録再生部27内のストリーム解析部101などでストリームを解析し、3D識別子が3Dコンテンツを示す値かどうかをチェックすることで行う。
S1101の判定の結果、3D識別子が3Dコンテンツを示す値である場合は、S1104へ遷移し、3Dコンテンツとしてそのままストリームを記録する。3D識別子が3Dコンテンツを示す値でない場合は、S1102へ遷移し、当該ストリームが3Dコンテンツ形式であるか否かを判定する。この判定アルゴリズムについては後述する。
S1102の判定の結果、2Dコンテンツと判定されれば、S1104へ遷移し、2Dコンテンツとしてそのままストリームを記録する。3Dコンテンツと判定された場合、S1103へ遷移し、3D識別子を挿入する。
この方法としては、例えば記録再生部27にて、ストリーム中の3D識別子を挿入可能な位置を検出し、そこに3D映像を示す値を持つデータを挿入する(書き換える)。この3D識別子の値は、どの方式の3Dコンテンツとして判定されたかという結果に従い設定する。例えばSBS方式の3Dコンテンツと判定された場合には、ストリーム内に存在するピクチャレイヤのuser_data内に、図5(d)に示すStereo_Video_Format_Signaling_type値として0000011という値を持つデータを挿入する。
S1103にて3D識別子を書き換えた後、S1104へ遷移し、ストリームを記録し処理を終了する。また、S1104において記録する際に、例えば圧縮形式を変更(トランスコードや再エンコード)する処理や、記録データのビットレートを下げ圧縮記録(トランスレート)処理、超解像技術などによる高精細化処理を行ってもよく、これらの処理を追加で行えることで、ユーザのニーズに応じた実装が可能であるというメリットがある。
例えば前述のように3D識別子を書き換えたコンテンツの圧縮形式を、記録時にMPEG2からMPEG4−AVCに変更する場合は、S1103で書き換えた識別子の値に従い、Frame_packing_arrangement_SEIを追加し、適切な値を設定する処理を行う(例えばframe_packing_arrangement_flagの値を3Dとして規定される0に設定した上で、frame_packing_arrangement_typeの値を、SBS方式を示す3に設定するなど)ことにより同様の効果を得ることができる。
本実施例において、記録するコンテンツが3Dであるかどうかの判別は、3Dコンテンツ識別子を用いて行えないため(3D識別子を持たない3Dコンテンツであるため)、例えば記録時のユーザの判別および操作により3Dであることを受信装置に指示する方法がある。この方法では、ユーザがコンテンツごとに3D識別子付加の有無を決定できることにより使い勝手が向上する。
また別の方法として、例えばSBS方式の3Dコンテンツであれば、左目用・右目用が左右に並べて配置されるが、画像処理部103などの処理により、ある時間における画像を中心から二つに分割しそれぞれについて輝度ヒストグラムを作成・比較し、その結果左右の画像が近似していると判定されれば、SBS方式の3Dコンテンツであると判断するなどのアルゴリズムを用いて、受信装置が自動で3Dコンテンツ判別を行う方法もある。このように自動的に3Dコンテンツを判別し3D識別子付加処理することを可能とすることで、ユーザが3D識別子を付加するかどうかの判別および操作を行う必要がなくなり、使い勝手が向上する。
なお、本実施例における3Dコンテンツ判別方法はこれら方法に限定されない。また、この判別は、CPU21などにより制御されるソフトウェアにより行われてもよいし、判別を行う判別部となるハードウェアおよびまたはソフトウェアを別途設けてもよい。
以上の例では、MPEG2 videoで定義されるvideo_sequence内ピクチャレイヤでuser_dataを例として説明を行ったが、本発明はこれに限定されない。例えば番組情報(例えばSI、コンポーネント記述子など)を対象としても良く、それらのデータ内で定義された3D識別子を付加する、または書き換える方法もある。この場合は、記録再生部27の機能であるストリーム書換部105にて、コンテンツの3D方式に応じて、3D識別子を示すデータをSIに付加するまたは書き換える。この方法によれば、video_sequence内ピクチャレイヤのuser_dataが存在しない場合でも、番組情報を用いて同様の処理が可能となる。
また、番組情報、例えばSIに含まれる3D識別子と、MPEG2 videoで定義されるvideo_sequence内ピクチャレイヤのuser_dataに含まれる3D識別子は同時に運用してもよく、例えば、3D映像を含むことを示す情報をSIに付加し、かつuser_dataに3D方式を示す情報、識別子を付加するまたは書き換える処理を行うなどをしてもよい。この付加処理や書き換え処理の方法は、例えば前述の方法を各々用いてもよいし、それ以外の方法でもよい。この方法によれば、SIに含まれる3D識別子と、user_dataの3D識別子双方を使用することでより柔軟な処理が可能となる場合がある。
本実施例によれば、3Dコンテンツでありながら3D識別子を持たないストリームであっても、3D識別子を付加して記録することで、記録されたコンテンツを受信装置は3Dコンテンツとして扱えるようになり、視聴時に使い勝手が向上する。
なお、3Dコンテンツでありながら3D識別子を持たないストリームに3D識別子を付加するかどうかは、例えば設定メニュー画面や、録画予約画面などからユーザが選択可能となるよう構成してもよい。このように設定メニューなどの画面から設定を切り替える方式では、ユーザが明示的に3D識別子付加処理を行うかどうかを決定でき、使い勝手が向上する。
次に、例えば放送不具合やエラーなどで、2Dコンテンツであっても3Dコンテンツであることを示す3D識別子が付加されたコンテンツの放送が行われる可能性がある。このようなコンテンツを受信装置にそのまま記録した場合、3D表示可能な受信装置において、3D識別子によるコンテンツ種別を識別する際に、2Dコンテンツであるにもかかわらず3Dコンテンツと誤認識し、その結果、3D用の表示方式により表示してしまうなど、適切な表示を行えない可能性がある。このような受信装置では、ユーザは当該コンテンツの再生のたびに2D表示への切替操作が必要となり、使い勝手が劣る。
そこで、本実施例では、記録するコンテンツが2Dであり、かつ3D識別子が付加されている場合に、受信装置が3Dコンテンツ識別子を削除して記録する処理を行う。
図12に本実施例における処理手順の一例を示す。本実施例で説明する、3D識別子を示すデータ構造は図5(a)(b)(c)(d)に示すような構造であるとするが、本発明はこれに限定されない。
処理開始後、S1201において、3D識別子の値を判定する。この処理は、例えば記録再生部27内のストリーム解析部101などでストリームを解析し、3D識別子が3Dコンテンツを示す値かどうかをチェックすることで行う。S1201の判定の結果、3D識別子が2Dコンテンツを示す値である場合は、S1204へ遷移し、2Dコンテンツとしてそのままストリームを記録する。
3D識別子が3Dコンテンツを示す値である場合は、S1202へ遷移し、当該ストリームが2Dコンテンツであるか否かを判定する。この判定アルゴリズムについては、上述の3Dコンテンツ判別方法によってもよいし、それ以外の方法でもよい。
S1202の判定の結果、3Dコンテンツと判定されれば、S1204へ遷移し、3Dコンテンツとしてそのままストリームを記録する。2Dコンテンツと判定された場合、S1203へ遷移し、3Dコンテンツを示す3D識別子の値を書き換える(または3D識別子を削除する)。
この方法としては、例えば記録再生部27にて、ストリーム中の3D識別子を検出し、2D映像を示す値に書き換える。具体的には、ストリーム内に存在するピクチャレイヤのuser_data内に存在する、図5(d)に示すStereo_Video_Format_Signaling_type値を0001000に書き換える。S1203にて3D識別子を書き換えた後、S1204へ遷移し、ストリームを記録し処理を終了する。
このとき、例えば圧縮形式を変更(トランスコードや再エンコード)する処理や、記録データのビットレートを下げ圧縮記録(トランスレート)処理、超解像技術などによる高精細化処理を行ってもよく、これらの処理を追加で行えることで、ユーザのニーズに応じた実装が可能であるというメリットがある。例えば前述のようにSBS方式による3Dコンテンツを2D変換したコンテンツの圧縮形式を、記録時にMPEG2からMPEG4−AVCに変更する場合は、S1203で書き換えた識別子の値に従い、Frame_packing_arrangement_SEIを追加せずにストリームを再構成する処理を行う、または適切な値として追加するように書き換える処理を行う(frame_packing_arrangement_flagの値を2Dとして規定される1に設定するなど)ことにより同様の効果を得ることができる。
以上の例では、MPEG2 videoで定義されるvideo_sequence内ピクチャレイヤでuser_dataを例として説明を行ったが、本発明はこれに限定されない。例えば番組情報(例えばSI、コンポーネント記述子など)であっても良く、それらのデータ内で定義された3D識別子を書き換える、または削除する方法もある。この場合は、記録再生部27の機能であるストリーム解析部101にて、多重分離部29から得た番組情報を解析し、ストリーム書換部105にて番組情報から3D識別子を示すデータを書き換える、または削除する。削除の場合は、3D識別子自体を削除してもよい。この方法によれば、video_sequence内ピクチャレイヤのuser_dataが存在しない場合でも、番組情報を用いて同様の処理が可能となる。
また、番組情報、例えばSIに含まれる3D識別子と、MPEG2 videoで定義されるvideo_sequence内ピクチャレイヤのuser_dataに含まれる3D識別子が共に含まれている場合、3D映像を含むかを示す情報を持つSIを削除し、かつuser_dataに含まれる3D方式を示す情報内容を書き換えるまたは削除する処理を行う。削除の場合は、3D識別子自体を削除してもよい。この書き換え処理や削除処理の方法は、例えば前述の方法を各々用いてもよいし、それ以外の方法でもよい。この方法によれば、SIに含まれる3D識別子と、user_dataの3D識別子双方を使用することでより柔軟な処理が可能となる場合がある。
本実施例によれば、エラーケースなどにより2Dコンテンツでありながら3D識別子を付加されたストリームであっても、3D識別子を削除(書き換え)して記録することで、記録されたコンテンツを受信装置は2Dコンテンツとして正確に扱えるようになり、視聴時に使い勝手が向上する。
なお、2Dコンテンツでありながら3D識別子を付加されたストリームの3D識別子を削除(書き換え)するかどうかは、例えば設定メニュー画面や、録画予約画面などからユーザが選択可能となるよう構成してもよい。
また、本実施例で説明した各処理は、放送を受信し記録媒体に直接記録する場合だけでなく、一度記録媒体に記録したコンテンツを、例えば圧縮形式を変更(トランスコードや再エンコード)する処理、記録データのビットレートを下げ圧縮記録(トランスレート)処理、超解像技術などによる高精細化処理などの変換をした上で再度記録媒体に書き込む(変換ダビング)場合に用いられてもよい。
次に、受信装置に録画した3Dコンテンツを、LAN(Local Area Network)などのネットワークを経由して、他の機器に配信する場合について説明する。図18に、ネットワークで接続した受信装置および他の機器の構成例を示す。例えば受信装置A(配信元)4は、前述の受信装置4と同様に、3Dコンテンツを含む放送を受信し、記録が可能な機器である。受信装置B(配信先)5は、例えばネットワーク経由で伝送されるストリームデータを受信することができる装置である。
また受信装置B(配信先)5は、例えば前述の受信装置4と同様の機能を備えているものでもよく、内部で受信したストリームデータをデコードする機能や、内部に記録媒体を備え、その記録媒体へデータとして記録する機能などを備えてもよい。
表示装置6は、例えば受信装置B(配信先)5が受信し、デコードすることで表示可能となったデータをディスプレイなどにより表示する装置である。受信装置B(配信先)5と表示装置6は一体となった一つの装置であってもよい。また、受信装置A(配信元)4に、表示装置が接続されていてもよいし、受信装置A(配信元)4が表示部を備えた装置であってもよい。
ネットワーク経由の配信は、例えばDLNA(Digital Living Network Alliance)などの仕組みを使って行われ、著作権保護が必要なコンテンツには例えばDTCP−IP(Digital Transmission Content Protection over Internet Protocol)などの暗号化を施して配信される。
配信先の機器は、受信したコンテンツの表示、あるいはコンテンツを記録媒体に記録するなどが可能である。本実施例では、このような配信を行う際に、3Dや2Dなどのコンテンツの表示形式を変更して配信する方法を可能とする。表示形式は、例えば配信元である受信機へのユーザ操作に基づいて決定されてもよいし、配信先の表示性能情報を取得する仕組みを設け、その表示性能情報に基づき自動的に決定してもよい。
後者の場合の具体例として、配信先が2D表示しかできないことが表示性能情報から判別できる場合、3Dコンテンツの配信の際に、自動的に2Dコンテンツに変換して配信する方法などが考えられる。これらの表示形式の選択方法については後述する。なお、以降の説明では、3Dコンテンツを2D表示形式のデータに変換して配信することを2D変換配信と呼ぶ。
図19に、配信元装置の構成の一例を示す。配信制御部49では、記録媒体26から読み出したデータを配信可能な形式に変換しネットワークI/F25へ送出する。それ以外の機能ブロックに関しては図13で説明したものと同様である。なお、ネットワークI/Fの代わりに、高速デジタルI/Fを用いて配信を行ってもよい。
本実施例において、3Dコンテンツを2Dコンテンツに変換するための機能ブロックを有する配信制御部49内部の詳細な機能ブロックの概略図の一例を図20に示す。ストリーム解析部2001は、記録媒体26から取得した入力ストリームを解析し、例えば3D識別子などの内部のデータを取得する。また、番組情報などストリームに多重されているデータの内容も取得してもよい。
映像復号部2002は、入力ストリームのうち映像のデータを復号する。これは主に画像処理を実施するために使用される復号部であり、受信装置A(配信元)4が備える映像復号部との役割は異なるが、通常動作時の映像復号に使用してもよい。画像処理部2003は、前記映像復号部2002で得た映像データを、例えば左右二等分に分割する処理や、映像データを所定の画角に拡大するなどの画像処理を行う。
符号化部2004は、前記画像処理部2003で得た映像データを、記録媒体で記録する形式への符号化(エンコード)するなどの処理を行う。
ストリーム書換部2005は、ストリームに含まれる例えば3D識別子などのデータを書き換える処理を行う。また、前述のブロックで処理された映像データと、音声データやその他の制御用データなどとの再多重化などを行う。例えば配信するストリーム形式がMPEG2−TSであれば、その形式となるよう再多重化を行う。本実施例で書き換えるデータは、前述の3D識別子(図5(a)乃至(d))などが一例として挙げられる。配信処理部2006は、ネットワーク伝送のためのパケット化や、必要に応じて暗号化処理などを行う。
なお、図示したこれらの機能ブロックの接続順は一例であり、適宜順序を入れ替えることも可能である。また、2D変換配信処理を行わない場合は、上記ストリーム解析部2001、映像復号部2002、画像処理部2003、符号化部2004、ストリーム書換部2005の機能ブロックをすべて通過して何の処理も行なわず配信処理部2006へストリームを入力してもよいし、またこれらの機能ブロックのすべてを経由せず、例えば入力されたストリームを直接配信処理部2006などへ入力するようにしてもよい。
また、配信制御部49は、圧縮形式を変更(トランスコードや再エンコード)する機能ブロックや、記録データのビットレートを下げ圧縮(トランスレート)する機能ブロックなどを備えた構成であってもよい(簡略化のため説明と図示は割愛する)。これらの処理を追加する場合は、ユーザのニーズに応じた柔軟な実装が可能であるというメリットがある。
本実施例において、2D変換配信を行う場合の2D変換処理の一例を図21に示す。ネットワーク接続構成は図18を例として説明する。処理開始後、S2101において、2Dコンテンツへの変換記録を行うかどうかを判定する。この判定方法の詳細は後述するが、配信先の表示装置の表示性能を検出し自動的に選択してもよいし、図22に示すようなメニュー設定のGUI画面を提示し、あらかじめユーザに選択させておく方法でもよいし、その他の方法でもよい。
2D変換を行わない場合は、S2104へ遷移し、3Dコンテンツとしてストリームを配信し、処理を終了する。2D変換を行う場合は、S2102へ遷移し、ストリーム書換部2005にて、ストリームが備える3D識別子を、SBS方式を示す値から2D映像を示す値に書き換える。
前述のデータ構造の場合、ストリーム内に存在するピクチャレイヤのuser_data内に存在する、図5(d)に示すStereo_Video_Format_Signaling_type値を0000011から0001000に書き換える。
その後、S2103へ遷移し、前述の2D変換方法に従い、SBSのストリームを2Dに変換するための処理を行う。S2103では、一例として図7で説明したようなSBSのL側の映像のみを抽出し拡大することで、2D映像を得る方式を用いる。
以上のようにして、3D識別子を書き換え、かつ2D映像形式のストリームを抽出したのちに、S2104へ遷移し、前記ストリームをネットワークI/F25から伝送し配信を開始し、配信が終わると処理を終了する。S2104において配信開始する際に、例えば圧縮形式を変更(トランスコードや再エンコード)する処理や、記録データのビットレートを下げ圧縮記録(トランスレート)処理、超解像技術などによる高精細化処理を行ってもよく、これらの処理を追加で行えることで、ユーザのニーズに応じた実装が可能であるというメリットがある。
例えば前述のようにSBS方式による3Dコンテンツを2D変換したコンテンツの圧縮形式を、配信時にMPEG2からMPEG4−AVCに変更する場合は、S1203で書き換えた識別子の値に従い、Frame_packing_arrangement_SEIを追加せずにストリームを再構成する処理を行う、または適切な値として追加するように書き換える処理を行う(frame_packing_arrangement_flagの値を2Dとして規定される1に設定するなど)ことにより同様の効果を得ることができる。
なお、S2102とS2103は、ストリーム内におけるそれぞれの処理結果の適用箇所が違うため、順序が逆であっても同様の効果が得られることもある。また、3D映像から2D映像への変換の場合は、当該3D識別子を削除して配信しても良い(例えば前述のデータ構造の場合は、当該3D識別子がない場合も、従来の2D放送方式と互換性が保たれているため、削除しても2D映像であると受信装置は認識することが可能である)。
以上の例では、MPEG2 videoで定義されるvideo_sequence内ピクチャレイヤでuser_dataを運用する例を用いて説明を行ったが、本発明はこれに限定されない。例えば番組情報(例えばSI、コンポーネント記述子など)を対象としても良く、それらのデータ内で定義された3D識別子を書き換える、または削除する方法もある。この場合は、配信制御部49の機能であるストリーム解析部2001にて、多重分離部29から得た番組情報を解析し、ストリーム書換部2005にて番組情報から3D識別子を示すデータを書き換える、または削除する。削除の場合は、3D識別子自体を削除してもよい。この方法によれば、video_sequence内ピクチャレイヤのuser_dataが存在しない場合でも、番組情報を用いて同様の処理が可能となる。
また、番組情報、例えばSIに含まれる3D識別子と、MPEG2 videoで定義されるvideo_sequence内ピクチャレイヤのuser_dataに含まれる3D識別子を同時に運用してもよく、その場合、例えば3D映像を含むかどうかのみを示す情報をSIに付加し、どの3D方式を使用した3D映像であるかを示す情報をuser_dataに付加する、などの方法が考えられる。
このような運用がなされる場合の処理の一例としては、2D変換記録の際に、3D映像を含むかを示す情報を持つSIを削除し、かつuser_dataに含まれる3D方式を示す情報内容を書き換えるまたは削除する処理を行う。削除の場合は、3D識別子自体を削除してもよい。この書き換え処理や削除処理の方法は、例えば前述の方法を各々用いてもよいし、それ以外の方法でもよい。この方法によれば、SIに含まれる3D識別子と、user_dataの3D識別子双方を使用することでより柔軟な処理が可能となる場合がある。
また以上の例では3D伝送方式をSBS方式として説明したが、他の方式(3D2視点別ES伝送方式やTAB方式など)であってもよい。例えば3D2視点別ES伝送方式の場合は、副視点ESを削除することで2D表示形式のデータを得る。例えばTAB方式であれば、前述の画像処理部2003で映像を上下二等分にし、そのうち一方を所定の画角に拡大するなどの画像処理を行うことで2D表示形式のデータを得る。このように各3D伝送方式に適した方法で2D変換配信を行う。
表示形式の選択(2Dへ変換して配信を行うか否か)の判定方法について説明する。例えば、図22に示すようなメニュー設定を使用する場合は、例えばディスプレイ2201に表示されるメニュー中に『配信時の2D変換』という項目を設ける(2202)。この設定は、3Dコンテンツの配信要求があった際に自動的に受信装置A(配信元)4内部で、後述の変換処理を行うかどうかを決定する。
これにより、ユーザがあらかじめ本メニューにより行っておいた設定に基づき、受信装置A(配信元)4が動作する。また図中2203に示すように、本機能の概要を示す説明文を付加してもよい。このように設定メニューなどの画面から設定を切り替える方式では、ユーザが明示的に2D変換配信を行うかどうかを設定でき、使い勝手が向上する。
他の方法として、配信によって表示を行う受信装置B(配信先)5の表示性能に基づき、2D変換を行うか否かを決定する方法について説明する。図23に、本処理の一例を示す。処理開始後、S2301にて、受信装置A(配信元)4は、配信先である受信装置B(配信先)5の表示性能(以下、表示性能情報とする)の取得を行う。表示性能情報には、どのような形式で表示を行うことが可能かについての情報が含まれており、例えば『3D表示/2D表示両方可能』や『2D表示のみ可能』といった記述があるデータである。
この表示性能情報を、例えばLANを介したHTTP(HyperText Transfer Protocol)などのプロトコルによる通信によって取得するなどの手段を設けることで実現する。この表示性能情報の取得処理は、例えばネットワークI/F25や配信制御部49などで行う。
表示性能情報を取得後、S2302へ遷移し、表示性能情報の記述に基づき配信先が3D表示可能かどうかを判定する。この判定処理は、例えば配信制御部49などで行う。受信装置B(配信先)5が3D表示可能な場合、S2304へ遷移し、通常の配信、つまり変換処理を行わず元の3D方式のまま配信を開始し処理を終了する。
S2302にて、受信装置B(配信先)5が3D表示不可、すなわち2D表示しか行えない場合、3D方式のまま配信しても、受信装置B(配信先)5が2D変換処理可能な仕組みを備えていない限りは表示できず、備えていたとしても2D変換を行うことをユーザが指示しなければならず、不都合が生じる可能性がある。これに対し本処理では、S2302にて、配信先が3D表示不可だった場合は、S2303へ遷移し、受信装置A(配信元)4内部で2D変換処理を行った後、配信を開始し処理を終了する。なお、2D変換配信の方法に関しては例えば前述の図21で示した方法がある。なお、表示形式の選択方法は、上記に限定されない。
以上の方法により、3Dコンテンツを配信元で2D表示用データに変換して配信することで、受信側での3Dから2Dへの変換処理が不要となり、受信側での視聴を行うユーザが明示的に2D変換を指示する必要がなくなるためユーザの利便性が向上する。
特に、配信先の表示性能に応じて自動的に2D変換を行って配信する方法では、2D変換処理を備えない機器に対しての配信を行った場合でも2Dコンテンツとしての表示が可能となり、また、2D変換処理を備える機器に対しても、自動で2D変換実施の判定が行われるため変換のための操作がまったく不要となることによりさらに簡便な操作となる。
さらに、例えば3D2視点別ES伝送方式のコンテンツを2D変換配信する場合は、不要な3D用のストリームデータ(ES)を削減して配信することができるため、ネットワークへ伝送するデータ量が少なくなり、使用する帯域を削減できるというメリットもある。
そこで、例えば、伝送路となるネットワークの帯域や通信状況を検知し、転送速度が十分確保できない場合などには、受信装置B(配信先)5が3D映像の表示が可能な装置であっても、受信装置A(配信元)4が自動的に2D変換および3D識別子の変更を前述のような方法で行うようにしてもよい。
このように2D変換を行いストリームデータを削減することで、高負荷の通信が頻繁に行われており3Dコンテンツの伝送が行えないようなネットワークに対しても、2D映像での伝送が可能となり表示できる場合がある。この方法により2D変換配信することで、ネットワークの状況によらず、ユーザが特別な操作なく視聴可能な形式でのコンテンツ視聴を行うことが可能となり、使い勝手が向上する。
また、別の方法として、配信時は3Dコンテンツのまま配信を行うが、配信開始時などのタイミングで、受信装置B(配信先)に対して、2D変換を行うよう指示を出す方法もある。図31に、受信装置A(配信元)からの2D変換指示を受けて受信装置B(配信先)で2D変換を行って表示する場合の処理手順の一例を示す。
S3101では、受信装置B(配信先)で2D変換を行うかどうかを判定し、行わない場合はこの例では処理を終了する。行う場合、S3102へ遷移し、受信装置A(配信元)は受信装置B(配信先)に対して2D変換指示を発行する。
この方法としては、例えばLANを介したHTTPなどのプロトコルによる通信を用いてコマンドを伝達し、受信側でそのコマンドを受けた場合に2D変換指示であると解釈する方法などがある。S3102の後S3103へ遷移し、受信装置A(配信元)は通常の配信と同様に、コンテンツの内容を特に変更せず3Dコンテンツとして配信を行う。
その後S3104へ遷移し、受信装置B(配信先)では2D変換指示に従い2D変換を行った上で表示を行い、処理を終了する。この方法によれば、受信装置B(配信先)側で2D変換を行うが、受信装置B(配信先)での視聴を行っているユーザは明示的に変換指示に相当する操作を行わなくてもよいため、使い勝手が向上する。
次に、3Dコンテンツを記録する際に、3Dコンテンツの記録と共に当該3Dコンテンツの2D変換を行って記録する方法について説明する。
受信装置で録画した放送コンテンツを、例えば表示装置や記録媒体などを備える別の機器(例えば携帯電話やゲーム機など。以下、これらを外部記録装置と表記する)へコピーまたはムーブし外出先などで視聴するという使用方法が考えられる。なお、本実施例では、コピーとは元コンテンツを残したまま他の機器や別の記録媒体などにコンテンツ(ファイル)を複製することを指し、ムーブとは元コンテンツを残さず他の機器や別の記録媒体などにコンテンツ(ファイル)を移動することを指すものとする。
このようなケースにおいて、コピー/ムーブ先の外部記録装置の表示性能に合わせて、映像フォーマットの変換などを行う必要がある場合が考えられる。例として、デジタル放送により伝送されるコンテンツがフルハイビジョン(例えば画角が横1920pixel、縦1080pixelを表現可能)のコンテンツであり、コピー先となる外部記録装置が標準画質(例えば画角が横640pixel、縦480pixelを表現可能)のみ表示可能な表示装置を備えている場合、その外部記録装置では当該コンテンツの画質を完全に再現することが出来ない、または表示自体が出来ないケースが有り得る。
そのため、受信装置から外部記録装置へコピー/ムーブする共に、あるいはコピー/ムーブの前にあらかじめコンテンツの画質を標準画質へ変換(ダウンコンバート)する方法がある。この方法により、コピー先の機器でも表示可能なコンテンツとすることができ、また、外部記録装置の解像度に合わせることで無用にファイルサイズが大きくなることを防ぐことができる。
画質のほかにも、コピー/ムーブを行う受信装置と外部記録装置間で取り扱い可能なコーデックの違いやフレームレートの違い、プログレッシブ/インタレースの違いなどが生じうるため、それに合わせた変換が必要となる可能性がある。
さらに、例えば受信装置で録画し外部記録装置にコピー/ムーブを行うコンテンツが3Dコンテンツである場合、コーデックや画質などが同等であっても、コピー/ムーブ先の装置が3D映像を表示することができない場合がある。具体的には、例えばコピー/ムーブの対象がMPEG2圧縮映像のフルハイビジョン画質であり、SBS方式の3Dコンテンツである場合には、SBS方式の3Dコンテンツを表示できない装置に対しては2Dに変換してコピー/ムーブすることが必要である。
3Dコンテンツを視聴する際、視聴する3Dコンテンツのコーデックや解像度が表示する装置のコーデックや解像度と同等である場合は、当該3Dコンテンツを2Dコンテンツとして再生することが可能である。しかし、SBS方式の3Dコンテンツを2Dコンテンツとして再生すると、コンテンツ配信元が望む表示でなくなる場合が有り得る。そのため、3Dコンテンツであるか否かを判別した上で、2D変換記録を行う方法が必要である。
このように、外部記録装置へのコピー/ムーブなどを考慮し、3Dコンテンツを含む放送を受信し記録する際に、3Dコンテンツの記録に加え、2Dコンテンツへの変換及び記録を行うことで、コピー/ムーブ時にあらかじめ変換しておいた2Dコンテンツをコピー/ムーブすることが可能となる。
この方法によれば、ユーザが外部記録装置へコンテンツをコピー/ムーブする際に、改めて2D変換処理を行う必要がなく、またそのための所要時間も削減できるため、ユーザの使い勝手が向上する。
なお、一度受信装置の記録媒体へ記録した3Dコンテンツを、外部記録装置へのコピー/ムーブする時に2D変換記録を行う場合に関しては、実施例1におけるダビングと同様の方法で可能である。その場合はコピー制御など著作権保護に関して適切な処理がなされる必要があるが、本実施例はどのようなコピー制御方式であっても適用可能であるため、ここでは説明を割愛する。
図24に、コンテンツをコピー/ムーブする対象となる外部記録装置7と受信装置4の構成例を示す。例えば受信装置4は、前述の受信装置4と同様に、3Dコンテンツを含む放送を受信し、記録が可能な機器である。外部記録装置7は、例えばHDDやフラッシュメモリなどの記録媒体を備える携帯電話やゲーム機器、あるいは外付け記録媒体など、受信装置4とは別の機器であり、取り外し・携帯して使用することが出来る機器などが該当する。表示装置6は、例えば受信装置4が備えるコンテンツの映像をディスプレイを用いて表示する装置である。受信装置4と表示装置6は一体となった一つの装置であってもよい。なお、外部記録装置7は表示装置を備えていてもよいし、備えなくてもよい。
図24では、例えばコンテンツを受信装置4の外部記録装置接続端子(例えばUSB:Universal Serial Busなど)と、外部記録装置7が備える同様の端子とを、対応するケーブルなどで接続し、受信装置4にて受信・記録したコンテンツを、外部記録装置7にコピーまたはムーブすることが可能な構成を示している。
図25に、本実施例における受信装置4の機能ブロック図の一例を示す。外部記録制御部50では、記録再生部27により記録媒体26から読み出したデータを外部記録装置7で記録可能な形式に変換するなど外部記録装置7への記録処理に関する制御を行う。外部記録装置7は図24で説明したものと同様のものを示す(なお、外部記録装置7の内部における記録処理の方法は本実施例では特に限定しないため、説明を割愛する)。それ以外の機能ブロックに関しては図13で説明したものと同様である。
また、本図では、外部記録装置7と外部記録制御部50と記録再生部27は双方向の信号(データ)の流れを記載してあり、これは受信装置4から外部記録装置7へのコピー/ムーブおよび、外部記録装置7から受信装置4へのコピー/ムーブの両方が可能であることを示しているが、この信号の流れは受信装置4から外部記録装置7への一方向の信号の流れのみが存在する構成であっても本実施例の実施に特に問題はない。
3D放送コンテンツの記録と共に、2D変換記録処理を行うことが可能な記録再生部27の機能ブロックの概略図の一例を図26に示す。まず記録再生部27について説明する。
ストリーム解析部2601は、入力されるストリームを解析し、例えば3D識別子などの内部のデータを取得する。また、番組情報などストリームに多重されているデータの内容を取得してもよい。
映像復号部2602は、入力されるストリームのうち映像のデータを復号する。これは主に画像処理を実施するために使用される復号部であり、受信装置4が備える映像復号部との役割は異なるが、通常動作時の映像復号に使用してもよい。画像処理部2603は、前記映像復号部2602で得た映像データを、例えば左右二等分に分割する処理や、映像データを所定の画角に拡大するなどの画像処理を行う。
符号化部2604は、前記画像処理部2603で得た映像データを、記録媒体で記録する形式へ符号化(エンコード)するなどの処理を行う。
ストリーム書換部2605は、ストリームに含まれる例えば3D識別子などのデータを書き換える処理を行う。本実施例で書き換えるデータは、前述の3D識別子(図5(a)乃至(d))などが一例として挙げられる。また、前述のブロックで処理された映像データと、音声データやその他の制御用データなどとの再多重化などを行う。例えば配信するストリーム形式がMPEG2−TSであれば、その形式となるよう再多重化を行う。
記録処理部A2606は、記録媒体26や外部記録制御部50にアクセスする処理や、データを書き込む処理などを行う。コピー制御情報管理部2609は、記録対象となるコンテンツに主に著作権保護を目的とした回数制限のあるコピー制御が施されている場合などに、その管理情報の管理を行う。
信号切替部2608は、対象のコンテンツのストリームデータを記録媒体26へ記録するか、外部記録制御部50経由で外部記録装置7へ記録するか、またはその両方へ記録するかの切替を行う。また、記録媒体26と外部記録装置7のどちらかのコンテンツを再生する場合に再生経路の切替を行う。
再生処理部2609は、記録媒体26または外部記録装置7からのコンテンツ再生を行う。どちらのコンテンツを再生するかは信号切替部2608などで選択可能である。経路選択部2611は、録画対象のコンテンツのストリームデータを、3Dコンテンツを録画する経路と、2D変換記録を行う経路とを振り分ける。例えば処理内容に応じて、通常の3Dコンテンツの録画のみが可能な経路(記録処理部B2610)および2D変換記録が可能な経路(ストリーム解析部2601乃至ストリーム書換部2605までの経路)のどちらかまたは両方の経路へストリームを入力する。
また、2D変換記録が可能な経路を通過するストリームであっても、2D変換処理を行わない動作も可能である。その場合は、上記ストリーム解析部2601、映像復号部2602、画像処理部2603、符号化部2604、ストリーム書換部2605の機能ブロックを通過して記録処理部A2606へストリームを入力して記録してもよいし、またこれらの機能ブロックのすべてを経由せず、例えば入力されたストリームを直接記録処理部A2606へ入力するなどしてもよい。なお、図示したこれらの機能ブロックの接続順は一例であり、順序を入れ替えたものであっても問題ない。
また、記録再生部27は、暗復号処理を行う機能ブロックや、圧縮形式を変更(トランスコードや再エンコード)する機能ブロックや、記録データのビットレートを下げ圧縮記録(トランスレート)する機能ブロック、超解像技術などによる高精細化処理を行う機能ブロックなどを備えた構成であってもよい(簡略化のため説明と図示は割愛する)。
なお、これらの機能ブロックは、ハードウェアとして搭載されてもよいし、ソフトウェアからなるモジュールであってもよい。また、記録再生部27はCPU21内の機能モジュールである記録再生制御部58より制御されるが、記録再生部27内の各機能モジュールは自動的あるいは個別に動作してもよい。
本実施例において、3Dコンテンツの記録と共に2D変換記録を行う場合の処理の一例を図27に示す。処理開始後、S2701において、3Dコンテンツ記録と共に2D変換記録を行うかどうかを判別する。この判定方法の詳細は後述するが、接続されている外部記録装置7の表示性能を検出し自動的に選択してもよいし、図28に示すようなメニュー設定のGUI画面を提示し、あらかじめユーザに選択させておく方法でもよいし、その他の方法でもよい。
2D変換を行わない場合は、S2705へ遷移し、記録再生部27において2D変換を行わない経路である記録処理部B2610へ信号を出力するよう経路選択部2611を制御する。その後S2706へ遷移し、記録処理部B2610およびコピー制御情報管理部2607の処理により、放送で受信した3Dコンテンツを記録媒体26および/または外部記録装置7へストリームを記録し、処理を終了する。
記録先の選択方法の詳細は後述するが、信号切替部2608によりどちらか一方またはその両方を任意に選択可能である。例えば接続されている外部記録装置7が3D表示可能な装置である場合などには、3Dコンテンツを直接外部記録装置7へ録画してもよい。
2D変換記録を行う場合は、S2702へ遷移し、記録再生部27において2D変換を行う経路であるストリーム解析部2601と、通常の3D記録のための経路である記録処理部B2610の両方にストリームデータを出力するよう経路選択部2611を制御する。その後S2703へ遷移し、ストリーム書換部105にて、ストリームが備える3D識別子を、SBS方式を示す値から2D映像を示す値に書き換える。
前述のデータ構造の場合、ストリーム内に存在するピクチャレイヤのuser_data内に存在する、図5(d)に示すStereo_Video_Format_Signaling_type値を0000011から0001000に書き換える。
その後、S2704へ遷移し、前述の2D変換方法に従い、SBSのストリームを2Dに変換するための処理を行う。S2704では、一例として図7で説明したようなSBSのL側の映像のみを抽出し拡大することで、2D映像を得る方式を用いる。
以上のようにして、3D識別子を書き換え、かつ2D映像形式のストリームを抽出したのちに、S2706へ遷移し、前記ストリームを記録媒体26および/または外部記録装置7へ記録し処理を終了する。S2706において記録する際に、例えば圧縮形式を変更(トランスコードや再エンコード)する処理や、記録データのビットレートを下げ圧縮記録(トランスレート)処理、超解像技術などによる高精細化処理を行ってもよく、これらの処理を追加で行えることで、ユーザのニーズに応じた実装が可能であるというメリットがある。
例えば、前述のようにSBS方式による3Dコンテンツを2D変換したコンテンツの圧縮形式を、記録時にMPEG2からMPEG4−AVCに変更する場合は、S2703で書き換えた識別子の値に従い、Frame_packing_arrangement_SEIを追加せずにストリームを再構成する処理を行う、または適切な値として追加するように書き換える処理を行う(frame_packing_arrangement_flagの値を2Dとして規定される1に設定するなど)ことにより同様の効果を得ることができる。
なお、S2703とS2704は、ストリーム内におけるそれぞれの処理結果の適用箇所が違うため、順序が逆であっても同様の効果が得られることもある。また、3D映像から2D映像への変換の場合は、当該3D識別子を削除しても良い(例えば前述のデータ構造の場合は、当該3D識別子がない場合も、従来の2D放送方式と互換性が保たれているため、削除しても2D映像であると受信装置は認識することが可能である)。
以上の例では、MPEG2 videoで定義されるvideo_sequence内ピクチャレイヤでuser_dataを例として説明を行ったが、本発明はこれに限定されない。例えば番組情報(例えばSI、コンポーネント記述子など)であっても良く、それらのデータ内で定義された3D識別子を書き換える、または削除する方法もある。この場合は、記録再生部27の機能であるストリーム解析部2601にて、多重分離部29から得た番組情報を解析し、ストリーム書換部2605にて番組情報から3D識別子を示すデータを書き換える、または削除する。削除の場合は、3D識別子自体を削除してもよい。この方法によれば、video_sequence内ピクチャレイヤのuser_dataが存在しない場合でも、番組情報を用いて同様の処理が可能となる。
また、番組情報、例えばSIに含まれる3D識別子と、MPEG2 videoで定義されるvideo_sequence内ピクチャレイヤのuser_dataに含まれる3D識別子が共に含まれている場合、3D映像を含むかを示す情報を持つSIを削除し、かつuser_dataに含まれる3D方式を示す情報内容を書き換えるまたは削除する処理を行う。
削除の場合は、3D識別子自体を削除してもよい。この書き換え処理や削除処理の方法は、例えば前述の方法を各々用いてもよいし、それ以外の方法でもよい。この方法によれば、SIに含まれる3D識別子と、user_dataの3D識別子双方を使用することでより柔軟な処理が可能となる場合がある。
また以上の例では3D伝送方式をSBS方式として説明したが、他の方式(3D2視点別ES伝送方式やTAB方式など)であってもよい。例えば3D2視点別ES伝送方式の場合は、副視点ESを削除することで2D表示形式のデータを得る。例えばTAB方式であれば、前述の画像処理部2603で映像を上下二等分にし、そのうち一方を所定の画角に拡大するなどの画像処理を行うことで2D表示形式のデータを得る。このように各3D伝送方式に適した方法で2D変換記録を行う。
次に、3Dコンテンツの記録と共に、2D変換記録するか否かの判定方法について説明する。例えば、図28に示すような画面を使用する場合は、例えばディスプレイ2801に表示される録画予約画面に『2Dコンテンツの同時作成』という項目を設ける(2802)。この設定は、3Dコンテンツの記録と共に、2D変換記録するかを決定する。この方法では、ユーザがあらかじめ録画予約時行った設定に基づき2D変換記録を実施する。
この方法では、ユーザがコンテンツの録画予約ごとに2D変換記録を実施するかを決定できることにより、使い勝手が向上する。また図中2803に示すように、本機能の概要を示す説明文を付加してもよい。
この他に、録画予約画面だけでなく、メニュー設定にデフォルト値という形で設定しておき、毎回ユーザが選択しなくとも、あらかじめ行っておいた設定に基づき2D変換記録を実施する方法もある。このように設定メニューなどの画面から設定を切り替える方式では、3Dコンテンツの記録と共に2D変換配信を行うかどうかをユーザが明示的に設定でき、使い勝手が向上する。
また別の例として、外部記録制御部50などで、外部記録装置7の表示性能が取得できる場合には、その表示性能に応じて、例えば3D映像の表示が不可能な外部記録装置が接続されている場合は、自動的に(ユーザ操作なく)2D変換記録を実施する方法なども考えられる。この方法によれば、受信装置に接続された外部記録装置をユーザが意識することなく(特別な操作を行うことなく)、外部記録装置に応じて自動的に2D変換記録が実施されるため、使い勝手が向上する。
次に本実施例で、3Dコンテンツの記録と共に2D変換記録する場合に、変換して得られた2Dコンテンツの記録先を選択する方法について述べる。本実施例における記録再生部27では、受信装置4内部の記録媒体26への信号出力と、受信装置4に接続された外部記録装置7への(外部記録制御部50経由での)信号出力は、信号切替部2608で可能である。
これにより、3Dコンテンツおよび2D変換により得られた2Dコンテンツの記録先は任意に選択可能である。また、経路選択部2611により、2D変換記録の経路に信号出力するか、通常の記録経路(3Dコンテンツは本来の3Dのまま)に信号出力するか、あるいは両方に出力するかも選択可能である。このことから、例えば、本来記録すべき3Dコンテンツと、2D変換により得られた2Dコンテンツを両方とも記録媒体26へ記録する方法がある。
この方法では、外部記録装置7が接続されていない場合でも2D変換記録が可能になるという効果がある。別の方法として、外部記録装置7が接続されている場合に、2D変換により得られた2Dコンテンツは直接外部記録装置7へ記録し、3Dコンテンツは記録媒体26へ記録する方法を選択してもよい。
この方法では、最終的に外部記録装置7へコピー/ムーブしたいコンテンツである場合に、直接書き込みが出来ることでユーザの操作手順を削減できる可能性があり使い勝手が向上できる。
別のパターンとしては、信号切替部2608で例えば同じ信号をそれぞれの出力へ分岐することにより、2D変換を行った2Dコンテンツを記録媒体26および外部記録装置7の両方に同時に記録する方法や、2D変換を行わず本来の3Dコンテンツの状態のまま記録媒体26および外部記録装置7の両方に同時に記録する方法なども可能である。このように構成することで、ユーザのニーズまたは採用する著作権保護技術に応じて任意に実装できるメリットがある。
次に、本実施例において、回数制限のあるコピー制御による著作権保護が施されている場合のダビング時のコンテンツの扱いについて述べる。本実施例では、コピーおよびムーブの概念を総称してダビングと呼称する。ダビング時のコピー制御情報の管理は、例えばコピー制御情報管理部2607などで実施する方法がある。
例えば、ダビング10(コピー9回・ムーブ1回)など複数回ダビング可能な方式の場合、ダビング可能な残数があるときは、一回分のダビング回数を2D変換コンテンツに割り当てることで実施する。具体的には、本来の3Dコンテンツの記録に一回分、同時に実施される2D変換記録で一回分をそれぞれ使用し、本来の3Dコンテンツのダビング残数はコピー8回・ムーブ1回となる。2D変換で得られた2Dコンテンツはダビングされたコンテンツとして扱うので、ムーブのみ可能なコンテンツとなる。
別の例として、コピーワンスなど一度のみダビング可能な方式(コピー1回・ムーブ1回)の場合も、ダビング回数を2D変換コンテンツに割り当てることで実施する。具体的には、本来の3Dコンテンツの記録に一回分、同時に実施される2D変換記録で一回分をそれぞれ使用し、本来の3Dコンテンツは一回のダビングを行ったのでムーブのみ可能なコンテンツとなり、2D変換で得られた2Dコンテンツはダビングされたコンテンツとして扱うので、同様にムーブのみ可能となる。
これに対しコピー禁止のコンテンツに対しては、2D変換を同時に実施する場合、本来の3Dコンテンツと2D変換で得られた2Dコンテンツの双方が視聴可能である場合、コピーが存在することとなり適切でない。このためどちらか一方のみ視聴可能とする制御を行う。
例えば3Dコンテンツと2D変換で得られた2Dコンテンツとの双方が記録媒体26に記録される場合、どちらか一方のコンテンツはユーザからアクセスできないように例えばコピー制御情報管理部2607の制御により隠蔽し、メニュー設定などでアクセス可能なコンテンツを切り替える方法がある。
またこの場合に、外部への持ち出しなどを目的とし、外部記録装置7に2D変換コンテンツが記録され、受信装置4内部の記録媒体26へ本来の3Dコンテンツが記録されている場合には、外部記録装置7と受信装置4の双方でコンテンツが視聴可能であるのは適切でない。
したがって、このような記録方法を選択した時点で、例えば記録媒体26にある3Dコンテンツを再生不可とするようコピー制御情報管理部2607などで制御する方法がある。またこの場合には、外部記録装置7にある2D変換により得られた2Dコンテンツを削除した場合は、コピー制御情報管理部2607にて外部記録装置7の2Dコンテンツの削除を検知し、受信装置4内部の記録媒体26内の本来の3Dコンテンツを再生可能にするなどの方法がある。外部記録装置7の2Dコンテンツの削除の検知は、2Dコンテンツが削除された際に受信装置4が検知してもよいし、2Dコンテンツが削除された後に、外部記録装置7と受信装置4とが接続された際に検知してもよい。
以上の方法により、2D映像のみ表示可能な携帯端末などの外部の機器へ、受信装置からコンテンツを持ち出す場合などに、本来の3Dコンテンツの記録と共にあらかじめ2D変換記録しておくことで、ダビングの使い勝手が向上する。また、表示性能によって2D変換記録を同時に実施するだけでなく、2D変換によるデータ量の削減の効果を利用して、外部記録装置へダビングする場合のダビング時間の短縮を図ることも可能である。また、外部記録装置に記録するコンテンツに関してユーザが特に3D表示を望まない場合などに、コンテンツが占有するデータ容量とダビング時間を共に削減できる可能性があり、使い勝手が向上する。