以下、発明を実施するための形態(以下、「実施の形態」とする)について説明する。なお、説明を以下の順序で行う。
1.実施の形態
2.変形例
<1.実施の形態>
[送受信システムの構成例]
図1は、実施の形態としての送受信システム10の構成例を示している。この送受信システム10は、サービス送信システム100とサービス受信機200により構成されている。サービス送信システム100は、コンテナ(多重化ストリーム)としてのトランスポートストリーム(MPEG2トランスポートストリームあるいはMMT(MPEG Media Transport)ストリーム)を生成し、このトランスポートストリームを放送波あるいはネットのパケットに載せて送信する。
トランスポートストリームに、所定の光電変換特性を持たせた複数種類の伝送ビデオデータを切り替えて得られる伝送ビデオデータをエンコードして得られたビデオストリームが含まれる。ビデオストリームに、このビデオストリームが持つ伝送ビデオデータの種類を示す識別情報が挿入される。この識別情報には、伝送ビデオデータが持つ光電変換特性またはその特性に対応した電光変換特性を示す変換特性情報が含まれる。
また、第1の種類の伝送ビデオデータに対応した第1のビデオストリームから第2の種類の伝送ビデオデータに対応した第2のビデオストリームに切り替わるとき、第1のビデオストリームの最後にEOS(End of Stream) NALユニットが挿入される。また、トランスポートストリームに、それに含まれるビデオストリームが持つ伝送ビデオデータの種類を示す識別情報が、この伝送ビデオデータの種類の切り替えタイミングより所定の時間量以上だけ前のタイミングから切り替え後の伝送ビデオデータの種類を示すように挿入される。
また、第1の種類の伝送ビデオデータから第2の種類の伝送ビデオデータに切り替わるとき、ビデオストリームに、表示切り替えのための情報が挿入される。この情報は、第1の方法では、受信機における表示切り替え推奨期間を示す情報とされ、第2の方法では、表示切り替え期間中の受信機表示のための符号化ビデオデータとされる。
サービス受信機200は、サービス送信システム100から送信されてくるトランスポートストリーム(MPEG2トランスポートストリームあるいはMMTストリーム)を受信する。サービス受信機200は、トランスポートストリームに含まれているビデオストリームをデコードして伝送ビデオデータを得る。サービス受信機200は、トランスポートストリームやビデオストリームに挿入されている識別情報に基づいて、伝送ビデオデータに電光変換などのビデオ処理を行って、表示用ビデオデータを得る。
サービス受信機200は、第1の種類の伝送ビデオデータから第2の種類の伝送ビデオデータに切り替わってから少なくとも電光変換部の電光変換特性の切り替えが終了するまでの期間(ピクチャ期間)は、電光変換部の出力ビデオデータに代えて挿げ替え画出力部の出力ビデオデータを、表示用ビデオデータとして出力する。
「サービス送信システムの構成例」
図2は、サービス送信システム100の構成例を示している。このサービス送信システム100は、制御部101と、HDR(High Dynamic Range:ハイダイナミックレンジ)光電変換部102と、SDR(Standard Dynamic Range:通常ダイナミックレンジ)光電変換部103と、切換スイッチ104と、RGB/YCbCr変換部105と、ビデオエンコーダ106と、コンテナエンコーダ107と、送信部108を有している。
制御部101は、CPU(Central Processing Unit)を備えて構成され、制御プログラムに基づいて、サービス送信システム100の各部の動作を制御する。HDR光電変換部102は、高コントラストカメラ出力、すなわちHDRビデオデータVhに対して、HDR光電変換特性を適用して光電変換し、HDR伝送ビデオデータ(HDR光電変換特性を持たせた伝送ビデオデータ)を得る。このHDR伝送ビデオデータは、HDR OETFで映像制作された映像素材となる。
SDR光電変換部103は、通常コントラストカメラ出力、すなわちSDRビデオデータVsに対して、SDR光電変換特性を適用して光電変換し、SDR伝送ビデオデータ(SDR光電変換特性を持たせた伝送ビデオデータ)を得る。このSDR伝送ビデオデータは、SDR OETFで映像制作された映像素材となる。
図3は、SDRおよびHDRの光電変換特性の一例を示している。この図において、横軸は入力輝度レベルを示し、縦軸は伝送符号値を示す。破線aは、SDR光電変換特性(BT.709:ガンマ特性)を示している。実線bは、HDR光電変換特性としてのSTD−B67(HLG: Hybrid Log-Gamma)の特性を示している。一点鎖線cは、HDR光電変換特性としてのST2084(PQ: Perceptual Quantizerカーブ)の特性を示している。
STD−B67(HLG)の特性は、SDR光電変換特性(BT.709:ガンマ特性)との互換領域を含んでいる。すなわち、入力輝度レベルがゼロから両特性の互換限界値までは、両特性のカーブは一致している。入力輝度レベルが互換限界値であるとき、伝送符号値は互換レベルSPとなる。ST2084(PQカーブ)は、高輝度に対応し、人間の視覚特性に適合するといわれる量子化ステップのカーブである。HDR光電変換特性において、入力輝度レベルがピーク輝度PLであるとき、伝送符号値はピークレベルMPとなる。
SDR光電変換特性において、入力輝度レベルがSDR特性表現限界輝度SLであるとき、伝送符号値はピークレベルMPとなる。ここで、SLは100cd/m2である。
図2に戻って、切換スイッチ104は、HDR光電変換部102で得られたHDR伝送ビデオデータまたはSDR光電変換部103で得られたSDR伝送ビデオデータを選択的に取り出す。この切り替えは、番組単位、あるいはそれに準ずる単位で行われるようにしてもよい。
RGB/YCbCr変換部105は、切換スイッチ104で取り出された伝送ビデオデータV1をRGBドメインからYCbCr(輝度・色差)ドメインに変換する。なお、これらの色空間のドメインは、RGBドメインに限定されるものではなく、また、輝度・色差ドメインはYCbCrに限定されるわけではない。
ビデオエンコーダ106は、RGB/YCbCr変換部105でYCbCrドメインに変換された伝送ビデオデータV1に対して、例えば、MPEG4−AVCあるいはHEVCなどの符号化を施して符号化ビデオデータを得、この符号化ビデオデータを含むビデオストリーム(ビデオエレメンタリストリーム)VSを生成する。
このとき、ビデオエンコーダ106は、アクセスユニット(AU)のSPS NALユニットのVUI(video usability information)の領域に、伝送ビデオデータV1が持つ光電変換特性またはその特性に対応した電光変換特性を示す変換特性情報(transferfunction)を挿入する。なお、伝送ビデオデータV1が持つ光電変換特性がSTD−B67(HLG)である場合には、このVUIの領域には、BT.709(ガンマ特性)を示す変換特性情報を挿入する。この場合、STD−B67(HLG)を示す変換特性情報は、後述する新規定義のトランスファー・ファンクション・SEIメッセージ(transfer_function SEI message)内に配置される。
また、ビデオエンコーダ106は、第1の種類の伝送ビデオデータV1に対応した第1のビデオストリームから第2の種類の伝送ビデオデータV1に対応した第2のビデオストリームに切り替わるとき、第1のビデオストリームの最後にEOS(End of Stream) NALユニットを挿入する。
また、ビデオエンコーダ106は、アクセスユニット(AU)の、例えば“Suffix_SEIs”の部分に、伝送ビデオデータV1が持つ光電変換特性またはその特性に対応した電光変換特性を示す変換特性情報等が配置されたトランスファー・ファンクション・SEIメッセージを挿入する。
図4(a)は、トランスファー・ファンクション・SEIメッセージの構造例(Syntax)を示している。図4(b)は、その構造例における主要な情報の内容(Semantics)を示している。「transferfunction」の8ビットフィールドは、伝送ビデオデータV1が持つ光電変換特性またはその特性に対応した電光変換特性を示す。本エレメントの値とVUIの「transferfunction」の値が異なる場合には、本エレメントの値で置き換える。
例えば、“1”は「BT.709-5 Transfer Function(SDR)」を示し、“14”は「10bit BT.2020 Transfer Function(SDR)」を示し、“16”は「SMPTE 2084 Transfer Function(HDR1)」を示し、“18”は「ARIB STD B-67 Transfer Function (HDR2)」を示す。
「peak_luminance」の16ビットフィールドは、最大輝度レベルを示す。この最大輝度レベルは、コンテンツの、例えば番組内あるいはシーン内の最大輝度レベルを示す。受信側では、この値を、表示能力に適した表示画を作りこむ際の参照値として用いることができる。「color_space」の8ビットフィールドは、色空間情報を示す。
また、ビデオエンコーダ106は、第1の種類の伝送ビデオデータV1から第2の種類の伝送ビデオデータV1に切り替わるとき、ビデオストリームに、表示切り替えのための情報を挿入する。第1の方法が採用される場合、表示切り替えのための情報は、受信機における表示切り替え推奨期間を示す情報である。この実施の形態では、ビデオエンコーダ106は、アクセスユニット(AU)の、例えば“Suffix_SEIs”の部分に、新規定義するディスプレイ・スイッチ・SEIメッセージ(display_switch SEI message)を挿入する。
図5(a)は、ディスプレイ・スイッチ・SEIメッセージの構造例(Syntax)を示している。図5(b)は、その構造例における主要な情報の内容(Semantics)を示している。「alternate_picture_flag」の1ビットフィールドは、表示画に代用の画像を用いることを許容するか否かを示す。例えば、“1”は許容することを示し、“0”は許容しないことを示す。切り替え後の所定数のフレーム期間(ピクチャ期間)で、「alternate_picture_flag」が“1”とされ、受信機における表示切り替え推奨期間が示される。
また、第2の方法が採用される場合、表示切り替えのための情報は、表示切り替え期間中の受信機表示のための符号化ビデオデータ(切り替え用画の符号化ビデオデータ)である。切り替え後の所定数のフレーム期間(ピクチャ期間)は、第2の種類の伝送ビデオデータに代えて、この切り替え用画像の符号化ビデオデータが挿入される。
図2に戻って、コンテナエンコーダ107は、ビデオエンコーダ106で生成されたビデオストリームVSを含むトランスポートストリーム(MPEG2トランスポートストリームあるいはMMTストリームあるいはISOBMFFファイル)を生成する。送信部108は、このトランスポートストリームを、放送波あるいはネットのパケットに載せて、サービス受信機200に送信する。
このとき、コンテナエンコーダ107は、トランスポートストリームに、それに含まれるビデオストリームが持つ伝送ビデオデータV1の種類を示す識別情報を、この伝送ビデオデータV1の種類の切り替えタイミングより所定の時間量以上だけ前のタイミングから切り替え後の伝送ビデオデータV1の種類を示すように挿入する。
図6は、SDRサービスとHDRサービスとの間のストリーム切り替えタイミングS(S0,S1,S2,・・・)と、切り替え後の伝送ビデオデータの種類を識別するための識別情報の挿入タイミングT(T0,T1,T2,・・・)の関係を示している。以下の(1)式を満足するように、タイミングTは、タイミングSよりもβ(所定の時間量)以上だけ前のタイミングとされる。なお、図示の例は、S−T = β (ただし、βは正値)である場合を示している。
S−T ≧ β ・・・(1)
この実施の形態において、コンテナエンコーダ107は、トランスポートストリームに、新規定義するHDRデスクリプタ(HDR descriptor)を挿入する。このHDRデスクリプタは、例えば、トランスポートストリームがMPEG2トランスポートストリームであるときには、プログラム・マップ・テーブル(PMT:Program Map Table)の配下に挿入され、トランスポートストリームがMMTストリームであるときには、MPテーブル(MMT Package Table)の配下に挿入される。
図7は、HDRデスクリプタの構造例(Syntax)を示し、図8は、その構造例における主要な情報の内容(Semantics)を示している。「descriptor_tag」の8ビットフィールドは、デスクリプタのタイプを示し、ここでは、HDRデスクリプタであることを示す。「descriptor_length」の8ビットフィールドは、デスクリプタの長さ(サイズ)を示し、デスクリプタの長さとして以降のバイト数を示す。
「HDR_SDR_flag」の1ビットフィールドは、対象のストリームがHDRストリームであるかSDRストリームであるかを示す。例えば、“1”はHDRストリームであることを示し、“0”はSDRストリームであることを示す。「characteristics_info_flag」の1ビットフィールドは、特性情報があるか否かを示す。例えば、“1”は特性情報があることを示し、“0”は特性情報がないことを示す。「color_space_flag」の1ビットフィールドは、色空間情報があるか否かを示す。例えば、“1”は色空間情報があることを示し、“0”は色空間情報がないことを示す。
「characteristics_info_flag」が“1”であるとき、「transferfunction」の8ビットフィールドが存在する。このフィールドは、伝送ビデオデータV1が持つ光電変換特性またはその特性に対応した電光変換特性を示す。例えば、“1”は「BT.709-5 Transfer Function(SDR)」を示し、“14”は「10bit BT.2020 Transfer Function(SDR)」を示し、“16”は「SMPTE 2084 Transfer Function(HDR1)」を示し、“18”は「ARIB STD B-67 Transfer Function (HDR2)」を示す。また、「color_space_flag」が“1”であるとき、「color_space」の8ビットフィールドが存在する。このフィールドは、色空間情報を示す。
図9は、MPEG2トランスポートストリームの構造(TS構造)の一例を示している。この構造例は、表示切り替えのための情報が受信機における表示切り替え推奨期間を示す情報とされる第1の方法を採用する場合の例である。
この構造例では、PID1で識別されるビデオストリームのPESパケット「Video PES」が存在する。アクセスユニット(AU)のSPSのVUIの領域に、伝送ビデオデータV1が持つ光電変換特性またはその特性に対応した電光変換特性を示す変換特性情報(transferfunction)が挿入される。
また、第1の種類の伝送ビデオデータV1に対応した第1のビデオストリームから第2の種類の伝送ビデオデータV1に対応した第2のビデオストリームに切り替わるとき、第1のビデオストリームの最後にEOS(End of Stream) NALユニットが挿入される。
また、アクセスユニット(AU)の、例えば“Suffix_SEIs”の部分に、伝送ビデオデータV1が持つ光電変換特性またはその特性に対応した電光変換特性を示す変換特性情報等が配置されたトランスファー・ファンクション・SEIメッセージ(図4(a)参照)が挿入される。
また、アクセスユニット(AU)の、例えば“Suffix_SEIs”の部分に、受信機における表示切り替え推奨期間を示すためのディスプレイ・スイッチ・SEIメッセージ(図5(a)参照)が挿入される。
また、トランスポートストリームTSには、PSI(Program Specific Information)として、PMT(Program Map Table)が含まれている。PSIは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。PMTには、プログラム全体に関連する情報を記述するプログラム・ループ(Program loop)が存在する。
PMTには、各エレメンタリストリームに関連した情報を持つエレメンタリストリーム・ループが存在する。この構造例では、ビデオストリームに対応したビデオエレメンタリストリーム・ループ(video ES loop)が存在する。ビデオエレメンタリストリーム・ループ(video ES loop)には、ビデオストリームに対応して、ストリームタイプ、PID(パケット識別子)等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。
このビデオストリームの「Stream_type」の値は、例えばHEVCビデオストリームを示す値に設定され、PID情報はビデオストリームのPESパケット「video PES」に付与されるPID1を示すものとされる。デスクリプタの一つとして、上述した、HDRデスクリプタ(図7参照)が挿入される。
なお、図示は省略するが、表示切り替えのための情報が表示切り替え期間中の受信機表示のための符号化ビデオデータ(切り替え用画像の符号化ビデオデータ)とされる第2の方法を採用する場合のTS構造例においては、ディスプレイ・スイッチ・SEIメッセージの挿入がないことを除き、上述したTS構造例と同様となる。
図10は、MMTストリームの構造(MMT構造)の一例を示している。この構造例は、表示切り替えのための情報が受信機における表示切り替え推奨期間を示す情報とされる第1の方法を採用する場合の例である。
MMTストリームには、ビデオ、オーディオ等の各アセットのMMTパケットが存在する。図示の構造例では、パケットIDがID1で識別されるビデオのアセットのMMTパケットが存在する。アクセスユニット(AU)のSPSのVUIの領域に、伝送ビデオデータV1が持つ光電変換特性またはその特性に対応した電光変換特性を示す変換特性情報(transferfunction)が挿入されている。
また、第1の種類の伝送ビデオデータV1に対応した第1のビデオストリームから第2の種類の伝送ビデオデータV1に対応した第2のビデオストリームに切り替わるとき、第1のビデオストリームの最後にEOS(End of Stream) NALユニットが挿入される。
また、アクセスユニット(AU)の、例えば“Suffix_SEIs”の部分に、伝送ビデオデータV1が持つ光電変換特性またはその特性に対応した電光変換特性を示す変換特性情報等が配置されたトランスファー・ファンクション・SEIメッセージ(図4(a)参照)が挿入される。
また、アクセスユニット(AU)の、例えば“Suffix_SEIs”の部分に、受信機における表示切り替え推奨期間を示すためのディスプレイ・スイッチ・SEIメッセージ(図5(a)参照)が挿入される。
また、MMTストリームには、PA(Packet Access)メッセージパケットなどのメッセージパケットが存在する。PAメッセージパケットには、MMT・パケット・テーブル(MMT Package Table)などのテーブルが含まれている。MPテーブルには、アセット毎の情報が含まれている。デスクリプタの一つとして、上述した、HDRデスクリプタ(図7参照)が挿入される。
なお、図示は省略するが、表示切り替えのための情報が表示切り替え期間中の受信機表示のための符号化ビデオデータ(切り替え用画像の符号化ビデオデータ)とされる第2の方法を採用する場合のMMT構造例においては、ディスプレイ・スイッチ・SEIメッセージの挿入がないことを除き、上述したMMT構造例と同様となる。
図2に示すサービス送信システム100の動作を簡単に説明する。高コントラストカメラ出力であるHDRビデオデータVhはHDR光電変換部102に供給される。このHDR光電変換部102では、HDRビデオデータVhにHDR光電変換特性で光電変換が施され、HDR OETFで映像制作された映像素材としてのHDR伝送ビデオデータ(HDR光電変換特性を持たせた伝送ビデオデータ)が得られる。
また、通常コントラストカメラ出力であるSDRビデオデータVsはSDR光電変換部103に供給される。このSDR光電変換部103では、SDRビデオデータVsにSDR光電変換特性で光電変換が施され、SDR OETFで映像制作された映像素材としてのSDR伝送ビデオデータ(SDR光電変換特性を持たせた伝送ビデオデータ)が得られる。
切換スイッチ104では、制御部101の制御により、HDR光電変換部102で得られたHDR伝送ビデオデータまたはSDR光電変換部103で得られたSDR伝送ビデオデータが選択的に取り出される。このように取り出された伝送ビデオデータV1は、RGB/YCbCr変換部105でRGBドメインからYCbCr(輝度・色差)ドメインに変換される。
YCbCrドメインに変換された伝送ビデオデータV1は、ビデオエンコーダ106に供給される。このビデオエンコーダ106では、伝送ビデオデータV1に対して、例えば、MPEG4−AVCあるいはHEVCなどの符号化が施されて符号化ビデオデータが得られ、この符号化ビデオデータを含むビデオストリームVSが生成される。
このとき、ビデオエンコーダ106では、アクセスユニット(AU)のSPS NALユニットのVUIの領域に、伝送ビデオデータV1が持つ光電変換特性またはその特性に対応した電光変換特性を示す変換特性情報(transferfunction)が挿入される。
また、ビデオエンコーダ106では、第1の種類の伝送ビデオデータV1に対応した第1のビデオストリームから第2の種類の伝送ビデオデータV1に対応した第2のビデオストリームに切り替わるとき、第1のビデオストリームの最後にEOS(End of Stream) NALユニットが挿入される。
また、ビデオエンコーダ106では、アクセスユニット(AU)の、例えば“Suffix_SEIs”の部分に、伝送ビデオデータV1が持つ光電変換特性またはその特性に対応した電光変換特性を示す変換特性情報等が配置されたトランスファー・ファンクション・SEIメッセージ(図4(a)参照)が挿入される。
また、ビデオエンコーダ106では、第1の種類の伝送ビデオデータV1から第2の種類の伝送ビデオデータV1に切り替わるとき、ビデオストリームに、表示切り替えのための情報が挿入される。第1の方法が採用される場合、表示切り替えのための情報は、受信機における表示切り替え推奨期間を示す情報とされる。この場合、ビデオエンコーダ106では、アクセスユニット(AU)の、例えば“Suffix_SEIs”の部分に、ディスプレイ・スイッチ・SEIメッセージ(図5(a)参照)が挿入される。
また、第2の方法が採用される場合、表示切り替えのための情報は、表示切り替え期間中の受信機表示のための符号化ビデオデータ(切り替え用画の符号化ビデオデータ)とされる。この場合、ビデオエンコーダ106では、切り替え後の所定数のフレーム期間(ピクチャ期間)は、第2の種類の伝送ビデオデータV1に代えて、この切り替え用画の符号化ビデオデータが挿入される。
ビデオエンコーダ106で得られたビデオストリームVSは、コンテナエンコーダ107に供給される。コンテナエンコーダ107では、ビデオエンコーダ106で生成されたビデオストリームVSを含むトランスポートストリーム(MPEG2トランスポートストリームあるいはMMTストリームあるいはISOBMFFファイル)が生成される。このトランスポートストリームは、送信部108により、放送波あるいはネットのパケットに載せて、サービス受信機200に送信される。
このとき、コンテナエンコーダ107では、コンテナ(多重化ストリーム)としてのトランスポートストリームに、それに含まれるビデオストリームが持つ伝送ビデオデータV1の種類を示す識別情報を、切り替えタイミングより所定の時間量以上だけ前のタイミングから切り替え後の伝送ビデオデータV1の種類を示すように挿入される。この場合、コンテナエンコーダ107では、トランスポートストリームに、HDRデスクリプタ(図7参照)が挿入される。
「サービス受信機の構成例」
図11は、サービス受信機200の構成例を示している。このサービス受信機200は、制御部201と、受信部202と、コンテナデコーダ203と、ビデオデコーダ204と、YCbCr/RGB変換部205と、ビデオ処理部206を有している。
制御部201は、CPU(Central Processing Unit)を備えて構成され、制御プログラムに基づいて、サービス受信機200の各部の動作を制御する。受信部202は、サービス送信システム100(図2参照)から放送波あるいはネットのパケットに載せて送られてくるコンテナ(多重化ストリーム)としてのトランスポートストリーム(MPEG2トランスポートストリームあるいはMMTストリームあるいはISOBMFFファイル)を受信する。コンテナデコーダ203は、トランスポートストリームからビデオストリームVSを抽出する。
また、コンテナデコーダ203は、トランスポートストリームに挿入されている種々の情報を抽出し、制御部201に送る。この抽出情報には、上述したHDRデスクリプタ(図7参照)も含まれる。制御部201は、このHDRデスクリプタの記述に基づいて、トランスポートストリームに含まれるビデオストリームが持つ伝送ビデオデータV1の種類を示す識別情報を取得する。この識別情報には、伝送ビデオデータV1が持つ光電変換特性またはその特性に対応した電光変換特性を示す変換特性情報(transferfunction)も含まれている。
上述したように、伝送ビデオデータV1の識別情報は、この伝送ビデオデータV1の種類の切り替えタイミングSより所定の時間量(β)以上だけ前のタイミングTから切り替え後の伝送ビデオデータV1の種類を示すように、トランスポートストリームに挿入される。そのため、制御部201は、切り替えタイミングより所定の時間量以上だけ前のタイミングから、伝送ビデオデータの種類の切り替えがあること、さらには切り替え後の伝送ビデオデータの種類の把握が可能となる。
これにより、制御部201は、伝送ビデオデータV1の種類の切り替えに伴う各部の制御のための準備を予め行うことができ、伝送ビデオデータV1の種類の切り替えがあっても伝送ビデオデータV1から表示用ビデオデータを得るための表示制御を滞りなくスムーズに行うことが可能となる。
ビデオデコーダ204は、コンテナデコーダ203で抽出されるビデオストリームVSに対してデコード処理を施して、伝送ビデオデータV1を得る。また、ビデオデコーダ204は、ビデオストリームVSから各アクセスユニットに挿入されているパラメータセットやSEIメッセージなどの情報を抽出し、制御部201に送る。
この抽出情報には、上述したアクセスユニットのSPS NALユニットのVUIの領域に挿入されている伝送ビデオデータV1が持つ光電変換特性またはその特性に対応した電光変換特性を示す変換特性情報(transferfunction)やトランスファー・ファンクション・SEIメッセージ(図4(a)参照)も含まれる。これにより、制御部201は、伝送ビデオデータV1の種類の認識が容易に可能となり、伝送ビデオデータの種類の切り替えがあっても伝送ビデオデータから表示用ビデオデータを得るための表示制御、例えば電光変換などを適切に行うことが可能となる。
また、ビデオデコーダ204で抽出される情報には、EOS NALユニットの抽出情報も含まれる。上述したように、第1の種類の伝送ビデオデータV1に対応した第1のビデオストリームから第2の種類の伝送ビデオデータV1に対応した第2のビデオストリームに切り替わるとき、第1のビデオストリームの最後にEOS NALユニットが挿入される。そのため、制御部201は、このEOS NALユニットの抽出情報から、第1のビデオストリームから第2のビデオストリームに切り替わることをより確実にピクチャ単位の精度で認識(検知)可能となる。
YCbCr/RGB変換部205は、ビデオデコーダ204で得られた伝送ビデオデータV1を、YCbCr(輝度・色差)ドメインからRGBドメインに変換する。なお、これらの色空間のドメインは、RGBドメインに限定されるものではなく、また、輝度・色差ドメインはYCbCrに限定されるわけではない。
ビデオ処理部206は、制御部201の制御のもと、RGBドメインに変換された伝送ビデオデータV1に色空間変換、電光変換などの処理を行って、表示用ビデオデータVdを得る。
図12は、ビデオ処理部206の構成例を示している。このビデオ処理部206は、色空間変換部261と、電光変換部262と、挿げ替え画出力部263と、切り替え部264を有している。
色空間変換部261は、伝送ビデオデータV1に対して、色空間変換の処理を行う。この色空間変換部261における色空間変換特性は、制御部201の制御のもと、例えば、HDRデスクリプタ(図7参照)、あるいはトランスファー・ファンクション・SEIメッセージ(図4(a)参照)に配置されている、色空間変換部261に入力される伝送ビデオデータV1に対応した色空間情報「color_space」を用いて設定される。そのため、当該伝送ビデオデータV1の種類が切り替わり、色空間情報「color_space」に変化がある場合には、その切り替わりタイミングSから所定の時間をかけて色空間変換部261における色空間変換特性の切り替え、例えば変換テーブルの切り替えが行われる。
電光変換部262は、色空間変換部261を経た伝送ビデオデータV1に対して、電光変換の処理を行う。この電光変換部262における電光変換特性は、制御部201の制御のもと、例えば、HDRデスクリプタ(図7参照)、あるいはトランスファー・ファンクション・SEIメッセージ(図4(a)参照)に配置されている、電光変換部262に入力される伝送ビデオデータV1に対応した変換特性情報「transferfunction」を用いて設定される。
そのため、当該伝送ビデオデータV1の種類が切り替わり、変換特性情報「transferfunction」に変化がある場合には、その切り替わりタイミングSから所定の時間をかけて電光変換部262における電光変換特性の切り替え、例えば変換テーブルの切り替えが行われる。
挿げ替え画出力部263は、挿げ替え画用のビデオデータを出力する。ここで、挿げ替え画は例えば黒画像とされ、挿げ替え画用のビデオデータは、例えば、輝度符号値が“64”(この値は10ビットで黒レベルを示す)とされる。挿げ替え画出力部263は、例えば、挿げ替え画用のビデオデータを保持するメモリ回路で構成される。
切り替え部264は、制御部201の制御のもと、伝送ビデオデータV1の種類が切り替わるとき、切り替わりタイミングSから所定数のフレーム期間(ピクチャ期間)は、挿げ替え画出力部263から出力される挿げ替え画用のビデオデータを表示用ビデオデータVdとして出力し、その他の期間は電光変換部262の出力ビデオデータを表示用ビデオデータVdとして出力する。
ここで、所定数のフレーム期間は、少なくとも、色空間変換部261における色空間変換特性の切り替えと電光変換部262における電光変化特性の切り替えが終了するまでのフレーム期間とされる。このように切り替え部264で、切り替わりタイミングSから所定数のフレーム期間で挿げ替え画用のビデオデータが表示用ビデオデータVdとして選択されることで、色空間変換部261や電光変換部262における変換特性の切り替え過渡期に起因する乱れた画の表示が防止され、表示画に発生する違和感を軽減することが可能となる。
図11に示すサービス受信機200の動作を簡単に説明する。受信部202では、サービス送信システム100から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリーム(MPEG2トランスポートストリームまたはMMTストリームあるいはISOBMFFファイル)が受信される。このトランスポートストリームは、コンテナデコーダ203に供給される。コンテナデコーダ203では、トランスポートストリームからビデオストリームVSが抽出される。
また、コンテナデコーダ203では、トランスポートストリームに挿入されている種々の情報が抽出され、制御部201に送られる。この抽出情報には、HDRデスクリプタ(図7参照)も含まれる。制御部201では、このHDRデスクリプタの記述に基づいて、トランスポートストリームに含まれるビデオストリームが持つ伝送ビデオデータV1の種類を示す識別情報が、この伝送ビデオデータV1の種類の切り替えタイミングSより所定の時間量(β)以上だけ前のタイミングTで取得される。
コンテナデコーダ203で抽出されたビデオストリームVSは、ビデオデコーダ204に供給される。ビデオデコーダ204では、ビデオストリームVSに対してデコード処理が施されて、伝送ビデオデータV1が得られる。また、ビデオデコーダ204では、ビデオストリームVSから各アクセスユニットに挿入されているパラメータセットやSEIメッセージなどの情報が抽出され、制御部201に送られる。
この抽出情報には、上述したアクセスユニットのSPS NALユニットのVUIの領域に挿入されている伝送ビデオデータV1が持つ光電変換特性またはその特性に対応した電光変換特性を示す変換特性情報(transferfunction)やトランスファー・ファンクション・SEIメッセージ(図4(a)参照)も含まれる。これにより、制御部201では、伝送ビデオデータV1の種類を示す識別情報が取得される。
また、この抽出情報には、EOS NALユニットの抽出情報も含まれる。これにより、制御部201では、このEOS NALユニットの抽出情報から、ビデオストリームの切り替えタイミングSがピクチャ単位の精度で認識される。
ビデオデコーダ204で得られた伝送ビデオデータV1は、YCbCr/RGB変換部205でYCbCr(輝度・色差)ドメインからRGBドメインに変換された後に、ビデオ処理部206に供給される。このビデオ処理部206では、制御部201の制御のもと、伝送ビデオデータV1に色空間変換、電光変換、挿げ替え画への置き換えなどの処理が行われて、表示用ビデオデータVdが得られる。この表示用ビデオデータVdが図示しないモニタに供給されて、画表示が行われる。
図13を参照して、制御部201によるビデオ処理部206の制御動作について、説明する。図示の例では、ストリーム切り替えタイミングSでSDRサービスからHDRサービスに切り替わる例を示している。ストリーム切り替えタイミングSよりもβだけ前のタイミングで、HDRデスクリプタ(図7参照)が挿入されている。また、SDRサービスのビデオストリームの最後にEOS NALユニットが挿入されている。
また、受信ビデオストリームにおいて、アクセスユニット(AU)のSPS NALユニットのVUIの領域に挿入されている変換特性情報「transferfunction」は、タイミングS前はSDRの変換特性を示し、タイミングS後はHDRの変換特性を示している。
(1)制御部201は、トランスポートストリームに挿入されているHDRデスクリプタに基づいて、SDRサービスからHDRサービスへの切り替えが起こるという事前情報を検知する。
(2)制御部201は、ビデオストリームの識別情報をチェックする。ここで、制御部201は、VUIの領域に挿入されている変換特性情報「transferfunction」により、HDR,SDRの変換タイプを検知する。また、制御部201は、EOS NALユニットの挿入情報により、ストリーム切り替えタイミングSを検知する。制御部201は、VUIに領域に挿入されている変換特性情報「transferfunction」のチェックを、EOS NALユニットの挿入位置の前と後の両方のタイミングで行う。制御部201は、ストリーム切り替えタイミングSを検知したとき、色空間変換や光電変換(EOTF)の変換特性の切り替えを開始する。なお、制御部201における上記の変換特性情報「transferfunction」の認識は、VUIの代わりにトランスファー・ファンクション・SEIメッセージを参照することによっても可能である。
(3)制御部201は、少なくとも、変換特性の切り替えを開始してから終了するまでのフレーム期間(ピクチャ期間)は、デコード画のビデオデータ(電光変換部262の出力ビデオデータ)に代えて、挿げ替え画用のビデオデータを、表示用ビデオデータVdとして出力させる。
これにより、ストリーム切り替えタイミングSまでの期間はデコード画、ストリーム切り替えタイミングSから変換特性の切り替えが終了するまでのフレーム期間は挿げ替え画、さらにその後の期間はデコード画の表示がなされる。図示の例においては、EOTF切り替え期間がストリーム切り替え後の3フレーム期間に及んでおり、この3フレーム期間の表示画が挿げ替え画とされている。
図14を参照して、表示切り替えのための情報が受信機における表示切り替え推奨期間を示す情報とされる第1の方法を採用する場合における、切り替え時の表示画の変化例について説明する。図示の例では、図13と同様に、ストリーム切り替えタイミングSでSDRサービスからHDRサービスに切り替わる例を示している。
図示の例では、伝送ビデオデータV1は、タイミングSの前はコンテンツ画の符号化ビデオデータであるSDR伝送ビデオデータであり、タイミングSの後はコンテンツ画の符号化ビデオデータであるHDR伝送ビデオデータである。そして、切り替え後の所定数のフレーム期間(ピクチャ期間)で、トランスファー・ファンクション・SEIメッセージ(図5(a)参照)の「alternate_picture_flag」が“1”とされ、受信機における表示切り替え推奨期間(表示画切り替えSEIの挿入期間)が示されている。
図示の例では、受信機における表示切り替え推奨期間は切り替え後の5フレームの期間とされている。そして、図示の例では、EOTF切り替え期間がストリーム切り替え後の4フレーム期間に及んでおり、この4フレーム期間の表示画が挿げ替え画とされている。なお、表示画を挿げ替え画とする期間を、常に、受信機における表示切り替え推奨期間と等しくすることも考えられる。この場合には、EOTF切り替え期間が受信機によりばらついても常に一定期間だけ挿げ替え画の表示が行われることとなる。
このように第1の方法を採用する場合には、ストリーム切り替えタイミングSまでの期間はデコード画(SDRコンテンツ画)、ストリーム切り替えタイミングSから例えば変換特性の切り替えが終了するまでのフレーム期間は挿げ替え画、さらにその後の期間はコンテンツデコード画(HDRコンテンツ画)の表示がなされる。図15は、その場合における切り替え時の表示画の変化例を示している。
図16を参照して、表示切り替えのための情報が表示切り替え期間中の受信機表示のための符号化ビデオデータ(切り替え用画の符号化ビデオデータ)とされる第2の方法を採用する場合における、切り替え時の表示画の変化例について説明する。図示の例では、図13と同様に、ストリーム切り替えタイミングSでSDRサービスからHDRサービスに切り替わる例を示している。
図示の例では、伝送ビデオデータV1は、タイミングSの前はコンテンツ画の符号化ビデオデータであるSDR伝送ビデオデータであり、タイミングSの後の所定数のフレーム期間(ピクチャ期間)は、切り替え用画の符号化ビデオデータであり、さらにその後はコンテンツ画の符号化ビデオデータであるHDR伝送ビデオデータである。図示の例では、切り替え用画の符号化ビデオデータの期間は切り替え後の5フレームの期間とされている。そして、図示の例では、EOTF切り替え期間がストリーム切り替え後の4フレーム期間に及んでおり、この4フレーム期間の表示画が挿げ替え画とされている。
このように第2の方法を採用する場合には、ストリーム切り替えタイミングSまでの期間はデコード画(SDRコンテンツ画)、ストリーム切り替えタイミングSから例えば変換特性の切り替えが終了するまでのフレーム期間は挿げ替え画、またその後の切り替え用画の符号化ビデオデータが存在する期間は切り替え用画、さらにその後の期間はデコード画(HDRコンテンツ画)の表示がなされる。図17は、その場合における切り替え時の表示画の変化例を示している。
このように第2の方法を採用する場合、表示用ビデオデータVdとして挿げ替え画のビデオデータを出力する期間の終了タイミングt1が切り替え用画の符号化ビデオデータの挿入期間の終了タイミングt2に一致しないときは、挿げ替え画から切り替え用画に切り替わった後にデコード画(HDRコンテンツ画)の表示に移っていく。このときにあっても、挿げ替え画と切り替え用画との輝度レベルを一致させておくことで、違和感のない表示が可能となる。具体的には、両者とも、例えば、輝度符号値が“64”( この値は10ビットで黒レベルを示す)で構成する画とすることで、違和感のない表示が可能となる。
上述したように、図1に示す送受信システム10において、サービス送信システム100は、ビデオストリームに、このビデオストリームが持つ伝送ビデオデータの種類を示す識別情報を挿入するものである。そのため、受信側において、伝送ビデオデータの種類の認識が容易に可能となり、伝送ビデオデータの種類の切り替えがあっても伝送ビデオデータから表示用ビデオデータを得るためのビデオ処理、例えば電光変換などを適切に行い得る。
また、図1に示す送受信システム10において、サービス送信システム100は、第1の種類の伝送ビデオデータに対応した第1のビデオストリームから第2の種類の伝送ビデオデータに対応した第2のビデオストリームに切り替わるとき、第1のビデオストリームの最後にEOS NALユニットを挿入するものである。この場合、EOS NALユニットは明示的な切り替え信号として機能し、受信側では第1のビデオストリームから第2のビデオストリームに切り替わることをより確実に認識(検知)できる。
また、図1に示す送受信システム10において、サービス送信システム100は、第1の種類の伝送ビデオデータから第2の種類の伝送ビデオデータに切り替わるとき、ビデオストリームに、表示切り替えのための情報を挿入するものである。そのため、受信側での表示切り替えの便宜を図ることが可能となる。
例えば、表示切り替えのための情報が受信機における表示切り替え推奨期間を示す情報である第1の方法を採用する場合、受信側では表示切り替え推奨期間を認識でき、例えば、当該期間の間に光電変換特性の切り替えを済ませると共に、光電変換特性の切り替えの間は挿げ替え画のビデオデータを表示用ビデオデータとして出力することで、表示画に発生する違和感を軽減することが可能となる。
また、例えば、表示切り替えのための情報は、表示切り替え期間中の受信機表示のための符号化ビデオデータである第2の方法を採用する場合、受信側で光電変換特性の切り替えを済ませ、表示用ビデオデータを挿げ替え画のビデオデータから光電変換を経たビデオデータに切り替える場合、光電変換特性の切り替え期間がばらついても一定期間は同じ特殊パターンの画像、例えば黒画を表示させることが可能となる。
また、図1に示す送受信システム10において、サービス送信システム100は、コンテナ(多重化ストリーム)としてのトランスポートストリームに、それに含まれるビデオストリームが持つ伝送ビデオデータの種類を示す識別情報を、この伝送ビデオデータの種類の切り替えタイミングより所定の時間量以上だけ前のタイミングから切り替え後の伝送ビデオデータの種類を示すように挿入するものである。そのため、受信側において、切り替えタイミングより所定の時間量以上だけ前のタイミングから伝送ビデオデータの種類の切り替えがあること、さらには切り替え後の伝送ビデオデータの種類の把握が可能となり、伝送ビデオデータの種類の切り替えがあっても伝送ビデオデータから表示用ビデオデータを得る表示制御を滞りなくスムーズに行うことが可能となる。
また、図1に示す送受信システム10において、サービス受信機200は、ビデオストリームに挿入されている、このビデオストリームが持つ伝送ビデオデータの種類を示す識別情報に基づいて、伝送ビデオデータを処理して表示用ビデオデータを得るものである。そのため、伝送ビデオデータの種類の切り替えがあっても伝送ビデオデータから表示用ビデオデータを得るためのビデオ処理、例えば電光変換などを適切に行い得る。
また、図1に示す送受信システム10において、サービス受信機200は、第1の種類の伝送ビデオデータから第2の種類の伝送ビデオデータに切り替わってから少なくとも電光変換部等の変換特性の切り替えが終了するまでの期間は、挿げ替え画のビデオデータを表示用ビデオデータとして出力するものである。そのため、変換特性の切り替え過渡期に起因する乱れた画の表示が防止され、表示画に発生する違和感を軽減することが可能となる。
<2.変形例>
なお、上述実施の形態においては、サービス送信システム100およびサービス受信機200により構成される送受信システム10を示したが、本技術を適用し得る送受信システムの構成は、これに限定されるものではない。例えば、サービス受信機200が、例えば、HDMI(High-Definition Multimedia Interface)などのデジタルインタフェースで接続されたセットトップボックス(STB)およびモニタからなる構成であってもよい。なお、「HDMI」は、登録商標である。
また、本技術は、以下のような構成を取ることもできる。
(1)所定の光電変換特性を持たせた複数種類の伝送ビデオデータを切り替えて得られる伝送ビデオデータをエンコードしてビデオストリームを得るエンコード部と、
上記ビデオストリームを含む所定フォーマットのコンテナを送信する送信部と、
上記ビデオストリームに、該ビデオストリームが持つ伝送ビデオデータの種類を示す識別情報を挿入する識別情報挿入部を備える
送信装置。
(2)上記識別情報は、上記伝送ビデオデータが持つ光電変換特性または該特性に対応した電光変換特性を示す変換特性情報を含む
前記(1)に記載の送信装置。
(3)上記識別情報挿入部は、
上記変換特性情報を、SPS NALユニットの領域および/またはSEI NALユニットの領域に挿入する
前記(2)に記載の送信装置。
(4)第1の種類の伝送ビデオデータに対応した第1のビデオストリームから第2の種類の伝送ビデオデータに対応した第2のビデオストリームに切り替わるとき、上記第1のビデオストリームの最後にEOS NALユニットを挿入するNALユニット挿入部をさらに備える
前記(1)から(3)のいずれかに記載の送信装置。
(5)第1の種類の伝送ビデオデータから第2の種類の伝送ビデオデータに切り替わるとき、上記ビデオストリームに、表示切り替えのための情報を挿入する表示切り替え情報挿入部をさらに備える
前記(1)から(4)のいずれかに記載の送信装置。
(6)上記表示切り替えのための情報は、受信機における表示切り替え推奨期間を示す情報である
前記(5)に記載の送信装置。
(7)上記表示切り替えのための情報は、表示切り替え期間中の受信機表示のための符号化ビデオデータである
前記(5)に記載の送信装置。
(8)上記識別情報挿入部は、
上記コンテナに、該コンテナに含まれるビデオストリームが持つ伝送ビデオデータの種類を示す識別情報を、該伝送ビデオデータの種類の切り替えタイミングより所定の時間量以上だけ前のタイミングから切り替え後の伝送ビデオデータの種類を示すように挿入する
前記(1)から(7)のいずれかに記載の送信装置。
(9)所定の光電変換特性を持たせた複数種類の伝送ビデオデータを切り替えて得られる伝送ビデオデータをエンコードしてビデオストリームを得るエンコードステップと、
送信部により、上記ビデオストリームを含む所定フォーマットのコンテナを送信する送信ステップと、
上記ビデオストリームに、該ビデオストリームが持つ伝送ビデオデータの種類を示す識別情報を挿入する識別情報挿入ステップを有する
送信方法。
(10)ビデオストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
上記ビデオストリームは、所定の光電変換特性を持たせた複数種類の伝送ビデオデータを切り替えて得られる伝送ビデオデータをエンコードして得られたものであり、
上記ビデオストリームに、該ビデオストリームが持つ伝送ビデオデータの種類を示す識別情報が挿入されており、
上記ビデオストリームをデコードして伝送ビデオデータを得るデコード部と、
上記識別情報に基づいて、上記伝送ビデオデータを処理して表示用ビデオデータを得るビデオ処理部をさらに備える
受信装置。
(11)上記識別情報は、上記伝送ビデオデータが持つ光電変換特性または該特性に対応した電光変換特性を示す変換特性情報を含み、
上記ビデオ処理部は、
上記伝送ビデオデータに、上記変換特性情報に基づいて電光変換を行う電光変換部を有する
前記(10)に記載の受信装置。
(12)上記ビデオ処理部は、
挿げ替え画出力部を有し、
第1の種類の伝送ビデオデータから第2の種類の伝送ビデオデータに切り替わってから少なくとも上記電光変換部の電光変換特性の切り替えが終了するまでの期間は、上記電光変換部の出力ビデオデータに代えて上記挿げ替え画出力部の出力ビデオデータを、上記表示用ビデオデータとして出力する
前記(11)に記載の受信装置。
(13)受信部により、ビデオストリームを含む所定フォーマットのコンテナを受信する受信ステップを有し、
上記ビデオストリームは、所定の光電変換特性を持たせた複数種類の伝送ビデオデータを切り替えて得られる伝送ビデオデータをエンコードして得られたものであり、
上記ビデオストリームに、該ビデオストリームが持つ伝送ビデオデータの種類を示す識別情報が挿入されており、
上記ビデオストリームをデコードして伝送ビデオデータを得るデコードステップと、
上記識別情報に基づいて、上記伝送ビデオデータを処理して表示用ビデオデータを得るビデオ処理ステップをさらに有する
受信方法。
本技術の主な特徴は、ビデオストリームに、このビデオストリームが持つ伝送ビデオデータの種類を示す識別情報を挿入することで、受信側において、伝送ビデオデータの種類の認識が容易に可能となり、伝送ビデオデータの種類の切り替えがあっても伝送ビデオデータから表示用ビデオデータを得るためのビデオ処理、例えば電光変換などを適切に行い得るようにしたことである(図6、図9参照)。