JP6519329B2 - 受信装置、受信方法、送信装置および送信方法 - Google Patents

受信装置、受信方法、送信装置および送信方法 Download PDF

Info

Publication number
JP6519329B2
JP6519329B2 JP2015116893A JP2015116893A JP6519329B2 JP 6519329 B2 JP6519329 B2 JP 6519329B2 JP 2015116893 A JP2015116893 A JP 2015116893A JP 2015116893 A JP2015116893 A JP 2015116893A JP 6519329 B2 JP6519329 B2 JP 6519329B2
Authority
JP
Japan
Prior art keywords
subtitle
video
data
luminance
video data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015116893A
Other languages
English (en)
Other versions
JP2017005472A (ja
Inventor
塚越 郁夫
郁夫 塚越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2015116893A priority Critical patent/JP6519329B2/ja
Priority to CN201680032017.2A priority patent/CN107667536B/zh
Priority to PCT/JP2016/002109 priority patent/WO2016199337A1/en
Priority to US15/572,313 priority patent/US10349144B2/en
Priority to EP16723840.1A priority patent/EP3308538A1/en
Priority to KR1020177033933A priority patent/KR102547789B1/ko
Publication of JP2017005472A publication Critical patent/JP2017005472A/ja
Application granted granted Critical
Publication of JP6519329B2 publication Critical patent/JP6519329B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/488Data services, e.g. news ticker
    • H04N21/4884Data services, e.g. news ticker for displaying subtitles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/485End-user interface for client configuration
    • H04N21/4854End-user interface for client configuration for modifying image parameters, e.g. image brightness, contrast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/278Subtitling
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/44504Circuit details of the additional information generator, e.g. details of the character or graphics signal generator, overlay mixing circuits
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/67Circuits for processing colour signals for matrixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本技術は、受信装置、受信方法、送信装置および送信方法に関し、詳しくは、サブタイトルデータをビデオデータに重畳する処理を行う受信装置等に関する。
従来、例えば、DVB(Digital Video Broadcasting)の放送などでは、字幕情報をビットマップデータで送信する運用が行われている。近時、サブタイトルの情報をテキストの文字コードで、つまりテキストベースで送信することが提案されている(特許文献1参照)。
特開2012−169885号公報
従来、ビデオデータ、サブタイトルデータが各々別ストリームで伝送される際、色域や輝度について両者間で顕著な違いが存在しなかった。そのため、重畳する際に特別な配慮をせず合成が行われていた。
例えば、ビデオデータの色域が広色域(例えば、ITU-R Rec Bt.2020準拠)で、サブタイトルデータの色域が狭色域(例えば、sRGB) の場合、ビデオの画品質を高画質に保つには、サブタイトルデータの色域をビデオの色域に合わせてから重畳することが必要になる。
また、例えば、ビデオデータがハイダイナミックレンジ(HDR)で、サブタイトルデータが標準レベルのダイナミックレンジ(SDR)で制作されたものである場合、ビデオの画品質を高画質に保つには、サブタイトルデータをビデオのダイナミックレンジ領域に適合させてから重畳することが必要になる。
本技術の目的は、サブタイトルデータをビデオデータに重畳する際の画品質を高画質に保つことを目的とする。
本技術の概念は、
ビデオデータを持つビデオストリームとサブタイトルデータを持つサブタイトルストリームを含む所定フォーマットのコンテナを受信する受信部と、
上記ビデオストリームにデコード処理を施してビデオデータを得るビデオデコード部と、
上記サブタイトルストリームにデコード処理を施してサブタイトルのビットマップデータを得るサブタイトルデコード部と、
上記サブタイトルのビットマップデータの色域識別情報と上記ビデオデータの色域識別情報に基づいて、上記サブタイトルのビットマップデータの色域を上記ビデオデータの色域に合わせる色域処理部と、
上記色域が合わせられたサブタイトルのビットマップデータを上記ビデオデータに重畳するビデオ重畳部を備える
受信装置にある。
本技術において、受信部により、ビデオデータを持つビデオストリームとサブタイトルデータを持つサブタイトルストリームを含む所定フォーマットのコンテナが受信される。ビデオデコード部により、ビデオストリームにデコード処理が施されてビデオデータが得られる。サブタイトルストリームにデコード処理が施されてサブタイトルのビットマップデータが得られる。
色域処理部により、サブタイトルのビットマップデータの色域識別情報とビデオデータの色域識別情報に基づいて、サブタイトルのビットマップデータの色域がビデオデータの色域に合わせられる。そして、ビデオ重畳部により、色域が合わせられたサブタイトルのビットマップデータがビデオデータに重畳される。
例えば、色域処理部は、サブタイトルのビットマップデータの色域識別情報として、サブタイトルストリームのレイヤまたはコンテナのレイヤから取得された色域識別情報を用いる、ようにされてもよい。この場合、例えば、色域処理部は、サブタイトルのビットマップデータの色域識別情報がサブタイトルストリームのレイヤまたはコンテナのレイヤから取得されないとき、サブタイトルのビットマップデータの色域識別情報として、デフォルト設定されている色域識別情報を用いる、ようにされてもよい。
このように本技術においては、サブタイトルのビットマップデータの色域識別情報とビデオデータの色域識別情報に基づいて、サブタイトルのビットマップデータの色域がビデオデータの色域に合わせられる。そのため、サブタイトルデータをビデオデータに重畳する際の画品質を高画質に保つことが可能となる。
なお、本技術において、例えば、サブタイトルのビットマップデータのダイナミックレンジ情報とビデオデータのダイナミックレンジ情報に基づいて、サブタイトルのビットマップデータの輝度の最大レベルがビデオデータの輝度のリファレンスレベル以下となるように調整する輝度処理部をさらに備える、ようにされてもよい。このようにサブタイトルのビットマップデータの輝度が調整されることで、サブタイトルデータをビデオデータに重畳する際の画品質を高画質に保つことが可能となる。
例えば、輝度処理部は、サブタイトルのビットマップデータのダイナミックレンジ情報として、サブタイトルのレイヤまたはコンテナのレイヤから取得されたダイナミックレンジ情報を用いる、ようにされてもよい。この場合、例えば、輝度処理部は、サブタイトルのビットマップデータのダイナミックレンジ情報がサブタイトルストリームのレイヤまたはコンテナのレイヤから取得されないとき、サブタイトルのビットマップデータのダイナミックレンジとして、デフォルト設定されているダイナミックレンジ情報を用いる、ようにされてもよい。
また、本技術において、例えば、ビデオデコード部とビデオ重畳部との間に介在され、ビデオデータの、サブタイトルデータの重畳領域における輝度レベルを調整するビデオレベル調整部をさらに備える、ようにされてもよい。このようにビデオデータの輝度レベルが調整されることで、サブタイトルが背景ビデオ(背景画像)の高輝度部分で阻害されるということを回避でき、サブタイトルの読み易さの向上が可能となる。
例えば、ビデオレベル調整部は、サブタイトルデータの重畳領域に存在する高輝度画素に対応したビデオデータの輝度レベルが低下するように調整する、ようにされてもよい。また、例えば、ビデオレベル調整部は、ビデオ重畳部におけるビデオデータの混合比率が閾値を超えるとき、ビデオデータの輝度レベルを調整する、ようにされてもよい。これにより、ビデオデータの輝度レベルの調整を効率よく行うことが可能となる。
また、本技術の他の概念は、
ビデオデータを持つビデオストリームとサブタイトルデータを持つサブタイトルストリームを含む所定フォーマットのコンテナを受信する受信部と、
上記ビデオストリームにデコード処理を施してビデオデータを得るビデオデコード部と、
上記サブタイトルストリームにデコード処理を施してサブタイトルのビットマップデータを得るサブタイトルデコード部と、
上記サブタイトルのビットマップデータのダイナミックレンジ情報と上記ビデオデータのダイナミックレンジ情報に基づいて、上記サブタイトルのビットマップデータの輝度の最大レベルが上記ビデオデータの輝度のリファレンスレベル以下となるように調整する輝度処理部と、
上記輝度調整されたサブタイトルのビットマップデータを上記ビデオデータに重畳するビデオ重畳部を備える
受信装置にある。
本技術において、受信部により、ビデオデータを持つビデオストリームとサブタイトルデータを持つサブタイトルストリームを含む所定フォーマットのコンテナが受信される。ビデオデコード部により、ビデオストリームにデコード処理が施されてビデオデータが得られる。サブタイトルストリームにデコード処理が施されてサブタイトルのビットマップデータが得られる。
輝度処理部により、サブタイトルのビットマップデータのダイナミックレンジ情報とビデオデータのダイナミックレンジ情報に基づいて、サブタイトルのビットマップデータの輝度の最大レベルがビデオデータの輝度のリファレンスレベル以下となるように調整される。ビデオ重畳部により、輝度調整されたサブタイトルのビットマップデータがビデオデータに重畳される。
例えば、輝度処理部は、サブタイトルのビットマップデータのダイナミックレンジ情報として、サブタイトルのレイヤまたはコンテナのレイヤから取得されたダイナミックレンジ情報を用いる、ようにされてもよい。この場合、例えば、輝度処理部は、サブタイトルのビットマップデータのダイナミックレンジ情報がサブタイトルストリームのレイヤまたはコンテナのレイヤから取得されないとき、サブタイトルのビットマップデータのダイナミックレンジとして、デフォルト設定されているダイナミックレンジ情報を用いる、ようにされてもよい。
このように本技術においては、サブタイトルのビットマップデータのダイナミックレンジ情報とビデオデータのダイナミックレンジ情報に基づいて、サブタイトルのビットマップデータの輝度の最大レベルがビデオデータの輝度のリファレンスレベル以下となるように調整される。そのため、サブタイトルデータをビデオデータに重畳する際の画品質を高画質に保つことが可能となる。
なお、本技術において、例えば、ビデオデコード部とビデオ重畳部との間に介在され、ビデオデータの、サブタイトルデータの重畳領域における輝度レベルを調整するビデオレベル調整部をさらに備える、ようにされてもよい。このようにビデオデータの輝度レベルが調整されることで、サブタイトルがビデオの高輝度部分で阻害されるということを回避でき、サブタイトルの読み易さの向上が可能となる。
例えば、ビデオレベル調整部は、サブタイトルデータの重畳領域に存在する高輝度画素に対応したビデオデータの輝度レベルが低下するように調整する、ようにされてもよい。また、例えば、ビデオレベル調整部は、ビデオ重畳部におけるビデオデータの混合比率が閾値を超えるとき、ビデオデータの輝度レベルを調整する、ようにされてもよい。これにより、ビデオデータの輝度レベルの調整を効率よく行うことが可能となる。
また、本技術の他の概念は、
ビデオデータを持つビデオストリームとサブタイトルデータを持つサブタイトルストリームを含む所定フォーマットのコンテナを送信する送信部と、
上記サブタイトルデータに係る色域識別情報および/またはダイナミックレンジ情報を、上記サブタイトルストリームのレイヤおよび/または上記コンテナのレイヤに挿入する情報挿入部を備える
送信装置にある。
本技術において、ビデオデータを持つビデオストリームとサブタイトルデータを持つサブタイトルストリームを含む所定フォーマットのコンテナが送信される。例えば、サブタイトルデータは、所定フォーマットのサブタイトルのテキスト情報である、ようにされてもよい。情報挿入部により、サブタイトルデータに係る色域識別情報および/またはダイナミックレンジ情報が、サブタイトルストリームのレイヤおよび/またはコンテナのレイヤに挿入される。
このように本技術においては、サブタイトルデータに係る色域識別情報および/またはダイナミックレンジ情報がサブタイトルストリームのレイヤおよび/またはコンテナのレイヤに挿入される。そのために、受信側では、これらの情報に基づいて、サブタイトルのビットマップデータの色域をビデオデータの色域に合わせること、あるいはサブタイトルのビットマップデータの輝度の最大レベルをビデオデータの輝度のリファレンスレベル以下となるように調整することを、容易かつ適切に行うことが可能となる。
本技術によれば、サブタイトルデータをビデオデータに重畳する際の画品質を高画質に保つことが可能となる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
実施の形態としての送受信システムの構成例を示すブロック図である。 送信装置の構成例を示すブロック図である。 光電変換特性の例を示す図である。 符号化方式がHEVCである場合におけるGOPの先頭のアクセスユニットを示す図である。 符号化方式がHEVCである場合におけるGOPの先頭以外のアクセスユニットを示す図である。 ダイナミックレンジ・SEIメッセージの構造例と、その構造例における主要な情報の内容を示す図である。 TTML構造を示す図である。 TTML構造のヘッダ(head)に存在するメタデータ(metadata)、スタイリング(styling)、レイアウト(layout)の各要素の構造例を示す図である。 TTML構造のボディ(body)の構造例を示す図である。 色域識別情報およびダイナミックレンジ情報をTTML構造のヘッダに存在するメタデータ(metadata)の要素を利用して挿入する場合におけるメタデータ(TTM:TTML Metadata)の構造例を示す図である。 色域識別情報およびダイナミックレンジ情報をTTML構造のヘッダに存在するスタイリング・エクステンション(styling extension)の要素を利用して挿入する場合におけるスタイリング・エクステンション(TTM:Styling Extension)の構造例を示す図である。 色域識別情報およびダイナミックレンジ情報を含むレンダリング・セグメントの構造例を示す図である。 色域識別情報およびダイナミックレンジ情報が記述されたサブタイトル・WCGHDR・デスクリプタの構造例と、その構造例における主要な情報の内容を示す図である。 トランスポートストリームTSの構成例を示す図である。 受信装置の構成例を示すブロック図である。 色域輝度変換部の構成例を示すブロック図である。 輝度変換部に含まれる輝度信号Yに係る構成部の構成例を示すブロック図である。 輝度変換部の動作を模式的に表す図である。 色域輝度変換部の処理手順の一例を示すフローチャートである。 ビデオデータの輝度レベル調整を説明するための図である。 ビデオレベル調整部に含まれる、輝度信号Yvに係る構成部の構成例を示すブロック図である。 輝度信号Yvに係る構成部における画素毎の処理手順の一例を示すフローチャートである。
以下、発明を実施するための形態(以下、「実施の形態」とする)について説明する。なお、説明を以下の順序で行う。
1.実施の形態
2.変形例
<1.実施の形態>
[送受信システムの構成例]
図1は、実施の形態としての送受信システム10の構成例を示している。この送受信システム10は、送信装置100および受信装置200により構成されている。
送信装置100は、コンテナとしてのMPEG2のトランスポートストリームTSを生成し、このトランスポートストリームTSを放送波あるいはネットのパケットに載せて送信する。このトランスポートストリームTSには、ビデオデータ(画像データ)を持つビデオストリームが含まれる。
また、このトランスポートストリームTSには、サブタイトルデータ(字幕データ)を持つサブタイトルストリームが含まれる。ここで、サブタイトルデータは、所定フォーマットのサブタイトルのテキスト情報、あるいはサブタイトルのビットマップデータである。サブタイトルストリームのレイヤおよび/またはコンテナのレイヤに、サブタイトルデータに係る色域識別情報およびダイナミックレンジ情報が挿入されている。
受信装置200は、送信装置100から送られてくるトランスポートストリームTSを受信する。受信装置200は、ビデオストリームにデコード処理を施してビデオデータを得ると共に、サブタイトルストリームにデコード処理を施してサブタイトルのビットマップデータを得る。そして、受信装置200は、サブタイトルのビットマップデータやビデオデータの色域識別情報やダイナミックレンジ情報に基づいて、色域や輝度レベルが調整されたサブタイトルのビットマップデータをビデオデータに重畳して、表示用のビデオデータを得る。
この場合、サブタイトルのビットマップデータとビデオデータの色域識別情報に基づいて、サブタイトルのビットマップデータの色域がビデオデータの色域に合わせられる。また、サブタイトルのビットマップデータのダイナミックレンジ情報とビデオデータのダイナミックレンジ情報に基づいて、サブタイトルのビットマップデータの輝度の最大レベルがビデオデータの輝度のリファレンスレベル以下となるように調整される。
ここで、基本的には、サブタイトルストリームのレイヤおよび/またはコンテナのレイヤから取得されるサブタイトルデータに係る色域識別情報およびダイナミックレンジ情報が用いられる。なお、サブタイトルストリームのレイヤおよび/またはコンテナのレイヤからサブタイトルデータに係る色域識別情報およびダイナミックレンジ情報が取得されないとき、デフォルト設定されている情報が用いられる。
「送信装置の構成例」
図2は、送信装置100の構成例を示している。この送信装置100は、制御部101と、カメラ102と、ビデオ光電変換部103と、RGB/YCbCr変換部104と、ビデオエンコーダ105と、サブタイトル発生部106と、テキストフォーマット変換部107と、サブタイトルエンコーダ108と、システムエンコーダ109と、送信部110を有している。
なお、サブタイトルデータとしてサブタイトルのテキスト情報を送信する代わりに、サブタイトルデータとしてサブタイトルのビットマップデータを送信する場合、送信装置100は、テキストフォーマット変換部107およびサブタイトルエンコーダ108の代わりに、ビットマップデータ発生部111、サブタイトル光電変換部112およびサブタイトルエンコーダ113を有する。
制御部101は、CPU(Central Processing Unit)を備えて構成され、制御プログラムに基づいて、送信装置100の各部の動作を制御する。カメラ102は、被写体を撮像して、HDR(High Dynamic Range)、あるいはSDR(Standard Dynamic Range)のビデオデータ(画像データ)を出力する。HDR画像は、SDR画像の白ピークの明るさを超える0〜100%*N(Nは1より大きい数)、例えば0〜1000%などのコントラスト比を持つ。ここで、100%のレベルは、例えば、白の輝度値100cd/mに相当する。
ビデオ光電変換部103は、カメラ102で得られたビデオデータに対して、光電変換を施して、伝送ビデオデータV1を得る。この場合、ビデオデータがSDRビデオデータである場合には、SDR光電変換特性を適用して光電変換し、SDR伝送ビデオデータ(SDR光電変換特性を持たせた伝送ビデオデータ)を得る。一方、ビデオデータがHDRビデオデータである場合には、HDR光電変換特性を適用して光電変換し、HDR伝送ビデオデータ(HDR光電変換特性を持たせた伝送ビデオデータ)を得る。
RGB/YCbCr変換部104は、伝送ビデオデータをRGBドメインからYCbCr(輝度・色差)ドメインに変換する。ビデオエンコーダ105は、YCbCrドメインに変換された伝送ビデオデータV1に対して、例えば、MPEG4−AVCあるいはHEVCなどの符号化を施し、符号化ビデオデータを含むビデオストリーム(PESストリーム)VSを生成する。
このとき、ビデオエンコーダ108は、アクセスユニット(AU)のSPS NALユニットのVUI(video usability information)の領域に、伝送ビデオデータV1が持つ光電変換特性に対応した電光変換特性を示す情報(transfer function)、伝送ビデオデータV1の色域を示す情報、リファレンスレベルを示す情報などのメタ情報を挿入する。
また、ビデオエンコーダ108は、アクセスユニット(AU)の“SEIs”の部分に、伝送ビデオデータV1が持つ光電変換特性に対応した電光変換特性を示す情報(transfer function)、リファレンスレベルの情報などのメタ情報を持つ、新規定義するダイナミックレンジ・SEIメッセージ(Dynamic_range SEI message)を挿入する。
ここで、ダイナミックレンジ・SEIメッセージに、電光変換特性を示す情報を持たせるのは、伝送ビデオデータV1がHDR伝送ビデオデータであっても、HDR光電変換特性がSDR光電変換特性と互換性を持つ場合、SPS NALユニットのVUIには、SDR光電変換特性に対応した電光変換特性(ガンマ特性)を示す情報が挿入されるので、VUI以外の場所にHDR光電変換特性に対応した電光変換特性を示す情報が必要となるからである。
図3は光電変換特性の例を示している。この図において、横軸は入力輝度レベルを示し、縦軸は伝送符号値を示す。曲線aは、SDR光電変換特性の例を示している。また、曲線b1は、HDR光電変換特性の例(SDR光電変換特性と互換性を持たない)を示している。さらに、曲線b2は、HDR光電変換特性の例(SDR光電変換特性と互換性を持つ)を示している。この例の場合、入力輝度レベルが互換限界値までは、SDR光電変換特性と一致している。入力輝度レベルが互換限界値であるとき、伝送符号値は互換レベルとなる。
また、ダイナミックレンジ・SEIメッセージに、リファレンスレベルの情報を持たせるのは、伝送ビデオデータV1がSDR伝送ビデオデータであるとき、SPS NALユニットのVUIにSDR光電変換特性に対応した電光変換特性(ガンマ特性)を示す情報が挿入されるが、リファレンスレベルを挿入することに関しては規格明記がないからである。
図4は、符号化方式がHEVCである場合におけるGOP(Group Of Pictures)の先頭のアクセスユニットを示している。また、図5は、符号化方式がHEVCである場合におけるGOPの先頭以外のアクセスユニットを示している。HEVCの符号化方式の場合、画素データが符号化されているスライス(slices)の前にデコード用のSEIメッセージ群「Prefix_SEIs」が配置され、このスライス(slices)の後に表示用のSEIメッセージ群「Suffix_SEIs」が配置される。図4、図5に示すように、ダイナミックレンジ・SEIメッセージは、SEIメッセージ群「Suffix_SEIs」として配置されるようにしてもよい。
図6(a)は、ダイナミックレンジ・SEIメッセージの構造例(Syntax)を示している。図6(b)は、その構造例における主要な情報の内容(Semantics)を示している。「Dynamic_range_cancel_flag」の1ビットのフラグ情報は、“Dynamic_range ”のメッセージをリフレッシュするかを示す。“0”はメッセージをリフレッシュすることを示し、“1”はメッセージをリフレッシュしないこと、つまり前のメッセージをそのまま維持することを示す。
「Dynamic_range_cancel_flag」が“0”であるとき、以下のフィールドが存在する。「coded_data_bit_depth」の8ビットフィールドは、符号化画素ビット数を示す。「reference_level」の8ビットフィールドは、リファレンスレベルとしての基準輝度レベル値を示す。「transfer_function」の8ビットフィールドは、伝送ビデオデータV1が持つ光電変換特性に対応した電光変換特性を示す。
図2に戻って、サブタイトル発生部108は、サブタイトル情報としてのテキストデータ(文字コード)DTを発生する。テキストフォーマット変換部109は、テキストデータDTを入力し、所定フォーマットのサブタイトルのテキスト情報、この実施の形態においてはTTML(Timed Text Markup Language)を得る。
図7は、TTML構造を示している。TTMLは、XMLベースで記載される。ヘッダ(head)には、メタデータ(metadata)、スタイリング(styling)、レイアウト(layout)などの各要素が存在する。図8(a)は、メタデータ(TTM:TTML Metadata)の構造例を示している。このメタデータには、メタデータのタイトルの情報と、コピーライトの情報が含まれている。
図8(b)は、スタイリング(TTS:TTML Styling)の構造例を示している。このスタイリングには、識別子(id)の他に、カラー(color)、フォント(fontFamily)、サイズ(fontSize)、アラインメント(textAlign)などの情報が含まれている。なお、「tts:opacity」は、背景ビデオとの混合比を示す。例えば、“1.0”はサブタイトル(字幕)を100%、背景ビデオを0%とすることを示し、“0.1”はサブタイトル(字幕)を0%、背景ビデオを100%とすることを示す。図示の例では、“1.0”とされている。
図8(c)は、レイアウト(region:TTML layout)の構造例を示している。このレイアウトには、サブタイトルを配置するリージョンの識別子(id)の他に、範囲(extent)、オフセット(padding)、バックグラウンドカラー(backgroundColor)、アラインメント(displayAlign)などの情報が含まれている。
図9は、ボディ(body)の構造例を示している。図示の例では、サブタイトル1(subtitle 1)、サブタイトル2(subtitle 2)、サブタイトル3(subtitle 3)の3つのサブタイトルの情報が含まれている。サブタイトル毎に、表示開始タイミングと表示終了タイミングが記載されると共に、テキストデータが記載されている。例えば、サブタイトル1(subtitle 1)に関しては、表示開始タイミングが“0.76s”で、表示終了タイミングが“3.45s”であり、テキストデータが「It seems a paradox, dose it not,」とされている。
図2に戻って、サブタイトルエンコーダ108は、テキストフォーマット変換部109で得られたTTMLを種々のセグメントに変換し、ペイロードにそれらのセグメントを配置したPESパケットで構成されるサブタイトルストリームSSを生成する。
また、ビットマップデータ発生部111は、サブタイトル発生部108で発生されるテキストデータDTを入力し、サブタイトルのビットマップデータを発生する。サブタイトル光電変換部112は、ビットマップデータ発生部111で発生されるサブタイトルのビットマップデータに対して光電変換を施し、伝送ビットマップデータM1を得る。
この場合、SDR光電変換特性を適用して光電変換し、あるいはHDR光電変換特性を適用して光電変換をする。そして、HDR光電変換特性を適用して光電変換をする場合には、HDRのビデオへの重畳を前提に、HDRのリファレンスレベルまでの輝度範囲に限定する。なお、サブタイトル光電変換部112が存在しない構成も考えられる。その場合には、ビットマップデータ発生部111で発生されたサブタイトルのビットマップデータがリニアな状態のままで伝送ビットマップデータM1となる。
サブタイトルエンコーダ113は、伝送ビットマップデータM1と表示制御情報を種々のセグメントに変換し、ペイロードにそれらのセグメントを配置したPESパケットで構成されるサブタイトルストリームSSを生成する。
システムエンコーダ109は、ビデオエンコーダ105で生成されたビデオストリームVSと、サブタイトルエンコーダ108あるいはサブタイトルエンコーダ113で生成されたサブタイトルストリームSSを含むトランスポートストリームTSを生成する。送信部110は、このトランスポートストリームTSを、放送波あるいはネットのパケットに載せて、受信装置200に送信する。
ここで、送信装置100は、上述したように、サブタイトルストリームSSのレイヤおよび/またはコンテナとしてのトランスポートストリームTSのレイヤに、サブタイトルデータに係る色域識別情報およびダイナミックレンジ情報を挿入する。
最初に、サブタイトルストリームSSのレイヤに挿入する場合について説明する。送信装置100は、サブタイトルストリームSSがサブタイトルのテキスト情報としてのTTMLを含む場合には、例えば、以下の第1、第2および第3のいずれかの方法で挿入する。
「第1の方法」
TTML構造のヘッダに存在するメタデータ(metadata)の要素を利用して、サブタイトルデータに係る色域識別情報およびダイナミックレンジ情報の挿入を行う。この場合、テキストフォーマット変換部107において挿入が行われる。
図10(a)は、その場合におけるメタデータ(TTM:TTML Metadata)の構造例を示している。図10(b)は、その構造例における主要な情報の内容を示している。「ttm-ext:colorspace」は色域識別情報を示し、続いて、広色域を示す“ITUR2020”、標準的な色域を示す“sRGB”などが記述される。図示の例では、“ITUR2020” が記述されている。
「ttm-ext:dynamicrange」はダイナミックレンジ情報を示し、続いて、“hdrmapped”、“sdr”、“Linear”などが記述される。“hdrmapped”は、HDR光電変換特性を適用して光電変換がされており、しかも、HDRのビデオへの重畳を前提に、HDRのリファレンスレベルまでの輝度範囲に限定されていることを示す。“sdr”は、SDR光電変換特性を適用して光電変換がされていることを示す。“Linear”は、光電変換を行っておらず、リニアな状態にあることを示す。図示の例では、“sdr”が記述されている。
「第2の方法」
TTML構造のヘッダに存在するスタイリング・エクステンション(styling extension)の要素を利用して、サブタイトルデータに係る色域識別情報およびダイナミックレンジ情報の挿入を行う。この場合、テキストフォーマット変換部107において挿入が行われる。
図11は、その場合におけるスタイリング・エクステンション(TTML Styling Extension)の構造例を示している。「ttse:colorspace」は色域識別情報を示し、“ITUR2020”、“sRGB”などが記述される。図示の例では、“ITUR2020” が記述されている。「ttse:dynamicrange」はダイナミックレンジ情報を示し、続いて、“hdrmapped”、“sdr”、“Linear”などが記述される。図示の例では、“sdr”が記述されている。
「第3の方法」
サブタイトルストリームSSにサブタイトルデータに係る色域識別情報およびダイナミックレンジ情報を含むセグメントを挿入することで、サブタイトルデータに係る色域識別情報およびダイナミックレンジ情報の挿入を行う。
図12は、レンダリング・セグメント(Rendaring_Segment())の構造例(syntax)を示している。この構造には、「sync_byte」、「segment_type」、「page_id」、「segment_length」、「version_number」、「number_of _resion」の各情報が含まれている。「segment_type」の8ビットフィールドはセグメントタイプを示し、ここでは、レンダリング・セグメントであることを示す。「segment_length」の8ビットフィールドは、セグメントの長さ(サイズ)を示す。「number_of_regions」の8ビットフィールドは、リージョンの数を示す。
そして、この構造には、リージョン毎に、サブタイトルデータに係る色域識別情報およびダイナミックレンジ情報が含まれている。「resion_id」の8ビットフィールドは、リージョンを識別する識別子を示す。「colorspace_type」の8ビットフィールドは色域識別情報を示し、“ITUR2020”、“sRGB”などが記述される。「dynamicrange_type」の8ビットフィールドはダイナミックレンジ情報を示し、“hdrmapped”、“sdr”、“Linear”などが記述される。
なお、サブタイトルストリームSSがサブタイトルのビットマップデータを含む場合、送信装置100は、上述の第3の方法で、サブタイトルストリームSSのレイヤにサブタイトルデータに係る色域識別情報およびダイナミックレンジ情報を挿入する。
次に、コンテナとしてのトランスポートストリームTSのレイヤに挿入する場合について説明する。この場合、送信装置100は、プログラム・マップ・テーブル(PMT:Program Map Table)の配下に、新規定義するサブタイトル・WCGHDR・デスクリプタ(subtitle_WCGHDR_descriptor)を挿入する。
図13(a)は、サブタイトル・WCGHDR・デスクリプタの構造例(Syntax)を示している。図13(b)は、その構造例における主要な情報の内容(Semantics)を示している。「descriptor_tag」の8ビットフィールドは、デスクリプタタイプを示し、ここでは、サブタイトル・WCGHDR・デスクリプタであることを示す。「descriptor_length」の8ビットフィールドは、デスクリプタの長さ(サイズ)を示し、デスクリプタの長さとして以降のバイト数を示す。
「color_gamut_type」の3ビットフィールドは色域識別情報を示す。例えば、“001”は“ITUR2020”を示し、“010”は“sRGB”を示す。「dynamicrange_type」の3ビットフィールドはダイナミックレンジ情報を示す。例えば、“000”は“Linear”を示し、“001”は“hdrmapped”を示し、“010”は“sdr”を示す。
「トランスポートストリームTSの構成例」
図14は、トランスポートストリームTSの構成例を示している。この構成例では、PID1で識別されるビデオストリームのPESパケット「Video PES1」が存在する。また、この構成例では、PID2で識別されるサブタイトルストリームのPESパケット「Subtitle PES2」が存在する。
PESパケットは、PESヘッダ(PES header)とPESペイロード(PES payload)からなっている。ビデオストリームのPESパケットにおいて、PESペイロードにはビデオ符号化ストリームが挿入されている。アクセスユニットのSPS NALユニットのVUIの領域に、伝送ビデオデータの色域識別情報、ダイナミックレンジ情報が挿入される。また、アクセスユニットに、伝送ビデオデータの色域識別情報、ダイナミックレンジ情報が記述されたダイナミックレンジ・SEIメッセージが挿入されている。
また、サブタイトルストリームのPESパケットにおいて、TTML構造のヘッダに存在するメタデータ(metadata)の要素、あるいはTTML構造のヘッダに存在するスタイリング・エクステンション(styling extension)の要素、あるいはレンダリング・セグメントに、サブタイトルデータに係る色域識別情報およびダイナミックレンジ情報が挿入されている。
また、トランスポートストリームTSには、PSI(Program Specific Information)として、PMT(Program Map Table)が含まれている。PSIは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。PMTには、プログラム全体に関連する情報を記述するプログラム・ループ(Program loop)が存在する。
また、PMTには、各エレメンタリストリームに関連した情報を持つエレメンタリストリーム・ループが存在する。この構成例では、ビデオストリームに対応したビデオエレメンタリストリーム・ループ(video ES loop)と、サブタイトルストリームに対応したサブタイトルエレメンタリストリーム・ループ(Subtitle ES loop)が存在する。
ビデオエレメンタリストリーム・ループ(video ES loop)には、ビデオストリームに対応して、ストリームタイプ、PID(パケット識別子)等の情報が配置されると共に、そのビデオストリームに関連する情報を記述するデスクリプタも配置される。このビデオストリームの「Stream_type」の値は、例えばHEVCビデオストリームを示す値に設定され、PID情報はビデオストリームのPESパケット「video PES1」に付与されるPID1を示すものとされる。
サブタイトルエレメンタリストリーム・ループ(Subtitle ES loop)には、サブタイトルストリームに対応して、ストリームタイプ、PID(パケット識別子)等の情報が配置されると共に、そのサブタイトルストリームに関連する情報を記述するデスクリプタも配置される。このサブタイトルストリームの「Stream_type」の値は、例えばプライベートストリームを示す値に設定され、PID情報はサブタイトルストリームのPESパケット「Subtitle PES2」に付与されるPID2を示すものとされる。デスクリプタとして、新規定義するサブタイトル・WCGHDR・デスクリプタが挿入されている。
図2に示す送信装置100の動作を簡単に説明する。カメラ102で撮像されて得られたビデオデータ(画像データ)は、ビデオ光電変換部103に供給される。ビデオ光電変換部103では、カメラ102で得られたビデオデータに対して、光電変換が施されて、伝送ビデオデータV1が得られる。
この場合、ビデオデータがSDRビデオデータである場合には、SDR光電変換特性が適用されて光電変換が行われ、SDR伝送ビデオデータ(SDR光電変換特性を持たせた伝送ビデオデータ)が得られる。一方、ビデオデータがHDRビデオデータである場合には、HDR光電変換特性が適用されて光電変換が行われ、HDR伝送ビデオデータ(HDR光電変換特性を持たせた伝送ビデオデータ)が得られる。
ビデオ光電変換部103で得られた伝送ビデオデータV1は、RGB/YCbCr変換部104でRGBドメインからYCbCr(輝度・色差)ドメインに変換された後に、ビデオエンコーダ105に供給される。ビデオエンコーダ105は、この伝送ビデオデータV1に対して、例えば、MPEG4−AVCあるいはHEVCなどの符号化が施されて、符号化ビデオデータを含むビデオストリーム(PESストリーム)VSが生成される。
また、ビデオエンコーダ105では、アクセスユニット(AU)のSPS NALユニットのVUIの領域に、伝送ビデオデータV1が持つ光電変換特性に対応した電光変換特性を示す情報(transfer function)、伝送ビデオデータV1の色域を示す情報、リファレンスレベルを示す情報などのメタ情報が挿入される。
また、ビデオエンコーダ105では、アクセスユニット(AU)の“SEIs”の部分に、伝送ビデオデータV1が持つ光電変換特性に対応した電光変換特性を示す情報(transfer function)、リファレンスレベルの情報などのメタ情報を持つ、新規定義するダイナミックレンジ・SEIメッセージ(図6参照)が挿入される。
サブタイトル発生部106では、サブタイトル情報としてのテキストデータ(文字コード)DTが発生される。サブタイトルデータとしてサブタイトルのテキスト情報を送信する場合、このテキストデータDTはテキストフォーマット変換部107に供給される。
テキストフォーマット変換部107では、テキストデータDTに基づいて、表示タイミング情報を持つサブタイトルのテキスト情報、つまりTTMLに変換される(図7参照)。このTTMLは、サブタイトルエンコーダ108に供給される。
サブタイトルエンコーダ108では、テキストフォーマット変換部109で得られたTTMLが種々のセグメントに変換され、ペイロードにそれらのセグメントが配置されたPESパケットで構成されるサブタイトルストリームSSが生成される。
また、サブタイトルデータとしてサブタイトルのビットマップデータを送信する場合、サブタイトル発生部106で発生されたテキストデータDTはビットマップデータ発生部111に供給される。
ビットマップデータ発生部111では、テキストデータDTに基づいて、サブタイトルのビットマップデータが発生される。このサブタイトルのビットマップデータは、サブタイトル光電変換部112に供給される。このサブタイトル光電変換部112では、サブタイトルのビットマップデータに対して光電変換が施されて、伝送ビットマップデータM1が得られる。
この場合、SDR光電変換特性あるいはHDR光電変換特性が適用されて光電変換が行われる。HDR光電変換特性が適用されて光電変換される場合には、HDRのビデオへの重畳を前提に、HDRのリファレンスレベルまでの輝度範囲に限定される。ビットマップデータ発生部111で発生されたサブタイトルのビットマップデータがリニアな状態のままで伝送ビットマップデータM1とされることもある。
上述したように得られた伝送ビットマップデータM1は、サブタイトルエンコーダ113に供給される。このサブタイトルエンコーダ113では、伝送ビットマップデータM1と表示制御情報が種々のセグメントに変換され、ペイロードにそれらのセグメントが配置されたPESパケットで構成されるサブタイトルストリームSSが生成される。
ビデオエンコーダ105で生成されるビデオストリームVSは、システムエンコーダ109に供給される。サブタイトルエンコーダ108あるいはサブタイトルエンコーダ113で生成されたサブタイトルストリームSSは、システムエンコーダ109に供給される。システムエンコーダ109では、ビデオストリームVSとサブタイトルストリームSSを含むトランスポートストリームTSが生成される。このトランスポートストリームTSは、送信部110により、放送波あるいはネットのパケットに載せて、受信装置200に送信される。
また、送信装置100では、サブタイトルストリームSSのレイヤおよび/またはコンテナとしてのトランスポートストリームTSのレイヤに、サブタイトルデータに係る色域識別情報およびダイナミックレンジ情報が挿入される。
サブタイトルストリームSSのレイヤに挿入される場合、TTML構造のヘッダに存在するメタデータの要素、あるいはTTML構造のヘッダに存在するスタイリング・エクステンションの要素、あるいはレンダリング・セグメントに、サブタイトルデータに係る色域識別情報およびダイナミックレンジ情報が挿入される(図10、図11、図12参照)。
また、コンテナとしてのトランスポートストリームTSのレイヤに挿入される場合、プログラム・マップ・テーブル(PMT)の配下に、サブタイトルデータに係る色域識別情報およびダイナミックレンジ情報が記述された、新規定義するサブタイトル・WCGHDR・デスクリプタが挿入される(図13参照)。
「受信装置の構成例」
図15は、受信装置200の構成例を示している。この受信装置200は、制御部201と、受信部202と、システムデコーダ203と、ビデオデコーダ204と、ビデオレベル調整部205と、サブタイトルデコーダ206と、フォント展開部207と、サブタイトルデコーダ208と、YCbCr/RGB変換部209と、色域輝度変換部210を有している。また、この受信装置200は、ビデオ重畳部209と、YCbCr/RGB変換部212と、電光変換部213と、表示マッピング部214と、CEモニタ215を有している。
制御部201は、CPU(Central Processing Unit)を備えて構成され、制御プログラムに基づいて、受信装置200の各部の動作を制御する。受信部202は、送信装置100から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームTSを受信する。システムデコーダ203は、このトランスポートストリームTSから、ビデオストリームVSとサブタイトルストリームSSを抽出する。
また、システムデコーダ203は、トランスポートストリームTS(コンテナ)に挿入されている種々の情報を抽出し、制御部201に送る。この抽出情報に、サブタイトルデータに係る色域識別情報およびダイナミックレンジ情報が記述されたサブタイトル・WCGHDR・デスクリプタ(図13参照)も含まれる。
ビデオデコーダ204は、システムデコーダ203で抽出されるビデオストリームVSに対して復号化処理を行って、伝送ビデオデータV1を出力する。また、ビデオデコーダ204は、ビデオストリームVSを構成する各アクセスユニットに挿入されているパラメータセットやSEIメッセージを抽出し、制御部201に送る。
SPS NALユニットのVUIの領域には、伝送ビデオデータV1が持つ光電変換特性に対応した電光変換特性を示す情報(transfer function)、伝送ビデオデータV1の色域を示す情報、リファレンスレベルを示す情報などが挿入されている。また、このSEIメッセージには、伝送ビデオデータV1が持つ光電変換特性に対応した電光変換特性を示す情報(transfer function)、リファレンスレベルの情報などを持つダイナミックレンジSEIメッセージ(図6参照)も含まれる。
サブタイトルデコーダ206は、サブタイトルデータとしてサブタイトルのテキスト情報が送信されてくる場合に動作する。サブタイトルデコーダ206は、サブタイトルストリームSSに含まれている各リージョンのセグメントデータに対してデコード処理を施して、各リージョンのテキストデータや制御コードを得る。また、サブタイトルデコーダ206は、サブタイトルストリームSSに挿入されているサブタイトルデータに係る色域識別情報およびダイナミックレンジ情報を抽出し、制御部201に送る。
フォント展開部207は、サブタイトルデコーダ206で得られた各リージョンのテキストデータや制御コードに基づいてフォント展開して、各リージョンのビットマップデータを得る。このサブタイトルのビットマップデータはRGBのドメインで得られる。
このサブタイトルのビットマップデータの色域は、上述のサブタイトルデータに係る色域識別情報で示される色域に合致したものとなる。また、このサブタイトルのビットマップデータは、“Linear”、“sdr”、 “hdrmapped”などの状態にあり、上述のサブタイトルデータに係るダイナミックレンジ情報で示される状態に合致したものとなる。
ここで、“Linear”は、光電変換を行っておらず、リニアな状態にあることを示す。“sdr”は、SDR光電変換特性を適用して光電変換がされていることを示す。“hdrmapped”は、HDR光電変換特性を適用して光電変換がされており、しかも、HDRのビデオへの重畳を前提に、HDRのリファレンスレベルまでの輝度範囲に限定されていることを示す。
サブタイトルデコーダ208は、サブタイトルデータとしてサブタイトルのビットマップデータが送信されてくる場合に動作する。サブタイトルデコーダ208は、サブタイトルストリームSSにデコード処理を施して、サブタイトルのビットマップデータを得る。この場合、サブタイトルストリームSSに含まれるデータはCLUTに対しての伝送になり、CLUT出力はYCbCrドメインである場合もある。
YCbCr/RGB変換部209は、サブタイトルデコーダ208で得られたサブタイトルのビットマップデータのドメインがYCbCrである場合、RGBドメインに変換する。なお、YCbCr/RGB変換部209は、サブタイトルデコーダ208で得られたサブタイトルのビットマップデータのドメインがRGBである場合には、そのまま出力する。
このサブタイトルのビットマップデータの色域は、上述のサブタイトルデータに係る色域識別情報で示される色域に合致したものとなる。また、このサブタイトルのビットマップデータは、“Linear”、“sdr”、 “hdrmapped”などの状態にあり、上述のサブタイトルデータに係るダイナミックレンジ情報で示される状態に合致したものとなる。
色域輝度変換部210は、制御部201の制御のもと、サブタイトルのビットマップデータの色域情報とビデオデータの色域情報に基づいて、サブタイトルのビットマップデータの色域を、ビデオデータの色域に合わせる。また、色域輝度変換部210は、制御部201の制御のもと、サブタイトルのビットマップデータのダイナミックレンジ情報とビデオデータのダイナミックレンジ情報に基づいて、サブタイトルのビットマップデータの輝度の最大レベルがビデオデータの輝度のリファレンスレベル以下となるように調整する。
図16は、色域輝度変換部210の構成例を示している。この色域輝度変換部210は、電光変換部221と、色域変換部222と、HDR光電変換部223と、RGB/YCbCr変換部224と、輝度変換部225を有している。
電光変換部221では、入力されたサブタイトルのビットマップデータに対して光電変換をする。ここで、サブタイトルのビットマップデータが“sdr”の状態にあるとき、電光変換部221は、SDR電光変換特性を適用して電光変換を行ってリニアな状態にする。また、サブタイトルのビットマップデータが“hdrmapped”の状態にあるとき、電光変換部221は、HDR電光変換特性を適用して電光変換を行ってリニアな状態にする。
なお、サブタイトルのビットマップデータが“Linear”の状態にあるとき、サブタイトルのビットマップデータは、既に、リニアな状態にある。そのため、電光変換部221は、実質的に何もせずに、入力されたサブタイトルのビットマップデータをそのまま出力する。
色域変換部222は、電光変換部221から出力されたサブタイトルのビットマップデータの色域をビデオデータの色域に合わせる。例えば、サブタイトルのビットマップデータの色域が“sRGB”であってビデオデータの色域が“ITUR2020”であるとき、サブタイトルのビットマップデータの色域は“sRGB”から“ITUR2020”に変換される。なお、サブタイトルのビットマップデータの色域がビデオデータの色域と同じであるとき、色域変換部222は、実質的に何もせずに、入力されたサブタイトルのビットマップデータをそのまま出力する。
光電変換部223は、色域変換部222から出力されたサブタイトルのビットマップデータに対して、ビデオデータに適用されている光電変換特性と同じ光電変換特性を適用して、光電変換を行う。RGB/YCbCr変換部224は、光電変換部223から出力されたサブタイトルのビットマップデータを、RGBドメインからYCbCr(輝度・色差)ドメインに変換する。
輝度変換部225は、RGB/YCbCr変換部224から出力されたサブタイトルのビットマップデータに対して、サブタイトルのビットマップデータの輝度の最大レベルがビデオデータの輝度のリファレンスレベル以下となるように調整を行って、出力ビットマップデータを得る。この場合、サブタイトルのビットマップデータが“hdrmapped”の状態にあった場合であって、ビデオデータがHDRであるときには、実質的に何もせずに、入力されたサブタイトルのビットマップデータをそのまま出力する。
図17は、輝度変換部225に含まれる輝度信号Yに係る構成部225Yの構成例を示している。この構成部225Yは、符号化画素ビット数調整部231と、レベル調整部232を有している。
符号化画素ビット数調整部231は、サブタイトルのビットマップデータの輝度信号Ysの符号化画素ビット数をビデオデータの符号化画素ビット数に合わせる。例えば、輝度信号Ysの符号化画素ビット数が“8bits”でビデオデータの符号化画素ビット数が“10bits”であるとき、輝度信号Ysの符号化画素ビット数が“8bits”から“10bits”に変換される。レベル調整部232は、符号化画素ビット数が合わせられた輝度信号Ysの最大レベルがビデオデータの輝度のリファレンスレベル以下となるように調整して、出力輝度信号Ys´とする。
図18は、図17に示す構成部225Yの動作を模式的に表している。図示の例は、ビデオデータがHDRである場合を示している。リファレンスレベル(reference level)は、非輝き部分と輝き部分の境界に当たる。
符号化画素ビット数が合わせられた後の輝度信号Ysの最大レベル(sc_high)と最小レベル(sc_low)の間に、リファレンスレベルが存在する。この場合、最大レベル(sc_high)がリファレンスレベル以下となるように調整される。なお、この場合、クリップの方法では白潰れみたいな状態になるので、例えば、リニアにスケールダウンする方法が採用される。
このように輝度信号Ysのレベルが調整されることで、サブタイトルのビットマップデータをビデオデータに重畳したとき、サブタイトルが背景ビデオに輝いて表示されることが防止されるので、画品質を高画質に保つことが可能となる。
なお、上述では、輝度変換部225に含まれる、輝度信号Ysに係る構成部225Y(図17参照)について説明した。輝度変換部225では、色差信号Cb,Crに関しては、符号化画素ビット数をビデオデータの符号化画素ビット数に合わせる処理のみが行われる。例えば、8ビット空間から10ビット空間への変換は、ビット幅で表現される範囲の全体を100%とし、その中で中央値が基準とされて、基準値からプラス方向に50%、マイナス方向に50%の振れ幅となるように、変換される。
図19のフローチャートは、色域輝度変換部210の処理手順の一例を示している。なお、この処理手順には、制御部201の関連する制御処理も含まれているが、便宜的に、色域輝度変換部210の処理として説明する。
色域輝度変換部210は、ステップST1において、処理を開始する。その後、色域輝度変換部210は、ステップST2において、サブタイトルデータの色域、ノンリニア変換情報は存在するか判断する。
色域輝度変換部210は、システムデコーダ203やサブタイトルデータ206からサブタイトルデータに係る色域識別情報およびダイナミックレンジ情報が送られてくるときは、情報が存在すると判断する。なお、ノンリニア変換情報はダイナミックレンジ情報を構成し、サブタイトルのビットマップデータの状態が“Linear”、“sdr”、“hdrmapped”のいずれにあるかを示す。色域輝度変換部210は、情報が存在すると判断するとき、ステップST4の処理に移る。
色域輝度変換部210は、情報が存在しないと判断するとき、ステップST3において、色域識別情報およびノンリニア変換情報としてデフォルト設定されている色域識別情報およびノンリニア変換情報を用いる。例えば、デフォルト設定されている色域識別情報は“sRGB”であって、デフォルト設定されているノンリニア変換情報は“sdr”である。色域輝度変換部210は、ステップST3の処理の後、ステップST4の処理に移る。
ステップST4において、色域輝度変換部210は、ノンリニア変換情報に応じて、サブタイトルのビットマップデータに電光変換を施して、リニアな状態にする。次に、色域輝度変換部210は、ステップST5において、サブタイトルのビットマップデータの色域を、ビデオデータの色域に合わせる。その後、色域輝度変換部210は、ステップST6において、サブタイトルのビットマップデータにビデオデータに適用されていると同じ光電変換を行って、ビデオデータに適用されている光電変換特性に合わせる。
次に、色域輝度変換部210は、ステップST7において、サブタイトルのビットマップデータの符号化画素ビット数を、ビデオデータの符号化画素ビット数に合わせる。次に、色域輝度変換部210は、ステップST8において、サブタイトルのビットマップデータの輝度レベルは、HDR対策されているか判断する。色域輝度変換部210は、ノンリニア変換情報が“hdrmapped”を示しているときは、HDR対策されていると判断する。
HDR対策されていないとき、色域輝度変換部210は、ステップST9において、ビデオデータはHDRであるか判断する。ビデオデータがHDRであるとき、色域輝度変換部210は、ステップST10において、サブタイトルのビットマップデータを、その輝度の最大レベルがビデオデータの輝度のリファレンスレベル以下となるように調整し、出力ビットマップデータとして出力する。その後、色域輝度変換部210は、ステップST11において、処理を終了する。
ステップST9でビデオデータがHDRでないとき、色域輝度変換部210は、ステップST12において、色域輝度変換部210は、サブタイトルのビットマップデータを、そのまま出力ビットマップデータとして出力する。その後、色域輝度変換部210は、ステップST11において、処理を終了する。
また、ステップST8でHDR対策されているとき、色域輝度変換部210は、ステップST13において、ビデオデータはHDRであるか判断する。ビデオデータがHDRでないとき、色域輝度変換部210は、ステップST10において、サブタイトルのビットマップデータを、その輝度の最大レベルがビデオデータの輝度のリファレンスレベル以下となるように調整し、出力ビットマップデータとして出力する。その後、色域輝度変換部210は、ステップST11において、処理を終了する。
ステップST13でビデオデータがHDRであるとき、色域輝度変換部210は、ステップST12において、サブタイトルのビットマップデータを、そのまま出力ビットマップデータとして出力する。その後、色域輝度変換部210は、ステップST11において、処理を終了する。
図15に戻って、ビデオレベル調整部205は、ビデオデコーダ204から出力される伝送ビデオデータV1の、サブタイトルの重畳領域(リージョン)における輝度レベルを調整する。この調整により、サブタイトル(字幕)が背景ビデオ(背景画像)の高輝度部分で阻害されるということを回避し、サブタイトルの読み易さの向上を図る。
図20(a)は、輝度レベル調整前のビデオデータによる画像表示例を示している。この背景画像には、高輝度領域が存在する。図20(b)は、上述のように輝度レベル調整されたサブタイトルのビットマップデータを輝度レベル調整前のビデオデータに重畳した場合における画像表示例を示している。この場合、背景画像の高輝度部分が阻害要因となって、サブタイトル(字幕)が読みにくくなっている。
図20(c)は、サブタイトルの重畳領域(リージョン)におけるビデオデータの輝度レベルを、上述のように輝度レベル調整されたサブタイトルのビットマップデータの輝度の最大レベルより低くなるように調整した場合の画像表示例を示している。この場合、サブタイトル(字幕)が背景画像の高輝度部分で阻害されるということがなく、サブタイトルが読み易くなる。
図21は、ビデオレベル調整部205に含まれる、輝度信号Yvに係る構成部205Yの構成例を示している。なお、詳細説明は省略するが、色差信号Cb,Crに関しては、ビデオレベル調整部205は入力データをそのまま出力する。
構成部205Yは、レベル調整制御部241と、高輝度部分検出部242と、レベル調整部243を有している。高輝度部分検出部242は、入力輝度信号Yvから、リファレンスレベルを超える高輝度部分を、画素単位で検出し、その検出信号をレベル調整制御部241に送る。
レベル調整部243は、入力輝度信号Yvに対して、クリッピング回路あるいは線形マッピング回路を用いて、入力輝度信号Yvの輝度レベルを、上述の輝度調整されたサブタイトルのビットマップデータの輝度の最大レベルより低くなるように調整して、出力輝度信号Yv´を得る。
レベル調整制御部241は、高輝度部分検出部242の検出出力、リージョン範囲情報、ビデオデータの混合比率情報に基づいて、レベル調整部243の動作を制御する。すなわち、レベル調整制御部241は、高輝度部分の画素に対してのみレベル調整部243で輝度信号Yvのレベル調整が行われるように制御する。
また、レベル調整制御部241は、サブタイトルの重畳領域(リージョン)にある画素に対してのみレベル調整部243で輝度信号Yvのレベル調整が行われるように制御する。さらに、レベル調整制御部241は、ビデオデータの混合比率が閾値を超える場合のみレベル調整部243で輝度信号Yvのレベル調整が行われるように制御する。
図22のフローチャートは、図21に示す構成部205Yにおける画素毎の処理手順の一例を示している。構成部205Yは、ステップST21において、処理を開始する。その後、構成部205Yは、ステップST22において、リージョン範囲か否かを判断する。リージョン範囲であるとき、構成部205Yは、ステップST23において、高輝度部分であるか否かを判断する。
高輝度部分であるとき、構成部205Yは、ステップST24において、混合比率は閾値を超えるか否かを判断する。閾値を超えるとき、構成部205Yは、ステップST25において、入力輝度信号Yvの輝度レベルを、上述の輝度調整されたサブタイトルのビットマップデータの輝度の最大レベルより低くなるように調整して、出力輝度信号Yv´とする。その後、構成部205Yは、ステップST26において、処理を終了する。
ステップST22でリージョン範囲でないとき、ステップST23で高輝度部分でないとき、あるいはステップST24で閾値を超えていいないとき、構成部205Yは、ステップST27おいて、入力輝度信号Yvのレベル調整を行わずにそのまま出力輝度信号Yv´とする。その後、構成部205Yは、ステップST26において、処理を終了する。
図15に戻って、ビデオ重畳部211は、ビデオレベル調整部205から出力された伝送ビデオデータV1に、色域輝度変換部210から出力されたサブタイトルのビットマップデータを重畳する。この場合、ビデオ重畳部211は、サブタイトルのビットマップデータを伝送ビデオデータV1に所定の比率で混合する。
YCbCr/RGB変換部212は、サブタイトルのビットマップデータが重畳された伝送ビデオデータV1´をYCbCr(輝度・色差)ドメインからRGBドメインに変換する。この場合、YCbCr/RGB変換部212は、色域識別情報に基づいて、色域に対応した変換式を用いて変換を行う。
電光変換部213は、RGBドメインに変換された伝送ビデオデータV1´に、それに適用されている光電変換特性に対応した電光変換特性を適用して電光変換を行って、画像を表示するための表示用ビデオデータを得る。表示マッピング部214は、表示用ビデオデータに対して、CEモニタ215の最大輝度表示能力などに応じた表示輝度調整を行う。CEモニタ215は、表示輝度調整が行われた表示用ビデオデータに基づいて画像を表示する。このCEモニタ215は、例えば、LCD(Liquid Crystal Display)、有機ELディスプレイ(organic electroluminescence display)などで構成される。
図15に示す受信装置200の動作を簡単に説明する。受信部202では、送信装置100から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリームTSが受信される。このトランスポートストリームTSは、システムデコーダ203に供給される。システムデコーダ203では、このトランスポートストリームTSから、ビデオストリームVSおよびサブタイトルストリームSSが抽出される。
また、システムデコーダ203では、トランスポートストリームTS(コンテナ)に挿入されている種々の情報が抽出され、制御部201に送られる。この抽出情報に、サブタイトルデータに係る色域識別情報およびダイナミックレンジ情報が記述されたサブタイトル・WCGHDR・デスクリプタ(図13参照)も含まれる。
システムデコーダ203で抽出されたビデオストリームVSは、ビデオデコーダ204に供給される。ビデオデコーダ204では、ビデオストリームVSに対して復号化処理が施されて、伝送ビデオデータV1が得られる。
また、ビデオデコーダ204では、ビデオストリームVSを構成する各アクセスユニットに挿入されているパラメータセットやSEIメッセージが抽出され、制御部201に送られる。SPS NALユニットのVUIの領域には、伝送ビデオデータV1が持つ光電変換特性に対応した電光変換特性を示す情報(transfer function)、伝送ビデオデータV1の色域を示す情報、リファレンスレベルを示す情報などが挿入されている。また、このSEIメッセージには、伝送ビデオデータV1が持つ光電変換特性に対応した電光変換特性を示す情報(transfer function)、リファレンスレベルの情報などを持つダイナミックレンジSEIメッセージ(図6参照)も含まれる。
システムデコーダ203で抽出されたサブタイトルストリームSSは、サブタイトルデータとしてサブタイトルのテキスト情報が送信されてくる場合には、サブタイトルデコーダ206に供給される。サブタイトルデコーダ206では、サブタイトルストリームSSに含まれている各リージョンのセグメントデータに対してデコード処理が施されて、各リージョンのテキストデータや制御コードが得られる。
各リージョンのテキストデータや制御コードはフォント展開部207に供給される。フォント展開部207では、各リージョンのテキストデータや制御コードに基づいてフォント展開されて、各リージョンのビットマップデータが得られる。このサブタイトルのビットマップデータは色域輝度変換部210に供給される。
また、システムデコーダ203で抽出されたサブタイトルストリームSSは、サブタイトルデータとしてサブタイトルのビットマップデータが送信されてくる場合には、サブタイトルデコーダ208に供給される。サブタイトルデコーダ208では、サブタイトルストリームSSにデコード処理が施されて、サブタイトルのビットマップデータが得られる。このサブタイトルのビットマップデータは、YCbCr/RGB変換部209でYCbCrドメインからRGBドメインに変換されて、色域輝度変換部210に供給される。
色域輝度変換部210では、サブタイトルのビットマップデータの色域情報とビデオデータの色域情報に基づいて、サブタイトルのビットマップデータの色域が、ビデオデータの色域に合わせられる。また、色域輝度変換部210では、サブタイトルのビットマップデータのダイナミックレンジ情報(ノンリニア変換情報)とビデオデータのダイナミックレンジ情報(リファレンスレベル情報、HDRであるかを示す情報)に基づいて、サブタイトルのビットマップデータの輝度の最大レベルがビデオデータの輝度のリファレンスレベル以下となるように調整される。
ビデオデコーダ204で得られた伝送ビデオデータV1は、ビデオレベル調整部205に供給される。ビデオレベル調整部205では、伝送ビデオデータV1の、サブタイトルの重畳領域(リージョン)における輝度レベルが調整される。この場合、ビデオデータの混合比率が閾値を超えるとき、サブタイトルの重畳領域(リージョン)におけるビデオデータの輝度レベルが、輝度レベル調整されたサブタイトルのビットマップデータの輝度の最大レベルより低くなるように調整される。
ビデオレベル調整部205で輝度レベルが調整された伝送ビデオデータV1は、ビデオ重畳部211に供給される。また、色域輝度変換部210で色域および輝度が調整されたサブタイトルのビットマップデータは、ビデオ重畳部211に供給される。このビデオ重畳部211では、伝送ビデオデータV1に、サブタイトルのビットマップデータが重畳される。この場合、サブタイトルのビットマップデータが伝送ビデオデータV1に所定の比率で混合される。
ビデオ重畳部211で得られた、ビットマップデータが重畳された伝送ビデオデータV1´は、YCbCr/RGB変換部212において、YCbCr(輝度・色差)ドメインからRGBドメインに変換されて、電光変換部213に供給される。電光変換部213では、伝送ビデオデータV1´に、それに適用されている光電変換特性に対応した電光変換特性が適用されて電光変換が行われ、画像を表示するための表示用ビデオデータが得られる。
表示用ビデオデータは、表示マッピング部214に供給される。この表示マッピング部214では、表示用ビデオデータに対して、CEモニタ215の最大輝度表示能力などに応じた表示輝度調整が行われる。このように表示輝度調整が行われた表示用ビデオデータはCEモニタ215に供給される。CEモニタ215には、この表示用ビデオデータに基づいて画像が表示される。
上述したように、図1に示す送受信システム10において、受信装置200は、サブタイトルのビットマップデータの色域をビデオデータの色域に合わせると共に、サブタイトルのビットマップデータの輝度の最大レベルがビデオデータの輝度のリファレンスレベル以下となるように調整するものである。そのため、サブタイトルデータをビデオデータに重畳する際の画品質を高画質に保つことが可能となる。
また、図1に示す送受信システム10において、受信装置200は、ビデオデータの混合比率が閾値を超えるとき、サブタイトルの重畳領域(リージョン)におけるビデオデータの輝度レベルを、輝度レベル調整されたサブタイトルのビットマップデータの輝度の最大レベルより低くなるように調整する。そのため、サブタイトルが背景ビデオ(背景画像)の高輝度部分で阻害されるということを回避でき、サブタイトルの読み易さの向上が可能となる。
<2.変形例>
なお、上述実施の形態において、コンテナがトランスポートストリーム(MPEG−2 TS)である例を示した。しかし、本技術は、トランスポートがTSと限定されるものではなく、他のパケット、例えばISOBMFFやMMTなどの場合でも、ビデオのレイヤは同一の方法で実現できる。また、サブタイトルストリームは、既述のように、TTMLをセグメントに載せたうえで多重化のペイロードに配置したPESパケットで構成されることに限定する必要はなく、本技術の内容は、上記多重化ペイロードに配置するPESパケットあるいはセクション部にTTMLを直接配置することによっても実現可能である。
また、本技術は、以下のような構成を取ることもできる。
(1)ビデオデータを持つビデオストリームとサブタイトルデータを持つサブタイトルストリームを含む所定フォーマットのコンテナを受信する受信部と、
上記ビデオストリームにデコード処理を施してビデオデータを得るビデオデコード部と、
上記サブタイトルストリームにデコード処理を施してサブタイトルのビットマップデータを得るサブタイトルデコード部と、
上記サブタイトルのビットマップデータの色域識別情報と上記ビデオデータの色域識別情報に基づいて、上記サブタイトルのビットマップデータの色域を上記ビデオデータの色域に合わせる色域処理部と、
上記色域が合わせられたサブタイトルのビットマップデータを上記ビデオデータに重畳するビデオ重畳部を備える
受信装置。
(2)上記色域処理部は、
上記サブタイトルのビットマップデータの色域識別情報として、上記サブタイトルストリームのレイヤまたは上記コンテナのレイヤから取得された色域識別情報を用いる
前記(1)に記載の受信装置。
(3)上記色域処理部は、
上記サブタイトルのビットマップデータの色域識別情報が上記サブタイトルストリームのレイヤまたは上記コンテナのレイヤから取得されないとき、上記サブタイトルのビットマップデータの色域識別情報として、デフォルト設定されている色域識別情報を用いる
前記(2)に記載の受信装置。
(4)上記サブタイトルのビットマップデータのダイナミックレンジ情報と上記ビデオデータのダイナミックレンジ情報に基づいて、上記サブタイトルのビットマップデータの輝度の最大レベルが上記ビデオデータの輝度のリファレンスレベル以下となるように調整する輝度処理部をさらに備える
前記(1)から(3)のいずれかに記載の受信装置。
(5)上記輝度処理部は、
上記サブタイトルのビットマップデータのダイナミックレンジ情報として、上記サブタイトルのレイヤまたは上記コンテナのレイヤから取得されたダイナミックレンジ情報を用いる
前記(4)に記載の受信装置。
(6)上記輝度処理部は、
上記サブタイトルのビットマップデータのダイナミックレンジ情報が上記サブタイトルストリームのレイヤまたは上記コンテナのレイヤから取得されないとき、上記サブタイトルのビットマップデータのダイナミックレンジとして、デフォルト設定されているダイナミックレンジ情報を用いる
前記(5)に記載の受信装置。
(7)上記ビデオデコード部と上記ビデオ重畳部との間に介在され、上記ビデオデータの、上記サブタイトルデータの重畳領域における輝度レベルを調整するビデオレベル調整部をさらに備える
前記(4)から(6)のいずれかに記載の受信装置。
(8)上記ビデオレベル調整部は、
上記サブタイトルデータの重畳領域に存在する高輝度画素に対応したビデオデータの輝度レベルが低下するように調整する
前記(7)に記載の受信装置。
(9)上記ビデオレベル調整部は、
上記ビデオ重畳部における上記ビデオデータの混合比率が閾値を超えるとき、上記ビデオデータの輝度レベルを調整する
前記(7)または(8)に記載の受信装置。
(10)受信部により、ビデオデータを持つビデオストリームとサブタイトルデータを持つサブタイトルストリームを含む所定フォーマットのコンテナを受信する受信ステップと、
上記ビデオストリームにデコード処理を施してビデオデータを得るビデオデコードステップと、
上記サブタイトルストリームにデコード処理を施してサブタイトルのビットマップデータを得るサブタイトルデコードステップと、
上記サブタイトルのビットマップデータの色域識別情報と上記ビデオデータの色域識別情報に基づいて、上記サブタイトルのビットマップデータの色域を上記ビデオデータの色域に合わせる色域処理ステップと、
上記色域が合わせられたサブタイトルのビットマップデータを上記ビデオデータに重畳するビデオ重畳ステップを有する
受信方法。
(11)ビデオデータを持つビデオストリームとサブタイトルデータを持つサブタイトルストリームを含む所定フォーマットのコンテナを受信する受信部と、
上記ビデオストリームにデコード処理を施してビデオデータを得るビデオデコード部と、
上記サブタイトルストリームにデコード処理を施してサブタイトルのビットマップデータを得るサブタイトルデコード部と、
上記サブタイトルのビットマップデータのダイナミックレンジ情報と上記ビデオデータのダイナミックレンジ情報に基づいて、上記サブタイトルのビットマップデータの輝度の最大レベルが上記ビデオデータの輝度のリファレンスレベル以下となるように調整する輝度処理部と、
上記輝度調整されたサブタイトルのビットマップデータを上記ビデオデータに重畳するビデオ重畳部を備える
受信装置。
(12)上記輝度処理部は、
上記サブタイトルのビットマップデータのダイナミックレンジ情報として、上記サブタイトルのレイヤまたは上記コンテナのレイヤから取得されたダイナミックレンジ情報を用いる
前記(11)に記載の受信装置。
(13)上記輝度処理部は、
上記サブタイトルのビットマップデータのダイナミックレンジ情報が上記サブタイトルストリームのレイヤまたは上記コンテナのレイヤから取得されないとき、上記サブタイトルのビットマップデータのダイナミックレンジとして、デフォルト設定されているダイナミックレンジ情報を用いる
前記(12)に記載の受信装置。
(14)上記ビデオデコード部と上記ビデオ重畳部との間に介在され、上記ビデオデータの、上記サブタイトルデータの重畳領域における輝度レベルを調整するビデオレベル調整部をさらに備える
前記(11)から(13)のいずれかに記載の受信装置。
(15)上記ビデオレベル調整部は、
上記サブタイトルデータの重畳領域に存在する高輝度画素に対応したビデオデータの輝度レベルが低下するように調整する
前記(14)に記載の受信装置。
(16)上記ビデオレベル調整部は、
上記ビデオ重畳部における上記ビデオデータの混合比率が閾値を超えるとき、上記ビデオデータの輝度レベルを調整する
前記(14)または(15)に記載の受信装置。
(17)受信部により、ビデオデータを持つビデオストリームとサブタイトルデータを持つサブタイトルストリームを含む所定フォーマットのコンテナを受信する受信ステップと、
上記ビデオストリームにデコード処理を施してビデオデータを得るビデオデコードステップと、
上記サブタイトルストリームにデコード処理を施してサブタイトルのビットマップデータを得るサブタイトルデコードステップと、
上記サブタイトルのビットマップデータのダイナミックレンジ情報と上記ビデオデータのダイナミックレンジ情報に基づいて、上記サブタイトルのビットマップデータの輝度の最大レベルが上記ビデオデータの輝度のリファレンスレベル以下となるように調整する輝度処理ステップと、
上記輝度調整されたサブタイトルのビットマップデータを上記ビデオデータに重畳するビデオ重畳ステップを有する
受信方法。
(18)ビデオデータを持つビデオストリームとサブタイトルデータを持つサブタイトルストリームを含む所定フォーマットのコンテナを送信する送信部と、
上記サブタイトルデータに係る色域識別情報および/またはダイナミックレンジ情報を、上記サブタイトルストリームのレイヤおよび/または上記コンテナのレイヤに挿入する情報挿入部を備える
送信装置。
(19)上記サブタイトルデータは、所定フォーマットのサブタイトルのテキスト情報である
前記(18)に記載の送信装置。
(20)送信部により、ビデオデータを持つビデオストリームとサブタイトルデータを持つサブタイトルストリームを含む所定フォーマットのコンテナを送信する送信ステップと、
上記サブタイトルデータに係る色域識別情報および/またはダイナミックレンジ情報を、上記サブタイトルストリームのレイヤおよび/または上記コンテナのレイヤに挿入する情報挿入ステップを有する
送信方法。
本技術の主な特徴は、サブタイトルのビットマップデータの色域をビデオデータの色域に合わせると共に、サブタイトルのビットマップデータの輝度の最大レベルがビデオデータの輝度のリファレンスレベル以下となるように調整することで、サブタイトルデータをビデオデータに重畳する際の画品質を高画質に保つことを可能にしたことである(図15−19参照)。
また、本技術の主な特徴は、ビデオデータの混合比率が閾値を超えるとき、ビデオデータの輝度レベルを、サブタイトルのビットマップデータの輝度の最大レベルより低くなるように調整することで、サブタイトルが背景ビデオの高輝度部分で阻害されるということを回避でき、サブタイトルの読み易さの向上を可能にしたことである(図15、図20−22参照)。
10・・・送受信システム
100・・・送信装置
101・・・制御部
102・・・カメラ
103・・・ビデオ光電変換部
104・・・RGB/YCbCr変換部
105・・・ビデオエンコーダ
106・・・サブタイトル発生部
107・・・テキストフォーマット変換部
108・・・サブタイトルエンコーダ
109・・・システムエンコーダ
110・・・送信部
111・・・ビットマップデータ発生部
112・・・サブタイトル光電変換部
113・・・サブタイトルエンコーダ
200・・・受信装置
201・・・制御部
202・・・受信部
203・・・システムデコーダ
204・・・ビデオデコーダ
205・・・ビデオレベル調整部
205Y・・・構成部
206・・・サブタイトルデコーダ
207・・・フォント展開部
208・・・サブタイトルデコーダ
209・・・YCbCr/RGB変換部
210・・・色域輝度変換部
211・・・ビデオ重畳部
212・・・YCbCr/RGB変換部
213・・・電光変換部
214・・・表示マッピング部
215・・・CEモニタ
221・・・電光変換部
222・・・色域変換部
223・・・光電変換部
224・・・RGB/YCbCr変換部
225・・・輝度変換部
225Y・・・構成部
231・・・符号化画素ビット数調整部
232・・・レベル調整部
241・・・レベル調整制御部
242・・・高輝度検出部
243・・・レベル調整部

Claims (14)

  1. ビデオデータを持つビデオストリームとサブタイトルデータを持つサブタイトルストリームを含む所定フォーマットのコンテナを受信する受信部と、
    上記ビデオストリームにデコード処理を施してビデオデータを得るビデオデコード部と、
    上記サブタイトルストリームにデコード処理を施してサブタイトルのビットマップデータを得るサブタイトルデコード部と、
    上記サブタイトルのビットマップデータの色域識別情報と上記ビデオデータの色域識別情報に基づいて、上記サブタイトルのビットマップデータの色域を上記ビデオデータの色域に合わせる色域処理部と、
    上記色域が合わせられたサブタイトルのビットマップデータを上記ビデオデータに重畳するビデオ重畳部と、
    上記サブタイトルのビットマップデータのダイナミックレンジ情報と上記ビデオデータのダイナミックレンジ情報に基づいて、上記サブタイトルのビットマップデータの輝度の最大レベルが上記ビデオデータの輝度のリファレンスレベル以下となるように調整する輝度処理部と、
    上記ビデオデコード部と上記ビデオ重畳部との間に介在され、上記ビデオデータの、上記サブタイトルデータの重畳領域における輝度レベルを調整するビデオレベル調整部を備え
    上記ビデオレベル調整部は、
    上記サブタイトルデータの重畳領域に存在する高輝度画素に対応したビデオデータの輝度レベルが低下するように調整す
    受信装置。
  2. ビデオデータを持つビデオストリームとサブタイトルデータを持つサブタイトルストリームを含む所定フォーマットのコンテナを受信する受信部と、
    上記ビデオストリームにデコード処理を施してビデオデータを得るビデオデコード部と、
    上記サブタイトルストリームにデコード処理を施してサブタイトルのビットマップデータを得るサブタイトルデコード部と、
    上記サブタイトルのビットマップデータの色域識別情報と上記ビデオデータの色域識別情報に基づいて、上記サブタイトルのビットマップデータの色域を上記ビデオデータの色域に合わせる色域処理部と、
    上記色域が合わせられたサブタイトルのビットマップデータを上記ビデオデータに重畳するビデオ重畳部と、
    上記サブタイトルのビットマップデータのダイナミックレンジ情報と上記ビデオデータのダイナミックレンジ情報に基づいて、上記サブタイトルのビットマップデータの輝度の最大レベルが上記ビデオデータの輝度のリファレンスレベル以下となるように調整する輝度処理部と、
    上記ビデオデコード部と上記ビデオ重畳部との間に介在され、上記ビデオデータの、上記サブタイトルデータの重畳領域における輝度レベルを調整するビデオレベル調整部を備え
    上記ビデオレベル調整部は、
    上記ビデオ重畳部における上記ビデオデータの混合比率が閾値を超えるとき、上記ビデオデータの輝度レベルを調整す
    受信装置。
  3. 上記色域処理部は、
    上記サブタイトルのビットマップデータの色域識別情報として、上記サブタイトルストリームのレイヤまたは上記コンテナのレイヤから取得された色域識別情報を用いる
    請求項1または2に記載の受信装置。
  4. 上記色域処理部は、
    上記サブタイトルのビットマップデータの色域識別情報が上記サブタイトルストリームのレイヤまたは上記コンテナのレイヤから取得されないとき、上記サブタイトルのビットマップデータの色域識別情報として、デフォルト設定されている色域識別情報を用いる
    請求項に記載の受信装置。
  5. 上記輝度処理部は、
    上記サブタイトルのビットマップデータのダイナミックレンジ情報として、上記サブタイトルのレイヤまたは上記コンテナのレイヤから取得されたダイナミックレンジ情報を用いる
    請求項1または2に記載の受信装置。
  6. 上記輝度処理部は、
    上記サブタイトルのビットマップデータのダイナミックレンジ情報が上記サブタイトルストリームのレイヤまたは上記コンテナのレイヤから取得されないとき、上記サブタイトルのビットマップデータのダイナミックレンジとして、デフォルト設定されているダイナミックレンジ情報を用いる
    請求項5に記載の受信装置。
  7. 受信部により、ビデオデータを持つビデオストリームとサブタイトルデータを持つサブタイトルストリームを含む所定フォーマットのコンテナを受信する受信ステップと、
    上記ビデオストリームにデコード処理を施してビデオデータを得るビデオデコードステップと、
    上記サブタイトルストリームにデコード処理を施してサブタイトルのビットマップデータを得るサブタイトルデコードステップと、
    上記サブタイトルのビットマップデータの色域識別情報と上記ビデオデータの色域識別情報に基づいて、上記サブタイトルのビットマップデータの色域を上記ビデオデータの色域に合わせる色域処理ステップと、
    上記色域が合わせられたサブタイトルのビットマップデータを上記ビデオデータに重畳するビデオ重畳ステップと、
    上記サブタイトルのビットマップデータのダイナミックレンジ情報と上記ビデオデータのダイナミックレンジ情報に基づいて、上記サブタイトルのビットマップデータの輝度の最大レベルが上記ビデオデータの輝度のリファレンスレベル以下となるように調整する輝度処理ステップと、
    上記ビデオデータの、上記サブタイトルデータの重畳領域における輝度レベルを調整するビデオレベル調整ステップを有し、
    上記ビデオレベル調整ステップでは、
    上記サブタイトルデータの重畳領域に存在する高輝度画素に対応したビデオデータの輝度レベルが低下するように調整する
    受信方法。
  8. 受信部により、ビデオデータを持つビデオストリームとサブタイトルデータを持つサブタイトルストリームを含む所定フォーマットのコンテナを受信する受信ステップと、
    上記ビデオストリームにデコード処理を施してビデオデータを得るビデオデコードステップと、
    上記サブタイトルストリームにデコード処理を施してサブタイトルのビットマップデータを得るサブタイトルデコードステップと、
    上記サブタイトルのビットマップデータの色域識別情報と上記ビデオデータの色域識別情報に基づいて、上記サブタイトルのビットマップデータの色域を上記ビデオデータの色域に合わせる色域処理ステップと、
    上記色域が合わせられたサブタイトルのビットマップデータを上記ビデオデータに重畳するビデオ重畳ステップと、
    上記サブタイトルのビットマップデータのダイナミックレンジ情報と上記ビデオデータのダイナミックレンジ情報に基づいて、上記サブタイトルのビットマップデータの輝度の最大レベルが上記ビデオデータの輝度のリファレンスレベル以下となるように調整する輝度処理ステップと、
    上記ビデオデータの、上記サブタイトルデータの重畳領域における輝度レベルを調整するビデオレベル調整ステップを有し、
    上記ビデオレベル調整ステップでは、
    上記ビデオ重畳ステップにおける上記ビデオデータの混合比率が閾値を超えるとき、上記ビデオデータの輝度レベルを調整する
    受信方法。
  9. ビデオデータを持つビデオストリームとサブタイトルデータを持つサブタイトルストリームを含む所定フォーマットのコンテナを受信する受信部と、
    上記ビデオストリームにデコード処理を施してビデオデータを得るビデオデコード部と、
    上記サブタイトルストリームにデコード処理を施してサブタイトルのビットマップデータを得るサブタイトルデコード部と、
    上記サブタイトルのビットマップデータのダイナミックレンジ情報と上記ビデオデータのダイナミックレンジ情報に基づいて、上記サブタイトルのビットマップデータの輝度の最大レベルが上記ビデオデータの輝度のリファレンスレベル以下となるように調整する輝度処理部と、
    上記輝度調整されたサブタイトルのビットマップデータを上記ビデオデータに重畳するビデオ重畳部と、
    上記ビデオデコード部と上記ビデオ重畳部との間に介在され、上記ビデオデータの、上記サブタイトルデータの重畳領域における輝度レベルを調整するビデオレベル調整部を備え
    上記ビデオレベル調整部は、
    上記サブタイトルデータの重畳領域に存在する高輝度画素に対応したビデオデータの輝度レベルが低下するように調整す
    受信装置。
  10. ビデオデータを持つビデオストリームとサブタイトルデータを持つサブタイトルストリームを含む所定フォーマットのコンテナを受信する受信部と、
    上記ビデオストリームにデコード処理を施してビデオデータを得るビデオデコード部と、
    上記サブタイトルストリームにデコード処理を施してサブタイトルのビットマップデータを得るサブタイトルデコード部と、
    上記サブタイトルのビットマップデータのダイナミックレンジ情報と上記ビデオデータのダイナミックレンジ情報に基づいて、上記サブタイトルのビットマップデータの輝度の最大レベルが上記ビデオデータの輝度のリファレンスレベル以下となるように調整する輝度処理部と、
    上記輝度調整されたサブタイトルのビットマップデータを上記ビデオデータに重畳するビデオ重畳部と、
    上記ビデオデコード部と上記ビデオ重畳部との間に介在され、上記ビデオデータの、上記サブタイトルデータの重畳領域における輝度レベルを調整するビデオレベル調整部を備え
    上記ビデオレベル調整部は、
    上記ビデオ重畳部における上記ビデオデータの混合比率が閾値を超えるとき、上記ビデオデータの輝度レベルを調整す
    受信装置。
  11. 上記輝度処理部は、
    上記サブタイトルのビットマップデータのダイナミックレンジ情報として、上記サブタイトルのレイヤまたは上記コンテナのレイヤから取得されたダイナミックレンジ情報を用いる
    請求項9または10に記載の受信装置。
  12. 上記輝度処理部は、
    上記サブタイトルのビットマップデータのダイナミックレンジ情報が上記サブタイトルストリームのレイヤまたは上記コンテナのレイヤから取得されないとき、上記サブタイトルのビットマップデータのダイナミックレンジとして、デフォルト設定されているダイナミックレンジ情報を用いる
    請求項11に記載の受信装置。
  13. 受信部により、ビデオデータを持つビデオストリームとサブタイトルデータを持つサブタイトルストリームを含む所定フォーマットのコンテナを受信する受信ステップと、
    上記ビデオストリームにデコード処理を施してビデオデータを得るビデオデコードステップと、
    上記サブタイトルストリームにデコード処理を施してサブタイトルのビットマップデータを得るサブタイトルデコードステップと、
    上記サブタイトルのビットマップデータのダイナミックレンジ情報と上記ビデオデータのダイナミックレンジ情報に基づいて、上記サブタイトルのビットマップデータの輝度の最大レベルが上記ビデオデータの輝度のリファレンスレベル以下となるように調整する輝度処理ステップと、
    上記輝度調整されたサブタイトルのビットマップデータを上記ビデオデータに重畳するビデオ重畳ステップと、
    上記ビデオデータの、上記サブタイトルデータの重畳領域における輝度レベルを調整するビデオレベル調整ステップを有し、
    上記ビデオレベル調整ステップでは、
    上記サブタイトルデータの重畳領域に存在する高輝度画素に対応したビデオデータの輝度レベルが低下するように調整する
    受信方法。
  14. 受信部により、ビデオデータを持つビデオストリームとサブタイトルデータを持つサブタイトルストリームを含む所定フォーマットのコンテナを受信する受信ステップと、
    上記ビデオストリームにデコード処理を施してビデオデータを得るビデオデコードステップと、
    上記サブタイトルストリームにデコード処理を施してサブタイトルのビットマップデータを得るサブタイトルデコードステップと、
    上記サブタイトルのビットマップデータのダイナミックレンジ情報と上記ビデオデータのダイナミックレンジ情報に基づいて、上記サブタイトルのビットマップデータの輝度の最大レベルが上記ビデオデータの輝度のリファレンスレベル以下となるように調整する輝度処理ステップと、
    上記輝度調整されたサブタイトルのビットマップデータを上記ビデオデータに重畳するビデオ重畳ステップと、
    上記ビデオデータの、上記サブタイトルデータの重畳領域における輝度レベルを調整するビデオレベル調整ステップを有し、
    上記ビデオレベル調整ステップでは、
    上記ビデオ重畳ステップにおける上記ビデオデータの混合比率が閾値を超えるとき、上記ビデオデータの輝度レベルを調整する
    受信方法。
JP2015116893A 2015-06-09 2015-06-09 受信装置、受信方法、送信装置および送信方法 Active JP6519329B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2015116893A JP6519329B2 (ja) 2015-06-09 2015-06-09 受信装置、受信方法、送信装置および送信方法
CN201680032017.2A CN107667536B (zh) 2015-06-09 2016-04-20 接收装置、接收方法、传输装置和传输方法
PCT/JP2016/002109 WO2016199337A1 (en) 2015-06-09 2016-04-20 Reception device, receiving method, transmission device, and transmitting method
US15/572,313 US10349144B2 (en) 2015-06-09 2016-04-20 Reception device, receiving method, transmission device, and transmitting method
EP16723840.1A EP3308538A1 (en) 2015-06-09 2016-04-20 Reception device, receiving method, transmission device, and transmitting method
KR1020177033933A KR102547789B1 (ko) 2015-06-09 2016-04-20 수신 장치, 수신 방법, 송신 장치, 및 송신 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015116893A JP6519329B2 (ja) 2015-06-09 2015-06-09 受信装置、受信方法、送信装置および送信方法

Publications (2)

Publication Number Publication Date
JP2017005472A JP2017005472A (ja) 2017-01-05
JP6519329B2 true JP6519329B2 (ja) 2019-05-29

Family

ID=56024349

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015116893A Active JP6519329B2 (ja) 2015-06-09 2015-06-09 受信装置、受信方法、送信装置および送信方法

Country Status (6)

Country Link
US (1) US10349144B2 (ja)
EP (1) EP3308538A1 (ja)
JP (1) JP6519329B2 (ja)
KR (1) KR102547789B1 (ja)
CN (1) CN107667536B (ja)
WO (1) WO2016199337A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6624889B2 (ja) * 2015-10-30 2019-12-25 キヤノン株式会社 映像処理装置、映像処理方法、及び映像処理プログラム
EP3706412B1 (en) * 2017-10-31 2023-03-15 Sony Group Corporation Reproduction device, reproduction method, program, and recording medium
KR101999592B1 (ko) * 2017-12-07 2019-07-12 경희대학교 산학협력단 컨테이너 이주 방법, 상기 방법을 수행하기 위한 컴퓨팅 장치 및 컴퓨팅 시스템
JP7187158B2 (ja) * 2018-03-12 2022-12-12 キヤノン株式会社 画像処理装置、表示装置、画像処理装置の制御方法、プログラム
US10832389B2 (en) 2018-12-13 2020-11-10 Ati Technologies Ulc Method and system for improved visibility in blended layers for high dynamic range displays
JP7418233B2 (ja) 2020-02-13 2024-01-19 キヤノン株式会社 表示装置、制御方法およびプログラム
JP2021173901A (ja) * 2020-04-27 2021-11-01 キヤノン株式会社 表示制御装置、表示制御方法およびプログラム

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08265661A (ja) * 1995-03-23 1996-10-11 Sony Corp 字幕データ符号化/復号化方法および装置、および符号化字幕データ記録媒体
EP1124379A3 (en) * 2000-02-09 2011-08-17 Canon Kabushiki Kaisha Method and apparatus for inhibiting reproduction of parts of a recording
US7145633B2 (en) * 2003-01-09 2006-12-05 Yamatake Corporation Apparatus and method of exposing light to a semiconductor device having a curved surface
US20080010083A1 (en) * 2005-07-01 2008-01-10 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Approval technique for media content alteration
KR100849845B1 (ko) * 2006-09-05 2008-08-01 삼성전자주식회사 영상 보정 방법 및 장치
JP5264193B2 (ja) * 2008-01-18 2013-08-14 キヤノン株式会社 表示装置及びその制御方法
US8270809B2 (en) * 2008-08-01 2012-09-18 Apple Inc. Previewing effects applicable to digital media content
CN101853381B (zh) * 2009-03-31 2013-04-24 华为技术有限公司 视频字幕信息获取方法及装置
KR101482542B1 (ko) * 2010-07-22 2015-01-14 돌비 레버러토리즈 라이쎈싱 코오포레이션 이미지 데이터와 디스플레이의 비디오 범위들 사이의 맵핑을 위한 시스템, 장치 및 방법들
JP5685969B2 (ja) * 2011-02-15 2015-03-18 ソニー株式会社 表示制御方法、表示制御装置
CN105009567B (zh) * 2013-02-21 2018-06-08 杜比实验室特许公司 用于合成叠加图形的外观映射的***和方法
RU2654049C2 (ru) * 2013-07-19 2018-05-16 Конинклейке Филипс Н.В. Транспортировка hdr метаданных
JP6261741B2 (ja) * 2013-09-09 2018-01-17 エルジー エレクトロニクス インコーポレイティド デジタル放送システムにおける高画質uhd放送コンテンツの送受信方法及び装置
US9973723B2 (en) * 2014-02-24 2018-05-15 Apple Inc. User interface and graphics composition with high dynamic range video
US9455281B2 (en) * 2014-06-19 2016-09-27 Semiconductor Energy Laboratory Co., Ltd. Touch sensor, touch panel, touch panel module, and display device
US10582269B2 (en) * 2014-07-11 2020-03-03 Lg Electronics Inc. Method and device for transmitting and receiving broadcast signal
WO2016017961A1 (ko) * 2014-07-29 2016-02-04 엘지전자 주식회사 방송 신호 송수신 방법 및 장치
JP2016048891A (ja) * 2014-08-28 2016-04-07 株式会社東芝 画像処理システム及び装置ならびに画像処理方法
JP6134076B2 (ja) * 2014-09-08 2017-05-24 ソニー株式会社 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム
JP6741975B2 (ja) * 2014-12-09 2020-08-19 パナソニックIpマネジメント株式会社 送信方法および送信装置
US10595099B2 (en) * 2015-04-05 2020-03-17 Lg Electronics Inc. Method and device for transmitting and receiving broadcast signal for broadcast service on basis of XML subtitle
WO2017043836A1 (ko) * 2015-09-09 2017-03-16 엘지전자 주식회사 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법

Also Published As

Publication number Publication date
JP2017005472A (ja) 2017-01-05
CN107667536B (zh) 2020-06-30
KR20180016998A (ko) 2018-02-20
KR102547789B1 (ko) 2023-06-26
CN107667536A (zh) 2018-02-06
EP3308538A1 (en) 2018-04-18
US10349144B2 (en) 2019-07-09
US20180109850A1 (en) 2018-04-19
WO2016199337A1 (en) 2016-12-15

Similar Documents

Publication Publication Date Title
JP6519329B2 (ja) 受信装置、受信方法、送信装置および送信方法
JP6891492B2 (ja) 送信装置、送信方法、受信装置および受信方法
JP7087028B2 (ja) 受信装置、受信方法および表示装置
CN111343460B (zh) 接收装置、显示设备及接收方法
JP7384234B2 (ja) 送信装置、送信方法、受信装置および受信方法
JP6614156B2 (ja) 送信装置、送信方法、受信装置および受信方法
KR102423434B1 (ko) 송신 장치, 송신 방법, 수신 장치 및 수신 방법
JP7259901B2 (ja) 送信方法および送信装置
KR102618928B1 (ko) 송신 디바이스, 송신 방법, 수신 디바이스, 및 수신 방법
WO2018070255A1 (ja) 送信装置、送信方法、受信装置および受信方法
JP7195925B2 (ja) 送信装置、送信方法、受信装置および受信方法
KR102637361B1 (ko) 송신 장치, 송신 방법, 수신 장치 및 수신 방법
WO2016190089A1 (ja) 送信装置、送信方法、画像処理装置、画像処理方法、受信装置および受信方法
JP6989037B2 (ja) 送信装置、送信方法、受信装置および受信方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180601

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190110

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190122

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190312

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190326

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190408

R151 Written notification of patent or utility model registration

Ref document number: 6519329

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250