JP6958645B2 - 送信装置、送信方法、受信装置および受信方法 - Google Patents

送信装置、送信方法、受信装置および受信方法 Download PDF

Info

Publication number
JP6958645B2
JP6958645B2 JP2020004923A JP2020004923A JP6958645B2 JP 6958645 B2 JP6958645 B2 JP 6958645B2 JP 2020004923 A JP2020004923 A JP 2020004923A JP 2020004923 A JP2020004923 A JP 2020004923A JP 6958645 B2 JP6958645 B2 JP 6958645B2
Authority
JP
Japan
Prior art keywords
data
video data
stream
information
dynamic range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020004923A
Other languages
English (en)
Other versions
JP2020074572A (ja
Inventor
塚越 郁夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2019083495A external-priority patent/JP6658944B2/ja
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Priority to JP2020004923A priority Critical patent/JP6958645B2/ja
Publication of JP2020074572A publication Critical patent/JP2020074572A/ja
Application granted granted Critical
Publication of JP6958645B2 publication Critical patent/JP6958645B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本技術は、送信装置、送信方法、受信装置および受信方法に関し、詳しくは、ビデオストリームと共にグラフィックスデータや字幕データなどを持つ他のストリームを送信する送信装置等に関する。
通常ダイナミックレンジの伝送ビデオデータとハイダイナミックレンジの伝送ビデオデータとが混在して送信される場合がある。以下、適宜、通常ダイナミックレンジを「SDR」と表記すると共に、ハイダイナミックレンジを「HDR」と表記する。この場合、通常ダイナミックレンジの伝送ビデオデータは通常ダイナミックレンジビデオデータに通常ダイナミックレンジ光電変換を適用して得られたものであり、ハイダイナミックレンジの伝送ビデオデータはハイダイナミックレンジビデオデータにハイダイナミックレンジ光電変換を適用して得られたものである。例えば、非特許文献1には、従来受信機による受信を考慮した、従来の光電変換特性(ガンマ特性)との互換領域を含むHDR光電変換特性(新ガンマ特性)についての記載がある。
通常ダイナミックレンジの伝送ビデオデータとハイダイナミックレンジの伝送ビデオデータの切り替えは、例えば、番組切り替えやCM挿入のタイミングで発生する可能性がある。このような切り替えがある場合、受信側では電光変換特性を切り替えることが必要となるが、その切り替えに伴う画乱れが発生するか、あるいは画乱れを隠すために表示ミュートが行われる。
画乱れが顕著に知覚できる例として、放送サービスの一つとして存在する、いわゆる“dボタン”操作によるグラフィックス表示があげられる。この場合、番組やCMを跨いでグラフィックスの重畳がなされるが、小窓に表示されるビデオデータによる画像がSDRからHDRあるいはHDRからSDRに切り替わる際に、グラフィックス表示における色や明るさが変化することが起こる。
Tim Borer, "Non-Linear Opto-Electrical Transfer Functions for High Dynamic Range Television", Research & Development White Paper WHP 283, July 2014
本技術の目的は、ダイナミックレンジを異にする複数種類の伝送ビデオデータが混在して送信される場合にあって受信側における画乱れの発生を良好に防止可能とすることにある。
本技術の概念は、
複数の種類の伝送ビデオデータを切り替えて得られた伝送ビデオデータをコンポーネントデータとして持つ第1のコンポーネントストリームと共に、他のコンポーネントデータを持つ所定数の第2のコンポーネントストリームを含む所定フォーマットのコンテナを送信する送信部と、
上記各コンポーネントストリームに、それぞれのコンポーネントストリームが持つコンポーネントデータのダイナミックレンジ情報を挿入する情報挿入部を備える
送信装置にある。
本技術において、送信部により、複数の種類の伝送ビデオデータを切り替えて得られた伝送ビデオデータをコンポーネントデータとして持つ第1のコンポーネントストリームと共に、他のコンポーネントデータを持つ所定数の第2のコンポーネントストリームを含む所定フォーマットのコンテナが送信される。例えば、所定数の第2のコンポーネントストリームには、データ放送ストリームおよび/またはサブタイトルストリームが含まれる、ようにされてもよい。情報挿入部により、各コンポーネントストリームに、それぞれのコンポーネントストリームが持つコンポーネントデータのダイナミックレンジ情報が挿入される。
このように本技術においては、各コンポーネントストリームに、それぞれのコンポーネントストリームが持つコンポーネントデータのダイナミックレンジ情報を挿入するものである。そのため、受信側において各コンポーネントデータをそれぞれのダイナミックレンジ情報に基づいて表示性能に合うように輝度マッピング処理を施した後に合成して出力データを得ることが可能となる。
この場合、この出力データに施す電光変換の特性を固定できることから、電光変換特性の切り替えに起因する画乱れの発生を防止することが可能となる。例えば、ビデオデータによる画像と共にグラフィックス表示がされるときに、ビデオデータによる画像がSDRからHDRあるいはHDRからSDRに切り換わったとしても、グラフィックス表示における色や明るさが変化することはなくなる。また、この場合、各コンポーネントデータに表示性能に合うように輝度マッピング処理が施されることから、各コンポーネントデータによる表示を常に適切な輝度状態で表示することが可能となる。
なお、本技術において、例えば、情報挿入部は、各コンポーネントストリームに、それぞれのコンポーネントストリームが持つコンポーネントデータの色域情報をさらに挿入する、ようにされてもよい。この場合、受信側において各コンポーネントデータをそれぞれの色域情報に基づいて表示性能に合うように色域変換を施した後に合成して出力データを得ることが可能となり、各コンポーネントデータによる表示を常に適切な色状態で表示することが可能となる。
また、本技術において、例えば、コンテナのレイヤに、このコンテナに含まれる第1のコンポーネントストリームが持つ伝送ビデオデータの種類を示す識別情報を、切り替えタイミングより所定の時間量以上だけ前のタイミングから切り替え後の伝送ビデオデータの種類を示すように挿入する情報挿入部をさらに備える、ようにされてもよい。この場合、受信側において、切り替えタイミングより所定の時間量以上だけ前のタイミングから、伝送ビデオデータの種類の切り替えがあること、さらには切り替え後の伝送ビデオデータの種類の認識が可能となる。
また、本技術の他の概念は、
複数の種類の伝送ビデオデータを切り替えて得られた伝送ビデオデータをコンポーネントデータとして持つ第1のコンポーネントストリームと共に、他のコンポーネントデータを持つ所定数の第2のコンポーネントストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
上記各コンポーネントストリームに、それぞれのコンポーネントストリームが持つコンポーネントデータのダイナミックレンジ情報が挿入されており、
上記各コンポーネントストリームをデコードして複数のコンポーネントデータを得、該得られた複数のコンポーネントデータを合成して出力データを得る処理部をさらに備え、
上記処理部は、
上記各コンポーネントデータを、それぞれのダイナミックレンジ情報に基づいて表示性能に合うように輝度マッピング処理を施した後に合成して上記出力データを得る
受信装置にある。
本技術において、受信部により、複数の種類の伝送ビデオデータを切り替えて得られた伝送ビデオデータをコンポーネントデータとして持つ第1のコンポーネントストリームと共に、他のコンポーネントデータを持つ所定数の第2のコンポーネントストリームを含む所定フォーマットのコンテナが受信される。各コンポーネントストリームに、それぞれのコンポーネントストリームが持つコンポーネントデータのダイナミックレンジ情報が挿入されている。
処理部により、各コンポーネントストリームがデコードされて複数のコンポーネントデータが得られ、この複数のコンポーネントデータが合成されて出力データが得られる。処理部では、各コンポーネントデータが、それぞれのダイナミックレンジ情報に基づいて表示性能に合うように輝度マッピング処理が施された後に合成されて、出力データが得られる。
このように本技術においては、各コンポーネントデータを、それぞれのダイナミックレンジ情報に基づいて表示性能に合うように輝度マッピング処理を施した後に合成して出力データを得るものである。そのため、この出力データに施す電光変換の特性を固定でき、電光変換特性の切り替えに起因する画乱れの発生を防止することが可能となる。また、各コンポーネントデータによる表示を常に適切な輝度状態で表示することが可能となる。
また、本技術において、例えば、各コンポーネントストリームに、それぞれのコンポーネントストリームが持つコンポーネントデータの色域情報がさらに挿入されており、処理部は、各コンポーネントデータを、それぞれの色域情報に基づいて表示性能に合うように色域変換処理を施した後に合成して出力データを得る、ようにされてもよい。この場合、各コンポーネントデータによる表示を常に適切な色状態で表示することが可能となる。
本技術によれば、ダイナミックレンジを異にする複数種類の伝送ビデオデータが混在して送信される場合にあって受信側における画乱れの発生を良好に防止できる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
実施の形態としての送受信システムの構成例を示すブロック図である。 サービス送信システムの構成例を示すブロック図である。 光電変換特性を説明するための図である。 伝送ビデオデータの切り換えタイミングと、換え後の伝送ビデオデータを識別するための識別情報の挿入タイミングとの関係を説明するための図である。 HDR・ビデオ・デスクリプタの構造例を示す図である。 HDR・ビデオ・デスクリプタの構造例における主要な情報の内容を示す図である。 HDR・サブタイトル・デスクリプタの構造例を示す図である。 MPEG−2 TSのトランスポートストリームの構造例を示す図である。 MMTのトランスポートストリームの構造例を示す図である。 サービス受信機の構成例を示すブロック図である。 表示性能がHDRである場合における輝度マッピング処理の概要を示す図である。 表示性能がHDRかつ広色域である場合における画面合成処理部の構成例を示すブロック図である。 輝度マッピング部の構成を説明するための図である。 表示性能がHDRであり、入力伝送ビデオデータがSDR伝送ビデオデータである場合における輝度マッピング部について説明するための図である。 表示性能がHDRであり、入力伝送ビデオデータがHDR伝送ビデオデータである場合における輝度マッピング部について説明するための図である。 表示性能がSDRであり、入力伝送ビデオデータがHDR伝送ビデオデータである場合における輝度マッピング部について説明するための図である。 放送サービスの一つとして存在する“dボタン”操作によるグラフィックス表示の例を示す図である。
以下、発明を実施するための形態(以下、「実施の形態」とする)について説明する。なお、説明を以下の順序で行う。
1.実施の形態
2.変形例
<1.実施の形態>
[送受信システムの構成例]
図1は、実施の形態としての送受信システム10の構成例を示している。この送受信システム10は、サービス送信システム100とサービス受信機200により構成されている。サービス送信システム100は、コンテナとしてのMPEG−2 TS(MPEG-2 Transport Stream)あるいはMMT(MPEG Media Transport)のトランスポートストリーム(多重化ストリーム)を生成し、このトランスポートストリームを放送波あるいはネットのパケットに載せて送信する。
このトランスポートストリームには、複数の種類の伝送ビデオデータを切り替えて得られた伝送ビデオデータをコンポーネントデータとして持つ第1のコンポーネントストリーム(ビデオストリーム)と共に、他のコンポーネントデータを持つ所定数の第2のコンポーネントストリームが含まれる。所定数の第2のコンポーネントストリームに、例えば、データサービスストリーム(データ放送ストリーム)および/またはサブタイトルストリームが含まれ、この実施の形態ではデータ放送ストリームおよびサブタイトルストリームが含まれる。データサービスストリームは、コンポーネントデータとして、例えば、グラフィックスデータ、イメージデータなどを持つ。サブタイトルストリームは、コンポーネントデータとして、字幕データを持つ。
各コンポーネントストリームに、それぞれのコンポーネントストリームが持つコンポーネントデータのダイナミックレンジ情報が挿入される。また、各コンポーネントストリームに、それぞれのコンポーネントストリームが持つコンポーネントデータの色域情報が挿入される。また、トランスポートストリームに、それに含まれる第1のコンポーネントストリームが持つ伝送ビデオデータの種類を示す識別情報が、切り替えタイミングより所定の時間量以上だけ前のタイミングから切り替え後の伝送ビデオデータの種類を示すように挿入される。
サービス受信機200は、サービス送信システム100から送信されてくる、上述のトランスポートストリーム(MPEG−2 TSあるいはMMTのトランスポートストリーム)を受信する。サービス受信機200は、各コンポーネントストリームをデコードして複数のコンポーネントデータを得、この得られた複数のコンポーネントデータを合成して出力データを得る。
この場合、各コンポーネントデータが、それぞれのダイナミックレンジ情報に基づいて表示性能に合うように輝度マッピング処理が施された後に合成されて、出力データが得られる。さらに、この実施の形態では、各コンポーネントデータが、それぞれの色域情報に基づいて表示性能に合うように色域変換処理が施された後に合成されて、出力データが得られる。
サービス受信機200は、この出力データに電光変換(電光変換特性は固定)を施して表示用画像データを得、この表示用画像データによる画像表示をする。
「サービス送信システムの構成例」
図2は、サービス送信システム100の構成例を示している。このサービス送信システム100は、制御部101と、ビデオエンコーダ102と、データサービスエンコーダ103と、静止画エンコーダ104と、サブタイトルエンコーダ105と、コンテナエンコーダ106と、送信部107を有している。
制御部101は、CPU(Central Processing Unit)を備えて構成され、制御プログラムに基づいて、サービス送信システム100の各部の動作を制御する。ビデオエンコーダ102は、入力される伝送ビデオデータに対して、例えば、MPEG4−AVCあるいはHEVCなどの符号化を施して符号化ビデオデータを得、この符号化ビデオデータを含む、コンポーネントストリームとしてのビデオストリームVSを生成する。このビデオストリームVSには、コンポーネントデータとしての伝送ビデオデータが含まれている。
入力される伝送ビデオデータは、複数の種類の伝送ビデオデータを切り替えて得られたものである。複数の種類の伝送ビデオデータには、例えば、通常ダイナミックレンジの伝送ビデオデータとハイダイナミックレンジの伝送ビデオデータが含まれる。ここで、通常ダイナミックレンジの伝送ビデオデータは、通常ダイナミックレンジビデオデータに通常ダイナミックレンジ光電変換を適用して得られたものである。また、ハイダイナミックレンジの伝送ビデオデータは、ハイダイナミックレンジビデオデータにハイダイナミックレンジ光電変換を適用して得られたものである。
図3は、物理空間の線形な光の輝度を有限帯域の伝送空間に変換する際に用いられる、非線形な輝度符号値特性を表す、いわゆる光電変換特性の例を示している。この図において、横軸は入力輝度レベルを示し、縦軸は伝送符号値を示す。曲線aは、入力輝度レベルが0〜100%の通常ダイナミックレンジビデオデータに適用されるSDR光電変換特性の例を示している。また、曲線b1は、入力輝度レベルが0〜N*100%のハイダイナミックレンジビデオデータに適用されるHDR光電変換特性の例(SDR光電変換特性と互換性を持つ例)を示している。この例の場合、入力輝度レベルが互換限界値までは、SDR光電変換特性と一致している。入力輝度レベルが互換限界値であるとき、伝送符号値は互換レベルとなる。
また、曲線b2は、入力輝度レベルが0〜N*100%のハイダイナミックレンジビデオデータに適用されるHDR光電変換特性の例(SDR光電変換特性と互換性を持たない例)を示している。さらに、曲線b3は、入力輝度レベルが0〜M*100%のハイダイナミックレンジビデオデータに適用されるHDR光電変換特性の例(SDR光電変換特性と互換性を持たない例)を示している。ここで、N、Mはそれぞれ1より大きい数であり、M<Nである。なお、この例ではM<Nとしているが、一般的な場合も含めると、b2とb3の最高輝度の関係は、M≧Nでもよい。
図2に戻って、ビデオエンコーダ102には、入力される伝送ビデオデータのダイナミックレンジ情報および色域情報が入力される。ビデオエンコーダ102は、このダイナミックレンジ情報および色域情報を、ビデオストリームVSに挿入する。ここで、ダイナミックレンジ情報は、伝送ビデオデータが持つ光電変換特性に対応した電光変換特性を示す情報(transfer function)である。
このとき、ビデオエンコーダ102は、アクセスユニット(AU)のSPS NALユニットのVUI(video usability information)の領域に、伝送ビデオデータが持つ光電変換特性に対応した電光変換特性を示す情報(transfer function)、伝送ビデオデータの色域情報、リファレンスレベルを示す情報などのメタ情報を挿入する。また、ビデオエンコーダ102は、アクセスユニット(AU)の“SEIs”の部分に、伝送ビデオデータが持つ光電変換特性に対応した電光変換特性を示す情報(transfer function)、リファレンスレベルの情報などのメタ情報を持つSEIメッセージ(SEI message)を挿入する。
ここで、SEIメッセージに、電光変換特性を示す情報を持たせるのは、伝送ビデオデータがHDR伝送ビデオデータであっても、HDR光電変換特性がSDR光電変換特性と互換性を持つ場合、SPS NALユニットのVUIには、従来のSDR対応受信機が識別できるようにSDR光電変換特性に対応した電光変換特性(ガンマ特性)を示す情報が挿入されるので、HDR対応受信機が受信したビデオがHDRであることを識別できるためにはVUI以外の場所にHDR光電変換特性に対応した電光変換特性を示す情報が必要となるからである。
また、SEIメッセージに、リファレンスレベルの情報を持たせるのは、伝送ビデオデータV1がSDR伝送ビデオデータであるとき、SPS NALユニットのVUIにSDR光電変換特性に対応した電光変換特性(ガンマ特性)を示す情報が挿入されるが、リファレンスレベルを挿入することに関しては規格明記がないからである。
この場合、電光変換特性を示す情報(transfer function)により、例えば、「BT.709-5 Transfer Function(SDR)」、「10bit BT.2020 Transfer Function(SDR)」、「SMPTE 2084 Transfer Function(HDR1)」、「HDR(HDR2)」などの電光変換特性が示される。なお、「HDR(HDR2)」は、“Human Visual System”をサポートする特性ではなく、従来からのガンマ特性に部分的に同種の特性を有する変換特性になる。また、色域情報により、「BT.709-5」、「BT.2020」、「SMPTE 428 or XYZ」などの色域が示される。
静止画エンコーダ104は、入力されるイメージデータに対して、例えば、JPEGの符号化を施して符号化ビデオデータを得る。静止画エンコーダ104には、イメージデータのダイナミックレンジ情報および色域情報が入力される。静止画エンコーダ104は、このダイナミックレンジ情報および色域情報を、符号化データに挿入する。ここで、ダイナミックレンジ情報は、イメージデータが持つ光電変換特性に対応した電光変換特性を示す情報(transfer function)である。
静止画エンコーダ104は、電光変換特性を示す情報(transfer function)に関しては、例えば、JPEG規格で定義されているエグジフ(Exif: Exchangeable image file format)規格で定めるガンマ・タグ(Gamma tag)の値(Value)を用いる。現状では“16(Gamma = BT.709-5 Transfer Function(SDR))”が定義されているが、他の値に「10bit BT.2020 Transfer Function(SDR)」、「SMPTE 2084 Transfer Function(HDR1)」、「HDR(HDR2)」などを定義して用いる。
また、静止画エンコーダ104は、色域情報に関しては、例えば、JPEG規格で定義されているエグジフ(Exif)規格で定めるカラースペース・タグ(ColorSpace tag)の値(Value)を用いる。現状では“1(sRGB = BT.709-5)”が定義されているが、他の値に「BT.2020」、「SMPTE 428 or XYZ」などを定義して用いる。
データサービスエンコーダ103は、入力されるグラフィックスデータ、さらには静止画エンコーダ104から入力される符号化データに対してエンコード処理を施して、コンポーネントストリームとしてのデータサービスストリームDSを生成する。このデータサービスストリームDSには、コンポーネントデータとして、イメージデータおよびグラフィックスデータが含まれている。
データサービスエンコーダ103には、グラフィックスデータのダイナミックレンジ情報および色域情報が入力される。データサービスエンコーダ103は、このダイナミックレンジ情報および色域情報を、データサービスストリームDSに挿入する。ここで、ダイナミックレンジ情報は、グラフィックスデータが持つ光電変換特性に対応した電光変換特性を示す情報(transfer function)である。
データサービスエンコーダ103は、電光変換特性を示す情報(transfer function)に関しては、例えば、ダイナミックレンジ情報「D_range」を拡張定義し、「BT.709-5 Transfer Function(SDR)」、「10bit BT.2020 Transfer Function(SDR)」、「SMPTE 2084 Transfer Function(HDR1)」、「HDR(HDR2)」などを示す。また、データサービスエンコーダ103は、色域情報に関しては、例えば、「gfx.color_management.mode」の項目を用いて、「BT.709-5」、「BT.2020」、「SMPTE 428 or XYZ」などの色域が示す。
サブタイトルエンコーダ105は、入力される字幕データに対してエンコード処理を施して、コンポーネントストリームとしてのサブタイトルストリームSSを生成する。このサブタイトルストリームSSには、コンポーネントデータとして、字幕データが含まれている。詳細説明は省略するが、このサブタイトルストリームSSには、TTML(Timed Text Markup Language)等の字幕のテキスト情報が含まれるか、あるいは字幕のビットマップデータが含まれる。
サブタイトルエンコーダ105には、字幕データのダイナミックレンジ情報および色域情報が入力される。サブタイトルエンコーダ105は、このダイナミックレンジ情報および色域情報を、サブタイトルストリームSSに挿入する。
サブタイトルエンコーダ105は、サブタイトルストリームSSが字幕のテキスト情報としてのTTMLを含む場合には、例えば、TTML構造のヘッダに存在するメタデータ(metadata)の要素を利用して、サブタイトルデータに係る色域識別情報およびダイナミックレンジ情報の挿入を行うか、あるいはTTML構造のヘッダに存在するスタイリング・エクステンション(styling extension)の要素を利用して、サブタイトルデータに係る色域識別情報およびダイナミックレンジ情報の挿入を行うか、あるいはサブタイトルストリームSSにサブタイトルデータに係る色域識別情報およびダイナミックレンジ情報を含むセグメントを挿入する。
一方、サブタイトルエンコーダ105は、サブタイトルストリームSSが字幕のビットマップデータを含む場合には、例えば、サブタイトルストリームSSにサブタイトルデータに係る色域識別情報およびダイナミックレンジ情報を含むセグメントを挿入する。
この場合、電光変換特性を示す情報(transfer function)により、例えば、「BT.709-5 Transfer Function(SDR)」、「10bit BT.2020 Transfer Function(SDR)」、「SMPTE 2084 Transfer Function(HDR1)」、「HDR(HDR2)」などの電光変換特性が示される。なお、「HDR(HDR2)」は、PQカーブではなく、いわゆるハイブリッドガンマと称されるものである。また、色域情報により、「BT.709-5」、「BT.2020」、「SMPTE 428 or XYZ」などの色域が示される。
コンテナエンコーダ106は、ビデオエンコーダ102で生成されたビデオストリームVS、データサービスエンコーダ103で生成されたデータサービスストリームDSおよびサブタイトルエンコーダ105で生成されたサブタイトルストリームSSを含むトランスポートストリーム(MPEG−2 TSあるいはMMTのトランスポートストリーム)を生成する。送信部107は、このトランスポートストリームを、放送波あるいはネットのパケットに載せて、サービス受信機200に送信する。
この際、コンテナエンコーダ106は、トランスポートストリームに、それに含まれるビデオストリームVSが持つ伝送ビデオデータの種類を示す識別情報を、この伝送ビデオデータの種類の切り替えタイミングより所定の時間量以上だけ前のタイミングから切り替え後の伝送ビデオデータの種類を示すように挿入する。このように識別情報の挿入が管理されることで、受信側に、伝送ビデオデータの動的な切り替えが通知される。
図4は、SDR伝送ビデオデータ(SDRサービス)とHDR伝送ビデオデータ(HDRサービス)の切り換えタイミングSn(S0,S1,S2,・・・)と、切換え後の伝送ビデオデータを識別するための識別情報の挿入タイミングTn(T0,T1,T2,・・・)の関係を示している。以下の(1)式を満足するように、タイミングTnはタイミングSnよりもt(所定の時間量)以上だけ前のタイミングとされる。なお、図示の例は、Sn−Tn = t (ただし、tは正値)である場合を示している。
Sn−Tn ≧ t ・・・(1)
コンテナエンコーダ109は、ビデオストリームVSに対応させて、例えば、新規定義する、HDR・ビデオ・デスクリプタ(HDR_vido_descriptor)を挿入する。このデスクリプタは、例えば、トランスポートストリームがMPEG−2 TSのトランスポートストリームであるときには、プログラム・マップ・テーブル(PMT:Program Map Table)の配下、あるいはインベント・インフォメーション・テーブル(EIT:Event Information Table)の配下に挿入される。また、このデスクリプタは、トランスポートストリームがMMTのトランスポートストリームであるときには、MPテーブル(MPT:MMT Package Table)の配下、あるいは、インベント・インフォメーション・テーブル(EIT:Event Information Table)の配下に挿入される。
図5は、HDR・ビデオ・デスクリプタの構造例(Syntax)を示し、図6は、その構造例における主要な情報の内容(Semantics)を示している。「descriptor_tag」の8ビットフィールドは、デスクリプタのタイプを示し、ここでは、HDR・ビデオ・デスクリプタであることを示す。「descriptor_length」の8ビットフィールドは、デスクリプタの長さ(サイズ)を示し、デスクリプタの長さとして以降のバイト数を示す。
「HDR_SDR_flag」の1ビットのフラグ情報は、対象のストリームがHDRストリームであるかSDRストリームであるかを示す。“1”はHDRストリームであることを示し、“0”はSDRストリームであることを示す。「video_characteristics_info_flag」の1ビットのフラグ情報は、特性情報があるか否かを示す。“1”は特性情報があることを示し、“0”は特性情報がないことを示す。
「video_characteristics_info_flag」が“1”であるとき、「transferfunction」、「color_space」および「referencelevel」の各8ビットフィールドが存在する。「transferfunction」の8ビットフィールドは、電光変換特性(EOTF特性)を示す。つまり、このフィールドは、伝送ビデオデータが持つ光電変換特性に対応した電光変換特性を示す。例えば、“1”は「BT.709-5 Transfer Function(SDR)」を示し、“14”は「10bit BT.2020 Transfer Function(SDR)」を示し、“16”は「SMPTE 2084 Transfer Function(HDR1)」を示し、“25”は「HDR(HDR2)」を示す。なお、「HDR(HDR2)」は、HDR電光変換特性を示すが、PQカーブではなく、従来ガンマ特性と輝度・伝送特性において部分的な互換性をもつ、あるいはそれに近似する特性をもつと考えられるものである。
「color_space」の8ビットフィールドは、色空間を示す。例えば、“1”は「BT.709-5」を示し、“9”は「BT.2020」を示し、“10”は「SMPTE 428 or XYZ」を示す。
「referencelevel」の8ビットフィールドは、基準レベル(リファレンスレベル)を示す。この場合、基準レベルとして、最大「1」に正規化された相対範囲の中を0〜100の値で指定した値が記述される。受信側では、この値を100で割ったものが正規化された相対基準レベルとして認識される。「content_peak_luminance」の8ビットフィールドは、画像に含まれる伝送符号のピーク値に対応する輝度の相対値(%表現)を示す。この相対値は、例えば、後述するニー(knee)カーブを制御するために役立つ。
また、コンテナエンコーダ106は、トランスポートストリームに、それに含まれるサブタイトルストリームSSが持つ字幕データの種類、つまりSDRデータであるかHDRデータであるかを示す識別情報を、この字幕データの種類の切り替えタイミングより所定の時間量以上だけ前のタイミングから切り替え後の字幕データの種類を示すように挿入する。このように識別情報の挿入が管理されることで、受信側に、字幕データの動的な切り替えが通知される。
コンテナエンコーダ109は、サブタイトルストリームSSに対応させて、例えば、新規定義する、HDR・サブタイトル・デスクリプタ(HDR_subtitle_descriptor)を挿入する。このデスクリプタは、例えば、トランスポートストリームがMPEG−2 TSのトランスポートストリームであるときには、プログラム・マップ・テーブル(PMT:Program Map Table)の配下に挿入される。また、このデスクリプタは、トランスポートストリームがMMTのトランスポートストリームであるときには、MPテーブル(MPT:MMT Package Table)の配下に挿入される。
図7は、HDR・サブタイトル・デスクリプタの構造例(Syntax)を示している。「descriptor_tag」の8ビットフィールドは、デスクリプタのタイプを示し、ここでは、HDR・サブタイトル・デスクリプタであることを示す。「descriptor_length」の8ビットフィールドは、デスクリプタの長さ(サイズ)を示し、デスクリプタの長さとして以降のバイト数を示す。
「HDR_SDR_flag」の1ビットのフラグ情報は、対象のストリームがHDRストリームであるかSDRストリームであるかを示す。“1”はHDRストリームであることを示し、“0”はSDRストリームであることを示す。「subtitle_characteristics_info_flag」の1ビットのフラグ情報は、特性情報があるか否かを示す。“1”は特性情報があることを示し、“0”は特性情報がないことを示す。「subtitle_characteristics_info_flag」が“1”であるとき、「transferfunction」、「color_space」および「referencelevel」の各8ビットフィールドが存在する。
「transferfunction」の8ビットフィールドは、電光変換特性(EOTF特性)を示す。つまり、このフィールドは、伝送ビデオデータが持つ光電変換特性に対応した電光変換特性を示す。例えば、“1”は「BT.709-5 Transfer Function(SDR)」を示し、“14”は「10bit BT.2020 Transfer Function(SDR)」を示し、“16”は「SMPTE 2084 Transfer Function(HDR1)」を示し、“25”は「HDR(HDR2)」を示す。なお、「HDR(HDR2)」は、HDR電光変換特性を示すが、PQカーブではなく、従来ガンマ特性と輝度・伝送特性において部分的な互換性をもつ、あるいはそれに近似する特性をもつと考えられるものである。
「color_space」の8ビットフィールドは、色空間を示す。例えば、“1”は「BT.709-5」を示し、“9”は「BT.2020」を示し、“10”は「SMPTE 428 or XYZ」を示す。「referencelevel」の8ビットフィールドは、基準レベル(リファレンスレベル)を示す。この場合、基準レベルとして、最大「1」に正規化された相対範囲の中を0〜100の値で指定した値が記述される。受信側では、この値を100で割ったものが正規化された相対基準レベルとして認識される。
図8は、MPEG−2 TSのトランスポートストリームの構造例を示している。この構造例では、PID1で識別されるビデオストリームVSのPESパケット「Video PES」、PID2で識別されるサブタイトルストリームSSのPESパケット「Subtitle PES」が存在する他、カルーセル(carousel)方式で伝送されるデータサービスストリームDSが存在する。なお、サブタイトルストリームSSは上記のようにPESで伝送される以外にも、データサービス同様に、カルーセル方式で伝送される場合もあるが、それによってサブタイトルストリームSSの中身に変化はない。
また、トランスポートストリームTSには、PSI(Program Specific Information)として、プログラム・マップ・テーブル(PMT:Program Map Table)が含まれている。PSIは、トランスポートストリームに含まれる各エレメンタリストリームがどのプログラムに属しているかを記した情報である。PMTには、プログラム全体に関連する情報を記述するプログラム・ループ(Program loop)が存在する。
PMTには、各エレメンタリストリームに関連した情報を持つエレメンタリストリーム・ループが存在する。この構造例では、ビデオストリームVSに対応したビデオ・エレメンタリストリーム・ループ(Video ES loop)と、サブタイトルストリームSSに対応したサブタイトル・エレメンタリストリーム・ループ(Subtitle ES loop)が存在する。
ビデオ・エレメンタリストリーム・ループには、ビデオストリームVSに対応して、ストリームタイプ、PID(パケット識別子)等の情報が配置されると共に、そのビデオストリームVSに関連する情報を記述するデスクリプタも配置される。このデスクリプタの一つとして、上述した、HDR・ビデオ・デスクリプタ(図5参照)が配置される。なお、このHDR・ビデオ・デスクリプタが、破線図示するように、イベント・インフォメーション・テーブル(EIT:Event Information Table)の配下に配置する構造も考えられる。
また、サブタイトル・エレメンタリストリーム・ループには、サブタイトルストリームSSに対応して、ストリームタイプ、PID(パケット識別子)等の情報が配置されると共に、そのビデオストリームVSに関連する情報を記述するデスクリプタも配置される。このデスクリプタの一つとして、上述した、HDR・サブタイトル・デスクリプタ(図7参照)が配置される。
図9は、MMTのトランスポートストリームの構造例を示している。MMTのトランスポートストリームには、パケットタイプが“MPU”である場合、ID1で識別されるビデオストリームVSのMPUパケット「MPU video」と、ID2で識別されるサブタイトルストリームSSのMPUパケット「MPU subtitle」が配置される。また、このMMTのトランスポートストリームには、パケットタイプが“non-timed packet”である場合、データサービスストリームDSが配置される。
また、MMTのトランスポートストリームには、パケットタイプが“message”である場合、種々のメッセージパケットが配置される。このメッセージパケットの一つとしてPA(Packet Access)メッセージパケットがある。PAメッセージパケットには、MPTなどのテーブルが含まれている。
MPTには、アセットとしてのビデオストリームVSに対応して、アセットタイプ(Asset_type)、パケットID(Packet_id)等の情報が配置されると共に、そのビデオストリームVSに関連する情報を記述するデスクリプタも配置される。このデスクリプタの一つとして、上述した、HDR・ビデオ・デスクリプタ(図5参照)が配置される。なお、このHDR・ビデオ・デスクリプタが、破線図示するように、イベント・インフォメーション・テーブル(EIT:Event Information Table)の配下に配置する構造も考えられる。
また、MPTには、アセットとしてのサブタイトルストリームSSに対応して、アセットタイプ(Asset_type)、パケットID(Packet_id)等の情報が配置されると共に、そのサブタイトルストリームSSに関連する情報を記述するデスクリプタも配置される。このデスクリプタの一つとして、上述した、HDR・サブタイトル・デスクリプタ(図7参照)が配置される。
図2に示すサービス送信システム100の動作を簡単に説明する。ビデオエンコード102に伝送ビデオデータが入力されると共に、この伝送ビデオデータのダイナミックレンジ情報および色域情報が入力される。ここで、ダイナミックレンジ情報は、伝送ビデオデータが持つ光電変換特性に対応した電光変換特性を示す情報(transfer function)である。
このように入力される伝送ビデオデータは、複数の種類の伝送ビデオデータを切り替えて得られたものである。複数の種類の伝送ビデオデータには、例えば、通常ダイナミックレンジビデオデータに通常ダイナミックレンジ光電変換を適用して得られた通常ダイナミックレンジの伝送ビデオデータと、ハイダイナミックレンジビデオデータにハイダイナミックレンジ光電変換を適用して得られたハイダイナミックレンジの伝送ビデオデータが含まれる。
ビデオエンコーダ102では、伝送ビデオデータに対して、例えば、MPEG4−AVCあるいはHEVCなどの符号化が施されて符号化ビデオデータが得られ、この符号化ビデオデータを含む、コンポーネントストリームとしてのビデオストリームVSが生成される。このビデオストリームVSには、コンポーネントデータとしての伝送ビデオデータが含まれている。
また、ビデオエンコーダ102では、このようにビデオストリームVSが生成されるとき、このビデオストリームVSにダイナミックレンジ情報および色域情報を挿入することが行われる。この場合、アクセスユニット(AU)のSPS NALユニットのVUI(video usability information)の領域に、伝送ビデオデータが持つ光電変換特性に対応した電光変換特性を示す情報(transfer function)、伝送ビデオデータの色域情報、リファレンスレベルを示す情報などのメタ情報が挿入される。また、この場合、アクセスユニット(AU)の“SEIs”の部分に、伝送ビデオデータが持つ光電変換特性に対応した電光変換特性を示す情報(transfer function)、リファレンスレベルの情報などのメタ情報を持つSEIメッセージ(SEI message)が挿入される。
また、静止画エンコーダ104にイメージデータが入力されると共に、このイメージデータのダイナミックレンジ情報および色域情報が入力される。ここで、ダイナミックレンジ情報は、伝送ビデオデータが持つ光電変換特性に対応した電光変換特性を示す情報(transfer function)である。
静止画エンコーダ104では、イメージデータに対して、例えば、JPEGの符号化が施されて符号化ビデオデータが得られる。このとき、符号化データに、ダイナミックレンジ情報および色域情報が挿入される。この場合、電光変換特性を示す情報(transfer function)に関しては、例えば、JPEG規格で定義されているエグジフ(Exif: Exchangeable image file format)規格で定めるガンマ・タグ(Gamma tag)の値(Value)を用いて挿入される。また、色域情報に関しては、例えば、JPEG規格で定義されているエグジフ(Exif)規格で定めるカラースペース・タグ(ColorSpace tag)の値(Value)を用いて挿入される。
また、データサービスエンコーダ103には、グラフィックスデータが入力されると共に、このグラフィックスデータのダイナミックレンジ情報および色域情報が入力される。ここで、ダイナミックレンジ情報は、伝送ビデオデータが持つ光電変換特性に対応した電光変換特性を示す情報(transfer function)である。このデータサービスエンコーダ103には、さらに、静止画エンコーダ104で得られた符号化データが入力される。
データサービスエンコーダ103では、グラフィックスデータ、さらには静止画エンコーダ104から入力される符号化データに対してエンコード処理が施されて、コンポーネントストリームとしてのデータサービスストリームDSが生成される。このデータサービスストリームDSには、コンポーネントデータとして、イメージデータおよびグラフィックスデータが含まれている。
また、データサービスエンコーダ103では、このようにデータサービスストリームDSが生成されるとき、このデータサービスストリームDSにダイナミックレンジ情報および色域情報を挿入することが行われる。この場合、電光変換特性を示す情報(transfer function)に関しては、例えば、ダイナミックレンジ情報「D_range」を拡張定義することで挿入される。また、色域情報に関しては、例えば、「gfx.color_management.mode」の項目を用いて挿入される。
また、サブタイトルエンコーダ105には、字幕データが入力されると共に、この字幕データのダイナミックレンジ情報および色域情報が入力される。ここで、ダイナミックレンジ情報は、伝送ビデオデータが持つ光電変換特性に対応した電光変換特性を示す情報(transfer function)である。
サブタイトルエンコーダ105では、字幕データに対してエンコード処理が施されて、コンポーネントストリームとしてのサブタイトルストリームSSが生成される。このサブタイトルストリームSSには、コンポーネントデータとして、字幕データ(TTML等の字幕のテキスト情報、あるいは字幕のビットマップデータ)が含まれている。
また、サブタイトルエンコーダ105では、このようにサブタイトルストリームSSが生成されるとき、このサブタイトルストリームSSにダイナミックレンジ情報および色域情報を挿入することが行われる。
ここで、サブタイトルストリームSSが字幕のテキスト情報としてのTTMLを含む場合には、例えば、TTML構造のヘッダに存在するメタデータ(metadata)の要素を利用してサブタイトルデータに係る色域識別情報およびダイナミックレンジ情報が挿入される。また、サブタイトルストリームSSが字幕のビットマップデータを含む場合には、例えば、サブタイトルストリームSSにサブタイトルデータに係る色域識別情報およびダイナミックレンジ情報を含むセグメントが挿入される。
ビデオエンコーダ102で生成されたビデオストリームVS、データサービスエンコーダ103で生成されたデータサービスストリームDSおよびサブタイトルエンコーダ105で生成されたサブタイトルストリームSSは、コンテナエンコーダ106に供給される。コンテナエンコーダ106では、各ストリームを含むトランスポートストリーム(MPEG−2 TSあるいはMMTのトランスポートストリーム)が生成される。
また、コンテナエンコーダ102では、このようにトランスポートストリームが生成されるとき、このトランスポートストリームに、それに含まれるビデオストリームVSが持つ伝送ビデオデータの種類を示す識別情報が、ビデオストリームVSの切り替えタイミングより所定の時間量以上だけ前のタイミングから切り替え後の伝送ビデオデータの種類を示すように挿入される。具体的には、ビデオストリームVSに対応して、HDR・ビデオ・デスクリプタ(図5参照)が挿入される。また、コンテナエンコーダ102では、このトランスポートストリームに、さらに、サブタイトルストリームSSに対応して、HDR・サブタイトル・デスクリプタ(図7参照)が挿入される。
コンテナエンコーダ106で生成されたトランスポートストリームは、送信部107に供給される。このトランスポートストリームは、送信部107により、放送波あるいはネットのパケットに載せて、サービス受信機200に送信される。
「サービス受信機の構成例」
図10は、サービス受信機200の構成例を示している。このサービス受信機200は、制御部201と、受信部202と、コンテナデコーダ203と、ビデオデコーダ204と、データサービスデコーダ205と、静止画デコーダ206と、サブタイトルデコーダ207と、OSD部208と、画面合成処理部209と、モニタ210を有している。
制御部201は、CPU(Central Processing Unit)を備えて構成され、制御プログラムに基づいて、サービス受信機200の各部の動作を制御する。受信部202は、サービス送信システム100(図2参照)から放送波あるいはネットのパケットに載せて送られてくるコンテナとしてのトランスポートストリーム(MPEG−2 TSあるいはMMTのトランスポートストリーム)を受信する。コンテナデコーダ203は、トランスポートストリームから、ビデオストリームVS、データサービスストリームDSおよびサブタイトルストリームSSを抽出する。
また、コンテナデコーダ203は、トランスポートストリームに挿入されている種々の情報を抽出し、制御部201に送る。この情報には、上述した、伝送ビデオデータの識別情報が記述された、HDR・ビデオ・デスクリプタ(図5参照)、HDR・サブタイトル・デスクリプタ(図7参照)も含まれる。
制御部201は、HDR・ビデオ・デスクリプタの記述に基づいて、ビデオストリームVsに含まれる伝送ビデオデータがSDR伝送ビデオデータであるか、HDR伝送ビデオデータであるかを認識する。上述したように、伝送ビデオデータの種類の識別情報は、この伝送ビデオデータの種類の切り替えタイミングより所定の時間量以上だけ前のタイミングから切り替え後の伝送ビデオデータの種類を示すように、トランスポートストリームに挿入されている。
また、制御部201は、HDR・サブタイトル・デスクリプタの記述に基づいて、サブタイトルストリームSSが持つ字幕データの種類、つまりSDRデータであるかHDRデータであるかを認識する。上述したように、字幕データの種類の識別情報は、この字幕データの種類の切り替えタイミングより所定の時間量以上だけ前のタイミングから切り替え後の伝送ビデオデータの種類を示すように、トランスポートストリームに挿入されている。
ビデオデコーダ204は、コンテナデコーダ203で抽出されたビデオストリームVSに対してデコード処理を施して、伝送ビデオデータを得ると共に、この伝送ビデオデータのダイナミックレンジ情報および色域情報を得る。ここで、ダイナミックレンジ情報は、伝送ビデオデータが持つ光電変換特性に対応した電光変換特性を示す情報(transfer function)である。
データサービスデコーダ205は、コンテナデコーダ203で抽出されたデータサービスストリームDSに対してデコード処理を施して、グラフィックスデータ(ビットマップデータ)を得ると共に、このグラフィックスデータのダイナミックレンジ情報および色域情報を得、さらにイメージデータに係る符号化データを得る。静止画デコーダ206は、データサービスデコーダ205で得られた符号化データに対してデコード処理を施して、イメージデータを得ると共に、このイメージデータのダイナミックレンジ情報および色域情報を得る。
サブタイトルデコーダ207は、コンテナデコーダ203で抽出されたサブタイトルストリームSSに対してデコード処理を施して、字幕データ(ビットマップデータ)を得ると共に、この字幕データのダイナミックレンジ情報および色域情報を得る。OSD部208は、OSD(On-screen display)用のグラフィックスデータ(ビットマップデータ)を出力すると共に、このグラフィックスデータのダイナミックレンジ情報および色域情報を出力する。
画面合成処理部209は、ビデオデコーダ204で得られた伝送ビデオデータ、データサービスデコーダ205で得られたグラフィックスデータ、静止画デコーダ206で得られたイメージデータ、サブタイトルデコーダ207で得られた字幕データおよびOSD部208で得られたグラフィックスデータを合成して、モニタ210の表示性能に対応した表示用画像データを生成する。モニタ210は、HDRかつ広色域、あるいはSDRかつ通常色域などの表示性能を有し、表示用画像データによる画像を表示する。
画面合成処理部209は、各データを、それぞれのデータのダイナミックレンジ情報に基づいて表示性能に合うように輝度マッピング処理を施した後に合成する。また、画面合成処理部209は、各データを、それぞれのデータの色域情報に基づいて表示性能に合うように色域変換処理を施した後に合成する。
図11は、表示性能がHDRである場合における輝度マッピング処理の概要を示している。伝送ビデオデータやイメージデータに関しては、ダイナミックレンジ情報がHDRを示す場合にはデータビット表現範囲の最大値が明るさ最大レベルに対応するように輝度マッピング処理をし、ダイナミックレンジ情報がSDRを示す場合にはデータビット表現範囲の最大値が明るさ基準レベルに対応するように輝度マッピング処理をする。
また、グラフィックスデータや字幕データに関しては、ダイナミックレンジ情報がHDRを示す場合、つまりきらめき成分を有する場合にはデータビット表現範囲の最大値が明るさ最大レベルに対応するように輝度マッピング処理をし、ダイナミックレンジ情報がSDRを示す場合、つまりきらめき成分を有しない場合にはデータビット表現範囲の最大値が明るさ基準レベルに対応するように輝度マッピング処理をする。
この場合、明るさ基準レベルとしては、例えば、伝送ビデオデータ、イメージデータに対応して設定された明るさ基準レベル(referencelevel)(図5参照)を使用できる他、例えば、グラフィックスデータ、字幕データに対応して設定された明るさ基準レベル(referencelevel)(図7参照)を用いることもできる。また、この場合、伝送ビデオデータ、イメージデータに関しては、伝送ビデオデータ、イメージデータに対応して設定された明るさ基準レベル(referencelevel)を用い、グラフィックスデータ、字幕データに関しては、グラフィックスデータ、字幕データに対応して設定された明るさ基準レベル(referencelevel)を用いることもできる。また、明るさ基準レベルは、100nits(100%輝度)でもよいが、その明るさには限定されない。例えば、明るさ基準レベルは、200nits(200%輝度)あるいは300nits(300%輝度)などと、予め設定されるものになる。
図12は、表示性能がHDRかつ広色域である場合における画面合成処理部209の構成例を示している。この画面合成処理部209は、色域変換部211a,211b,211c,211dと、輝度マッピング部212a,212b,212c,212dと、合成部213と、HDR電光変換部214を有している。
ビデオデコーダ204から供給される伝送ビデオデータは、色変換部211aおよび輝度マッピング部212aの直列回路に供給される。色域変換部211aは、色域情報に基づいて、この伝送ビデオデータの色域をディスプレイの表示性能に合った広色域に変換する。例えば、伝送ビデオデータの色域が“BT.709-5 = sRGB”であって、表示性能に合った色域が“BT.2020 = ITUR2020”であるとき、伝送ビデオデータの色域は、“BT.709-5”から“BT.2020”に変換される。なお、伝送ビデオデータの色域が表示性能に合った広色域と同じであるとき、色域変換部212aは、実質的に何もせずに、入力データをそのまま出力する。
輝度マッピング部212aは、ダイナミックレンジ情報に基づいて、この伝送ビデオデータに、ハイダイナミックレンジの表示性能に合うように、輝度マッピングをする。輝度マッピング部212aは、図13に示すように、電光変換部(EOTF部)221と光電変換部(OETF部)222の直列回路で構成される。
電光変換部(EOTF部)221では、入力される伝送ビデオデータに、この伝送ビデオデータに適用されている光電変換特性(OETF特性)から、線形な光空間特性になるような変換が施される。光電変換部(OETF部)222では、電光変換部221の出力データに、HDR電光変換部214における電光変換特性(EOTF特性)とは逆の光電変換特性(OETF特性)による光電変換が施される。
ここで、入力伝送ビデオデータがSDR伝送ビデオデータである場合について説明する。この場合、輝度マッピング部212aでは、輝度マッピング処理が施されることで、SDR伝送ビデオデータからHDR伝送ビデオデータに変換される。この場合、輝度マッピング部212aは、図14(a)に示すように、SDR電光変換部231とHDR光電変換部232の直列回路で構成され、変換は明るさ基準レベルを元にSDRビット空間からHDRビット空間へと行われる。
SDR電光変換部231では、SDR伝送ビデオデータに、図14(b)に矢印aで示すSDR電光変換特性による電光変換が施される。この場合、入力されるSDR伝送ビデオデータの輝度レベル0〜100%は、リニアな光線空間で最大100nits(=100cd/m2)となる。ここで、100nitsは基準レベルの明るさを示す。なお、基準レベルの明るさは100nitsに限定されるものではなく、例えば、200nitsあるいは300nitsであってもよい。このことは、以下の他の例においても同様である。
また、HDR光電変換部232では、図14(c)に矢印bで示すHDR光電変換特性による光電変換が施される。この場合、SDR電光変換部231の出力データは、0〜N*100の伝送範囲のうちの0〜100に再割り当てされる。これにより、SDR伝送ビデオデータは当初符号化ビット幅いっぱいで表現されていたものが、HDR伝送ビデオデータとして再割り当てされた後は伝送範囲の部分的な範囲内に集約される。
次に、入力伝送ビデオデータがHDR伝送ビデオデータであって、このHDR伝送ビデオデータが持つ光電変換特性(OETF特性)がHDR電光変換部214における電光変換特性(EOTF特性)の逆特性に一致しない場合について説明する。なお、このHDR伝送ビデオデータが持つ光電変換特性がHDR電光変換部214における電光変換特性の逆特性と一致する場合には、輝度マッピング部212aは、実質的に何もせずに、入力データをそのまま出力する。
この場合、輝度マッピング部212aでは、輝度マッピング処理が施されることで、HDR1伝送ビデオデータからHDR2伝送ビデオデータに変換される。この場合、輝度マッピング部212aは、図15(a)に示すように、HDR1電光変換部241とHDR2光電変換部242の直列回路で構成される。
HDR1電光変換部241では、HDR1伝送ビデオデータに、図15(b)に矢印aで示すHDR1電光変換特性による電光変換が施される。この場合、入力されるHDR1伝送ビデオデータの輝度レベル0〜N*100%は、リニアな光線空間で最大N*100nits(=K1)に対応する。
そして、この場合、図示のようにHDR1のN*100%がHDR2のM*100%よりも大きいときは、HDR1電光変換部241では、さらに、電光変換入力の信号に対して、100〜N*100%の輝度レベルが、ニー(knee)カーブ(図15(b)に矢印bで示す)によって、100〜M*100%の輝度レベルとなるように輝度変換される。なお、図15(b)において、“K1”はN*100%に対応した輝度値[nits]を示し、“K2”はM*100%に対応した輝度値[nits]を示している。なお、図示は省略するが、HDR1のN*100%がHDR2のM*100%以下である場合には、このような輝度変換はされない。
また、HDR光電変換部242では、図15(c)に矢印cで示すHDR2光電変換特性による光電変換が施される。この場合、HDR電光変換部241の出力データが、0〜M*100の伝送範囲の全体に再割り当てされる。
図12に戻って、静止画デコーダ206から供給されるイメージデータは、色変換部211bおよび輝度マッピング部212bの直列回路に供給される。色域変換部211bは、色域情報に基づいて、このイメージデータの色域を表示性能に合った広色域に変換する。輝度マッピング部212bは、ダイナミックレンジ情報に基づいて、このイメージデータに、ハイダイナミックレンジの表示性能に合うように、輝度マッピングをする。なお、色変換部211b、輝度マッピング部212bの詳細については、上述の伝送ビデオデータに対応した色変換部211a、輝度マッピング部212aと同様であるので、省略する。
また、サブタイトルエンコーダ207から供給される字幕データは、色変換部211cおよび輝度マッピング部212cの直列回路に供給される。色域変換部211cは、色域情報に基づいて、この字幕データの色域を表示性能に合った広色域に変換する。輝度マッピング部212cは、ダイナミックレンジ情報に基づいて、この字幕データに、ハイダイナミックレンジの表示性能に合うように、輝度マッピングをする。なお、色変換部211c、輝度マッピング部212cの詳細については、上述の伝送ビデオデータに対応した色変換部211a、輝度マッピング部212aと同様であるので、省略する。
また、データサービスデコーダ205あるいはOSD部208から供給されるグラフィックスデータは、色変換部211dおよび輝度マッピング部212dの直列回路に供給される。色域変換部211dは、色域情報に基づいて、このグラフィックスデータの色域を表示性能に合った広色域に変換する。輝度マッピング部212dは、ダイナミックレンジ情報に基づいて、このグラフィックスデータに、ハイダイナミックレンジの表示性能に合うように、輝度マッピングをする。なお、色変換部211d、輝度マッピング部212dの詳細については、上述の伝送ビデオデータに対応した色変換部211a、輝度マッピング部212aと同様であるので、省略する。
色域変換および輝度マッピングの処理が行われた伝送ビデオデータ、イメージデータ、字幕データおよびグラフィックデータは合成部213に供給される。合成部213は、詳細説明は省略するが、画面構成情報に基づいて、各データを合成する。この合成部213の出力データは、HDR光電変換部214に供給される。このHDR光電変換部214は、合成部213の出力データにHDR電光変換特性による電光変換を施し、HDRかつ広色域の表示性能に対応した表示用画像データを得る。
なお、上述ではモニタ210がHDRかつ広色域の表示性能を有し、画面合成処理部209でHDRかつ広色域の表示性能に対応した表示用画像データを得る例について説明した。モニタ210がSDRかつsRGB等の通常色域の表示性能を有する場合、画面合成処理部209は、SDRかつ通常色域の表示性能に対応した表示用画像データを得るように構成される。
この場合、図12に示す画面合成処理部209において、各色域変換部では、色域情報に基づいて、各データの色域を表示性能に合った通常色域に変換することが行われる。また、図12に示す画面合成処理部209において、各輝度マッピング部では、ダイナミックレンジ情報に基づいて、各データに、通常ダイナミックレンジの表示性能に合うように、輝度マッピングが行われる。なお、図12に示す画面合成処理部209において、HDR電光変換部214は、SDR電光変換部となる。
ここで、入力伝送ビデオデータがHDR伝送ビデオデータである場合について説明する。この場合、輝度マッピング部では、輝度マッピング処理が施されることで、HDR伝送ビデオデータからSDR伝送ビデオデータに変換される。この場合、輝度マッピング部は、図16(a)に示すように、HDR電光変換部251とSDR光電変換部252の直列回路で構成される。
HDR電光変換部251では、HDR伝送ビデオデータに、図16(b)に矢印aで示すHDR電光変換特性による電光変換が施される。この場合、入力されるHDR伝送ビデオデータの輝度レベル0〜N*100%は、リニアな光線空間で最大N*100nits(=100cd/m2)となる。
そして、この場合、HDR電光変換部251では、さらに、電光変換入力の信号に対して、100%より低いP%の輝度レベルからN*100%の輝度レベルまでが、ニー(knee)カーブ(図16(b)に矢印bで示す)によって、SDR OETFの100%の伝送範囲以下の輝度レベルとなるように輝度変換される。
また、SDR光電変換部252では、図16(c)に矢印cで示すSDR光電変換特性による光電変換が施される。この場合、HDR電光変換部251の出力データが、0〜100の伝送範囲の全体に再割り当てされる。
図10に示すサービス受信機200の動作を簡単に説明する。受信部202では、サービス送信システム100から放送波あるいはネットのパケットに載せて送られてくるトランスポートストリーム(MPEG−2 TSあるいはMMTのトランスポートストリーム)が受信される。このトランスポートストリームは、コンテナデコーダ203に供給される。コンテナデコーダ203では、トランスポートストリームから、ビデオストリームVS、データサービスストリームDSおよびサブタイトルストリームSSが抽出される。
また、コンテナデコーダ203では、コンテナとしてのトランスポートストリームに挿入されている種々の情報が抽出され、制御部201に送られる。この情報には、上述した、HDR・ビデオ・デスクリプタ(図5参照)、HDR・サブタイトル・デスクリプタ(図7参照)も含まれる。
制御部201では、HDR・ビデオ・デスクリプタの記述に基づいて、ビデオストリームVsに含まれる伝送ビデオデータがSDR伝送ビデオデータであるか、HDR伝送ビデオデータであるかなどが認識される。また、制御部201では、HDR・サブタイトル・デスクリプタの記述に基づいて、サブタイトルストリームSSが持つ字幕データの種類、つまりSDRデータであるかHDRデータであるかなどが認識される。
コンテナデコーダ203で抽出されたビデオストリームVSは、ビデオデコーダ204に供給される。ビデオデコーダ204では、ビデオストリームVSに対してデコード処理が施され、伝送ビデオデータが得られると共に、この伝送ビデオデータのダイナミックレンジ情報および色域情報が得られる。
また、コンテナデコーダ203で抽出されたデータサービスストリームDSは、データサービスデコーダ205に供給される。データサービスデコーダ205では、データサービスストリームDSに対してデコード処理が施され、グラフィックスデータ(ビットマップデータ)が得られると共に、このグラフィックスデータのダイナミックレンジ情報および色域情報が得られ、さらにイメージデータに係る符号化データが得られる。
データサービスデコーダ205で得られたイメージデータに係る符号化データは、静止画デコーダ206に供給される。静止画デコーダ206では、符号化データに対してデコード処理が施され、イメージデータが得られると共に、このイメージデータのダイナミックレンジ情報および色域情報が得られる。
また、コンテナデコーダ203で抽出されたサブタイトルストリームSSは、サブタイトルデコーダ207に供給される。サブタイトルデコーダ207では、サブタイトルストリームSSに対してデコード処理が施され、字幕データ(ビットマップデータ)が得られると共に、この字幕データのダイナミックレンジ情報および色域情報が得られる。
ビデオデコーダ204で得られた伝送ビデオデータ、データサービスデコーダ205で得られたグラフィックスデータ、静止画デコーダ206で得られたイメージデータ、サブタイトルデコーダ207で得られた字幕データおよびOSD部208で得られたグラフィックスデータは、それぞれのダイナミックレンジ情報および色域情報と共に、画面合成処理部209に供給される。
画面合成処理部209では、各データが合成されて、モニタ210の表示性能に対応した表示用画像データが生成される。この場合、各データは、それぞれのデータの色域情報に基づいて表示性能に合うように色域変換処理が施され、さらに、それぞれのデータのダイナミックレンジ情報に基づいて表示性能に合うように輝度マッピング処理が施された後に、合成される。画面合成処理部209で生成された表示用画像データはモニタ210に供給され、このモニタ210に表示用画像データによる画像が表示される。
上述したように、図1に示す送受信システム10において、サービス送信システム100は、各コンポーネントストリーム(ビデオストリームVS、データサービスストリームDS、サブタイトルストリームSS)に、それぞれのコンポーネントストリームが持つコンポーネントデータ(伝送ビデオデータ、イメージデータ、グラフィックスデータ、字幕データ)のダイナミックレンジ情報を挿入する。そのため、受信側において各コンポーネントデータをそれぞれのダイナミックレンジ情報に基づいて表示性能に合うように輝度マッピング処理を施した後に合成して出力データを得ることが可能となる。
この場合、この出力データに施す電光変換の特性を固定できることから(図12のHDR電光変換部214参照)、電光変換特性の切り替えに起因する画乱れの発生を防止することが可能となる。例えば、ビデオデータによる画像と共にグラフィックス表示がされるときに、ビデオデータによる画像がSDRからHDRあるいはHDRからSDRに切り換わったとしても、グラフィックス表示における色や明るさが変化することはなくなる。また、この場合、各コンポーネントデータに表示性能に合うように輝度マッピング処理が施されることから、各コンポーネントデータによる表示を常に適切な輝度状態で表示することが可能となる。
例えば、図17(a),(b)は、放送サービスの一つとして存在する、いわゆる“dボタン”操作によるグラフィックス表示の例を示している。右上の小窓に伝送ビデオデータによる動画像が表示され、左下にイメージデータによる静止画像が表示されている。
図17(a)は、伝送ビデオデータがSDR伝送ビデオデータであるかHDR伝送ビデオデータであるかによって伝送ビデオデータに施す電光変換の特性を切り替える場合の例である。この場合には、SDRの画像表示時とHDRの画像表示時の切替えの際にグラフィックス表示の色や輝度が影響される。
図17(b)は、本技術のように、伝送ビデオデータがSDR伝送ビデオデータであるかHDR伝送ビデオデータであるかによらずに伝送ビデオデータに施す電光変換の特性を固定とする場合の例である。この場合には、SDRの画像表示時とHDRの画像表示時の切替えの際にグラフィックス表示の色や輝度が影響されるということがなくなる。
また、図1に示す送受信システム10において、サービス送信システム100は、各コンポーネントストリームに、それぞれのコンポーネントストリームが持つコンポーネントデータの色域情報を挿入する。そのため、受信側において各コンポーネントデータをそれぞれの色域情報に基づいて表示性能に合うように色域変換を施した後に合成して出力データを得ることが可能となり、各コンポーネントデータによる表示を常に適切な色状態で表示することが可能となる。
<2.変形例>
なお、上述実施の形態においては、サービス送信システム100およびサービス受信機200により構成される送受信システム10を示したが、本技術を適用し得る送受信システムの構成は、これに限定されるものではない。例えば、サービス受信機200が、例えば、HDMI(High-Definition Multimedia Interface)などのデジタルインタフェースで接続されたセットトップボックス(STB)およびモニタからなる構成であってもよい。なお、「HDMI」は、登録商標である。
また、上述実施の形態においては、コンテナがMPEG−2 TS(MPEG-2 Transport Stream)あるいはMMT(MPEG Media Transport)のトランスポートストリームである例を示した。しかし、本技術を適用し得るコンテナは、これに限定されるものではなく、MP4などの他のフォーマットのコンテナであってもよい。
また、本技術は、以下のような構成を取ることもできる。
(1)複数の種類の伝送ビデオデータを切り替えて得られた伝送ビデオデータをコンポーネントデータとして持つ第1のコンポーネントストリームと共に、他のコンポーネントデータを持つ所定数の第2のコンポーネントストリームを含む所定フォーマットのコンテナを送信する送信部と、
上記各コンポーネントストリームに、それぞれのコンポーネントストリームが持つコンポーネントデータのダイナミックレンジ情報を挿入する情報挿入部を備える
送信装置。
(2)上記情報挿入部は、
上記各コンポーネントストリームに、それぞれのコンポーネントストリームが持つコンポーネントデータの色域情報をさらに挿入する
前記(1)に記載の送信装置。
(3)上記コンテナのレイヤに、該コンテナに含まれる上記第1のコンポーネントストリームが持つ伝送ビデオデータの種類を示す識別情報を、切り替えタイミングより所定の時間量以上だけ前のタイミングから切り替え後の伝送ビデオデータの種類を示すように挿入する情報挿入部をさらに備える
前記(1)または(2)に記載の送信装置。
(4)上記所定数の第2のコンポーネントストリームには、データ放送ストリームおよび/またはサブタイトルストリームが含まれる
前記(1)から(3)のいずれかに記載の送信装置。
(5)送信部により、複数の種類の伝送ビデオデータを切り替えて得られた伝送ビデオデータをコンポーネントデータとして持つ第1のコンポーネントストリームと共に、他のコンポーネントデータを持つ所定数の第2のコンポーネントストリームを含む所定フォーマットのコンテナを送信する送信ステップと、
上記各コンポーネントストリームに、それぞれのコンポーネントストリームが持つコンポーネントデータのダイナミックレンジ情報を挿入する情報挿入ステップを有する
送信方法。
(6)複数の種類の伝送ビデオデータを切り替えて得られた伝送ビデオデータをコンポーネントデータとして持つ第1のコンポーネントストリームと共に、他のコンポーネントデータを持つ所定数の第2のコンポーネントストリームを含む所定フォーマットのコンテナを受信する受信部を備え、
上記各コンポーネントストリームに、それぞれのコンポーネントストリームが持つコンポーネントデータのダイナミックレンジ情報が挿入されており、
上記各コンポーネントストリームをデコードして複数のコンポーネントデータを得、該得られた複数のコンポーネントデータを合成して出力データを得る処理部をさらに備え、
上記処理部は、
上記各コンポーネントデータを、それぞれのダイナミックレンジ情報に基づいて表示性能に合うように輝度マッピング処理を施した後に合成して上記出力データを得る
受信装置。
(7)上記各コンポーネントストリームに、それぞれのコンポーネントストリームが持つコンポーネントデータの色域情報がさらに挿入されており、
上記処理部は、
上記各コンポーネントデータを、それぞれの色域情報に基づいて表示性能に合うように色域変換処理を施した後に合成して上記出力データを得る
前記(6)に記載の受信装置。
(8)受信部により、複数の種類の伝送ビデオデータを切り替えて得られた伝送ビデオデータをコンポーネントデータとして持つ第1のコンポーネントストリームと共に、他のコンポーネントデータを持つ所定数の第2のコンポーネントストリームを含む所定フォーマットのコンテナを受信する受信ステップを有し、
上記各コンポーネントストリームに、それぞれのコンポーネントストリームが持つコンポーネントデータのダイナミックレンジ情報が挿入されており、
上記各コンポーネントストリームをデコードして複数のコンポーネントデータを得、該得られた複数のコンポーネントデータを合成して出力データを得る処理ステップをさらに有し、
上記処理ステップでは、
上記各コンポーネントデータを、それぞれのダイナミックレンジ情報に基づいて表示性能に合うように輝度マッピング処理を施した後に合成して上記出力データを得る
受信方法。
本技術の主な特徴は、各コンポーネントストリームにそれぞれのコンポーネントストリームが持つコンポーネントデータのダイナミックレンジ情報を挿入して送信することで、受信側における電光変換の特性の固定を可能とし、電光変換特性の切り替えに起因する画乱れの発生を防止可能としたことである(図2参照)。
10・・・送受信システム
100・・・サービス送信システム
101・・・制御部
102・・・ビデオエンコーダ
103・・・データサービスエンコーダ
104・・・静止画エンコーダ
105・・・サブタイトルエンコーダ
106・・・コンテナエンコーダ
107・・・送信部
200・・・サービス受信機
201・・・制御部
202・・・受信部
203・・・コンテナデコーダ
204・・・ビデオデコーダ
205・・・データサービスデコーダ
206・・・静止画デコーダ
207・・・サブタイトルデコーダ
208・・・OSD部
209・・・画面合成処理部
210・・・モニタ
211a,211b,211c,211d・・・色域変換部
212a,212b,212c,212d・・・輝度マッピング部
213・・・合成部
214・・・HDR電光変換部
221・・・電光変換部(EOTF部)
222・・・光電変換部(OETF部)
231・・・SDR電光変換部
232・・・HDR光電変換部
241・・・HDR1電光変換部
242・・・HDR2光電変換部
251・・・HDR電光変換部
252・・・SDR光電変換部

Claims (4)

  1. ダイナミックレンジを異にする複数の伝送ビデオデータを切り替えて得られた伝送ビデオデータをコンポーネントデータとして持つビデオストリームを含む所定フォーマットのコンテナを送信する送信部と、
    上記コンテナのレイヤに、該コンテナに含まれる上記ビデオストリームが持つ伝送ビデオデータのダイナミックレンジ情報および色域情報を、切り替えタイミングより所定の時間量だけ前のタイミングから切り替え後の伝送ビデオデータのダイナミックレンジおよび色域を示すように挿入する情報挿入部を備える
    送信装置。
  2. 送信部により、ダイナミックレンジを異にする複数の伝送ビデオデータを切り替えて得られた伝送ビデオデータをコンポーネントデータとして持つビデオストリームを含む所定フォーマットのコンテナを送信する送信ステップと、
    上記コンテナのレイヤに、該コンテナに含まれる上記ビデオストリームが持つ伝送ビデオデータのダイナミックレンジ情報および色域情報を、切り替えタイミングより所定の時間量だけ前のタイミングから切り替え後の伝送ビデオデータのダイナミックレンジおよび色域を示すように挿入する情報挿入ステップを有する
    送信方法。
  3. ダイナミックレンジを異にする複数の伝送ビデオデータを切り替えて得られた伝送ビデオデータをコンポーネントデータとして持つビデオストリームを含む所定フォーマットのコンテナを受信する受信部と、
    上記コンテナのレイヤに、該コンテナに含まれる上記ビデオストリームが持つ伝送ビデオデータのダイナミックレンジ情報および色域情報が、切り替えタイミングより所定の時間量だけ前のタイミングから切り替え後の伝送ビデオデータのダイナミックレンジおよび色域を示すように挿入されており、
    上記ビデオストリームに対して上記コンテナのレイヤに挿入されている上記ダイナミックレンジ情報および色域情報に基づいて上記切り替え後の伝送ビデオデータのダイナミックレンジおよび色域を予め認識して処理を行って出力ビデオデータを得る処理部を備える
    受信装置。
  4. 受信部により、ダイナミックレンジを異にする複数の伝送ビデオデータを切り替えて得られた伝送ビデオデータをコンポーネントデータとして持つビデオストリームを含む所定フォーマットのコンテナを受信する受信ステップと、
    上記コンテナのレイヤに、該コンテナに含まれる上記ビデオストリームが持つ伝送ビデオデータのダイナミックレンジ情報および色域情報が、切り替えタイミングより所定の時間量だけ前のタイミングから切り替え後の伝送ビデオデータのダイナミックレンジおよび色域を示すように挿入されており、
    上記ビデオストリームに対して上記コンテナのレイヤに挿入されている上記ダイナミックレンジ情報および色域情報に基づいて上記切り替え後の伝送ビデオデータのダイナミックレンジおよび色域を予め認識して処理を行って出力ビデオデータを得る処理ステップを有する
    受信方法。
JP2020004923A 2019-04-25 2020-01-16 送信装置、送信方法、受信装置および受信方法 Active JP6958645B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020004923A JP6958645B2 (ja) 2019-04-25 2020-01-16 送信装置、送信方法、受信装置および受信方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019083495A JP6658944B2 (ja) 2019-04-25 2019-04-25 送信装置、送信方法、受信装置および受信方法
JP2020004923A JP6958645B2 (ja) 2019-04-25 2020-01-16 送信装置、送信方法、受信装置および受信方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019083495A Division JP6658944B2 (ja) 2019-04-25 2019-04-25 送信装置、送信方法、受信装置および受信方法

Publications (2)

Publication Number Publication Date
JP2020074572A JP2020074572A (ja) 2020-05-14
JP6958645B2 true JP6958645B2 (ja) 2021-11-02

Family

ID=70610313

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020004923A Active JP6958645B2 (ja) 2019-04-25 2020-01-16 送信装置、送信方法、受信装置および受信方法

Country Status (1)

Country Link
JP (1) JP6958645B2 (ja)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2605435C2 (ru) * 2011-06-14 2016-12-20 Конинклейке Филипс Н.В. Графическая обработка для видео с расширенным динамическим диапазоном
WO2014178286A1 (ja) * 2013-04-30 2014-11-06 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
JP2015008361A (ja) * 2013-06-24 2015-01-15 ソニー株式会社 再生装置、再生方法、および記録媒体
RU2654049C2 (ru) * 2013-07-19 2018-05-16 Конинклейке Филипс Н.В. Транспортировка hdr метаданных
JP6601729B2 (ja) * 2014-12-03 2019-11-06 パナソニックIpマネジメント株式会社 データ生成方法、データ再生方法、データ生成装置及びデータ再生装置
US10432959B2 (en) * 2015-09-23 2019-10-01 Arris Enterprises Llc Signaling high dynamic range and wide color gamut content in transport streams

Also Published As

Publication number Publication date
JP2020074572A (ja) 2020-05-14

Similar Documents

Publication Publication Date Title
US20230104968A1 (en) Transmitting device, transmitting method, receiving device, and receiving method
US11418820B2 (en) Transmission device, transmission method, reception device, reception method, display device, and display method
US11563490B2 (en) Transmission apparatus, transmission method, reception apparatus, and reception method
JP7384234B2 (ja) 送信装置、送信方法、受信装置および受信方法
JP7396401B2 (ja) 送信装置、送信方法、受信装置および受信方法
JP2020162171A (ja) 送信装置、送信方法、受信装置および受信方法
US11317170B2 (en) Transmission device, transmission method, reception device, and reception method
EP3400710B1 (en) Transmission apparatus, transmission method, reception apparatus, and reception method
JP6958645B2 (ja) 送信装置、送信方法、受信装置および受信方法
JP6658944B2 (ja) 送信装置、送信方法、受信装置および受信方法
JP6989037B2 (ja) 送信装置、送信方法、受信装置および受信方法
JP6822536B2 (ja) 送信装置、送信方法、受信装置および受信方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200116

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210302

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210506

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210907

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210920

R151 Written notification of patent or utility model registration

Ref document number: 6958645

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151