JPWO2019008818A1 - 映像処理システム及び映像処理方法 - Google Patents

Abstract

映像処理システム（１００）は、主映像を含む映像データを取得する取得部（１１１）と、映像表示装置（１０２）が表示可能な輝度ダイナミックレンジの方式を示す表示方式とを取得する方式取得部（１１７）と、映像データが示す映像の輝度ダイナミックレンジの方式が表示方式と異なる場合、映像データを用いて、映像の輝度特性の時系列の変化を示す動的輝度特性であって、表示方式に対応する第１動的輝度特性を示す第１特性情報を生成する生成部（１１８）と、生成部により生成された第１特性情報を出力する映像送出部（１２１）と、を備える。

Description

本開示は、映像信号を処理する映像処理システム及び映像処理方法に関する。

特許文献１には、ＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）映像において、動的ＨＤＲメタデータに基づいてＨＤＲ信号の表示方法を更新する表示装置について記載されている。

特開２０１７−１８４２４９号公報

White Paper Blu-ray Disc Read-Only Format (Ultra HD Blu-ray), Audio Visual Application Format Specifications for BD-ROM Version 3.1, August 2016(http://www.blu-raydisc.com/Assets/Downloadablefile/BD-ROM_Part3_V3.1_WhitePaper_160729_clean.pdf)

本開示は、表示する映像の質を向上できる映像処理システム又は映像処理方法を提供する。

本開示の一態様に係る映像処理システムは、主映像を含む映像データを取得する第１取得部と、表示装置が表示可能な輝度ダイナミックレンジの方式を示す表示方式を取得する第２取得部と、前記映像データが示す映像の輝度ダイナミックレンジの方式が前記表示方式と異なる場合、前記映像データを用いて、映像の輝度特性の時系列の変化を示す動的輝度特性であって、前記表示方式に対応する第１動的輝度特性を示す第１特性情報を生成する生成部と、前記生成部により生成された前記第１特性情報を出力する出力部と、を備える。

本開示は、表示する映像の質を向上できる映像処理システム又は映像処理方法を提供できる。

図１は、映像技術の進化について説明するための図である。 図２は、コンテンツに新たな映像表現を導入するときの、映像制作、配信方式、及び表示装置の関係について説明するための図である。 図３Ａは、トーンマップの一例を示す図である。 図３Ｂは、トーンマップの一例を示す図である。 図４Ａは、スタティックトーンマップの一例を示す図である。 図４Ｂは、ダイナミックトーンマップの一例を示す図である。 図５Ａは、ＨＤＲおよびＳＤＲのそれぞれに対応したＥＯＴＦ（Ｅｌｅｃｔｒｏ−Ｏｐｔｉｃａｌ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）の例について示す図である。 図５Ｂは、ＨＤＲおよびＳＤＲのそれぞれに対応した逆ＥＯＴＦの例について示す図である。 図６は、動画にグラフィックスを重畳して表示する例を示す図である。 図７は、主映像にグラフィックスが重畳されたときのダイナミックトーンマップの影響を示す図である。 図８Ａは、ＨＤＲ方式の確認方法の一例を示すメインフローである。 図８Ｂは、図８Ａのメインフローにおいて、主映像が対応している方式を確認する方法の一例を示すサブフローである。 図８Ｃは、図８Ａのメインフローにおいて、映像表示装置が対応している方式を確認する方法の一例を示すサブフローである。 図９Ａは、第１オプションに対応しているダイナミックメタデータの構成例を示す図である。 図９Ｂは、第２オプションに対応しているダイナミックメタデータの構成例を示す図である。 図１０は、実施の形態１に係る映像処理システムの構成を示すブロック図である。 図１１Ａは、実施の形態１に係る映像再生装置の動作を示すフローチャートである。 図１１Ｂは、実施の形態１に係る映像表示装置の動作を示すフローチャートである。 図１２は、ダイナミックメタデータの他の構成例を示す図である。 図１３は、実施の形態２に係る映像処理システムの構成を示すブロック図である。 図１４は、実施の形態２に係る映像再生装置の動作を示すフローチャートである。 図１５は、実施の形態３の第１の例に係る映像処理システムの構成を示すブロック図である。 図１６は、実施の形態３の第１の例に係る映像表示装置の動作を示すフローチャートである。 図１７は、実施の形態３の第２の例に係る映像処理システムの構成を示すブロック図である。 図１８は、実施の形態３の第２の例に係る映像表示装置の動作を示すフローチャートである。 図１９は、実施の形態４に係る映像処理システムの構成を示すブロック図である。 図２０は、トーンマップ処理部の構成を示すブロック図である。 図２１は、実施の形態４に係るダイナミックメタデータの構成例を示す図である。 図２２Ａは、グラフィックスが字幕である場合における、従来のダイナミックトーンマップによる字幕の輝度の変化を示す図である。 図２２Ｂは、トーンマップによる輝度の変化を示す図である。 図２３は、トーンマップによる輝度の変化を示す図である。 図２４は、実施の形態５に係る映像処理システム１００Ｅの構成を示すブロック図である。

本発明の一態様に係る映像処理システムは、主映像を含む映像データを取得する第１取得部と、表示装置が表示可能な輝度ダイナミックレンジの方式を示す表示方式を取得する第２取得部と、前記映像データが示す映像の輝度ダイナミックレンジの方式が前記表示方式と異なる場合、前記映像データを用いて、映像の輝度特性の時系列の変化を示す動的輝度特性であって、前記表示方式に対応する第１動的輝度特性を示す第１特性情報を生成する生成部と、前記生成部により生成された前記第１特性情報を出力する出力部と、を備える。

また、前記映像データは、さらに、前記主映像の前記動的輝度特性を示す第２特性情報を含み、前記生成部は、前記第２特性情報が示す第２動的輝度特性の輝度ダイナミックレンジの方式を、前記表示方式に変換することで、前記第１特性情報を生成してもよい。

また、前記生成部は、前記映像データの前記主映像を解析することで、前記主映像の前記動的輝度特性を示す第２動的輝度特性を抽出し、抽出した前記第２動的輝度特性の輝度ダイナミックレンジの方式を、前記表示方式に変換することで、前記第１特性情報を生成してもよい。

また、さらに、前記出力部により出力された前記第１特性情報が示す第１動的輝度特性に応じた変換カーブを用いて前記主映像の輝度を変換するトーンマップ処理を行うトーンマップ処理部と、前記トーンマップ処理後の映像を表示する表示部と、を備えてもよい。

また、さらに、前記主映像にグラフィックスを合成することで合成映像を生成する合成部と、前記グラフィックスの輝度特性を抽出する抽出部と、を備え、前記出力部は、さらに、前記合成映像と、前記グラフィックスの輝度特性を示す第３特性情報とを出力してもよい。

また、さらに、前記出力部により出力された前記第１特性情報が示す第１動的輝度特性に応じた変換カーブを用いて前記主映像の輝度を変換するトーンマップ処理を行うトーンマップ処理部と、前記トーンマップ処理後の映像を表示する表示部とを備え、前記トーンマップ処理部は、前記合成部において合成映像が生成される場合、前記第１特性情報が示す前記第１動的輝度特性が、前記第３特性情報が示す前記グラフィックスの輝度特性以上である映像の第１区間では、当該第１区間における前記主映像の輝度を当該第１区間における前記第１動的輝度特性に応じて、前記変換カーブを時系列に変更する第１トーンマップ処理を行い、前記第１動的輝度特性が前記グラフィックスの輝度特性未満である映像の第２区間では、当該第２区間における前記主映像の輝度を当該第２区間における前記第１動的輝度特性に依らず、一定の変換カーブを用いる第２トーンマップ処理を行ってもよい。

また、本発明の一態様に係る映像処理方法は、映像処理システムにおける映像処理方法であって、主映像を含む映像データを取得する第１取得ステップと、表示装置が表示可能な輝度ダイナミックレンジの方式を示す表示方式を取得する第２取得ステップと、前記映像データが示す映像の輝度ダイナミックレンジの方式が前記表示方式と異なる場合、前記映像データを用いて、映像の輝度特性の時系列の変化を示す動的輝度特性であって、前記表示方式に対応する第１動的輝度特性を示す第１特性情報を生成する生成ステップと、前記生成ステップにおいて生成された前記第１特性情報を出力する出力ステップと、を含む。

［１−１．背景］
まず、映像技術の変遷について、図１を用いて説明する。図１は、映像技術の進化について説明するための図である。

これまで、映像の高画質化としては、表示画素数の拡大に主眼がおかれ、Ｓｔａｎｄａｒｄ Ｄｅｆｉｎｉｔｉｏｎ（ＳＤ）の７２０×４８０画素から、Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ（ＨＤ）の１９２０×１０８０画素の映像が普及している。

近年、更なる高画質化を目指して、Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ（ＵＨＤ）の３８４０×１９２０画素、あるいは、４Ｋの４０９６×２０４８画素の、所謂４Ｋ映像の導入が開始された。

４Ｋの導入と共に、ダイナミックレンジ拡張、色域拡大、又は、フレームレートの追加或いは向上なども検討されている。

その中でも、ダイナミックレンジについては、暗部階調を維持しつつ、現行のテレビ信号で表現不能な鏡面反射光などの明るい光を、より現実に近い明るさで表現するための方式として、ＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）が注目されている。具体的には、これまでのテレビ信号は、ＳＤＲ（Ｓｔａｎｄａｒｄ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）と呼ばれ、最高輝度が１００ｎｉｔであった。これに対して、ＨＤＲでは１０００ｎｉｔ以上まで最高輝度を拡大することが想定されている。ＨＤＲは、ＳＭＰＴＥ（Ｓｏｃｉｅｔｙ ｏｆ Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ ＆ Ｔｅｌｅｖｉｓｉｏｎ Ｅｎｇｉｎｅｅｒｓ）、及びＩＴＵ−Ｒ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｕｎｉｏｎ Ｒａｄｉｏｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｓｅｃｔｏｒ）などにおいて、マスタリングディスプレー用規格の標準化が進行中である。

ＨＤＲの具体的な適用先としては、ＨＤ及びＵＨＤと同様に、放送、パッケージメディア（Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ等）、及びインターネット配信などが想定されている。

［１−２．マスター生成、配信方式、及び表示装置の関係］
図２は、コンテンツに新たな映像表現を導入するときの、映像制作、配信方式、及び表示装置の関係について説明するための図である。

映像の高画質化のために新たな映像表現（画素数の増加等）を導入する場合には、図２に示すように、（１）映像制作側のＨｏｍｅ Ｅｎｔｅｒｔａｉｎｍｅｎｔ向けマスターを変更する必要がある。それに応じて、（２）放送、通信、及びパッケージメディア等の配信方式も、（３）その映像を表示するテレビ、又はプロジェクター等の表示装置も更新する必要がある。

［１−３．トーンマップ］
トーンマップ（Ｔｏｎｅ Ｍａｐｐｉｎｇ）は、ＨＤＲ映像の輝度と映像表示装置の最大輝度（Ｄｉｓｐｌａｙ Ｐｅａｋ Ｌｕｍｉｎａｎｃｅ：ＤＰＬ）との関係から、映像の最大輝度（Ｍａｘｉｍｕｍ Ｃｏｎｔｅｎｔ Ｌｕｍｉｎａｎｃｅ Ｌｅｖｅｌ：ＭａｘＣＬＬ）がＤＰＬを超える場合に、映像の輝度を変換し、映像の輝度をＤＰＬ以内に収める処理である。この処理により、映像の最大輝度付近の情報を失うことなく映像を表示できる。この変換は、映像表示装置の特性にも依存し、どのように表示するかの考え方にも依存するので、映像表示装置毎に異なった変換カーブが用いられる。

図３Ａ及び図３Ｂは、トーンマップの一例を示す図である。図３Ａは、ＤＰＬが５００ｎｉｔの場合を示し、図３Ｂは、ＤＰＬが１０００ｎｉｔの場合を示す。また、図３Ａ及び図３Ｂは、ＭａｘＣＬＬが１０００ｎｉｔの映像を表示した場合のトーンマップと、ＭａｘＣＬＬが４０００ｎｉｔの映像を表示した場合のトーンマップとの例である。

図３Ａに示すように、ＤＰＬが５００ｎｉｔの場合、どちらの映像も５００ｎｉｔ以下でＭａｘＣＬＬまでを表示できるように、輝度が変換されるが、ＭａｘＣＬＬが高い映像のほうが変換の度合いは大きくなる。

図３Ｂに示すように、ＤＰＬが１０００ｎｉｔの場合、ＭａｘＣＬＬが１０００ｎｉｔの映像では、トーンマップが行われない。ＭａｘＣＬＬが４０００ｎｉｔの映像では、トーンマップが行われ、４０００ｎｉｔの輝度が１０００ｎｉｔに変換されて表示される。

［１−４．ダイナミックメタデータとダイナミックトーンマップ］
図４Ａは、スタティックメタデータを用いたトーンマップの例を示す図である。図４Ｂは、ダイナミックメタデータを用いたダイナミックトーンマップの例を示す図である。

図４Ａに示すように、スタティックメタデータ（ＭａｘＣＬＬ）が用いられる場合、ＭａｘＣＬＬは一連の映像内で最も高い輝度を示すため、映像表示装置は、一連の映像に対して、固定的なトーンマップしか行えない。これに対して、映像表示装置は、図４Ｂの（ａ）に示すように、時間変化する輝度に合わせたメタデータ（ここではＤｙｎａｍｉｃ ＭａｘＣＬＬと称す）を用いることで、輝度が低い場合は、トーンマップを行わず（図４Ｂの（ｂ））、輝度が高い場合はトーンマップを行う（図４Ｂの（ｃ））というように、時間変化する輝度に合わせた最適なトーンマップを実現できる。ダイナミックメタデータは、映像の輝度特性の時系列の変化を示す動的輝度特性である。ダイナミックメタデータに用いられる映像の輝度特性は、例えば、映像の所定の区間ごとにおける最大輝度、平均輝度などである。本開示では、映像の輝度特性として、映像の最大輝度を例に説明する。映像の所定の区間とは、例えば、シーン、チャプター、フレームなどである。

［１−５．ＥＯＴＦについて］
ここで、ＥＯＴＦについて、図５Ａおよび図５Ｂを用いて説明する。

図５Ａは、ＨＤＲおよびＳＤＲのそれぞれに対応したＥＯＴＦ（Ｅｌｅｃｔｒｏ−Ｏｐｔｉｃａｌ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）の例について示す図である。

ＥＯＴＦは、一般的にガンマカーブと呼ばれるものであり、コード値と輝度値との対応を示し、コード値を輝度値に変換するものである。つまり、ＥＯＴＦは、複数のコード値と輝度値との対応関係を示す関係情報である。

また、図５Ｂは、ＨＤＲおよびＳＤＲのそれぞれに対応した逆ＥＯＴＦの例について示す図である。

逆ＥＯＴＦは、輝度値とコード値との対応を示し、ＥＯＴＦとは逆に輝度値を量子化してコード値に変換するものである。つまり、逆ＥＯＴＦは、輝度値と複数のコード値との対応関係を示す関係情報である。例えば、ＨＤＲに対応した映像の輝度値を１０ビットの階調のコード値で表現する場合、１００００ｎｉｔまでのＨＤＲの輝度範囲における輝度値は、量子化されて、０〜１０２３までの１０２４個の整数値にマッピングされる。つまり、逆ＥＯＴＦに基づいて量子化することで、０〜１００００ｎｉｔの輝度範囲の輝度値（ＨＤＲに対応した映像の輝度値）を、１０ビットのコード値であるＨＤＲ信号に変換する。ＨＤＲに対応したＥＯＴＦ（以下、「ＨＤＲのＥＯＴＦ」という。）またはＨＤＲに対応した逆ＥＯＴＦ（以下、「ＨＤＲの逆ＥＯＴＦ」という。）においては、ＳＤＲに対応したＥＯＴＦ（以下、「ＳＤＲのＥＯＴＦ」という。）またはＳＤＲに対応した逆ＥＯＴＦ（以下、「ＳＤＲの逆ＥＯＴＦ」という。）よりも高い輝度値を表現することが可能である。例えば、図５Ａおよび図５Ｂにおいては、輝度の最大値（ピーク輝度）は、１００００ｎｉｔである。つまり、ＨＤＲの輝度範囲は、ＳＤＲの輝度範囲を全て含み、ＨＤＲのピーク輝度は、ＳＤＲのピーク輝度より大きい。ＨＤＲの輝度範囲は、ＳＤＲの輝度範囲と比較して、その最大値である１００ｎｉｔを１００００ｎｉｔに拡大した輝度範囲である。

例えば、ＨＤＲのＥＯＴＦおよびＨＤＲの逆ＥＯＴＦは、一例として、米国映画テレビ技術者協会（ＳＭＰＴＥ）で規格化されたＳＭＰＴＥ ２０８４がある。

［１−６．映像とグラフィックスとの合成］
図６は、動画にメニュー及び字幕などのグラフィックスを重畳して、映像表示装置で表示する例を示す図である。ここでは、Ｕｌｔｒａ ＨＤ Ｂｌｕ−ｒａｙの例を示す。

グラフィックスを重畳する前の動画を主映像と表現する。Ｕｌｔｒａ ＨＤ Ｂｌｕ−ｒａｙではグラフィックスは、ＨＤ解像度で準備される。映像再生装置は、ＨＤのグラフィックスに対してＨＤ−ＵＨＤ変換を行うことでＵＨＤのグラフィックスを生成する。そして、映像再生装置は、得られたＵＨＤのグラフィックスと、ＵＨＤ解像度の主映像とを合成する。そして、映像再生装置は、合成後の映像を、ＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）を通じて映像表示装置に送る。映像表示装置は、送られてきた映像をＨＤＲとして表示する。

また、映像再生装置は、ダイナミックメタデータを、主映像の輝度の時間変化に基づいて決定し、ＨＤＭＩを通じて、映像表示装置に送る。映像表示装置は、送られてきたダイナミックメタデータに基づき、主映像に字幕及びメニューが重畳された映像信号に対して、ダイナミックトーンマップを施す。

この状況は、放送又は通信によるＯＴＴ（Ｏｖｅｒ Ｔｈｅ Ｔｏｐ）サービスでのＨＤＲ映像を表示する場合でも、主映像にメニュー又は字幕が重畳され、得られた映像が映像表示装置で表示される場合は同様である。

［１−７．動画にグラフィックスを重畳した映像データにダイナミックトーンマップを行う場合の課題］
ダイナミックメタデータ方式では、ＨＤＲ映像の輝度分布などの輝度に関わるメタデータがフレーム毎に指定され、映像信号とともに、そのようなメタデータが、映像表示装置に送られる。映像表示装置は、当該映像表示装置の最大輝度などの表示能力に応じて、送られてきたメタデータを参考にして、輝度を変換するなどの処理を行う。このようなダイナミックメタデータ方式は、映像表示装置の輝度などの表示性能によらずできるだけ一定の品質の映像を表示する方式として、注目されている。

しかしながら、ダイナミックメタデータは、時間的に変化するために、本来一定であるべき映像の表示が、安定しないという問題がある。

表示すべき映像が、同時に編集、又は監修された映像、いわゆる動画だけであるならば、ある程度、映像の状況を考慮した処理が可能である。このような動画を主映像とし、同時に、本来一定であり、まったく変動しない、字幕又はメニューなどのグラフィックスデータが主映像に重畳されて表示されると、ダイナミックメタデータを使用した処理により、一定であるべきグラフィックスの輝度又は色が変化するという悪影響が出てくる。この悪影響は、主映像の輝度が高く、映像表示装置の輝度が低いほど顕著となる。

図７は、主映像にグラフィックスが重畳されたときのダイナミックトーンマップの影響を示す図である。ここで、図７の（ａ）に示すように、重畳されるグラフィックスの輝度を３５０ｎｉｔと仮定する。図７の（ｂ）に示すように主映像の輝度が低い区間では、トーンマップが行われず、グラフィックスは本来の輝度である３５０ｎｉｔで映像表示装置に表示される。一方、図７の（ｃ）に示すように、主映像の輝度が高い区間では、トーンマップが行われ、グラフィックスの輝度は、３５０ｎｉｔより低い輝度で映像表示装置に表示される。このように、本来一定であるべきグラフィックスの輝度が時間的に変動することになり、好ましくない状態となる。ここでは輝度だけの影響としたが、実際の映像表示装置では、色成分も影響を受けるために色も影響を受けることもある。

［１−８．ＨＤＲ方式の確認方法の例］
現在、ダイナミックトーンマップが可能なＨＤＲ方式としていくつかの方式が現在提案され、規格化されている。ＨＤＲ方式は、輝度ダイナミックレンジの方式の一例である。このため、映像再生装置は、主映像、映像再生装置、映像表示装置のそれぞれが、どのＨＤＲ方式に対応しているかを確認し、映像表示装置が対応している主映像を再生し、再生した主映像を映像表示装置に出力する必要がある。

図８Ａ〜図８Ｃは、ＨＤＲ方式の確認方法の一例を示すフローチャートである。図８Ａは、ＨＤＲ方式の確認方法の一例を示すメインフローである。図８Ｂは、図８Ａのメインフローにおいて、主映像が対応している方式を確認する方法の一例を示すサブフローである。図８Ｃは、図８Ａのメインフローにおいて、映像表示装置が対応している方式を確認する方法の一例を示すサブフローである。

Ｕｌｔｒａ ＨＤ Ｂｌｕ−ｒａｙディスクでは、ＨＤＲ方式としてマンダトリＨＤＲと複数のオプションＨＤＲとが規定されている。このため、Ｕｌｔｒａ ＨＤ Ｂｌｕ−ｒａｙディスクには、マンダトリＨＤＲのみに対応している主映像、または、マンダトリＨＤＲおよびオプションＨＤＲに対応している主映像が記録されている。オプションＨＤＲが記録されている場合、複数のオプションＨＤＲのうちの少なくとも一つが記録されている。オプションＨＤＲの映像は、マンダトリＨＤＲの映像よりも高品質な映像である。

図８Ａに示すように、映像再生装置は、まず、主映像の輝度ダイナミックレンジの方式を確認する（Ｓ１）。

具体的には、図８Ｂに示すように、映像再生装置は、主映像の再生制御リストに記載されているＨＤＲ方式のフラグを確認する（Ｓ１１）。このように、映像再生装置は、ＨＤＲ方式のフラグを確認することで、主映像が対応しているＨＤＲ方式を確認する。

次に、映像再生装置は、映像表示装置が対応しているＨＤＲ方式（以下、「表示方式」という。）を確認する（Ｓ２）。つまり、映像再生装置は、映像表示装置が表示可能な輝度ダイナミックレンジの方式である表示方式を確認する。

具体的には、図８Ｃに示すように、映像再生装置は、ＨＤＭＩを通じて、映像表示装置に、映像表示装置のＥＤＩＤの送信を要求する（Ｓ２１）。

次に、映像再生装置は、ＨＤＭＩを通じて、映像表示装置から映像表示装置のＥＤＩＤを取得する（Ｓ２２）。

そして、映像再生装置は、取得したＥＤＩＤから映像表示装置の表示方式を確認する（Ｓ２３）。

このように、ステップＳ１およびＳ２を行うことにより、映像再生装置は、主映像の再生に先立ち、主映像と、接続されている映像表示装置が対応しているＨＤＲ方式、つまり、ここではオプションＨＤＲの状況を確認する。

その後、図８Ａに戻り、映像再生装置は、映像再生装置が対応しているＨＤＲ方式が主映像のオプションＨＤＲを含むか否かを判定する（Ｓ３）。

映像再生装置は、映像再生装置が対応しているＨＤＲ方式が主映像のオプションＨＤＲを含むと判定した場合（Ｓ３でＹｅｓ）、映像表示装置の表示方式が主映像のオプションＨＤＲを含むか否かを判定する（Ｓ４）。この場合、ステップＳ４では、ステップＳ３において映像再生装置が対応しているＨＤＲ方式であり、かつ、主映像に含まれるオプションＨＤＲについて、判定が行われる。

映像再生装置は、映像表示装置の表示方式が主映像のオプションＨＤＲを含むと判定した場合（Ｓ４でＹｅｓ）、当該オプションＨＤＲの主映像を再生する（Ｓ５）。つまり、映像再生装置は、主映像、映像再生装置、および映像表示装置がすべて、同じオプションＨＤＲに対応している場合、対応しているオプションＨＤＲの主映像を再生する。

一方で、映像再生装置は、映像再生装置が対応しているＨＤＲ方式が主映像のオプションＨＤＲを含まないと判定した場合（Ｓ３でＮｏ）、または、映像表示装置の表示方式が主映像のオプションＨＤＲを含まないと判定した場合（Ｓ４でＮｏ）、マンダトリＨＤＲの主映像を再生する。つまり、映像再生装置は、主映像、映像再生装置および映像表示装置のいずれかが、オプションＨＤＲに対応していない場合、マンダトリＨＤＲを再生する。なお、ＨＤＲに対応している機器は、マンダトリＨＤＲに対応しているものとする。

［１−９．複数のＨＤＲ方式においてダイナミックトーンマップを行う場合の課題］
（課題１）
前述したように、オプションＨＤＲに非対応の映像再生装置あるいは映像表示装置が互いに接続されている場合、マンダトリＨＤＲでの主映像を再生して表示することとなり、ダイナミックトーンマップが実施できないという問題がある。また、一つのオプションＨＤＲおいても、いくつかのパラメータがあり、その中でさらにオプションがある場合、主映像データには、第１オプションが記録されているが、映像表示装置で、第１オプションに対応せず、別のオプションである第２オプションに対応している状況も想定される。しかしながら、このような状況では、オプションＨＤＲ方式としては、主映像、映像再生装置、および映像表示装置で対応しているものの、同じオプションＨＤＲの中のパラメータのオプションへの対応の状況により、オプションＨＤＲとして表示できないことになる。これにより、このような映像処理システムでは、マンダトリＨＤＲの主映像を再生して、表示することとなり、ダイナミックトーンマップができないことになる。あるいは、オプションＨＤＲの中のマンダトリ部分だけの処理となり、期待よりも劣ったダイナミックトーンマップとなり、品質が劣った映像表示となる。

図９Ａおよび図９Ｂは、オプションＨＤＲの中でのオプションの違いの例を示す。図９Ａは、それぞれ、第１オプションに対応しているダイナミックメタデータの構成例を示す図である。図９Ｂは、第２オプションに対応しているダイナミックメタデータの構成例を示す図である。なお、図９Ａおよび図９Ｂでは、本開示に関連していない構成を省略している。

これらの図に示すように、第１オプションでは、例えば、基本トーンマップ情報の平均データ値およびデータ値の分布情報の値の意味が、データ値となっている一方、第２オプションでは輝度値となっている。また、ここでは示していないが、値の単位、値の意味は同じだが、値の個数が異なる、値それぞれの意味が異なる場合などもありえる。また、基本トーンマップ情報の平均データ値およびデータ値の分布情報の値などのようなデータ値または輝度値は、明るさの単位であるｎｉｔに直した値で記載する場合もある。

（課題２）
また、図９Ａに示した第１オプションのダイナミックメタデータの例のようにデータ値に基づくメタデータの場合、主映像に重畳されるグラフィックスの輝度に基づく処理を行うことが困難になる。具体的には、グラフィックスの輝度に応じて、その輝度以下については、ダイナミックトーンマップを行わないと言う処理を行う場合、第１オプションのメタデータでは、輝度情報ではなく、データ値、つまり、ＲＧＢ値に基づくものであるため、ダイナミックトーンマップを行う手段において、グラフィックスの輝度情報と、メタデータの輝度情報との単位をそろえる処理が必要となる。特に、ブルーレイの場合、ディスク上のグラフィックスデータは、ＲＧＢ値ではなく、輝度情報および色情報から構成されている事から、困難さが増す。

（課題３）
課題１では、オプションＨＤＲの１方式の中での複数のオプションがある場合の課題であったが、ダイナミックトーンマップに対応した複数のＨＤＲ方式に再生装置が対応している場合でも、再生する主映像が対応している第１ＨＤＲ方式に、映像表示装置が対応していない場合、（ｉ）第１ＨＤＲ方式を表示する事ができない。あるいは、（ｉｉ）再生する主映像が対応している第１ＨＤＲ方式がオプションＨＤＲであり、主映像がマンダトリＨＤＲを含む場合、マンダトリＨＤＲ方式でのみ表示することとなる。これにより、当該映像処理システムでは、オプションＨＤＲの特徴の一つであるダイナミックトーンマップを実現できないという課題があった。

［１−１０．解決方法］
本開示では以下の解決方法を用いる。

課題１を解決する第１の方法について説明する。第１の方法では、映像再生装置は、映像再生装置にＨＤＭＩケーブル等の映像信号伝送手段で接続されている映像表示装置が所定のＨＤＲ方式の第１オプションに対応せず、当該所定のＨＤＲ方式の第２オプションに対応している場合、映像再生装置で再生される主映像から取得したダイナミックメタデータの第１オプション部分から第２オプション部分を生成する。そして、映像再生装置は、（ｉ）生成した第２オプション部分で、取得したダイナミックメタデータの第１オプション部分を置き換えるか、または、（ｉｉ）取得したダイナミックメタデータに、生成した第２オプション部分を追加する。その後、映像再生装置は、第２オプション部分を含むダイナミックメタデータを、映像信号伝送手段を通じて、映像表示装置に伝送する。映像表示装置は、第２オプション部分を含むダイナミックメタデータを取得し、取得したダイナミックメタデータの第２オプション部分を用いて、所定のＨＤＲ方式の第２オプションに従ったダイナミックトーンマップを実行する。

次に、課題１を解決する第２の方法について説明する。第２の方法では、映像再生装置は、映像再生装置にＨＤＭＩケーブル等の映像信号伝送手段で接続されている映像表示装置が所定のＨＤＲ方式の第１オプションに対応せず、第２オプションに対応している場合、映像再生装置で再生される主映像からダイナミックメタデータの第２オプション部分を生成する。そして、映像再生装置は、（ｉ）生成した第２オプション部分で、主映像のダイナミックメタデータの第１オプション部分を置き換えるか、または、（ｉｉ）取得したダイナミックメタデータに、生成した第２オプション部分を追加する。その後、映像再生装置は、第２オプション部分を含むダイナミックメタデータを、映像信号伝送手段を通じて、映像表示装置に伝送する。映像表示装置は、第２オプション部分を含むダイナミックメタデータを取得し、取得したダイナミックメタデータの第２オプション部分を用いて、所定のＨＤＲ方式の第２オプションに従ったダイナミックトーンマップを実行する。

次に、課題１を解決する第３の方法について説明する。第３の方法では、第１の方法での第１オプション部分から第２オプション部分を生成する機能、または、第２の方法での主映像から第２オプション部分を生成する機能を映像表示装置が有する構成である。つまり、映像再生装置は、映像再生装置にＨＤＭＩケーブル等の映像信号伝送手段で接続されている映像表示装置が所定のＨＤＲ方式の第１オプションの主映像の表示処理機能を有さず、第２オプションの主映像の処理機能を有する場合、第１オプションの主映像を再生し、当該主映像の再生信号を出力する。映像表示装置は、（ｉ）主映像とともに伝送されるダイナミックメタデータの第１オプション部分から第２オプション部分を生成するか、（ｉｉ）主映像から、第２オプション部分を生成するか、または、（ｉ）および（ｉｉ）の両方の方法を用いて、第２オプション部分を生成する。そして、映像表示装置は、生成した第２オプション部分を用いたダイナミックトーンマップを実行する。

次に、課題２を解決する第４の方法について説明する。第４の方法では、第１の方法または第２の方法に加え、映像再生装置は、ダイナミックメタデータの第２オプション部分の生成時に、グラフィックスの輝度情報を含める。つまり、映像再生装置は、主映像に重畳されるグラフィックスの輝度情報を第２オプション部分に追加する。映像表示装置は、第２オプション部分を含むダイナミックメタデータを取得し、取得したダイナミックメタデータを用いて、第２オプションの主映像の輝度がグラフィックスの輝度以上の区間では、当該区間の第２オプション部分に応じて、変換カーブを時系列に変更する第１トーンマップ処理を行い、第２オプションの主映像の輝度がグラフィックスの輝度より暗い区間では、一定の変換カーブを用いる第２トーンマップ処理を行う。

次に、課題３を解決する第５の方法について説明する。第５の方法では、ダイナミックトーンマップに対応した複数のＨＤＲ方式に映像再生装置が対応している場合を考える。映像再生装置は、主映像が複数のＨＤＲ方式のうちの第１ＨＤＲ方式に対応しており、映像再生装置に接続されている映像表示装置が複数のＨＤＲ方式のうちの第２ＨＤＲ方式に対応している場合、主映像の再生時に、映像表示装置が対応している第２ＨＤＲ方式に必要な、ダイナミックメタデータを再生中の主映像からダイナミックに生成し、生成したダイナミックメタデータを映像表示装置に送る。これにより、映像表示装置は、第２ＨＤＲ方式に対応した主映像およびダイナミックメタデータを取得し、取得したダイナミックメタデータを用いて取得した主映像を第２ＨＤＲ方式で表示する。

以上の方法により、放送、Ｂｌｕ−ｒａｙ等のパッケージメディア、又はＯＴＴ等のインターネット配信により送られてきたＨＤＲ映像信号に対して、当該ＨＤＲ映像信号が対応しているダイナミックトーンマップに対応したＨＤＲ方式に複数のオプションがある場合であって、ＨＤＲ映像信号が第１オプションに対応し、映像表示装置が第１オプションに対応せず、第２オプションに対応している場合、映像再生装置は、ダイナミックメタデータの第１オプション部分、または、ＨＤＲ映像信号から第２オプション部分を生成し、映像表示装置に第２オプション部分を含むダイナミックメタデータを送る。このため、映像表示装置は、当該映像表示装置が対応している第２オプション部分を用いて、当該ＨＤＲ方式が提供しているダイナミックトーンマップを実現することができる。

また、映像表示装置は、ダイナミックトーンマップを行う場合、第１オプションでは困難なメニューや字幕などのグラフィックスに対するダイナミックトーンマップの影響を、第２オプションを使用する事で低減することが可能となり、安定した字幕またはメニューの表示が可能となる。

また、ダイナミックトーンマップに対応した複数のＨＤＲ方式がある場合、ＨＤＲ映像信号が第１ＨＤＲ方式であり、映像表示装置が第２ＨＤＲ方式に対応している場合、映像再生装置は、第１ＨＤＲ方式あるいはＨＤＲ映像信号から、第２ＨＤＲ方式のダイナミックメタデータを生成する。このため、映像表示装置は、第２ＨＤＲ方式でのダイナミックトーンマップを実現できる。

［２．実施の形態１］
本実施の形態では、映像再生装置は、映像再生装置にＨＤＭＩケーブルなどの映像信号伝送手段で接続されている映像表示装置が所定のＨＤＲ方式の第１のオプションに対応せず、第２のオプションに対応している場合、再生する主映像から取得したダイナミックメタデータの第１オプション部分から第２オプション部分を生成し、（ｉ）生成した第２オプション部分で、取得したダイナミックメタデータの第１オプション部分を置き換えるか、または、（ｉｉ）取得したダイナミックメタデータに、第２オプション部分を追加する。その後、映像再生装置は、第２オプション部分を含むダイナミックメタデータを、映像信号伝送手段を通じて、映像表示装置に伝送する。映像表示装置は、第２オプション部分を含むダイナミックメタデータを取得し、取得したダイナミックメタデータの第２オプション部分を用いて、所定のＨＤＲ方式の第２オプションに従ったダイナミックトーンマップを実行する。

［２−１．映像処理システムの構成］
図１０は、実施の形態１に係る映像処理システム１００の構成を示すブロック図である。図１０に示す映像処理システム１００は、映像再生装置１０１と、映像表示装置１０２とを含む。

映像再生装置１０１は、映像を再生し、得られた映像を映像表示装置１０２に出力する。この映像再生装置１０１は、取得部１１１と、デマルチプレクサ１１２と、主映像デコード部１１３と、字幕デコード部１１４と、メニューデコード部１１５と、メタデータ取得部１１６と、方式取得部１１７と、生成部１１８と、グラフィックス合成部１１９と、主映像合成部１２０と、映像送出部１２１とを含む。

取得部１１１は、映像信号を取得する。例えば、映像再生装置１０１がディスク再生装置である場合には、取得部１１１は、ディスクを再生することで映像信号を取得する。また、映像再生装置１０１が放送受信装置である場合は、取得部１１１は、放送波を受信することで映像信号を取得する。また、映像再生装置１０１がインターネット放送受信装置である場合は、取得部１１１は、インターネット放送を受信することで映像信号を取得する。

デマルチプレクサ１１２は、映像信号に含まれる符号化された主映像信号、字幕信号及びメニュー信号をそれぞれ、主映像デコード部１１３、字幕デコード部１１４及びメニューデコード部１１５に出力する。

主映像デコード部１１３は、デマルチプレクサ１１２から出力された符号化された主映像信号を復号する。

字幕デコード部１１４は、デマルチプレクサ１１２から出力された符号化された字幕信号を復号する。また、字幕デコード部１１４は、ユーザの操作等に基づき、字幕を表示するか否か、及び表示する字幕の種別を選択し、字幕を表示する場合には、選択した字幕をグラフィックス合成部１１９に出力する。

メニューデコード部１１５は、デマルチプレクサ１１２から出力された符号化されたメニュー信号を復号する。また、メニューデコード部１１５は、ユーザの操作等に基づき、メニューを表示するか否か、及び表示するメニューの種別を選択し、メニューを表示する場合には、選択したメニューをグラフィックス合成部１１９に出力する。なお、メニューデコード部１１５は、映像信号からの情報だけでなく、映像再生装置１０１で動作するプログラムによりメニューを合成及び表示してもよい。

メタデータ取得部１１６は、主映像ダイナミックメタデータを取得する。例えば、メタデータ取得部１１６は、主映像信号に含まれる情報に基づき主映像ダイナミックメタデータを生成する。なお、メタデータ取得部１１６において、第１オプションに対応する主映像ダイナミックメタデータが取得されたとして説明する。

方式取得部１１７は、映像表示装置１０２から映像表示装置１０２が表示可能な輝度ダイナミックレンジの方式を示す表示方式を取得する。ここでは、方式取得部１１７は、映像表示装置１０２の表示方式が対応するＨＤＲ方式のオプションが第２オプションであるため、第２オプションを示す表示方式を取得する。

生成部１１８は、メタデータ取得部１１６により取得された主映像ダイナミックメタデータが対応している方式（第１オプション）と、方式取得部１１７により取得された表示方式（第２オプション）とが異なるため、主映像ダイナミックメタデータの第１オプション部分から、第２オプション部分を生成する。そして、生成部１１８は、生成した第２オプション部分で、主映像ダイナミックメタデータの第１オプション部分を置き換えるか、または、主映像ダイナミックメタデータに、生成した第２オプション部分を追加する。このように、生成部１１８は、映像データが示す映像の輝度ダイナミックレンジの方式が映像表示装置の表示方式と異なる場合、主映像ダイナミックメタデータの方式を、表示方式に変換する。

グラフィックス合成部１１９は、字幕とメニューとを構成することでグラフィックス情報を生成する。なお、上述したようにグラフィックス合成部１１９は、字幕及びメニューの解像度を変換してもよい。例えば、Ｕｌｔｒａ ＨＤ Ｂｌｕ−ｒａｙの場合には、グラフィックス合成部１１９は、ＨＤの字幕及びメニューをＵＨＤの字幕及びメニューに変換する。

また、グラフィックス合成部１１９は、グラフィックス情報を生成し、生成したグラフィックス情報を主映像に重畳する場合、グラフィックス輝度情報を「０」でない値または、「グラフィックスがあることを示す値」として、映像送出部１２１に送る。また、グラフィックス合成部１１９は、グラフィックス情報を主映像に重畳しない場合、グラフィックス輝度情報を「０」または「グラフィックスが無いことを示す値」として、映像送出部１２１に送る。なお、グラフィックス輝度情報は、映像再生装置１０１内のプログラムにより生成されてもよいし、他の手段によって生成されてもよい。

主映像合成部１２０は、主映像デコード部１１３で得られた主映像と、グラフィックス合成部１１９で生成されたグラフィックス情報とを合成することで映像信号を生成する。

映像送出部１２１は、主映像合成部１２０で生成された映像信号と、ダイナミックメタデータとを、ＨＤＭＩケーブル等の映像信号伝送手段を介して映像表示装置１０２に伝送する。ダイナミックメタデータは、メタデータ取得部１１６で取得された主映像ダイナミックメタデータと、グラフィックス合成部１１９で生成されたグラフィックス輝度情報とを含む。つまり、映像送出部１２１は、生成部１１８により生成された第２オプション部分を含む主映像ダイナミックメタデータを映像表示装置１０２に出力する。

次に、映像表示装置１０２の構成について説明する。映像表示装置１０２は、映像受信部１３１と、メタデータ取得部１３２と、トーンマップ処理部１３３と、表示部１３４と、通知部１３５とを備える。

映像受信部１３１は、映像再生装置１０１から送られてくる映像信号とダイナミックメタデータとを受け取る。映像受信部１３１は、映像信号とダイナミックメタデータとを分離し、映像信号をトーンマップ処理部１３３へ送り、ダイナミックメタデータをメタデータ取得部１３２に送る。メタデータ取得部１３２は、ダイナミックメタデータに含まれる主映像ダイナミックメタデータ及びグラフィックス輝度情報を制御信号として、トーンマップ処理部１３３へ送る。

トーンマップ処理部１３３は、主映像ダイナミックメタデータに従い、映像信号のトーンマップ処理を行う。トーンマップ処理部１３３は、出力された表示方式に対応するダイナミックメタデータの第２オプション部分に応じた変換カーブを用いて主映像の輝度を変換するトーンマップ処理を行う。具体的には、トーンマップ処理部１３３は、グラフィックス輝度情報が「０」または「グラフィックスが無いことを示す値］の場合には、主映像ダイナミックメタデータに従い、映像信号のトーンマップ処理（ダイナミックトーンマップ処理）を行う。一方、トーンマップ処理部１３３は、グラフィックス輝度情報が「０」でない値または「グラフィックスがあることを示す値」の場合は、重畳されているグラフィックスへのダイナミックトーンマップの影響を低減したトーンマップ処理を行う。表示部１３４は、トーンマップ処理後の映像信号を表示する。

通知部１３５は、映像表示装置１０２の表示方式を含むＥＤＩＤを映像再生装置１０１に送信する。通知部１３５は、例えば、映像再生装置１０１からのＥＤＩＤの送信要求を受信した場合、ＨＤＭＩケーブルなどの映像信号伝送手段を通じて、映像再生装置１０１にＥＤＩＤを送信する。

［２−２．映像処理システムの動作］
ダイナミックメタデータの第１オプション部分および第２オプション部分の構成が、図９Ａおよび図９Ｂに示されるものである場合、メタデータ取得部１１６は、主映像に含まれる情報に基づき、オプションＨＤＲのマンダトリ部分と第１オプション部分とを含む主映像ダイナミックメタデータを取得する。

この場合の、映像処理システム１００の動作の流れを説明する。図１１Ａは、実施の形態１に係る映像再生装置１０１の動作を示すフローチャートである。

映像再生装置１０１では、メタデータ取得部１１６は、映像の再生を開始した後、主映像のフレーム単位で、ダイナミックメタデータのマンダトリ部分と第１のオプション部分とを主映像から抽出する（Ｓ３１）。

そして、生成部１１８は、メタデータ取得部１１６により抽出された、ダイナミックメタデータの第１オプション部分から第２オプション部分を生成する（Ｓ３２）。

次に、生成部１１８は、生成した第２オプション部分で、主映像ダイナミックメタデータの第１オプション部分を置き換えるか、または、主映像ダイナミックメタデータに、生成した第２オプション部分を追加する（Ｓ３３）。その後、生成部１１８は、マンダトリ部分および第２オプション部分を含む主映像ダイナミックメタデータを、映像送出部１２１に送る。そして、映像送出部１２１は、主映像ダイナミックメタデータを、主映像とともに、映像信号伝送手段で映像表示装置１０２に送る。

そして、映像再生装置１０１は、映像の再生が完了する、または、再生停止操作が行われるか否かを判定し（Ｓ３４）、映像の再生が完了する、または、再生停止操作が行われると映像の再生を終了する。つまり、映像再生装置１０１は、映像の再生が完了する、または、再生停止操作が行われるまで、ステップＳ３１〜Ｓ３４の処理を繰り返す。例えば、この処理は、１フレーム単位または複数フレーム単位で繰り返し行われる。

図１１Ｂは、実施の形態１に係る映像表示装置１０２の動作を示すフローチャートである。

映像表示装置１０２では、映像受信部１３１は、映像信号およびダイナミックメタデータを受信する（Ｓ４１）。映像受信部１３１は、受信した主映像としての映像信号をトーンマップ処理部１３３へ送り、ダイナミックメタデータをメタデータ取得部１３２に送る。

メタデータ取得部１３２は、第２オプション部分を含む主映像ダイナミックメタデータを取得する（Ｓ４２）。

そして、トーンマップ処理部１３３は、映像表示の開始と同時に、第２オプション部分に応じてトーンマップ処理を開始する（Ｓ４３）。

その後、表示部１３４は、トーンマップ処理部１３３においてトーンマップ処理後の映像を表示する（Ｓ４４）。

そして、映像表示装置１０２は、映像の受信が完了する、または、表示ＯＦＦ操作が行われるか否かを判定し（Ｓ４５）、映像の受信が完了する、または、表示ＯＦＦ操作が行われると映像の表示を終了する。つまり、映像表示装置１０２は、映像の受信が完了する、または、表示ＯＦＦ操作が行われるまで、ステップＳ４１〜Ｓ４５の処理を繰り返す。例えば、この処理は、１フレーム単位又は複数フレーム単位で繰り返し行われる。

図１２は、ダイナミックメタデータの他の構成例を示す図である。なお、図１２では、本開示に関連していない構成を省略している。

図１２のダイナミックメタデータの構成例の、図９Ａおよび図９Ｂの構成例との違いは、項目の記録位置によって、マンダトリ部分、第１オプション部分、および第２オプション部分が定められていることである。図１２の構成例の場合、第１オプション部分としてのメタデータでは、第２オプション部分が「０」はまたは「無効を示す値」が入っている。第２オプション部分としてのメタデータでは、第１オプション部分が「０」はまたは「無効を示す値」が入っている。なお、第１オプション部分および第２オプション部分のどちらにも有効な値が入っていてもよい。

また、ダイナミックメタデータの第１オプション部分からの第２オプション部分の生成は、例えば、データ値の分布と平均データ値を用い、これらを、主映像が用いている映像仕様（つまり、第１オプションの主映像の映像使用および第２オプションの主映像の映像使用）に基づいて、第１オプションの値を第２オプションに対応する値に変換する事で求めることができる。第１オプション部分に、データ値として、ＲＧＢのそれぞれの値が指定されている場合、完全に、第２オプション部分に変換できる。図９Ａおよび図９Ｂで示すダイナミックメタデータの構成と、図１２で示すダイナミックメタデータの構成とのどちらでも、第１オプションの分布情報の数、および、第２オプションの分布情報の数は、一致しない場合がある。このような場合であっても、少なくとも第２オプション部分の生成に必要な分布情報が第１オプション部分に含まれていれば、直接的に変換できる。一方で、第２オプション部分の生成に必要な分布情報が第１オプション部分に含まれていない場合、第１オプションの分布情報から、必要な分布情報を補完することで得られた分布情報を用いることで、第１オプション部分から第２オプション部分に変換できる。

［３．実施の形態２］
実施の形態２について説明する。実施の形態１では、映像表示装置の表示方式に対応する第２オプション部分を主映像のダイナミックメタデータの第１オプション部分から生成するとしたがこれに限らない。実施の形態２では、主映像から生成する例について説明する。つまり、本実施の形態では、映像再生装置は、映像再生装置にＨＤＭＩケーブル等の映像信号伝送手段で接続されている映像表示装置が所定のＨＤＲ方式の第１オプションに対応せず、第２オプションに対応している場合、映像再生装置で再生される主映像からダイナミックメタデータの第２オプション部分を生成する。そして、映像再生装置は、（ｉ）生成した第２オプション部分で、主映像のダイナミックメタデータの第１オプション部分を置き換えるか、または、（ｉｉ）取得したダイナミックメタデータに、生成した第２オプション部分を追加する。その後、映像再生装置は、第２オプション部分を含むダイナミックメタデータを、映像信号伝送手段を通じて、映像表示装置に伝送する。映像表示装置は、第２オプション部分を含むダイナミックメタデータを取得し、取得したダイナミックメタデータの第２オプション部分を用いて、所定のＨＤＲ方式の第２オプションに従ったダイナミックトーンマップを実行する。

［３−１．映像処理システムの構成］
図１３は、実施の形態２に係る映像処理システム１００Ａの構成を示すブロック図である。本実施の形態に係る映像再生装置１０１Ａは、実施の形態１の映像再生装置１０１と比較して、生成部１１８Ａの機能が異なる。映像再生装置１０１Ａの他の構成は、実施の形態１の映像再生装置１０１と同様であるため、詳細な説明を省略する。

生成部１１８Ａは、メタデータ取得部１１６により取得された主映像ダイナミックメタデータが対応している方式（第１オプション）と、方式取得部１１７により取得された表示方式（第２オプション）とが異なるため、主映像デコード部１１３により出力された主映像からダイナミックメタデータの第２オプション部分を生成する。そして、生成部１１８Ａは、生成した第２オプション部分で主映像ダイナミックメタデータの第１オプション部分を置き換えるか、または、主映像ダイナミックメタデータに、生成した第２オプション部分を追加する。このように、生成部１１８Ａは、主映像を解析することで、主映像のダイナミックメタデータを抽出し、抽出したダイナミックメタデータの輝度ダイナミックレンジの方式を、表示方式に変換する。

［３−２．映像処理システムの動作］
ダイナミックメタデータの第１オプション部分および第２オプション部分の構成が、図９Ａ及び図９Ｂに示されるものである場合、メタデータ取得部１１６は、オプションＨＤＲのマンダトリ部分と第１オプション部分とを含む主映像ダイナミックメタデータ取得する。

この場合の、映像処理システム１００Ａの動作の流れを説明する。図１４は、実施の形態２に係る映像再生装置１０１Ａの動作を示すフローチャートである。なお、実施の形態２に係る映像再生装置１０１Ａの動作では、実施の形態１に係る映像再生装置１０１の動作と比較して、ステップＳ３２の代わりにステップＳ３２Ａを行う点が異なる。このため、ステップＳ３２Ａの説明を行い、その他のステップの説明を省略する。

映像処理システム１００Ａでは、ステップＳ３１が終わると、生成部１１８Ａは、主映像デコード部１１３により出力された主映像の輝度特性を解析し、解析した結果から、第２オプションに対応しているダイナミックメタデータ（つまり、第２オプション部分）を生成する（Ｓ３２Ａ）。

その後、映像再生装置１０１Ａは、図１１ＡのステップＳ３３以降の処理と同様の処理を行う。

図１２に示した、ダイナミックメタデータの他の構成例である場合と同様に、第１オプション部分としてのメタデータでは、第２のオプション部分が「０」はまたは「無効を示す値」が入っている。第２オプション部分としてのメタデータでは、第１オプション部分が「０」はまたは「無効を示す値」が入っている。なお、第１オプション部分および第２オプション部分のどちらにも有効な値が入っていてもよい。

また、主映像からのダイナミックメタデータの第２オプション部分の生成は、例えば、フレーム単位で、主映像のすべてのピクセルデータの輝度値を取得し、その分布を統計処理により求め、第２オプションの規定に従い、演算することで主映像からダイナミックメタデータの第２オプション部分を求めることができる。

なお、主映像のデータにおいて、第２オプションの各値の定義が、表示したときの輝度値を表すコード値である場合、次のようにダイナミックメタデータの第２オプション部分を求めてもよい。この場合、主映像のデータは、ＨＤＲ方式により規定される入出力特性（ＥＯＴＦ：Ｅｌｅｃｔｒｏ−Ｏｐｔｉｃａｌ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）に従って表示処理をするときに、当該ＥＯＴＦで所定の輝度に対応付けられているコード値である。このため、まず、ＥＯＴＦに従った処理を行うことで、主映像のコード値を輝度値に変換し、変換した輝度値を用いて統計処理を行う。そして、統計処理の結果を用いて、第２オプションの規定に従い演算し、ダイナミックメタデータの第２オプション部分を求めてもよい。

［４．実施の形態３］
実施の形態３について説明する。実施の形態１および２では、映像再生装置において、映像表示装置の表示方式に対応する第２オプション部分を生成するとしたが、実施の形態３では、映像表示装置において、第２オプション部分を生成する例について説明する。つまり、本実施の形態では、映像再生装置は、映像再生装置にＨＤＭＩケーブル等の映像信号伝送手段で接続されている映像表示装置が所定のＨＤＲ方式の第１オプションの主映像の表示処理機能を有さず、第２オプションの主映像の処理機能を有する場合、第１オプションの主映像を再生し、当該主映像の再生信号を出力する。映像表示装置は、（ｉ）主映像とともに伝送されるダイナミックメタデータの第１オプション部分から第２オプション部分を生成するか、（ｉｉ）主映像から、第２オプション部分を生成するか、または、（ｉ）および（ｉｉ）の両方の方法を用いて、第２オプション部分を生成する。そして、映像表示装置は、生成した第２オプション部分を用いたダイナミックトーンマップを実行する。

［４−１．第１の例の映像処理システムの構成］
図１５は、実施の形態３の第１の例に係る映像処理システム１００Ｂの構成を示すブロック図である。

本実施の形態の第１の例に係る映像再生装置１０１Ｂは、実施の形態１の映像再生装置１０１と比較して、方式取得部１１７および生成部１１８を有していない点が異なる。このため、映像送出部１２１は、主映像合成部１２０で生成された映像信号と、第１オプション部分を含むダイナミックメタデータとを、ＨＤＭＩケーブル等の映像信号伝送手段を介して映像表示装置１０２Ｂに伝送する。映像再生装置１０１Ｂの他の構成は、実施の形態１の映像再生装置１０１と同様であるので詳細な説明を省略する。

また、本実施の形態の第１の例に係る映像表示装置１０２Ｂは、実施の形態１の映像表示装置１０２と比較して、さらに、生成部１３６を有している点、および、通知部１３５を有していない点が異なる。映像表示装置１０２Ｂの他の構成は、実施の形態１の映像表示装置１０２と同様であるので詳細な説明を省略する。

生成部１３６は、メタデータ取得部１３２により取得された主映像ダイナミックメタデータ対応している方式（第１オプション）と、表示方式（第２オプション）とが異なるため、主映像ダイナミックメタデータの第１オプション部分から、第２オプション部分を生成する。そして、生成部１３６は、生成した第２オプション部分で、主映像ダイナミックメタデータの第１オプション部分を置き換える。このように、生成部１３６は、映像データが示す映像の輝度ダイナミックレンジの方式が映像表示装置の表示方式と異なる場合、主映像ダイナミックメタデータの方式を、表示方式に変換する。

［４−２．第１の例の映像処理システムの動作］
まず、映像再生装置１０１Ｂは、第１オプション部分を含む主映像ダイナミックメタデータを主映像とともに、ＨＤＭＩケーブル等の映像信号伝送手段を通じて、映像表示装置１０２Ｂに送る。

図１６は、実施の形態３の第１の例に係る映像表示装置１０２Ｂの動作を示すフローチャートである。なお、実施の形態３の第１の例に係る映像表示装置１０２Ｂの動作では、実施の形態１に係る映像表示装置１０２の動作と比較して、ステップＳ４２の代わりに、ステップＳ５１〜Ｓ５３を行う点が異なる。このため、ステップＳ５１〜Ｓ５３の説明を行い、その他のステップの詳細な説明を省略する。

映像表示装置１０２Ｂでは、ステップＳ４１が終わると、メタデータ取得部１３２は、第１オプション部分を含む主映像ダイナミックメタデータを取得する（Ｓ５１）。

次に、生成部１３６は、主映像ダイナミックメタデータの第１オプション部分から、第２オプション部分を生成する（Ｓ５２）。

そして、生成部１３６は、第２オプション部分を含む主映像ダイナミックデータをトーンマップ処理部１３３に出力する（Ｓ５３）。

その後、実施の形態１に係る映像表示装置１０２のステップＳ４３〜Ｓ４５が行われる。なお、映像表示装置１０２Ｂは、映像の受信が完了する、または、表示ＯＦＦ操作が行われるまで、ステップＳ４１、Ｓ５１〜Ｓ５３、Ｓ４３〜Ｓ４５の処理を繰り返す。例えば、この処理は、１フレーム単位又は複数フレーム単位で繰り返し行われる。

［４−３．第２の例の映像処理システムの構成］
図１７は、実施の形態３の第２の例に係る映像処理システム１００Ｃの構成を示すブロック図である。

本実施の形態の第２の例に係る映像処理システム１００Ｃは、第１の例に係る映像処理システム１００Ｃの映像表示装置１０２Ｂと比較して、映像表示装置１０２Ｃの生成部１３６Ｃの機能が異なる。映像表示装置１０２Ｃの他の構成は、第１の例の映像表示装置１０２Ｂと同様であるため、詳細な説明を省略する。

生成部１３６Ｃは、メタデータ取得部１３２により取得された主映像ダイナミックメタデータが対応している方式（第１オプション）と、表示方式（第２オプション）とが異なるため、映像受信部１３１により出力された主映像からダイナミックメタデータの第２オプション部分を生成する。そして、生成部１３６Ｃは、生成した第２オプション部分で主映像ダイナミックメタデータの第１オプション部分を置き換える。このように、生成部１３６Ｃは、主映像を解析することで、主映像のダイナミックメタデータを抽出し、抽出したダイナミックメタデータの輝度ダイナミックレンジの方式を、表示方式に変換する。

［４−４．第２の例の映像処理システムの動作］
図１８は、実施の形態３の第２の例に係る映像表示装置１０２Ｃの動作を示すフローチャートである。なお、実施の形態３の第２の例に係る映像表示装置１０２Ｃの動作では、第１の例に係る映像表示装置１０２Ｂの動作と比較して、ステップＳ５２の代わりにステップＳ５２Ｃを行う点が異なる。このため、ステップＳ５２Ｃの説明を行い、その他のステップの詳細な説明を省略する。

映像表示装置１０２Ｃでは、ステップＳ５１が終わると、生成部１３６Ｃは、映像受信部１３１により出力された主映像の輝度特性を解析し、解析した結果から、第２オプションに対応しているダイナミックメタデータ（つまり、第２オプション部分）を生成する（Ｓ５２Ｃ）。

その後、映像表示装置１０２Ｃは、図１６のステップＳ５３以降の処理と同様の処理を行う。

［５．実施の形態４］
実施の形態４について説明する。実施の形態４では、実施の形態１または実施の形態２に加え、映像再生装置は、ダイナミックメタデータの第２オプション部分の生成時に、グラフィックスの輝度情報を含める。つまり、映像再生装置は、主映像に重畳されるグラフィックスの輝度情報を第２のオプション部分に追加する。映像表示装置は、第２オプション部分を含むダイナミックメタデータを取得し、取得したダイナミックメタデータを用いて、第２オプションの主映像の輝度がグラフィックスの輝度以上の区間では、当該区間の第２オプション部分に応じて、変換カーブを時系列に変更する第１トーンマップ処理を行い、第２オプションの主映像の輝度がグラフィックスの輝度より暗い区間では、一定の変換カーブを用いる第２トーンマップ処理を行う。

［５−１．映像処理システムの構成］
図１９は、実施の形態４に係る映像処理システム１００Ｄの構成を示すブロック図である。本実施の形態に係る映像再生装置１０１Ｄは、実施の形態１の映像再生装置１０１と比較して、さらに、抽出部１２２を備える点が異なる。映像再生装置１０１Ｄの他の構成は、実施の形態１の映像再生装置１０１と同様であるため、詳細な説明を省略する。

抽出部１２２は、グラフィックスの輝度特性を抽出する。

また、本実施の形態に係る映像表示装置１０２Ｄは、実施の形態１の映像表示装置１０２と比較して、トーンマップ処理部１３３Ｄの機能が異なる。映像表示装置１０２Ｄの他の構成は、実施の形態１の映像表示装置１０２と同様であるため、詳細な説明を省略する。

図２０は、トーンマップ処理部１３３Ｄの構成を示すブロック図である。

トーンマップ処理部１３３Ｄは、係数演算部１４１と、係数保持部１４２と、トーンマップ部１４３と、係数合成部１４４と、切替部ＳＷ２とを備える。

映像受信部１３１からの映像信号は、トーンマップ部１４３へ送られる。メタデータ取得部１３２からの主映像ダイナミックメタデータは、係数演算部１４１に送られる。

係数演算部１４１は、トーンマップ部１４３におけるトーンマップ処理で用いられるトーンマップ係数を、映像表示装置１０２Ｄの輝度などの映像表示能力に従って算出する。係数保持部１４２は、係数演算部１４１が算出したトーンマップ係数を保持する。ここで、トーンマップ係数とは、トーンマップ処理に用いられる変換カーブを示す関数に含まれる係数である。つまり、トーンマップ係数により変換カーブが決定される。

切替部ＳＷ２は、係数演算部１４１で算出されたトーンマップ係数（Ａ）と、係数保持部１４２に保持されるトーンマップ係数（Ｂ）との一方を選択し、選択したトーンマップ係数を係数保持部１４２に入力する。つまり、切替部ＳＷ２は、係数保持部１４２に保持されるトーンマップ係数を、係数演算部１４１で新たに算出されたトーンマップ係数に更新するか（Ａ）、現在保持しているトーンマップ係数を引き続き保持するか（Ｂ）を切り替える。

係数合成部１４４は、グラフィックス輝度情報が「０」あるいは「グラフィックスが無いことを示す値」である場合、係数演算部１４１により算出されたトーンマップ係数を用いるダイナミックトーンマップ処理を行う。一方、係数合成部１４４は、グラフィックス輝度情報が「０」でない、または、「グラフィックスがあることを示す値」である場合、つまり、グラフィックスが重畳されることを示す場合、グラフィックス輝度情報が示すグラフィックス輝度とダイナミックメタデータの第２オプション部分により示される輝度との比較を行う。そして、係数合成部１４４は、第２オプションの主映像の輝度がグラフィックスの輝度以上の場合、第２オプション部分に応じて、変換カーブを時系列に変更する第１トーンマップ処理を行い、第２オプションの主映像の輝度がグラフィックスの輝度より暗い場合、（１）トーンマップを固定する、（２）トーンマップ処理を行わない、（３）トーンマップの変動を抑える、又は（４）トーンマップの影響が人に感知できない程度とするなどの処理を行う。ここで、グラフィックス輝度とは、例えば、グラフィックスに用いられている輝度の最大値より高い輝度である。これにより、グラフィックスに用いられる輝度範囲においてトーンマップが変動することが抑制される。また、上記処理において、境界輝度以上の変換カーブと、境界輝度未満の変換カーブとの連続性を維持するために、係数合成部１４４は、これらの境界領域において変換カーブが滑らかに変化するように変換カーブを補正してもよい。

これにより、グラフィックスが重畳されている部分は、安定した表示が可能となる。

また、本構成は、一例であり、トーンマップ処理部１３３Ｄは、グラフィックス輝度情報がグラフィックスが重畳されることを示す場合、トーンマップ係数を特定の輝度以下で固定してもよいし、トーンマップ処理を行わないとしてもよい。

つまり、トーンマップ処理部１３３Ｄは、第１動的輝度特性としてのダイナミックメタデータの第２オプション部分が、グラフィックスの輝度以上である映像の第１区間では、当該第１区間における主映像の輝度を当該第１区間における第１動的輝度特性に応じて、変換カーブを時系列に変更する第１トーンマップ処理を行う。また、トーンマップ処理部１３３Ｄは、ダイナミックメタデータの第２オプション部分が、グラフィックスの輝度特性未満である映像の第２区間では、当該第２区間における主映像の輝度を当該第２区間におけるグラフィックスの輝度に依らず、一定の変換カーブを用いる第２トーンマップ処理を行う。

図２１は、実施の形態４に係るダイナミックメタデータの構成例を示す図である。なお、図２１では、本開示に関連していない構成を省略している。

図２１のダイナミックメタデータの構成例の、図９Ａ、図９Ｂ、および図１２の構成例との違いは、グラフィックス輝度情報が追加されていることである。グラフィックス輝度情報の値は、主映像に重畳されるグラフィックス、つまり、字幕またはメニューの実効的な最大輝度を示す。映像表示装置１０２Ｄは、グラフィックス輝度情報が「０」または「グラフィックスが無いことを示す値」である場合、ダイナミックメタデータに従ったダイナミックトーンマップを行う。一方、映像表示装置１０２Ｄは、グラフィックス輝度情報が「０」でない、または、「グラフィックスがあることを示す値」である場合、グラフィックス輝度情報の輝度以上の輝度の主映像の区間については、ダイナミックトーンマップを実施し、グラフィックス輝度以下の主映像の区間については、トーンマップを固定する。

グラフィックス輝度情報は、第２オプションのトーンマップ情報の輝度値の分布の一部としてもよい。グラフィックス輝度情報は、例えば、Ｋｎｅｅｐｏｉｎｔとして定義してある輝度値を用いてもよく、この場合、映像表示装置１０２Ｄは、グラフィックスの処理と通常のダイナミックトーンマップの処理とを共通化することが可能となる。つまり、映像表示装置１０２Ｄは、Ｋｎｅｅｐｏｉｎｔで指定される輝度以下については、トーンマップを行わないことが期待値であることから、グラフィックスの輝度以下については、トーンマップを行わないと言う処理となる。よって、映像表示装置１０２Ｄは、グラフィックスが重畳されても、映像のうちのグラフィックスが重畳されている部分を安定した輝度で表示することができる。

［５−２．効果］
図２２Ａは、グラフィックスが字幕である場合における、従来のダイナミックトーンマップによる字幕の輝度の変化を示す図である。字幕の輝度レベルが２００ｎｉｔ以下の場合において、時間的にトーンマップが変化すると、図２２Ａからわかるように、０から２００ｎｉｔ付近の輝度も変化し、本来一定である字幕の輝度が変化する。

これに対し、所定の輝度を固定値とし所定の輝度を超える輝度に対してトーンマップを行うことで、所定の輝度以下の輝度に対して、トーンマップの時間変化が発生しないようにできる。これにより、図２２Ｂからわかるように、字幕輝度である２００ｎｉｔ以下の時間変化がなく、安定した輝度で字幕が表示される。ここで、所定の輝度は、例えば標準的な字幕の輝度レベルより高い固定値であり、変換カーブのＫｎｅｅｐｏｉｎｔも固定される。

しかしながら、所定の輝度が固定されると、ダイナミックトーンマップの変化幅が制限され、主映像に対して、ダイナミックトーンマップの効果が少なくなると言う課題がある。特に映像表示装置１０２の最大輝度（ＤＰＬ）が低いときに問題が顕著である。もちろん、映像表示装置１０２において、グラフィックスデータの輝度を一定値以下に想定するなどダイナミックトーンマップの方法を工夫することにより、ダイナミックトーンマップの効果を大きくすることができる。しかしながら、この場合、想定以上の輝度のグラフィックスデータが表示される場合に、グラフィックスデータの表示がダイナミックトーンマップの影響を受けやすくなるなどの課題がある。

これに対し、字幕の輝度情報に基づいて所定の輝度を変化させるために、図２３に示すように、より自由度が高いダイナミックトーンマップを主映像に適用できる。図２３では、実際の字幕の輝度が１００ｎｉｔであった場合を図示している。図２３に示すように、この場合、図２２Ｂに示す境界輝度を２００ｎｉｔに固定して処理する場合に対して、より自由度が高いダイナミックトーンマップを実現できる。この効果は、接続する映像表示装置１０２Ｄの最大輝度が低いほど大きくなる。

［６．実施の形態５］
実施の形態５について説明する。実施の形態５では、ダイナミックトーンマップに対応した複数のＨＤＲ方式に映像再生装置が対応している場合を考える。映像再生装置は、主映像が複数のＨＤＲ方式のうちの第１ＨＤＲ方式に対応しており、映像再生装置に接続されている映像表示装置が複数のＨＤＲ方式のうちの第２ＨＤＲ方式に対応している場合、主映像の再生時に、映像表示装置が対応している第２ＨＤＲ方式に必要な、ダイナミックメタデータを再生中の主映像からダイナミックに生成し、生成したダイナミックメタデータを映像表示装置に送る。これにより、映像表示装置は、第２ＨＤＲ方式に対応した主映像およびダイナミックメタデータを取得し、取得したダイナミックメタデータを用いて取得した主映像を第２ＨＤＲ方式で表示する。

［６−１．映像処理システムの構成］
図２４は、実施の形態５に係る映像処理システム１００Ｅの構成を示すブロック図である。本実施の形態に係る映像再生装置１０１Ｅは、実施の形態２の映像再生装置１０１Ａと比較して、生成部１１８Ｅの機能が異なる。映像再生装置１０１Ｅの他の構成は、実施の形態２の映像再生装置１０１Ａと同様であるため、詳細な説明を省略する。また、映像表示装置１０２は、実施の形態１および２の映像表示装置１０２と同様であるため詳細な説明を省略する。

まず、本実施の形態では、メタデータ取得部１１６において、第１ＨＤＲ方式に対応する主映像ダイナミックメタデータが取得されたものとして説明する。また、方式取得部１１７は、映像表示装置１０２の表示方式が対応するＨＤＲ方式が第２ＨＤＲ方式であるため、第２ＨＤＲ方式を示す表示方式を取得するものとして説明する。

生成部１１８Ｅは、メタデータ取得部１１６により取得された主映像ダイナミックメタデータが対応している方式（第１ＨＤＲ方式）と、方式取得部１１７により取得された表示方式（第２ＨＤＲ方式）とが異なるため、主映像デコード部１１３により出力された主映像から第２ＨＤＲ方式のダイナミックメタデータを生成する。そして、生成部１１８Ｅは、生成した第２ＨＤＲ方式の主映像ダイナミックメタデータで、第１ＨＤＲ方式のダイナミックメタデータを置き換えるか、または、主映像ダイナミックメタデータに、生成した第２ＨＤＲ方式のダイナミックメタデータを追加する。このように、生成部１１８Ｅは、主映像を解析することで、表示方式に対応する、主映像のダイナミックメタデータを抽出する。

［７．変形例］
Ｂｌｕ−ｒａｙ、Ｕｌｔｒａ ＨＤ Ｂｌｕ−ｒａｙの詳細は、例えば、非特許文献１に記載されている。

取得部１１１が取得するＨＤＲ映像は、例えばＢｌｕ−ｒａｙディスク、ＤＶＤ、Ｉｎｔｅｒｎｅｔの動画配信サイト、放送、又はＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）内の映像であってもよい。

上記映像再生装置は、ディスクプレイヤー、ディスクレコーダ、セットトップボックス、テレビ、パーソナルコンピュータ、又はスマートフォンなど、記録媒体、放送又はインターネットからの圧縮された映像信号を復号し、映像表示装置に送る装置でもよい。また、映像再生装置の機能の一部又は全てが、映像表示装置１０２に含まれてもよい。例えば、映像再生装置に含まれる処理部のうち、取得部１１１以外の処理部が映像表示装置１０２に含まれてもよい。また、映像表示装置１０２に含まれる映像受信部１３１、メタデータ取得部１３２及びトーンマップ処理部１３３、１３３Ｄが映像再生装置に含まれてもよい。また、トーンマップ処理部１３３Ｄに含まれる処理部のうちトーンマップ部１４３以外の処理部が映像再生装置に含まれてもよい。

映像再生装置からの映像信号を映像表示装置に伝送する映像信号伝送手段は、ＨＤＭＩ、ＤＶＩ、又はＤＰなどの映像信号を非圧縮の状態で伝送する手段であってもよいし、ネットワークを通じた伝送のように映像信号を圧縮した形式で伝送する手段であってもよい。

映像表示装置の最大輝度情報又はトーンマップ情報の映像再生装置への設定は、利用者が映像再生装置にリモートコントローラなどを用いて入力することで行われてもよいし、利用者が映像再生装置が備える操作装置を用いて入力することで行われてもよい。または、利用者は、インターネット又はその他の手段を用いて、これらの情報を取得し、取得した情報をポータブル記憶媒体に保存し、ポータブル記憶媒体を介して、これらの情報を映像再生装置に送ってもよい。また、映像再生装置が直接、インターネットに接続され、映像再生装置は、サーバのデータベースから、これらの情報を取得してもよい。さらに、映像再生装置は、映像表示装置にテストパターンを表示し、表示されたテストパターンを用いて映像表示装置の特性を確認しながら、これらの情報を取得及び記憶してもよい。

映像再生装置は、グラフィックス（字幕又はメニュー）の輝度をそのデータから検出することでグラフィックス輝度情報（字幕輝度情報及びメニュー輝度情報を含む）を生成してもよいし、映像データ作成時に予め作成されたグラフィックスの輝度を取得してもよい。例えば、グラフィックスの輝度は、ディスクに記録されていてもよいし、メタデータとして放送又はＩｎｔｅｒｎｅｔで送付されてもよい。映像再生装置は、グラフィックスの輝度を読み取り、ダイナミックメタデータの一部として映像表示装置に送る。あるいは、Ｉｎｔｅｒｎｅｔに接続されたサーバのデータベースに、再生するコンテンツに対する情報として、グラフィックス（字幕又はメニュー）の輝度情報が記録されており、映像再生装置は、当該データベースからグラフィックスの輝度情報を取得し、取得した輝度情報を映像表示装置に送ってもよい。

第１オプション、第２オプションのメタデータについては、構成例のビット数、項目数とは異なる、第１のオプションでの値の単位系など、表現する座標系と第２のオプションで値の単位系などの座標系が異なるなど、それぞれのオプションでの記載について、異なったものであればよい。

実施の形態１〜４では、ＨＤＲ方式の第１オプションおよび第２オプションが異なる場合を説明したが、第１オプションおよび第２オプションが異なる場合も、ＨＤＲ方式が異なることに含まれる。つまり、ＨＤＲ方式の第１オプションを第１ＨＤＲ方式とし、ＨＤＲ方式の第２オプションを第２ＨＤＲ方式としてもよい。また、マンダトリＨＤＲについても、ＨＤＲ方式の第１オプションおよびＨＤＲ方式の第２オプションとは異なるＨＤＲ方式としてもよい。

以上、本開示の実施の形態に係る映像処理システムについて説明したが、本開示は、この実施の形態に限定されるものではない。

また、上記実施の形態に係る映像処理システムに含まれる各処理部は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。

また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

また、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。

また、本開示は、映像処理システムにより実行される各種方法として実現されてもよい。

また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。

また、フローチャートにおける各ステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。

以上、一つまたは複数の態様に係る映像処理システムについて、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。

本開示は、映像処理システム、映像再生装置又は映像表示装置に適用できる。

１００、１００Ａ〜１００Ｅ 映像処理システム
１０１、１０１Ａ、１０１Ｂ、１０１Ｄ、１０１Ｅ 映像再生装置
１０２、１０２Ｂ、１０２Ｃ、１０２Ｄ 映像表示装置
１１１ 取得部
１１２ デマルチプレクサ
１１３ 主映像デコード部
１１４ 字幕デコード部
１１５ メニューデコード部
１１６、１３２ メタデータ取得部
１１７ 方式取得部
１１８、１１８Ａ、１１８Ｅ、１３６、１３６Ｃ 生成部
１１９ グラフィックス合成部
１２０ 主映像合成部
１２１ 映像送出部
１３１ 映像受信部
１３３、１３３Ｄ トーンマップ処理部
１３４ 表示部
１３５ 通知部
１４１ 係数演算部
１４２ 係数保持部
１４３ トーンマップ部
１４４ 係数合成部

本開示は、映像信号を処理する映像処理システム及び映像処理方法に関する。

特許文献１には、ＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）映像において、動的ＨＤＲメタデータに基づいてＨＤＲ信号の表示方法を更新する表示装置について記載されている。

特開２０１７−１８４２４９号公報

White Paper Blu-ray Disc Read-Only Format (Ultra HD Blu-ray), Audio Visual Application Format Specifications for BD-ROM Version 3.1, August 2016(http://www.blu-raydisc.com/Assets/Downloadablefile/BD-ROM_Part3_V3.1_WhitePaper_160729_clean.pdf)

本開示は、表示する映像の質を向上できる映像処理システム又は映像処理方法を提供する。

本開示の一態様に係る映像処理システムは、主映像を含む映像データを取得する第１取得部と、表示装置が表示可能な輝度ダイナミックレンジの方式を示す表示方式を取得する第２取得部と、前記映像データが示す映像の輝度ダイナミックレンジの方式が前記表示方式と異なる場合、前記映像データを用いて、映像の輝度特性の時系列の変化を示す動的輝度特性であって、前記表示方式に対応する第１動的輝度特性を示す第１特性情報を生成する生成部と、前記生成部により生成された前記第１特性情報を出力する出力部と、を備える。

本開示は、表示する映像の質を向上できる映像処理システム又は映像処理方法を提供できる。

図１は、映像技術の進化について説明するための図である。 図２は、コンテンツに新たな映像表現を導入するときの、映像制作、配信方式、及び表示装置の関係について説明するための図である。 図３Ａは、トーンマップの一例を示す図である。 図３Ｂは、トーンマップの一例を示す図である。 図４Ａは、スタティックトーンマップの一例を示す図である。 図４Ｂは、ダイナミックトーンマップの一例を示す図である。 図５Ａは、ＨＤＲおよびＳＤＲのそれぞれに対応したＥＯＴＦ（Ｅｌｅｃｔｒｏ−Ｏｐｔｉｃａｌ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）の例について示す図である。 図５Ｂは、ＨＤＲおよびＳＤＲのそれぞれに対応した逆ＥＯＴＦの例について示す図である。 図６は、動画にグラフィックスを重畳して表示する例を示す図である。 図７は、主映像にグラフィックスが重畳されたときのダイナミックトーンマップの影響を示す図である。 図８Ａは、ＨＤＲ方式の確認方法の一例を示すメインフローである。 図８Ｂは、図８Ａのメインフローにおいて、主映像が対応している方式を確認する方法の一例を示すサブフローである。 図８Ｃは、図８Ａのメインフローにおいて、映像表示装置が対応している方式を確認する方法の一例を示すサブフローである。 図９Ａは、第１オプションに対応しているダイナミックメタデータの構成例を示す図である。 図９Ｂは、第２オプションに対応しているダイナミックメタデータの構成例を示す図である。 図１０は、実施の形態１に係る映像処理システムの構成を示すブロック図である。 図１１Ａは、実施の形態１に係る映像再生装置の動作を示すフローチャートである。 図１１Ｂは、実施の形態１に係る映像表示装置の動作を示すフローチャートである。 図１２は、ダイナミックメタデータの他の構成例を示す図である。 図１３は、実施の形態２に係る映像処理システムの構成を示すブロック図である。 図１４は、実施の形態２に係る映像再生装置の動作を示すフローチャートである。 図１５は、実施の形態３の第１の例に係る映像処理システムの構成を示すブロック図である。 図１６は、実施の形態３の第１の例に係る映像表示装置の動作を示すフローチャートである。 図１７は、実施の形態３の第２の例に係る映像処理システムの構成を示すブロック図である。 図１８は、実施の形態３の第２の例に係る映像表示装置の動作を示すフローチャートである。 図１９は、実施の形態４に係る映像処理システムの構成を示すブロック図である。 図２０は、トーンマップ処理部の構成を示すブロック図である。 図２１は、実施の形態４に係るダイナミックメタデータの構成例を示す図である。 図２２Ａは、グラフィックスが字幕である場合における、従来のダイナミックトーンマップによる字幕の輝度の変化を示す図である。 図２２Ｂは、トーンマップによる輝度の変化を示す図である。 図２３は、トーンマップによる輝度の変化を示す図である。 図２４は、実施の形態５に係る映像処理システム１００Ｅの構成を示すブロック図である。

本発明の一態様に係る映像処理システムは、主映像を含む映像データを取得する第１取得部と、表示装置が表示可能な輝度ダイナミックレンジの方式を示す表示方式を取得する第２取得部と、前記映像データが示す映像の輝度ダイナミックレンジの方式が前記表示方式と異なる場合、前記映像データを用いて、映像の輝度特性の時系列の変化を示す動的輝度特性であって、前記表示方式に対応する第１動的輝度特性を示す第１特性情報を生成する生成部と、前記生成部により生成された前記第１特性情報を出力する出力部と、を備える。

また、前記映像データは、さらに、前記主映像の前記動的輝度特性を示す第２特性情報を含み、前記生成部は、前記第２特性情報が示す第２動的輝度特性の輝度ダイナミックレンジの方式を、前記表示方式に変換することで、前記第１特性情報を生成してもよい。

また、前記生成部は、前記映像データの前記主映像を解析することで、前記主映像の前記動的輝度特性を示す第２動的輝度特性を抽出し、抽出した前記第２動的輝度特性の輝度ダイナミックレンジの方式を、前記表示方式に変換することで、前記第１特性情報を生成してもよい。

また、さらに、前記出力部により出力された前記第１特性情報が示す第１動的輝度特性に応じた変換カーブを用いて前記主映像の輝度を変換するトーンマップ処理を行うトーンマップ処理部と、前記トーンマップ処理後の映像を表示する表示部と、を備えてもよい。

また、さらに、前記主映像にグラフィックスを合成することで合成映像を生成する合成部と、前記グラフィックスの輝度特性を抽出する抽出部と、を備え、前記出力部は、さらに、前記合成映像と、前記グラフィックスの輝度特性を示す第３特性情報とを出力してもよい。

また、さらに、前記出力部により出力された前記第１特性情報が示す第１動的輝度特性に応じた変換カーブを用いて前記主映像の輝度を変換するトーンマップ処理を行うトーンマップ処理部と、前記トーンマップ処理後の映像を表示する表示部とを備え、前記トーンマップ処理部は、前記合成部において合成映像が生成される場合、前記第１特性情報が示す前記第１動的輝度特性が、前記第３特性情報が示す前記グラフィックスの輝度特性以上である映像の第１区間では、当該第１区間における前記主映像の輝度を当該第１区間における前記第１動的輝度特性に応じて、前記変換カーブを時系列に変更する第１トーンマップ処理を行い、前記第１動的輝度特性が前記グラフィックスの輝度特性未満である映像の第２区間では、当該第２区間における前記主映像の輝度を当該第２区間における前記第１動的輝度特性に依らず、一定の変換カーブを用いる第２トーンマップ処理を行ってもよい。

また、本発明の一態様に係る映像処理方法は、映像処理システムにおける映像処理方法であって、主映像を含む映像データを取得する第１取得ステップと、表示装置が表示可能な輝度ダイナミックレンジの方式を示す表示方式を取得する第２取得ステップと、前記映像データが示す映像の輝度ダイナミックレンジの方式が前記表示方式と異なる場合、前記映像データを用いて、映像の輝度特性の時系列の変化を示す動的輝度特性であって、前記表示方式に対応する第１動的輝度特性を示す第１特性情報を生成する生成ステップと、前記生成ステップにおいて生成された前記第１特性情報を出力する出力ステップと、を含む。

［１−１．背景］
まず、映像技術の変遷について、図１を用いて説明する。図１は、映像技術の進化について説明するための図である。

これまで、映像の高画質化としては、表示画素数の拡大に主眼がおかれ、Ｓｔａｎｄａｒｄ Ｄｅｆｉｎｉｔｉｏｎ（ＳＤ）の７２０×４８０画素から、Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ（ＨＤ）の１９２０×１０８０画素の映像が普及している。

近年、更なる高画質化を目指して、Ｕｌｔｒａ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ（ＵＨＤ）の３８４０×１９２０画素、あるいは、４Ｋの４０９６×２０４８画素の、所謂４Ｋ映像の導入が開始された。

４Ｋの導入と共に、ダイナミックレンジ拡張、色域拡大、又は、フレームレートの追加或いは向上なども検討されている。

その中でも、ダイナミックレンジについては、暗部階調を維持しつつ、現行のテレビ信号で表現不能な鏡面反射光などの明るい光を、より現実に近い明るさで表現するための方式として、ＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）が注目されている。具体的には、これまでのテレビ信号は、ＳＤＲ（Ｓｔａｎｄａｒｄ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）と呼ばれ、最高輝度が１００ｎｉｔであった。これに対して、ＨＤＲでは１０００ｎｉｔ以上まで最高輝度を拡大することが想定されている。ＨＤＲは、ＳＭＰＴＥ（Ｓｏｃｉｅｔｙ ｏｆ Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ ＆ Ｔｅｌｅｖｉｓｉｏｎ Ｅｎｇｉｎｅｅｒｓ）、及びＩＴＵ−Ｒ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｕｎｉｏｎ Ｒａｄｉｏｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｓｅｃｔｏｒ）などにおいて、マスタリングディスプレー用規格の標準化が進行中である。

ＨＤＲの具体的な適用先としては、ＨＤ及びＵＨＤと同様に、放送、パッケージメディア（Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ等）、及びインターネット配信などが想定されている。

［１−２．マスター生成、配信方式、及び表示装置の関係］
図２は、コンテンツに新たな映像表現を導入するときの、映像制作、配信方式、及び表示装置の関係について説明するための図である。

映像の高画質化のために新たな映像表現（画素数の増加等）を導入する場合には、図２に示すように、（１）映像制作側のＨｏｍｅ Ｅｎｔｅｒｔａｉｎｍｅｎｔ向けマスターを変更する必要がある。それに応じて、（２）放送、通信、及びパッケージメディア等の配信方式も、（３）その映像を表示するテレビ、又はプロジェクター等の表示装置も更新する必要がある。

［１−３．トーンマップ］
トーンマップ（Ｔｏｎｅ Ｍａｐｐｉｎｇ）は、ＨＤＲ映像の輝度と映像表示装置の最大輝度（Ｄｉｓｐｌａｙ Ｐｅａｋ Ｌｕｍｉｎａｎｃｅ：ＤＰＬ）との関係から、映像の最大輝度（Ｍａｘｉｍｕｍ Ｃｏｎｔｅｎｔ Ｌｕｍｉｎａｎｃｅ Ｌｅｖｅｌ：ＭａｘＣＬＬ）がＤＰＬを超える場合に、映像の輝度を変換し、映像の輝度をＤＰＬ以内に収める処理である。この処理により、映像の最大輝度付近の情報を失うことなく映像を表示できる。この変換は、映像表示装置の特性にも依存し、どのように表示するかの考え方にも依存するので、映像表示装置毎に異なった変換カーブが用いられる。

図３Ａ及び図３Ｂは、トーンマップの一例を示す図である。図３Ａは、ＤＰＬが５００ｎｉｔの場合を示し、図３Ｂは、ＤＰＬが１０００ｎｉｔの場合を示す。また、図３Ａ及び図３Ｂは、ＭａｘＣＬＬが１０００ｎｉｔの映像を表示した場合のトーンマップと、ＭａｘＣＬＬが４０００ｎｉｔの映像を表示した場合のトーンマップとの例である。

図３Ａに示すように、ＤＰＬが５００ｎｉｔの場合、どちらの映像も５００ｎｉｔ以下でＭａｘＣＬＬまでを表示できるように、輝度が変換されるが、ＭａｘＣＬＬが高い映像のほうが変換の度合いは大きくなる。

図３Ｂに示すように、ＤＰＬが１０００ｎｉｔの場合、ＭａｘＣＬＬが１０００ｎｉｔの映像では、トーンマップが行われない。ＭａｘＣＬＬが４０００ｎｉｔの映像では、トーンマップが行われ、４０００ｎｉｔの輝度が１０００ｎｉｔに変換されて表示される。

［１−４．ダイナミックメタデータとダイナミックトーンマップ］
図４Ａは、スタティックメタデータを用いたトーンマップの例を示す図である。図４Ｂは、ダイナミックメタデータを用いたダイナミックトーンマップの例を示す図である。

図４Ａに示すように、スタティックメタデータ（ＭａｘＣＬＬ）が用いられる場合、ＭａｘＣＬＬは一連の映像内で最も高い輝度を示すため、映像表示装置は、一連の映像に対して、固定的なトーンマップしか行えない。これに対して、映像表示装置は、図４Ｂの（ａ）に示すように、時間変化する輝度に合わせたメタデータ（ここではＤｙｎａｍｉｃ ＭａｘＣＬＬと称す）を用いることで、輝度が低い場合は、トーンマップを行わず（図４Ｂの（ｂ））、輝度が高い場合はトーンマップを行う（図４Ｂの（ｃ））というように、時間変化する輝度に合わせた最適なトーンマップを実現できる。ダイナミックメタデータは、映像の輝度特性の時系列の変化を示す動的輝度特性である。ダイナミックメタデータに用いられる映像の輝度特性は、例えば、映像の所定の区間ごとにおける最大輝度、平均輝度などである。本開示では、映像の輝度特性として、映像の最大輝度を例に説明する。映像の所定の区間とは、例えば、シーン、チャプター、フレームなどである。

［１−５．ＥＯＴＦについて］
ここで、ＥＯＴＦについて、図５Ａおよび図５Ｂを用いて説明する。

図５Ａは、ＨＤＲおよびＳＤＲのそれぞれに対応したＥＯＴＦ（Ｅｌｅｃｔｒｏ−Ｏｐｔｉｃａｌ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）の例について示す図である。

ＥＯＴＦは、一般的にガンマカーブと呼ばれるものであり、コード値と輝度値との対応を示し、コード値を輝度値に変換するものである。つまり、ＥＯＴＦは、複数のコード値と輝度値との対応関係を示す関係情報である。

また、図５Ｂは、ＨＤＲおよびＳＤＲのそれぞれに対応した逆ＥＯＴＦの例について示す図である。

逆ＥＯＴＦは、輝度値とコード値との対応を示し、ＥＯＴＦとは逆に輝度値を量子化してコード値に変換するものである。つまり、逆ＥＯＴＦは、輝度値と複数のコード値との対応関係を示す関係情報である。例えば、ＨＤＲに対応した映像の輝度値を１０ビットの階調のコード値で表現する場合、１００００ｎｉｔまでのＨＤＲの輝度範囲における輝度値は、量子化されて、０〜１０２３までの１０２４個の整数値にマッピングされる。つまり、逆ＥＯＴＦに基づいて量子化することで、０〜１００００ｎｉｔの輝度範囲の輝度値（ＨＤＲに対応した映像の輝度値）を、１０ビットのコード値であるＨＤＲ信号に変換する。ＨＤＲに対応したＥＯＴＦ（以下、「ＨＤＲのＥＯＴＦ」という。）またはＨＤＲに対応した逆ＥＯＴＦ（以下、「ＨＤＲの逆ＥＯＴＦ」という。）においては、ＳＤＲに対応したＥＯＴＦ（以下、「ＳＤＲのＥＯＴＦ」という。）またはＳＤＲに対応した逆ＥＯＴＦ（以下、「ＳＤＲの逆ＥＯＴＦ」という。）よりも高い輝度値を表現することが可能である。例えば、図５Ａおよび図５Ｂにおいては、輝度の最大値（ピーク輝度）は、１００００ｎｉｔである。つまり、ＨＤＲの輝度範囲は、ＳＤＲの輝度範囲を全て含み、ＨＤＲのピーク輝度は、ＳＤＲのピーク輝度より大きい。ＨＤＲの輝度範囲は、ＳＤＲの輝度範囲と比較して、その最大値である１００ｎｉｔを１００００ｎｉｔに拡大した輝度範囲である。

例えば、ＨＤＲのＥＯＴＦおよびＨＤＲの逆ＥＯＴＦは、一例として、米国映画テレビ技術者協会（ＳＭＰＴＥ）で規格化されたＳＭＰＴＥ ２０８４がある。

［１−６．映像とグラフィックスとの合成］
図６は、動画にメニュー及び字幕などのグラフィックスを重畳して、映像表示装置で表示する例を示す図である。ここでは、Ｕｌｔｒａ ＨＤ Ｂｌｕ−ｒａｙの例を示す。

グラフィックスを重畳する前の動画を主映像と表現する。Ｕｌｔｒａ ＨＤ Ｂｌｕ−ｒａｙではグラフィックスは、ＨＤ解像度で準備される。映像再生装置は、ＨＤのグラフィックスに対してＨＤ−ＵＨＤ変換を行うことでＵＨＤのグラフィックスを生成する。そして、映像再生装置は、得られたＵＨＤのグラフィックスと、ＵＨＤ解像度の主映像とを合成する。そして、映像再生装置は、合成後の映像を、ＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）を通じて映像表示装置に送る。映像表示装置は、送られてきた映像をＨＤＲとして表示する。

また、映像再生装置は、ダイナミックメタデータを、主映像の輝度の時間変化に基づいて決定し、ＨＤＭＩを通じて、映像表示装置に送る。映像表示装置は、送られてきたダイナミックメタデータに基づき、主映像に字幕及びメニューが重畳された映像信号に対して、ダイナミックトーンマップを施す。

この状況は、放送又は通信によるＯＴＴ（Ｏｖｅｒ Ｔｈｅ Ｔｏｐ）サービスでのＨＤＲ映像を表示する場合でも、主映像にメニュー又は字幕が重畳され、得られた映像が映像表示装置で表示される場合は同様である。

［１−７．動画にグラフィックスを重畳した映像データにダイナミックトーンマップを行う場合の課題］
ダイナミックメタデータ方式では、ＨＤＲ映像の輝度分布などの輝度に関わるメタデータがフレーム毎に指定され、映像信号とともに、そのようなメタデータが、映像表示装置に送られる。映像表示装置は、当該映像表示装置の最大輝度などの表示能力に応じて、送られてきたメタデータを参考にして、輝度を変換するなどの処理を行う。このようなダイナミックメタデータ方式は、映像表示装置の輝度などの表示性能によらずできるだけ一定の品質の映像を表示する方式として、注目されている。

しかしながら、ダイナミックメタデータは、時間的に変化するために、本来一定であるべき映像の表示が、安定しないという問題がある。

表示すべき映像が、同時に編集、又は監修された映像、いわゆる動画だけであるならば、ある程度、映像の状況を考慮した処理が可能である。このような動画を主映像とし、同時に、本来一定であり、まったく変動しない、字幕又はメニューなどのグラフィックスデータが主映像に重畳されて表示されると、ダイナミックメタデータを使用した処理により、一定であるべきグラフィックスの輝度又は色が変化するという悪影響が出てくる。この悪影響は、主映像の輝度が高く、映像表示装置の輝度が低いほど顕著となる。

図７は、主映像にグラフィックスが重畳されたときのダイナミックトーンマップの影響を示す図である。ここで、図７の（ａ）に示すように、重畳されるグラフィックスの輝度を３５０ｎｉｔと仮定する。図７の（ｂ）に示すように主映像の輝度が低い区間では、トーンマップが行われず、グラフィックスは本来の輝度である３５０ｎｉｔで映像表示装置に表示される。一方、図７の（ｃ）に示すように、主映像の輝度が高い区間では、トーンマップが行われ、グラフィックスの輝度は、３５０ｎｉｔより低い輝度で映像表示装置に表示される。このように、本来一定であるべきグラフィックスの輝度が時間的に変動することになり、好ましくない状態となる。ここでは輝度だけの影響としたが、実際の映像表示装置では、色成分も影響を受けるために色も影響を受けることもある。

［１−８．ＨＤＲ方式の確認方法の例］
現在、ダイナミックトーンマップが可能なＨＤＲ方式としていくつかの方式が現在提案され、規格化されている。ＨＤＲ方式は、輝度ダイナミックレンジの方式の一例である。このため、映像再生装置は、主映像、映像再生装置、映像表示装置のそれぞれが、どのＨＤＲ方式に対応しているかを確認し、映像表示装置が対応している主映像を再生し、再生した主映像を映像表示装置に出力する必要がある。

図８Ａ〜図８Ｃは、ＨＤＲ方式の確認方法の一例を示すフローチャートである。図８Ａは、ＨＤＲ方式の確認方法の一例を示すメインフローである。図８Ｂは、図８Ａのメインフローにおいて、主映像が対応している方式を確認する方法の一例を示すサブフローである。図８Ｃは、図８Ａのメインフローにおいて、映像表示装置が対応している方式を確認する方法の一例を示すサブフローである。

Ｕｌｔｒａ ＨＤ Ｂｌｕ−ｒａｙディスクでは、ＨＤＲ方式としてマンダトリＨＤＲと複数のオプションＨＤＲとが規定されている。このため、Ｕｌｔｒａ ＨＤ Ｂｌｕ−ｒａｙディスクには、マンダトリＨＤＲのみに対応している主映像、または、マンダトリＨＤＲおよびオプションＨＤＲに対応している主映像が記録されている。オプションＨＤＲが記録されている場合、複数のオプションＨＤＲのうちの少なくとも一つが記録されている。オプションＨＤＲの映像は、マンダトリＨＤＲの映像よりも高品質な映像である。

図８Ａに示すように、映像再生装置は、まず、主映像の輝度ダイナミックレンジの方式を確認する（Ｓ１）。

具体的には、図８Ｂに示すように、映像再生装置は、主映像の再生制御リストに記載されているＨＤＲ方式のフラグを確認する（Ｓ１１）。このように、映像再生装置は、ＨＤＲ方式のフラグを確認することで、主映像が対応しているＨＤＲ方式を確認する。

次に、映像再生装置は、映像表示装置が対応しているＨＤＲ方式（以下、「表示方式」という。）を確認する（Ｓ２）。つまり、映像再生装置は、映像表示装置が表示可能な輝度ダイナミックレンジの方式である表示方式を確認する。

具体的には、図８Ｃに示すように、映像再生装置は、ＨＤＭＩを通じて、映像表示装置に、映像表示装置のＥＤＩＤの送信を要求する（Ｓ２１）。

次に、映像再生装置は、ＨＤＭＩを通じて、映像表示装置から映像表示装置のＥＤＩＤを取得する（Ｓ２２）。

そして、映像再生装置は、取得したＥＤＩＤから映像表示装置の表示方式を確認する（Ｓ２３）。

このように、ステップＳ１およびＳ２を行うことにより、映像再生装置は、主映像の再生に先立ち、主映像と、接続されている映像表示装置が対応しているＨＤＲ方式、つまり、ここではオプションＨＤＲの状況を確認する。

その後、図８Ａに戻り、映像再生装置は、映像再生装置が対応しているＨＤＲ方式が主映像のオプションＨＤＲを含むか否かを判定する（Ｓ３）。

映像再生装置は、映像再生装置が対応しているＨＤＲ方式が主映像のオプションＨＤＲを含むと判定した場合（Ｓ３でＹｅｓ）、映像表示装置の表示方式が主映像のオプションＨＤＲを含むか否かを判定する（Ｓ４）。この場合、ステップＳ４では、ステップＳ３において映像再生装置が対応しているＨＤＲ方式であり、かつ、主映像に含まれるオプションＨＤＲについて、判定が行われる。

映像再生装置は、映像表示装置の表示方式が主映像のオプションＨＤＲを含むと判定した場合（Ｓ４でＹｅｓ）、当該オプションＨＤＲの主映像を再生する（Ｓ５）。つまり、映像再生装置は、主映像、映像再生装置、および映像表示装置がすべて、同じオプションＨＤＲに対応している場合、対応しているオプションＨＤＲの主映像を再生する。

一方で、映像再生装置は、映像再生装置が対応しているＨＤＲ方式が主映像のオプションＨＤＲを含まないと判定した場合（Ｓ３でＮｏ）、または、映像表示装置の表示方式が主映像のオプションＨＤＲを含まないと判定した場合（Ｓ４でＮｏ）、マンダトリＨＤＲの主映像を再生する。つまり、映像再生装置は、主映像、映像再生装置および映像表示装置のいずれかが、オプションＨＤＲに対応していない場合、マンダトリＨＤＲを再生する。なお、ＨＤＲに対応している機器は、マンダトリＨＤＲに対応しているものとする。

［１−９．複数のＨＤＲ方式においてダイナミックトーンマップを行う場合の課題］
（課題１）
前述したように、オプションＨＤＲに非対応の映像再生装置あるいは映像表示装置が互いに接続されている場合、マンダトリＨＤＲでの主映像を再生して表示することとなり、ダイナミックトーンマップが実施できないという問題がある。また、一つのオプションＨＤＲおいても、いくつかのパラメータがあり、その中でさらにオプションがある場合、主映像データには、第１オプションが記録されているが、映像表示装置で、第１オプションに対応せず、別のオプションである第２オプションに対応している状況も想定される。しかしながら、このような状況では、オプションＨＤＲ方式としては、主映像、映像再生装置、および映像表示装置で対応しているものの、同じオプションＨＤＲの中のパラメータのオプションへの対応の状況により、オプションＨＤＲとして表示できないことになる。これにより、このような映像処理システムでは、マンダトリＨＤＲの主映像を再生して、表示することとなり、ダイナミックトーンマップができないことになる。あるいは、オプションＨＤＲの中のマンダトリ部分だけの処理となり、期待よりも劣ったダイナミックトーンマップとなり、品質が劣った映像表示となる。

図９Ａおよび図９Ｂは、オプションＨＤＲの中でのオプションの違いの例を示す。図９Ａは、それぞれ、第１オプションに対応しているダイナミックメタデータの構成例を示す図である。図９Ｂは、第２オプションに対応しているダイナミックメタデータの構成例を示す図である。なお、図９Ａおよび図９Ｂでは、本開示に関連していない構成を省略している。

これらの図に示すように、第１オプションでは、例えば、基本トーンマップ情報の平均データ値およびデータ値の分布情報の値の意味が、データ値となっている一方、第２オプションでは輝度値となっている。また、ここでは示していないが、値の単位、値の意味は同じだが、値の個数が異なる、値それぞれの意味が異なる場合などもありえる。また、基本トーンマップ情報の平均データ値およびデータ値の分布情報の値などのようなデータ値または輝度値は、明るさの単位であるｎｉｔに直した値で記載する場合もある。

（課題２）
また、図９Ａに示した第１オプションのダイナミックメタデータの例のようにデータ値に基づくメタデータの場合、主映像に重畳されるグラフィックスの輝度に基づく処理を行うことが困難になる。具体的には、グラフィックスの輝度に応じて、その輝度以下については、ダイナミックトーンマップを行わないと言う処理を行う場合、第１オプションのメタデータでは、輝度情報ではなく、データ値、つまり、ＲＧＢ値に基づくものであるため、ダイナミックトーンマップを行う手段において、グラフィックスの輝度情報と、メタデータの輝度情報との単位をそろえる処理が必要となる。特に、ブルーレイの場合、ディスク上のグラフィックスデータは、ＲＧＢ値ではなく、輝度情報および色情報から構成されている事から、困難さが増す。

（課題３）
課題１では、オプションＨＤＲの１方式の中での複数のオプションがある場合の課題であったが、ダイナミックトーンマップに対応した複数のＨＤＲ方式に再生装置が対応している場合でも、再生する主映像が対応している第１ＨＤＲ方式に、映像表示装置が対応していない場合、（ｉ）第１ＨＤＲ方式を表示する事ができない。あるいは、（ｉｉ）再生する主映像が対応している第１ＨＤＲ方式がオプションＨＤＲであり、主映像がマンダトリＨＤＲを含む場合、マンダトリＨＤＲ方式でのみ表示することとなる。これにより、当該映像処理システムでは、オプションＨＤＲの特徴の一つであるダイナミックトーンマップを実現できないという課題があった。

［１−１０．解決方法］
本開示では以下の解決方法を用いる。

課題１を解決する第１の方法について説明する。第１の方法では、映像再生装置は、映像再生装置にＨＤＭＩケーブル等の映像信号伝送手段で接続されている映像表示装置が所定のＨＤＲ方式の第１オプションに対応せず、当該所定のＨＤＲ方式の第２オプションに対応している場合、映像再生装置で再生される主映像から取得したダイナミックメタデータの第１オプション部分から第２オプション部分を生成する。そして、映像再生装置は、（ｉ）生成した第２オプション部分で、取得したダイナミックメタデータの第１オプション部分を置き換えるか、または、（ｉｉ）取得したダイナミックメタデータに、生成した第２オプション部分を追加する。その後、映像再生装置は、第２オプション部分を含むダイナミックメタデータを、映像信号伝送手段を通じて、映像表示装置に伝送する。映像表示装置は、第２オプション部分を含むダイナミックメタデータを取得し、取得したダイナミックメタデータの第２オプション部分を用いて、所定のＨＤＲ方式の第２オプションに従ったダイナミックトーンマップを実行する。

次に、課題１を解決する第２の方法について説明する。第２の方法では、映像再生装置は、映像再生装置にＨＤＭＩケーブル等の映像信号伝送手段で接続されている映像表示装置が所定のＨＤＲ方式の第１オプションに対応せず、第２オプションに対応している場合、映像再生装置で再生される主映像からダイナミックメタデータの第２オプション部分を生成する。そして、映像再生装置は、（ｉ）生成した第２オプション部分で、主映像のダイナミックメタデータの第１オプション部分を置き換えるか、または、（ｉｉ）取得したダイナミックメタデータに、生成した第２オプション部分を追加する。その後、映像再生装置は、第２オプション部分を含むダイナミックメタデータを、映像信号伝送手段を通じて、映像表示装置に伝送する。映像表示装置は、第２オプション部分を含むダイナミックメタデータを取得し、取得したダイナミックメタデータの第２オプション部分を用いて、所定のＨＤＲ方式の第２オプションに従ったダイナミックトーンマップを実行する。

次に、課題１を解決する第３の方法について説明する。第３の方法では、第１の方法での第１オプション部分から第２オプション部分を生成する機能、または、第２の方法での主映像から第２オプション部分を生成する機能を映像表示装置が有する構成である。つまり、映像再生装置は、映像再生装置にＨＤＭＩケーブル等の映像信号伝送手段で接続されている映像表示装置が所定のＨＤＲ方式の第１オプションの主映像の表示処理機能を有さず、第２オプションの主映像の処理機能を有する場合、第１オプションの主映像を再生し、当該主映像の再生信号を出力する。映像表示装置は、（ｉ）主映像とともに伝送されるダイナミックメタデータの第１オプション部分から第２オプション部分を生成するか、（ｉｉ）主映像から、第２オプション部分を生成するか、または、（ｉ）および（ｉｉ）の両方の方法を用いて、第２オプション部分を生成する。そして、映像表示装置は、生成した第２オプション部分を用いたダイナミックトーンマップを実行する。

次に、課題２を解決する第４の方法について説明する。第４の方法では、第１の方法または第２の方法に加え、映像再生装置は、ダイナミックメタデータの第２オプション部分の生成時に、グラフィックスの輝度情報を含める。つまり、映像再生装置は、主映像に重畳されるグラフィックスの輝度情報を第２オプション部分に追加する。映像表示装置は、第２オプション部分を含むダイナミックメタデータを取得し、取得したダイナミックメタデータを用いて、第２オプションの主映像の輝度がグラフィックスの輝度以上の区間では、当該区間の第２オプション部分に応じて、変換カーブを時系列に変更する第１トーンマップ処理を行い、第２オプションの主映像の輝度がグラフィックスの輝度より暗い区間では、一定の変換カーブを用いる第２トーンマップ処理を行う。

次に、課題３を解決する第５の方法について説明する。第５の方法では、ダイナミックトーンマップに対応した複数のＨＤＲ方式に映像再生装置が対応している場合を考える。映像再生装置は、主映像が複数のＨＤＲ方式のうちの第１ＨＤＲ方式に対応しており、映像再生装置に接続されている映像表示装置が複数のＨＤＲ方式のうちの第２ＨＤＲ方式に対応している場合、主映像の再生時に、映像表示装置が対応している第２ＨＤＲ方式に必要な、ダイナミックメタデータを再生中の主映像からダイナミックに生成し、生成したダイナミックメタデータを映像表示装置に送る。これにより、映像表示装置は、第２ＨＤＲ方式に対応した主映像およびダイナミックメタデータを取得し、取得したダイナミックメタデータを用いて取得した主映像を第２ＨＤＲ方式で表示する。

以上の方法により、放送、Ｂｌｕ−ｒａｙ等のパッケージメディア、又はＯＴＴ等のインターネット配信により送られてきたＨＤＲ映像信号に対して、当該ＨＤＲ映像信号が対応しているダイナミックトーンマップに対応したＨＤＲ方式に複数のオプションがある場合であって、ＨＤＲ映像信号が第１オプションに対応し、映像表示装置が第１オプションに対応せず、第２オプションに対応している場合、映像再生装置は、ダイナミックメタデータの第１オプション部分、または、ＨＤＲ映像信号から第２オプション部分を生成し、映像表示装置に第２オプション部分を含むダイナミックメタデータを送る。このため、映像表示装置は、当該映像表示装置が対応している第２オプション部分を用いて、当該ＨＤＲ方式が提供しているダイナミックトーンマップを実現することができる。

また、映像表示装置は、ダイナミックトーンマップを行う場合、第１オプションでは困難なメニューや字幕などのグラフィックスに対するダイナミックトーンマップの影響を、第２オプションを使用する事で低減することが可能となり、安定した字幕またはメニューの表示が可能となる。

また、ダイナミックトーンマップに対応した複数のＨＤＲ方式がある場合、ＨＤＲ映像信号が第１ＨＤＲ方式であり、映像表示装置が第２ＨＤＲ方式に対応している場合、映像再生装置は、第１ＨＤＲ方式あるいはＨＤＲ映像信号から、第２ＨＤＲ方式のダイナミックメタデータを生成する。このため、映像表示装置は、第２ＨＤＲ方式でのダイナミックトーンマップを実現できる。

［２．実施の形態１］
本実施の形態では、映像再生装置は、映像再生装置にＨＤＭＩケーブルなどの映像信号伝送手段で接続されている映像表示装置が所定のＨＤＲ方式の第１のオプションに対応せず、第２のオプションに対応している場合、再生する主映像から取得したダイナミックメタデータの第１オプション部分から第２オプション部分を生成し、（ｉ）生成した第２オプション部分で、取得したダイナミックメタデータの第１オプション部分を置き換えるか、または、（ｉｉ）取得したダイナミックメタデータに、第２オプション部分を追加する。その後、映像再生装置は、第２オプション部分を含むダイナミックメタデータを、映像信号伝送手段を通じて、映像表示装置に伝送する。映像表示装置は、第２オプション部分を含むダイナミックメタデータを取得し、取得したダイナミックメタデータの第２オプション部分を用いて、所定のＨＤＲ方式の第２オプションに従ったダイナミックトーンマップを実行する。

［２−１．映像処理システムの構成］
図１０は、実施の形態１に係る映像処理システム１００の構成を示すブロック図である。図１０に示す映像処理システム１００は、映像再生装置１０１と、映像表示装置１０２とを含む。

映像再生装置１０１は、映像を再生し、得られた映像を映像表示装置１０２に出力する。この映像再生装置１０１は、取得部１１１と、デマルチプレクサ１１２と、主映像デコード部１１３と、字幕デコード部１１４と、メニューデコード部１１５と、メタデータ取得部１１６と、方式取得部１１７と、生成部１１８と、グラフィックス合成部１１９と、主映像合成部１２０と、映像送出部１２１とを含む。

取得部１１１は、映像信号を取得する。例えば、映像再生装置１０１がディスク再生装置である場合には、取得部１１１は、ディスクを再生することで映像信号を取得する。また、映像再生装置１０１が放送受信装置である場合は、取得部１１１は、放送波を受信することで映像信号を取得する。また、映像再生装置１０１がインターネット放送受信装置である場合は、取得部１１１は、インターネット放送を受信することで映像信号を取得する。

デマルチプレクサ１１２は、映像信号に含まれる符号化された主映像信号、字幕信号及びメニュー信号をそれぞれ、主映像デコード部１１３、字幕デコード部１１４及びメニューデコード部１１５に出力する。

主映像デコード部１１３は、デマルチプレクサ１１２から出力された符号化された主映像信号を復号する。

字幕デコード部１１４は、デマルチプレクサ１１２から出力された符号化された字幕信号を復号する。また、字幕デコード部１１４は、ユーザの操作等に基づき、字幕を表示するか否か、及び表示する字幕の種別を選択し、字幕を表示する場合には、選択した字幕をグラフィックス合成部１１９に出力する。

メニューデコード部１１５は、デマルチプレクサ１１２から出力された符号化されたメニュー信号を復号する。また、メニューデコード部１１５は、ユーザの操作等に基づき、メニューを表示するか否か、及び表示するメニューの種別を選択し、メニューを表示する場合には、選択したメニューをグラフィックス合成部１１９に出力する。なお、メニューデコード部１１５は、映像信号からの情報だけでなく、映像再生装置１０１で動作するプログラムによりメニューを合成及び表示してもよい。

メタデータ取得部１１６は、主映像ダイナミックメタデータを取得する。例えば、メタデータ取得部１１６は、主映像信号に含まれる情報に基づき主映像ダイナミックメタデータを生成する。なお、メタデータ取得部１１６において、第１オプションに対応する主映像ダイナミックメタデータが取得されたとして説明する。

方式取得部１１７は、映像表示装置１０２から映像表示装置１０２が表示可能な輝度ダイナミックレンジの方式を示す表示方式を取得する。ここでは、方式取得部１１７は、映像表示装置１０２の表示方式が対応するＨＤＲ方式のオプションが第２オプションであるため、第２オプションを示す表示方式を取得する。

生成部１１８は、メタデータ取得部１１６により取得された主映像ダイナミックメタデータが対応している方式（第１オプション）と、方式取得部１１７により取得された表示方式（第２オプション）とが異なるため、主映像ダイナミックメタデータの第１オプション部分から、第２オプション部分を生成する。そして、生成部１１８は、生成した第２オプション部分で、主映像ダイナミックメタデータの第１オプション部分を置き換えるか、または、主映像ダイナミックメタデータに、生成した第２オプション部分を追加する。このように、生成部１１８は、映像データが示す映像の輝度ダイナミックレンジの方式が映像表示装置の表示方式と異なる場合、主映像ダイナミックメタデータの方式を、表示方式に変換する。

グラフィックス合成部１１９は、字幕とメニューとを構成することでグラフィックス情報を生成する。なお、上述したようにグラフィックス合成部１１９は、字幕及びメニューの解像度を変換してもよい。例えば、Ｕｌｔｒａ ＨＤ Ｂｌｕ−ｒａｙの場合には、グラフィックス合成部１１９は、ＨＤの字幕及びメニューをＵＨＤの字幕及びメニューに変換する。

また、グラフィックス合成部１１９は、グラフィックス情報を生成し、生成したグラフィックス情報を主映像に重畳する場合、グラフィックス輝度情報を「０」でない値または、「グラフィックスがあることを示す値」として、映像送出部１２１に送る。また、グラフィックス合成部１１９は、グラフィックス情報を主映像に重畳しない場合、グラフィックス輝度情報を「０」または「グラフィックスが無いことを示す値」として、映像送出部１２１に送る。なお、グラフィックス輝度情報は、映像再生装置１０１内のプログラムにより生成されてもよいし、他の手段によって生成されてもよい。

主映像合成部１２０は、主映像デコード部１１３で得られた主映像と、グラフィックス合成部１１９で生成されたグラフィックス情報とを合成することで映像信号を生成する。

映像送出部１２１は、主映像合成部１２０で生成された映像信号と、ダイナミックメタデータとを、ＨＤＭＩケーブル等の映像信号伝送手段を介して映像表示装置１０２に伝送する。ダイナミックメタデータは、メタデータ取得部１１６で取得された主映像ダイナミックメタデータと、グラフィックス合成部１１９で生成されたグラフィックス輝度情報とを含む。つまり、映像送出部１２１は、生成部１１８により生成された第２オプション部分を含む主映像ダイナミックメタデータを映像表示装置１０２に出力する。

次に、映像表示装置１０２の構成について説明する。映像表示装置１０２は、映像受信部１３１と、メタデータ取得部１３２と、トーンマップ処理部１３３と、表示部１３４と、通知部１３５とを備える。

映像受信部１３１は、映像再生装置１０１から送られてくる映像信号とダイナミックメタデータとを受け取る。映像受信部１３１は、映像信号とダイナミックメタデータとを分離し、映像信号をトーンマップ処理部１３３へ送り、ダイナミックメタデータをメタデータ取得部１３２に送る。メタデータ取得部１３２は、ダイナミックメタデータに含まれる主映像ダイナミックメタデータ及びグラフィックス輝度情報を制御信号として、トーンマップ処理部１３３へ送る。

トーンマップ処理部１３３は、主映像ダイナミックメタデータに従い、映像信号のトーンマップ処理を行う。トーンマップ処理部１３３は、出力された表示方式に対応するダイナミックメタデータの第２オプション部分に応じた変換カーブを用いて主映像の輝度を変換するトーンマップ処理を行う。具体的には、トーンマップ処理部１３３は、グラフィックス輝度情報が「０」または「グラフィックスが無いことを示す値］の場合には、主映像ダイナミックメタデータに従い、映像信号のトーンマップ処理（ダイナミックトーンマップ処理）を行う。一方、トーンマップ処理部１３３は、グラフィックス輝度情報が「０」でない値または「グラフィックスがあることを示す値」の場合は、重畳されているグラフィックスへのダイナミックトーンマップの影響を低減したトーンマップ処理を行う。表示部１３４は、トーンマップ処理後の映像信号を表示する。

通知部１３５は、映像表示装置１０２の表示方式を含むＥＤＩＤを映像再生装置１０１に送信する。通知部１３５は、例えば、映像再生装置１０１からのＥＤＩＤの送信要求を受信した場合、ＨＤＭＩケーブルなどの映像信号伝送手段を通じて、映像再生装置１０１にＥＤＩＤを送信する。

［２−２．映像処理システムの動作］
ダイナミックメタデータの第１オプション部分および第２オプション部分の構成が、図９Ａおよび図９Ｂに示されるものである場合、メタデータ取得部１１６は、主映像に含まれる情報に基づき、オプションＨＤＲのマンダトリ部分と第１オプション部分とを含む主映像ダイナミックメタデータを取得する。

この場合の、映像処理システム１００の動作の流れを説明する。図１１Ａは、実施の形態１に係る映像再生装置１０１の動作を示すフローチャートである。

映像再生装置１０１では、メタデータ取得部１１６は、映像の再生を開始した後、主映像のフレーム単位で、ダイナミックメタデータのマンダトリ部分と第１のオプション部分とを主映像から抽出する（Ｓ３１）。

そして、生成部１１８は、メタデータ取得部１１６により抽出された、ダイナミックメタデータの第１オプション部分から第２オプション部分を生成する（Ｓ３２）。

次に、生成部１１８は、生成した第２オプション部分で、主映像ダイナミックメタデータの第１オプション部分を置き換えるか、または、主映像ダイナミックメタデータに、生成した第２オプション部分を追加する（Ｓ３３）。その後、生成部１１８は、マンダトリ部分および第２オプション部分を含む主映像ダイナミックメタデータを、映像送出部１２１に送る。そして、映像送出部１２１は、主映像ダイナミックメタデータを、主映像とともに、映像信号伝送手段で映像表示装置１０２に送る。

そして、映像再生装置１０１は、映像の再生が完了する、または、再生停止操作が行われるか否かを判定し（Ｓ３４）、映像の再生が完了する、または、再生停止操作が行われると映像の再生を終了する。つまり、映像再生装置１０１は、映像の再生が完了する、または、再生停止操作が行われるまで、ステップＳ３１〜Ｓ３４の処理を繰り返す。例えば、この処理は、１フレーム単位または複数フレーム単位で繰り返し行われる。

図１１Ｂは、実施の形態１に係る映像表示装置１０２の動作を示すフローチャートである。

映像表示装置１０２では、映像受信部１３１は、映像信号およびダイナミックメタデータを受信する（Ｓ４１）。映像受信部１３１は、受信した主映像としての映像信号をトーンマップ処理部１３３へ送り、ダイナミックメタデータをメタデータ取得部１３２に送る。

メタデータ取得部１３２は、第２オプション部分を含む主映像ダイナミックメタデータを取得する（Ｓ４２）。

そして、トーンマップ処理部１３３は、映像表示の開始と同時に、第２オプション部分に応じてトーンマップ処理を開始する（Ｓ４３）。

その後、表示部１３４は、トーンマップ処理部１３３においてトーンマップ処理後の映像を表示する（Ｓ４４）。

そして、映像表示装置１０２は、映像の受信が完了する、または、表示ＯＦＦ操作が行われるか否かを判定し（Ｓ４５）、映像の受信が完了する、または、表示ＯＦＦ操作が行われると映像の表示を終了する。つまり、映像表示装置１０２は、映像の受信が完了する、または、表示ＯＦＦ操作が行われるまで、ステップＳ４１〜Ｓ４５の処理を繰り返す。例えば、この処理は、１フレーム単位又は複数フレーム単位で繰り返し行われる。

図１２は、ダイナミックメタデータの他の構成例を示す図である。なお、図１２では、本開示に関連していない構成を省略している。

図１２のダイナミックメタデータの構成例の、図９Ａおよび図９Ｂの構成例との違いは、項目の記録位置によって、マンダトリ部分、第１オプション部分、および第２オプション部分が定められていることである。図１２の構成例の場合、第１オプション部分としてのメタデータでは、第２オプション部分が「０」はまたは「無効を示す値」が入っている。第２オプション部分としてのメタデータでは、第１オプション部分が「０」はまたは「無効を示す値」が入っている。なお、第１オプション部分および第２オプション部分のどちらにも有効な値が入っていてもよい。

また、ダイナミックメタデータの第１オプション部分からの第２オプション部分の生成は、例えば、データ値の分布と平均データ値を用い、これらを、主映像が用いている映像仕様（つまり、第１オプションの主映像の映像使用および第２オプションの主映像の映像使用）に基づいて、第１オプションの値を第２オプションに対応する値に変換する事で求めることができる。第１オプション部分に、データ値として、ＲＧＢのそれぞれの値が指定されている場合、完全に、第２オプション部分に変換できる。図９Ａおよび図９Ｂで示すダイナミックメタデータの構成と、図１２で示すダイナミックメタデータの構成とのどちらでも、第１オプションの分布情報の数、および、第２オプションの分布情報の数は、一致しない場合がある。このような場合であっても、少なくとも第２オプション部分の生成に必要な分布情報が第１オプション部分に含まれていれば、直接的に変換できる。一方で、第２オプション部分の生成に必要な分布情報が第１オプション部分に含まれていない場合、第１オプションの分布情報から、必要な分布情報を補完することで得られた分布情報を用いることで、第１オプション部分から第２オプション部分に変換できる。

［３．実施の形態２］
実施の形態２について説明する。実施の形態１では、映像表示装置の表示方式に対応する第２オプション部分を主映像のダイナミックメタデータの第１オプション部分から生成するとしたがこれに限らない。実施の形態２では、主映像から生成する例について説明する。つまり、本実施の形態では、映像再生装置は、映像再生装置にＨＤＭＩケーブル等の映像信号伝送手段で接続されている映像表示装置が所定のＨＤＲ方式の第１オプションに対応せず、第２オプションに対応している場合、映像再生装置で再生される主映像からダイナミックメタデータの第２オプション部分を生成する。そして、映像再生装置は、（ｉ）生成した第２オプション部分で、主映像のダイナミックメタデータの第１オプション部分を置き換えるか、または、（ｉｉ）取得したダイナミックメタデータに、生成した第２オプション部分を追加する。その後、映像再生装置は、第２オプション部分を含むダイナミックメタデータを、映像信号伝送手段を通じて、映像表示装置に伝送する。映像表示装置は、第２オプション部分を含むダイナミックメタデータを取得し、取得したダイナミックメタデータの第２オプション部分を用いて、所定のＨＤＲ方式の第２オプションに従ったダイナミックトーンマップを実行する。

［３−１．映像処理システムの構成］
図１３は、実施の形態２に係る映像処理システム１００Ａの構成を示すブロック図である。本実施の形態に係る映像再生装置１０１Ａは、実施の形態１の映像再生装置１０１と比較して、生成部１１８Ａの機能が異なる。映像再生装置１０１Ａの他の構成は、実施の形態１の映像再生装置１０１と同様であるため、詳細な説明を省略する。

生成部１１８Ａは、メタデータ取得部１１６により取得された主映像ダイナミックメタデータが対応している方式（第１オプション）と、方式取得部１１７により取得された表示方式（第２オプション）とが異なるため、主映像デコード部１１３により出力された主映像からダイナミックメタデータの第２オプション部分を生成する。そして、生成部１１８Ａは、生成した第２オプション部分で主映像ダイナミックメタデータの第１オプション部分を置き換えるか、または、主映像ダイナミックメタデータに、生成した第２オプション部分を追加する。このように、生成部１１８Ａは、主映像を解析することで、主映像のダイナミックメタデータを抽出し、抽出したダイナミックメタデータの輝度ダイナミックレンジの方式を、表示方式に変換する。

［３−２．映像処理システムの動作］
ダイナミックメタデータの第１オプション部分および第２オプション部分の構成が、図９Ａ及び図９Ｂに示されるものである場合、メタデータ取得部１１６は、オプションＨＤＲのマンダトリ部分と第１オプション部分とを含む主映像ダイナミックメタデータ取得する。

この場合の、映像処理システム１００Ａの動作の流れを説明する。図１４は、実施の形態２に係る映像再生装置１０１Ａの動作を示すフローチャートである。なお、実施の形態２に係る映像再生装置１０１Ａの動作では、実施の形態１に係る映像再生装置１０１の動作と比較して、ステップＳ３２の代わりにステップＳ３２Ａを行う点が異なる。このため、ステップＳ３２Ａの説明を行い、その他のステップの説明を省略する。

映像処理システム１００Ａでは、ステップＳ３１が終わると、生成部１１８Ａは、主映像デコード部１１３により出力された主映像の輝度特性を解析し、解析した結果から、第２オプションに対応しているダイナミックメタデータ（つまり、第２オプション部分）を生成する（Ｓ３２Ａ）。

その後、映像再生装置１０１Ａは、図１１ＡのステップＳ３３以降の処理と同様の処理を行う。

図１２に示した、ダイナミックメタデータの他の構成例である場合と同様に、第１オプション部分としてのメタデータでは、第２のオプション部分が「０」はまたは「無効を示す値」が入っている。第２オプション部分としてのメタデータでは、第１オプション部分が「０」はまたは「無効を示す値」が入っている。なお、第１オプション部分および第２オプション部分のどちらにも有効な値が入っていてもよい。

また、主映像からのダイナミックメタデータの第２オプション部分の生成は、例えば、フレーム単位で、主映像のすべてのピクセルデータの輝度値を取得し、その分布を統計処理により求め、第２オプションの規定に従い、演算することで主映像からダイナミックメタデータの第２オプション部分を求めることができる。

なお、主映像のデータにおいて、第２オプションの各値の定義が、表示したときの輝度値を表すコード値である場合、次のようにダイナミックメタデータの第２オプション部分を求めてもよい。この場合、主映像のデータは、ＨＤＲ方式により規定される入出力特性（ＥＯＴＦ：Ｅｌｅｃｔｒｏ−Ｏｐｔｉｃａｌ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）に従って表示処理をするときに、当該ＥＯＴＦで所定の輝度に対応付けられているコード値である。このため、まず、ＥＯＴＦに従った処理を行うことで、主映像のコード値を輝度値に変換し、変換した輝度値を用いて統計処理を行う。そして、統計処理の結果を用いて、第２オプションの規定に従い演算し、ダイナミックメタデータの第２オプション部分を求めてもよい。

［４．実施の形態３］
実施の形態３について説明する。実施の形態１および２では、映像再生装置において、映像表示装置の表示方式に対応する第２オプション部分を生成するとしたが、実施の形態３では、映像表示装置において、第２オプション部分を生成する例について説明する。つまり、本実施の形態では、映像再生装置は、映像再生装置にＨＤＭＩケーブル等の映像信号伝送手段で接続されている映像表示装置が所定のＨＤＲ方式の第１オプションの主映像の表示処理機能を有さず、第２オプションの主映像の処理機能を有する場合、第１オプションの主映像を再生し、当該主映像の再生信号を出力する。映像表示装置は、（ｉ）主映像とともに伝送されるダイナミックメタデータの第１オプション部分から第２オプション部分を生成するか、（ｉｉ）主映像から、第２オプション部分を生成するか、または、（ｉ）および（ｉｉ）の両方の方法を用いて、第２オプション部分を生成する。そして、映像表示装置は、生成した第２オプション部分を用いたダイナミックトーンマップを実行する。

［４−１．第１の例の映像処理システムの構成］
図１５は、実施の形態３の第１の例に係る映像処理システム１００Ｂの構成を示すブロック図である。

本実施の形態の第１の例に係る映像再生装置１０１Ｂは、実施の形態１の映像再生装置１０１と比較して、方式取得部１１７および生成部１１８を有していない点が異なる。このため、映像送出部１２１は、主映像合成部１２０で生成された映像信号と、第１オプション部分を含むダイナミックメタデータとを、ＨＤＭＩケーブル等の映像信号伝送手段を介して映像表示装置１０２Ｂに伝送する。映像再生装置１０１Ｂの他の構成は、実施の形態１の映像再生装置１０１と同様であるので詳細な説明を省略する。

また、本実施の形態の第１の例に係る映像表示装置１０２Ｂは、実施の形態１の映像表示装置１０２と比較して、さらに、生成部１３６を有している点、および、通知部１３５を有していない点が異なる。映像表示装置１０２Ｂの他の構成は、実施の形態１の映像表示装置１０２と同様であるので詳細な説明を省略する。

生成部１３６は、メタデータ取得部１３２により取得された主映像ダイナミックメタデータ対応している方式（第１オプション）と、表示方式（第２オプション）とが異なるため、主映像ダイナミックメタデータの第１オプション部分から、第２オプション部分を生成する。そして、生成部１３６は、生成した第２オプション部分で、主映像ダイナミックメタデータの第１オプション部分を置き換える。このように、生成部１３６は、映像データが示す映像の輝度ダイナミックレンジの方式が映像表示装置の表示方式と異なる場合、主映像ダイナミックメタデータの方式を、表示方式に変換する。

［４−２．第１の例の映像処理システムの動作］
まず、映像再生装置１０１Ｂは、第１オプション部分を含む主映像ダイナミックメタデータを主映像とともに、ＨＤＭＩケーブル等の映像信号伝送手段を通じて、映像表示装置１０２Ｂに送る。

図１６は、実施の形態３の第１の例に係る映像表示装置１０２Ｂの動作を示すフローチャートである。なお、実施の形態３の第１の例に係る映像表示装置１０２Ｂの動作では、実施の形態１に係る映像表示装置１０２の動作と比較して、ステップＳ４２の代わりに、ステップＳ５１〜Ｓ５３を行う点が異なる。このため、ステップＳ５１〜Ｓ５３の説明を行い、その他のステップの詳細な説明を省略する。

映像表示装置１０２Ｂでは、ステップＳ４１が終わると、メタデータ取得部１３２は、第１オプション部分を含む主映像ダイナミックメタデータを取得する（Ｓ５１）。

次に、生成部１３６は、主映像ダイナミックメタデータの第１オプション部分から、第２オプション部分を生成する（Ｓ５２）。

そして、生成部１３６は、第２オプション部分を含む主映像ダイナミックデータをトーンマップ処理部１３３に出力する（Ｓ５３）。

その後、実施の形態１に係る映像表示装置１０２のステップＳ４３〜Ｓ４５が行われる。なお、映像表示装置１０２Ｂは、映像の受信が完了する、または、表示ＯＦＦ操作が行われるまで、ステップＳ４１、Ｓ５１〜Ｓ５３、Ｓ４３〜Ｓ４５の処理を繰り返す。例えば、この処理は、１フレーム単位又は複数フレーム単位で繰り返し行われる。

［４−３．第２の例の映像処理システムの構成］
図１７は、実施の形態３の第２の例に係る映像処理システム１００Ｃの構成を示すブロック図である。

本実施の形態の第２の例に係る映像処理システム１００Ｃは、第１の例に係る映像処理システム１００Ｃの映像表示装置１０２Ｂと比較して、映像表示装置１０２Ｃの生成部１３６Ｃの機能が異なる。映像表示装置１０２Ｃの他の構成は、第１の例の映像表示装置１０２Ｂと同様であるため、詳細な説明を省略する。

生成部１３６Ｃは、メタデータ取得部１３２により取得された主映像ダイナミックメタデータが対応している方式（第１オプション）と、表示方式（第２オプション）とが異なるため、映像受信部１３１により出力された主映像からダイナミックメタデータの第２オプション部分を生成する。そして、生成部１３６Ｃは、生成した第２オプション部分で主映像ダイナミックメタデータの第１オプション部分を置き換える。このように、生成部１３６Ｃは、主映像を解析することで、主映像のダイナミックメタデータを抽出し、抽出したダイナミックメタデータの輝度ダイナミックレンジの方式を、表示方式に変換する。

［４−４．第２の例の映像処理システムの動作］
図１８は、実施の形態３の第２の例に係る映像表示装置１０２Ｃの動作を示すフローチャートである。なお、実施の形態３の第２の例に係る映像表示装置１０２Ｃの動作では、第１の例に係る映像表示装置１０２Ｂの動作と比較して、ステップＳ５２の代わりにステップＳ５２Ｃを行う点が異なる。このため、ステップＳ５２Ｃの説明を行い、その他のステップの詳細な説明を省略する。

映像表示装置１０２Ｃでは、ステップＳ５１が終わると、生成部１３６Ｃは、映像受信部１３１により出力された主映像の輝度特性を解析し、解析した結果から、第２オプションに対応しているダイナミックメタデータ（つまり、第２オプション部分）を生成する（Ｓ５２Ｃ）。

その後、映像表示装置１０２Ｃは、図１６のステップＳ５３以降の処理と同様の処理を行う。

［５．実施の形態４］
実施の形態４について説明する。実施の形態４では、実施の形態１または実施の形態２に加え、映像再生装置は、ダイナミックメタデータの第２オプション部分の生成時に、グラフィックスの輝度情報を含める。つまり、映像再生装置は、主映像に重畳されるグラフィックスの輝度情報を第２のオプション部分に追加する。映像表示装置は、第２オプション部分を含むダイナミックメタデータを取得し、取得したダイナミックメタデータを用いて、第２オプションの主映像の輝度がグラフィックスの輝度以上の区間では、当該区間の第２オプション部分に応じて、変換カーブを時系列に変更する第１トーンマップ処理を行い、第２オプションの主映像の輝度がグラフィックスの輝度より暗い区間では、一定の変換カーブを用いる第２トーンマップ処理を行う。

［５−１．映像処理システムの構成］
図１９は、実施の形態４に係る映像処理システム１００Ｄの構成を示すブロック図である。本実施の形態に係る映像再生装置１０１Ｄは、実施の形態１の映像再生装置１０１と比較して、さらに、抽出部１２２を備える点が異なる。映像再生装置１０１Ｄの他の構成は、実施の形態１の映像再生装置１０１と同様であるため、詳細な説明を省略する。

抽出部１２２は、グラフィックスの輝度特性を抽出する。

また、本実施の形態に係る映像表示装置１０２Ｄは、実施の形態１の映像表示装置１０２と比較して、トーンマップ処理部１３３Ｄの機能が異なる。映像表示装置１０２Ｄの他の構成は、実施の形態１の映像表示装置１０２と同様であるため、詳細な説明を省略する。

図２０は、トーンマップ処理部１３３Ｄの構成を示すブロック図である。

トーンマップ処理部１３３Ｄは、係数演算部１４１と、係数保持部１４２と、トーンマップ部１４３と、係数合成部１４４と、切替部ＳＷ２とを備える。

映像受信部１３１からの映像信号は、トーンマップ部１４３へ送られる。メタデータ取得部１３２からの主映像ダイナミックメタデータは、係数演算部１４１に送られる。

係数演算部１４１は、トーンマップ部１４３におけるトーンマップ処理で用いられるトーンマップ係数を、映像表示装置１０２Ｄの輝度などの映像表示能力に従って算出する。係数保持部１４２は、係数演算部１４１が算出したトーンマップ係数を保持する。ここで、トーンマップ係数とは、トーンマップ処理に用いられる変換カーブを示す関数に含まれる係数である。つまり、トーンマップ係数により変換カーブが決定される。

切替部ＳＷ２は、係数演算部１４１で算出されたトーンマップ係数（Ａ）と、係数保持部１４２に保持されるトーンマップ係数（Ｂ）との一方を選択し、選択したトーンマップ係数を係数保持部１４２に入力する。つまり、切替部ＳＷ２は、係数保持部１４２に保持されるトーンマップ係数を、係数演算部１４１で新たに算出されたトーンマップ係数に更新するか（Ａ）、現在保持しているトーンマップ係数を引き続き保持するか（Ｂ）を切り替える。

係数合成部１４４は、グラフィックス輝度情報が「０」あるいは「グラフィックスが無いことを示す値」である場合、係数演算部１４１により算出されたトーンマップ係数を用いるダイナミックトーンマップ処理を行う。一方、係数合成部１４４は、グラフィックス輝度情報が「０」でない、または、「グラフィックスがあることを示す値」である場合、つまり、グラフィックスが重畳されることを示す場合、グラフィックス輝度情報が示すグラフィックス輝度とダイナミックメタデータの第２オプション部分により示される輝度との比較を行う。そして、係数合成部１４４は、第２オプションの主映像の輝度がグラフィックスの輝度以上の場合、第２オプション部分に応じて、変換カーブを時系列に変更する第１トーンマップ処理を行い、第２オプションの主映像の輝度がグラフィックスの輝度より暗い場合、（１）トーンマップを固定する、（２）トーンマップ処理を行わない、（３）トーンマップの変動を抑える、又は（４）トーンマップの影響が人に感知できない程度とするなどの処理を行う。ここで、グラフィックス輝度とは、例えば、グラフィックスに用いられている輝度の最大値より高い輝度である。これにより、グラフィックスに用いられる輝度範囲においてトーンマップが変動することが抑制される。また、上記処理において、境界輝度以上の変換カーブと、境界輝度未満の変換カーブとの連続性を維持するために、係数合成部１４４は、これらの境界領域において変換カーブが滑らかに変化するように変換カーブを補正してもよい。

これにより、グラフィックスが重畳されている部分は、安定した表示が可能となる。

また、本構成は、一例であり、トーンマップ処理部１３３Ｄは、グラフィックス輝度情報がグラフィックスが重畳されることを示す場合、トーンマップ係数を特定の輝度以下で固定してもよいし、トーンマップ処理を行わないとしてもよい。

つまり、トーンマップ処理部１３３Ｄは、第１動的輝度特性としてのダイナミックメタデータの第２オプション部分が、グラフィックスの輝度以上である映像の第１区間では、当該第１区間における主映像の輝度を当該第１区間における第１動的輝度特性に応じて、変換カーブを時系列に変更する第１トーンマップ処理を行う。また、トーンマップ処理部１３３Ｄは、ダイナミックメタデータの第２オプション部分が、グラフィックスの輝度特性未満である映像の第２区間では、当該第２区間における主映像の輝度を当該第２区間におけるグラフィックスの輝度に依らず、一定の変換カーブを用いる第２トーンマップ処理を行う。

図２１は、実施の形態４に係るダイナミックメタデータの構成例を示す図である。なお、図２１では、本開示に関連していない構成を省略している。

図２１のダイナミックメタデータの構成例の、図９Ａ、図９Ｂ、および図１２の構成例との違いは、グラフィックス輝度情報が追加されていることである。グラフィックス輝度情報の値は、主映像に重畳されるグラフィックス、つまり、字幕またはメニューの実効的な最大輝度を示す。映像表示装置１０２Ｄは、グラフィックス輝度情報が「０」または「グラフィックスが無いことを示す値」である場合、ダイナミックメタデータに従ったダイナミックトーンマップを行う。一方、映像表示装置１０２Ｄは、グラフィックス輝度情報が「０」でない、または、「グラフィックスがあることを示す値」である場合、グラフィックス輝度情報の輝度以上の輝度の主映像の区間については、ダイナミックトーンマップを実施し、グラフィックス輝度以下の主映像の区間については、トーンマップを固定する。

グラフィックス輝度情報は、第２オプションのトーンマップ情報の輝度値の分布の一部としてもよい。グラフィックス輝度情報は、例えば、Ｋｎｅｅｐｏｉｎｔとして定義してある輝度値を用いてもよく、この場合、映像表示装置１０２Ｄは、グラフィックスの処理と通常のダイナミックトーンマップの処理とを共通化することが可能となる。つまり、映像表示装置１０２Ｄは、Ｋｎｅｅｐｏｉｎｔで指定される輝度以下については、トーンマップを行わないことが期待値であることから、グラフィックスの輝度以下については、トーンマップを行わないと言う処理となる。よって、映像表示装置１０２Ｄは、グラフィックスが重畳されても、映像のうちのグラフィックスが重畳されている部分を安定した輝度で表示することができる。

［５−２．効果］
図２２Ａは、グラフィックスが字幕である場合における、従来のダイナミックトーンマップによる字幕の輝度の変化を示す図である。字幕の輝度レベルが２００ｎｉｔ以下の場合において、時間的にトーンマップが変化すると、図２２Ａからわかるように、０から２００ｎｉｔ付近の輝度も変化し、本来一定である字幕の輝度が変化する。

これに対し、所定の輝度を固定値とし所定の輝度を超える輝度に対してトーンマップを行うことで、所定の輝度以下の輝度に対して、トーンマップの時間変化が発生しないようにできる。これにより、図２２Ｂからわかるように、字幕輝度である２００ｎｉｔ以下の時間変化がなく、安定した輝度で字幕が表示される。ここで、所定の輝度は、例えば標準的な字幕の輝度レベルより高い固定値であり、変換カーブのＫｎｅｅｐｏｉｎｔも固定される。

しかしながら、所定の輝度が固定されると、ダイナミックトーンマップの変化幅が制限され、主映像に対して、ダイナミックトーンマップの効果が少なくなると言う課題がある。特に映像表示装置１０２の最大輝度（ＤＰＬ）が低いときに問題が顕著である。もちろん、映像表示装置１０２において、グラフィックスデータの輝度を一定値以下に想定するなどダイナミックトーンマップの方法を工夫することにより、ダイナミックトーンマップの効果を大きくすることができる。しかしながら、この場合、想定以上の輝度のグラフィックスデータが表示される場合に、グラフィックスデータの表示がダイナミックトーンマップの影響を受けやすくなるなどの課題がある。

これに対し、字幕の輝度情報に基づいて所定の輝度を変化させるために、図２３に示すように、より自由度が高いダイナミックトーンマップを主映像に適用できる。図２３では、実際の字幕の輝度が１００ｎｉｔであった場合を図示している。図２３に示すように、この場合、図２２Ｂに示す境界輝度を２００ｎｉｔに固定して処理する場合に対して、より自由度が高いダイナミックトーンマップを実現できる。この効果は、接続する映像表示装置１０２Ｄの最大輝度が低いほど大きくなる。

［６．実施の形態５］
実施の形態５について説明する。実施の形態５では、ダイナミックトーンマップに対応した複数のＨＤＲ方式に映像再生装置が対応している場合を考える。映像再生装置は、主映像が複数のＨＤＲ方式のうちの第１ＨＤＲ方式に対応しており、映像再生装置に接続されている映像表示装置が複数のＨＤＲ方式のうちの第２ＨＤＲ方式に対応している場合、主映像の再生時に、映像表示装置が対応している第２ＨＤＲ方式に必要な、ダイナミックメタデータを再生中の主映像からダイナミックに生成し、生成したダイナミックメタデータを映像表示装置に送る。これにより、映像表示装置は、第２ＨＤＲ方式に対応した主映像およびダイナミックメタデータを取得し、取得したダイナミックメタデータを用いて取得した主映像を第２ＨＤＲ方式で表示する。

［６−１．映像処理システムの構成］
図２４は、実施の形態５に係る映像処理システム１００Ｅの構成を示すブロック図である。本実施の形態に係る映像再生装置１０１Ｅは、実施の形態２の映像再生装置１０１Ａと比較して、生成部１１８Ｅの機能が異なる。映像再生装置１０１Ｅの他の構成は、実施の形態２の映像再生装置１０１Ａと同様であるため、詳細な説明を省略する。また、映像表示装置１０２は、実施の形態１および２の映像表示装置１０２と同様であるため詳細な説明を省略する。

まず、本実施の形態では、メタデータ取得部１１６において、第１ＨＤＲ方式に対応する主映像ダイナミックメタデータが取得されたものとして説明する。また、方式取得部１１７は、映像表示装置１０２の表示方式が対応するＨＤＲ方式が第２ＨＤＲ方式であるため、第２ＨＤＲ方式を示す表示方式を取得するものとして説明する。

生成部１１８Ｅは、メタデータ取得部１１６により取得された主映像ダイナミックメタデータが対応している方式（第１ＨＤＲ方式）と、方式取得部１１７により取得された表示方式（第２ＨＤＲ方式）とが異なるため、主映像デコード部１１３により出力された主映像から第２ＨＤＲ方式のダイナミックメタデータを生成する。そして、生成部１１８Ｅは、生成した第２ＨＤＲ方式の主映像ダイナミックメタデータで、第１ＨＤＲ方式のダイナミックメタデータを置き換えるか、または、主映像ダイナミックメタデータに、生成した第２ＨＤＲ方式のダイナミックメタデータを追加する。このように、生成部１１８Ｅは、主映像を解析することで、表示方式に対応する、主映像のダイナミックメタデータを抽出する。

［７．変形例］
Ｂｌｕ−ｒａｙ、Ｕｌｔｒａ ＨＤ Ｂｌｕ−ｒａｙの詳細は、例えば、非特許文献１に記載されている。

取得部１１１が取得するＨＤＲ映像は、例えばＢｌｕ−ｒａｙディスク、ＤＶＤ、Ｉｎｔｅｒｎｅｔの動画配信サイト、放送、又はＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）内の映像であってもよい。

上記映像再生装置は、ディスクプレイヤー、ディスクレコーダ、セットトップボックス、テレビ、パーソナルコンピュータ、又はスマートフォンなど、記録媒体、放送又はインターネットからの圧縮された映像信号を復号し、映像表示装置に送る装置でもよい。また、映像再生装置の機能の一部又は全てが、映像表示装置１０２に含まれてもよい。例えば、映像再生装置に含まれる処理部のうち、取得部１１１以外の処理部が映像表示装置１０２に含まれてもよい。また、映像表示装置１０２に含まれる映像受信部１３１、メタデータ取得部１３２及びトーンマップ処理部１３３、１３３Ｄが映像再生装置に含まれてもよい。また、トーンマップ処理部１３３Ｄに含まれる処理部のうちトーンマップ部１４３以外の処理部が映像再生装置に含まれてもよい。

映像再生装置からの映像信号を映像表示装置に伝送する映像信号伝送手段は、ＨＤＭＩ、ＤＶＩ、又はＤＰなどの映像信号を非圧縮の状態で伝送する手段であってもよいし、ネットワークを通じた伝送のように映像信号を圧縮した形式で伝送する手段であってもよい。

映像表示装置の最大輝度情報又はトーンマップ情報の映像再生装置への設定は、利用者が映像再生装置にリモートコントローラなどを用いて入力することで行われてもよいし、利用者が映像再生装置が備える操作装置を用いて入力することで行われてもよい。または、利用者は、インターネット又はその他の手段を用いて、これらの情報を取得し、取得した情報をポータブル記憶媒体に保存し、ポータブル記憶媒体を介して、これらの情報を映像再生装置に送ってもよい。また、映像再生装置が直接、インターネットに接続され、映像再生装置は、サーバのデータベースから、これらの情報を取得してもよい。さらに、映像再生装置は、映像表示装置にテストパターンを表示し、表示されたテストパターンを用いて映像表示装置の特性を確認しながら、これらの情報を取得及び記憶してもよい。

映像再生装置は、グラフィックス（字幕又はメニュー）の輝度をそのデータから検出することでグラフィックス輝度情報（字幕輝度情報及びメニュー輝度情報を含む）を生成してもよいし、映像データ作成時に予め作成されたグラフィックスの輝度を取得してもよい。例えば、グラフィックスの輝度は、ディスクに記録されていてもよいし、メタデータとして放送又はＩｎｔｅｒｎｅｔで送付されてもよい。映像再生装置は、グラフィックスの輝度を読み取り、ダイナミックメタデータの一部として映像表示装置に送る。あるいは、Ｉｎｔｅｒｎｅｔに接続されたサーバのデータベースに、再生するコンテンツに対する情報として、グラフィックス（字幕又はメニュー）の輝度情報が記録されており、映像再生装置は、当該データベースからグラフィックスの輝度情報を取得し、取得した輝度情報を映像表示装置に送ってもよい。

第１オプション、第２オプションのメタデータについては、構成例のビット数、項目数とは異なる、第１のオプションでの値の単位系など、表現する座標系と第２のオプションで値の単位系などの座標系が異なるなど、それぞれのオプションでの記載について、異なったものであればよい。

実施の形態１〜４では、ＨＤＲ方式の第１オプションおよび第２オプションが異なる場合を説明したが、第１オプションおよび第２オプションが異なる場合も、ＨＤＲ方式が異なることに含まれる。つまり、ＨＤＲ方式の第１オプションを第１ＨＤＲ方式とし、ＨＤＲ方式の第２オプションを第２ＨＤＲ方式としてもよい。また、マンダトリＨＤＲについても、ＨＤＲ方式の第１オプションおよびＨＤＲ方式の第２オプションとは異なるＨＤＲ方式としてもよい。

以上、本開示の実施の形態に係る映像処理システムについて説明したが、本開示は、この実施の形態に限定されるものではない。

また、上記実施の形態に係る映像処理システムに含まれる各処理部は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。

また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

また、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。

また、本開示は、映像処理システムにより実行される各種方法として実現されてもよい。

また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。

また、フローチャートにおける各ステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。

以上、一つまたは複数の態様に係る映像処理システムについて、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。

本開示は、映像処理システム、映像再生装置又は映像表示装置に適用できる。

１００、１００Ａ〜１００Ｅ 映像処理システム
１０１、１０１Ａ、１０１Ｂ、１０１Ｄ、１０１Ｅ 映像再生装置
１０２、１０２Ｂ、１０２Ｃ、１０２Ｄ 映像表示装置
１１１ 取得部
１１２ デマルチプレクサ
１１３ 主映像デコード部
１１４ 字幕デコード部
１１５ メニューデコード部
１１６、１３２ メタデータ取得部
１１７ 方式取得部
１１８、１１８Ａ、１１８Ｅ、１３６、１３６Ｃ 生成部
１１９ グラフィックス合成部
１２０ 主映像合成部
１２１ 映像送出部
１３１ 映像受信部
１３３、１３３Ｄ トーンマップ処理部
１３４ 表示部
１３５ 通知部
１４１ 係数演算部
１４２ 係数保持部
１４３ トーンマップ部
１４４ 係数合成部

Claims (7)

1. 主映像を含む映像データを取得する第１取得部と、
   表示装置が表示可能な輝度ダイナミックレンジの方式を示す表示方式を取得する第２取得部と、
   前記映像データが示す映像の輝度ダイナミックレンジの方式が前記表示方式と異なる場合、前記映像データを用いて、映像の輝度特性の時系列の変化を示す動的輝度特性であって、前記表示方式に対応する第１動的輝度特性を示す第１特性情報を生成する生成部と、
   前記生成部により生成された前記第１特性情報を出力する出力部と、を備える
   映像処理システム。
2. 前記映像データは、さらに、前記主映像の前記動的輝度特性を示す第２特性情報を含み、
   前記生成部は、前記第２特性情報が示す第２動的輝度特性の輝度ダイナミックレンジの方式を、前記表示方式に変換することで、前記第１特性情報を生成する
   請求項１に記載の映像処理システム。
3. 前記生成部は、前記映像データの前記主映像を解析することで、前記主映像の前記動的輝度特性を示す第２動的輝度特性を抽出し、抽出した前記第２動的輝度特性の輝度ダイナミックレンジの方式を、前記表示方式に変換することで、前記第１特性情報を生成する
   請求項１に記載の映像処理システム。
4. さらに、
   前記出力部により出力された前記第１特性情報が示す第１動的輝度特性に応じた変換カーブを用いて前記主映像の輝度を変換するトーンマップ処理を行うトーンマップ処理部と、
   前記トーンマップ処理後の映像を表示する表示部と、を備える
   請求項１から３のいずれか１項に記載の映像処理システム。
5. さらに、
   前記主映像にグラフィックスを合成することで合成映像を生成する合成部と、
   前記グラフィックスの輝度特性を抽出する抽出部と、を備え、
   前記出力部は、さらに、前記合成映像と、前記グラフィックスの輝度特性を示す第３特性情報とを出力する
   請求項１から３のいずれか１項に記載の映像処理システム。
6. さらに、
   前記出力部により出力された前記第１特性情報が示す第１動的輝度特性に応じた変換カーブを用いて前記主映像の輝度を変換するトーンマップ処理を行うトーンマップ処理部と、
   前記トーンマップ処理後の映像を表示する表示部とを備え、
   前記トーンマップ処理部は、前記合成部において合成映像が生成される場合、
   前記第１特性情報が示す前記第１動的輝度特性が、前記第３特性情報が示す前記グラフィックスの輝度特性以上である映像の第１区間では、当該第１区間における前記主映像の輝度を当該第１区間における前記第１動的輝度特性に応じて、前記変換カーブを時系列に変更する第１トーンマップ処理を行い、
   前記第１動的輝度特性が前記グラフィックスの輝度特性未満である映像の第２区間では、当該第２区間における前記主映像の輝度を当該第２区間における前記第１動的輝度特性に依らず、一定の変換カーブを用いる第２トーンマップ処理を行う
   請求項５に記載の映像処理システム。
7. 映像処理システムにおける映像処理方法であって、
   主映像を含む映像データを取得する第１取得ステップと、
   表示装置が表示可能な輝度ダイナミックレンジの方式を示す表示方式を取得する第２取得ステップと、
   前記映像データが示す映像の輝度ダイナミックレンジの方式が前記表示方式と異なる場合、前記映像データを用いて、映像の輝度特性の時系列の変化を示す動的輝度特性であって、前記表示方式に対応する第１動的輝度特性を示す第１特性情報を生成する生成ステップと、
   前記生成ステップにおいて生成された前記第１特性情報を出力する出力ステップと、を含む
   映像処理方法。

Images