JPWO2019208256A1 - 情報処理装置、情報処理方法、画像処理装置、画像処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、画像処理装置、画像処理方法、およびプログラム Download PDF

Info

Publication number
JPWO2019208256A1
JPWO2019208256A1 JP2020516226A JP2020516226A JPWO2019208256A1 JP WO2019208256 A1 JPWO2019208256 A1 JP WO2019208256A1 JP 2020516226 A JP2020516226 A JP 2020516226A JP 2020516226 A JP2020516226 A JP 2020516226A JP WO2019208256 A1 JPWO2019208256 A1 JP WO2019208256A1
Authority
JP
Japan
Prior art keywords
metadata
brightness
point
knee point
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020516226A
Other languages
English (en)
Other versions
JP7363772B2 (ja
Inventor
幸一 内村
幸一 内村
高橋 邦明
邦明 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2019208256A1 publication Critical patent/JPWO2019208256A1/ja
Application granted granted Critical
Publication of JP7363772B2 publication Critical patent/JP7363772B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/52Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/57Control of contrast or brightness
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20208High dynamic range [HDR] image processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84Generation or processing of descriptive data, e.g. content descriptors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本技術は、高輝度側と低輝度側の輝度調整を適切に行わせることができるようにする情報処理装置、情報処理方法、画像処理装置、画像処理方法、およびプログラムに関する。本技術の一側面の情報処理装置は、表示装置において輝度調整が行われるそれぞれのピクチャに対して、第1のknee pointを表す情報と第1のknee pointより低輝度側の第2のknee pointを表す情報を含む、輝度の特徴を表すメタデータを付加し、メタデータを付加したそれぞれのピクチャを表示装置に出力する。本技術は、HDRビデオの出力に対応したゲーム機に適用することができる。

Description

本技術は、情報処理装置、情報処理方法、画像処理装置、画像処理方法、およびプログラムに関し、特に、高輝度側と低輝度側の輝度調整を適切に行わせることができるようにした情報処理装置、情報処理方法、画像処理装置、画像処理方法、およびプログラムに関する。
近年、ダイナミックレンジを拡張したHDR(High Dynamic Range)ビデオを用いたゲームのタイトルが増えてきている。SDR(Standard Dynamic Range)ビデオの最高輝度が100nit(100cd/m2)であるのに対し、HDRビデオの最高輝度は、それを超える例えば10000nitである。
ユーザは、HDRビデオの表示に対応したTVをゲーム機に繋げることにより、輝度のダイナミックレンジの広い映像を用いたゲームを楽しむことができる。
特開2017-169075号公報
HDRビデオの表示に対応したTVであってもディスプレイの性能が異なる場合には、ゲーム機に繋いだTV毎に映像の見栄えが異なるものとなる。
本技術はこのような状況に鑑みてなされたものであり、高輝度側と低輝度側の輝度調整を適切に行わせることができるようにするものである。
本技術の第1の側面の情報処理装置は、第1のknee pointを表す情報と前記第1のknee pointより低輝度側の第2のknee pointを表す情報を含む、それぞれのピクチャの輝度の特徴を表すメタデータを生成するメタデータ生成部と、前記ピクチャの輝度調整に用いられる前記メタデータを含むソフトウェアを生成するソフトウェア生成部とを備える。
本技術の第2の側面の画像処理装置は、情報処理装置から出力されたピクチャと、それぞれの前記ピクチャに付加された、第1のknee pointを表す情報と前記第1のknee pointより低輝度側の第2のknee pointを表す情報を含む、輝度の特徴を表すメタデータとを受信する通信部と、前記メタデータに基づいて前記ピクチャの輝度を調整する信号処理部とを備える。
本技術の第3の側面の情報処理装置は、表示装置において輝度調整が行われるそれぞれのピクチャに対して、第1のknee pointを表す情報と前記第1のknee pointより低輝度側の第2のknee pointを表す情報を含む、輝度の特徴を表すメタデータを付加し、前記メタデータを付加したそれぞれの前記ピクチャを前記表示装置に出力する出力制御部を備える。
本技術の第1の側面においては、第1のknee pointを表す情報と前記第1のknee pointより低輝度側の第2のknee pointを表す情報を含む、それぞれのピクチャの輝度の特徴を表すメタデータが生成され、前記ピクチャの輝度調整に用いられる前記メタデータを含むソフトウェアが生成される。
本技術の第2の側面においては、情報処理装置から出力されたピクチャと、それぞれの前記ピクチャに付加された、第1のknee pointを表す情報と前記第1のknee pointより低輝度側の第2のknee pointを表す情報を含む、輝度の特徴を表すメタデータとが受信され、前記メタデータに基づいて前記ピクチャの輝度が調整される。
本技術の第3の側面においては、表示装置において輝度調整が行われるそれぞれのピクチャに対して、第1のknee pointを表す情報と前記第1のknee pointより低輝度側の第2のknee pointを表す情報を含む、輝度の特徴を表すメタデータが付加され、前記メタデータを付加したそれぞれの前記ピクチャが前記表示装置に出力される。
本技術によれば、高輝度側と低輝度側の輝度調整を適切に行わせることができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術の一実施形態に係る情報処理システムの構成例を示す図である。 輝度調整の例を示す図である。 輝度調整に用いられるトーンカーブの例を示す図である。 Dynamic metadataの伝送例を示す図である。 Dynamic metadataのシンタクスを示す図である。 ゲーム用メタデータにより表されるknee pointの例を示す図である。 shoulder pointとtoe pointを示す図である。 ゲーム用メタデータのシンタクスの第1の例を示す図である。 ゲーム用メタデータのシンタクスの第2の例を示す図である。 ゲーム用メタデータのシンタクスの第3の例を示す図である。 ゲーム用メタデータのシンタクスの第4−1の例を示す図である。 Distribution max rgb percentagesとDistribution max rgb percentilesの具体例を示す図である。 toe pointの求め方の例を示す図である。 ゲーム用メタデータのシンタクスの第4−2の例を示す図である。 Distribution max rgb percentagesとDistribution max rgb percentilesの具体例を示す図である。 Distribution max rgb percentagesとDistribution max rgb percentilesの具体例を示す図である。 ゲーム用メタデータのシンタクスの第5の例を示す図である。 ゲーム用メタデータのシンタクスの第6の例を示す図である。 ゲーム機の構成例を示すブロック図である。 コントローラの機能構成例を示すブロック図である。 TVの構成例を示すブロック図である。 ゲーム機の処理について説明するフローチャートである。 TVの処理について説明するフローチャートである。 コンピュータの構成例を示すブロック図である。
以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
1.HDRビデオの輝度調整
2.ゲーム用メタデータの記述例1
3.ゲーム用メタデータの記述例2
4.ゲーム用メタデータの記述例3
5.ゲーム用メタデータの記述例4
6.ゲーム用メタデータの記述例5
7.ゲーム用メタデータの記述例6
8.各装置の構成と動作
9.ゲームソフトウェアの生成側について
10.その他の例
<<HDRビデオの輝度調整>>
<情報処理システムの構成>
図1は、本技術の一実施形態に係る情報処理システムの構成例を示す図である。
図1の情報処理システムは、ゲーム機1とTV(テレビジョン受像機)2がHDMI(登録商標)(High-Definition Multimedia Interface) 2.0a,HDMI 2.1などの所定の規格のケーブルで接続されることによって構成される。ゲーム機1とTV2が無線のインタフェースを介して接続されるようにしてもよい。
ゲーム機1は、光ディスク11に記録されたゲームソフトウェアや、所定のサーバからインターネット12を介して提供されたゲームソフトウェアを実行する情報処理装置である。ゲーム機1が実行するゲームソフトウェアは、HDRビデオを用いたゲームのプログラムである。
ゲーム機1は、ゲームソフトウェアを実行することによって得られたHDRビデオのデータをTV2に出力し、ゲームの映像を表示させる。ゲーム機1が出力するデータには、HDRビデオのデータの他に、オーディオデータも含まれる。
TV2は、放送波やネットワークを伝送路として伝送されてきた番組を受信して表示する機能の他に、外部から入力されたビデオを表示する機能を有する画像処理装置である。
TV2が有するディスプレイは、輝度が100nitを超えるHDRビデオの表示に対応したディスプレイである。図1の例においては、TV2が有するディスプレイの最高輝度は500nitとされている。TV2は、ゲーム機1から伝送されてきたHDRビデオの各ピクチャを受信し、ゲームの映像を表示させる。
<輝度調整について>
ここで、HDRビデオの一般的な輝度調整について説明する。
上述したように、HDRビデオの表示に対応したTVに同じHDRビデオを入力した場合でも、ディスプレイの性能が異なるときには、映像の見栄えが異なるものとなる。
この原因のひとつには、図2に示すようにゲーム機側とTV側の両方において輝度調整が行われるということがある。輝度調整(トーンマップ)には輝度の圧縮と伸張が含まれる。例えば、ゲーム機とTVは輝度の入出力特性を表すトーンカーブの情報を有している。輝度調整は、そのようなトーンカーブを用いて行われる。
図3は、HDRビデオの輝度調整に用いられるトーンカーブの例を示す図である。
図3の横軸は入力信号の輝度を表し、縦軸は出力(表示)の輝度を表す。このような輝度の入出力特性を表すトーンカーブを用いた輝度調整が行われ、HDRビデオの輝度が、ディスプレイの最高輝度である500nitの範囲に収まるように圧縮される。
なお、図3において矢印の先に示す、明暗の表現がリニアではなくなるポイント(入力輝度と出力輝度がリニアではなくなるポイント)が、knee pointと呼ばれる。knee pointより高い輝度の入力信号は、その輝度より低い輝度で出力されることになる。
図2に示すように、ゲーム機からTVに対して輝度調整後の各ピクチャのデータが出力された場合、輝度調整が既に行われていることがTV側では分からないことから、TV側においても、輝度調整が再度行われる。この場合、ゲーム機が意図した輝度調整が、TV側での輝度調整によって上書きされてしまう。
このような輝度調整の上書きを防ぐために、ゲーム機側ではHDRビデオの輝度調整を行わずに、TVにおいて行われる輝度調整を、ゲーム機がコントロールする方法が考えられる。
また、TVにおいて行われる輝度調整をゲーム機がコントロールするための手段として、輝度の特徴を表す情報を、メタデータとして各ピクチャに付加して伝送する手段が考えられる。例えば、SMPTE2094-40では、HDRビデオのメタデータとして、ピクチャ(フレーム)単位の輝度の特徴を表す情報を含むDynamic metadataが規定されている。
ゲームの映像を構成するHDRビデオにもDynamic metadataを採用するとなると、HDRビデオの出力時、図4に示すように、ゲーム機からTVには、各ピクチャのデータとともにDynamic metadataが伝送される。TVにおいては、HDRビデオの輝度調整がゲーム機から伝送されてきたDynamic metadataに基づいて行われる。
<Dynamic metadata>
図5は、SMPTE2094-40で規定されるDynamic metadataのシンタクスを示す図である。なお、図5に示す各フィールドの意味は、CTA861-Gにおいて定義される。
図5の1行目に示すように、Dynamic metadataには、ピクチャに設定されたWindowの情報が記述される。Windowは、ピクチャ内に設定された矩形領域である。1ピクチャ内に最大3つのWindowを設定することが可能とされる。
2〜14行目に示す各パラメータが、ピクチャに設定されたWindow毎に記述される。
2行目のWindow size,Window locationは、それぞれWindowのサイズと位置を示す。
3行目のInternal Eclipse size,Internal Eclipse locationは、それぞれ、Window内に設定された2つの楕円のうちの内側の楕円のサイズと位置を示す。Window内に楕円を設定し、楕円内の輝度を指定することができるようになされている。
4行目のExternal Eclipse size,External Eclipse locationは、それぞれ、Window内に設定された2つの楕円のうちの外側の楕円のサイズと位置を示す。
5行目のRotation angleは、Window内に設定された2つの楕円の傾きを示す。
6行目のOverlap process optionは、Windowが重なった場合の画素の処理方法を示す。
7行目のmaxsclは、Windowの中の最も明るいピクセルのRGB値を示す。
8行目のaverage max rgbは、Windowの中の各ピクセルのR,G,Bの中の最も大きい値の平均を示す。
9行目のDistribution max rgb percentagesは、Windowの中の明るい輝度のランキングをパーセンテージにより示す。最大15個のDistribution max rgb percentagesの値を記述することが可能とされる。
10行目のDistribution max rgb percentilesは、Windowの中の明るい輝度のランキングを順位(パーセンタイル)により示す。最大15個のDistribution max rgb percentilesの値を記述することが可能とされる。
11行目のFraction bright pixelsは、シーン内の最大の輝度値が出画される程度を示す。
12行目のKnee pointは、上述したknee pointの輝度値を示す。
13行目のBezier curve anchorsは、knee pointを超える明るさの、トーンカーブ上のサンプル(アンカーポイント)の座標x,yを示す。最大15個のアンカーポイントをBezier curve anchorsにより指定することが可能とされている。
14行目のColor saturation weightは、想定するディスプレイ(Target display)において輝度圧縮を行った際に変化したRGB値の補正に用いる値を示す。
16行目のTarget System display max luminanceは、想定するディスプレイの輝度を示す。Target System display max luminanceにより、こういうディスプレイで表示されることを想定してコンテンツを作ったということが指定される。
17行目のLocal display luminanceは、ディスプレイを縦横2×2から25×25までのエリアに分割した場合の、それぞれのエリアの最大の輝度値を示す。
18行目のLocal mastering display luminanceは、mastering displayを縦横2×2から25×25までのエリアに分割した場合の、それぞれのエリアの最大の輝度値を示す。
Windowの数が1である場合、1〜15行目のパラメータによってピクチャの属性が示される。また、16行目と17行目のパラメータによって、想定するディスプレイの属性が示され、18行目のパラメータによって、ゲームの映像の作成に用いられたディスプレイの属性が示される。
このように、SMPTE2094-40で規定されるDynamic metadataによれば、1つのknee pointの情報しか、記述することができない。
すなわち、このようなDynamic metadataを用いてTV側での輝度調整をコントロールするとした場合、例えば高輝度側のknee pointしか、ゲーム機は指定することができず、低輝度側のknee pointを指定することができない。高輝度側のknee pointを指定するとした場合、ゲーム機は、入力信号の輝度をその輝度のまま表現したいという、高輝度側の輝度については指定することができるが、低輝度側の輝度については指定することができない。
TVが有しているトーンカーブによっては、低輝度側が圧縮されすぎてしまい、特に暗闇のシーンの映像を表現しきれなくなる。
<ゲーム用メタデータについて>
図1の情報処理システムにおいては、ゲーム機1側ではHDRビデオの輝度調整が行われず、TV2において行われる輝度調整を、ゲーム機1がコントロールすることができるようになされている。
TV2において行われる輝度調整のコントロールは、Dynamic metadataと同様の記述を含むメタデータであるゲーム用メタデータを用いて行われる。ゲーム用メタデータは、ゲームの映像を構成するHDRビデオの各ピクチャにゲーム機1において付加され、TV2に対して伝送される。
図6は、ゲーム用メタデータにより表されるknee pointの例を示す図である。
ゲーム機1が出力するゲーム用メタデータには、点P1として示す高輝度側のknee pointを表す情報と、点P2として示す低輝度側のknee pointを表す情報とが含まれる。太線で示す点P2−P1の区間が、入力信号の輝度がその輝度のまま表示される区間(リニアの区間)となる。
点P1より高輝度の入力信号は、点P1より右側のトーンカーブに従って、点P11で示す最大輝度までの範囲で、輝度を圧縮して表示される。一方、点P2より低輝度の入力信号は、点P2より左側のトーンカーブに従って、点P12で示す最低輝度までの範囲で、輝度を伸張して表示される。
以下、適宜、図7に示すように、点P1に対応する高輝度側のknee pointをshoulder pointといい、点P2に対応する低輝度側のknee pointをtoe pointという。
また、ゲーム用メタデータ中の記述については、Knee pointといったように大文字のアルファベットを含む形で表し、トーンカーブ上の点については、knee pointといったように小文字のアルファベットを含む形で表す。例えばShoulder pointはゲーム用メタデータ中の記述を表し、shoulder pointはトーンカーブ上の点を表す。
shoulder pointとtoe pointを指定することにより、ゲーム機1は、ゲームの映像を構成するHDRビデオの輝度調整をTV2に適切に行わせることが可能となる。
<<ゲーム用メタデータの記述例1>>
図8は、ゲーム用メタデータのシンタクスの第1の例を示す図である。
図8に示すゲーム用メタデータの記述のうち、図5を参照して説明した記述と重複する記述については、適宜、説明を省略する。図9以降についても同様である。
図8の例においては、Knee pointに代えて、Shoulder pointとToe pointが記述されている点で、図5の記述と異なる。
12行目のShoulder pointは、矢印#1で示すように、高輝度側のknee pointであるshoulder pointを表す。
13行目のToe pointは、矢印#2で示すように、低輝度側のknee pointであるtoe pointを表す。
すなわち、図8の記述は、新規のフィールドを新たに定義したDynamic metadataをゲーム用メタデータとして用いた場合の記述となる。
ゲーム機1は、ゲームソフトウェアを実行することによって図8の記述を含むゲーム用メタデータを生成し、生成したゲーム用メタデータをそれぞれのピクチャに付加して伝送する。
これにより、ゲーム機1は、shoulder pointとtoe pointをそれぞれ指定することが可能となる。TV2においては、ゲーム用メタデータに基づいて輝度調整が行われ、shoulder pointとtoe pointの間の輝度の入力信号が、その輝度のまま出力されることになる。
なお、14行目のBezier curve anchorsは、例えば、shoulder pointより高輝度側のアンカーポイントを示す。toe pointより低輝度側のアンカーポイントがBezier curve anchorsにより示されるようにしてもよい。
<<ゲーム用メタデータの記述例2>>
図9は、ゲーム用メタデータのシンタクスの第2の例を示す図である。
図9の例においては、Knee pointに代えて、Shoulder pointとToe pointが記述されている点で、図5の記述と異なる。また、Bezier curve anchorsが2つ記述されている点で、図5の記述と異なる。
12行目のShoulder pointは、矢印#11で示すように、高輝度側のknee pointであるshoulder pointを表す。
13行目のToe pointは、矢印#12で示すように、低輝度側のknee pointであるtoe pointを表す。
14行目のBezier curve anchorsは、矢印#13で示すように、shoulder pointより高輝度側のアンカーポイントの座標x,yを示す。14行目のBezier curve anchorsにより、shoulder pointより高輝度側のアンカーポイントが最大15個指定される。
15行目のBezier curve anchorsは、矢印#14で示すように、toe pointより低輝度側のアンカーポイントの座標x,yを示す。15行目のBezier curve anchorsにより、toe pointより低輝度側のアンカーポイントが最大15個指定される。
図9の記述も、新規のフィールドを新たに定義したDynamic metadataをゲーム用メタデータとして用いた場合の記述となる。
ゲーム機1は、ゲームソフトウェアを実行することによって図9の記述を含むゲーム用メタデータを生成し、生成したゲーム用メタデータをそれぞれのピクチャに付加して伝送する。
これにより、ゲーム機1は、shoulder pointとtoe pointをそれぞれ指定することが可能となる。また、ゲーム機1は、shoulder pointより高輝度側の入出力特性とtoe pointより低輝度側の入出力特性を指定することが可能となる。
<<ゲーム用メタデータの記述例3>>
図10は、ゲーム用メタデータのシンタクスの第3の例を示す図である。
図10の例においては、Knee pointに代えて、Shoulder pointとToe pointが記述されている点で、図5の記述と異なる。また、Bezier curve anchorsの意味が、図5のBezier curve anchorsの意味と異なる。
12行目のShoulder pointは、矢印#21で示すように、高輝度側のknee pointであるshoulder pointを表す。
13行目のToe pointは、矢印#22で示すように、低輝度側のknee pointであるtoe pointを表す。
14行目のBezier curve anchorsは、例えば15個のアンカーポイントを指定する。
Bezier curve anchorsが示す15個のアンカーポイントのうちの例えば前半の8個のアンカーポイントは、矢印#23で示すように、shoulder pointより高輝度側のアンカーポイントの座標x,yを示す。また、15個のアンカーポイントのうちの後半の7個のアンカーポイントは、矢印#24で示すように、toe pointより低輝度側のアンカーポイントの座標x,yを示す。
このように、例えば、高輝度側のアンカーポイントの方に、低輝度側のアンカーポイントより多くのBezier curve anchorsの情報が割り当てられる。
高輝度側のアンカーポイントと低輝度側のアンカーポイントに割り当てるBezier curve anchorsの情報の割合は任意に変更可能である。例えば、低輝度側のアンカーポイントの方に、高輝度側のアンカーポイントより多くのBezier curve anchorsの情報が割り当てられるようにしてもよい。
また、Bezier curve anchorsにより、15未満の所定の数のアンカーポイントが指定されるようにしてもよい。
図10の記述も、新規のフィールドを新たに定義したDynamic metadataをゲーム用メタデータとして用いた場合の記述となる。
ゲーム機1は、ゲームソフトウェアを実行することによって図10の記述を含むゲーム用メタデータを生成し、生成したゲーム用メタデータをそれぞれのピクチャに付加して伝送する。
これにより、ゲーム機1は、shoulder pointとtoe pointをそれぞれ指定することが可能となる。また、ゲーム機1は、shoulder pointより高輝度側の入出力特性とtoe pointより低輝度側の入出力特性を指定することが可能となる。
<<ゲーム用メタデータの記述例4>>
図11に示すシンタクスと、後述する図14に示すシンタクスは、新規のフィールドを含まずに、既存の記述を用いて、shoulder pointとtoe pointなどを表すシンタクスである。図11と図14の記述は、Dynamic metadataの既存の記述をそのままゲーム用メタデータとして用いた場合の記述となる。
<記述例4−1>
図11は、ゲーム用メタデータのシンタクスの第4−1の例を示す図である。
12行目のKnee pointは、矢印#31で示すように、高輝度側のknee pointであるshoulder pointを表す。
低輝度側のknee pointであるtoe pointは、矢印#32に示すように、9行目のDistribution max rgb percentagesと10行目のDistribution max rgb percentilesとを用いて表される。
図12は、Distribution max rgb percentagesとDistribution max rgb percentilesの具体例を示す図である。
図12に示す表において、左端列は変数iを表す。変数iは0から14までの整数をとる。変数iの数だけ、Distribution max rgb percentagesとDistribution max rgb percentilesの値が設定される。中央列はDistribution max rgb percentagesを表し、左端列はDistribution max rgb percentilesを表す。
図12の例においては、変数i=0〜9に対応するDistribution max rgb percentagesとDistribution max rgb percentilesが示されている。
Distribution max rgb percentagesの値x[i]は、Windowの数が1であるとすると、ピクチャを構成する全ピクセルを輝度の小さい順に並べ、輝度の小さい方から数えたときのピクセルの割合を表す。例えば変数i=7においてDistribution max rgb percentagesの値が90であることは、輝度の小さい方から90%の範囲に含まれるピクセルを表す。
また、Distribution max rgb percentilesの値y[i]は、Windowの数が1であるとすると、Distribution max rgb percentagesにより表される範囲内における最大の輝度のピクセルの、その輝度を正規化して表す。例えば変数i=7においてDistribution max rgb percentilesの値が801であることは、輝度の小さい方から90%の範囲に含まれるピクセルのうちの、最大輝度をとるピクチャの輝度が80.1nitであることを表す。
図12において斜線を付して示すように、例えば変数i=3に対応するDistribution max rgb percentagesとDistribution max rgb percentilesとを用いて、toe pointが表される。図12の例においては、変数i=3に対応するDistribution max rgb percentagesの値は25(25%)である。また、変数i=3に対応するDistribution max rgb percentilesの値は2(0.2nit)である。
図13は、toe pointの求め方の例を示す図である。
図13の横軸は入力信号の輝度を表す。xの値が1.0であることは、PQ(Perceptual Quantization)の最大輝度値である10000nitを表す。
また、図13の縦軸はディスプレイ上の表示輝度を表す。yの値が1.0であることは、ディスプレイの最大輝度である例えば400nitを表す。ディスプレイの最大輝度は、ゲーム用メタデータのTarget System display max luminanceにより表される。
上述したように、toe pointは、ある輝度の入力信号がその輝度で表示されるリニアの範囲の境界点である。変数i=3に対応するDistribution max rgb percentilesの値が0.2であるから、入力信号の輝度と表示輝度がいずれも0.2であることを示す点P31のx座標とy座標は、下式(1)により表される。
Figure 2019208256
CTA861-Gによると、Knee pointは12bitの情報である。点P31のx座標とy座標の値は、下式(2)、式(3)に表されるように1/4095の倍数で、最も近い値に変換される。
Figure 2019208256
Figure 2019208256
式(3)により求められるtoe pointのx座標の値である0.0819は0に丸められ、y座標の値である2.0475は2に丸められる。これにより、toe pointのx座標、y座標は下式(4)により表される。
Figure 2019208256
このように、図11の例においては、予め設定された所定の変数iに対応するDistribution max rgb percentagesとDistribution max rgb percentilesとが、toe pointを指定する情報として用いられる。
toe pointを指定することに用いられるDistribution max rgb percentagesとDistribution max rgb percentilesの変数iの値は任意である。変数i=3以外の、例えば変数i=4に対応するDistribution max rgb percentagesとDistribution max rgb percentilesとを用いてtoe pointが指定されるようにすることが可能である。
toe pointがKnee pointにより指定され、shoulder pointが、Distribution max rgb percentagesとDistribution max rgb percentilesとを用いて指定されるようにしてもよい。
ゲーム機1は、ゲームソフトウェアを実行することによって図11の記述を含むゲーム用メタデータを生成し、生成したゲーム用メタデータをそれぞれのピクチャに付加して伝送する。
TV2においては、ゲーム用メタデータの解析が行われ、Knee pointの記述に基づいてshoulder pointが特定されるとともに、Distribution max rgb percentagesとDistribution max rgb percentilesの記述に基づいてtoe pointが特定される。
また、TV2においては、特定されたshoulder pointとtoe pointを用いて輝度調整が行われる。上述した例の場合、輝度の小さい方から数えたときに25%以上の範囲のピクセル(shoulder pointにより表される輝度以下のピクセル)については、入力信号の輝度をその輝度のまま出力するようにして輝度調整が行われることになる。
このように、ゲーム機1は、既存の記述を用いて、shoulder pointとtoe pointをそれぞれ指定することが可能となる。
<記述例4−2>
図14は、ゲーム用メタデータのシンタクスの第4−2の例を示す図である。
図14の例においては、矢印#41,#42で示すように、shoulder pointとtoe pointの両方が、Distribution max rgb percentagesとDistribution max rgb percentilesとを用いて表される。
図15は、Distribution max rgb percentagesとDistribution max rgb percentilesの具体例を示す図である。
図15に示すように、例えば変数i=3に対応するDistribution max rgb percentagesとDistribution max rgb percentilesとを用いて、toe pointが表される。図15の例においては、変数i=3に対応するDistribution max rgb percentagesの値は25(25%)である。また、変数i=3に対応するDistribution max rgb percentilesの値は2(0.2nit)である。
また、例えば変数i=7に対応するDistribution max rgb percentagesとDistribution max rgb percentilesとを用いて、shoulder pointが表される。図15の例においては、変数i=7に対応するDistribution max rgb percentagesの値は90(90%)である。また、変数i=7に対応するDistribution max rgb percentilesの値は801(80.1nit)である。
図15において斜線を付して示す範囲が、入力信号の輝度をその輝度のまま出力するようにして輝度調整が行われる範囲となる。
このように、図15の例においては、予め設定された所定の変数iに対応するDistribution max rgb percentagesとDistribution max rgb percentilesとが、toe pointを指定する情報として用いられる。また、予め設定された他の変数iに対応するDistribution max rgb percentagesとDistribution max rgb percentilesとが、shoulder pointを指定する情報として用いられる。
shoulder pointとtoe pointを表すことに用いられるDistribution max rgb percentagesとDistribution max rgb percentilesに対応する変数iの値は任意である。
ゲーム機1は、ゲームソフトウェアを実行することによって図14の記述を含むゲーム用メタデータを生成し、生成したゲーム用メタデータをそれぞれのピクチャに付加して伝送する。
TV2においては、ゲーム用メタデータの解析が行われ、Distribution max rgb percentagesとDistribution max rgb percentilesの記述に基づいてshoulder pointとtoe pointが特定される。
また、TV2においては、特定されたshoulder pointとtoe pointを用いて輝度調整が行われる。上述した例の場合、輝度の小さい方から数えたときに25%以上、90%以下の範囲のピクセルについては、入力信号の輝度をその輝度のまま出力するようにして輝度調整が行われることになる。
このように、ゲーム機1は、既存の記述を用いて、shoulder pointとtoe pointをそれぞれ指定することが可能となる。
<記述例4−3>
図16は、Distribution max rgb percentagesとDistribution max rgb percentilesの具体例を示す図である。
図16の例においては、入力信号の輝度をその輝度のまま出力する輝度の範囲を示すDistribution max rgb percentagesとDistribution max rgb percentilesだけが、ゲーム用メタデータに記述される。
図16の例においては、変数i=0〜3に対応するDistribution max rgb percentagesとDistribution max rgb percentilesの値が示されている。
図16に示すように、変数i=0に対応するDistribution max rgb percentagesとDistribution max rgb percentilesとを用いて、toe pointが指定される。図16の例においては、変数i=0に対応するDistribution max rgb percentagesの値は25である。また、変数i=0に対応するDistribution max rgb percentilesの値は2である。
また、変数i=3に対応するDistribution max rgb percentagesとDistribution max rgb percentilesとを用いて、shoulder pointが表される。図16の例においては、変数i=3に対応するDistribution max rgb percentagesの値は90である。また、変数i=3に対応するDistribution max rgb percentilesの値は801である。
このように、図16の例においては、最も小さい変数iに対応するDistribution max rgb percentagesとDistribution max rgb percentilesとが、toe pointを指定する情報として用いられる。また、最も大きい変数iに対応するDistribution max rgb percentagesとDistribution max rgb percentilesとが、shoulder pointを指定する情報として用いられる。
<<ゲーム用メタデータの記述例5>>
図17は、ゲーム用メタデータのシンタクスの第5の例を示す図である。
図17の例においては、Bezier curve anchorsが2つ記述されている点で、図5の記述と異なる。
12行目のKnee pointは、矢印#51で示すように、高輝度側のknee pointであるshoulder pointを表す。
低輝度側のknee pointであるtoe pointは、矢印#52で示すように、9行目のDistribution max rgb percentagesと10行目のDistribution max rgb percentilesとを用いて表される。Distribution max rgb percentagesとDistribution max rgb percentilesを用いたtoe pointの表し方は、図12、図15、図16を参照して説明した表し方と同じである。
13行目のBezier curve anchorsは、矢印#53で示すように、shoulder pointより高輝度側のアンカーポイントの座標x,yを示す。
14行目のBezier curve anchorsは、矢印#54で示すように、toe pointより低輝度側のアンカーポイントの座標x,yを示す。
すなわち、図17の記述は、既存の記述を用いてshoulder pointとtoe pointを表すとともに、Bezier curve anchorsを追加したDynamic metadataをゲーム用メタデータとして用いた場合の記述となる。
図17の例においても、toe pointがKnee pointにより表され、shoulder pointがDistribution max rgb percentagesとDistribution max rgb percentilesとを用いて表されるようにしてもよい。
<<ゲーム用メタデータの記述例6>>
図18は、ゲーム用メタデータのシンタクスの第6の例を示す図である。
図18の記述は、Bezier curve anchorsの意味が異なる点を除いて、図5の記述と同じである。図18に示すBezier curve anchorsは、図10を参照して説明したように、shoulder pointより高輝度側のアンカーポイントを示すとともに、toe pointより低輝度側のアンカーポイントを示す。
12行目のKnee pointは、矢印#61で示すように、高輝度側のknee pointであるshoulder pointを表す。
低輝度側のknee pointであるtoe pointは、矢印#62で示すように、9行目のDistribution max rgb percentagesと10行目のDistribution max rgb percentilesとを用いて表される。
13行目のBezier curve anchorsが示す15個のアンカーポイントのうちの例えば前半の8個のアンカーポイントは、矢印#63で示すように、shoulder pointより高輝度側のアンカーポイントの座標x,yを示す。また、15個のアンカーポイントのうちの後半の7個のアンカーポイントは、矢印#64で示すように、toe pointより低輝度側のアンカーポイントの座標x,yを示す。
このように、上述した記述例を適宜組み合わせることが可能である。
以上のような各種の記述を含むゲーム用メタデータを用いることにより、ゲーム機1は、shoulder pointとtoe pointをそれぞれ指定することが可能となる。
TV2は、HDRビデオのピクチャの輝度調整を、ゲーム機1により指定された方法、すなわち、ゲームソフトウェアの制作者により指定された方法に従って、適切な形で行うことができる。
<<各装置の構成と動作>>
<ゲーム機の構成>
図19は、ゲーム機1の構成例を示すブロック図である。
ゲーム機1は、コントローラ51、ディスクドライブ52、メモリ53、ローカルストレージ54、通信部55、復号処理部56、操作入力部57、および外部出力部58から構成される。
コントローラ51は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)などにより構成される。コントローラ51は、所定のプログラムを実行し、ゲーム機1の全体の動作を制御する。
ディスクドライブ52は、光ディスク11に記録されているデータを読み出し、コントローラ51、メモリ53、または復号処理部56に出力する。例えば、ディスクドライブ52は、光ディスク11から読み出したゲームソフトウェアをコントローラ51に出力し、AVストリームを復号処理部56に出力する。
メモリ53は、コントローラ51が実行するプログラムなどの、コントローラ51が各種の処理を実行する上で必要なデータを記憶する。
ローカルストレージ54は、HDD(Hard Disk Drive)、SSD(Solid State Drive)などの記録媒体により構成される。ローカルストレージ54には、サーバからダウンロードされたゲームソフトウェアなどが記録される。
通信部55は、無線LAN、有線LANなどのインタフェースである。例えば、通信部55は、インターネットなどのネットワークを介してサーバと通信を行い、サーバからダウンロードしたデータをローカルストレージ54に供給する。
復号処理部56は、ディスクドライブ52から供給されたAVストリームに多重化されているビデオストリームを復号し、復号して得られたビデオのデータを外部出力部58に出力する。ゲームの映像を構成するHDRビデオが、ビデオストリームを復号することにより生成されるようにしてもよい。また、復号処理部56は、AVストリームに多重化されているオーディオストリームを復号し、復号して得られたオーディオデータを外部出力部58に出力する。
操作入力部57は、リモートコントローラから無線通信によって送信される信号を受信する受信部により構成される。操作入力部57はユーザの操作を検出し、検出した操作の内容を表す信号をコントローラ51に供給する。
外部出力部58は、HDMIなどの外部出力のインタフェースである。外部出力部58は、HDMIケーブルを介してTV2と通信を行い、コントローラ51から供給されたHDRビデオのデータ、または、復号処理部56から供給されたHDRビデオのデータをTV2に出力する。
図20は、コントローラ51の機能構成例を示すブロック図である。
コントローラ51においては、ゲームソフトウェア実行部71と出力制御部72が実現される。図20に示す機能部のうちの少なくとも一部は、コントローラ51のCPUにより所定のプログラムが実行されることによって実現される。
ゲームソフトウェア実行部71は、光ディスク11から読み出されたゲームソフトウェアやローカルストレージ54に記録されているゲームソフトウェアを実行する。
ゲームソフトウェア実行部71は、ゲームソフトウェアを実行することによって、ゲームの映像を構成するHDRビデオの各ピクチャと、ゲーム用メタデータを生成する。ゲームソフトウェア実行部71は、生成したHDRビデオの各ピクチャとゲーム用メタデータを出力制御部72に出力する。
出力制御部72は、外部出力部58を制御することによって、ゲームソフトウェア実行部71により生成されたHDRビデオの出力を制御する。例えば、出力制御部72は、ゲームの映像を構成するHDRビデオの各ピクチャにゲーム用メタデータを付加し、ゲーム用メタデータを付加した各ピクチャを外部出力部58から出力させる。
<TVの構成>
図21は、TV2の構成例を示すブロック図である。
TV2は、コントローラ101、外部入力部102、信号処理部103、ディスプレイ104、放送受信部105、復号処理部106、および通信部107から構成される。
コントローラ101は、CPU、ROM、RAMなどにより構成される。コントローラ101は、所定のプログラムを実行し、TV2の全体の動作を制御する。
コントローラ101においては、所定のプログラムが実行されることにより、メタデータ解析部101Aが実現される。
メタデータ解析部101Aは、ゲーム機1から伝送されたゲーム用メタデータを解析し、shoulder pointとtoe pointを特定する。また、メタデータ解析部101Aは、ゲーム用メタデータを解析し、shoulder pointより高輝度側のアンカーポイントとtoe pointより低輝度側のアンカーポイントの特定することなども行う。
メタデータ解析部101Aは、ゲーム用メタデータの解析結果を表す情報を信号処理部103に出力する。信号処理部103による輝度調整が、メタデータ解析部101Aによるゲーム用メタデータの解析結果に基づいて行われる。
外部入力部102は、HDMIなどの外部入力のインタフェースである。外部入力部102は、HDMIケーブルを介してゲーム機1と通信を行い、ゲーム機1から伝送されてきたHDRビデオの各ピクチャのデータを受信して信号処理部103に出力する。また、外部入力部102は、HDRビデオの各ピクチャに付加して伝送されてきたゲーム用メタデータを受信し、コントローラ101に出力する。
信号処理部103は、外部入力部102から供給されたHDRビデオの処理を行い、ゲームの映像をディスプレイ104に表示させる。信号処理部103は、コントローラ101による制御に従ってHDRビデオの輝度調整を行う。
信号処理部103は、復号処理部106から供給されたデータに基づいて、番組の映像をディスプレイ104に表示させる処理なども行う。
ディスプレイ104は、LCD(Liquid Crystal Display)や有機EL(Electro Luminescence)ディスプレイなどの表示デバイスである。ディスプレイ104は、信号処理部103から供給されたビデオ信号に基づいて、ゲームの映像や番組の映像を表示する。
放送受信部105は、アンテナから供給された信号から所定のチャンネルの放送信号を抽出し、復号処理部106に出力する。放送受信部105による放送信号の抽出は、コントローラ101による制御に従って行われる。
復号処理部106は、放送受信部105から供給された放送信号に対して復号等の処理を施し、番組のビデオデータを信号処理部103に出力する。
通信部107は、無線LAN、有線LANなどのインタフェースである。通信部107は、インターネットを介してサーバと通信を行う。
<ゲーム機の動作>
ここで、図22のフローチャートを参照して、ゲーム機1の処理について説明する。
ステップS1において、コントローラ51のゲームソフトウェア実行部71は、ゲームソフトウェアを実行し、ゲームの映像を構成するHDRビデオの各ピクチャとゲーム用メタデータを生成する。ゲームソフトウェアを実行することにより、図8等を参照して説明したような各種のゲーム用メタデータが生成される。
ステップS2において、出力制御部72は、ゲームの映像を構成するHDRビデオの各ピクチャに、ゲームソフトウェア実行部71により生成されたゲーム用メタデータを付加し、ゲーム用メタデータを付加した各ピクチャを外部出力部58から出力させる。
以上の処理が、ユーザがゲームを行っている間、繰り返し行われる。
<TVの動作>
次に、図23のフローチャートを参照して、TV2の処理について説明する。
ステップS21において、TV2の外部入力部102は、ゲーム機1から伝送されたHDRビデオの各ピクチャのデータと、それに付加して伝送されてきたゲーム用メタデータを受信する。
ステップS22において、コントローラ101のメタデータ解析部101Aは、ゲーム機1から伝送されてきたゲーム用メタデータを解析し、shoulder pointとtoe pointを特定する。
例えば図8の記述を含むゲーム用メタデータが伝送されてきた場合、メタデータ解析部101Aは、Shoulder pointの記述に基づいてshoulder pointを特定し、Toe pointの記述に基づいてtoe pointを特定する。ゲーム用メタデータの解析結果を表す情報はメタデータ解析部101Aから信号処理部103に供給される。
ステップS23において、信号処理部103は、ゲーム用メタデータの解析結果に基づいてHDRビデオの輝度調整を行う。例えば、toe pointからshoulder pointまでの輝度については、その輝度のまま出力されるようにHDRビデオの輝度調整が行われる。
ステップS24において、信号処理部103は、輝度調整を行ったHDRビデオをディスプレイ104に表示させる。ゲームの映像を構成するHDRビデオの表示は、ゲームソフトウェアがゲーム機1において実行されている間、続けられる。
以上の処理により、ゲーム機1は、TV2による輝度調整を、ゲームソフトウェアの制作者により指定された方法に従って適切な形で行わせることが可能となる。
<<ゲームソフトウェアの生成側について>>
図24は、以上のようなゲームソフトウェアの生成に用いられるコンピュータの構成例を示すブロック図である。
CPU201、ROM202、RAM203は、バス204により相互に接続されている。CPU201においては、所定のプログラムが実行されることにより、メタデータ生成部201Aとゲームソフトウェア生成部201Bが実現される。
メタデータ生成部201Aは、図8等を参照して説明したゲーム用メタデータを例えば制作者による操作に従って生成する。
ゲームソフトウェア生成部201Bは、ゲーム機1が実行するゲームソフトウェアを生成する。ゲームソフトウェア生成部201Bが生成するゲームソフトウェアには、ゲームを進行させるゲームプログラム、ゲームプログラムが利用するゲームデータ、ゲームの映像と音声の生成に用いられる情報が含まれる。ゲームの映像の生成に用いられる情報には、メタデータ生成部201Aにより生成されたゲーム用メタデータも含まれる。
バス204には、さらに、入出力インタフェース205が接続される。入出力インタフェース205には、入力部206、出力部207、記憶部208、通信部209、およびドライブ210が接続される。ドライブ210にはリムーバブルメディア211が装着される。
入力部206は、キーボード、マウスなどにより構成され、ゲームソフトウェアの制作者により操作される。
出力部207は、ディスプレイ、スピーカなどにより構成される。出力部207を構成するディスプレイは、例えばmastering displayとして用いられる。
記憶部208は、ハードディスクや不揮発性のメモリなどより構成される。ゲームソフトウェア生成部201Bにより生成されたゲームソフトウェアなどの各種のデータが記憶部208に記憶される。
通信部209は、ネットワークインタフェースなどより構成される。
ドライブ210は、光ディスク、半導体メモリなどよりなるリムーバブルメディア211に記録されているデータの読み出しと、リムーバブルメディア211に対するデータの書き込みを制御する。
このような構成を有するコンピュータにおいては、CPU201が、例えば記憶部208に記憶されているプログラムをRAM203にロードして実行することにより、ゲームソフトウェアの生成処理などの各種の処理が行われる。
このように、図24のコンピュータは、ゲームソフトウェアを生成する情報処理装置として機能する。
<<その他の例>>
図8等を参照して説明した記述を含むメタデータがゲームの映像用のメタデータであるものとしたが、映画、静止画などの各種のビデオデータの輝度調整に用いられるようにしてもよい。
ゲーム機1から伝送されてきたHDRビデオの輝度を調整する場合について説明したが、インターネット12を介してサーバから送信されてきたゲームソフトウェアがTV2において実行されるようにしてもよい。ゲームソフトウェアが実行されることによって生成されたHDRビデオは、TV2においてゲーム用メタデータに基づいて輝度調整が行われ、表示される。
図24の例においては、ゲームソフトウェアを生成するコンピュータにおいてメタデータ生成部201Aが実現されるものとしたが、ゲームソフトウェアを生成する機能を有していないコンピュータにおいてメタデータ生成部201Aが実現されるようにしてもよい。
例えば、ゲームソフトウェア、映画などのコンテンツを配信するサーバを構成するコンピュータにおいて、上述したような各種の記述を含むメタデータを生成するメタデータ生成部201Aが実現されるようにすることが可能である。サーバのメタデータ生成部201Aは、配信するコンテンツ用のメタデータを生成し、生成したメタデータをコンテンツとともに配信することになる。
これにより、サーバは、インターネット12を介して配信するコンテンツの高輝度側および低輝度側の輝度調整を、配信先となる機器に適切に行わせることができる。
・プログラムの例
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、汎用のパーソナルコンピュータなどにインストールされる。
インストールされるプログラムは、光ディスク(CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等)や半導体メモリなどよりなる図24に示されるリムーバブルメディア211に記録して提供される。また、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供されるようにしてもよい。プログラムは、ROM202や記憶部208に、あらかじめインストールしておくことができる。
コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
なお、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本技術は、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
・構成の組み合わせ例
本技術は、以下のような構成をとることもできる。
(1)
第1のknee pointを表す情報と前記第1のknee pointより低輝度側の第2のknee pointを表す情報を含む、それぞれのピクチャの輝度の特徴を表すメタデータを生成するメタデータ生成部と、
前記ピクチャの輝度調整に用いられる前記メタデータを含むソフトウェアを生成するソフトウェア生成部と
を備える情報処理装置。
(2)
前記メタデータ生成部は、前記第1のknee pointと前記第2のknee pointをそれぞれ表す2つのpoint情報を記述した前記メタデータを生成する
前記(1)に記載の情報処理装置。
(3)
前記メタデータ生成部は、前記第1のknee pointが示す輝度より高い輝度範囲における輝度の入出力特性を表す第1のアンカーポイントの情報と、前記第2のknee pointが示す輝度より低い輝度範囲における輝度の入出力特性を表す第2のアンカーポイントの情報とをさらに含む前記メタデータを生成する
前記(1)または(2)に記載の情報処理装置。
(4)
前記メタデータ生成部は、前記第1のアンカーポイントの情報としてのBezier curve anchorsと、前記第2のアンカーポイントの情報としてのBezier curve anchorsとをそれぞれ記述した前記メタデータを生成する
前記(3)に記載の情報処理装置。
(5)
前記メタデータ生成部は、前記第1のアンカーポイントと前記第2のアンカーポイントとを表す1つのBezier curve anchorsを記述した前記メタデータを生成する
前記(3)に記載の情報処理装置。
(6)
前記第1のknee pointと前記第2のknee pointのうちの一方のknee pointは、SMPTE2094-40により規定されるDynamic metadataのKnee pointにより表され、他方のknee pointは、前記Dynamic metadataのDistribution max rgb percentagesとDistribution max rgb percentilesとを用いて表される
前記(1)乃至(5)のいずれかに記載の情報処理装置。
(7)
情報処理装置が、
第1のknee pointを表す情報と前記第1のknee pointより低輝度側の第2のknee pointを表す情報を含む、それぞれのピクチャの輝度の特徴を表すメタデータを生成し、
前記ピクチャの輝度調整に用いられる前記メタデータを含むソフトウェアを生成する
情報処理方法。
(8)
コンピュータに、
第1のknee pointを表す情報と前記第1のknee pointより低輝度側の第2のknee pointを表す情報を含む、それぞれのピクチャの輝度の特徴を表すメタデータを生成し、
前記ピクチャの輝度調整に用いられる前記メタデータを含むソフトウェアを生成する
処理を実行させるためのプログラム。
(9)
情報処理装置から出力されたピクチャと、それぞれの前記ピクチャに付加された、第1のknee pointを表す情報と前記第1のknee pointより低輝度側の第2のknee pointを表す情報を含む、輝度の特徴を表すメタデータとを受信する通信部と、
前記メタデータに基づいて前記ピクチャの輝度を調整する信号処理部と
を備える画像処理装置。
(10)
前記第1のknee pointと前記第2のknee pointは、前記メタデータに記述された2つのpoint情報によりそれぞれ表される
前記(9)に記載の画像処理装置。
(11)
前記メタデータには、前記第1のknee pointが示す輝度より高い輝度範囲における輝度の入出力特性を表す第1のアンカーポイントの情報と、前記第2のknee pointが示す輝度より低い輝度範囲における輝度の入出力特性を表す第2のアンカーポイントの情報とがさらに含まれる
前記(9)または(10)に記載の画像処理装置。
(12)
前記メタデータには、前記第1のアンカーポイントの情報としてのBezier curve anchorsと、前記第2のアンカーポイントの情報としてのBezier curve anchorsとがそれぞれ記述される
前記(11)に記載の画像処理装置。
(13)
前記メタデータには、前記第1のアンカーポイントと前記第2のアンカーポイントとを表す1つのBezier curve anchorsが記述される
前記(11)に記載の画像処理装置。
(14)
前記第1のknee pointと前記第2のknee pointのうちの一方のknee pointは、SMPTE2094-40により規定されるDynamic metadataのKnee pointにより表され、他方のknee pointは、Dynamic metadataのDistribution max rgb percentagesとDistribution max rgb percentilesとを用いて表される
前記(9)乃至(13)のいずれかに記載の画像処理装置。
(15)
画像処理装置が、
情報処理装置から出力されたピクチャと、それぞれの前記ピクチャに付加された、第1のknee pointを表す情報と前記第1のknee pointより低輝度側の第2のknee pointを表す情報を含む、輝度の特徴を表すメタデータとを受信し、
前記メタデータに基づいて前記ピクチャの輝度を調整する
画像処理方法。
(16)
コンピュータに、
情報処理装置から出力されたピクチャと、それぞれの前記ピクチャに付加された、第1のknee pointを表す情報と前記第1のknee pointより低輝度側の第2のknee pointを表す情報を含む、輝度の特徴を表すメタデータとを受信し、
前記メタデータに基づいて前記ピクチャの輝度を調整する
処理を実行させるためのプログラム。
(17)
表示装置において輝度調整が行われるそれぞれのピクチャに対して、第1のknee pointを表す情報と前記第1のknee pointより低輝度側の第2のknee pointを表す情報を含む、輝度の特徴を表すメタデータを付加し、前記メタデータを付加したそれぞれの前記ピクチャを前記表示装置に出力する出力制御部を備える
情報処理装置。
(18)
情報処理装置が、
表示装置において輝度調整が行われるそれぞれのピクチャに対して、第1のknee pointを表す情報と前記第1のknee pointより低輝度側の第2のknee pointを表す情報を含む、輝度の特徴を表すメタデータを付加し、
前記メタデータを付加したそれぞれの前記ピクチャを前記表示装置に出力する
情報処理方法。
(19)
コンピュータに、
表示装置において輝度調整が行われるそれぞれのピクチャに対して、第1のknee pointを表す情報と前記第1のknee pointより低輝度側の第2のknee pointを表す情報を含む、輝度の特徴を表すメタデータを付加し、
前記メタデータを付加したそれぞれの前記ピクチャを前記表示装置に出力する
処理を実行させるためのプログラム。
1 ゲーム機, 2 TV, 51 コントローラ, 52 ディスクドライブ, 53 メモリ, 54 ローカルストレージ, 55 通信部, 56 復号処理部, 57 操作入力部, 58 外部出力部, 71 ゲームソフトウェア実行部, 72 出力制御部, 101A メタデータ解析部, 201A メタデータ生成部, 201B ゲームソフトウェア生成部

Claims (19)

  1. 第1のknee pointを表す情報と前記第1のknee pointより低輝度側の第2のknee pointを表す情報を含む、それぞれのピクチャの輝度の特徴を表すメタデータを生成するメタデータ生成部と、
    前記ピクチャの輝度調整に用いられる前記メタデータを含むソフトウェアを生成するソフトウェア生成部と
    を備える情報処理装置。
  2. 前記メタデータ生成部は、前記第1のknee pointと前記第2のknee pointをそれぞれ表す2つのpoint情報を記述した前記メタデータを生成する
    請求項1に記載の情報処理装置。
  3. 前記メタデータ生成部は、前記第1のknee pointが示す輝度より高い輝度範囲における輝度の入出力特性を表す第1のアンカーポイントの情報と、前記第2のknee pointが示す輝度より低い輝度範囲における輝度の入出力特性を表す第2のアンカーポイントの情報とをさらに含む前記メタデータを生成する
    請求項1に記載の情報処理装置。
  4. 前記メタデータ生成部は、前記第1のアンカーポイントの情報としてのBezier curve anchorsと、前記第2のアンカーポイントの情報としてのBezier curve anchorsとをそれぞれ記述した前記メタデータを生成する
    請求項3に記載の情報処理装置。
  5. 前記メタデータ生成部は、前記第1のアンカーポイントと前記第2のアンカーポイントとを表す1つのBezier curve anchorsを記述した前記メタデータを生成する
    請求項3に記載の情報処理装置。
  6. 前記第1のknee pointと前記第2のknee pointのうちの一方のknee pointは、SMPTE2094-40により規定されるDynamic metadataのKnee pointにより表され、他方のknee pointは、前記Dynamic metadataのDistribution max rgb percentagesとDistribution max rgb percentilesとを用いて表される
    請求項1に記載の情報処理装置。
  7. 情報処理装置が、
    第1のknee pointを表す情報と前記第1のknee pointより低輝度側の第2のknee pointを表す情報を含む、それぞれのピクチャの輝度の特徴を表すメタデータを生成し、
    前記ピクチャの輝度調整に用いられる前記メタデータを含むソフトウェアを生成する
    情報処理方法。
  8. コンピュータに、
    第1のknee pointを表す情報と前記第1のknee pointより低輝度側の第2のknee pointを表す情報を含む、それぞれのピクチャの輝度の特徴を表すメタデータを生成し、
    前記ピクチャの輝度調整に用いられる前記メタデータを含むソフトウェアを生成する
    処理を実行させるためのプログラム。
  9. 情報処理装置から出力されたピクチャと、それぞれの前記ピクチャに付加された、第1のknee pointを表す情報と前記第1のknee pointより低輝度側の第2のknee pointを表す情報を含む、輝度の特徴を表すメタデータとを受信する通信部と、
    前記メタデータに基づいて前記ピクチャの輝度を調整する信号処理部と
    を備える画像処理装置。
  10. 前記第1のknee pointと前記第2のknee pointは、前記メタデータに記述された2つのpoint情報によりそれぞれ表される
    請求項9に記載の画像処理装置。
  11. 前記メタデータには、前記第1のknee pointが示す輝度より高い輝度範囲における輝度の入出力特性を表す第1のアンカーポイントの情報と、前記第2のknee pointが示す輝度より低い輝度範囲における輝度の入出力特性を表す第2のアンカーポイントの情報とがさらに含まれる
    請求項9に記載の画像処理装置。
  12. 前記メタデータには、前記第1のアンカーポイントの情報としてのBezier curve anchorsと、前記第2のアンカーポイントの情報としてのBezier curve anchorsとがそれぞれ記述される
    請求項11に記載の画像処理装置。
  13. 前記メタデータには、前記第1のアンカーポイントと前記第2のアンカーポイントとを表す1つのBezier curve anchorsが記述される
    請求項11に記載の画像処理装置。
  14. 前記第1のknee pointと前記第2のknee pointのうちの一方のknee pointは、SMPTE2094-40により規定されるDynamic metadataのKnee pointにより表され、他方のknee pointは、Dynamic metadataのDistribution max rgb percentagesとDistribution max rgb percentilesとを用いて表される
    請求項9に記載の画像処理装置。
  15. 画像処理装置が、
    情報処理装置から出力されたピクチャと、それぞれの前記ピクチャに付加された、第1のknee pointを表す情報と前記第1のknee pointより低輝度側の第2のknee pointを表す情報を含む、輝度の特徴を表すメタデータとを受信し、
    前記メタデータに基づいて前記ピクチャの輝度を調整する
    画像処理方法。
  16. コンピュータに、
    情報処理装置から出力されたピクチャと、それぞれの前記ピクチャに付加された、第1のknee pointを表す情報と前記第1のknee pointより低輝度側の第2のknee pointを表す情報を含む、輝度の特徴を表すメタデータとを受信し、
    前記メタデータに基づいて前記ピクチャの輝度を調整する
    処理を実行させるためのプログラム。
  17. 表示装置において輝度調整が行われるそれぞれのピクチャに対して、第1のknee pointを表す情報と前記第1のknee pointより低輝度側の第2のknee pointを表す情報を含む、輝度の特徴を表すメタデータを付加し、前記メタデータを付加したそれぞれの前記ピクチャを前記表示装置に出力する出力制御部を備える
    情報処理装置。
  18. 情報処理装置が、
    表示装置において輝度調整が行われるそれぞれのピクチャに対して、第1のknee pointを表す情報と前記第1のknee pointより低輝度側の第2のknee pointを表す情報を含む、輝度の特徴を表すメタデータを付加し、
    前記メタデータを付加したそれぞれの前記ピクチャを前記表示装置に出力する
    情報処理方法。
  19. コンピュータに、
    表示装置において輝度調整が行われるそれぞれのピクチャに対して、第1のknee pointを表す情報と前記第1のknee pointより低輝度側の第2のknee pointを表す情報を含む、輝度の特徴を表すメタデータを付加し、
    前記メタデータを付加したそれぞれの前記ピクチャを前記表示装置に出力する
    処理を実行させるためのプログラム。
JP2020516226A 2018-04-27 2019-04-12 情報処理装置、情報処理方法、画像処理装置、画像処理方法、およびプログラム Active JP7363772B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018087390 2018-04-27
JP2018087390 2018-04-27
PCT/JP2019/015902 WO2019208256A1 (ja) 2018-04-27 2019-04-12 情報処理装置、情報処理方法、画像処理装置、画像処理方法、およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2019208256A1 true JPWO2019208256A1 (ja) 2021-04-30
JP7363772B2 JP7363772B2 (ja) 2023-10-18

Family

ID=68295410

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020516226A Active JP7363772B2 (ja) 2018-04-27 2019-04-12 情報処理装置、情報処理方法、画像処理装置、画像処理方法、およびプログラム

Country Status (3)

Country Link
US (1) US20210224963A1 (ja)
JP (1) JP7363772B2 (ja)
WO (1) WO2019208256A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3853810B1 (en) * 2018-09-19 2023-10-25 Dolby Laboratories Licensing Corporation Automatic display management metadata generation for gaming and/or sdr+ contents

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015174108A1 (ja) * 2014-05-15 2015-11-19 ソニー株式会社 通信装置及び通信方法、並びにコンピューター・プログラム
JP2017163536A (ja) * 2016-03-02 2017-09-14 シャープ株式会社 受信装置および放送システム
JP2017169075A (ja) * 2016-03-17 2017-09-21 ソニー株式会社 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015174108A1 (ja) * 2014-05-15 2015-11-19 ソニー株式会社 通信装置及び通信方法、並びにコンピューター・プログラム
JP2017163536A (ja) * 2016-03-02 2017-09-14 シャープ株式会社 受信装置および放送システム
JP2017169075A (ja) * 2016-03-17 2017-09-21 ソニー株式会社 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"ATSC Candidate Standard: A/341 Amendment - 2094-40", DOC. S34-301R2, [ONLINE], JPN6019019600, 20 February 2018 (2018-02-20), ISSN: 0005044857 *

Also Published As

Publication number Publication date
JP7363772B2 (ja) 2023-10-18
US20210224963A1 (en) 2021-07-22
WO2019208256A1 (ja) 2019-10-31

Similar Documents

Publication Publication Date Title
US9672603B2 (en) Image processing apparatus, image processing method, display apparatus, and control method for display apparatus for generating and displaying a combined image of a high-dynamic-range image and a low-dynamic-range image
JP7331047B2 (ja) 情報処理装置および情報処理方法
EP2518719A2 (en) Image range expansion control methods and apparatus
US11122245B2 (en) Display apparatus, method for controlling the same and image providing apparatus
KR102666909B1 (ko) 디스플레이장치 및 그 제어방법
CN108141576B (zh) 显示装置及其控制方法
US9503609B2 (en) Data-generating device, data-generating method, data-generating program and recording medium
JPWO2018047557A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
CN107533832B (zh) 图像处理装置、图像处理方法与程序
EP3496087A1 (en) Information processing device, information processing method, and program
US9672650B2 (en) Image processing apparatus, image processing method, and storage medium
KR101912969B1 (ko) 화상 출력 장치, 화상 출력 방법 및 프로그램
CN111416966A (zh) 信息处理设备、信息处理方法和计算机可读介质
JP7363772B2 (ja) 情報処理装置、情報処理方法、画像処理装置、画像処理方法、およびプログラム
WO2021079770A1 (ja) 情報処理システム、情報処理方法、およびプログラム
CN114567813A (zh) 画质提升方法、装置、播放设备及计算机可读存储介质
CN109788340B (zh) 内容提供设备、内容提供设备的控制方法及其记录介质
JP2021057060A (ja) 情報処理装置および情報処理方法
KR20030076897A (ko) 디스플레이장치에서 하이라이팅 영역을 하이라이팅시킬 수있는 방법 및 장치
WO2019044171A1 (ja) 映像処理装置、表示装置、映像処理方法、制御プログラム、および記録媒体
JP4606802B2 (ja) テロップ文字画像処理方法、装置及びプログラム並びに該プログラムを記録した記録媒体
US11354790B2 (en) Image processing apparatus, image processing method, and recording medium
US20200351453A1 (en) Video control apparatus and video control method
TWI585742B (zh) An image output device, an image output method, and a program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230425

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230518

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230905

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230918

R151 Written notification of patent or utility model registration

Ref document number: 7363772

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151