WO2019208256A1 - 情報処理装置、情報処理方法、画像処理装置、画像処理方法、およびプログラム - Google Patents
情報処理装置、情報処理方法、画像処理装置、画像処理方法、およびプログラム Download PDFInfo
- Publication number
- WO2019208256A1 WO2019208256A1 PCT/JP2019/015902 JP2019015902W WO2019208256A1 WO 2019208256 A1 WO2019208256 A1 WO 2019208256A1 JP 2019015902 W JP2019015902 W JP 2019015902W WO 2019208256 A1 WO2019208256 A1 WO 2019208256A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- metadata
- point
- luminance
- knee point
- information
- Prior art date
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 48
- 238000003672 processing method Methods 0.000 title claims abstract description 15
- 210000003127 knee Anatomy 0.000 claims abstract description 149
- 238000000034 method Methods 0.000 claims description 15
- 238000004891 communication Methods 0.000 claims description 13
- 238000005516 engineering process Methods 0.000 abstract description 18
- 238000010586 diagram Methods 0.000 description 24
- 238000004458 analytical method Methods 0.000 description 13
- 230000005540 biological transmission Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- OHVLMTFVQDZYHP-UHFFFAOYSA-N 1-(2,4,6,7-tetrahydrotriazolo[4,5-c]pyridin-5-yl)-2-[4-[2-[[3-(trifluoromethoxy)phenyl]methylamino]pyrimidin-5-yl]piperazin-1-yl]ethanone Chemical compound N1N=NC=2CN(CCC=21)C(CN1CCN(CC1)C=1C=NC(=NC=1)NCC1=CC(=CC=C1)OC(F)(F)F)=O OHVLMTFVQDZYHP-UHFFFAOYSA-N 0.000 description 1
- WZFUQSJFWNHZHM-UHFFFAOYSA-N 2-[4-[2-(2,3-dihydro-1H-inden-2-ylamino)pyrimidin-5-yl]piperazin-1-yl]-1-(2,4,6,7-tetrahydrotriazolo[4,5-c]pyridin-5-yl)ethanone Chemical compound C1C(CC2=CC=CC=C12)NC1=NC=C(C=N1)N1CCN(CC1)CC(=O)N1CC2=C(CC1)NN=N2 WZFUQSJFWNHZHM-UHFFFAOYSA-N 0.000 description 1
- IHCCLXNEEPMSIO-UHFFFAOYSA-N 2-[4-[2-(2,3-dihydro-1H-inden-2-ylamino)pyrimidin-5-yl]piperidin-1-yl]-1-(2,4,6,7-tetrahydrotriazolo[4,5-c]pyridin-5-yl)ethanone Chemical compound C1C(CC2=CC=CC=C12)NC1=NC=C(C=N1)C1CCN(CC1)CC(=O)N1CC2=C(CC1)NN=N2 IHCCLXNEEPMSIO-UHFFFAOYSA-N 0.000 description 1
- NEAPKZHDYMQZCB-UHFFFAOYSA-N N-[2-[4-[2-(2,3-dihydro-1H-inden-2-ylamino)pyrimidin-5-yl]piperazin-1-yl]ethyl]-2-oxo-3H-1,3-benzoxazole-6-carboxamide Chemical compound C1CN(CCN1CCNC(=O)C2=CC3=C(C=C2)NC(=O)O3)C4=CN=C(N=C4)NC5CC6=CC=CC=C6C5 NEAPKZHDYMQZCB-UHFFFAOYSA-N 0.000 description 1
- NIPNSKYNPDTRPC-UHFFFAOYSA-N N-[2-oxo-2-(2,4,6,7-tetrahydrotriazolo[4,5-c]pyridin-5-yl)ethyl]-2-[[3-(trifluoromethoxy)phenyl]methylamino]pyrimidine-5-carboxamide Chemical compound O=C(CNC(=O)C=1C=NC(=NC=1)NCC1=CC(=CC=C1)OC(F)(F)F)N1CC2=C(CC1)NN=N2 NIPNSKYNPDTRPC-UHFFFAOYSA-N 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/50—Controlling the output signals based on the game progress
- A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
- H04N5/57—Control of contrast or brightness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
Definitions
- the present technology relates to an information processing device, an information processing method, an image processing device, an image processing method, and a program, and in particular, an information processing device capable of appropriately performing luminance adjustment on a high luminance side and a low luminance side
- the present invention relates to an information processing method, an image processing apparatus, an image processing method, and a program.
- HDR High Dynamic Range
- SDR Standard Dynamic Range
- HDR High Dynamic Range
- the user can enjoy a game using video with a wide dynamic range of brightness by connecting a TV that supports HDR video display to a game machine.
- the present technology has been made in view of such a situation, and makes it possible to appropriately perform luminance adjustment on the high luminance side and the low luminance side.
- the information processing apparatus includes information on the luminance of each picture including information representing the first knee point and information representing the second knee point on the lower luminance side than the first knee point.
- a metadata generation unit that generates metadata representing features
- a software generation unit that generates software including the metadata used for luminance adjustment of the picture.
- the image processing device includes a picture output from the information processing device, information representing the first knee point added to each of the pictures, and lower luminance than the first knee point
- a communication unit that receives metadata representing luminance characteristics, including information representing the second knee-point on the side, and a signal processing unit that adjusts the luminance of the picture based on the metadata.
- the information processing device provides information indicating the first knee point and a second lower luminance side than the first knee point for each picture whose luminance is adjusted in the display device.
- An output control unit for adding metadata representing luminance characteristics, including information representing knee points, and outputting the respective pictures to which the metadata has been added to the display device.
- luminance characteristics of each picture including information representing the first knee ⁇ point and information representing the second knee point on the lower luminance side than the first knee point are represented. Metadata is generated, and software including the metadata used for brightness adjustment of the picture is generated.
- the picture output from the information processing apparatus the information representing the first knee point added to each of the pictures, and the first luminance on the lower luminance side than the first knee point
- metadata representing luminance characteristics including information representing two knee points
- the display device for each picture whose luminance is adjusted in the display device, information indicating the first knee point and a second knee point on the lower luminance side than the first knee point.
- the metadata indicating the characteristic of the luminance including the information indicating is added, and each picture to which the metadata is added is output to the display device.
- the present technology it is possible to appropriately adjust the luminance on the high luminance side and the low luminance side.
- FIG. 1 It is a figure showing an example of composition of an information processing system concerning one embodiment of this art. It is a figure which shows the example of brightness
- FIG 14 is a diagram illustrating a fourth example of syntax of game metadata. It is a figure which shows the specific example of Distribution
- FIG. 1 is a diagram illustrating a configuration example of an information processing system according to an embodiment of the present technology.
- a game machine 1 and a TV (television receiver) 2 are connected with a cable of a predetermined standard such as HDMI (High-Definition Multimedia Interface) 2.0a, HDMI 2.1. Consists of.
- the game machine 1 and the TV 2 may be connected via a wireless interface.
- the game machine 1 is an information processing apparatus that executes game software recorded on the optical disc 11 or game software provided from a predetermined server via the Internet 12.
- the game software executed by the game machine 1 is a game program using HDR video.
- the game machine 1 outputs the HDR video data obtained by executing the game software to the TV 2 and displays the video of the game.
- the data output from the game machine 1 includes audio data in addition to HDR video data.
- the TV 2 is an image processing device having a function of displaying an externally input video in addition to a function of receiving and displaying a program transmitted through a broadcast wave or a network as a transmission path.
- the display that TV2 has is a display that supports HDR video display with a luminance exceeding 100 nits.
- the maximum brightness of the display of the TV 2 is 500 nits.
- the TV 2 receives each picture of the HDR video transmitted from the game machine 1 and displays the video of the game.
- the luminance adjustment includes luminance compression and expansion.
- a game machine and a TV have tone curve information indicating luminance input / output characteristics. The brightness adjustment is performed using such a tone curve.
- FIG. 3 is a diagram showing an example of a tone curve used for adjusting the brightness of HDR video.
- the horizontal axis represents the luminance of the input signal
- the vertical axis represents the luminance of the output (display).
- Luminance adjustment is performed using a tone curve representing such luminance input / output characteristics, and the HDR video is compressed so that the luminance of the HDR video falls within the range of 500 nit which is the maximum luminance of the display.
- knee point the point indicated by the tip of the arrow in FIG. 3 where the expression of light and darkness is not linear (the point where the input luminance and the output luminance are not linear) is called knee point.
- An input signal with a luminance higher than knee point is output with a luminance lower than that luminance.
- a means for transmitting information representing the characteristics of the brightness as metadata to each picture can be considered.
- dynamic metadata including information indicating luminance characteristics in units of pictures (frames) is defined as HDR video metadata.
- Dynamic metadata is adopted for the HDR video constituting the video of the game
- the HDR video is output, as shown in FIG. 4, the dynamic metadata is transmitted together with the data of each picture from the game machine to the TV.
- the brightness adjustment of the HDR video is performed based on the dynamic metadata transmitted from the game machine.
- FIG. 5 is a diagram illustrating the syntax of Dynamic metadata defined by SMPTE 2094-40. Note that the meaning of each field shown in FIG. 5 is defined in CTA861-G.
- Window is a rectangular area set in the picture. It is possible to set a maximum of three windows in one picture.
- Window size and Window location on the second line indicate the size and position of the window, respectively.
- InInternal Eclipse size and Internal Eclipse location on the third line indicate the size and position of the inner ellipse of the two ellipses set in the window.
- An ellipse is set in the window, and the luminance within the ellipse can be specified.
- External Eclipse size and External Eclipse location on the 4th line indicate the size and position of the outer ellipse of the two ellipses set in the window.
- Rotation angle on the 5th line indicates the inclination of two ellipses set in the window.
- the Overlap process option on the 6th line indicates the pixel processing method when the windows overlap.
- the maxscl on the 7th line indicates the RGB value of the brightest pixel in the window.
- the average max rgb on the 8th line indicates the average of the largest values among R, G, and B of each pixel in the window.
- the Distribution max rgb percentiles on the 10th line shows the ranking of bright brightness in the window by rank (percentile). It is possible to describe a maximum of 15 DistributionDismax rgb percentiles values.
- the knee point on the 12th line indicates the luminance value of the knee point described above.
- the 13th line Bezier curve anchors indicates the coordinates x and y of the sample (anchor point) on the tone curve with brightness exceeding knee point. Up to 15 anchor points can be specified by Bezier curve anchors.
- the Color ⁇ saturation weight on the 14th line indicates a value used for correcting the RGB value that has changed when the luminance compression is performed on the assumed display (Target display).
- Target System display max luminance indicates the assumed brightness of the display.
- Target System display max luminance specifies that the content was created on the assumption that it would be displayed on such a display.
- the 17th line Local display luminance indicates the maximum luminance value of each area when the display is divided into 2 ⁇ 2 to 25 ⁇ 25 areas.
- Local mastering display luminance on the 18th line indicates the maximum luminance value of each area when mastering display is divided into vertical and horizontal 2 ⁇ 2 to 25 ⁇ 25 areas.
- the attributes of the picture are indicated by the parameters in the 1st to 15th lines. Further, the assumed display attributes are indicated by the parameters on the 16th and 17th lines, and the display attributes used for creating the video of the game are indicated by the parameters on the 18th line.
- the game machine when controlling the brightness adjustment on the TV side using such Dynamic metadata, for example, can only specify the knee point on the high luminance side, and specify the knee point on the low luminance side I can't. If you specify the knee ⁇ point on the high luminance side, the game console can specify the luminance on the high luminance side that it wants to express the luminance of the input signal as it is, but about the luminance on the low luminance side Cannot be specified.
- the low-brightness side will be overcompressed, and it will not be possible to express the image of the dark scene.
- the brightness adjustment control performed on the TV 2 is performed using game metadata, which is metadata including a description similar to Dynamic metadata.
- the game metadata is added to each picture of the HDR video constituting the video of the game by the game machine 1 and transmitted to the TV 2.
- FIG. 6 is a diagram showing an example of knee points represented by game metadata.
- the game metadata output from the game machine 1 includes information indicating a high brightness side knee ⁇ point indicated as a point P1 and information indicating a low brightness side knee point indicated as a point P2.
- a section between points P2-P1 indicated by a bold line is a section (linear section) where the luminance of the input signal is displayed as it is.
- the input signal with higher luminance than the point P1 is displayed with the luminance compressed within the range up to the maximum luminance indicated by the point P11 according to the tone curve on the right side of the point P1.
- an input signal having a luminance lower than that of the point P2 is displayed with its luminance expanded within a range up to the lowest luminance indicated by the point P12 according to the tone curve on the left side of the point P2.
- the high brightness side knee point corresponding to the point P1 is referred to as shoulder point
- the low brightness side knee point corresponding to the point P2 is referred to as toe point.
- descriptions in game metadata are expressed in a form including uppercase alphabets such as Knee point, and points on the tone curve are expressed in a form including lowercase alphabets such as knee point.
- uppercase alphabets such as Knee point
- points on the tone curve are expressed in a form including lowercase alphabets such as knee point.
- Shoulder point represents a description in the game metadata
- shoulder point represents a point on the tone curve.
- the game machine 1 can cause the TV 2 to appropriately adjust the brightness of the HDR video constituting the video of the game.
- FIG. 8 is a diagram illustrating a first example of syntax of game metadata.
- the Shoulder point on the 12th line represents the shoulder point that is the knee point on the high luminance side, as indicated by arrow # 1.
- the Toe point in the 13th line represents a toe point that is a knee point on the low luminance side, as indicated by arrow # 2.
- the description in FIG. 8 is a description in the case where Dynamic metadata in which a new field is newly defined is used as game metadata.
- the game machine 1 generates game metadata including the description of FIG. 8 by executing game software, and adds the generated game metadata to each picture for transmission.
- the game machine 1 makes it possible for the game machine 1 to specify a shoulder point and a toe point.
- the luminance is adjusted based on the game metadata, and the luminance input signal between the shoulder point and the toe point is output as it is.
- Bezier curve anchors on the 14th line indicate, for example, anchor points on the higher luminance side than shoulder points.
- the anchor point on the lower luminance side than toe point may be indicated by Bezier curve anchors.
- FIG. 9 is a diagram illustrating a second example of the syntax of game metadata.
- the Shoulder point on the 12th line represents the shoulder point that is the knee point on the high luminance side, as indicated by arrow # 11.
- the Toe point on the 13th line represents a toe point that is a knee point on the low luminance side, as indicated by arrow # 12.
- the 14th line Bezier curve anchors indicates the coordinates x and y of the anchor point on the higher brightness side than the shoulder point as indicated by arrow # 13.
- the 14th line Bezier ⁇ ⁇ curve anchors specifies up to 15 anchor points on the higher brightness side than shoulder point.
- the Bezier curve curve anchor on the 15th line indicates the coordinates x and y of the anchor point on the lower luminance side than the toe mark point, as indicated by arrow # 14.
- the 15th line of Bezier curve anchors specifies up to 15 anchor points on the lower luminance side than toe point.
- the description in FIG. 9 is also a description when Dynamic metadata in which a new field is newly defined is used as game metadata.
- the game machine 1 generates game metadata including the description of FIG. 9 by executing game software, and adds the generated game metadata to each picture for transmission.
- the game machine 1 can designate input / output characteristics on the higher luminance side than shouldershpoint and input / output characteristics on the lower luminance side than toe point.
- FIG. 10 is a diagram illustrating a third example of syntax of game metadata.
- the Shoulder point on the 12th line represents the shoulder point that is the knee point on the high luminance side, as indicated by arrow # 21.
- the Toe point in the 13th line represents a toe point that is a knee point on the low luminance side, as indicated by an arrow # 22.
- the 14th line Bezier® curve anchors specifies, for example, 15 anchor points.
- the first eight anchor points indicate the coordinates x and y of the anchor point on the higher luminance side than the shoulder point, as indicated by arrow # 23. Further, the latter seven anchor points out of the 15 anchor points indicate the coordinates x and y of the anchor point on the lower luminance side than toe point, as indicated by arrow # 24.
- more Bezier curve anchor information is assigned to the anchor point on the high luminance side than the anchor point on the low luminance side.
- the ratio of Bezier curve anchors information assigned to anchor points on the high luminance side and anchor points on the low luminance side can be arbitrarily changed. For example, more Bezier curve anchors information may be assigned to the anchor point on the low luminance side than the anchor point on the high luminance side.
- a predetermined number of anchor points less than 15 may be specified by Bezier curve anchors.
- the description in FIG. 10 is also a description when Dynamic metadata in which a new field is newly defined is used as game metadata.
- the game machine 1 generates game metadata including the description of FIG. 10 by executing game software, and adds the generated game metadata to each picture for transmission.
- the game machine 1 can designate input / output characteristics on the higher luminance side than shouldershpoint and input / output characteristics on the lower luminance side than toe point.
- Example 4 of Game Metadata Description >> The syntax shown in FIG. 11 and the syntax shown in FIG. 14 to be described later are syntaxes that indicate a shoulder point, a toe point, and the like by using an existing description without including a new field.
- the descriptions in FIGS. 11 and 14 are descriptions when the existing description of Dynamic metadata is used as it is as the metadata for the game.
- FIG. 11 is a diagram illustrating a 4-1 example of syntax of game metadata.
- the knee point on the 12th line represents the shoulder point that is the knee point on the high luminance side, as indicated by arrow # 31.
- toe ⁇ ⁇ point which is the knee point on the low luminance side is represented by using Distribution max rgb percentages on the 9th line and Distribution max rgb percentiles on the 10th line.
- FIG. 12 is a diagram showing specific examples of DistributionDismax rgb percentages and Distribution max rgb percentiles.
- the leftmost column represents the variable i.
- the variable i takes an integer from 0 to 14.
- Distribution max rgb percentages and Distribution max rgb percentiles are set as many as the number of variables i.
- the middle column represents Distribution max rgb percentages, and the leftmost column represents Distribution max rgb percentiles.
- FIG. 13 is a diagram showing an example of how to obtain toe points.
- the horizontal axis of FIG. 13 represents the luminance of the input signal.
- the value of x being 1.0 represents 10000 nit which is the maximum luminance value of PQ (Perceptual Quantization).
- the vertical axis in FIG. 13 represents the display brightness on the display.
- a value of y of 1.0 represents 400 nit, which is the maximum luminance of the display.
- the maximum luminance of the display is represented by Target
- the knee point is 12-bit information.
- the values of the x coordinate and the y coordinate of the point P31 are converted to the nearest values in multiples of 1/4095 as represented by the following expressions (2) and (3).
- Distribution11max rgb percentages and Distribution max rgb percentiles corresponding to a predetermined variable i set in advance are used as information specifying the toe point.
- Totoe point may be specified by Knee point, and shoulder point may be specified using Distribution max rgb percentages and Distribution max rgb percentiles.
- the game machine 1 generates game metadata including the description of FIG. 11 by executing the game software, and transmits the generated game metadata to each picture.
- the game metadata is analyzed, the shoulder point is specified based on the description of the knee point, and the toe point is specified based on the description of the distribution maximum, rgb percentages, and distribution, max, rgb, percentiles.
- brightness adjustment is performed using the specified shoulder point and toe point.
- the luminance of the input signal is output as it is. Therefore, the brightness is adjusted.
- the game machine 1 can specify the shoulder point and the toe point using the existing description.
- FIG. 14 is a diagram illustrating a fourth example of syntax of game metadata.
- both shoulder points and toe points are expressed using Distribution max rgb percentages and Distribution max rgb percentiles.
- FIG. 15 is a diagram showing specific examples of DistributionDismax rgb percentages and Distribution max rgb percentiles.
- 15 is a range in which the luminance adjustment is performed so that the luminance of the input signal is output as it is.
- Distribution max rgb percentages and Distribution max rgb percentiles corresponding to a predetermined variable i set in advance are used as information specifying the toe point. Also, DistributionDismax rgb percentages and Distribution max rgb percentiles corresponding to another preset variable i are used as information for specifying shoulder point.
- variable i corresponding to Distribution max rgb percentages and Distribution max rgb percentiles used to represent shoulder point and toe point is arbitrary.
- the game machine 1 generates game metadata including the description of FIG. 14 by executing the game software, and transmits the generated game metadata to each picture.
- the game metadata is analyzed, and the shoulder point and toe point are specified based on the description of Distribution max rgb percentages and Distribution max rgb percentiles.
- brightness adjustment is performed using the specified shoulder point and toe point.
- the luminance adjustment is performed so that the luminance of the input signal is output as it is for the pixels in the range of 25% or more and 90% or less when counted from the lower luminance. Become.
- the game machine 1 can specify the shoulder point and the toe point using the existing description.
- FIG. 16 is a diagram illustrating specific examples of Distribution max rgb percentages and Distribution max rgb percentiles.
- Distribution “max” rgb “percentages” and Distribution “max” rgb “percentiles” indicating the range of the luminance to be output with the luminance of the input signal as it is described in the game metadata.
- Distribution16max rgb percentages and Distribution max rgb percentiles corresponding to the smallest variable i are used as information specifying the toe point. Also, DistributionDismax rgb percentages and Distribution max rgb percentiles corresponding to the largest variable i are used as information for specifying shoulder point.
- FIG. 17 is a diagram illustrating a fifth example of syntax of game metadata.
- the knee point on the 12th line represents a shoulder point that is a knee point on the high luminance side, as indicated by an arrow # 51.
- the toe point that is the knee point on the low luminance side is represented by using Distribution 9 max 3 rgb percentages on the 9th line and Distribution 3 max 10 rgb percentiles on the 10th line.
- Distribution 9 max 3 rgb percentages and Distribution max rgb percentiles is the same as the representation described with reference to FIGS.
- the Bezier curve curve anchor on the 13th line indicates the coordinates x and y of the anchor point on the higher brightness side than the shoulder point as indicated by arrow # 53.
- the 14th line Bezier curve anchors indicates the coordinates x and y of the anchor point on the lower luminance side than the toe point, as indicated by arrow # 54.
- the description in FIG. 17 represents a shoulder point and a toe point using an existing description, and is a description when Dynamic metadata including Bezier curve anchors is used as game metadata.
- the toe point may be represented by a Knee point
- the shoulder point may be represented by using Distribution max rgb cent percentages and Distribution max rgb cent percentiles.
- FIG. 18 is a diagram illustrating a sixth example of syntax of game metadata.
- Bezier curvechanchors shown in FIG. 18 indicates anchor points on the higher luminance side than shouldershpoint and indicates anchor points on the lower luminance side than toetopoint.
- the knee point on the 12th line represents a shoulder point that is a knee point on the high luminance side, as indicated by an arrow # 61.
- the toe point which is the knee point on the low luminance side, is represented by using Distribution max rgb percentages on the ninth line and Distribution max rgb percentiles on the tenth line.
- the eight anchor points in the first half indicate the coordinates x and y of the anchor point on the higher luminance side than the shoulder point, as indicated by arrow # 63. Show. Also, the latter seven anchor points of the 15 anchor points indicate the coordinates x and y of the anchor point on the lower luminance side than toe point, as indicated by arrow # 64.
- the game machine 1 can designate the shoulder point and the toe point, respectively.
- the TV 2 can adjust the brightness of the picture of the HDR video in an appropriate form according to the method designated by the game machine 1, that is, the method designated by the game software creator.
- FIG. 19 is a block diagram illustrating a configuration example of the game machine 1.
- the game machine 1 includes a controller 51, a disk drive 52, a memory 53, a local storage 54, a communication unit 55, a decryption processing unit 56, an operation input unit 57, and an external output unit 58.
- the controller 51 includes a CPU (Central Processing Unit), ROM (Read Only Memory), RAM (Random Access Memory), and the like.
- the controller 51 executes a predetermined program and controls the overall operation of the game machine 1.
- the disk drive 52 reads the data recorded on the optical disk 11 and outputs it to the controller 51, the memory 53, or the decryption processing unit 56.
- the disc drive 52 outputs the game software read from the optical disc 11 to the controller 51 and outputs the AV stream to the decoding processing unit 56.
- the memory 53 stores data necessary for the controller 51 to execute various processes, such as a program executed by the controller 51.
- the local storage 54 is configured by a recording medium such as an HDD (Hard Disk Drive) or an SSD (Solid State Drive).
- the local storage 54 stores game software downloaded from the server.
- the communication unit 55 is an interface such as a wireless LAN or a wired LAN.
- the communication unit 55 communicates with a server via a network such as the Internet, and supplies data downloaded from the server to the local storage 54.
- the decoding processing unit 56 decodes the video stream multiplexed into the AV stream supplied from the disk drive 52, and outputs the video data obtained by decoding to the external output unit 58.
- the HDR video constituting the video of the game may be generated by decoding the video stream.
- the decoding processing unit 56 decodes the audio stream multiplexed in the AV stream, and outputs the audio data obtained by decoding to the external output unit 58.
- the operation input unit 57 includes a receiving unit that receives a signal transmitted from the remote controller through wireless communication.
- the operation input unit 57 detects a user operation and supplies a signal representing the content of the detected operation to the controller 51.
- the external output unit 58 is an interface for external output such as HDMI.
- the external output unit 58 communicates with the TV 2 via the HDMI cable, and outputs the HDR video data supplied from the controller 51 or the HDR video data supplied from the decoding processing unit 56 to the TV 2.
- FIG. 20 is a block diagram illustrating a functional configuration example of the controller 51.
- a game software execution unit 71 and an output control unit 72 are realized. At least a part of the functional units illustrated in FIG. 20 is realized by a predetermined program being executed by the CPU of the controller 51.
- the game software execution unit 71 executes game software read from the optical disc 11 or game software recorded in the local storage 54.
- the game software execution unit 71 executes the game software to generate each picture of the HDR video constituting the video of the game and game metadata.
- the game software execution unit 71 outputs each picture of the generated HDR video and game metadata to the output control unit 72.
- the output control unit 72 controls the output of the HDR video generated by the game software execution unit 71 by controlling the external output unit 58. For example, the output control unit 72 adds game metadata to each picture of the HDR video constituting the video of the game, and causes the external output unit 58 to output each picture to which the game metadata is added.
- FIG. 21 is a block diagram illustrating a configuration example of the TV 2.
- the TV 2 includes a controller 101, an external input unit 102, a signal processing unit 103, a display 104, a broadcast receiving unit 105, a decoding processing unit 106, and a communication unit 107.
- the controller 101 includes a CPU, a ROM, a RAM, and the like.
- the controller 101 executes a predetermined program and controls the overall operation of the TV 2.
- a metadata analysis unit 101A is realized by executing a predetermined program.
- the metadata analysis unit 101A analyzes the game metadata transmitted from the game machine 1 and identifies shoulder points and toe points. In addition, the metadata analysis unit 101A analyzes the game metadata and specifies an anchor point on the higher luminance side than the shoulder point and an anchor point on the lower luminance side than the toe point.
- the metadata analysis unit 101A outputs information representing the analysis result of the game metadata to the signal processing unit 103.
- the luminance adjustment by the signal processing unit 103 is performed based on the analysis result of the game metadata by the metadata analysis unit 101A.
- the external input unit 102 is an external input interface such as HDMI.
- the external input unit 102 communicates with the game machine 1 via the HDMI cable, receives data of each picture of the HDR video transmitted from the game machine 1, and outputs it to the signal processing unit 103. Further, the external input unit 102 receives game metadata transmitted by being added to each picture of the HDR video, and outputs it to the controller 101.
- the signal processing unit 103 performs processing of the HDR video supplied from the external input unit 102 and displays the game video on the display 104.
- the signal processing unit 103 adjusts the brightness of the HDR video according to control by the controller 101.
- the signal processing unit 103 also performs processing for displaying the video of the program on the display 104 based on the data supplied from the decoding processing unit 106.
- the display 104 is a display device such as an LCD (Liquid Crystal Display) or an organic EL (Electro Luminescence) display.
- the display 104 displays game images and program images based on the video signals supplied from the signal processing unit 103.
- the broadcast receiving unit 105 extracts a broadcast signal of a predetermined channel from the signal supplied from the antenna and outputs it to the decoding processing unit 106. Broadcast signal extraction by the broadcast receiving unit 105 is performed according to control by the controller 101.
- the decoding processing unit 106 performs processing such as decoding on the broadcast signal supplied from the broadcast receiving unit 105 and outputs video data of the program to the signal processing unit 103.
- the communication unit 107 is an interface such as a wireless LAN or a wired LAN.
- the communication unit 107 communicates with the server via the Internet.
- step S1 the game software execution unit 71 of the controller 51 executes the game software, and generates each picture of the HDR video and game metadata constituting the video of the game. By executing the game software, various game metadata as described with reference to FIG. 8 and the like are generated.
- step S2 the output control unit 72 adds the game metadata generated by the game software execution unit 71 to each picture of the HDR video constituting the video of the game, and adds each picture to which the game metadata is added. Output from the external output unit 58.
- step S21 the external input unit 102 of the TV 2 receives the data of each picture of the HDR video transmitted from the game machine 1 and the game metadata transmitted in addition thereto.
- step S22 the metadata analysis unit 101A of the controller 101 analyzes the game metadata transmitted from the game machine 1 and identifies shoulder points and toe points.
- the metadata analysis unit 101A specifies shoulder point based on the description of Shoulder point and specifies toe point based on the description of Toe point.
- Information representing the analysis result of the game metadata is supplied from the metadata analysis unit 101A to the signal processing unit 103.
- step S23 the signal processing unit 103 adjusts the brightness of the HDR video based on the analysis result of the game metadata. For example, the luminance adjustment of the HDR video is performed so that the luminance from toe point to shoulder point is output as it is.
- step S24 the signal processing unit 103 causes the display 104 to display the HDR video that has been subjected to luminance adjustment.
- the display of the HDR video constituting the video of the game is continued while the game software is executed on the game machine 1.
- the game machine 1 can perform brightness adjustment by the TV 2 in an appropriate form according to a method specified by the game software creator.
- FIG. 24 is a block diagram illustrating a configuration example of a computer used for generating the game software as described above.
- the CPU 201, the ROM 202, and the RAM 203 are connected to each other by a bus 204.
- a metadata generation unit 201A and a game software generation unit 201B are realized by executing a predetermined program.
- the metadata generation unit 201A generates the game metadata described with reference to FIG.
- the game software generation unit 201B generates game software executed by the game machine 1.
- the game software generated by the game software generation unit 201B includes a game program for progressing the game, game data used by the game program, and information used for generating video and audio of the game.
- the information used to generate the game video includes game metadata generated by the metadata generation unit 201A.
- an input / output interface 205 is connected to the bus 204.
- An input unit 206, an output unit 207, a storage unit 208, a communication unit 209, and a drive 210 are connected to the input / output interface 205.
- a removable medium 211 is attached to the drive 210.
- the input unit 206 includes a keyboard, a mouse, and the like, and is operated by a game software creator.
- the output unit 207 includes a display, a speaker, and the like.
- the display constituting the output unit 207 is used as, for example, mastering / display.
- the storage unit 208 is configured by a hard disk, a nonvolatile memory, or the like. Various data such as game software generated by the game software generation unit 201B is stored in the storage unit 208.
- the communication unit 209 includes a network interface and the like.
- the drive 210 controls reading of data recorded on the removable medium 211 made of an optical disk, a semiconductor memory, and the like, and writing of data to the removable medium 211.
- the CPU 201 loads a program stored in the storage unit 208 to the RAM 203 and executes it, thereby performing various processes such as a game software generation process.
- the computer of FIG. 24 functions as an information processing apparatus that generates game software.
- the metadata including the description described with reference to FIG. 8 and the like is assumed to be metadata for game video, but may be used for brightness adjustment of various video data such as movies and still images. .
- the game software transmitted from the server via the Internet 12 may be executed on the TV 2.
- the HDR video generated by executing the game software is displayed on the TV 2 after the brightness is adjusted based on the game metadata.
- the metadata generation unit 201A is realized in a computer that generates game software. However, the metadata generation unit 201A is realized in a computer that does not have a function of generating game software. You may do it.
- the metadata generation unit 201A that generates metadata including various descriptions as described above can be realized.
- the server metadata generation unit 201A generates metadata for content to be distributed, and distributes the generated metadata together with the content.
- the server can cause the device as the distribution destination to appropriately adjust the luminance on the high luminance side and the low luminance side of the content distributed via the Internet 12.
- Program Example The series of processes described above can be executed by hardware or can be executed by software.
- a program constituting the software is installed in a computer incorporated in dedicated hardware or a general-purpose personal computer.
- the program to be installed is provided by being recorded on a removable medium 211 shown in FIG. 24 made of an optical disk (CD-ROM (Compact Disc-Read Only Memory), DVD (Digital Versatile Disc), etc.), semiconductor memory, or the like. Further, it may be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital broadcasting.
- the program can be installed in advance in the ROM 202 or the storage unit 208.
- the program executed by the computer may be a program that is processed in time series in the order described in this specification, or may be processed in parallel or at a necessary timing such as when a call is made. It may be a program to be performed.
- the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Accordingly, a plurality of devices housed in separate housings and connected via a network and a single device housing a plurality of modules in one housing are all systems. .
- Embodiments of the present technology are not limited to the above-described embodiments, and various modifications can be made without departing from the gist of the present technology.
- the present technology can take a cloud computing configuration in which one function is shared by a plurality of devices via a network and is jointly processed.
- each step described in the above flowchart can be executed by one device or can be shared by a plurality of devices.
- the plurality of processes included in the one step can be executed by being shared by a plurality of apparatuses in addition to being executed by one apparatus.
- the present technology may have the following configurations.
- a metadata generation unit for generating metadata representing luminance characteristics of each picture, including information representing a first knee point and information representing a second knee point on a lower luminance side than the first knee point;
- An information processing apparatus comprising: a software generation unit configured to generate software including the metadata used for brightness adjustment of the picture.
- the metadata generation unit generates the metadata describing two pieces of point information each representing the first knee point and the second knee point.
- the metadata generation unit includes information on a first anchor point representing luminance input / output characteristics in a luminance range higher than the luminance indicated by the first knee point, and a luminance range lower than the luminance indicated by the second knee point.
- the information processing apparatus according to (1) or (2), wherein the metadata further includes information on a second anchor point that represents an input / output characteristic of luminance in the information.
- the metadata generation unit generates the metadata describing Bezier curve anchors as information on the first anchor point and Bezier curve anchors as information on the second anchor point, respectively (3) The information processing apparatus described in 1.
- the information processing apparatus according to (3), wherein the metadata generation unit generates the metadata describing one Bezier curve anchors representing the first anchor point and the second anchor point.
- One knee point of the first knee point and the second knee point is expressed by a dynamic metadata knee point defined by SMPTE 2094-40, and the other knee point is a distribution max of the dynamic metadata.
- the information processing apparatus according to any one of (1) to (5), expressed using rgb percentages and Distribution max rgb percentiles.
- Information processing device Generating metadata representing luminance characteristics of each picture including information representing a first knee point and information representing a second knee point on a lower luminance side than the first knee point; An information processing method for generating software including the metadata used for brightness adjustment of the picture.
- On the computer Generating metadata representing luminance characteristics of each picture including information representing a first knee point and information representing a second knee point on a lower luminance side than the first knee point; A program for executing processing for generating software including the metadata used for brightness adjustment of the picture.
- a communication unit that receives metadata representing luminance characteristics;
- An image processing apparatus comprising: a signal processing unit that adjusts luminance of the picture based on the metadata.
- the metadata includes information on a first anchor point representing luminance input / output characteristics in a luminance range higher than the luminance indicated by the first knee point, and information in a luminance range lower than the luminance indicated by the second knee point.
- the image processing apparatus according to (9) or (10), further including information on a second anchor point representing luminance input / output characteristics.
- the metadata describes the Bezier curve anchors as information of the first anchor point and the Bezier curve anchors as information of the second anchor point, respectively.
- the image processing device according to (11), .
- the image processing apparatus wherein the metadata describes one Bezier curve anchors representing the first anchor point and the second anchor point.
- One knee point of the first knee point and the second knee point is represented by a dynamic metadata knee point defined by SMPTE 2094-40, and the other knee point is a Dynamic metadata Distribution max rgb.
- the image processing apparatus according to any one of (9) to (13), which is expressed using percentages and Distribution max rgb percentiles.
- the image processing device A picture output from the information processing apparatus, information indicating a first knee point, and information indicating a second knee point on a lower luminance side than the first knee point, which is added to each of the pictures, And metadata representing luminance characteristics, An image processing method for adjusting brightness of the picture based on the metadata.
- On the computer A picture output from the information processing apparatus, information indicating a first knee point, and information indicating a second knee point on a lower luminance side than the first knee point, which is added to each of the pictures, And metadata representing luminance characteristics, A program for executing processing for adjusting brightness of the picture based on the metadata.
- Luminance features including information representing a first knee point and information representing a second knee point on a lower luminance side than the first knee point for each picture for which luminance adjustment is performed in the display device.
- An information processing apparatus comprising: an output control unit that adds metadata to express and outputs each of the pictures to which the metadata is added to the display device.
- Information processing device Luminance features including information representing a first knee point and information representing a second knee point on a lower luminance side than the first knee point for each picture for which luminance adjustment is performed in the display device. Add metadata to represent An information processing method for outputting each picture to which the metadata is added to the display device.
- Luminance features including information representing a first knee point and information representing a second knee point on a lower luminance side than the first knee point for each picture for which luminance adjustment is performed in the display device.
- 1 game machine 2 TV, 51 controller, 52 disk drive, 53 memory, 54 local storage, 55 communication unit, 56 decryption processing unit, 57 operation input unit, 58 external output unit, 71 game software execution unit, 72 output control unit , 101A metadata analysis unit, 201A metadata generation unit, 201B game software generation unit
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
本技術は、高輝度側と低輝度側の輝度調整を適切に行わせることができるようにする情報処理装置、情報処理方法、画像処理装置、画像処理方法、およびプログラムに関する。 本技術の一側面の情報処理装置は、表示装置において輝度調整が行われるそれぞれのピクチャに対して、第1のknee pointを表す情報と第1のknee pointより低輝度側の第2のknee pointを表す情報を含む、輝度の特徴を表すメタデータを付加し、メタデータを付加したそれぞれのピクチャを表示装置に出力する。本技術は、HDRビデオの出力に対応したゲーム機に適用することができる。
Description
本技術は、情報処理装置、情報処理方法、画像処理装置、画像処理方法、およびプログラムに関し、特に、高輝度側と低輝度側の輝度調整を適切に行わせることができるようにした情報処理装置、情報処理方法、画像処理装置、画像処理方法、およびプログラムに関する。
近年、ダイナミックレンジを拡張したHDR(High Dynamic Range)ビデオを用いたゲームのタイトルが増えてきている。SDR(Standard Dynamic Range)ビデオの最高輝度が100nit(100cd/m2)であるのに対し、HDRビデオの最高輝度は、それを超える例えば10000nitである。
ユーザは、HDRビデオの表示に対応したTVをゲーム機に繋げることにより、輝度のダイナミックレンジの広い映像を用いたゲームを楽しむことができる。
HDRビデオの表示に対応したTVであってもディスプレイの性能が異なる場合には、ゲーム機に繋いだTV毎に映像の見栄えが異なるものとなる。
本技術はこのような状況に鑑みてなされたものであり、高輝度側と低輝度側の輝度調整を適切に行わせることができるようにするものである。
本技術の第1の側面の情報処理装置は、第1のknee pointを表す情報と前記第1のknee pointより低輝度側の第2のknee pointを表す情報を含む、それぞれのピクチャの輝度の特徴を表すメタデータを生成するメタデータ生成部と、前記ピクチャの輝度調整に用いられる前記メタデータを含むソフトウェアを生成するソフトウェア生成部とを備える。
本技術の第2の側面の画像処理装置は、情報処理装置から出力されたピクチャと、それぞれの前記ピクチャに付加された、第1のknee pointを表す情報と前記第1のknee pointより低輝度側の第2のknee pointを表す情報を含む、輝度の特徴を表すメタデータとを受信する通信部と、前記メタデータに基づいて前記ピクチャの輝度を調整する信号処理部とを備える。
本技術の第3の側面の情報処理装置は、表示装置において輝度調整が行われるそれぞれのピクチャに対して、第1のknee pointを表す情報と前記第1のknee pointより低輝度側の第2のknee pointを表す情報を含む、輝度の特徴を表すメタデータを付加し、前記メタデータを付加したそれぞれの前記ピクチャを前記表示装置に出力する出力制御部を備える。
本技術の第1の側面においては、第1のknee pointを表す情報と前記第1のknee pointより低輝度側の第2のknee pointを表す情報を含む、それぞれのピクチャの輝度の特徴を表すメタデータが生成され、前記ピクチャの輝度調整に用いられる前記メタデータを含むソフトウェアが生成される。
本技術の第2の側面においては、情報処理装置から出力されたピクチャと、それぞれの前記ピクチャに付加された、第1のknee pointを表す情報と前記第1のknee pointより低輝度側の第2のknee pointを表す情報を含む、輝度の特徴を表すメタデータとが受信され、前記メタデータに基づいて前記ピクチャの輝度が調整される。
本技術の第3の側面においては、表示装置において輝度調整が行われるそれぞれのピクチャに対して、第1のknee pointを表す情報と前記第1のknee pointより低輝度側の第2のknee pointを表す情報を含む、輝度の特徴を表すメタデータが付加され、前記メタデータを付加したそれぞれの前記ピクチャが前記表示装置に出力される。
本技術によれば、高輝度側と低輝度側の輝度調整を適切に行わせることができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
1.HDRビデオの輝度調整
2.ゲーム用メタデータの記述例1
3.ゲーム用メタデータの記述例2
4.ゲーム用メタデータの記述例3
5.ゲーム用メタデータの記述例4
6.ゲーム用メタデータの記述例5
7.ゲーム用メタデータの記述例6
8.各装置の構成と動作
9.ゲームソフトウェアの生成側について
10.その他の例
1.HDRビデオの輝度調整
2.ゲーム用メタデータの記述例1
3.ゲーム用メタデータの記述例2
4.ゲーム用メタデータの記述例3
5.ゲーム用メタデータの記述例4
6.ゲーム用メタデータの記述例5
7.ゲーム用メタデータの記述例6
8.各装置の構成と動作
9.ゲームソフトウェアの生成側について
10.その他の例
<<HDRビデオの輝度調整>>
<情報処理システムの構成>
図1は、本技術の一実施形態に係る情報処理システムの構成例を示す図である。
<情報処理システムの構成>
図1は、本技術の一実施形態に係る情報処理システムの構成例を示す図である。
図1の情報処理システムは、ゲーム機1とTV(テレビジョン受像機)2がHDMI(登録商標)(High-Definition Multimedia Interface) 2.0a,HDMI 2.1などの所定の規格のケーブルで接続されることによって構成される。ゲーム機1とTV2が無線のインタフェースを介して接続されるようにしてもよい。
ゲーム機1は、光ディスク11に記録されたゲームソフトウェアや、所定のサーバからインターネット12を介して提供されたゲームソフトウェアを実行する情報処理装置である。ゲーム機1が実行するゲームソフトウェアは、HDRビデオを用いたゲームのプログラムである。
ゲーム機1は、ゲームソフトウェアを実行することによって得られたHDRビデオのデータをTV2に出力し、ゲームの映像を表示させる。ゲーム機1が出力するデータには、HDRビデオのデータの他に、オーディオデータも含まれる。
TV2は、放送波やネットワークを伝送路として伝送されてきた番組を受信して表示する機能の他に、外部から入力されたビデオを表示する機能を有する画像処理装置である。
TV2が有するディスプレイは、輝度が100nitを超えるHDRビデオの表示に対応したディスプレイである。図1の例においては、TV2が有するディスプレイの最高輝度は500nitとされている。TV2は、ゲーム機1から伝送されてきたHDRビデオの各ピクチャを受信し、ゲームの映像を表示させる。
<輝度調整について>
ここで、HDRビデオの一般的な輝度調整について説明する。
ここで、HDRビデオの一般的な輝度調整について説明する。
上述したように、HDRビデオの表示に対応したTVに同じHDRビデオを入力した場合でも、ディスプレイの性能が異なるときには、映像の見栄えが異なるものとなる。
この原因のひとつには、図2に示すようにゲーム機側とTV側の両方において輝度調整が行われるということがある。輝度調整(トーンマップ)には輝度の圧縮と伸張が含まれる。例えば、ゲーム機とTVは輝度の入出力特性を表すトーンカーブの情報を有している。輝度調整は、そのようなトーンカーブを用いて行われる。
図3は、HDRビデオの輝度調整に用いられるトーンカーブの例を示す図である。
図3の横軸は入力信号の輝度を表し、縦軸は出力(表示)の輝度を表す。このような輝度の入出力特性を表すトーンカーブを用いた輝度調整が行われ、HDRビデオの輝度が、ディスプレイの最高輝度である500nitの範囲に収まるように圧縮される。
なお、図3において矢印の先に示す、明暗の表現がリニアではなくなるポイント(入力輝度と出力輝度がリニアではなくなるポイント)が、knee pointと呼ばれる。knee pointより高い輝度の入力信号は、その輝度より低い輝度で出力されることになる。
図2に示すように、ゲーム機からTVに対して輝度調整後の各ピクチャのデータが出力された場合、輝度調整が既に行われていることがTV側では分からないことから、TV側においても、輝度調整が再度行われる。この場合、ゲーム機が意図した輝度調整が、TV側での輝度調整によって上書きされてしまう。
このような輝度調整の上書きを防ぐために、ゲーム機側ではHDRビデオの輝度調整を行わずに、TVにおいて行われる輝度調整を、ゲーム機がコントロールする方法が考えられる。
また、TVにおいて行われる輝度調整をゲーム機がコントロールするための手段として、輝度の特徴を表す情報を、メタデータとして各ピクチャに付加して伝送する手段が考えられる。例えば、SMPTE2094-40では、HDRビデオのメタデータとして、ピクチャ(フレーム)単位の輝度の特徴を表す情報を含むDynamic metadataが規定されている。
ゲームの映像を構成するHDRビデオにもDynamic metadataを採用するとなると、HDRビデオの出力時、図4に示すように、ゲーム機からTVには、各ピクチャのデータとともにDynamic metadataが伝送される。TVにおいては、HDRビデオの輝度調整がゲーム機から伝送されてきたDynamic metadataに基づいて行われる。
<Dynamic metadata>
図5は、SMPTE2094-40で規定されるDynamic metadataのシンタクスを示す図である。なお、図5に示す各フィールドの意味は、CTA861-Gにおいて定義される。
図5は、SMPTE2094-40で規定されるDynamic metadataのシンタクスを示す図である。なお、図5に示す各フィールドの意味は、CTA861-Gにおいて定義される。
図5の1行目に示すように、Dynamic metadataには、ピクチャに設定されたWindowの情報が記述される。Windowは、ピクチャ内に設定された矩形領域である。1ピクチャ内に最大3つのWindowを設定することが可能とされる。
2~14行目に示す各パラメータが、ピクチャに設定されたWindow毎に記述される。
2行目のWindow size,Window locationは、それぞれWindowのサイズと位置を示す。
3行目のInternal Eclipse size,Internal Eclipse locationは、それぞれ、Window内に設定された2つの楕円のうちの内側の楕円のサイズと位置を示す。Window内に楕円を設定し、楕円内の輝度を指定することができるようになされている。
4行目のExternal Eclipse size,External Eclipse locationは、それぞれ、Window内に設定された2つの楕円のうちの外側の楕円のサイズと位置を示す。
5行目のRotation angleは、Window内に設定された2つの楕円の傾きを示す。
6行目のOverlap process optionは、Windowが重なった場合の画素の処理方法を示す。
7行目のmaxsclは、Windowの中の最も明るいピクセルのRGB値を示す。
8行目のaverage max rgbは、Windowの中の各ピクセルのR,G,Bの中の最も大きい値の平均を示す。
9行目のDistribution max rgb percentagesは、Windowの中の明るい輝度のランキングをパーセンテージにより示す。最大15個のDistribution max rgb percentagesの値を記述することが可能とされる。
10行目のDistribution max rgb percentilesは、Windowの中の明るい輝度のランキングを順位(パーセンタイル)により示す。最大15個のDistribution max rgb percentilesの値を記述することが可能とされる。
11行目のFraction bright pixelsは、シーン内の最大の輝度値が出画される程度を示す。
12行目のKnee pointは、上述したknee pointの輝度値を示す。
13行目のBezier curve anchorsは、knee pointを超える明るさの、トーンカーブ上のサンプル(アンカーポイント)の座標x,yを示す。最大15個のアンカーポイントをBezier curve anchorsにより指定することが可能とされている。
14行目のColor saturation weightは、想定するディスプレイ(Target display)において輝度圧縮を行った際に変化したRGB値の補正に用いる値を示す。
16行目のTarget System display max luminanceは、想定するディスプレイの輝度を示す。Target System display max luminanceにより、こういうディスプレイで表示されることを想定してコンテンツを作ったということが指定される。
17行目のLocal display luminanceは、ディスプレイを縦横2×2から25×25までのエリアに分割した場合の、それぞれのエリアの最大の輝度値を示す。
18行目のLocal mastering display luminanceは、mastering displayを縦横2×2から25×25までのエリアに分割した場合の、それぞれのエリアの最大の輝度値を示す。
Windowの数が1である場合、1~15行目のパラメータによってピクチャの属性が示される。また、16行目と17行目のパラメータによって、想定するディスプレイの属性が示され、18行目のパラメータによって、ゲームの映像の作成に用いられたディスプレイの属性が示される。
このように、SMPTE2094-40で規定されるDynamic metadataによれば、1つのknee pointの情報しか、記述することができない。
すなわち、このようなDynamic metadataを用いてTV側での輝度調整をコントロールするとした場合、例えば高輝度側のknee pointしか、ゲーム機は指定することができず、低輝度側のknee pointを指定することができない。高輝度側のknee pointを指定するとした場合、ゲーム機は、入力信号の輝度をその輝度のまま表現したいという、高輝度側の輝度については指定することができるが、低輝度側の輝度については指定することができない。
TVが有しているトーンカーブによっては、低輝度側が圧縮されすぎてしまい、特に暗闇のシーンの映像を表現しきれなくなる。
<ゲーム用メタデータについて>
図1の情報処理システムにおいては、ゲーム機1側ではHDRビデオの輝度調整が行われず、TV2において行われる輝度調整を、ゲーム機1がコントロールすることができるようになされている。
図1の情報処理システムにおいては、ゲーム機1側ではHDRビデオの輝度調整が行われず、TV2において行われる輝度調整を、ゲーム機1がコントロールすることができるようになされている。
TV2において行われる輝度調整のコントロールは、Dynamic metadataと同様の記述を含むメタデータであるゲーム用メタデータを用いて行われる。ゲーム用メタデータは、ゲームの映像を構成するHDRビデオの各ピクチャにゲーム機1において付加され、TV2に対して伝送される。
図6は、ゲーム用メタデータにより表されるknee pointの例を示す図である。
ゲーム機1が出力するゲーム用メタデータには、点P1として示す高輝度側のknee pointを表す情報と、点P2として示す低輝度側のknee pointを表す情報とが含まれる。太線で示す点P2-P1の区間が、入力信号の輝度がその輝度のまま表示される区間(リニアの区間)となる。
点P1より高輝度の入力信号は、点P1より右側のトーンカーブに従って、点P11で示す最大輝度までの範囲で、輝度を圧縮して表示される。一方、点P2より低輝度の入力信号は、点P2より左側のトーンカーブに従って、点P12で示す最低輝度までの範囲で、輝度を伸張して表示される。
以下、適宜、図7に示すように、点P1に対応する高輝度側のknee pointをshoulder pointといい、点P2に対応する低輝度側のknee pointをtoe pointという。
また、ゲーム用メタデータ中の記述については、Knee pointといったように大文字のアルファベットを含む形で表し、トーンカーブ上の点については、knee pointといったように小文字のアルファベットを含む形で表す。例えばShoulder pointはゲーム用メタデータ中の記述を表し、shoulder pointはトーンカーブ上の点を表す。
shoulder pointとtoe pointを指定することにより、ゲーム機1は、ゲームの映像を構成するHDRビデオの輝度調整をTV2に適切に行わせることが可能となる。
<<ゲーム用メタデータの記述例1>>
図8は、ゲーム用メタデータのシンタクスの第1の例を示す図である。
図8は、ゲーム用メタデータのシンタクスの第1の例を示す図である。
図8に示すゲーム用メタデータの記述のうち、図5を参照して説明した記述と重複する記述については、適宜、説明を省略する。図9以降についても同様である。
図8の例においては、Knee pointに代えて、Shoulder pointとToe pointが記述されている点で、図5の記述と異なる。
12行目のShoulder pointは、矢印#1で示すように、高輝度側のknee pointであるshoulder pointを表す。
13行目のToe pointは、矢印#2で示すように、低輝度側のknee pointであるtoe pointを表す。
すなわち、図8の記述は、新規のフィールドを新たに定義したDynamic metadataをゲーム用メタデータとして用いた場合の記述となる。
ゲーム機1は、ゲームソフトウェアを実行することによって図8の記述を含むゲーム用メタデータを生成し、生成したゲーム用メタデータをそれぞれのピクチャに付加して伝送する。
これにより、ゲーム機1は、shoulder pointとtoe pointをそれぞれ指定することが可能となる。TV2においては、ゲーム用メタデータに基づいて輝度調整が行われ、shoulder pointとtoe pointの間の輝度の入力信号が、その輝度のまま出力されることになる。
なお、14行目のBezier curve anchorsは、例えば、shoulder pointより高輝度側のアンカーポイントを示す。toe pointより低輝度側のアンカーポイントがBezier curve anchorsにより示されるようにしてもよい。
<<ゲーム用メタデータの記述例2>>
図9は、ゲーム用メタデータのシンタクスの第2の例を示す図である。
図9は、ゲーム用メタデータのシンタクスの第2の例を示す図である。
図9の例においては、Knee pointに代えて、Shoulder pointとToe pointが記述されている点で、図5の記述と異なる。また、Bezier curve anchorsが2つ記述されている点で、図5の記述と異なる。
12行目のShoulder pointは、矢印#11で示すように、高輝度側のknee pointであるshoulder pointを表す。
13行目のToe pointは、矢印#12で示すように、低輝度側のknee pointであるtoe pointを表す。
14行目のBezier curve anchorsは、矢印#13で示すように、shoulder pointより高輝度側のアンカーポイントの座標x,yを示す。14行目のBezier curve anchorsにより、shoulder pointより高輝度側のアンカーポイントが最大15個指定される。
15行目のBezier curve anchorsは、矢印#14で示すように、toe pointより低輝度側のアンカーポイントの座標x,yを示す。15行目のBezier curve anchorsにより、toe pointより低輝度側のアンカーポイントが最大15個指定される。
図9の記述も、新規のフィールドを新たに定義したDynamic metadataをゲーム用メタデータとして用いた場合の記述となる。
ゲーム機1は、ゲームソフトウェアを実行することによって図9の記述を含むゲーム用メタデータを生成し、生成したゲーム用メタデータをそれぞれのピクチャに付加して伝送する。
これにより、ゲーム機1は、shoulder pointとtoe pointをそれぞれ指定することが可能となる。また、ゲーム機1は、shoulder pointより高輝度側の入出力特性とtoe pointより低輝度側の入出力特性を指定することが可能となる。
<<ゲーム用メタデータの記述例3>>
図10は、ゲーム用メタデータのシンタクスの第3の例を示す図である。
図10は、ゲーム用メタデータのシンタクスの第3の例を示す図である。
図10の例においては、Knee pointに代えて、Shoulder pointとToe pointが記述されている点で、図5の記述と異なる。また、Bezier curve anchorsの意味が、図5のBezier curve anchorsの意味と異なる。
12行目のShoulder pointは、矢印#21で示すように、高輝度側のknee pointであるshoulder pointを表す。
13行目のToe pointは、矢印#22で示すように、低輝度側のknee pointであるtoe pointを表す。
14行目のBezier curve anchorsは、例えば15個のアンカーポイントを指定する。
Bezier curve anchorsが示す15個のアンカーポイントのうちの例えば前半の8個のアンカーポイントは、矢印#23で示すように、shoulder pointより高輝度側のアンカーポイントの座標x,yを示す。また、15個のアンカーポイントのうちの後半の7個のアンカーポイントは、矢印#24で示すように、toe pointより低輝度側のアンカーポイントの座標x,yを示す。
このように、例えば、高輝度側のアンカーポイントの方に、低輝度側のアンカーポイントより多くのBezier curve anchorsの情報が割り当てられる。
高輝度側のアンカーポイントと低輝度側のアンカーポイントに割り当てるBezier curve anchorsの情報の割合は任意に変更可能である。例えば、低輝度側のアンカーポイントの方に、高輝度側のアンカーポイントより多くのBezier curve anchorsの情報が割り当てられるようにしてもよい。
また、Bezier curve anchorsにより、15未満の所定の数のアンカーポイントが指定されるようにしてもよい。
図10の記述も、新規のフィールドを新たに定義したDynamic metadataをゲーム用メタデータとして用いた場合の記述となる。
ゲーム機1は、ゲームソフトウェアを実行することによって図10の記述を含むゲーム用メタデータを生成し、生成したゲーム用メタデータをそれぞれのピクチャに付加して伝送する。
これにより、ゲーム機1は、shoulder pointとtoe pointをそれぞれ指定することが可能となる。また、ゲーム機1は、shoulder pointより高輝度側の入出力特性とtoe pointより低輝度側の入出力特性を指定することが可能となる。
<<ゲーム用メタデータの記述例4>>
図11に示すシンタクスと、後述する図14に示すシンタクスは、新規のフィールドを含まずに、既存の記述を用いて、shoulder pointとtoe pointなどを表すシンタクスである。図11と図14の記述は、Dynamic metadataの既存の記述をそのままゲーム用メタデータとして用いた場合の記述となる。
図11に示すシンタクスと、後述する図14に示すシンタクスは、新規のフィールドを含まずに、既存の記述を用いて、shoulder pointとtoe pointなどを表すシンタクスである。図11と図14の記述は、Dynamic metadataの既存の記述をそのままゲーム用メタデータとして用いた場合の記述となる。
<記述例4-1>
図11は、ゲーム用メタデータのシンタクスの第4-1の例を示す図である。
図11は、ゲーム用メタデータのシンタクスの第4-1の例を示す図である。
12行目のKnee pointは、矢印#31で示すように、高輝度側のknee pointであるshoulder pointを表す。
低輝度側のknee pointであるtoe pointは、矢印#32に示すように、9行目のDistribution max rgb percentagesと10行目のDistribution max rgb percentilesとを用いて表される。
図12は、Distribution max rgb percentagesとDistribution max rgb percentilesの具体例を示す図である。
図12に示す表において、左端列は変数iを表す。変数iは0から14までの整数をとる。変数iの数だけ、Distribution max rgb percentagesとDistribution max rgb percentilesの値が設定される。中央列はDistribution max rgb percentagesを表し、左端列はDistribution max rgb percentilesを表す。
図12の例においては、変数i=0~9に対応するDistribution max rgb percentagesとDistribution max rgb percentilesが示されている。
Distribution max rgb percentagesの値x[i]は、Windowの数が1であるとすると、ピクチャを構成する全ピクセルを輝度の小さい順に並べ、輝度の小さい方から数えたときのピクセルの割合を表す。例えば変数i=7においてDistribution max rgb percentagesの値が90であることは、輝度の小さい方から90%の範囲に含まれるピクセルを表す。
また、Distribution max rgb percentilesの値y[i]は、Windowの数が1であるとすると、Distribution max rgb percentagesにより表される範囲内における最大の輝度のピクセルの、その輝度を正規化して表す。例えば変数i=7においてDistribution max rgb percentilesの値が801であることは、輝度の小さい方から90%の範囲に含まれるピクセルのうちの、最大輝度をとるピクチャの輝度が80.1nitであることを表す。
図12において斜線を付して示すように、例えば変数i=3に対応するDistribution max rgb percentagesとDistribution max rgb percentilesとを用いて、toe pointが表される。図12の例においては、変数i=3に対応するDistribution max rgb percentagesの値は25(25%)である。また、変数i=3に対応するDistribution max rgb percentilesの値は2(0.2nit)である。
図13は、toe pointの求め方の例を示す図である。
図13の横軸は入力信号の輝度を表す。xの値が1.0であることは、PQ(Perceptual Quantization)の最大輝度値である10000nitを表す。
また、図13の縦軸はディスプレイ上の表示輝度を表す。yの値が1.0であることは、ディスプレイの最大輝度である例えば400nitを表す。ディスプレイの最大輝度は、ゲーム用メタデータのTarget System display max luminanceにより表される。
上述したように、toe pointは、ある輝度の入力信号がその輝度で表示されるリニアの範囲の境界点である。変数i=3に対応するDistribution max rgb percentilesの値が0.2であるから、入力信号の輝度と表示輝度がいずれも0.2であることを示す点P31のx座標とy座標は、下式(1)により表される。
式(3)により求められるtoe pointのx座標の値である0.0819は0に丸められ、y座標の値である2.0475は2に丸められる。これにより、toe pointのx座標、y座標は下式(4)により表される。
このように、図11の例においては、予め設定された所定の変数iに対応するDistribution max rgb percentagesとDistribution max rgb percentilesとが、toe pointを指定する情報として用いられる。
toe pointを指定することに用いられるDistribution max rgb percentagesとDistribution max rgb percentilesの変数iの値は任意である。変数i=3以外の、例えば変数i=4に対応するDistribution max rgb percentagesとDistribution max rgb percentilesとを用いてtoe pointが指定されるようにすることが可能である。
toe pointがKnee pointにより指定され、shoulder pointが、Distribution max rgb percentagesとDistribution max rgb percentilesとを用いて指定されるようにしてもよい。
ゲーム機1は、ゲームソフトウェアを実行することによって図11の記述を含むゲーム用メタデータを生成し、生成したゲーム用メタデータをそれぞれのピクチャに付加して伝送する。
TV2においては、ゲーム用メタデータの解析が行われ、Knee pointの記述に基づいてshoulder pointが特定されるとともに、Distribution max rgb percentagesとDistribution max rgb percentilesの記述に基づいてtoe pointが特定される。
また、TV2においては、特定されたshoulder pointとtoe pointを用いて輝度調整が行われる。上述した例の場合、輝度の小さい方から数えたときに25%以上の範囲のピクセル(shoulder pointにより表される輝度以下のピクセル)については、入力信号の輝度をその輝度のまま出力するようにして輝度調整が行われることになる。
このように、ゲーム機1は、既存の記述を用いて、shoulder pointとtoe pointをそれぞれ指定することが可能となる。
<記述例4-2>
図14は、ゲーム用メタデータのシンタクスの第4-2の例を示す図である。
図14は、ゲーム用メタデータのシンタクスの第4-2の例を示す図である。
図14の例においては、矢印#41,#42で示すように、shoulder pointとtoe pointの両方が、Distribution max rgb percentagesとDistribution max rgb percentilesとを用いて表される。
図15は、Distribution max rgb percentagesとDistribution max rgb percentilesの具体例を示す図である。
図15に示すように、例えば変数i=3に対応するDistribution max rgb percentagesとDistribution max rgb percentilesとを用いて、toe pointが表される。図15の例においては、変数i=3に対応するDistribution max rgb percentagesの値は25(25%)である。また、変数i=3に対応するDistribution max rgb percentilesの値は2(0.2nit)である。
また、例えば変数i=7に対応するDistribution max rgb percentagesとDistribution max rgb percentilesとを用いて、shoulder pointが表される。図15の例においては、変数i=7に対応するDistribution max rgb percentagesの値は90(90%)である。また、変数i=7に対応するDistribution max rgb percentilesの値は801(80.1nit)である。
図15において斜線を付して示す範囲が、入力信号の輝度をその輝度のまま出力するようにして輝度調整が行われる範囲となる。
このように、図15の例においては、予め設定された所定の変数iに対応するDistribution max rgb percentagesとDistribution max rgb percentilesとが、toe pointを指定する情報として用いられる。また、予め設定された他の変数iに対応するDistribution max rgb percentagesとDistribution max rgb percentilesとが、shoulder pointを指定する情報として用いられる。
shoulder pointとtoe pointを表すことに用いられるDistribution max rgb percentagesとDistribution max rgb percentilesに対応する変数iの値は任意である。
ゲーム機1は、ゲームソフトウェアを実行することによって図14の記述を含むゲーム用メタデータを生成し、生成したゲーム用メタデータをそれぞれのピクチャに付加して伝送する。
TV2においては、ゲーム用メタデータの解析が行われ、Distribution max rgb percentagesとDistribution max rgb percentilesの記述に基づいてshoulder pointとtoe pointが特定される。
また、TV2においては、特定されたshoulder pointとtoe pointを用いて輝度調整が行われる。上述した例の場合、輝度の小さい方から数えたときに25%以上、90%以下の範囲のピクセルについては、入力信号の輝度をその輝度のまま出力するようにして輝度調整が行われることになる。
このように、ゲーム機1は、既存の記述を用いて、shoulder pointとtoe pointをそれぞれ指定することが可能となる。
<記述例4-3>
図16は、Distribution max rgb percentagesとDistribution max rgb percentilesの具体例を示す図である。
図16は、Distribution max rgb percentagesとDistribution max rgb percentilesの具体例を示す図である。
図16の例においては、入力信号の輝度をその輝度のまま出力する輝度の範囲を示すDistribution max rgb percentagesとDistribution max rgb percentilesだけが、ゲーム用メタデータに記述される。
図16の例においては、変数i=0~3に対応するDistribution max rgb percentagesとDistribution max rgb percentilesの値が示されている。
図16に示すように、変数i=0に対応するDistribution max rgb percentagesとDistribution max rgb percentilesとを用いて、toe pointが指定される。図16の例においては、変数i=0に対応するDistribution max rgb percentagesの値は25である。また、変数i=0に対応するDistribution max rgb percentilesの値は2である。
また、変数i=3に対応するDistribution max rgb percentagesとDistribution max rgb percentilesとを用いて、shoulder pointが表される。図16の例においては、変数i=3に対応するDistribution max rgb percentagesの値は90である。また、変数i=3に対応するDistribution max rgb percentilesの値は801である。
このように、図16の例においては、最も小さい変数iに対応するDistribution max rgb percentagesとDistribution max rgb percentilesとが、toe pointを指定する情報として用いられる。また、最も大きい変数iに対応するDistribution max rgb percentagesとDistribution max rgb percentilesとが、shoulder pointを指定する情報として用いられる。
<<ゲーム用メタデータの記述例5>>
図17は、ゲーム用メタデータのシンタクスの第5の例を示す図である。
図17は、ゲーム用メタデータのシンタクスの第5の例を示す図である。
図17の例においては、Bezier curve anchorsが2つ記述されている点で、図5の記述と異なる。
12行目のKnee pointは、矢印#51で示すように、高輝度側のknee pointであるshoulder pointを表す。
低輝度側のknee pointであるtoe pointは、矢印#52で示すように、9行目のDistribution max rgb percentagesと10行目のDistribution max rgb percentilesとを用いて表される。Distribution max rgb percentagesとDistribution max rgb percentilesを用いたtoe pointの表し方は、図12、図15、図16を参照して説明した表し方と同じである。
13行目のBezier curve anchorsは、矢印#53で示すように、shoulder pointより高輝度側のアンカーポイントの座標x,yを示す。
14行目のBezier curve anchorsは、矢印#54で示すように、toe pointより低輝度側のアンカーポイントの座標x,yを示す。
すなわち、図17の記述は、既存の記述を用いてshoulder pointとtoe pointを表すとともに、Bezier curve anchorsを追加したDynamic metadataをゲーム用メタデータとして用いた場合の記述となる。
図17の例においても、toe pointがKnee pointにより表され、shoulder pointがDistribution max rgb percentagesとDistribution max rgb percentilesとを用いて表されるようにしてもよい。
<<ゲーム用メタデータの記述例6>>
図18は、ゲーム用メタデータのシンタクスの第6の例を示す図である。
図18は、ゲーム用メタデータのシンタクスの第6の例を示す図である。
図18の記述は、Bezier curve anchorsの意味が異なる点を除いて、図5の記述と同じである。図18に示すBezier curve anchorsは、図10を参照して説明したように、shoulder pointより高輝度側のアンカーポイントを示すとともに、toe pointより低輝度側のアンカーポイントを示す。
12行目のKnee pointは、矢印#61で示すように、高輝度側のknee pointであるshoulder pointを表す。
低輝度側のknee pointであるtoe pointは、矢印#62で示すように、9行目のDistribution max rgb percentagesと10行目のDistribution max rgb percentilesとを用いて表される。
13行目のBezier curve anchorsが示す15個のアンカーポイントのうちの例えば前半の8個のアンカーポイントは、矢印#63で示すように、shoulder pointより高輝度側のアンカーポイントの座標x,yを示す。また、15個のアンカーポイントのうちの後半の7個のアンカーポイントは、矢印#64で示すように、toe pointより低輝度側のアンカーポイントの座標x,yを示す。
このように、上述した記述例を適宜組み合わせることが可能である。
以上のような各種の記述を含むゲーム用メタデータを用いることにより、ゲーム機1は、shoulder pointとtoe pointをそれぞれ指定することが可能となる。
TV2は、HDRビデオのピクチャの輝度調整を、ゲーム機1により指定された方法、すなわち、ゲームソフトウェアの制作者により指定された方法に従って、適切な形で行うことができる。
<<各装置の構成と動作>>
<ゲーム機の構成>
図19は、ゲーム機1の構成例を示すブロック図である。
<ゲーム機の構成>
図19は、ゲーム機1の構成例を示すブロック図である。
ゲーム機1は、コントローラ51、ディスクドライブ52、メモリ53、ローカルストレージ54、通信部55、復号処理部56、操作入力部57、および外部出力部58から構成される。
コントローラ51は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)などにより構成される。コントローラ51は、所定のプログラムを実行し、ゲーム機1の全体の動作を制御する。
ディスクドライブ52は、光ディスク11に記録されているデータを読み出し、コントローラ51、メモリ53、または復号処理部56に出力する。例えば、ディスクドライブ52は、光ディスク11から読み出したゲームソフトウェアをコントローラ51に出力し、AVストリームを復号処理部56に出力する。
メモリ53は、コントローラ51が実行するプログラムなどの、コントローラ51が各種の処理を実行する上で必要なデータを記憶する。
ローカルストレージ54は、HDD(Hard Disk Drive)、SSD(Solid State Drive)などの記録媒体により構成される。ローカルストレージ54には、サーバからダウンロードされたゲームソフトウェアなどが記録される。
通信部55は、無線LAN、有線LANなどのインタフェースである。例えば、通信部55は、インターネットなどのネットワークを介してサーバと通信を行い、サーバからダウンロードしたデータをローカルストレージ54に供給する。
復号処理部56は、ディスクドライブ52から供給されたAVストリームに多重化されているビデオストリームを復号し、復号して得られたビデオのデータを外部出力部58に出力する。ゲームの映像を構成するHDRビデオが、ビデオストリームを復号することにより生成されるようにしてもよい。また、復号処理部56は、AVストリームに多重化されているオーディオストリームを復号し、復号して得られたオーディオデータを外部出力部58に出力する。
操作入力部57は、リモートコントローラから無線通信によって送信される信号を受信する受信部により構成される。操作入力部57はユーザの操作を検出し、検出した操作の内容を表す信号をコントローラ51に供給する。
外部出力部58は、HDMIなどの外部出力のインタフェースである。外部出力部58は、HDMIケーブルを介してTV2と通信を行い、コントローラ51から供給されたHDRビデオのデータ、または、復号処理部56から供給されたHDRビデオのデータをTV2に出力する。
図20は、コントローラ51の機能構成例を示すブロック図である。
コントローラ51においては、ゲームソフトウェア実行部71と出力制御部72が実現される。図20に示す機能部のうちの少なくとも一部は、コントローラ51のCPUにより所定のプログラムが実行されることによって実現される。
ゲームソフトウェア実行部71は、光ディスク11から読み出されたゲームソフトウェアやローカルストレージ54に記録されているゲームソフトウェアを実行する。
ゲームソフトウェア実行部71は、ゲームソフトウェアを実行することによって、ゲームの映像を構成するHDRビデオの各ピクチャと、ゲーム用メタデータを生成する。ゲームソフトウェア実行部71は、生成したHDRビデオの各ピクチャとゲーム用メタデータを出力制御部72に出力する。
出力制御部72は、外部出力部58を制御することによって、ゲームソフトウェア実行部71により生成されたHDRビデオの出力を制御する。例えば、出力制御部72は、ゲームの映像を構成するHDRビデオの各ピクチャにゲーム用メタデータを付加し、ゲーム用メタデータを付加した各ピクチャを外部出力部58から出力させる。
<TVの構成>
図21は、TV2の構成例を示すブロック図である。
図21は、TV2の構成例を示すブロック図である。
TV2は、コントローラ101、外部入力部102、信号処理部103、ディスプレイ104、放送受信部105、復号処理部106、および通信部107から構成される。
コントローラ101は、CPU、ROM、RAMなどにより構成される。コントローラ101は、所定のプログラムを実行し、TV2の全体の動作を制御する。
コントローラ101においては、所定のプログラムが実行されることにより、メタデータ解析部101Aが実現される。
メタデータ解析部101Aは、ゲーム機1から伝送されたゲーム用メタデータを解析し、shoulder pointとtoe pointを特定する。また、メタデータ解析部101Aは、ゲーム用メタデータを解析し、shoulder pointより高輝度側のアンカーポイントとtoe pointより低輝度側のアンカーポイントの特定することなども行う。
メタデータ解析部101Aは、ゲーム用メタデータの解析結果を表す情報を信号処理部103に出力する。信号処理部103による輝度調整が、メタデータ解析部101Aによるゲーム用メタデータの解析結果に基づいて行われる。
外部入力部102は、HDMIなどの外部入力のインタフェースである。外部入力部102は、HDMIケーブルを介してゲーム機1と通信を行い、ゲーム機1から伝送されてきたHDRビデオの各ピクチャのデータを受信して信号処理部103に出力する。また、外部入力部102は、HDRビデオの各ピクチャに付加して伝送されてきたゲーム用メタデータを受信し、コントローラ101に出力する。
信号処理部103は、外部入力部102から供給されたHDRビデオの処理を行い、ゲームの映像をディスプレイ104に表示させる。信号処理部103は、コントローラ101による制御に従ってHDRビデオの輝度調整を行う。
信号処理部103は、復号処理部106から供給されたデータに基づいて、番組の映像をディスプレイ104に表示させる処理なども行う。
ディスプレイ104は、LCD(Liquid Crystal Display)や有機EL(Electro Luminescence)ディスプレイなどの表示デバイスである。ディスプレイ104は、信号処理部103から供給されたビデオ信号に基づいて、ゲームの映像や番組の映像を表示する。
放送受信部105は、アンテナから供給された信号から所定のチャンネルの放送信号を抽出し、復号処理部106に出力する。放送受信部105による放送信号の抽出は、コントローラ101による制御に従って行われる。
復号処理部106は、放送受信部105から供給された放送信号に対して復号等の処理を施し、番組のビデオデータを信号処理部103に出力する。
通信部107は、無線LAN、有線LANなどのインタフェースである。通信部107は、インターネットを介してサーバと通信を行う。
<ゲーム機の動作>
ここで、図22のフローチャートを参照して、ゲーム機1の処理について説明する。
ここで、図22のフローチャートを参照して、ゲーム機1の処理について説明する。
ステップS1において、コントローラ51のゲームソフトウェア実行部71は、ゲームソフトウェアを実行し、ゲームの映像を構成するHDRビデオの各ピクチャとゲーム用メタデータを生成する。ゲームソフトウェアを実行することにより、図8等を参照して説明したような各種のゲーム用メタデータが生成される。
ステップS2において、出力制御部72は、ゲームの映像を構成するHDRビデオの各ピクチャに、ゲームソフトウェア実行部71により生成されたゲーム用メタデータを付加し、ゲーム用メタデータを付加した各ピクチャを外部出力部58から出力させる。
以上の処理が、ユーザがゲームを行っている間、繰り返し行われる。
<TVの動作>
次に、図23のフローチャートを参照して、TV2の処理について説明する。
次に、図23のフローチャートを参照して、TV2の処理について説明する。
ステップS21において、TV2の外部入力部102は、ゲーム機1から伝送されたHDRビデオの各ピクチャのデータと、それに付加して伝送されてきたゲーム用メタデータを受信する。
ステップS22において、コントローラ101のメタデータ解析部101Aは、ゲーム機1から伝送されてきたゲーム用メタデータを解析し、shoulder pointとtoe pointを特定する。
例えば図8の記述を含むゲーム用メタデータが伝送されてきた場合、メタデータ解析部101Aは、Shoulder pointの記述に基づいてshoulder pointを特定し、Toe pointの記述に基づいてtoe pointを特定する。ゲーム用メタデータの解析結果を表す情報はメタデータ解析部101Aから信号処理部103に供給される。
ステップS23において、信号処理部103は、ゲーム用メタデータの解析結果に基づいてHDRビデオの輝度調整を行う。例えば、toe pointからshoulder pointまでの輝度については、その輝度のまま出力されるようにHDRビデオの輝度調整が行われる。
ステップS24において、信号処理部103は、輝度調整を行ったHDRビデオをディスプレイ104に表示させる。ゲームの映像を構成するHDRビデオの表示は、ゲームソフトウェアがゲーム機1において実行されている間、続けられる。
以上の処理により、ゲーム機1は、TV2による輝度調整を、ゲームソフトウェアの制作者により指定された方法に従って適切な形で行わせることが可能となる。
<<ゲームソフトウェアの生成側について>>
図24は、以上のようなゲームソフトウェアの生成に用いられるコンピュータの構成例を示すブロック図である。
図24は、以上のようなゲームソフトウェアの生成に用いられるコンピュータの構成例を示すブロック図である。
CPU201、ROM202、RAM203は、バス204により相互に接続されている。CPU201においては、所定のプログラムが実行されることにより、メタデータ生成部201Aとゲームソフトウェア生成部201Bが実現される。
メタデータ生成部201Aは、図8等を参照して説明したゲーム用メタデータを例えば制作者による操作に従って生成する。
ゲームソフトウェア生成部201Bは、ゲーム機1が実行するゲームソフトウェアを生成する。ゲームソフトウェア生成部201Bが生成するゲームソフトウェアには、ゲームを進行させるゲームプログラム、ゲームプログラムが利用するゲームデータ、ゲームの映像と音声の生成に用いられる情報が含まれる。ゲームの映像の生成に用いられる情報には、メタデータ生成部201Aにより生成されたゲーム用メタデータも含まれる。
バス204には、さらに、入出力インタフェース205が接続される。入出力インタフェース205には、入力部206、出力部207、記憶部208、通信部209、およびドライブ210が接続される。ドライブ210にはリムーバブルメディア211が装着される。
入力部206は、キーボード、マウスなどにより構成され、ゲームソフトウェアの制作者により操作される。
出力部207は、ディスプレイ、スピーカなどにより構成される。出力部207を構成するディスプレイは、例えばmastering displayとして用いられる。
記憶部208は、ハードディスクや不揮発性のメモリなどより構成される。ゲームソフトウェア生成部201Bにより生成されたゲームソフトウェアなどの各種のデータが記憶部208に記憶される。
通信部209は、ネットワークインタフェースなどより構成される。
ドライブ210は、光ディスク、半導体メモリなどよりなるリムーバブルメディア211に記録されているデータの読み出しと、リムーバブルメディア211に対するデータの書き込みを制御する。
このような構成を有するコンピュータにおいては、CPU201が、例えば記憶部208に記憶されているプログラムをRAM203にロードして実行することにより、ゲームソフトウェアの生成処理などの各種の処理が行われる。
このように、図24のコンピュータは、ゲームソフトウェアを生成する情報処理装置として機能する。
<<その他の例>>
図8等を参照して説明した記述を含むメタデータがゲームの映像用のメタデータであるものとしたが、映画、静止画などの各種のビデオデータの輝度調整に用いられるようにしてもよい。
図8等を参照して説明した記述を含むメタデータがゲームの映像用のメタデータであるものとしたが、映画、静止画などの各種のビデオデータの輝度調整に用いられるようにしてもよい。
ゲーム機1から伝送されてきたHDRビデオの輝度を調整する場合について説明したが、インターネット12を介してサーバから送信されてきたゲームソフトウェアがTV2において実行されるようにしてもよい。ゲームソフトウェアが実行されることによって生成されたHDRビデオは、TV2においてゲーム用メタデータに基づいて輝度調整が行われ、表示される。
図24の例においては、ゲームソフトウェアを生成するコンピュータにおいてメタデータ生成部201Aが実現されるものとしたが、ゲームソフトウェアを生成する機能を有していないコンピュータにおいてメタデータ生成部201Aが実現されるようにしてもよい。
例えば、ゲームソフトウェア、映画などのコンテンツを配信するサーバを構成するコンピュータにおいて、上述したような各種の記述を含むメタデータを生成するメタデータ生成部201Aが実現されるようにすることが可能である。サーバのメタデータ生成部201Aは、配信するコンテンツ用のメタデータを生成し、生成したメタデータをコンテンツとともに配信することになる。
これにより、サーバは、インターネット12を介して配信するコンテンツの高輝度側および低輝度側の輝度調整を、配信先となる機器に適切に行わせることができる。
・プログラムの例
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、汎用のパーソナルコンピュータなどにインストールされる。
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、汎用のパーソナルコンピュータなどにインストールされる。
インストールされるプログラムは、光ディスク(CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等)や半導体メモリなどよりなる図24に示されるリムーバブルメディア211に記録して提供される。また、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供されるようにしてもよい。プログラムは、ROM202や記憶部208に、あらかじめインストールしておくことができる。
コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
なお、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本技術は、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
・構成の組み合わせ例
本技術は、以下のような構成をとることもできる。
本技術は、以下のような構成をとることもできる。
(1)
第1のknee pointを表す情報と前記第1のknee pointより低輝度側の第2のknee pointを表す情報を含む、それぞれのピクチャの輝度の特徴を表すメタデータを生成するメタデータ生成部と、
前記ピクチャの輝度調整に用いられる前記メタデータを含むソフトウェアを生成するソフトウェア生成部と
を備える情報処理装置。
(2)
前記メタデータ生成部は、前記第1のknee pointと前記第2のknee pointをそれぞれ表す2つのpoint情報を記述した前記メタデータを生成する
前記(1)に記載の情報処理装置。
(3)
前記メタデータ生成部は、前記第1のknee pointが示す輝度より高い輝度範囲における輝度の入出力特性を表す第1のアンカーポイントの情報と、前記第2のknee pointが示す輝度より低い輝度範囲における輝度の入出力特性を表す第2のアンカーポイントの情報とをさらに含む前記メタデータを生成する
前記(1)または(2)に記載の情報処理装置。
(4)
前記メタデータ生成部は、前記第1のアンカーポイントの情報としてのBezier curve anchorsと、前記第2のアンカーポイントの情報としてのBezier curve anchorsとをそれぞれ記述した前記メタデータを生成する
前記(3)に記載の情報処理装置。
(5)
前記メタデータ生成部は、前記第1のアンカーポイントと前記第2のアンカーポイントとを表す1つのBezier curve anchorsを記述した前記メタデータを生成する
前記(3)に記載の情報処理装置。
(6)
前記第1のknee pointと前記第2のknee pointのうちの一方のknee pointは、SMPTE2094-40により規定されるDynamic metadataのKnee pointにより表され、他方のknee pointは、前記Dynamic metadataのDistribution max rgb percentagesとDistribution max rgb percentilesとを用いて表される
前記(1)乃至(5)のいずれかに記載の情報処理装置。
(7)
情報処理装置が、
第1のknee pointを表す情報と前記第1のknee pointより低輝度側の第2のknee pointを表す情報を含む、それぞれのピクチャの輝度の特徴を表すメタデータを生成し、
前記ピクチャの輝度調整に用いられる前記メタデータを含むソフトウェアを生成する
情報処理方法。
(8)
コンピュータに、
第1のknee pointを表す情報と前記第1のknee pointより低輝度側の第2のknee pointを表す情報を含む、それぞれのピクチャの輝度の特徴を表すメタデータを生成し、
前記ピクチャの輝度調整に用いられる前記メタデータを含むソフトウェアを生成する
処理を実行させるためのプログラム。
(9)
情報処理装置から出力されたピクチャと、それぞれの前記ピクチャに付加された、第1のknee pointを表す情報と前記第1のknee pointより低輝度側の第2のknee pointを表す情報を含む、輝度の特徴を表すメタデータとを受信する通信部と、
前記メタデータに基づいて前記ピクチャの輝度を調整する信号処理部と
を備える画像処理装置。
(10)
前記第1のknee pointと前記第2のknee pointは、前記メタデータに記述された2つのpoint情報によりそれぞれ表される
前記(9)に記載の画像処理装置。
(11)
前記メタデータには、前記第1のknee pointが示す輝度より高い輝度範囲における輝度の入出力特性を表す第1のアンカーポイントの情報と、前記第2のknee pointが示す輝度より低い輝度範囲における輝度の入出力特性を表す第2のアンカーポイントの情報とがさらに含まれる
前記(9)または(10)に記載の画像処理装置。
(12)
前記メタデータには、前記第1のアンカーポイントの情報としてのBezier curve anchorsと、前記第2のアンカーポイントの情報としてのBezier curve anchorsとがそれぞれ記述される
前記(11)に記載の画像処理装置。
(13)
前記メタデータには、前記第1のアンカーポイントと前記第2のアンカーポイントとを表す1つのBezier curve anchorsが記述される
前記(11)に記載の画像処理装置。
(14)
前記第1のknee pointと前記第2のknee pointのうちの一方のknee pointは、SMPTE2094-40により規定されるDynamic metadataのKnee pointにより表され、他方のknee pointは、Dynamic metadataのDistribution max rgb percentagesとDistribution max rgb percentilesとを用いて表される
前記(9)乃至(13)のいずれかに記載の画像処理装置。
(15)
画像処理装置が、
情報処理装置から出力されたピクチャと、それぞれの前記ピクチャに付加された、第1のknee pointを表す情報と前記第1のknee pointより低輝度側の第2のknee pointを表す情報を含む、輝度の特徴を表すメタデータとを受信し、
前記メタデータに基づいて前記ピクチャの輝度を調整する
画像処理方法。
(16)
コンピュータに、
情報処理装置から出力されたピクチャと、それぞれの前記ピクチャに付加された、第1のknee pointを表す情報と前記第1のknee pointより低輝度側の第2のknee pointを表す情報を含む、輝度の特徴を表すメタデータとを受信し、
前記メタデータに基づいて前記ピクチャの輝度を調整する
処理を実行させるためのプログラム。
(17)
表示装置において輝度調整が行われるそれぞれのピクチャに対して、第1のknee pointを表す情報と前記第1のknee pointより低輝度側の第2のknee pointを表す情報を含む、輝度の特徴を表すメタデータを付加し、前記メタデータを付加したそれぞれの前記ピクチャを前記表示装置に出力する出力制御部を備える
情報処理装置。
(18)
情報処理装置が、
表示装置において輝度調整が行われるそれぞれのピクチャに対して、第1のknee pointを表す情報と前記第1のknee pointより低輝度側の第2のknee pointを表す情報を含む、輝度の特徴を表すメタデータを付加し、
前記メタデータを付加したそれぞれの前記ピクチャを前記表示装置に出力する
情報処理方法。
(19)
コンピュータに、
表示装置において輝度調整が行われるそれぞれのピクチャに対して、第1のknee pointを表す情報と前記第1のknee pointより低輝度側の第2のknee pointを表す情報を含む、輝度の特徴を表すメタデータを付加し、
前記メタデータを付加したそれぞれの前記ピクチャを前記表示装置に出力する
処理を実行させるためのプログラム。
第1のknee pointを表す情報と前記第1のknee pointより低輝度側の第2のknee pointを表す情報を含む、それぞれのピクチャの輝度の特徴を表すメタデータを生成するメタデータ生成部と、
前記ピクチャの輝度調整に用いられる前記メタデータを含むソフトウェアを生成するソフトウェア生成部と
を備える情報処理装置。
(2)
前記メタデータ生成部は、前記第1のknee pointと前記第2のknee pointをそれぞれ表す2つのpoint情報を記述した前記メタデータを生成する
前記(1)に記載の情報処理装置。
(3)
前記メタデータ生成部は、前記第1のknee pointが示す輝度より高い輝度範囲における輝度の入出力特性を表す第1のアンカーポイントの情報と、前記第2のknee pointが示す輝度より低い輝度範囲における輝度の入出力特性を表す第2のアンカーポイントの情報とをさらに含む前記メタデータを生成する
前記(1)または(2)に記載の情報処理装置。
(4)
前記メタデータ生成部は、前記第1のアンカーポイントの情報としてのBezier curve anchorsと、前記第2のアンカーポイントの情報としてのBezier curve anchorsとをそれぞれ記述した前記メタデータを生成する
前記(3)に記載の情報処理装置。
(5)
前記メタデータ生成部は、前記第1のアンカーポイントと前記第2のアンカーポイントとを表す1つのBezier curve anchorsを記述した前記メタデータを生成する
前記(3)に記載の情報処理装置。
(6)
前記第1のknee pointと前記第2のknee pointのうちの一方のknee pointは、SMPTE2094-40により規定されるDynamic metadataのKnee pointにより表され、他方のknee pointは、前記Dynamic metadataのDistribution max rgb percentagesとDistribution max rgb percentilesとを用いて表される
前記(1)乃至(5)のいずれかに記載の情報処理装置。
(7)
情報処理装置が、
第1のknee pointを表す情報と前記第1のknee pointより低輝度側の第2のknee pointを表す情報を含む、それぞれのピクチャの輝度の特徴を表すメタデータを生成し、
前記ピクチャの輝度調整に用いられる前記メタデータを含むソフトウェアを生成する
情報処理方法。
(8)
コンピュータに、
第1のknee pointを表す情報と前記第1のknee pointより低輝度側の第2のknee pointを表す情報を含む、それぞれのピクチャの輝度の特徴を表すメタデータを生成し、
前記ピクチャの輝度調整に用いられる前記メタデータを含むソフトウェアを生成する
処理を実行させるためのプログラム。
(9)
情報処理装置から出力されたピクチャと、それぞれの前記ピクチャに付加された、第1のknee pointを表す情報と前記第1のknee pointより低輝度側の第2のknee pointを表す情報を含む、輝度の特徴を表すメタデータとを受信する通信部と、
前記メタデータに基づいて前記ピクチャの輝度を調整する信号処理部と
を備える画像処理装置。
(10)
前記第1のknee pointと前記第2のknee pointは、前記メタデータに記述された2つのpoint情報によりそれぞれ表される
前記(9)に記載の画像処理装置。
(11)
前記メタデータには、前記第1のknee pointが示す輝度より高い輝度範囲における輝度の入出力特性を表す第1のアンカーポイントの情報と、前記第2のknee pointが示す輝度より低い輝度範囲における輝度の入出力特性を表す第2のアンカーポイントの情報とがさらに含まれる
前記(9)または(10)に記載の画像処理装置。
(12)
前記メタデータには、前記第1のアンカーポイントの情報としてのBezier curve anchorsと、前記第2のアンカーポイントの情報としてのBezier curve anchorsとがそれぞれ記述される
前記(11)に記載の画像処理装置。
(13)
前記メタデータには、前記第1のアンカーポイントと前記第2のアンカーポイントとを表す1つのBezier curve anchorsが記述される
前記(11)に記載の画像処理装置。
(14)
前記第1のknee pointと前記第2のknee pointのうちの一方のknee pointは、SMPTE2094-40により規定されるDynamic metadataのKnee pointにより表され、他方のknee pointは、Dynamic metadataのDistribution max rgb percentagesとDistribution max rgb percentilesとを用いて表される
前記(9)乃至(13)のいずれかに記載の画像処理装置。
(15)
画像処理装置が、
情報処理装置から出力されたピクチャと、それぞれの前記ピクチャに付加された、第1のknee pointを表す情報と前記第1のknee pointより低輝度側の第2のknee pointを表す情報を含む、輝度の特徴を表すメタデータとを受信し、
前記メタデータに基づいて前記ピクチャの輝度を調整する
画像処理方法。
(16)
コンピュータに、
情報処理装置から出力されたピクチャと、それぞれの前記ピクチャに付加された、第1のknee pointを表す情報と前記第1のknee pointより低輝度側の第2のknee pointを表す情報を含む、輝度の特徴を表すメタデータとを受信し、
前記メタデータに基づいて前記ピクチャの輝度を調整する
処理を実行させるためのプログラム。
(17)
表示装置において輝度調整が行われるそれぞれのピクチャに対して、第1のknee pointを表す情報と前記第1のknee pointより低輝度側の第2のknee pointを表す情報を含む、輝度の特徴を表すメタデータを付加し、前記メタデータを付加したそれぞれの前記ピクチャを前記表示装置に出力する出力制御部を備える
情報処理装置。
(18)
情報処理装置が、
表示装置において輝度調整が行われるそれぞれのピクチャに対して、第1のknee pointを表す情報と前記第1のknee pointより低輝度側の第2のknee pointを表す情報を含む、輝度の特徴を表すメタデータを付加し、
前記メタデータを付加したそれぞれの前記ピクチャを前記表示装置に出力する
情報処理方法。
(19)
コンピュータに、
表示装置において輝度調整が行われるそれぞれのピクチャに対して、第1のknee pointを表す情報と前記第1のknee pointより低輝度側の第2のknee pointを表す情報を含む、輝度の特徴を表すメタデータを付加し、
前記メタデータを付加したそれぞれの前記ピクチャを前記表示装置に出力する
処理を実行させるためのプログラム。
1 ゲーム機, 2 TV, 51 コントローラ, 52 ディスクドライブ, 53 メモリ, 54 ローカルストレージ, 55 通信部, 56 復号処理部, 57 操作入力部, 58 外部出力部, 71 ゲームソフトウェア実行部, 72 出力制御部, 101A メタデータ解析部, 201A メタデータ生成部, 201B ゲームソフトウェア生成部
Claims (19)
- 第1のknee pointを表す情報と前記第1のknee pointより低輝度側の第2のknee pointを表す情報を含む、それぞれのピクチャの輝度の特徴を表すメタデータを生成するメタデータ生成部と、
前記ピクチャの輝度調整に用いられる前記メタデータを含むソフトウェアを生成するソフトウェア生成部と
を備える情報処理装置。 - 前記メタデータ生成部は、前記第1のknee pointと前記第2のknee pointをそれぞれ表す2つのpoint情報を記述した前記メタデータを生成する
請求項1に記載の情報処理装置。 - 前記メタデータ生成部は、前記第1のknee pointが示す輝度より高い輝度範囲における輝度の入出力特性を表す第1のアンカーポイントの情報と、前記第2のknee pointが示す輝度より低い輝度範囲における輝度の入出力特性を表す第2のアンカーポイントの情報とをさらに含む前記メタデータを生成する
請求項1に記載の情報処理装置。 - 前記メタデータ生成部は、前記第1のアンカーポイントの情報としてのBezier curve anchorsと、前記第2のアンカーポイントの情報としてのBezier curve anchorsとをそれぞれ記述した前記メタデータを生成する
請求項3に記載の情報処理装置。 - 前記メタデータ生成部は、前記第1のアンカーポイントと前記第2のアンカーポイントとを表す1つのBezier curve anchorsを記述した前記メタデータを生成する
請求項3に記載の情報処理装置。 - 前記第1のknee pointと前記第2のknee pointのうちの一方のknee pointは、SMPTE2094-40により規定されるDynamic metadataのKnee pointにより表され、他方のknee pointは、前記Dynamic metadataのDistribution max rgb percentagesとDistribution max rgb percentilesとを用いて表される
請求項1に記載の情報処理装置。 - 情報処理装置が、
第1のknee pointを表す情報と前記第1のknee pointより低輝度側の第2のknee pointを表す情報を含む、それぞれのピクチャの輝度の特徴を表すメタデータを生成し、
前記ピクチャの輝度調整に用いられる前記メタデータを含むソフトウェアを生成する
情報処理方法。 - コンピュータに、
第1のknee pointを表す情報と前記第1のknee pointより低輝度側の第2のknee pointを表す情報を含む、それぞれのピクチャの輝度の特徴を表すメタデータを生成し、
前記ピクチャの輝度調整に用いられる前記メタデータを含むソフトウェアを生成する
処理を実行させるためのプログラム。 - 情報処理装置から出力されたピクチャと、それぞれの前記ピクチャに付加された、第1のknee pointを表す情報と前記第1のknee pointより低輝度側の第2のknee pointを表す情報を含む、輝度の特徴を表すメタデータとを受信する通信部と、
前記メタデータに基づいて前記ピクチャの輝度を調整する信号処理部と
を備える画像処理装置。 - 前記第1のknee pointと前記第2のknee pointは、前記メタデータに記述された2つのpoint情報によりそれぞれ表される
請求項9に記載の画像処理装置。 - 前記メタデータには、前記第1のknee pointが示す輝度より高い輝度範囲における輝度の入出力特性を表す第1のアンカーポイントの情報と、前記第2のknee pointが示す輝度より低い輝度範囲における輝度の入出力特性を表す第2のアンカーポイントの情報とがさらに含まれる
請求項9に記載の画像処理装置。 - 前記メタデータには、前記第1のアンカーポイントの情報としてのBezier curve anchorsと、前記第2のアンカーポイントの情報としてのBezier curve anchorsとがそれぞれ記述される
請求項11に記載の画像処理装置。 - 前記メタデータには、前記第1のアンカーポイントと前記第2のアンカーポイントとを表す1つのBezier curve anchorsが記述される
請求項11に記載の画像処理装置。 - 前記第1のknee pointと前記第2のknee pointのうちの一方のknee pointは、SMPTE2094-40により規定されるDynamic metadataのKnee pointにより表され、他方のknee pointは、Dynamic metadataのDistribution max rgb percentagesとDistribution max rgb percentilesとを用いて表される
請求項9に記載の画像処理装置。 - 画像処理装置が、
情報処理装置から出力されたピクチャと、それぞれの前記ピクチャに付加された、第1のknee pointを表す情報と前記第1のknee pointより低輝度側の第2のknee pointを表す情報を含む、輝度の特徴を表すメタデータとを受信し、
前記メタデータに基づいて前記ピクチャの輝度を調整する
画像処理方法。 - コンピュータに、
情報処理装置から出力されたピクチャと、それぞれの前記ピクチャに付加された、第1のknee pointを表す情報と前記第1のknee pointより低輝度側の第2のknee pointを表す情報を含む、輝度の特徴を表すメタデータとを受信し、
前記メタデータに基づいて前記ピクチャの輝度を調整する
処理を実行させるためのプログラム。 - 表示装置において輝度調整が行われるそれぞれのピクチャに対して、第1のknee pointを表す情報と前記第1のknee pointより低輝度側の第2のknee pointを表す情報を含む、輝度の特徴を表すメタデータを付加し、前記メタデータを付加したそれぞれの前記ピクチャを前記表示装置に出力する出力制御部を備える
情報処理装置。 - 情報処理装置が、
表示装置において輝度調整が行われるそれぞれのピクチャに対して、第1のknee pointを表す情報と前記第1のknee pointより低輝度側の第2のknee pointを表す情報を含む、輝度の特徴を表すメタデータを付加し、
前記メタデータを付加したそれぞれの前記ピクチャを前記表示装置に出力する
情報処理方法。 - コンピュータに、
表示装置において輝度調整が行われるそれぞれのピクチャに対して、第1のknee pointを表す情報と前記第1のknee pointより低輝度側の第2のknee pointを表す情報を含む、輝度の特徴を表すメタデータを付加し、
前記メタデータを付加したそれぞれの前記ピクチャを前記表示装置に出力する
処理を実行させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020516226A JP7363772B2 (ja) | 2018-04-27 | 2019-04-12 | 情報処理装置、情報処理方法、画像処理装置、画像処理方法、およびプログラム |
US17/049,203 US20210224963A1 (en) | 2018-04-27 | 2019-04-12 | Information processing apparatus, information processing method, image processing apparatus, image processing method, and program |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018-087390 | 2018-04-27 | ||
JP2018087390 | 2018-04-27 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2019208256A1 true WO2019208256A1 (ja) | 2019-10-31 |
Family
ID=68295410
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2019/015902 WO2019208256A1 (ja) | 2018-04-27 | 2019-04-12 | 情報処理装置、情報処理方法、画像処理装置、画像処理方法、およびプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20210224963A1 (ja) |
JP (1) | JP7363772B2 (ja) |
WO (1) | WO2019208256A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3853810B1 (en) * | 2018-09-19 | 2023-10-25 | Dolby Laboratories Licensing Corporation | Automatic display management metadata generation for gaming and/or sdr+ contents |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015174108A1 (ja) * | 2014-05-15 | 2015-11-19 | ソニー株式会社 | 通信装置及び通信方法、並びにコンピューター・プログラム |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6824055B2 (ja) | 2016-03-02 | 2021-02-03 | シャープ株式会社 | 受信装置および放送システム |
JP6844112B2 (ja) | 2016-03-17 | 2021-03-17 | ソニー株式会社 | 情報処理装置、情報記録媒体、および情報処理方法、並びにプログラム |
-
2019
- 2019-04-12 JP JP2020516226A patent/JP7363772B2/ja active Active
- 2019-04-12 WO PCT/JP2019/015902 patent/WO2019208256A1/ja active Application Filing
- 2019-04-12 US US17/049,203 patent/US20210224963A1/en not_active Abandoned
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015174108A1 (ja) * | 2014-05-15 | 2015-11-19 | ソニー株式会社 | 通信装置及び通信方法、並びにコンピューター・プログラム |
Non-Patent Citations (1)
Title |
---|
ANONYMOUS: "ATSC Candidate Standard: A/341 Amendment - 2094- 40", ATSC ADVANCED TELEVISION SYSTEMS COMMITEE, 20 February 2018 (2018-02-20), pages 1 - 10, XP055647428, Retrieved from the Internet <URL:https://www.atsc.org/wp-content/uploads/2018/02/S34-301r2-A341-Amendment-2094-40.pdf> [retrieved on 20190521] * |
Also Published As
Publication number | Publication date |
---|---|
JP7363772B2 (ja) | 2023-10-18 |
JPWO2019208256A1 (ja) | 2021-04-30 |
US20210224963A1 (en) | 2021-07-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10992898B2 (en) | Display method and display device | |
US10891722B2 (en) | Display method and display device | |
CN110545413B (zh) | 用于执行高动态范围视频的色调映射的方法及装置 | |
US9672603B2 (en) | Image processing apparatus, image processing method, display apparatus, and control method for display apparatus for generating and displaying a combined image of a high-dynamic-range image and a low-dynamic-range image | |
KR101234958B1 (ko) | 적응성 콘트래스트 개선 | |
US11122245B2 (en) | Display apparatus, method for controlling the same and image providing apparatus | |
US11410343B2 (en) | Information processing apparatus, information processing method, and non-transitory computer readable medium | |
CN109661806B (zh) | 图像处理装置、图像处理方法和程序 | |
CN107409191B (zh) | 信号处理装置、录像再生装置、信号处理方法以及存储介质 | |
CN108141576B (zh) | 显示装置及其控制方法 | |
KR102344334B1 (ko) | 영상을 처리하기 위한 방법 및 디스플레이 장치 | |
US7684638B2 (en) | Dynamic image contrast enhancement device | |
US10904607B2 (en) | Video content controller and associated method | |
WO2019208256A1 (ja) | 情報処理装置、情報処理方法、画像処理装置、画像処理方法、およびプログラム | |
KR101912969B1 (ko) | 화상 출력 장치, 화상 출력 방법 및 프로그램 | |
WO2016181584A1 (ja) | 表示方法および表示装置 | |
WO2021079770A1 (ja) | 情報処理システム、情報処理方法、およびプログラム | |
WO2018003665A1 (ja) | 画像処理装置、画像処理方法、制御プログラム、および記録媒体 | |
CN114567813A (zh) | 画质提升方法、装置、播放设备及计算机可读存储介质 | |
WO2019044171A1 (ja) | 映像処理装置、表示装置、映像処理方法、制御プログラム、および記録媒体 | |
JP6980858B2 (ja) | 表示方法および表示装置 | |
US20220301126A1 (en) | Image processing apparatus, display apparatus, image processing method, and non-transitory computer readable medium | |
US20220199054A1 (en) | Image generation apparatus and image generation method | |
WO2020039956A1 (ja) | 表示装置、信号処理装置、及び信号処理方法 | |
JP2023168073A (ja) | 画像処理装置および画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19791746 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2020516226 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 19791746 Country of ref document: EP Kind code of ref document: A1 |