WO2023095718A1 - 映像処理方法、映像処理装置、及び、プログラム - Google Patents

映像処理方法、映像処理装置、及び、プログラム Download PDF

Info

Publication number
WO2023095718A1
WO2023095718A1 PCT/JP2022/042774 JP2022042774W WO2023095718A1 WO 2023095718 A1 WO2023095718 A1 WO 2023095718A1 JP 2022042774 W JP2022042774 W JP 2022042774W WO 2023095718 A1 WO2023095718 A1 WO 2023095718A1
Authority
WO
WIPO (PCT)
Prior art keywords
video
luminance
tone map
region
image
Prior art date
Application number
PCT/JP2022/042774
Other languages
English (en)
French (fr)
Inventor
和彦 甲野
俊哉 則竹
圭祐 信野
Original Assignee
パナソニックIpマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックIpマネジメント株式会社 filed Critical パナソニックIpマネジメント株式会社
Priority to JP2023563658A priority Critical patent/JPWO2023095718A1/ja
Priority to CN202280074626.XA priority patent/CN118266205A/zh
Publication of WO2023095718A1 publication Critical patent/WO2023095718A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/20Circuitry for controlling amplitude response
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/57Control of contrast or brightness
    • H04N5/58Control of contrast or brightness in dependence upon ambient light

Definitions

  • the present disclosure provides a video processing method and the like that can adjust the brightness of graphics.
  • a video processing method acquires a first video signal, and detects a first region including graphics different from the main video, from among regions of the first video indicated by the acquired first video signal. , tone map processing for calculating a first peak luminance of a second region excluding the first region from the region of the first video, and reducing luminance greater than the first peak luminance for the first video; and outputs a second video signal representing the second video after the tone map processing.
  • FIG. 1 is a diagram showing the configuration of an AV system according to Embodiment 1.
  • FIG. FIG. 2A is a diagram showing examples of EOTFs corresponding to HDR and SDR, respectively.
  • FIG. 2B is a diagram showing examples of OETFs corresponding to HDR and SDR, respectively.
  • 3 is a block diagram illustrating an example of a functional configuration of the video processing device according to Embodiment 1.
  • FIG. FIG. 4 is a diagram for explaining processing by the first converter, the tone map processor, and the second converter.
  • FIG. 5 is a diagram showing an example of video in which graphics (subtitles) are embedded.
  • FIG. 6 is a diagram showing an example of area division for detecting the first area from the video.
  • FIG. 14 is a flowchart illustrating an example of the operation (video processing method) of the video processing device according to Embodiment 1.
  • FIG. 15 is a block diagram illustrating an example of a functional configuration of a video processing device according to Embodiment 2.
  • FIG. 16 is a flowchart illustrating an example of the operation (video processing method) of the video processing device according to Embodiment 2.
  • a video playback device disclosed in Patent Document 1 generates a main video based on a main video signal, generates a sub-video based on sub-video information, and superimposes the sub-video on the main video. Outputs video to a display device. Therefore, the luminance of the main image and the sub-image can be adjusted independently, so that the luminance of the sub-image can be easily adjusted according to the luminance of the main image.
  • the first peak luminance of the second area excluding the first area including the graphics is calculated among the areas of the image, and the luminance greater than the first peak luminance is reduced for the image.
  • Performs tone map processing That is, the brightness in the video that is higher than the first peak brightness, which is the peak brightness of the main video, is reduced. Therefore, if the video includes an area having a higher luminance than the main video, that is, if the first area includes an area having a higher luminance than the main video, the luminance of the area having a higher luminance than the main video can be reduced. Therefore, it is possible to easily adjust the brightness of the first area including graphics according to the brightness of the main video.
  • the first video is a moving image having a plurality of frames, and the detection of the first region, the calculation of the first peak luminance, and the tone map processing are performed for each of the plurality of frames.
  • the video processing device executes processing for each of the plurality of frames included in the video, it is possible to perform tone map processing according to the luminance of each frame.
  • a second peak luminance of the sub-region is calculated, and the one Among the above sub-regions, a region obtained by integrating one or more sub-regions in which the second peak luminance is greater than a predetermined threshold may be detected as the first region.
  • the brightness of the graphics can be reduced without lowering the brightness of the main video.
  • the same value as the input value may be output as the output value when the input value of luminance is in the range of 0 or more and the first peak luminance or less.
  • an output value corresponding to the input value of luminance may be output.
  • the brightness of the graphics when the brightness of the graphics is higher than the brightness of the main video, the brightness of the graphics can be reduced so as not to cause discomfort.
  • non-transitory recording medium such as a system, an integrated circuit, a computer program, or a computer-readable CD-ROM. and any combination of non-transitory recording media.
  • Embodiment 1 (Embodiment 1) Embodiment 1 will be described below with reference to FIGS. 1 to 14. FIG.
  • FIG. 1 is a diagram showing the configuration of an AV system according to Embodiment 1.
  • FIG. 1 is a diagram showing the configuration of an AV system according to Embodiment 1.
  • the AV system 1 includes a video processing device 100 and a display device 200.
  • the video processing device 100 and the display device 200 are communicably connected to each other via a cable 300 compatible with a digital interface (for example, HDMI (registered trademark): High-Definition Multimedia Interface).
  • a digital interface for example, HDMI (registered trademark): High-Definition Multimedia Interface).
  • HDMI registered trademark
  • the video processing device 100 is a source device, for example, a recorder device capable of receiving high-definition broadcasting or 4K broadcasting and recording it on a recording medium such as a HDD (Hard Disk Drive) or an optical disk, or a recording device that is recorded on an optical disk. It is a playback device (Ultra HD Blu-ray (registered trademark) player) that plays back video data.
  • the video processing device 100 receives delivery of HDR-compatible video data by VOD (Video On Demand), and provides the received video data to the display device 200 by an Ultra HD Blu-ray (registered trademark) player or STB (Set Top Box).
  • the video processing device 100 converts the first video signal included in the first video data acquired from the optical disc or VOD into a second video signal, and transmits the second video data including the second video signal via the cable 300. Output to the display device 200 .
  • the display device 200 is a sink device, for example, a TV capable of displaying HDR video (hereinafter referred to as "HDR TV").
  • the display device 200 acquires the second video data via the cable 300 and displays the video (HDR video) of the second video signal included in the acquired second video data.
  • FIG. 2A is a diagram showing an example of EOTF corresponding to each of HDR and SDR.
  • (a) of FIG. 2A is a diagram showing an example of EOTF (PQ (Perceptual Quantizer) curve) compatible with HDR
  • (b) of FIG. 2A is an example of EOTF (gamma curve) compatible with SDR. It is a diagram.
  • the EOTF indicates the correspondence between code values and luminance values, and is used to convert code values to luminance values.
  • the EOTF is relational information indicating the correspondence between a plurality of code values and luminance values.
  • the OETF indicates the correspondence between luminance values and code values, and is used to convert luminance values to code values, contrary to EOTF.
  • the OETF is relationship information indicating the correspondence relationship between the luminance value and a plurality of code values.
  • the luminance value of an HDR-compatible video is represented by a 10-bit gradation code value
  • the luminance value in the HDR luminance range up to 10,000 nit is quantized into an integer value of 64 to 940 ( limited range).
  • the luminance value of an HDR-compatible video may be mapped to an integer value from 0 to 1023 (full range).
  • the first video signal in this example is an HDR signal compatible with HDR.
  • the image after grading is converted into a non-linear first video signal by using an HDR OETF, and image encoding or the like is performed based on the first video signal to generate a video stream.
  • the display device 200 converts the decoded result of the stream into a linear signal by using EOTF of HDR to display HDR video.
  • FIG. 3 is a block diagram showing an example of the functional configuration of the video processing device according to Embodiment 1. As shown in FIG.
  • the video processing device 100 includes an acquisition unit 110, a YCbCr-RGB conversion unit 120, a first conversion unit 130, a detection unit 140, a calculation unit 150, a tone map processing unit 160, It comprises a second conversion section 170 , an RGB-YCbCr conversion section 180 and an output section 190 .
  • the acquisition unit 110 acquires the first video data including the non-linear first video signal generated by the first OETF.
  • the first video signal is an HDR video signal.
  • the acquisition unit 110 may acquire the first video data by reproducing the first video data recorded on the optical disc, or may distribute the HDR-compatible first video data via the network.
  • the first video data may be obtained by receiving from an external device such as a server via a network, or may be obtained from a broadcast wave received by an antenna (not shown).
  • the acquisition unit 110 may be implemented, for example, by an optical disk drive that reads and reproduces data recorded on an optical disk, or by a communication interface for connecting to a content provider via a network such as the Internet. may be implemented.
  • the acquisition unit 110 may be realized by a tuner or the like that decodes the first video data from the broadcast wave.
  • the first video indicated by the first video signal is graphics superimposed on the main video, that is, graphics embedded in the main video.
  • the first video indicated by the first video signal does not necessarily have graphics embedded in the main video.
  • the image processing apparatus 100 can adjust the brightness of the graphics according to the brightness of the main image in the case of the image in which the graphics are embedded.
  • the first video indicated by the first video signal may be a moving image having a plurality of frames.
  • a first conversion unit 130, a detection unit 140, a calculation unit 150, a tone map processing unit 160, a second conversion unit 170, and an RGB-YCbCr conversion unit 180, which will be described later, perform processing on each of a plurality of frames.
  • the output unit 190 may execute processing for each of a plurality of frames, or may execute processing in units of a plurality of frames.
  • the YCbCr-RGB converter 120 converts a video signal composed of YCbCr signals into RGB signals.
  • the YCbCr-RGB converter 120 converts the first video signal from a YCbCr signal to an RGB signal, and outputs a first RGB signal including a first R signal, a first G signal and a first B signal by conversion.
  • FIG. 4 is a diagram for explaining the processing by the first conversion unit 130, the tone map processing unit 160, and the second conversion unit 170.
  • FIG. 4 is a diagram for explaining the processing by the first conversion unit 130, the tone map processing unit 160, and the second conversion unit 170.
  • the first conversion unit 130 converts the first RGB signals into linear signals using EOTF, as shown in FIG. 4(a).
  • This EOTF is the inverse characteristic of the first OETF.
  • the first conversion section 130 converts the first R signal, the first G signal, and the first B signal included in the first RGB signal into linear signals using EOTF.
  • the detection unit 140 detects a first area including graphics different from the main image, among the areas of the first image indicated by the first RGB signals.
  • the detection unit 140 may detect the first area from a predetermined third area that is highly likely to include graphics in the first image.
  • FIG. 5 A specific example of the method for detecting the first area will now be described with reference to FIGS. 5 to 8.
  • FIG. 5 A specific example of the method for detecting the first area will now be described with reference to FIGS. 5 to 8.
  • FIG. 5 A specific example of the method for detecting the first area will now be described with reference to FIGS. 5 to 8.
  • FIG. 5 A specific example of the method for detecting the first area will now be described with reference to FIGS. 5 to 8.
  • FIG. 5 is a diagram showing an example of a video in which graphics (subtitles) are embedded.
  • FIG. 6 is a diagram showing an example of area division for detecting the first area from the video.
  • FIG. 7 is a diagram showing an example of a histogram of blocks containing graphics.
  • FIG. 8 is a diagram showing an example of detecting the area including the graphics in FIG. 5 as the first area.
  • FIG. 8 includes only captions 402 as graphics in the video 400 shown in FIG.
  • a video 400 is a video in which subtitles 402 are embedded in a main video 401, and is an example of a first video. Subtitles 402 are often placed in the lower region of video 400 . Therefore, as shown in FIG. 6, the third area 420 is set in the area below the area 410 . Region 410 corresponds to the entire region of image 400 . The area 410 may be divided into 64 blocks 411 of 8 ⁇ 8 in length and width, for example. 3 area 420 is set. In FIG. 6, the third area 420 is the area surrounded by dashed lines. The 12 blocks 421 are an example of one or more subregions. That is, the third area 420 is not limited to including 12 blocks 421, and may include one or more blocks (sub-areas).
  • the detection unit 140 calculates the second peak luminance of each of 12 blocks 421 forming a predetermined third area 420 in the image 400 . Specifically, as shown in FIG. 7, the detection unit 140 calculates the luminance value of each of the plurality of pixels from the pixel value of each of the plurality of pixels included in each block 421, and calculates the luminance value of each of the plurality of pixels included in each block 421. pixels and their luminance values, a histogram is generated in which the frequency on the vertical axis is the number of pixels and the class on the horizontal axis is the luminance value. Using the generated histogram, the detection unit 140 removes, as noise, the luminance values of the pixels up to the first number rank in descending order of luminance value.
  • the detection unit 140 calculates the maximum luminance value among the plurality of pixels after noise removal as the second peak luminance.
  • the first number may be determined based on a first ratio, which is the ratio of the first number to the total number of pixels in the block. That is, the first number may be calculated by multiplying the number of all pixels in the block by the first ratio.
  • the detection unit 140 does not necessarily have to generate a histogram for calculating the second peak luminance.
  • the luminance values of one number of pixels may be removed as noise.
  • the detection unit 140 may calculate the maximum luminance value among the plurality of pixels of each block 421 as the second peak luminance without performing noise removal.
  • the detection unit 140 determines whether or not the calculated second peak luminance is greater than a predetermined threshold (for example, 180 nit).
  • a predetermined threshold for example, 180 nit.
  • the detection unit 140 determines that graphics are included in the block 421 for which the second peak luminance has been calculated.
  • the detection unit 140 determines that graphics are not included in the block 421 for which the second peak luminance was calculated.
  • the detection unit 140 detects one or more blocks 423 among the 12 blocks 421 whose second peak luminance is determined to be greater than a predetermined threshold value, that is, includes graphics.
  • a region obtained by integrating the determined one or more blocks 423 is detected as a first region 422 . That is, the first area 422 is composed of one or more blocks 423 .
  • One or more blocks 424 determined not to contain graphics among the 12 blocks 421 forming the third region 420 are regions containing the main video together with regions other than the third region 420 of the region 410 . (that is, treated as the second area).
  • the calculation unit 150 calculates the first peak luminance of the second region 412 of the image 400. Specifically, as shown in FIG. 10, the calculation unit 150 calculates the luminance value of each of the plurality of pixels from the pixel value of each of the plurality of pixels included in the second region 412 of the image 400. Based on the plurality of pixels of the second region 412 and their luminance values, a histogram is generated in which the frequency on the vertical axis is the number of pixels and the class on the horizontal axis is the luminance value. Using the generated histogram, the calculation unit 150 removes, as noise, the luminance values of the pixels up to the second number rank in descending order of luminance value.
  • the calculation unit 150 calculates the maximum luminance value among the plurality of pixels after noise removal as the first peak luminance.
  • the second number may be determined based on a second ratio, which is the ratio of the second number to the total number of pixels that the second region 412 has. That is, the second number may be calculated by multiplying the number of all pixels included in the second region 412 by the second ratio.
  • the tone map processing unit 160 performs tone map processing on the linear signal obtained by the first conversion unit 130 according to the first peak luminance calculated by the calculation unit 150. I do. Specifically, as tone map processing, tone map processing section 160 does not reduce the luminance of which the input value is equal to or less than the first peak luminance with respect to the first video indicated by the first video signal converted into the linear signal. , a process of reducing the luminance higher than the first peak luminance is performed. The tone map processing unit 160 performs tone map processing on each of all the plurality of pixels forming the first video indicated by the first video signal.
  • the tone map processing unit 160 outputs the same value as the input value as the output value when the input value of luminance is in the range of 0 to the first peak luminance. Further, tone map processing section 160 outputs a value smaller than the input value as an output value in a range in which the input value of luminance is greater than the first peak luminance. For example, in the range where the luminance input value is greater than the first peak luminance, the tone map processing unit 160 increases the output value at an increasing rate that decreases with respect to the increase in the input value as the luminance input value increases. In the correspondence relationship between the input value and the output value, an output value corresponding to the input value of luminance may be output.
  • tone map processing section 160 performs dynamic tone map processing in which the correspondence used in tone map processing changes when the first peak luminance calculated by calculation section 150 changes. For example, among the plurality of tone curves shown in FIG. 11, the tone map processing unit 160 performs tone map processing using a tone curve with a larger maximum output value as the first peak luminance increases.
  • tone map processing section 160 applies the tone map described above to linear signals obtained by converting each of the first R signal, the first G signal, and the first B signal using the EOTF. process.
  • FIG. 12 is a diagram for explaining an example of tone map processing when the first image is a dark scene.
  • FIG. 13 is a diagram for explaining an example of tone map processing when the first image is a bright scene.
  • the tone map processing unit 160 sets the subtitle luminance to the peak of the main video other than the subtitles. Since it is higher than the luminance (first peak luminance), it is possible to reduce the luminance of the caption without reducing the luminance of the main video by performing tone map processing to reduce the luminance higher than the first peak luminance. Also, as shown in FIG. 12, as shown in FIG. 12, when the first video is a dark scene (that is, when the first peak luminance is smaller than the subtitle luminance), the tone map processing unit 160 sets the subtitle luminance to the peak of the main video other than the subtitles. Since it is higher than the luminance (first peak luminance), it is possible to reduce the luminance of the caption without reducing the luminance of the main video by performing tone map processing to reduce the luminance higher than the first peak luminance. Also, as shown in FIG.
  • the tone map processing unit 160 sets the subtitle luminance to the peak luminance of the main video (the first 1 peak luminance), even if tone map processing is performed to reduce luminance greater than the first peak luminance, the luminance of the main video and subtitles is not reduced.
  • tone map processing unit 160 performs tone map processing using a conversion curve corresponding to the first peak luminance, tone map processing is performed according to the relationship between the peak luminance of the main video and the luminance of the caption. be able to.
  • the second conversion unit 170 converts the processed linear signal obtained by performing the tone map processing in the tone map processing unit 160 using the second OETF.
  • a second video signal is generated. That is, the second video signal indicates the second video after tone map processing.
  • second conversion section 170 converts each of RGB of the processed linear signal composed of RGB signals using the second OETF.
  • a second R signal, a second G signal and a second B signal are generated as a result of the conversion using the second OETF in the second conversion unit 170, and a second signal including the generated second R signal, the second G signal and the second B signal is generated. Outputs video signals.
  • the first video signal input to the first conversion unit 130 may be an HDR signal with PQ characteristics or an HDR signal with HLG (Hybrid Log-Gamma) characteristics.
  • the first converter 130 converts the non-linear first video signal into a linear signal using the EOTF of PQ as the EOTF.
  • the first conversion unit 130 converts the non-linear first video signal into a linear signal using the inverse characteristics of the HLG OETF as the EOTF.
  • the second video signal output from the second conversion unit 170 may be a PQ-characteristic HDR signal or an HLG-characteristic HDR signal.
  • the second conversion unit 170 may output, for example, an HDR signal with characteristics that the display device 200 supports.
  • the second conversion unit 170 When outputting an HDR signal with PQ characteristics as the second video signal, the second conversion unit 170 generates a non-linear second video signal using the inverse characteristics of the EOTF of PQ as the second OETF.
  • the second conversion unit 170 uses an HLG OETF as the second OETF to generate a non-linear second video signal.
  • the first OETF and the second OETF may be the same or different.
  • the first video signal is an HDR signal, it is not limited to this, and may be an SDR signal generated by an OETF ((b) in FIG. 2B) that supports SDR.
  • an EOTF corresponding to SDR ((b) in FIG. 2A) is used as the EOTF.
  • an OETF corresponding to SDR is used as the second OETF.
  • each of the YCbCr-RGB conversion unit 120, the first conversion unit 130, the detection unit 140, the calculation unit 150, the tone map processing unit 160, and the second conversion unit 170 is, for example, a processor that executes a program and a It may be implemented by a built-in memory or may be implemented by a dedicated circuit.
  • the RGB-YCbCr conversion unit 180 converts a video signal composed of RGB signals into a YCbCr signal.
  • the RGB-YCbCr converter 180 converts the second video signal output from the second converter 170 from an RGB signal to a YCbCr signal.
  • the RGB-YCbCr converter 180 outputs the second video signal composed of the YCbCr signals obtained by the conversion.
  • the RGB-YCbCr conversion unit 180 may be implemented by, for example, a processor that executes a program and a memory in which the program is recorded, or may be implemented by a dedicated circuit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

映像処理方法は、第1映像信号を取得し(S101)、取得した第1映像信号が示す第1映像の領域のうちで、主映像とは異なるグラフィックスが含まれる第1領域を検出し(S104)、第1映像の領域から第1領域を除いた第2領域の第1ピーク輝度を算出し(S105)、第1映像に対して、第1ピーク輝度よりも大きい輝度を低減するトーンマップ処理を行い(S106)、トーンマップ処理後の第2映像を示す第2映像信号を出力する(S109)。

Description

映像処理方法、映像処理装置、及び、プログラム
 本開示は、映像処理方法、映像処理装置、及び、プログラムに関する。
 特許文献1には、映像信号から主映像信号及び字幕などの副映像情報を抽出し、主映像に副映像を付加して、外部の表示装置に出力する映像再生装置が開示されている。
特開2004-194311号公報 特開2011-015068号公報
 しかしながら、上記特許文献1の技術では、字幕などの副映像(グラフィックス)が埋め込まれている映像において副映像の輝度を調整することが難しい。
 本開示は、グラフィックスの輝度を調整することができる映像処理方法などを提供する。
 本開示における映像処理方法は、第1映像信号を取得し、取得した前記第1映像信号が示す第1映像の領域のうちで、主映像とは異なるグラフィックスが含まれる第1領域を検出し、前記第1映像の領域から前記第1領域を除いた第2領域の第1ピーク輝度を算出し、前記第1映像に対して、前記第1ピーク輝度よりも大きい輝度を低減するトーンマップ処理を行い、前記トーンマップ処理後の第2映像を示す第2映像信号を出力する。
 また、本開示における映像処理装置は、第1映像信号を取得する取得部と、前記取得部により取得された前記第1映像信号が示す第1映像の領域のうちで、主映像とは異なるグラフィックスが含まれる第1領域を検出する検出部と、前記第1映像の領域から前記第1領域を除いた第2領域の第1ピーク輝度を算出する算出部と、前記第1映像に対して、前記第1ピーク輝度よりも大きい輝度を低減するトーンマップ処理を行うトーンマップ処理部と、前記トーンマップ処理後の第2映像を示す第2映像信号を出力する出力部と、を備える。
 なお、これらの全般的または具体的な態様は、システム、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD-ROMなどの記録媒体で実現されてもよく、装置、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
 本開示における映像処理方法などによれば、映像に埋め込まれているグラフィックスの輝度を調整できる。
図1は、実施の形態1に係るAVシステムの構成を示す図である。 図2Aは、HDRおよびSDRのそれぞれに対応したEOTFの例について示す図である。 図2Bは、HDRおよびSDRのそれぞれに対応したOETFの例について示す図である。 図3は、実施の形態1に係る映像処理装置の機能構成の一例を示すブロック図である。 図4は、第1変換部、トーンマップ処理部および第2変換部による処理について説明するための図である。 図5は、グラフィックス(字幕)が埋め込まれている映像の一例を示す図である。 図6は、映像から第1領域を検出するための領域分割の一例を示す図である。 図7は、グラフィックスを含むブロックのヒストグラムの一例を示す図である。 図8は、図5のグラフィックスを含む領域を第1領域として検出した例を示す図である。 図9は、検出部により検出された第1領域及び第2領域の一例を示す図である。 図10は、第2領域のヒストグラムの一例を示す図である。 図11は、トーンマップ処理で利用される複数のトーンカーブの一例を示す図である。 図12は、映像が暗いシーンである場合のトーンマップ処理の一例を説明するための図である。 図13は、映像が明るいシーンである場合のトーンマップ処理の一例を説明するための図である。 図14は、実施の形態1に係る映像処理装置の動作(映像処理方法)の一例を示すフローチャートである。 図15は、実施の形態2に係る映像処理装置の機能構成の一例を示すブロック図である。 図16は、実施の形態2に係る映像処理装置の動作(映像処理方法)の一例を示すフローチャートである。
 (本開示の基礎となった知見)
 本発明者は、「背景技術」の欄において記載した、映像再生装置に関し、以下の問題が生じることを見出した。
 特許文献1に開示されている映像再生装置は、主映像信号に基づいて主映像を生成し、副映像情報に基づいて副映像を生成し、主映像に副映像を重畳することで得られた映像を表示装置に出力する。このため、主映像及び副映像のそれぞれに対して独立して輝度調整を行うことができるため、主映像の輝度に応じて副映像の輝度を容易に調整することができる。
 しかしながら、この映像再生装置は、既に副映像が主映像に重畳されて生成された映像の映像信号を取得した場合、この映像信号は、副映像情報を含まず、副映像が埋め込まれている映像であるため、主映像及び副映像のそれぞれに対して独立して輝度調整を行うことが難しい。よって、主映像の輝度に応じて副映像の輝度を調整することが難しい。
 上記課題を解決するために、本開示における映像処理装置は、第1映像信号を取得し、取得した前記第1映像信号が示す第1映像の領域のうちで、主映像とは異なるグラフィックスが含まれる第1領域を検出し、前記第1映像の領域から前記第1領域を除いた第2領域の第1ピーク輝度を算出し、前記第1映像に対して、前記第1ピーク輝度よりも大きい輝度を低減するトーンマップ処理を行い、前記トーンマップ処理後の第2映像を示す第2映像信号を出力する。
 これによれば、映像の領域のうちで、グラフィックスが含まれる第1領域を除いた第2領域の第1ピーク輝度を算出し、映像に対して、第1ピーク輝度よりも大きい輝度を低減するトーンマップ処理を行う。つまり、映像のうちで、主映像のピーク輝度である第1ピーク輝度よりも大きい輝度を低減する。このため、映像に主映像よりも大きい輝度を有する領域が含まれる場合、つまり、第1領域に主映像よりも大きい輝度を有する領域が含まれる場合、主映像よりも大きい輝度を有する領域の輝度を低減することができる。よって、主映像の輝度に応じて、グラフィックスが含まれる第1領域の輝度を調整することが容易にできる。
 また、前記第1映像は、複数のフレームを有する動画像であり、前記第1領域の検出、前記第1ピーク輝度の算出、及び、前記トーンマップ処理は、前記複数のフレームのそれぞれについて実行されてもよい。
 これによれば、映像処理装置は、映像に含まれる複数のフレームのそれぞれについて、処理を実行するため、各フレームが有する輝度に応じたトーンマップ処理を行うことができる。
 また、前記第1領域の検出では、前記第1映像のうち、予め定められた第3領域を構成する1以上のサブ領域のそれぞれについて、当該サブ領域の第2ピーク輝度を算出し、前記1以上のサブ領域のうち、前記第2ピーク輝度が所定の閾値よりも大きい1以上のサブ領域を統合した領域を前記第1領域として検出してもよい。
 このため、グラフィックスが含まれる第1領域を、複雑な処理を行うことなく容易に検出することができる。
 また、前記トーンマップ処理では、前記第1ピーク輝度以下の輝度を低減しなくてもよい。
 このため、主映像の輝度を低下させることなく、グラフィックスの輝度が主映像の輝度よりも大きい場合には、グラフィックスの輝度を低減することができる。
 また、前記トーンマップ処理では、輝度の入力値が0以上前記第1ピーク輝度以下の範囲では当該入力値と同じ値を出力値として出力してもよい。
 このため、主映像の輝度を維持したまま、グラフィックスの輝度が主映像の輝度よりも大きい場合には、グラフィックスの輝度を低減することができる。
 また、前記トーンマップ処理では、輝度の入力値が前記第1ピーク輝度より大きい範囲では、輝度の入力値が増加するほど、輝度の出力値が入力値の増加に対して小さくなる増加率で増加する対応関係において、輝度の入力値に対応する出力値を出力してもよい。
 このため、グラフィックスの輝度が主映像の輝度よりも大きい場合には、グラフィックスの輝度を違和感が生じにくいように低減することができる。
 また、本開示における映像処理装置は、第1映像信号を取得する取得部と、前記取得部により取得された前記第1映像信号が示す第1映像の領域のうちで、主映像とは異なるグラフィックスが含まれる第1領域を検出する検出部と、前記第1映像の領域から前記第1領域を除いた第2領域の第1ピーク輝度を算出する算出部と、前記第1映像に対して、前記第1ピーク輝度よりも大きい輝度を低減するトーンマップ処理を行うトーンマップ処理部と、前記トーンマップ処理後の第2映像を示す第2映像信号を出力する出力部と、を備える。
 これによれば、映像の領域のうちで、グラフィックスが含まれる第1領域を除いた第2領域の第1ピーク輝度を算出し、映像に対して、第1ピーク輝度よりも大きい輝度を低減するトーンマップ処理を行う。つまり、映像のうちで、主映像のピーク輝度である第1ピーク輝度よりも大きい輝度を低減する。このため、映像に主映像よりも大きい輝度を有する領域が含まれる場合、つまり、第1領域に主映像よりも大きい輝度を有する領域が含まれる場合、主映像よりも大きい輝度を有する領域の輝度を低減することができる。よって、主映像の輝度に応じて、グラフィックスが含まれる第1領域の輝度を調整することが容易にできる。
 なお、これらの全般的または具体的な態様は、システム、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD-ROMなどの非一時的な記録媒体で実現されてもよく、システム、集積回路、コンピュータプログラム及び非一時的な記録媒体の任意な組み合わせで実現されてもよい。
 以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
 なお、発明者は、当業者が本開示を十分に理解するために添付図面及び以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。
 (実施の形態1)
 以下、図1~図14を用いて、実施の形態1を説明する。
 [1-1.構成]
 図1は、実施の形態1に係るAVシステムの構成を示す図である。
 図1に示すように、AVシステム1は、映像処理装置100と表示装置200とを備える。映像処理装置100と表示装置200とは、デジタルインタフェース(例えばHDMI(登録商標):High-Definition Multimedia Interface)に対応したケーブル300により相互に通信可能に接続されている。なお、映像処理装置100と表示装置200とは、デジタルインタフェースを用いて接続されていればよく、接続形態は、有線であるか無線であるかを問わない。
 映像処理装置100は、ソース機器であり、例えば、ハイビジョン放送または4K放送を受信してHDD(Hard Disk Drive)または光ディスクなどの記録媒体に録画することができるレコーダ機器、または、光ディスクに記録されている映像データを再生する再生装置(Ultra HD Blu-ray(登録商標)プレーヤ)である。映像処理装置100は、HDRに対応した映像データの配信をVOD(Video On Demand)により受信し、表示装置200に受信した映像データを提供するUltra HD Blu-ray(登録商標)プレーヤまたはSTB(Set Top Box)であってもよい。映像処理装置100は、光ディスクまたはVODから取得した第1映像データに含まれる第1映像信号を第2映像信号に変換し、当該第2映像信号を含む第2映像データを、ケーブル300を介して表示装置200に出力する。
 表示装置200は、シンク機器であり、例えば、HDR映像を表示することが可能なTV(以下、「HDR TV」という。)である。表示装置200は、ケーブル300を介して第2映像データを取得し、取得した第2映像データに含まれる第2映像信号の映像(HDR映像)を表示する。
 ここで、EOTFについて、図2Aおよび図2Bを用いて説明する。
 図2Aは、HDRおよびSDRのそれぞれに対応したEOTFの例について示す図である。図2Aの(a)は、HDRに対応したEOTFの例(PQ(Perceptual Quantizer)カーブ)を示す図であり、図2Aの(b)は、SDRに対応したEOTFの例(ガンマカーブ)を示す図である。
 図2Aに示すように、EOTFは、コード値と輝度値との対応を示し、コード値を輝度値に変換するために用いられる。つまり、EOTFは、複数のコード値と輝度値との対応関係を示す関係情報である。
 また、図2Bは、HDRおよびSDRのそれぞれに対応したOETFの例について示す図である。図2Bの(a)は、HDRに対応したOETFの例(PQカーブの逆特性)を示す図であり、図2Bの(b)は、SDRに対応したOETFの例(ガンマカーブの逆特性)を示す図である。
 OETFは、輝度値とコード値との対応を示し、EOTFとは逆に輝度値をコード値に変換するために用いられる。つまり、OETFは、輝度値と複数のコード値との対応関係を示す関係情報である。例えば、HDRに対応した映像の輝度値を10ビットの階調のコード値で表現する場合、10,000nitまでのHDRの輝度範囲における輝度値は、量子化されて、64~940の整数値(リミティッドレンジ)にマッピングされる。なお、HDRに対応した映像の輝度値は、0~1023の整数値(フルレンジ)にマッピングされてもよい。つまり、OETFに基づいて量子化することで、10,000nitまでの輝度範囲の輝度値(HDRに対応した映像の輝度値)を、10ビットのコード値であるHDR信号に変換する。HDRに対応したEOTF(以下、「HDRのEOTF」という。)またはHDRに対応したOETF(以下、「HDRのOETF」という。)においては、SDRに対応したEOTF(以下、「SDRのEOTF」という。)またはSDRに対応したOETF(以下、「SDRのOETF」という。)よりも高い輝度値を表現することが可能であり、例えば、図2Aおよび図2Bにおいては、輝度の最大値(ピーク輝度)は、10,000nitである。つまり、HDRは、SDRの輝度範囲を全て含み、HDRの輝度の最大値は、SDRの輝度の最大値より大きい。HDRは、SDRの最大値である100nitから、HDRの輝度の最大値(例えば10,000nit)へ、最大値を拡大したダイナミックレンジである。
 ここで、本例における第1映像信号はHDRに対応したHDR信号である。グレーディング後の画像は、HDRのOETFが用いられることで非リニアな第1映像信号に変換され、当該第1映像信号に基づいて画像符号化などが行われ、映像のストリームが生成される。例えば、表示装置200は、再生時には、ストリームの復号結果を、HDRのEOTFを用いて変換することによりリニアな信号に変換し、HDR映像を表示する。
 次に、映像処理装置100の機能構成について説明する。
 図3は、実施の形態1に係る映像処理装置の機能構成の一例を示すブロック図である。
 図3に示すように、映像処理装置100は、取得部110と、YCbCr-RGB変換部120と、第1変換部130と、検出部140と、算出部150と、トーンマップ処理部160と、第2変換部170と、RGB-YCbCr変換部180と、出力部190とを備える。
 取得部110は、第1のOETFで生成された非リニアな第1映像信号を含む第1映像データを取得する。第1映像信号は、HDR映像信号である。
 取得部110は、上述したように、光ディスクに記録されている第1映像データを再生することで第1映像データを取得してもよいし、HDRに対応した第1映像データの配信をネットワークを介してサーバなどの外部機器から受信することで、第1映像データを取得してもよいし、図示しないアンテナにより受信した放送波から第1映像データを取得してもよい。なお、取得部110は、例えば、光ディスクに記録されているデータを読み出して再生する光ディスクドライブにより実現されていてもよいし、インターネットなどのネットワークを介してコンテンツ・プロバイダに接続するための通信インタフェースにより実現されていてもよい。また、取得部110は、放送波から第1映像データを復号するチューナなどにより実現されていてもよい。
 なお、以降では、第1映像信号が示す第1映像は、主映像にグラフィックスが重畳されている、つまり、主映像にグラフィックスが埋め込まれている映像であることを前提として説明する。なお、第1映像信号が示す第1映像は、必ずしも主映像にグラフィックスが埋め込まれていなくてもよい。映像処理装置100は、グラフィックスが埋め込まれている映像の場合にグラフィックスの輝度を主映像の輝度に応じて調整することができる。
 また、第1映像信号が示す第1映像は、複数のフレームを有する動画像であってもよい。後述する第1変換部130と、検出部140と、算出部150と、トーンマップ処理部160と、第2変換部170と、RGB-YCbCr変換部180とでは、複数のフレームのそれぞれについて処理を実行する。なお、出力部190は、複数のフレームのそれぞれについて処理を実行してもよいし、複数フレーム単位で処理を実行してもよい。
 YCbCr-RGB変換部120は、YCbCr信号で構成される映像信号を、RGB信号に変換する。YCbCr-RGB変換部120は、第1映像信号を、YCbCr信号からRGB信号に変換し、変換することにより第1R信号、第1G信号および第1B信号を含む第1RGB信号を出力する。
 ここで、図4は、第1変換部130、トーンマップ処理部160および第2変換部170による処理について説明するための図である。
 第1変換部130は、図4の(a)に示すように、第1RGB信号を、EOTFを用いてリニア信号に変換する。このEOTFは、第1のOETFの逆特性である。本実施の形態では、第1変換部130は、第1RGB信号に含まれる第1R信号、第1G信号および第1B信号を、それぞれ、EOTFを用いてリニア信号に変換する。
 検出部140は、第1RGB信号が示す第1映像の領域のうちで、主映像とは異なるグラフィックスが含まれる第1領域を検出する。検出部140は、第1映像のうち、グラフィックスが含まれる可能性が高い予め定められた第3領域から第1領域を検出してもよい。
 ここで、第1領域の検出方法の具体例について図5~図8を用いて説明する。
 図5は、グラフィックス(字幕)が埋め込まれている映像の一例を示す図である。図6は、映像から第1領域を検出するための領域分割の一例を示す図である。図7は、グラフィックスを含むブロックのヒストグラムの一例を示す図である。図8は、図5のグラフィックスを含む領域を第1領域として検出した例を示す図である。なお、図8は、説明の便宜上、図5で示す映像400のうちのグラフィックスとしての字幕402のみを含む図としている。
 図5に示すように、映像400は、主映像401に字幕402が埋め込まれている映像であり、第1映像の一例である。字幕402は、映像400のうちの下部の領域に配置されることが多い。このため、図6に示すように、第3領域420は、領域410の下部の領域に設定される。領域410は、映像400の全領域に対応する。領域410は、例えば、縦横8×8の64個のブロック411に分割されていてもよく、そのうちの下2段で、1段当たり6個のブロックを含む計12個のブロック421の領域が第3領域420として設定される。図6では、第3領域420は、破線で囲まれた領域である。12個のブロック421は、1以上のサブ領域の一例である。つまり、第3領域420は、12個のブロック421を含むことに限らずに、1個以上のブロック(サブ領域)を含んでいればよい。
 検出部140は、映像400のうち、予め定められた第3領域420を構成する12個のブロック421のそれぞれについて、当該ブロックの第2ピーク輝度を算出する。具体的には、検出部140は、図7に示すように、各ブロック421に含まれる複数の画素のそれぞれの画素値から複数の画素のそれぞれの輝度値を算出し、各ブロック421が有する複数の画素及びこれらの輝度値に基づいて、縦軸の度数を画素数とし、横軸の階級を輝度値とするヒストグラムを生成する。検出部140は、生成したヒストグラムを用いて、輝度値が大きい順において上位第1の数の順位までの画素の輝度値をノイズとして除去する。検出部140は、ノイズ除去後の複数の画素のうち、最大の輝度値を第2ピーク輝度として算出する。なお、第1の数は、ブロックが有する全画素の数に対する第1の数の割合である第1の割合に基づいて決定されてもよい。つまり、第1の数は、ブロックが有する全画素の数に第1の割合を乗ずることで算出されてもよい。
 なお、検出部140は、第2ピーク輝度の算出に、必ずしもヒストグラムを生成しなくてもよく、各ブロック421の複数の画素を輝度値が大きい順に順位付けし、輝度値が大きい順において上位第1の数の画素の輝度値をノイズとして除去してもよい。また、検出部140は、ノイズ除去を行わずに、各ブロック421の複数の画素のうち最大の輝度値を第2ピーク輝度として算出してもよい。
 そして、検出部140は、算出した第2ピーク輝度が所定の閾値(例えば、180nit)よりも大きいか否かを判定する。検出部140は、第2ピーク輝度が所定の輝度値よりも大きい場合、当該第2ピーク輝度が算出されたブロック421にグラフィックスが含まれていると判定する。一方で、検出部140は、第2ピーク輝度が所定の輝度値以下の場合、当該第2ピーク輝度が算出されたブロック421にグラフィックスが含まれていないと判定する。
 そして、検出部140は、図8に示すように、12個のブロック421のうち、第2ピーク輝度が所定の閾値よりも大きいと判定された1以上のブロック423、つまり、グラフィックスを含むと判定された1以上のブロック423を統合した領域を第1領域422として検出する。つまり、第1領域422は、1以上のブロック423により構成される。また、第3領域420を構成する12個のブロック421のうち、グラフィックスを含まないと判定された1以上のブロック424は、領域410の第3領域420以外の領域と共に、主映像を含む領域(つまり、第2領域)として扱われる。
 このようにして、検出部140は、図9に示すように、映像400の領域のうちで、主映像とは異なるグラフィックスが含まれる第1領域422と、第1領域422を除いた第2領域412とを検出する。
 算出部150は、映像400の第2領域412の第1ピーク輝度を算出する。具体的には、算出部150は、図10に示すように、映像400の第2領域412に含まれる複数の画素のそれぞれの画素値から複数の画素のそれぞれの輝度値を算出し、映像400の第2領域412が有する複数の画素及びこれらの輝度値に基づいて、縦軸の度数を画素数とし、横軸の階級を輝度値とするヒストグラムを生成する。算出部150は、生成したヒストグラムを用いて、輝度値が大きい順において上位第2の数の順位までの画素の輝度値をノイズとして除去する。算出部150は、ノイズ除去後の複数の画素のうち、最大の輝度値を第1ピーク輝度として算出する。なお、第2の数は、第2領域412が有する全画素の数に対する第2の数の割合である第2の割合に基づいて決定されてもよい。つまり、第2の数は、第2領域412が有する全画素の数に第2の割合を乗ずることで算出されてもよい。
 トーンマップ処理部160は、図4の(b)に示すように、第1変換部130で得られたリニア信号に対して、算出部150により算出された第1ピーク輝度に応じたトーンマップ処理を行う。具体的には、トーンマップ処理部160は、トーンマップ処理として、リニア信号に変換された第1映像信号が示す第1映像に対して、入力値が第1ピーク輝度以下の輝度を低減せず、第1ピーク輝度よりも大きい輝度を低減する処理を行う。トーンマップ処理部160は、第1映像信号が示す第1映像を構成する全ての複数の画素のそれぞれに対して、トーンマップ処理を行う。
 例えば、トーンマップ処理部160は、輝度の入力値が0以上第1ピーク輝度以下の範囲では当該入力値と同じ値を出力値として出力する。また、トーンマップ処理部160は、輝度の入力値が第1ピーク輝度より大きい範囲では、入力値よりも小さい値を出力値として出力する。例えば、トーンマップ処理部160は、輝度の入力値が第1ピーク輝度より大きい範囲では、輝度の入力値が増加するほど、出力値が入力値の増加に対して小さくなる増加率で増加する、入力値及び出力値の対応関係において、輝度の入力値に対応する出力値を出力してもよい。つまり、トーンマップ処理部160は、算出部150により算出される第1ピーク輝度が変化すると、トーンマップ処理で用いる対応関係も変化する動的トーンマップ処理を行う。例えば、トーンマップ処理部160は、図11に示される複数のトーンカーブのうちで、第1ピーク輝度が大きくなるほど、最大の出力値が大きいトーンカーブを用いてトーンマップ処理を行うこととなる。
 なお、入力値及び出力値の対応関係は、トーンカーブで示されてもよいし、関係式で示されてもよいし、テーブルで示されてもよい。本実施の形態では、トーンマップ処理部160は、第1R信号、第1G信号および第1B信号のそれぞれがEOTFを用いて変換されることにより得られたリニア信号に対して上記で説明したトーンマップ処理を行う。
 ここで、第1ピーク輝度に応じたトーンマップ処理について、図12及び図13を用いて説明する。図12は、第1映像が暗いシーンである場合のトーンマップ処理の一例を説明するための図である。図13は、第1映像が明るいシーンである場合のトーンマップ処理の一例を説明するための図である。
 例えば、トーンマップ処理部160は、図12に示すように、第1映像が暗いシーンである場合(つまり、第1ピーク輝度が字幕輝度より小さい場合)、字幕輝度が字幕以外の主映像のピーク輝度(第1ピーク輝度)よりも大きいため、第1ピーク輝度より大きい輝度を低減するトーンマップ処理を行うことで、主映像の輝度を低下させずに字幕の輝度を低下させることができる。また、トーンマップ処理部160は、図13に示すように、第1映像が明るいシーンである場合(つまり、第1ピーク輝度が字幕輝度より大きい場合)、字幕輝度が主映像のピーク輝度(第1ピーク輝度)よりも小さいため、第1ピーク輝度より大きい輝度を低減するトーンマップ処理を行っても、主映像及び字幕の輝度を低下させない。このように、トーンマップ処理部160は、第1ピーク輝度に応じた変換カーブを用いてトーンマップ処理を行うため、主映像のピーク輝度と字幕の輝度との関係に応じたトーンマップ処理を行うことができる。
 第2変換部170は、図4の(c)に示すように、トーンマップ処理部160でトーンマップ処理が行われることにより得られた処理後リニア信号を、第2のOETFを用いて変換することで第2映像信号を生成する。つまり、第2映像信号は、トーンマップ処理後の第2映像を示す。本実施の形態では、第2変換部170は、RGB信号で構成される処理後リニア信号のRGBのそれぞれを、第2のOETFを用いて変換する。第2変換部170における第2のOETFを用いた変換の結果、第2R信号、第2G信号及び第2B信号を生成し、生成された第2R信号、第2G信号及び第2B信号を含む第2映像信号を出力する。
 なお、第1変換部130に入力される第1映像信号は、PQ特性のHDR信号であってもよいし、HLG(Hybrid Log-Gamma)特性のHDR信号であってもよい。第1映像信号が、PQ特性のHDR信号である場合、第1変換部130は、EOTFとしてPQのEOTFを用いて非リニアな第1映像信号をリニア信号に変換する。第1映像信号が、HLG特性のHDR信号である場合、第1変換部130は、EOTFとしてHLGのOETFの逆特性を用いて非リニアな第1映像信号をリニア信号に変換する。
 また、第2変換部170から出力される第2映像信号は、PQ特性のHDR信号であってもよいし、HLG特性のHDR信号であってもよい。第2変換部170は、例えば、表示装置200が対応している特性のHDR信号で出力すればよい。第2映像信号としてPQ特性のHDR信号を出力する場合、第2変換部170は、第2のOETFとしてPQのEOTFの逆特性を用いて非リニアな第2映像信号を生成する。第2映像信号としてHLG特性のHDR信号を出力する場合、第2変換部170は、第2のOETFとしてHLGのOETFを用いて非リニアな第2映像信号を生成する。
 このように、第1のOETFと第2のOETFとは、同じであってもよいし異なっていてもよい。
 なお、第1映像信号は、HDR信号であるとしたが、これに限らずに、SDRに対応したOETF(図2Bの(b))で生成されたSDR信号であってもよい。この場合、EOTFとして、SDRに対応したEOTF(図2Aの(b))が用いられる。また、第2のOETFとして、SDRに対応したOETFが用いられる。
 なお、YCbCr-RGB変換部120、第1変換部130、検出部140、算出部150、トーンマップ処理部160及び第2変換部170のそれぞれは、例えば、プログラムを実行するプロセッサおよび当該プログラムが記録されているメモリによって実現されてもよいし、専用回路により実現されてもよい。
 RGB-YCbCr変換部180は、RGB信号で構成される映像信号を、YCbCr信号に変換する。RGB-YCbCr変換部180は、第2変換部170において出力された、第2映像信号を、RGB信号からYCbCr信号に変換する。これにより、RGB-YCbCr変換部180は、変換することにより得られた、YCbCr信号で構成される第2映像信号を出力する。なお、RGB-YCbCr変換部180は、例えば、プログラムを実行するプロセッサおよび当該プログラムが記録されているメモリによって実現されてもよいし、専用回路により実現されてもよい。
 出力部190は、RGB-YCbCr変換部180において変換されることにより得られた第2映像信号を出力する。出力部190は、例えば、第2映像信号を表示装置200へ出力する。本実施の形態では、出力部190は、第2映像信号を含む第2映像データを出力する。出力部190は、例えば、デジタルインタフェースによって実現されてもよい。
 [1-2.動作]
 以上のように構成された映像処理装置100について、その動作を以下に説明する。
 図14は、実施の形態1に係る映像処理装置の動作(映像処理方法)の一例を示すフローチャートである。
 映像処理装置100は、第1映像信号を取得する(S101)。ステップS101は、取得部110により実行される処理である。
 次に、映像処理装置100は、取得部110において取得された第1映像信号を、YCbCr信号から、RGB信号に変換する(S102)。ステップS102は、YCbCr-RGB変換部120により実行される処理である。
 次に、映像処理装置100は、RGB信号に変換された第1映像信号を、第1のOETFの逆特性を用いてリニア信号に変換する(S103)。ステップS103は、第1変換部130により実行される処理である。
 次に、映像処理装置100は、リニア信号に変換された第1映像信号が示す映像400の領域のうちで、主映像とは異なるグラフィックスが含まれる第1領域422(グラフィックス領域)を検出する(S104)。ステップS104は、検出部140により実行される処理である。
 次に、映像処理装置100は、映像400の領域から第1領域422を除いた第2領域412の第1ピーク輝度を算出する(S105)。ステップS105は、算出部150により実行される処理である。
 次に、映像処理装置100は、リニア信号に変換された第1映像信号が示す映像400に対して、第1ピーク輝度よりも大きい輝度を低減するトーンマップ処理を行う(S106)。ステップS106は、トーンマップ処理部160により実行される処理である。
 なお、ステップS104及びS105と、ステップS106とは、この順で行われなくてもよく、ステップS106がステップS104よりも前に行われてもよいし、ステップS104及びS105とステップS106とが並行に行われてもよい。
 次に、映像処理装置100は、トーンマップ処理が行われることにより得られた処理後リニア信号を、第2のOETFを用いて変換することで第2映像信号を生成する(S107)。ステップS107は、第2変換部170により実行される処理である。
 次に、映像処理装置100は、第2映像信号を、RGB信号からYCbCr信号に変換する(S108)。ステップS108は、RGB-YCbCr変換部180により実行される処理である。
 次に、映像処理装置100は、RGB信号からYCbCr信号に変換された第2映像信号を出力する(S109)。ステップS109は、出力部190により実行される処理である。
 [1-3.効果など]
 本実施の形態に係る映像処理装置100は、取得部110と、検出部140と、算出部150と、トーンマップ処理部160と、出力部190とを備える。取得部110は、第1映像信号を取得する。検出部140は、取得部110により取得された第1映像信号が示す映像から主映像とは異なるグラフィックスが含まれる第1領域422を検出する。算出部150は、映像400の領域410から第1領域422を除いた第2領域412の第1ピーク輝度を算出する。トーンマップ処理部160は、映像に対して、第1ピーク輝度よりも大きい輝度を低減するトーンマップ処理を行う。出力部190は、トーンマップ処理後の映像を示す第2映像信号を出力する。
 これによれば、映像400の領域410のうちで、グラフィックスが含まれる第1領域422を除いた第2領域412の第1ピーク輝度を算出し、映像に対して、第1ピーク輝度よりも大きい輝度を低減するトーンマップ処理を行う。つまり、映像のうちで、主映像のピーク輝度である第1ピーク輝度よりも大きい輝度を低減する。このため、映像に主映像よりも大きい輝度を有する領域が含まれる場合、つまり、第1領域422に主映像よりも大きい輝度を有する領域が含まれる場合、主映像よりも大きい輝度を有する領域の輝度を低減することができる。よって、主映像の輝度に応じて、グラフィックスが含まれる第1領域422の輝度を調整することが容易にできる。
 また、本実施の形態に係る映像処理装置100において、映像400は、複数のフレームを有する動画像である。検出部140による第1領域422の検出、算出部150による第1ピーク輝度の算出、及び、トーンマップ処理部160によるトーンマップ処理は、複数のフレームのそれぞれについて実行される。
 これによれば、映像処理装置100は、映像に含まれる複数のフレームのそれぞれについて、処理を実行するため、各フレームが有する輝度に応じたトーンマップ処理を行うことができる。
 また、本実施の形態に係る映像処理装置100において、検出部140による第1領域422の検出では、映像400のうち、予め定められた第3領域420を構成する12個のブロック421のそれぞれについて、当該ブロック421の第2ピーク輝度を算出する。そして、第1領域422の検出では、さらに、12個のブロック421のうち、第2ピーク輝度が所定の閾値よりも大きい12個のブロック421を統合した領域を第1領域422として検出する。このため、グラフィックスが含まれる第1領域422を、複雑な処理を行うことなく容易に検出することができる。
 また、本実施の形態に係る映像処理装置100において、トーンマップ処理部160によるトーンマップ処理では、第1ピーク輝度以下の輝度を低減しない。このため、主映像の輝度を低下させることなく、グラフィックスの輝度が主映像の輝度よりも大きい場合には、グラフィックスの輝度を低減することができる。
 また、本実施の形態に係る映像処理装置100において、トーンマップ処理部160によるトーンマップ処理では、輝度の入力値が0以上第1ピーク輝度以下の範囲では入力値と出力値とが同じリニアの関係を有する。このため、主映像の輝度を維持したまま、グラフィックスの輝度が主映像の輝度よりも大きい場合には、グラフィックスの輝度を低減することができる。
 また、本実施の形態に係る映像処理装置100において、トーンマップ処理部160によるトーンマップ処理では、第1ピーク輝度よりも大きい輝度において、輝度が大きいほど低減幅が大きくなるように輝度を低減する。このため、グラフィックスの輝度が主映像の輝度よりも大きい場合には、グラフィックスの輝度を違和感が生じにくいように低減することができる。
 (実施の形態2)
 次に、図15および図16を用いて、実施の形態4を説明する。
 [2-1.構成]
 図15は、実施の形態2に係る映像処理装置の機能構成の一例を示すブロック図である。
 実施の形態2に係る映像処理装置101は、実施の形態1に係る映像処理装置100と比較して、YCbCr-RGB変換部120およびRGB-YCbCr変換部180が無く、第1変換部131、検出部141、トーンマップ処理部161、及び、第2変換部171がRGB信号の各信号に対応する処理を行わない点が異なる。映像処理装置101のその他の構成は、映像処理装置100と同様であるため、説明を省略する。
 第1変換部131は、第1Y信号に対してリニア信号への変換を行い、リニア信号に対してトーンマップ処理部161がトーンマップ処理を行い、第2変換部171が非リニア信号への変換を行う。また、検出部141は、リニア信号に対して検出処理を行う。これにより、第2変換部171は、第2Y信号を出力する。なお、取得部110において取得された第1映像信号のうちの色差信号を示す第1Cb信号および第1Cr信号は、第1変換部131、トーンマップ処理部161、及び、第2変換部171における各処理が行われることなく出力部190に出力される。
 出力部190は、第2Y信号、第1Cb信号および第1Cr信号により構成される第2映像信号を出力する。
 [2-2.動作]
 図16は、実施の形態2に係る映像処理装置の動作(映像処理方法)の一例を示すフローチャートである。
 実施の形態2の映像処理方法では、図14で示した実施の形態1の映像処理方法と比較して、ステップS102およびステップS108が省略されている点が異なる。映像処理方法のその他のステップは、実施の形態1と同様であるため、同じ符号を付し、説明を省略する。
 つまり、ステップS101、S103~S107、S109の処理が行われ、ステップS103、S106及びS107の処理は、YCbCr信号で構成される第1映像信号の第1Y信号に対して行われる。
 [2-3.効果など]
 本実施の形態に係る映像処理装置101では、YCbCr信号で構成される第1映像信号に対して変換処理を行うため、処理負荷を低減できる。
 (他の実施の形態)
 以上のように、本出願において開示する技術の例示として、実施の形態1及び2を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態1及び2で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
 そこで、以下、他の実施の形態を例示する。
 上記実施の形態では、トーンマップ処理部160は、輝度の入力値が第1ピーク輝度より大きい範囲では、輝度の入力値が増加するほど、出力値が入力値の増加に対して小さくなる増加率で増加する、入力値及び出力値の対応関係において、輝度の入力値に対応する出力値を出力するとしたが、これに限らない。対応関係は、輝度の入力値が第1ピーク輝度より大きい範囲では、輝度の入力値が増加するにしたがって出力値が増加しなくてもよく、出力値が一定の範囲を有していてもよい。
 上記実施の形態では、検出部140は、映像の領域のうちで、予め定められた第3領域から第1領域を検出するとしたがこれに限らない。検出部140は、映像の全画素について、所定の条件を満たす画素を含む領域をグラフィックスが含まれる第1領域として検出してもよい。所定の条件は、例えば、所定の色(例えば、白色)とみなすことができる画素値の範囲内の画素値を有することであってもよい。また、所定の条件は、さらに、上記の画素値の範囲内の画素が所定の数以上、隣接して配置されていることであってもよい。
 上記実施の形態では、グラフィックスとして字幕を例示したが、グラフィックスは字幕に限らずに、放送局または番組のロゴであってもよいし、主映像の周囲に表示される枠状の領域またはバー(矩形の領域)であってもよい。枠状の領域またはバーは、文字またはロゴを含んでいてもよい。グラフィックスは、映像の複数のフレームにおいて位置が変化しなくてもよいし、変化してもよい。なお、特許文献2に記載されている方法を用いてグラフィックスとして字幕を検出してもよい。
 上記実施の形態では、映像処理装置100、101は、表示装置200に接続されているソース機器を例示したが、これに限らずに、表示装置に含まれていてもよい。つまり、表示装置に含まれる映像処理装置が第1映像信号を第2映像信号に変換し、第2映像信号を表示装置のディスプレイ(表示部)に表示する、あるいは、外部のディスプレイに表示する構成であってもよい。
 なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPUまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の調整方法などを実現するソフトウェアは、次のようなプログラムである。
 すなわち、このプログラムは、コンピュータに、第1映像信号を取得し、取得した前記第1映像信号が示す第1映像の領域のうちで、主映像とは異なるグラフィックスが含まれる第1領域を検出し、前記第1映像の領域から前記第1領域を除いた第2領域の第1ピーク輝度を算出し、前記第1映像に対して、前記第1ピーク輝度よりも大きい輝度を低減するトーンマップ処理を行い、前記トーンマップ処理後の第2映像を示す第2映像信号を出力する映像処理方法を実行させる。
 以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
 したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
 また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
 本開示は、映像に埋め込まれているグラフィックスの輝度を調整できる映像処理装置などに適用可能である。具体的には、Ultra HD Blu-ray(登録商標)プレーヤ、STB、TV、モニター等に、本開示は適用可能である。
  1  AVシステム
100、101  映像処理装置
110  取得部
120  YCbCr-RGB変換部
130、131  第1変換部
140、141  検出部
150  算出部
160、161  トーンマップ処理部
170、171  第2変換部
180  RGB-YCbCr変換部
190  出力部
200  表示装置
300  ケーブル
400  映像
401  主映像
402  字幕
410  領域
411、421、423、424  ブロック
412  第2領域
420  第3領域
422  第1領域

Claims (8)

  1.  第1映像信号を取得し、
     取得した前記第1映像信号が示す第1映像の領域のうちで、主映像とは異なるグラフィックスが含まれる第1領域を検出し、
     前記第1映像の領域から前記第1領域を除いた第2領域の第1ピーク輝度を算出し、
     前記第1映像に対して、前記第1ピーク輝度よりも大きい輝度を低減するトーンマップ処理を行い、
     前記トーンマップ処理後の第2映像を示す第2映像信号を出力する
     映像処理方法。
  2.  前記第1映像は、複数のフレームを有する動画像であり、
     前記第1領域の検出、前記第1ピーク輝度の算出、及び、前記トーンマップ処理は、前記複数のフレームのそれぞれについて実行される
     請求項1に記載の映像処理方法。
  3.  前記第1領域の検出では、
      前記第1映像のうち、予め定められた第3領域を構成する1以上のサブ領域のそれぞれについて、当該サブ領域の第2ピーク輝度を算出し、
      前記1以上のサブ領域のうち、前記第2ピーク輝度が所定の閾値よりも大きい1以上のサブ領域を統合した領域を前記第1領域として検出する
     請求項1または2に記載の映像処理方法。
  4.  前記トーンマップ処理では、前記第1ピーク輝度以下の輝度を低減しない
     請求項1から3のいずれか1項に記載の映像処理方法。
  5.  前記トーンマップ処理では、輝度の入力値が0以上前記第1ピーク輝度以下の範囲では当該入力値と同じ値を出力値として出力する
     請求項4に記載の映像処理方法。
  6.  前記トーンマップ処理では、輝度の入力値が前記第1ピーク輝度より大きい範囲では、輝度の入力値が増加するほど、輝度の出力値が入力値の増加に対して小さくなる増加率で増加する対応関係において、輝度の入力値に対応する出力値を出力する
     請求項1から5のいずれか1項に記載の映像処理方法。
  7.  第1映像信号を取得する取得部と、
     前記取得部により取得された前記第1映像信号が示す第1映像の領域のうちで、主映像とは異なるグラフィックスが含まれる第1領域を検出する検出部と、
     前記第1映像の領域から前記第1領域を除いた第2領域の第1ピーク輝度を算出する算出部と、
     前記第1映像に対して、前記第1ピーク輝度よりも大きい輝度を低減するトーンマップ処理を行うトーンマップ処理部と、
     前記トーンマップ処理後の第2映像を示す第2映像信号を出力する出力部と、を備える
     映像処理装置。
  8.  請求項1から6のいずれか1項に記載の映像処理方法をコンピュータに実行させるためのプログラム。
PCT/JP2022/042774 2021-11-29 2022-11-17 映像処理方法、映像処理装置、及び、プログラム WO2023095718A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2023563658A JPWO2023095718A1 (ja) 2021-11-29 2022-11-17
CN202280074626.XA CN118266205A (zh) 2021-11-29 2022-11-17 影像处理方法、影像处理装置及程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-192625 2021-11-29
JP2021192625 2021-11-29

Publications (1)

Publication Number Publication Date
WO2023095718A1 true WO2023095718A1 (ja) 2023-06-01

Family

ID=86539680

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/042774 WO2023095718A1 (ja) 2021-11-29 2022-11-17 映像処理方法、映像処理装置、及び、プログラム

Country Status (3)

Country Link
JP (1) JPWO2023095718A1 (ja)
CN (1) CN118266205A (ja)
WO (1) WO2023095718A1 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004194311A (ja) 2002-11-29 2004-07-08 Matsushita Electric Ind Co Ltd 映像再生装置及び映像再生方法
JP2011015068A (ja) 2009-06-30 2011-01-20 Toshiba Corp 静止字幕検出装置、静止字幕を含む画像を表示する映像機器、および静止字幕を含んだ画像の処理方法
JP2014531821A (ja) * 2011-09-27 2014-11-27 コーニンクレッカ フィリップス エヌ ヴェ 画像のダイナミックレンジ変換のための装置及び方法
WO2016125691A1 (ja) * 2015-02-03 2016-08-11 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
WO2018147196A1 (ja) * 2017-02-09 2018-08-16 シャープ株式会社 表示装置、テレビジョン受像機、映像処理方法、バックライト制御方法、受信装置、映像信号生成装置、送信装置、映像信号伝送システム、受信方法、プログラム、制御プログラム、及び記録媒体
WO2018235337A1 (ja) * 2017-06-21 2018-12-27 パナソニックIpマネジメント株式会社 映像表示システム及び映像表示方法
WO2019069482A1 (ja) * 2017-10-06 2019-04-11 パナソニックIpマネジメント株式会社 映像表示システム及び映像表示方法
JP2019220968A (ja) * 2014-06-30 2019-12-26 パナソニックIpマネジメント株式会社 再生装置で実行される方法、及び再生装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004194311A (ja) 2002-11-29 2004-07-08 Matsushita Electric Ind Co Ltd 映像再生装置及び映像再生方法
JP2011015068A (ja) 2009-06-30 2011-01-20 Toshiba Corp 静止字幕検出装置、静止字幕を含む画像を表示する映像機器、および静止字幕を含んだ画像の処理方法
JP2014531821A (ja) * 2011-09-27 2014-11-27 コーニンクレッカ フィリップス エヌ ヴェ 画像のダイナミックレンジ変換のための装置及び方法
JP2019220968A (ja) * 2014-06-30 2019-12-26 パナソニックIpマネジメント株式会社 再生装置で実行される方法、及び再生装置
WO2016125691A1 (ja) * 2015-02-03 2016-08-11 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
WO2018147196A1 (ja) * 2017-02-09 2018-08-16 シャープ株式会社 表示装置、テレビジョン受像機、映像処理方法、バックライト制御方法、受信装置、映像信号生成装置、送信装置、映像信号伝送システム、受信方法、プログラム、制御プログラム、及び記録媒体
WO2018235337A1 (ja) * 2017-06-21 2018-12-27 パナソニックIpマネジメント株式会社 映像表示システム及び映像表示方法
WO2019069482A1 (ja) * 2017-10-06 2019-04-11 パナソニックIpマネジメント株式会社 映像表示システム及び映像表示方法

Also Published As

Publication number Publication date
JPWO2023095718A1 (ja) 2023-06-01
CN118266205A (zh) 2024-06-28

Similar Documents

Publication Publication Date Title
US10484657B2 (en) Reproduction method and reproduction apparatus
JP7065376B2 (ja) 表示装置、変換装置、表示方法、および、コンピュータプログラム
JP6979609B2 (ja) グラフィックス信号生成装置及びグラフィックス信号生成方法
US10755392B2 (en) High-dynamic-range video tone mapping
JP6558599B2 (ja) 再生装置、再生方法、及び、コンピュータプログラム
JP6872693B2 (ja) 調整装置、調整方法およびプログラム
US20100033497A1 (en) Edge adjustment method, image processing device and display apparatus
WO2016063475A1 (ja) 送信方法および再生装置
WO2018062022A1 (ja) 調整装置、調整方法およびプログラム
WO2023095718A1 (ja) 映像処理方法、映像処理装置、及び、プログラム
US20040091157A1 (en) Method for resizing an image using the inverse discrete cosine transform
JP6868797B2 (ja) 変換方法及び変換装置
WO2021235138A1 (ja) 映像処理装置、映像処理方法、映像生成装置、映像生成方法およびプログラム
JP2017220689A (ja) 送信方法および再生装置
JP2011154587A (ja) 映像信号処理装置及び映像信号処理方法
JP2019110538A (ja) 輝度変換方法、輝度変換装置および映像表示装置
JP2010028315A (ja) 画像信号処理装置及び画像信号処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22898502

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023563658

Country of ref document: JP