JP2018191174A - Image encoding apparatus, image decoding apparatus, image encoding method and program - Google Patents

Image encoding apparatus, image decoding apparatus, image encoding method and program Download PDF

Info

Publication number
JP2018191174A
JP2018191174A JP2017093085A JP2017093085A JP2018191174A JP 2018191174 A JP2018191174 A JP 2018191174A JP 2017093085 A JP2017093085 A JP 2017093085A JP 2017093085 A JP2017093085 A JP 2017093085A JP 2018191174 A JP2018191174 A JP 2018191174A
Authority
JP
Japan
Prior art keywords
image
additional information
hdr
area
luminance ratio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017093085A
Other languages
Japanese (ja)
Other versions
JP2018191174A5 (en
JP6866224B2 (en
Inventor
智恵 菊地
Chie Kikuchi
智恵 菊地
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2017093085A priority Critical patent/JP6866224B2/en
Publication of JP2018191174A publication Critical patent/JP2018191174A/en
Publication of JP2018191174A5 publication Critical patent/JP2018191174A5/ja
Application granted granted Critical
Publication of JP6866224B2 publication Critical patent/JP6866224B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

PROBLEM TO BE SOLVED: To improve image quality of a decoded HDR image upon reducing processing loads and memory usage.SOLUTION: An image encoding apparatus is provided with: image conversion means for converting an HDR image into an LDR image; luminance ratio calculation means for calculating luminance ratio between the HDR image and the LDR image at a data level A; luminance ratio quantization means for quantizing the luminance ratio to a data level B(A>B) between the minimum value and the maximum value of the luminance ratio; encoding means for encoding the luminance ratio quantized to the data level B; area specification means for specifying an area in which additional information is generated in the HDR image; correction information calculation means for calculating luminance ratio correction information for correcting the luminance ratio to a data level C(A>C>B); additional information generation means for generating position information on the area in which the additional information is generated and the luminance ratio correction information as the additional information; and HDR encoded file generation means for generating an HDR encoded file by storing the encoded luminance ratio and the additional information in a predetermined storage area.SELECTED DRAWING: Figure 4

Description

本発明は、高ダイナミックレンジのデジタル画像(以下、HDR画像)を符号化する装置、及び方法に関する。   The present invention relates to an apparatus and method for encoding a high dynamic range digital image (hereinafter referred to as HDR image).

近年、静止画像データは様々な形式で流通しており、その代表的な形式がJPEG圧縮形式である。JPEG圧縮形式の画像は、デジタルカメラの出力ファイルとしても利用されており、また、ウェブブラウザを始め、JPEG圧縮形式の画像を扱うことができる様々なソフトウェアも存在している。但し、JPEG圧縮形式の画像は、1コンポーネント当り8ビットのデータで生成される。そのため、1コンポーネント当り256階調までしか再現することができない。   In recent years, still image data has been distributed in various formats, and a representative format is the JPEG compression format. An image in JPEG compression format is also used as an output file of a digital camera, and there are various software that can handle an image in JPEG compression format, including a web browser. However, an image in JPEG compression format is generated with 8-bit data per component. Therefore, only 256 gradations per component can be reproduced.

一方、人間の視覚は、1:10000までのコントラスト比を認識することができる。そのため、従来のJPEG圧縮形式の階調表現では、実際の見た目との関係で大きな差が生じることになる。そこで、1コンポーネント当り32bit程度のデータを有するダイナミックレンジ画像(以下、HDR画像という)が注目されている。実際、デジタルカメラやスマートフォンでもHDRモードを搭載したものが一般的になっている。また、簡単に1コンポーネント当り32bitのデータを有するHDR画像を生成できるソフトウェアアプリケーションも増えてきている。   On the other hand, human vision can recognize contrast ratios up to 1: 10000. Therefore, in the conventional JPEG compression format gradation expression, a large difference occurs in relation to the actual appearance. Therefore, attention is paid to a dynamic range image (hereinafter referred to as an HDR image) having about 32 bits of data per component. In fact, digital cameras and smartphones that are equipped with an HDR mode are generally used. In addition, software applications that can easily generate HDR images having 32 bits of data per component are increasing.

さらに、1コンポーネント当り32bitのデータを有するHDR画像を、従来のJPEGビューアで表示することも可能となっており、それに関する技術的仕様はISO/IEC 18477−2(非特許文献1)で規定されている。   Furthermore, HDR images having 32-bit data per component can be displayed with a conventional JPEG viewer, and technical specifications relating thereto are defined in ISO / IEC 18477-2 (Non-patent Document 1). ing.

ISO/IEC 18477−2において、HDR画像の符号化及び復号を規定している。HDR画像の符号化では、先ず、HDR画像を8[bit/コンポーネント]のより小さいダイナミックレンジ画像(以下、LDR画像という)にトーンマッピングし、さらにJPEG圧縮することで、JPEG符号データを生成する。次に、HDR画像とLDR画像の比率を別途HDR補助データとして生成し、HDR補助データをLDR画像のJPEG符号データのアプリケーションマーカ(APP11)(図25(a))内に格納することで、両者を1つのファイルとして保存する。   ISO / IEC 18477-2 defines the encoding and decoding of HDR images. In the encoding of the HDR image, first, the HDR image is tone-mapped to a dynamic range image (hereinafter referred to as an LDR image) having a smaller 8 [bit / component], and further JPEG compressed to generate JPEG code data. Next, the ratio of the HDR image and the LDR image is separately generated as HDR auxiliary data, and the HDR auxiliary data is stored in the application marker (APP11) (FIG. 25A) of the JPEG code data of the LDR image. As a single file.

但し、HDR画像の符号化では、JPEG符号データとHDR補助データを生成する過程で量子化を行っていることから、例えば、HDR画像の輝度レンジが広い場合等には、その量子化誤差が大きくなる。そのため、HDR補助データを用いて復号しても、復号されたHDR画像に劣化が生じることになる。   However, since the HDR image is encoded in the process of generating JPEG code data and HDR auxiliary data, for example, when the HDR image has a wide luminance range, the quantization error is large. Become. Therefore, even if decoding is performed using the HDR auxiliary data, the decoded HDR image is deteriorated.

そこで、例えば、特許文献1には、復号後のHDR画像の劣化を抑制するために、ダイナミックレンジ拡張補償データを適用する装置が開示されている。ここで、ダイナミックレンジ拡張補償データとは、ピクセル誤差補正値であり、具体的には、原画像であるHDR画像と、復号結果のHDR画像の差異を示すデータである。特許文献1の装置では、HDR補助データを用いて、JPEG圧縮されたLDR画像を復号した後に、ダイナミックレンジ拡張補償データを加算することで、復号結果であるHDR画像に微調整を加え、原画像のHDR画像に近付けている。   Thus, for example, Patent Document 1 discloses an apparatus that applies dynamic range expansion compensation data in order to suppress degradation of an HDR image after decoding. Here, the dynamic range expansion compensation data is a pixel error correction value, and specifically, data indicating a difference between an HDR image that is an original image and an HDR image that is a decoding result. In the apparatus of Patent Document 1, after decoding a JPEG-compressed LDR image using HDR auxiliary data, the dynamic range expansion compensation data is added to finely adjust the HDR image that is the decoding result, and the original image It is close to the HDR image.

特表2014−519221号公報Special table 2014-519221 gazette

ISO/IEC 18477−2ISO / IEC 18477-2

しかしながら、特許文献1の装置では、ダイナミックレンジ拡張補償データを生成する上で、原画像のHDR画像以外に、原画像のHDR画像を圧縮後に復号したHDR画像も必要になる。そのため、復号結果であるHDR画像を生成するために、少なくとも、HDR補助データを復号する工程、JPEG圧縮されたLDR画像を復号する工程、LDR画像とHDR補助データからのHDR画像を生成する工程が必要になる。つまり、ダイナミックレンジ拡張補償データを生成する上で、より多くの処理時間が必要とされる(即ち、より多くの処理負荷がかかる)。また、原画像のHDR画像と復号したHDR画像の両方の画像を格納するメモリも必要とされる。そして、このような処理負荷及び使用メモリ量の増大は、特に、デジタルカメラやスマートフォン等のモバイル機器においてHDR画像を合成・圧縮する場合、大きな問題となる。   However, in the apparatus of Patent Document 1, in order to generate dynamic range expansion compensation data, in addition to the HDR image of the original image, an HDR image obtained by decoding the HDR image of the original image after compression is also required. Therefore, in order to generate an HDR image as a decoding result, at least a step of decoding the HDR auxiliary data, a step of decoding the JPEG-compressed LDR image, and a step of generating an HDR image from the LDR image and the HDR auxiliary data. I need it. That is, more processing time is required to generate dynamic range expansion compensation data (that is, more processing load is applied). In addition, a memory for storing both the HDR image of the original image and the decoded HDR image is also required. Such an increase in the processing load and the amount of used memory becomes a big problem particularly when an HDR image is synthesized and compressed in a mobile device such as a digital camera or a smartphone.

本発明は、前記従来の問題に鑑みてなされたものであって、その目的は、処理負荷及び使用メモリ量を軽減した上で、復号したHDR画像の画質を向上させることである。   The present invention has been made in view of the above-described conventional problems, and an object thereof is to improve the image quality of a decoded HDR image while reducing the processing load and the amount of memory used.

上記目的を達成するために、本発明の画像符号化装置は、HDR画像を符号化する画像符号化装置であって、前記HDR画像からLDR画像に変換する画像変換手段と、前記HDR画像と前記LDR画像の輝度比をデータレベルAで算出する輝度比算出手段と、前記輝度比の最小値と最大値の間で、前記輝度比をデータレベルB(A>B)に量子化する輝度比量子化手段と、前記データレベルBに量子化した輝度比を符号化する符号化手段と、前記HDR画像において、付加情報を生成する領域を特定する領域特定手段と、前記付加情報を生成する領域において、前記データレベルBに量子化した輝度比をデータレベルC(A>C>B)に補正する輝度比補正情報を算出する補正情報算出手段と、前記付加情報を生成する領域の位置情報と前記輝度比補正情報を前記付加情報として生成する付加情報生成手段と、前記符号化された輝度比と前記付加情報を所定の記憶領域に格納することで、HDR符号化ファイルを生成するHDR符号化ファイル生成手段と、を備えることを特徴とする。   In order to achieve the above object, an image encoding device of the present invention is an image encoding device that encodes an HDR image, an image converting means for converting the HDR image into an LDR image, the HDR image, and the Luminance ratio calculation means for calculating a luminance ratio of an LDR image at a data level A, and a luminance ratio quantum for quantizing the luminance ratio to a data level B (A> B) between a minimum value and a maximum value of the luminance ratio An encoding means for encoding the luminance ratio quantized to the data level B, an area specifying means for specifying an area for generating additional information in the HDR image, and an area for generating the additional information. Correction information calculation means for calculating luminance ratio correction information for correcting the luminance ratio quantized to the data level B to the data level C (A> C> B), position information of the area for generating the additional information, and the previous Additional information generating means for generating luminance ratio correction information as the additional information, and an HDR encoded file for generating an HDR encoded file by storing the encoded luminance ratio and the additional information in a predetermined storage area Generating means.

本発明によれば、処理負荷及び使用メモリ量を軽減した上で、復号したHDR画像の画質を向上させることができる。   According to the present invention, it is possible to improve the image quality of a decoded HDR image while reducing the processing load and the amount of memory used.

ISO/IEC 18477−2に準拠したHDR画像の符号化処理を説明するための図である。It is a figure for demonstrating the encoding process of the HDR image based on ISO / IEC 18477-2. 本発明の実施形態1に係る画像符号化装置の機能ブロック図である。It is a functional block diagram of the image coding apparatus which concerns on Embodiment 1 of this invention. 本発明の実施形態1に係る画像符号化装置のハードウェア構成図である。It is a hardware block diagram of the image coding apparatus which concerns on Embodiment 1 of this invention. 実施形態1におけるLDR画像とHDR補助データの生成及び圧縮処理を説明するための図である。FIG. 6 is a diagram for describing generation and compression processing of an LDR image and HDR auxiliary data in the first embodiment. 実施形態1におけるHDR補助データの生成処理の手順を示す図である。6 is a diagram illustrating a procedure of HDR auxiliary data generation processing in Embodiment 1. FIG. 実施形態1におけるHDR補助データのJPEG圧縮処理と付加情報の生成処理を説明するための図である。FIG. 10 is a diagram for describing JPEG compression processing of HDR auxiliary data and additional information generation processing in the first embodiment. 実施形態1における付加情報の圧縮処理を説明するための図である。6 is a diagram for explaining compression processing of additional information in Embodiment 1. FIG. 実施形態1における付加情報の出力処理を説明するための図である。FIG. 6 is a diagram for explaining an additional information output process according to the first embodiment. 実施形態1における付加情報を生成する領域を示す図である。It is a figure which shows the area | region which produces | generates the additional information in Embodiment 1. FIG. 実施形態2における付加情報の圧縮処理を説明するための図である。FIG. 10 is a diagram for describing compression processing of additional information in the second embodiment. 実施形態2における付加情報の出力処理を説明するための図である。FIG. 10 is a diagram for describing additional information output processing according to the second embodiment. 本発明の実施形態3に係る画像符号化装置の機能ブロック図である。It is a functional block diagram of the image coding apparatus which concerns on Embodiment 3 of this invention. 実施形態3におけるHDR補助データの生成処理を説明するための図である。FIG. 10 is a diagram for describing HDR auxiliary data generation processing according to the third embodiment. 実施形態3におけるHDR補助データのJPEG圧縮処理と付加情報の生成処理を説明するための図である。FIG. 10 is a diagram for describing JPEG compression processing of HDR auxiliary data and additional information generation processing in Embodiment 3. 実施形態3における色差成分の付加情報の生成処理を説明するための図である。FIG. 10 is a diagram for describing processing for generating additional information of color difference components in the third embodiment. 実施形態3における付加情報の圧縮処理を説明するための図である。FIG. 10 is a diagram for explaining compression processing of additional information in the third embodiment. 実施形態4における付加情報の生成領域を自動で設定する場合のHDR画像の圧縮処理を説明するための図である。FIG. 10 is a diagram for describing HDR image compression processing when an additional information generation region is automatically set according to a fourth embodiment. 実施形態4における付加情報生成領域をHDR画像から判定する処理を説明するための図である。FIG. 10 is a diagram for describing processing for determining an additional information generation area from an HDR image in the fourth embodiment. 実施形態4における矩形領域情報の生成処理と付加情報を生成する領域数の更新処理を説明するための図である。FIG. 10 is a diagram for describing rectangular area information generation processing and area count update processing for generating additional information in the fourth embodiment. 実施形態5における付加情報生成領域の検出処理を説明するための図である。FIG. 10 is a diagram for explaining an additional information generation area detection process in the fifth embodiment. 実施形態6における輝度成分の比率の対数値の範囲で付加情報の生成有無を判定する場合のHDR画像の圧縮処理を説明するための図である。FIG. 18 is a diagram for describing HDR image compression processing in a case where it is determined whether additional information is generated within a logarithmic value range of a luminance component ratio according to the sixth embodiment. 実施形態6におけるHDR補助データの生成処理を説明するための図である。FIG. 20 is a diagram for describing HDR auxiliary data generation processing according to the sixth embodiment. 実施形態6における付加情報領域生成の判定及び検出処理を説明するための図である。FIG. 16 is a diagram for explaining additional information region generation determination and detection processing in the sixth embodiment. 実施形態7におけるHDR補助データのJPEG圧縮処理と付加情報の生成処理を説明するための図である。FIG. 20 is a diagram for describing JPEG compression processing of HDR auxiliary data and additional information generation processing in Embodiment 7. HDR補助データ及び付加情報の記憶領域を示す図である。It is a figure which shows the storage area of HDR auxiliary data and additional information. 画像復号装置の機能ブロック図である。It is a functional block diagram of an image decoding apparatus.

はじめに、本発明の実施形態を説明する前に、本発明の課題を、ISO/IEC 18477−2に準拠したHDR画像の符号化処理に触れた上で、具体的かつ詳細に説明する。   First, before describing an embodiment of the present invention, the subject of the present invention will be described specifically and in detail after touching an encoding process of an HDR image based on ISO / IEC 18477-2.

図1は、ISO/IEC 18477−2に準拠したHDR画像の符号化処理を説明するための図である。なお、処理の詳細はISO/IEC 18477−2に記載されていることから、ここでは本発明に関係する内容を説明する。   FIG. 1 is a diagram for explaining an HDR image encoding process based on ISO / IEC 18477-2. Since details of the processing are described in ISO / IEC 18477-2, contents related to the present invention will be described here.

ISO/IEC 18477−2に準拠したHDR画像の符号化処理として、先ず、入力されたHDR画像をLDR画像にトーンマッピング(画像変換)し、さらに、そのLDR画像をJPEG圧縮し、JPEG符号データを生成するまでの処理を説明する。   As an HDR image encoding process compliant with ISO / IEC 18477-2, first, tone mapping (image conversion) of an input HDR image to an LDR image, JPEG compression of the LDR image, and JPEG code data Processing until generation is described.

画像符号化装置は、HDR画像101が入力されると、HDR画像101をトーンマッピング部102により、1コンポーネントあたり0−255の256階調の線形色空間のLDR画像(即ち、線形LDR画像)に変換する。画像符号化装置は、線形LDR画像を、色変換部115により線形色空間からsRGB色空間に変換した後、RGB/YCC変換部116及びサブサンプリング部117において各々、処理を実行する。さらにJPEG圧縮部118において、JPEG圧縮処理を実行する。これにより、LDR画像をJPEG圧縮したLDR符号データが生成される。   When the HDR image 101 is input, the image encoding device converts the HDR image 101 into an LDR image (that is, a linear LDR image) in a 256-tone linear color space of 0 to 255 per component by the tone mapping unit 102. Convert. The image encoding device converts the linear LDR image from the linear color space to the sRGB color space by the color conversion unit 115, and then executes processing in the RGB / YCC conversion unit 116 and the subsampling unit 117, respectively. Further, the JPEG compression unit 118 executes JPEG compression processing. Thereby, LDR code data obtained by JPEG compression of the LDR image is generated.

次に、HDR補助データの生成について説明する。画像符号化装置は、HDR画像101からY算出部103により輝度成分(Y成分。図1のY_hdr)を算出する。画像符号化装置は、トーンマッピング部102で生成された線形LDR画像からもY算出部105により輝度成分(Y成分。図1のY_ldr)を算出し、さらにノイズ付加部106により、各輝度成分にノイズを付加する。   Next, generation of HDR auxiliary data will be described. The image encoding apparatus calculates a luminance component (Y component, Y_hdr in FIG. 1) from the HDR image 101 by the Y calculation unit 103. The image coding apparatus also calculates a luminance component (Y component, Y_ldr in FIG. 1) from the linear LDR image generated by the tone mapping unit 102, and further adds a noise component 106 to each luminance component. Add noise.

そして、画像符号化装置は、輝度比算出部107において、HDRのY成分を、ノイズを付加したLDRのY成分で除算することで、輝度成分の比率(Y_ratio)を算出する。但し、ここで算出される輝度成分の比率(Y_ratio)は、8ビットオーバーのデータである。そこで、画像符号化装置は、Log変換部108によりlog変換後(Y_log)、線形量子化部109により、その最大値と最小値の範囲で線形量子化を実行し、0−255の範囲の整数値にマッピング(Y_xt)する(8ビット整数化)。そして、この8ビット整数化された輝度成分の比率(Y_xt)は、HDR補助データのY成分(輝度成分)として、JPEG圧縮部114に入力される。   Then, the image coding apparatus calculates the luminance component ratio (Y_ratio) in the luminance ratio calculation unit 107 by dividing the HDR Y component by the Y component of the LDR to which noise is added. However, the luminance component ratio (Y_ratio) calculated here is 8-bit over data. Therefore, the image coding apparatus performs logarithmic quantization in the range between the maximum value and the minimum value by the linear quantization unit 109 after log conversion by the Log conversion unit 108 (Y_log), and adjusts the range of 0-255. Mapping (Y_xt) to a numerical value (8-bit integerization). The luminance component ratio (Y_xt) converted to an 8-bit integer is input to the JPEG compression unit 114 as the Y component (luminance component) of the HDR auxiliary data.

また、輝度比算出部107において算出された輝度成分の比率(Y_ratio)は、HDR画像101のRGBと共に、RGBスケール変換部104に入力される。画像符号化装置は、RGBスケール変換部104により、入力されたHDR画像101のRGB画素値を、輝度成分の比率(Y_ratio)でスケール変換する(HDR_div)。   Further, the luminance component ratio (Y_ratio) calculated by the luminance ratio calculation unit 107 is input to the RGB scale conversion unit 104 together with the RGB of the HDR image 101. In the image encoding apparatus, the RGB scale conversion unit 104 performs scale conversion (HDR_div) on the RGB pixel values of the input HDR image 101 with the luminance component ratio (Y_ratio).

そして、スケール変換されたHDR画像101のRGB画素値(HDR_div)は、トーンマッピング部102から出力される線形LDR画像と共に、差分取得部110に入力される。画像符号化装置は、差分取得部110により、入力されたHDR画像101のRGB画素値(HDR_div)と、線形LDR画像のRGB値との差分(Dif_RGB)を取得する。   Then, the RGB pixel value (HDR_div) of the scale-converted HDR image 101 is input to the difference acquisition unit 110 together with the linear LDR image output from the tone mapping unit 102. In the image encoding device, the difference acquisition unit 110 acquires the difference (Dif_RGB) between the RGB pixel value (HDR_div) of the input HDR image 101 and the RGB value of the linear LDR image.

さらに、画像符号化装置は、色差算出部111により色差成分(CC_hdr)を算出する。但し、色差算出部111により算出される色差成分もまた、8ビットオーバーのデータである。そこで、画像符号化装置は、色差正規化部112により色差成分(CC_hdr)をLDRの輝度成分(Y_ldr)で正規化し(CC_norm)、色差線形量子化部113によりその最大値と最小値の間で線形量子化(CC_xt)する。即ち、8ビット整数化する(8ビットのデータレベルにする)。そして、この8ビット整数化された色差成分(CC_xt)は、HDR補助データの色差成分として、JPEG圧縮部114に入力される。   Further, the image coding apparatus calculates a color difference component (CC_hdr) by the color difference calculation unit 111. However, the color difference component calculated by the color difference calculation unit 111 is also 8-bit over data. Therefore, the image coding apparatus normalizes the color difference component (CC_hdr) with the luminance component (Y_ldr) of the LDR (CC_norm) by the color difference normalization unit 112, and between the maximum value and the minimum value by the color difference linear quantization unit 113. Perform linear quantization (CC_xt). That is, it is converted into an 8-bit integer (set to an 8-bit data level). The 8-bit integer color difference component (CC_xt) is input to the JPEG compression unit 114 as the color difference component of the HDR auxiliary data.

画像符号化装置は、JPEG圧縮部114において、線形量子化部109より入力された8ビット整数化された輝度成分の比率と、色差線形量子化部113より入力された8ビット整数化された色差成分からHDR補助データのJPEG符号データを生成する。   In the JPEG compression unit 114, the image encoding device performs the 8-bit integer luminance component ratio input from the linear quantization unit 109 and the 8-bit integer color difference input from the color difference linear quantization unit 113. JPEG code data of HDR auxiliary data is generated from the components.

上述の処理を実行することで、LDRのJPEG符号データと、HDR補助データのJPEG符号データが生成される。画像符号化装置は、HDR符号化ファイル生成手段としての出力部119により、両符号データと、LDR画像からHDR画像へ伸長するために必要な情報と共に、1つのJPEGファイルを生成し、JPEG XTデータ120として出力する。なお、LDR画像からHDR画像へ伸長するために必要な情報とは、例えば、輝度成分の比率の対数値の最大値と最小値等である。   By executing the above-described processing, LPEG JPEG code data and HDR auxiliary data JPEG code data are generated. The image encoding device generates one JPEG file together with both code data and information necessary for decompression from the LDR image to the HDR image by the output unit 119 as HDR encoded file generation means, and generates JPEG XT data. 120 is output. The information necessary for decompressing an LDR image to an HDR image is, for example, the maximum and minimum values of the logarithmic value of the luminance component ratio.

以上、ISO/IEC 18477−2に準拠したHDR画像の符号化処理に関して説明したが、次に、このISO/IEC 18477−2に準拠したHDR画像の符号化処理を踏まえ、上述の背景技術で説明した課題を詳述する。   The HDR image encoding process compliant with ISO / IEC 18477-2 has been described above. Next, the above background art will be described based on the HDR image encoding process compliant with ISO / IEC 18477-2. The issues that were solved are described in detail.

ISO/IEC 18477−2に準拠したHDR画像の符号化処理に関して、上述のように、線形量子化部109において、輝度成分の比率をlog変換した後、その最大値と最小値の範囲で線形量子化(輝度比量子化)を実行している。そのため、HDRの輝度レンジが広い場合には、その量子化誤差が大きくなる。加えて、8ビット整数化された輝度成分の比率は、JPEG圧縮部114におけるJPEG符号化の過程でDCT後に量子化されることから、ここでも量子化誤差が発生することになる。   Regarding the HDR image encoding processing compliant with ISO / IEC 18477-2, as described above, the linear quantization unit 109 performs log conversion on the luminance component ratio, and then performs linear quantization within the range of the maximum value and the minimum value. (Brightness ratio quantization) is executed. Therefore, when the HDR luminance range is wide, the quantization error becomes large. In addition, since the ratio of the luminance component converted to an 8-bit integer is quantized after DCT in the process of JPEG encoding in the JPEG compression unit 114, a quantization error also occurs here.

結果、HDR補助データを復号(デコード)することで取得される輝度成分の比率(Y_ratio)は、著しく劣化することになる。さらに、8ビット整数化された色差成分をHDRのデータ範囲に引き延ばす上で、復号された輝度成分の比率(Y_ratio)を用いることから、輝度成分の比率の量子化誤差は、色差成分を劣化させる要因にもなる。   As a result, the luminance component ratio (Y_ratio) acquired by decoding (decoding) the HDR auxiliary data is significantly deteriorated. Further, since the decoded luminance component ratio (Y_ratio) is used to extend the 8-bit integer color difference component to the HDR data range, the luminance component ratio quantization error deteriorates the color difference component. It becomes a factor.

このように、ISO/IEC 18477−2に準拠したHDR画像の符号化処理で生成されたHDR補助データを用いて復号されるHDR画像は、劣化が著しくなる。特に、画像を視る際に注目する、人物の顔、主被写体、人間の視覚特性が敏感な低輝度領域であって、かつエッジの少ない領域等では、その劣化がより著しくなる。ここで、輝度成分の比率(Y_ratio)の量子化誤差を小さくする方法として、量子化誤差を小さくするような最適なルックアップテーブルを計算する方法も検討されるが、その計算には非常に時間がかかることになる。   As described above, the HDR image decoded using the HDR auxiliary data generated by the HDR image encoding processing compliant with ISO / IEC 18477-2 is significantly deteriorated. In particular, in a low-luminance area that is sensitive to human faces, main subjects, human visual characteristics, and has few edges, which is noticed when viewing an image, the deterioration becomes more significant. Here, as a method of reducing the quantization error of the luminance component ratio (Y_ratio), a method of calculating an optimal lookup table that reduces the quantization error is also considered. Will take.

また、この場合において、ダイナミックレンジ拡張補償データを導入した場合であっても(特許文献1)、上述のように、より多くの処理負荷がかかり、また、原画像のHDR画像と復号したHDR画像の両方の画像を格納するメモリも必要とされる。即ち、使用メモリ量および処理負荷が増大することになる。   In this case, even when dynamic range expansion compensation data is introduced (Patent Document 1), as described above, more processing load is applied, and the HDR image of the original image and the decoded HDR image A memory for storing both images is also required. That is, the amount of memory used and the processing load increase.

以下、これらの問題点(課題)を踏まえ、図面を参照しながら、本発明の実施形態に関して、詳細に説明する。以下の実施形態は、特許請求の範囲に係る発明を限定するものではなく、また実施形態で説明される特徴の組み合わせの全てが発明の解決手段に必須のものとは限らない。   Hereinafter, based on these problems (issues), embodiments of the present invention will be described in detail with reference to the drawings. The following embodiments do not limit the invention according to the claims, and all combinations of features described in the embodiments are not necessarily essential to the solution means of the invention.

なお、本実施形態において、符号化対象とするHDR画像データは1920x1080[画素]のRGBカラーデータとし、また、各コンポーネント(色)は16ビットの実数値として説明する。但し、RGB以外のコンポーネントの構成(例えば、グレー等)でも構わず、色空間の種類、コンポーネントの個数は問われることはない。   In the present embodiment, the HDR image data to be encoded is 1920 × 1080 [pixel] RGB color data, and each component (color) is described as a 16-bit real value. However, the configuration of components other than RGB (for example, gray) may be used, and the type of color space and the number of components are not questioned.

また、1成分のビット数も16ビットに限定されず、8ビットを超えるビット数(例えば、12ビット等)であれば、何ビットでもよい。加えて、1成分のビット数は実数値だけに限定されず、16ビットの整数値等でもよい。つまり、HDRのコントラスト比を表現することができれば、入力画像の形式はどのようなものであってもよい。   The number of bits of one component is not limited to 16 bits, and any number of bits may be used as long as the number of bits exceeds 8 bits (for example, 12 bits). In addition, the number of bits of one component is not limited to a real value, and may be a 16-bit integer value or the like. That is, as long as the HDR contrast ratio can be expressed, the input image may have any format.

[実施形態1]
<輝度成分の比率の補助データの付加情報の有無を外部より設定>
本実施形態では、ISO/IEC 18477−2で規定されているHDR補助データの生成方法を前提に、HDR補助データを生成する。即ち、画像符号化装置は、先ずHDR画像データとLDR画像データの輝度成分比(輝度比情報)を生成し、次にその輝度比情報を用いて、元のHDR画像データと、HDRのレンジに引き延ばしたLDR画像の色差成分の差分(色差補助情報)を生成する。そして、輝度比情報と色差補助情報を8ビット整数化して、JPEG符号化する。但し、本実施形態では、HDR補助データの輝度成分の付加情報を生成する。
[Embodiment 1]
<External presence / absence setting of auxiliary data for luminance component ratio>
In the present embodiment, HDR auxiliary data is generated on the premise of a method of generating HDR auxiliary data defined in ISO / IEC 18477-2. That is, the image encoding device first generates a luminance component ratio (luminance ratio information) between HDR image data and LDR image data, and then uses the luminance ratio information to convert the original HDR image data and the HDR range. A difference (color difference auxiliary information) of the color difference component of the extended LDR image is generated. Then, the luminance ratio information and the color difference auxiliary information are converted into 8-bit integers and JPEG encoded. However, in this embodiment, additional information of the luminance component of the HDR auxiliary data is generated.

図2は本発明の第1の実施形態に係る画像符号化装置の機能ブロック図であり、図2において、ISO/IEC 18477−2との相違点に着目して説明する。図2に示すように、本発明の第1の実施形態に係る画像符号化装置は、図1に示す機能に加えて、特徴値取得部221、領域判定部222、JPEG復号部223、差分取得部224、差分データ圧縮部225を備える。   FIG. 2 is a functional block diagram of the image coding apparatus according to the first embodiment of the present invention. In FIG. 2, the difference from ISO / IEC 18477-2 will be described. As shown in FIG. 2, the image coding apparatus according to the first embodiment of the present invention includes a feature value acquisition unit 221, a region determination unit 222, a JPEG decoding unit 223, and difference acquisition in addition to the functions shown in FIG. Unit 224 and differential data compression unit 225.

特徴値取得部221は、輝度成分の比率の対数の最大値(Max_log)と最小値(Min_log)を特徴値として取得する。領域判定部222は、領域特定手段として機能し、処理対象とするマクロブロックが付加情報を生成する領域内にあるか否かを判定する。JPEG復号部223は、逆量子化、逆DCT等の処理を実行することで、補助データの輝度成分を簡易的に復号する。差分取得部224は、付加情報を生成する領域の輝度成分の比率の対数値と、JPEG復号部223により補助データの輝度成分を復号した結果との差分を、輝度比補正情報(付加情報)として取得する。差分データ圧縮部225は、輝度比補正情報を量子化し、さらにJPEG圧縮する。なお、JPEG復号部223、差分取得部224は、補正情報算出手段として機能する。   The feature value acquisition unit 221 acquires the maximum value (Max_log) and the minimum value (Min_log) of the logarithm of the luminance component ratio as the feature values. The area determination unit 222 functions as an area specifying unit, and determines whether or not the macroblock to be processed is within the area for generating additional information. The JPEG decoding unit 223 simply decodes the luminance component of the auxiliary data by executing processing such as inverse quantization and inverse DCT. The difference acquisition unit 224 uses, as luminance ratio correction information (additional information), the difference between the logarithmic value of the ratio of the luminance component of the region where the additional information is generated and the result of decoding the luminance component of the auxiliary data by the JPEG decoding unit 223. get. The difference data compression unit 225 quantizes the luminance ratio correction information and further JPEG compresses it. The JPEG decoding unit 223 and the difference acquisition unit 224 function as correction information calculation means.

図3は、本発明の第1の実施形態に係る画像符号化装置のハードウェア構成図である。図3において、CPU(Central Processing Unit)301は、画像符号化装置全体を制御する中央演算装置である。CPU301は、メモリ303に読み込まれた各種プログラムを実行することにより、後述のシーケンスの各ステップの処理を実行する各処理部として機能する。CPU301は、例えば、HDR補助データの生成、LDR画像の生成、HDR情報に対する付加情報の生成等の処理を実行する。   FIG. 3 is a hardware configuration diagram of the image encoding device according to the first embodiment of the present invention. In FIG. 3, a CPU (Central Processing Unit) 301 is a central processing unit that controls the entire image coding apparatus. The CPU 301 functions as each processing unit that executes processing of each step of a sequence described later by executing various programs read into the memory 303. For example, the CPU 301 executes processing such as generation of HDR auxiliary data, generation of an LDR image, generation of additional information for HDR information, and the like.

入力部302は、ユーザからの指示(例えば、付加情報を生成する領域の指定等)やHDR画像データ等を入力する装置であり、キーボードやマウス等のポインティングシステムが含まれる。メモリ303は、ROM(Read Only Memory)やRAM(Random Access Memory)を含み、処理に必要なプログラム、データ、作業領域等をCPU301に提供する。表示部304は、液晶ディスプレイ等の表示装置である。   The input unit 302 is a device that inputs an instruction from the user (for example, designation of an area for generating additional information), HDR image data, and the like, and includes a pointing system such as a keyboard and a mouse. The memory 303 includes a ROM (Read Only Memory) and a RAM (Random Access Memory), and provides the CPU 301 with programs, data, work areas, and the like necessary for processing. The display unit 304 is a display device such as a liquid crystal display.

記憶部305は、例えば、ハードディスク等であり、画像データ、プログラム等を記憶する記憶装置である。なお、後述のフローチャートの各ステップの処理に必要な制御プログラムは、記憶部305、又はメモリ303のROMに記憶されているものとする。ここで、制御プログラムが記憶部305に記憶されている場合は、一旦メモリ303のRAMに読み込まれてから実行される。また、ハードウェアの構成に関して、上記以外にも様々な構成要素が存在するが、本発明の主旨ではないので、ここではその説明を省略する。   The storage unit 305 is, for example, a hard disk or the like, and is a storage device that stores image data, programs, and the like. It is assumed that a control program necessary for processing of each step in the flowchart described later is stored in the storage unit 305 or the ROM of the memory 303. Here, when the control program is stored in the storage unit 305, it is once read into the RAM of the memory 303 and executed. In addition to the above, there are various components regarding the hardware configuration, but since they are not the gist of the present invention, the description thereof is omitted here.

次に、図4を用いて、画像符号化装置に入力されたHDR画像データから、LDR画像とHDR補助データを生成し、各々を圧縮する処理に関して説明する。なお、ISO/IEC 18477−2で規定されている処理と同様の処理に関しては、図4では、その説明を省略する。   Next, a process for generating an LDR image and HDR auxiliary data from HDR image data input to the image encoding device and compressing each will be described with reference to FIG. Note that the processing similar to the processing defined in ISO / IEC 18477-2 is not described in FIG.

画像符号化装置は、入力部302において、符号化対象とするHDR画像データを受信する(S401)。画像符号化装置は、トーンマッピング部202により、ステップS401で入力されたHDR画像データに対して、メモリ303から取得したトーンカーブを用いてトーンマッピング処理を実行し、線形LDR画像データを生成する(S402)。そして、生成された線形LDR画像データを、メモリ303に記憶する。   The image encoding device receives the HDR image data to be encoded at the input unit 302 (S401). The image encoding apparatus performs tone mapping processing using the tone curve acquired from the memory 303 on the HDR image data input in step S401 by the tone mapping unit 202 to generate linear LDR image data ( S402). The generated linear LDR image data is stored in the memory 303.

画像符号化装置は、線形LDR画像データをメモリ303に記憶すると、サブサンプリング条件や量子化パラメータ等のLDR画像の符号化条件を取得する(S403)。   When the linear LDR image data is stored in the memory 303, the image encoding device acquires LDR image encoding conditions such as sub-sampling conditions and quantization parameters (S403).

次に、画像符号化装置は、ステップS402で取得した線形LDR画像に対して、ISO/IEC10918に規定された方法で、JPEG圧縮形式で圧縮するまでの処理を実行する(S404)。具体的には、ステップS402で取得した線形LDR画像に対して、先ず、色変換部215によりsRGB色空間に変換し、次に、RGB/YCC変換部216によるRGB/YCC変換と、サブサンプリング部217によるサブサンプリングを実行する。そして、画像符号化装置は、サブサンプリングの実行後に、JPEG圧縮部218によりステップS403で取得した符号化条件に従って、DCT、量子化、エントロピー符号化を実行することで、線形LDR画像をJPEG圧縮する。   Next, the image encoding apparatus executes processing until the linear LDR image acquired in step S402 is compressed in the JPEG compression format by a method defined in ISO / IEC 10918 (S404). Specifically, the linear LDR image acquired in step S402 is first converted into the sRGB color space by the color conversion unit 215, and then RGB / YCC conversion by the RGB / YCC conversion unit 216 and the subsampling unit. Subsampling by 217 is performed. Then, after executing sub-sampling, the image encoding device performs DCT, quantization, and entropy encoding according to the encoding condition acquired in step S403 by the JPEG compression unit 218, thereby JPEG compressing the linear LDR image. .

画像符号化装置は、HDR補助データ生成条件を取得する(S405)。即ち、画像符号化装置は、HDR補助データのJPEG圧縮パラメータ(例えば、サブサンプリング方法、量子化パラメータ等)、及びHDR補助データに対する付加情報を生成する領域数を取得する。   The image encoding device acquires HDR auxiliary data generation conditions (S405). That is, the image encoding apparatus acquires JPEG compression parameters (for example, subsampling method, quantization parameter, etc.) of HDR auxiliary data, and the number of areas for generating additional information for the HDR auxiliary data.

なお、本実施形態において、付加情報を生成する領域は、ユーザにより入力部302(例えば、マウス等)を用いて、矩形領域として指定(設定)される。また、ここで、ユーザによる指定がなければ、画像符号化装置は、付加情報を生成する領域数をゼロと認識する。   In the present embodiment, an area for generating additional information is designated (set) as a rectangular area by the user using the input unit 302 (for example, a mouse). Here, if there is no designation by the user, the image coding apparatus recognizes that the number of areas for generating additional information is zero.

画像符号化装置は、付加情報の生成の有無を判定する(S406)。具体的には、画像符号化装置は、ステップS405において取得した付加情報を生成する領域数がゼロであるか否かを判定する。そして、画像符号化装置は、付加情報を生成する領域数がゼロであると判定すると(即ち、当該HDR画像に対して付加情報を生成しないと判定すると)(S406 No)、処理をステップS413に移行させる。ステップS413において、画像符号化装置は、付加情報フラグ(Flag)に0を設定し、さらに、処理をステップS409に移行させる。   The image coding apparatus determines whether additional information is generated (S406). Specifically, the image coding apparatus determines whether or not the number of areas for generating the additional information acquired in step S405 is zero. If the image coding apparatus determines that the number of areas for generating additional information is zero (that is, determines that additional information is not generated for the HDR image) (S406 No), the process proceeds to step S413. Transition. In step S413, the image coding apparatus sets 0 to the additional information flag (Flag), and further shifts the processing to step S409.

一方、画像符号化装置は、付加情報を生成する領域数が1以上であると判定すると(即ち、当該HDR画像に対して付加情報を生成する必要があると判定すると)(S406 Yes)、処理をステップS407に移行させる。ステップS407において、画像符号化装置は、付加情報フラグ(Flag)に1を設定し、さらに、処理をステップS408に移行させる。   On the other hand, when the image coding apparatus determines that the number of regions for generating additional information is 1 or more (that is, determines that additional information needs to be generated for the HDR image) (Yes in S406), the process Is shifted to step S407. In step S407, the image coding apparatus sets 1 to the additional information flag (Flag), and further shifts the processing to step S408.

画像符号化装置は、付加情報フラグ(Flag)に1を設定すると、付加情報作成用データを取得する(S408)。なお、画像符号化装置は、付加情報作成用データとして、付加情報を生成する各領域の左上座標、幅、高さ、及び付加情報の圧縮条件を取得する。   When the additional information flag (Flag) is set to 1, the image encoding apparatus acquires additional information creation data (S408). Note that the image encoding apparatus acquires, as additional information creation data, the upper left coordinates, width, height, and compression conditions of the additional information for each area where additional information is generated.

次に、画像符号化装置は、HDR補助データを生成する(S409)。なお、HDR補助データの生成方法に関しては、図5を用いて後述する。画像符号化装置は、ISO/IEC 18477−1で規定されている方法で、ステップS409で生成したHDR補助データをファイルに出力する(S410)。より詳細には、HDR補助データをJPEGのAPP11マーカ内に出力する。   Next, the image encoding device generates HDR auxiliary data (S409). The HDR auxiliary data generation method will be described later with reference to FIG. The image coding apparatus outputs the HDR auxiliary data generated in step S409 to a file by a method defined in ISO / IEC 18477-1 (S410). More specifically, the HDR auxiliary data is output in the JPEG APP11 marker.

画像符号化装置は、HDR補助データを出力すると、付加情報フラグ(Flag)を参照し、付加情報フラグ(Flag)が1であれば、処理をステップS412に移行させる。ステップS412において、画像符号化装置は、付加情報を出力する。本実施形態において、図25(b)に示すように、APP11マーカ内において、HDR補助データの直後に、付加情報を出力する。画像符号化装置は、次に、ステップS404で生成したLDR画像のJPEGデータを、ISO/IEC 18477−1で規定されている方法で出力する(S414)。   When outputting the HDR auxiliary data, the image encoding device refers to the additional information flag (Flag), and if the additional information flag (Flag) is 1, the process proceeds to Step S412. In step S412, the image coding apparatus outputs additional information. In the present embodiment, as shown in FIG. 25B, the additional information is output immediately after the HDR auxiliary data in the APP11 marker. Next, the image encoding apparatus outputs the JPEG data of the LDR image generated in step S404 by a method defined in ISO / IEC 18477-1 (S414).

また、画像符号化装置は、付加情報フラグ(Flag)が0であれば、付加情報の出力は不要であることから、処理をステップS414に移行させる。ステップS414において、画像符号化装置は、テップS404で生成したLDR画像のJPEGデータを、ISO/IEC 18477−1に規定されている方法で、HDR符号化ファイルとして出力する。   Also, if the additional information flag (Flag) is 0, the image encoding apparatus does not need to output additional information, and thus the process proceeds to step S414. In step S414, the image encoding apparatus outputs the JPEG data of the LDR image generated in step S404 as an HDR encoded file by a method defined in ISO / IEC 18477-1.

次に、図4のステップS409のHDR補助データの生成処理に関して、図5を用いて説明する。図5は、HDR補助データの生成処理の流れを示すフローチャートである。なお、ISO/IEC 18477−2で規定されている処理と同様の処理に関しては、図5では、その説明を省略する。   Next, the HDR auxiliary data generation processing in step S409 in FIG. 4 will be described with reference to FIG. FIG. 5 is a flowchart showing the flow of the HDR auxiliary data generation process. Note that the processing similar to the processing defined in ISO / IEC 18477-2 is not described in FIG.

画像符号化装置は、HDR画像の輝度値(Y_hdr)を取得する(S501)。画像符号化装置は、次に、ステップS402で生成した線形LDR画像データをメモリ303から取得する(S502)。画像符号化装置は、ステップS502で取得した線形LDR画像の各画素において輝度値(Y_ldr)を算出する(S503)。なお、輝度値の計算には、ISO/IEC18477−1のMultiple Component Decorrelationにより定義されている変換式を適用する。   The image encoding device acquires the luminance value (Y_hdr) of the HDR image (S501). Next, the image encoding apparatus acquires the linear LDR image data generated in step S402 from the memory 303 (S502). The image encoding device calculates a luminance value (Y_ldr) in each pixel of the linear LDR image acquired in step S502 (S503). For the calculation of the luminance value, a conversion formula defined by Multiple Component Decoration of ISO / IEC18477-1 is applied.

画像符号化装置は、ステップS501で取得したHDR画像の輝度値(Y_hdr)と、ステップS503で取得した線形LDR画像の輝度値(Y_ldr)を用いて、全画素における輝度成分の比率(Y_ratio)を算出する(S504)。画像符号化装置は、HDR画像のRGBデータの画素値を、ステップS504で算出した輝度成分の比率(Y_ratio)で除算し、スケール変換したRGBデータ(HDR_div)を算出する(S505)。   The image encoding device uses the luminance value (Y_hdr) of the HDR image acquired in step S501 and the luminance value (Y_ldr) of the linear LDR image acquired in step S503 to calculate the luminance component ratio (Y_ratio) in all pixels. Calculate (S504). The image coding apparatus divides the pixel value of the RGB data of the HDR image by the luminance component ratio (Y_ratio) calculated in step S504 to calculate scale-converted RGB data (HDR_div) (S505).

画像符号化装置は、ステップS505においてスケール変換したRGBデータ(HDR_div)と、LDR画像のRGB画素値の差分を算出し、HDR補助データの色差成分(CC_hdr)を算出する(S506)。   The image encoding device calculates the difference between the RGB data (HDR_div) scale-converted in step S505 and the RGB pixel value of the LDR image, and calculates the color difference component (CC_hdr) of the HDR auxiliary data (S506).

画像符号化装置は、HDR補助データの色差成分(CC_hdr)をステップS503で算出した線形LDR画像の輝度値(Y_ldr)で正規化し、色差補助情報(CC_norm)を取得する(S507)。画像符号化装置は、色差補助情報(CC_norm)を取得すると、全ての画素の色差補助情報(CC_norm)の値から、最大値Max_CC(Max_CbとMax_Cr)と最小値Min_CC(Min_CbとMin_Cr)を取得する(S508)。画像符号化装置は、色差補助情報(CC_norm)を色差補助情報の最大値(Max_CC)と最小値(Min_CC)の範囲で色差量子化し、8ビット化した色差補助情報(CC_xt)を取得する(S509)。   The image encoding apparatus normalizes the color difference component (CC_hdr) of the HDR auxiliary data with the luminance value (Y_ldr) of the linear LDR image calculated in step S503, and acquires color difference auxiliary information (CC_norm) (S507). When acquiring the color difference auxiliary information (CC_norm), the image encoding device acquires the maximum value Max_CC (Max_Cb and Max_Cr) and the minimum value Min_CC (Min_Cb and Min_Cr) from the values of the color difference auxiliary information (CC_norm) of all the pixels. (S508). The image coding apparatus performs color difference quantization on the color difference auxiliary information (CC_norm) in the range of the maximum value (Max_CC) and the minimum value (Min_CC) of the color difference auxiliary information, and acquires 8-bit color difference auxiliary information (CC_xt) (S509). ).

画像符号化装置は、次に、ステップS504で取得した輝度成分の比率(Y_ratio)の対数値(Y_log)を算出する(S510)。画像符号化装置は、付加情報フラグ(Flag)を参照し、付加情報の生成が必要かどうかを判定する(S511)。画像符号化装置は、付加情報フラグ(Flag)が1であれば、付加情報の生成が必要であると判定し、ステップS512に処理を移行させる。なお、画像符号化装置は、付加情報フラグ(Flag)が0であれば、付加情報の生成は不要と判定し(即ち、ステップS512の処理を省略し)、ステップS513に処理を移行させる。   Next, the image coding apparatus calculates a logarithmic value (Y_log) of the luminance component ratio (Y_ratio) acquired in step S504 (S510). The image encoding device refers to the additional information flag (Flag) and determines whether additional information needs to be generated (S511). If the additional information flag (Flag) is 1, the image encoding device determines that additional information needs to be generated, and shifts the processing to step S512. If the additional information flag (Flag) is 0, the image encoding apparatus determines that generation of additional information is not necessary (that is, omits the process of step S512), and shifts the process to step S513.

ステップS512において、画像符号化装置は、ステップS408で取得した付加情報作成用データから、付加情報生成領域を特定し、その輝度成分の比率の対数値(ROI_Y_log)をメモリ上に保存する。   In step S512, the image coding apparatus specifies an additional information generation area from the additional information creation data acquired in step S408, and stores the logarithmic value (ROI_Y_log) of the ratio of the luminance components in the memory.

画像符号化装置は、輝度成分の比率の対数値(Y_log)に関して、全ての画素の最大値(Max_log)と最小値(Min_log)を取得する(S513)。そして、ステップS514において、画像符号化装置は、輝度成分の比率の対数の最大値(Max_log)と最小値(Min_log)の範囲で輝度成分の比率の対数値を量子化し、8ビット化した輝度成分の比率の対数値(Y_xt)を取得する。さらに、ステップS515において、画像符号化装置は、HDR補助データのJPEG圧縮と付加情報の生成に関する処理を実行する。   The image encoding apparatus acquires the maximum value (Max_log) and the minimum value (Min_log) of all the pixels regarding the logarithmic value (Y_log) of the luminance component ratio (S513). In step S514, the image coding apparatus quantizes the logarithmic value of the luminance component ratio in the range of the logarithm maximum value (Max_log) and the minimum value (Min_log) of the luminance component ratio, and converts the luminance component into 8-bit luminance components. The logarithmic value (Y_xt) of the ratio is acquired. Further, in step S515, the image encoding device executes processing related to JPEG compression of HDR auxiliary data and generation of additional information.

続いて、図6を用いて、ステップS515のHDR補助データのJPEG圧縮と付加情報の生成に関する処理を、より詳細に説明する。即ち、図6では、ステップS514で生成した8ビット化した輝度成分の比率の対数値(Y_xt)と、ステップS509で取得した8ビット化した色差補助情報(CC_xt)をHDR補助データとして、JPEG圧縮し、付加情報を生成する。   Next, the processing related to JPEG compression of HDR auxiliary data and generation of additional information in step S515 will be described in more detail with reference to FIG. That is, in FIG. 6, the logarithmic value (Y_xt) of the 8-bit luminance component ratio generated in step S514 and the 8-bit color difference auxiliary information (CC_xt) acquired in step S509 are used as HDR auxiliary data for JPEG compression. Then, additional information is generated.

画像符号化装置は、8ビット化した輝度成分の比率の対数値(Y_xt)をマクロブロックMBに分割して、マクロブロック単位で取得する(S601)。画像符号化装置は、マクロブロック単位(復号単位)で取得した8ビット化した輝度成分の比率の対数値(Y_xt)に対してDCT(Discrete Cosine Transform)を実行し(S602)、DCT係数を取得する。画像符号化装置は、ステップS403で取得したHDR補助データの量子化パラメータに従って、ステップS602で取得したDCT係数を量子化する(S603)。   The image encoding apparatus divides the logarithmic value (Y_xt) of the luminance component ratio converted to 8-bits into macroblocks MB, and obtains them in units of macroblocks (S601). The image encoding apparatus executes DCT (Discrete Cosine Transform) on the logarithm value (Y_xt) of the ratio of the luminance component converted to 8-bit acquired in macroblock units (decoding units) (S602), and acquires DCT coefficients. To do. The image encoding apparatus quantizes the DCT coefficient acquired in step S602 according to the quantization parameter of the HDR auxiliary data acquired in step S403 (S603).

次に、画像符号化装置は、処理対象としているマクロブロックMBが付加情報生成領域内に位置するか否かを判定する(S604)。画像符号化装置は、処理対象としているマクロブロックMBが付加情報生成領域内に位置すると判定するとステップS605に処理を移行させ、以後の処理で付加情報を生成する。一方、処理対象としているマクロブロックMBが付加情報生成領域内に位置しないと判定するとステップS608に処理を移行させる。なお、付加情報生成領域が設定されていない場合、即ち、付加情報フラグ(Flag)が0の場合も、同様に、ステップS608に処理を移行させる。   Next, the image coding apparatus determines whether or not the macro block MB to be processed is located in the additional information generation area (S604). If the image coding apparatus determines that the macro block MB to be processed is located in the additional information generation area, the image coding apparatus shifts the processing to step S605 and generates additional information in the subsequent processing. On the other hand, if it is determined that the macro block MB to be processed is not located in the additional information generation area, the process proceeds to step S608. Note that if the additional information generation area is not set, that is, if the additional information flag (Flag) is 0, the processing is similarly shifted to step S608.

画像符号化装置は、ステップS603において量子化されたマクロブロック単位のDCT係数を逆量子化し、さらに逆DCTを実行した結果(DecYxt)を取得する(S605)。画像符号化装置は、ステップS605で取得した逆DCTの実行結果を、輝度成分の比率の対数の最大値(Max_log)と最小値(Min_log)の範囲で逆量子化し、ビット深度を拡大した結果(ROI_DecYlog)を取得する(S606)。このように、ステップS605及びS606の処理を実行することで、付加情報生成領域内に位置するマクロブロックMBを対象に、補助データの輝度成分を簡易的に復号した結果を取得する。また、ここでは、量子化されたビット数より大きい、8ビットオーバーのデータレベル(データビット長)で復号される。画像符号化装置は、ステップS512で保存した線形量子化前の輝度成分の比率の対数値(ROI_Y_log)と、ビット深度を拡大した結果(ROI_DecYlog)の差分(DifYlog)を取得し、輝度比補正情報として保存する(S607)。   The image coding apparatus inversely quantizes the DCT coefficients in units of macroblocks quantized in step S603, and obtains a result (DecYxt) obtained by performing inverse DCT (S605). The image coding apparatus inversely quantizes the execution result of the inverse DCT acquired in step S605 within the range of the logarithm maximum value (Max_log) and the minimum value (Min_log) of the luminance component ratio, and the result of expanding the bit depth ( ROI_DecYlog) is acquired (S606). As described above, by executing the processes of steps S605 and S606, the result of simply decoding the luminance component of the auxiliary data is obtained for the macroblock MB located in the additional information generation area. Here, decoding is performed at a data level (data bit length) of 8 bits over, which is larger than the number of quantized bits. The image encoding apparatus obtains a difference (DifYlog) between the logarithmic value (ROI_Y_log) of the ratio of the luminance component before linear quantization stored in step S512 and the result of expanding the bit depth (ROI_DecYlog) (DifYlog). (S607).

画像符号化装置は、次に、マクロブロック単位で、ステップS603で量子化されたDCT係数をエントロピー符号化する(S608)。画像符号化装置は、補助データの輝度成分の全てのマクロブロックMBに関して、エントロピー符号化が終了したか否かを判定する(S609)。判定の結果、未だ処理がなされていないマクロブロックMBがある場合(S609 No)、画像符号化装置は、ステップS601に処理を返し、次のマクロブロックMBを対象にステップS601からステップS608までの処理を実行する。   Next, the image coding apparatus entropy codes the DCT coefficients quantized in step S603 in units of macroblocks (S608). The image coding apparatus determines whether entropy coding has been completed for all the macroblocks MB of the luminance component of the auxiliary data (S609). As a result of the determination, if there is a macroblock MB that has not yet been processed (No in S609), the image coding apparatus returns the process to step S601, and processes from step S601 to step S608 for the next macroblock MB. Execute.

画像符号化装置は、補助データの輝度成分の全てのマクロブロックMBに対する処理が終了すると(S609 Yes)、処理をステップS610に移行し、以後の処理で色差成分の圧縮処理を実行する。画像符号化装置は、ステップS403で取得したHDR補助データのサブサンプリング条件に従って、8ビット化した色差補助情報(CC_xt)をサブサンプリングする(S610)。画像符号化装置は、8ビット化した色差補助情報(CC_xt)をマクロブロックMBcに分割して、マクロブロック単位で取得する(S611)。   When the processing for all the macroblocks MB of the luminance component of the auxiliary data is completed (S609 Yes), the image coding apparatus shifts the processing to step S610, and executes the color difference component compression processing in the subsequent processing. The image encoding apparatus subsamples the 8-bit color difference auxiliary information (CC_xt) according to the subsampling condition of the HDR auxiliary data acquired in step S403 (S610). The image encoding apparatus divides the 8-bit color difference auxiliary information (CC_xt) into macroblocks MBc and acquires the macroblocks in units of macroblocks (S611).

画像符号化装置は、マクロブロック単位で取得した8ビット化した色差補助情報(CC_xt)に対して、DCTを実行し(S612)、DCT係数を取得する。画像符号化装置は、ステップS403で取得したHDR補助データの量子化パラメータに従ってステップS612で取得したDCT係数を量子化し(S613)、さらに、量子化したDCT係数をエントロピー符号化する(S614)。   The image encoding apparatus performs DCT on the 8-bit color difference auxiliary information (CC_xt) acquired in units of macroblocks (S612), and acquires DCT coefficients. The image encoding apparatus quantizes the DCT coefficient acquired in step S612 according to the quantization parameter of the HDR auxiliary data acquired in step S403 (S613), and further entropy encodes the quantized DCT coefficient (S614).

画像符号化装置は、8ビット化した色差補助情報(CC_xt)の全てのマクロブロックMBcに関して、エントロピー符号化が終了したか否かを判定する(S615)。判定の結果、未だ処理がなされていないマクロブロックMBcがある場合(S615 No)、画像符号化装置は、ステップS611に処理を返し、次のマクロブロックMBcを対象にステップS611からステップS614までの処理を実行する。   The image encoding device determines whether or not entropy encoding has been completed for all the macroblocks MBc of the 8-bit color difference auxiliary information (CC_xt) (S615). As a result of the determination, if there is a macroblock MBc that has not yet been processed (No in S615), the image coding apparatus returns the process to step S611, and processes from step S611 to step S614 for the next macroblock MBc. Execute.

画像復号装置は、8ビット化した色差補助情報(CC_xt)の全てのマクロブロックMBcに対する処理が終了すると(S615 Yes)、処理をステップS616に移行させる。ステップS616において、画像復号装置は、付加情報生成フラグ(Flag)を参照し、付加情報生成フラグ(Flag)が1であれば(S616 Yes)、処理をステップS617に移行させ、付加情報の圧縮処理を実行する(S617)。また、付加情報生成フラグ(Flag)が1でなければ(S616 No)、付加情報の圧縮処理を実行することなく、図6に示す処理を終了する。   When the process for all the macroblocks MBc of the 8-bit color difference auxiliary information (CC_xt) is completed (S615 Yes), the image decoding apparatus shifts the process to step S616. In step S616, the image decoding apparatus refers to the additional information generation flag (Flag), and if the additional information generation flag (Flag) is 1 (Yes in S616), the process proceeds to step S617 to compress the additional information. Is executed (S617). If the additional information generation flag (Flag) is not 1 (No in S616), the processing shown in FIG. 6 is terminated without executing the additional information compression processing.

続いて、図7を用いて、ステップS617の付加情報の圧縮処理に関して、より詳細に説明する。画像符号化装置は、ステップS607で保存した輝度比補正情報(DifYlog)を量子化し、8ビット整数化(DifYlog_8bit)する(S701)。画像符号化装置は、次に付加情報を生成する領域数Nを取得し(S702)、さらに領域のカウンタkにゼロを代入することで、領域のカウンタkを初期化する(S703)。なお、領域番号は、各々の領域の左上の座標を基準に、画像の左上からラスター順に付与されるものとする。したがって、例えば、図9(a)に示すように、3つの領域901〜903が付加情報を生成する領域として設定されている場合、それぞれ領域番号を「0」、「1」、「2」とする。   Subsequently, the additional information compression processing in step S617 will be described in more detail with reference to FIG. The image encoding apparatus quantizes the luminance ratio correction information (DifYlog) stored in step S607 and converts it to 8-bit integer (DifYlog_8bit) (S701). The image encoding apparatus acquires the number N of areas for generating additional information next (S702), and further initializes the area counter k by substituting zero for the area counter k (S703). The region numbers are given in raster order from the upper left of the image with reference to the upper left coordinates of each region. Therefore, for example, as shown in FIG. 9A, when three areas 901 to 903 are set as areas for generating additional information, the area numbers are “0”, “1”, and “2”, respectively. To do.

画像符号化装置は、領域番号kの8ビット整数化された輝度比補正情報(DifYlog_8bit)を取得する(S704)。画像符号化装置は、ステップS704で取得した8ビット整数化された輝度比補正情報を、ステップS408で取得した付加情報作成用データで、その領域の幅と高さの画像サイズの、1色の画像としてJPEG圧縮する(S705)。   The image encoding apparatus acquires luminance ratio correction information (DifYlog — 8 bits) that is an 8-bit integer and has an area number k (S704). The image encoding device uses the 8-bit integer brightness ratio correction information acquired in step S704 as additional information creation data acquired in step S408, and has one color of the image size of the width and height of the region. JPEG compression is performed as an image (S705).

画像符号化装置は、領域のカウンタkに1を加算する(S706)。画像符号化装置は、領域のカウンタkに1を加算すると(即ち、カウントアップすると)、領域のカウンタkと領域数Nが同じ値であるか否かを判定する(S707)。そして、領域のカウンタkと領域数Nが同じ値であれば(S707 Yes)、画像符号化装置は、全ての領域に関して付加情報の圧縮処理が終了したものとして、図7に示す処理を終了する。また、領域のカウンタkと領域数Nが同じ値でなければ(S707 No)、画像符号化装置は、処理をステップS704に返し、次の領域の付加情報の圧縮処理を実行する。   The image coding apparatus adds 1 to the area counter k (S706). When 1 is added to the area counter k (that is, when counting up), the image coding apparatus determines whether or not the area counter k and the number N of areas are the same value (S707). If the area counter k and the area number N are the same value (S707 Yes), the image encoding apparatus ends the process shown in FIG. 7 assuming that the compression process of the additional information has been completed for all areas. . If the area counter k and the area number N are not the same value (No in S707), the image coding apparatus returns the process to step S704 and executes the compression process of the additional information of the next area.

次に、図4のステップS412の付加情報の出力処理に関して、図8を用いて説明する。本実施形態では、図25(b)のように、HDR補助データと同じAPP11マーカ内において、HDR補助データに続けて付加情報を出力する。   Next, the additional information output process in step S412 of FIG. 4 will be described with reference to FIG. In the present embodiment, as shown in FIG. 25B, the additional information is output after the HDR auxiliary data in the same APP11 marker as the HDR auxiliary data.

符号化装置は、HDR補助データのEOIマーカの後ろに、付加情報を生成した領域数Nを出力する(S801)。なお、本実施形態において、領域数は1バイトで記載するものとする。画像符号化装置は、付加情報を生成する領域数をカウントするカウンタkにゼロを代入することで、領域のカウンタkを初期化する(S802)。   The encoding apparatus outputs the number N of regions in which the additional information is generated after the EOI marker of the HDR auxiliary data (S801). In the present embodiment, the number of areas is described as 1 byte. The image encoding apparatus initializes the area counter k by substituting zero into a counter k that counts the number of areas for generating additional information (S802).

符号化装置は、次に領域番号kの符号量S(k)を取得する(S803)。なお、ここで、符号量S(k)とは、ステップS705で生成された、SOIマーカからEOIマーカで終了するJPEG圧縮データの符号量である。また、本実施形態において、符号量は2バイトで記載するものとする。   Next, the encoding apparatus acquires the code amount S (k) of the region number k (S803). Here, the code amount S (k) is the code amount of the JPEG compressed data generated in step S705 and ending with the EOI marker from the SOI marker. In this embodiment, the code amount is described in 2 bytes.

符号化装置は、領域番号kの符号量S(k)を取得すると、領域番号kに続いて、符号量S(k)を出力する(S805)。符号化装置は、ステップS705で生成された、領域番号kのJPEG圧縮されたデータを出力する(S806)。画像符号化装置は、領域のカウンタkに1を加算する(S807)。画像符号化装置は、領域のカウンタkに1を加算すると(即ち、カウントアップすると)、領域のカウンタkと領域数Nが同じ値であるか否かを判定する(S808)。そして、領域のカウンタkと領域数Nが同じ値であれば(S808 Yes)、画像符号化装置は、全ての領域に関して付加情報の出力処理が終了したものとして、図8に示す処理を終了する。また、領域のカウンタkと領域数Nが同じ値でなければ(S808 No)、画像符号化装置は、処理をステップS803に返し、次の領域の付加情報の出力処理を実行する。   When acquiring the code amount S (k) of the region number k, the encoding device outputs the code amount S (k) following the region number k (S805). The encoding apparatus outputs the JPEG-compressed data of area number k generated in step S705 (S806). The image encoding apparatus adds 1 to the area counter k (S807). When 1 is added to the area counter k (that is, when counting up), the image coding apparatus determines whether or not the area counter k is equal to the number of areas N (S808). If the area counter k and the area number N are the same value (Yes in S808), the image coding apparatus ends the process shown in FIG. 8 assuming that the additional information output process has been completed for all areas. . If the area counter k and the area number N are not the same value (No in S808), the image coding apparatus returns the process to step S803, and executes the output process of the additional information of the next area.

以上のように、本実施形態では、ユーザが指定した1又は複数の領域に対して、復号後のHDR画像の画質を向上させる付加情報を生成することができる。また、付加情報を生成する領域のみ、HDR補助データを復号することから、付加情報生成のための処理負荷、使用メモリ量、及び処理時間を最小限に抑えることができる。   As described above, in this embodiment, it is possible to generate additional information that improves the image quality of an HDR image after decoding for one or a plurality of regions designated by the user. Further, since the HDR auxiliary data is decoded only in the area where the additional information is generated, the processing load, the amount of used memory, and the processing time for generating the additional information can be minimized.

また、HDR補助データの劣化度合いを補正するデータを付加情報としていることから、付加情報を生成する過程で、圧縮したLDR画像のデコードは必要ない。そのため、付加情報の生成処理と、LDR画像の圧縮処理は独立に実行することができる。即ち、両方の処理を並列に実行することができ、延いては処理時間の短縮を見込むことができる。加えて、付加情報は、HDR補助データの輝度成分の量子化前後の差分値であることから、生成する上での処理負荷も大幅に軽くすることができる。   Further, since the data for correcting the degradation degree of the HDR auxiliary data is used as additional information, it is not necessary to decode the compressed LDR image in the process of generating the additional information. Therefore, the additional information generation process and the LDR image compression process can be executed independently. That is, both processes can be executed in parallel, and as a result, a reduction in processing time can be expected. In addition, since the additional information is a difference value before and after the quantization of the luminance component of the HDR auxiliary data, the processing load for generation can be significantly reduced.

その他、付加情報によって補正される、HDR補助データの輝度成分(Y_ratio)は、HDR補助データの色差成分の復号(図2のRGBスケール変換部204によるスケール変換を戻す工程)においても用いることができる。そのため、色差成分のデコード画質も向上させることができる。また、付加情報の圧縮形式もJPEG圧縮形式であることから、JPEGデコード機能を有するJPEG XTのデコーダだけで、HDR画像の画質を向上させることができる。   In addition, the luminance component (Y_ratio) of the HDR auxiliary data, which is corrected by the additional information, can be used in the decoding of the color difference component of the HDR auxiliary data (step of returning the scale conversion by the RGB scale conversion unit 204 in FIG. 2). . Therefore, the decoded image quality of the color difference component can also be improved. Further, since the compression format of the additional information is also a JPEG compression format, the image quality of the HDR image can be improved only by a JPEG XT decoder having a JPEG decoding function.

[実施形態2]
<輝度成分の比率の補助データの付加情報をJPEG圧縮形式以外の圧縮形式で圧縮>
上述のように、実施形態1では、図6のステップS617において、付加情報をJPEG圧縮形式で圧縮した。このように、JPEG圧縮形式で圧縮する場合、JPEG XTのデコーダがあれば付加情報を復号できるが、8ビットを超える付加情報をステップS701で8ビットに量子化するため、付加情報の劣化も大きくなる可能性がある。
[Embodiment 2]
<Compression of additional information of auxiliary data of luminance component ratio in a compression format other than JPEG compression format>
As described above, in the first embodiment, the additional information is compressed in the JPEG compression format in step S617 of FIG. In this way, when compressing in the JPEG compression format, additional information can be decoded if there is a JPEG XT decoder, but additional information exceeding 8 bits is quantized to 8 bits in step S701, so that the additional information is greatly degraded. There is a possibility.

そこで、本実施形態では、8ビットを超えるデータを扱える、JPEG 2000を用いて圧縮する。なお、本実施形態において、実施形態1と異なるのは、図6のステップS617の付加情報の圧縮処理と、図4のステップS412の付加情報の出力処理である。   Therefore, in this embodiment, compression is performed using JPEG 2000, which can handle data exceeding 8 bits. In this embodiment, what is different from the first embodiment is an additional information compression process in step S617 in FIG. 6 and an additional information output process in step S412 in FIG.

先ず、本実施形態における付加情報の圧縮処理に関して、図10を用いて説明する。なお、図10に示す処理に関して、実施形態1の図7と同様の処理は、ここでの詳細な説明は省略する。具体的には、図10のステップS1001、S1003、S1008、S1009は、図7のステップS702、S703、S706、S707に各々、対応している。   First, the additional information compression processing in this embodiment will be described with reference to FIG. In addition, regarding the process shown in FIG. 10, the detailed description here is abbreviate | omitted about the process similar to FIG. 7 of Embodiment 1. FIG. Specifically, steps S1001, S1003, S1008, and S1009 in FIG. 10 correspond to steps S702, S703, S706, and S707 in FIG. 7, respectively.

符号化装置は、付加情報を生成する領域数Nを取得する(S1001)。符号化装置は、領域数Nを取得すると、付加情報作成用データから付加情報のビット数Bを取得する(S1002)。本実施形態において、符号化装置は、ユーザにより設定された付加情報の精度に応じて、B=9〜38(JPEG2000で扱える最大ビット数)のいずれかの値を取得できる。そして、このビット数が大きいほど、付加情報の劣化は小さくなる。   The encoding apparatus acquires the number N of regions for generating additional information (S1001). When the encoding apparatus acquires the number N of areas, the encoding apparatus acquires the number B of additional information from the additional information creation data (S1002). In the present embodiment, the encoding apparatus can acquire any value of B = 9 to 38 (the maximum number of bits that can be handled by JPEG2000) according to the accuracy of the additional information set by the user. As the number of bits increases, the deterioration of additional information decreases.

符号化装置は、次に、領域のカウンタkを初期化し(S1003)、領域番号kの輝度比補正情報(DifYlog)を取得する(S1004)。符号化装置は、ステップS1004で取得した領域番号kの輝度比補正情報(DifYlog)の最小値と最大値を取得する(S1005)。   Next, the encoding apparatus initializes the area counter k (S1003), and acquires the luminance ratio correction information (DifYlog) of the area number k (S1004). The encoding apparatus acquires the minimum value and the maximum value of the luminance ratio correction information (DifYlog) of the area number k acquired in step S1004 (S1005).

符号化装置は、輝度比補正情報(DifYlog)を、ステップS1005で取得した最小値と最大値の間で線形量子化し、さらにステップS1002で取得したビット数Bに応じて、Bビットの整数値(DifYlog_B)に変換する(S1006)。符号化装置は、ステップS1006で取得した輝度比補正情報のBビット整数値(DifYlog_B)をJPEG2000で圧縮する(S1007)。   The encoding apparatus linearly quantizes the luminance ratio correction information (DifYlog) between the minimum value and the maximum value acquired in step S1005, and further, according to the number of bits B acquired in step S1002, a B-bit integer value ( DifYlog_B) (S1006). The encoding apparatus compresses the B-bit integer value (DifYlog_B) of the luminance ratio correction information acquired in step S1006 with JPEG2000 (S1007).

画像符号化装置は、領域のカウンタkに1を加算する(S1008)。画像符号化装置は、領域のカウンタkに1を加算すると(即ち、カウントアップすると)、領域のカウンタkと領域数Nが同じ値であるか否かを判定する(S1009)。   The image coding apparatus adds 1 to the area counter k (S1008). When 1 is added to the area counter k (that is, when counting up), the image coding apparatus determines whether or not the area counter k and the number N of areas are the same value (S1009).

そして、領域のカウンタkと領域数Nが同じ値であれば(S1009 Yes)、画像符号化装置は、全ての領域に関して付加情報の圧縮処理が終了したものとして、図10に示す処理を終了する。また、領域のカウンタkと領域数Nが同じ値でなければ(S1009 No)、画像符号化装置は、処理をステップS1004に返し、次の領域の付加情報の圧縮処理を実行する。   If the area counter k and the area number N are the same value (S1009 Yes), the image encoding apparatus ends the process shown in FIG. 10 assuming that the compression process of the additional information has been completed for all areas. . If the area counter k and the area number N are not the same value (No in S1009), the image coding apparatus returns the process to step S1004 and executes the compression process of the additional information of the next area.

次に、本実施形態における付加情報の出力処理に関して、図11を用いて説明する。なお、図11に示す処理に関して、実施形態1の図8と同様の処理は、ここでの詳細な説明は省略する。具体的には、図11のステップS1101、S1102、S1103、S1104、S1106、S1108、S1109は、図8のステップS801、S802、S803、S804、S805、S807、S808に各々、対応している。   Next, the additional information output processing in the present embodiment will be described with reference to FIG. In addition, regarding the process shown in FIG. 11, the detailed description here is abbreviate | omitted about the process similar to FIG. 8 of Embodiment 1. FIG. Specifically, steps S1101, S1102, S1103, S1104, S1106, S1108, and S1109 in FIG. 11 correspond to steps S801, S802, S803, S804, S805, S807, and S808 in FIG. 8, respectively.

符号化装置は、付加情報を生成する領域数Nを出力する(S1101)。符号化装置は、領域数Nを出力すると、領域のカウンタkを初期化し(S1102)、さらに領域番号kの符号量S(k)を取得する(S1103)。   The encoding device outputs the number N of regions for generating additional information (S1101). When outputting the number N of regions, the encoding device initializes a region counter k (S1102), and obtains a code amount S (k) of the region number k (S1103).

符号化装置は、次に、領域番号kの位置情報を出力し(S1104)、線形量子化に用いた最小値と最大値を出力する(S1105)。即ち、ステップS1005で取得した最小値と最大値を出力する。   Next, the encoding apparatus outputs the position information of the region number k (S1104), and outputs the minimum value and the maximum value used for the linear quantization (S1105). That is, the minimum value and the maximum value acquired in step S1005 are output.

符号化装置は、さらに、領域番号kの符号量S(k)を出力し(S1106)、領域番号kの付加情報のJPEG2000データを出力する(S1107)。即ち、符号化装置は、ステップS1007で生成した符号データのSOCマーカからEOCマーカまでを出力する。   The encoding apparatus further outputs the code amount S (k) of the area number k (S1106), and outputs JPEG2000 data of the additional information of the area number k (S1107). That is, the encoding apparatus outputs from the SOC marker to the EOC marker of the code data generated in step S1007.

画像符号化装置は、領域のカウンタkに1を加算する(S1108)。画像符号化装置は、領域のカウンタkに1を加算すると(即ち、カウントアップすると)、領域のカウンタkと領域数Nが同じ値であるか否かを判定する(S1109)。そして、領域のカウンタkと領域数Nが同じ値であれば(S1109 Yes)、画像符号化装置は、全ての領域に関して付加情報の出力処理が終了したものとして、図11に示す処理を終了する。また、領域のカウンタkと領域数Nが同じ値でなければ(S1109 No)、画像符号化装置は、処理をステップS1103に返し、次の領域の付加情報の出力処理を実行する。   The image coding apparatus adds 1 to the area counter k (S1108). When adding 1 to the area counter k (that is, counting up), the image coding apparatus determines whether or not the area counter k and the number N of areas are the same value (S1109). If the area counter k and the area number N are the same value (S1109 Yes), the image encoding apparatus ends the process shown in FIG. 11 assuming that the output process of the additional information has been completed for all areas. . If the area counter k and the area number N are not the same value (No in S1109), the image coding apparatus returns the process to step S1103, and executes the output process of the additional information of the next area.

本実施形態では、付加情報の符号化(エンコード)/復号(デコード)に、JPEG XTのデコーダの他にJPEG2000のデコーダも必要になるが、付加情報の精度は高くなり、付加情報で補正したHDR画像の画質はさらに良くなる。また、本実施形態では、圧縮形式としてJPEG2000を用いたが、8ビットオーバーのデータを圧縮できる圧縮形式であれば、本実施形態と同様の効果を得ることができる。   In this embodiment, a JPEG2000 decoder is required in addition to a JPEG XT decoder for encoding / decoding additional information. However, the accuracy of the additional information is increased, and the HDR corrected with the additional information is used. The image quality is even better. In this embodiment, JPEG2000 is used as the compression format. However, the same effect as in this embodiment can be obtained as long as the compression format can compress 8-bit over data.

[実施形態3]
<補助データの色差成分に関する付加情報も生成>
実施形態1では、HDR補助データの輝度成分に対してのみ補助データを生成した。これにより、色差成分の復号(デコード)時に、即ち、補助データの色差成分をHDRに戻す時に、その精度が良くなり、デコード結果も改善される。しかしながら、色差成分に関して、線形量子化(即ち、8ビット整数化)、またJPEG圧縮(より詳しくは、DCT係数の量子化)を行なっていることから、それによる劣化を軽減することができない。
[Embodiment 3]
<Generate additional information on color difference component of auxiliary data>
In the first embodiment, auxiliary data is generated only for the luminance component of the HDR auxiliary data. As a result, when decoding (decoding) the color difference component, that is, when returning the color difference component of the auxiliary data to HDR, the accuracy is improved and the decoding result is also improved. However, since the color difference component is subjected to linear quantization (that is, 8-bit integer conversion) and JPEG compression (more specifically, quantization of DCT coefficients), deterioration due to this cannot be reduced.

そこで、本実施形態では、色差成分についても付加情報を生成する。図12は、本発明の第3の実施形態に係る画像符号化装置の機能ブロック図であり、図12において、第1の実施形態との相違点に着目して説明する。図12に示すように、本発明の第3の実施形態に係る画像符号化装置は、図2に示す機能(即ち、特徴値取得部1221、領域判定部1222、差分取得部1224)に加えて、JPEG復号部1223、差分取得部1226、差分データ圧縮部1225を備える。   Therefore, in this embodiment, additional information is also generated for the color difference component. FIG. 12 is a functional block diagram of an image coding apparatus according to the third embodiment of the present invention. In FIG. 12, a description will be given focusing on differences from the first embodiment. As shown in FIG. 12, the image coding apparatus according to the third embodiment of the present invention is in addition to the functions shown in FIG. 2 (that is, the feature value acquisition unit 1221, the region determination unit 1222, and the difference acquisition unit 1224). , A JPEG decoding unit 1223, a difference acquisition unit 1226, and a difference data compression unit 1225.

JPEG復号部1223は、逆量子化、逆DCT等の処理を実行することで、補助データの輝度成分以外に色差成分についても簡易的に復号する。差分取得部1226は、付加情報を生成する領域の色差補助情報と、JPEG復号部1223により補助データの色差成分を復号した結果との差分を、色差補正情報として取得する。差分データ圧縮部1225は、輝度比補正情報以外に、色差補正情報についても、量子化し、さらにJPEG圧縮する。   The JPEG decoding unit 1223 simply decodes the color difference component in addition to the luminance component of the auxiliary data by executing processing such as inverse quantization and inverse DCT. The difference acquisition unit 1226 acquires, as color difference correction information, the difference between the color difference auxiliary information of the region for generating additional information and the result of decoding the color difference component of the auxiliary data by the JPEG decoding unit 1223. The difference data compression unit 1225 quantizes the color difference correction information in addition to the luminance ratio correction information, and further JPEG compresses it.

次に、本実施形態において、画像符号化装置に入力されたHDR画像データから、LDR画像とHDR補助データを生成し、各々を圧縮する処理に関して説明する。なお、本実施形態において、実施形態1と異なるのは図4のステップS409のHDR補助データの生成処理であり、その他の処理は実施形態1と同様の処理であることから、ここではその説明を省略する。   Next, in the present embodiment, a process for generating an LDR image and HDR auxiliary data from HDR image data input to the image encoding device and compressing each will be described. In the present embodiment, the difference from the first embodiment is the HDR auxiliary data generation processing in step S409 in FIG. 4, and the other processing is the same processing as in the first embodiment. Omitted.

そこで、先ず、図13を用いて、本実施形態におけるHDR補助データの生成処理に関して説明する。なお、図13に示す処理に関して、実施形態1の図5と同様の処理は、ここでの詳細な説明は省略する。   First, the HDR auxiliary data generation process in this embodiment will be described with reference to FIG. In addition, regarding the process shown in FIG. 13, the detailed description here is abbreviate | omitted about the process similar to FIG. 5 of Embodiment 1. FIG.

具体的には、図13のステップS1301からステップS1308までの処理は、実施形態1の図5のステップS501からステップS508までの処理と同様の処理である。本実施形態において、ステップS1308の次に、ステップS1309(図5のステップS510)に処理を移行させ、輝度成分の比率(Y_ratio)の対数値(Y_log)を取得する(S1309)。   Specifically, the processing from step S1301 to step S1308 in FIG. 13 is the same as the processing from step S501 to step S508 in FIG. In this embodiment, after step S1308, the process proceeds to step S1309 (step S510 in FIG. 5), and a logarithmic value (Y_log) of the ratio (Y_ratio) of luminance components is acquired (S1309).

画像符号化装置は、次に、付加情報フラグ(Flag)を参照し、付加情報の生成が必要かどうかを判定する(S1310)。画像符号化装置は、付加情報フラグ(Flag)が1であれば、付加情報の生成が必要であると判定し、ステップS1311に処理を移行させる。なお、画像符号化装置は、付加情報フラグ(Flag)が0であれば、付加情報の生成は不要と判定し(即ち、ステップS1311及びS1312の処理を省略し)、ステップS1313に処理を移行させる。   Next, the image coding apparatus refers to the additional information flag (Flag) and determines whether additional information needs to be generated (S1310). If the additional information flag (Flag) is 1, the image encoding apparatus determines that additional information needs to be generated, and shifts the processing to step S1311. If the additional information flag (Flag) is 0, the image encoding apparatus determines that generation of additional information is not necessary (that is, omits the processes in steps S1311 and S1312), and shifts the process to step S1313. .

ステップS1311において、画像符号化装置は、ステップS1307で取得した画像全体の色差補助情報(CC_norm)から、付加情報を生成する領域の色差補助情報(ROI_CCnorm)を保存する(S1311)。画像符号化装置は、次に、付加情報を生成する領域の輝度成分の比率の対数値(ROI_Y_log)を実施形態1と同様に保存する(S1312)。   In step S1311, the image coding apparatus stores the color difference auxiliary information (ROI_CCnorm) of the region for generating additional information from the color difference auxiliary information (CC_norm) of the entire image acquired in step S1307 (S1311). Next, the image coding apparatus stores the logarithmic value (ROI_Y_log) of the ratio of the luminance component of the region where the additional information is generated, as in the first embodiment (S1312).

画像符号化装置は、ステップS1308で取得した色差補助情報(CC_norm)の最大値(Max_CC)と最小値(Min_CC)の範囲で、色差補助情報を量子化し、8ビット整数化された色差補助情報(CC_xt)を取得する(S1313)。画像符号化装置は、輝度成分の比率の対数値(Y_log)の最大値(Max_log)と最小値(Min_log)を取得する(S1314)。そして、画像符号化装置は、輝度成分の比率の対数値(Y_log)を最大値(Max_log)と最小値(Min_log)の範囲で量子化し、8ビット整数化された輝度成分の比率の対数値(Y_xt)を取得する(S1315)。画像符号化装置は、HDR補助データをJPEG圧縮し、さらに輝度成分と色差成分の付加情報を生成する(S1316)。   The image encoding apparatus quantizes the color difference auxiliary information in the range of the maximum value (Max_CC) and the minimum value (Min_CC) of the color difference auxiliary information (CC_norm) acquired in step S1308, and converts the color difference auxiliary information (8-bit integer) ( CC_xt) is acquired (S1313). The image encoding apparatus acquires the maximum value (Max_log) and the minimum value (Min_log) of the logarithmic value (Y_log) of the luminance component ratio (S1314). Then, the image coding apparatus quantizes the logarithmic value (Y_log) of the luminance component ratio in the range of the maximum value (Max_log) and the minimum value (Min_log), and converts the logarithmic value of the luminance component ratio into an 8-bit integer ( Y_xt) is acquired (S1315). The image encoding apparatus JPEG compresses the HDR auxiliary data, and further generates additional information of the luminance component and the color difference component (S1316).

続いて、図14を用いて、ステップS1316のHDR補助データのJPEG圧縮と付加情報の生成に関する処理を、より詳細に説明する。なお、図14に示す処理に関して、実施形態1の図6と同様の処理は、ここでの詳細な説明は省略する。   Next, the processing related to JPEG compression of HDR auxiliary data and generation of additional information in step S1316 will be described in more detail with reference to FIG. In addition, regarding the process shown in FIG. 14, the detailed description here is abbreviate | omitted about the process similar to FIG. 6 of Embodiment 1. FIG.

具体的には、図14のステップS1401からステップS1413までの処理は、実施形態1の図6のステップS601からステップS613までの処理と同様の処理である。本実施形態において、ステップS1413の次に、ステップS1414に処理を移行させ、処理対象としているマクロブロックMBcが付加情報作成領域内に位置するか否かを判定する(S1414)。なお、この判定処理において、マクロブロックMBcはサブサンプリングされた結果であることから、サブサンプリング処理の実行前の画素位置が、ステップS408で取得した付加情報生成領域に含まれるか否かを判定する
そして、マクロブロックMBcが付加情報生成領域内であれば、画像符号化装置は、処理をステップS1415に移行させ、色差成分の付加情報を生成する。画像符号化装置は、マクロブロックが付加情報生成領域内にない場合、又はマクロブロックが付加情報生成領域内にある場合であって、色差成分の付加情報を生成すると(S1415)、量子化したDCT係数をエントロピー符号化する(S1416)。
Specifically, the processing from step S1401 to step S1413 in FIG. 14 is the same as the processing from step S601 to step S613 in FIG. In this embodiment, after step S1413, the process proceeds to step S1414, and it is determined whether or not the macroblock MBc to be processed is located in the additional information creation area (S1414). In this determination process, since the macroblock MBc is a result of sub-sampling, it is determined whether or not the pixel position before execution of the sub-sampling process is included in the additional information generation area acquired in step S408. If the macro block MBc is within the additional information generation area, the image coding apparatus shifts the processing to step S1415 and generates additional information of the color difference component. When the macroblock is not in the additional information generation area or the macroblock is in the additional information generation area and the additional information of the color difference component is generated (S1415), the image encoding apparatus generates the quantized DCT. The coefficients are entropy encoded (S1416).

画像符号化装置は、8ビット整数化した色差補助情報(CC_xt)の全てのマクロブロックMBcに関して、エントロピー符号化が終了したか否かを判定する(S1417)。判定の結果、未だ処理がなされていないマクロブロックMBcがある場合(S1417 No)、画像符号化装置は、ステップS1411に処理を返し、次のマクロブロックMBcを対象にステップS1411からステップS1416までの処理を実行する。   The image coding apparatus determines whether entropy coding has been completed for all the macroblocks MBc of the 8-bit integer color difference auxiliary information (CC_xt) (S1417). As a result of the determination, if there is a macroblock MBc that has not yet been processed (No in S1417), the image coding apparatus returns the process to step S1411, and processes from step S1411 to step S1416 for the next macroblock MBc. Execute.

画像符号化装置は、8ビット整数化した色差補助情報(CC_xt)の全てのマクロブロックMBcに対する処理が終了すると(S1417 Yes)、処理をステップS1418に移行させる。ステップS1418において、画像符号化装置は、付加情報生成フラグ(Flag)を参照し、付加情報生成フラグ(Flag)が1であれば(S1418 Yes)、処理をステップS1419に移行させ、付加情報の圧縮処理を実行する(S1419)。また、付加情報生成フラグ(Flag)が1でなければ(S1418 No)、付加情報の圧縮処理を実行することなく、図14に示す処理を終了する。   When the processing for all the macroblocks MBc of the color difference auxiliary information (CC_xt) converted to 8-bit integers is completed (S1417 Yes), the image encoding device shifts the processing to step S1418. In step S1418, the image encoding apparatus refers to the additional information generation flag (Flag). If the additional information generation flag (Flag) is 1 (Yes in S1418), the process proceeds to step S1419 to compress the additional information. Processing is executed (S1419). If the additional information generation flag (Flag) is not 1 (No in S1418), the processing shown in FIG. 14 is terminated without executing the additional information compression processing.

続いて、図15を用いて、ステップS1415の色差成分の付加情報の生成処理に関して、より詳細に説明する。なお、色差成分の付加情報の生成処理は、輝度成分の付加情報の生成処理(即ち、図6のステップS605からステップS607までの処理)とおおよそ同様の処理である。   Subsequently, the generation process of additional information of the color difference component in step S1415 will be described in more detail with reference to FIG. Note that the color difference component additional information generation processing is substantially the same as the luminance component additional information generation processing (that is, processing from step S605 to step S607 in FIG. 6).

画像符号化装置は、処理対象としているマクロブロックMBcのDCT係数を逆量子化し、さらに逆DCTを実行した結果(DecCCxt)を取得する(S1501)。画像符号化装置は、ステップS1501で取得した逆DCTの実行結果(DecCCxt)を、色差補助情報の最大値(Max_CC)と最小値(Min_CC)の範囲で逆量子化し、ビット深度を拡大した結果(ROI_DecCC)を取得する(S1502)。   The image coding apparatus inverse quantizes the DCT coefficient of the macroblock MBc to be processed, and obtains a result (DecCCxt) obtained by performing inverse DCT (S1501). The image coding apparatus dequantizes the inverse DCT execution result (DecCCxt) acquired in step S1501 in the range of the maximum value (Max_CC) and the minimum value (Min_CC) of the color difference auxiliary information, and the result of expanding the bit depth ( ROI_DecCC) is acquired (S1502).

ステップS1311で保存した付加情報生成領域の色差補助情報(ROI_CCnorm)と、ステップS1502で取得したビット深度を拡大した結果(ROI_DecCC)との差分(DifDecCC)を色差補正情報として保存する(S1502)。このように、各付加情報生成領域の輝度成分の比率(Y_ratio)を修正するための付加情報と、色差補助情報(CC_norm)を修正するための付加情報が生成される。   A difference (DifDecCC) between the color difference auxiliary information (ROI_CCnorm) of the additional information generation area saved in step S1311 and the bit depth obtained in step S1502 (ROI_DecCC) is saved as color difference correction information (S1502). In this manner, additional information for correcting the luminance component ratio (Y_ratio) of each additional information generation area and additional information for correcting the color difference auxiliary information (CC_norm) are generated.

次に、本実施形態における付加情報の圧縮処理(即ち、図14のステップS1419の処理)に関して、図16を用いて説明する。なお、実施形態1では輝度成分一色のJPEG圧縮データを生成したが、本実施形態では、YCC3色のJPEG圧縮データを生成し、保存する。また、図16に示す処理に関して、実施形態1の図7と同様の処理は、ここでの詳細な説明は省略する。具体的には、図16のステップS1601、S1603、S1604、S1607、S1608は、図7のステップS701、S702、S703、S706、S707に各々、対応している。   Next, the additional information compression process (that is, the process of step S1419 in FIG. 14) in the present embodiment will be described with reference to FIG. In the first embodiment, JPEG compressed data of one luminance component color is generated. However, in this embodiment, JPEG compressed data of YCC three colors is generated and stored. Further, regarding the processing shown in FIG. 16, the detailed description of the same processing as in FIG. 7 of the first embodiment is omitted here. Specifically, steps S1601, S1603, S1604, S1607, and S1608 in FIG. 16 correspond to steps S701, S702, S703, S706, and S707 in FIG. 7, respectively.

画像符号化装置は、輝度比補正情報(DifYlog)を量子化し、8ビット整数化したデータ(DifYlog_8bit)を取得する(S1601)。画像符号化装置は、色差補正情報(DifDecCC)を量子化し、8ビット整数化したデータ(DifDecCC_8bit)を取得する(S1602)。   The image encoding apparatus quantizes the luminance ratio correction information (DifYlog) and acquires 8-bit integer data (DifYlog — 8 bits) (S1601). The image encoding apparatus quantizes the color difference correction information (DifDecCC) and acquires 8-bit integer data (DifDecCC_8 bits) (S1602).

画像符号化装置は、次に、付加情報生成領域の数Nを取得する(S1603)。画像符号化装置は、付加情報を生成する領域数をカウントするカウンタkにゼロを代入することで、領域のカウンタkを初期化する(S1604)。   Next, the image coding apparatus acquires the number N of additional information generation areas (S1603). The image encoding apparatus initializes the area counter k by substituting zero into a counter k that counts the number of areas for generating additional information (S1604).

画像符号化装置は、ステップS1601及びステップS1602で取得したデータから、領域番号kに該当するデータ(DifYlog_8bit及びDifDecCC_8bit)をデータ(DifYCC(k))として抜き出す(S1605)。画像符号化装置は、ステップS1605で取得したデータ(DifYCC(k))をJPEG圧縮する(S1606)。   The image coding apparatus extracts data (DifYlog_8bit and DifDecCC_8bit) corresponding to the region number k as data (DifYCC (k)) from the data acquired in steps S1601 and S1602 (S1605). The image encoding device JPEG-compresses the data (DifYCC (k)) acquired in step S1605 (S1606).

画像符号化装置は、領域のカウンタkに1を加算する(S1607)。画像符号化装置は、領域のカウンタkに1を加算すると(即ち、カウントアップすると)、領域のカウンタkと領域数Nが同じ値であるか否かを判定する(S1608)。そして、領域のカウンタkと領域数Nが同じ値であれば(S1608 Yes)、画像符号化装置は、全ての領域に関して付加情報の圧縮処理が終了したものとして、図16に示す処理を終了する。また、領域のカウンタkと領域数Nが同じ値でなければ(S1608 No)、画像符号化装置は、処理をステップS1605に返し、次の領域の付加情報の圧縮処理を実行する。これらの処理を実行することで、全ての付加情報を作成する領域に対して、補助データの輝度成分と色差成分に対する付加情報データの圧縮処理が終了する。   The image coding apparatus adds 1 to the area counter k (S1607). When adding 1 to the area counter k (that is, counting up), the image coding apparatus determines whether or not the area counter k and the number of areas N are the same (S1608). If the area counter k and the area number N are the same value (S1608 Yes), the image encoding apparatus ends the process shown in FIG. 16 assuming that the compression process of the additional information has been completed for all areas. . If the area counter k and the area number N are not the same value (No in S1608), the image coding apparatus returns the process to step S1605 and executes the compression process of the additional information of the next area. By executing these processes, the compression process of the additional information data for the luminance component and the color difference component of the auxiliary data is completed for the region where all the additional information is created.

本実施形態のように、色差成分についても付加情報を生成することで、HDR補助データの色差成分の復号結果が、劣化前の値に近付くため、復号したHDR画像の劣化をさらに低減することができる。また、本実施形態では、付加情報をJPEG圧縮形式で圧縮しているが、実施形態2と同様に、付加情報を、8ビットオーバーのデータを圧縮できる圧縮方式で圧縮することもできる。   As in the present embodiment, by generating additional information for the chrominance component, the decoding result of the chrominance component of the HDR auxiliary data approaches the pre-degradation value, thereby further reducing degradation of the decoded HDR image. it can. In this embodiment, the additional information is compressed in the JPEG compression format. However, as in the second embodiment, the additional information can be compressed by a compression method that can compress 8-bit over data.

[実施形態4]
<HDRの輝度情報から付加情報の生成領域を自動で設定>
実施形態1乃至3では、付加情報を生成する領域を、ユーザが入力部302のマウス等を用いることで、矩形領域として設定した。但し、付加情報を生成する領域の有無、及びその位置を自動で判定し、付加情報を生成する領域を設定することもできる。
[Embodiment 4]
<Automatic setting of additional information generation area from HDR luminance information>
In the first to third embodiments, an area for generating additional information is set as a rectangular area by the user using the mouse of the input unit 302 or the like. However, it is also possible to automatically determine the presence / absence of an area for generating additional information and its position, and set the area for generating additional information.

そこで、本実施形態では、HDRの輝度情報とエッジ情報から付加情報を生成する領域を自動で設定する。具体的には、本実施形態において、ある一定の面積(即ち、連続した領域)を有し、エッジの少ない低輝度領域(即ち、所定の輝度値以下の領域)を付加情報生成領域として自動検出する。これは、人間の視覚感度が低輝度領域においてより敏感であることと、エッジの少ない平坦な領域では劣化の度合いが目立ちやすいことの2つの理由を考慮したものである。   Therefore, in this embodiment, a region for generating additional information is automatically set from HDR luminance information and edge information. Specifically, in the present embodiment, a low-luminance region (that is, a region having a predetermined luminance value or less) having a certain area (that is, a continuous region) and few edges is automatically detected as an additional information generation region. To do. This takes into account two reasons that the human visual sensitivity is more sensitive in the low luminance region and that the degree of deterioration is more noticeable in a flat region with few edges.

次に、図17を用いて、付加情報の生成領域を自動で設定する場合のHDR画像の圧縮処理の手順を説明する。なお、図17に示す処理に関して、実施形態1の図4と同様の処理は、ここでの詳細な説明は省略する。具体的には、ステップS1706の処理が実施形態1と異なっており、ステップS1706において、即ち、ステップS1705(ステップS405)とステップS1706(ステップS406)の間で、付加情報生成領域をHDR画像から判定(検出)する。その他、ステップS1706以外の処理は、実施形態1の図4に示す処理と同様である。   Next, a procedure of HDR image compression processing when an additional information generation region is automatically set will be described with reference to FIG. In addition, regarding the process shown in FIG. 17, the detailed description here is abbreviate | omitted about the process similar to FIG. 4 of Embodiment 1. FIG. Specifically, the processing in step S1706 is different from that in the first embodiment. In step S1706, that is, between step S1705 (step S405) and step S1706 (step S406), the additional information generation region is determined from the HDR image. (To detect. In addition, the processes other than step S1706 are the same as the processes shown in FIG. 4 of the first embodiment.

続いて、図17のステップS1706の処理に関して、図18を用いて詳細に説明する。画像符号化装置は、HDRの輝度画像(Y_hdr)を生成する(S1801)。なお、HDRの輝度画像(Y_hdr)は、実施形態1のHDR補助データ生成フロー(図5)における、ステップS501と同様の処理で生成することができる。また、本実施形態において、ステップS1801で輝度画像(Y_hdr)を生成した場合には、ステップS501で輝度値を算出する必要はなく、ここでの結果をそのまま取得することができる。   Next, the processing in step S1706 in FIG. 17 will be described in detail with reference to FIG. The image encoding device generates an HDR luminance image (Y_hdr) (S1801). Note that the HDR luminance image (Y_hdr) can be generated by the same processing as step S501 in the HDR auxiliary data generation flow (FIG. 5) of the first embodiment. In this embodiment, when a luminance image (Y_hdr) is generated in step S1801, it is not necessary to calculate a luminance value in step S501, and the result here can be obtained as it is.

画像符号化装置は、ステップS1801で取得した輝度画像(Y_hdr)を、JPEGのマクロブロックと同サイズの8x8画素を最小単位として、領域分割し、その領域数N_rを取得する(S1802)。領域を分割する方法に関して、本発明の主旨ではないことから、どのような方法を用いても構わない。なお、本実施形態では、ヒストグラムを生成し、そのピーク値を分離することで、領域を分割するものとする。また、分割された領域には、各領域の左上画素値を基準にラスター順で0から順に番号が付されるものとする。   The image encoding apparatus divides the luminance image (Y_hdr) acquired in step S1801 into 8 × 8 pixels having the same size as the JPEG macroblock as a minimum unit, and acquires the number N_r of the regions (S1802). Since the method of dividing the area is not the gist of the present invention, any method may be used. In this embodiment, a region is divided by generating a histogram and separating the peak value. In addition, the divided areas are numbered sequentially from 0 in raster order based on the upper left pixel value of each area.

画像符号化装置は、次に、付加情報を生成する領域の最小面積を示す画素数(minP)を取得する(S1803)。本実施形態において、付加情報を生成する領域の最小面積を示す画素数(minP)を、画像全体の1割の大きさとして計算する。したがって、例えば、HDR画像のサイズが5184x3456画素である場合、その1割、つまり、5184x3456/10=1791590画素が、付加情報を生成する領域の最小面積を示す画素数(minP)として取得される。   Next, the image coding apparatus acquires the number of pixels (minP) indicating the minimum area of the region for generating the additional information (S1803). In the present embodiment, the number of pixels (minP) indicating the minimum area of a region for generating additional information is calculated as 10% of the size of the entire image. Therefore, for example, when the size of the HDR image is 5184 × 3456 pixels, 10% thereof, that is, 5184 × 3456/10 = 1791590 pixels is acquired as the number of pixels (minP) indicating the minimum area of the region for generating the additional information.

画像符号化装置は、低輝度の判定に用いる、輝度値の閾値(TH_Y)を取得する(S1804)。本実施形態の場合、処理対象とするHDR画像全体の輝度範囲のうち、低輝度側4分の1の輝度範囲にある画素を低輝度画素と判定するものとする。即ち、輝度値の閾値(TH_Y)は、(最小輝度値+輝度範囲/4)として計算される。次に、画像符号化装置は、付加情報生成領域のカウンタnumRを初期化し(S1805)、さらに分割した領域のカウンタcntを初期化する(S1806)。   The image encoding apparatus acquires a threshold value (TH_Y) of the luminance value used for the low luminance determination (S1804). In the case of the present embodiment, it is assumed that pixels in the luminance range of the lower luminance side quarter of the luminance range of the entire HDR image to be processed are determined as low luminance pixels. That is, the threshold value (TH_Y) of the luminance value is calculated as (minimum luminance value + luminance range / 4). Next, the image coding apparatus initializes the counter numR of the additional information generation area (S1805) and initializes the counter cnt of the further divided area (S1806).

画像符号化装置は、cnt番目の分割領域A(cnt)を取得し(S1807)、分割領域A(cnt)の代表輝度値(AY)と面積(AS)を取得する(S1808)。本実施形態において、各領域のヒストグラムのピーク値を有する輝度値を代表輝度値とする。画像符号化装置は、領域A(cnt)の代表輝度値(AY)が閾値(TH_Y)未満(即ち、所定の輝度値未満)であり、かつ、面積(AS)が最小画素数(minP)以上であるという条件を満たすか否かを判定する(S1809)。そして、この条件を満たす場合には、処理をステップS1810に移行させ、また、この条件を満たさない場合には(即ち、領域A(cnt)は付加情報作成領域ではない場合には)、処理をステップS1813に移行させる。   The image coding apparatus acquires the cnt-th divided area A (cnt) (S1807), and acquires the representative luminance value (AY) and area (AS) of the divided area A (cnt) (S1808). In the present embodiment, the luminance value having the peak value of the histogram of each region is set as the representative luminance value. In the image encoding device, the representative luminance value (AY) of the region A (cnt) is less than the threshold value (TH_Y) (that is, less than a predetermined luminance value), and the area (AS) is equal to or greater than the minimum number of pixels (minP). It is determined whether or not the condition that is satisfied is satisfied (S1809). If this condition is satisfied, the process proceeds to step S1810. If this condition is not satisfied (that is, if the area A (cnt) is not an additional information creation area), the process is performed. The process proceeds to step S1813.

画像符号化装置は、処理をステップS1810に移行させると、領域A(cnt)が平坦な領域であるか否かを判定する(S1810)。なお、本実施形態では、領域A(cnt)内のエッジの密度を用いることで、領域A(cnt)が平坦な領域であるか否かを判定する。即ち、画像符号化装置は、水平、垂直エッジ数をカウントし、それらの値を各々、領域A(cnt)の幅、高さで除算し、その結果が所定の値より小さければ平坦と判定し、そうでなければ平坦ではないと判定する。   When the process proceeds to step S1810, the image coding apparatus determines whether or not the area A (cnt) is a flat area (S1810). In this embodiment, it is determined whether or not the region A (cnt) is a flat region by using the density of edges in the region A (cnt). That is, the image coding apparatus counts the number of horizontal and vertical edges, divides these values by the width and height of the area A (cnt), respectively, and determines that the result is flat if the result is smaller than a predetermined value. Otherwise, it is determined that the surface is not flat.

そして、領域A(cnt)が平坦と判定された場合、画像符号化装置は、領域A(cnt)を付加情報生成領域と判定し、処理をステップS1811に移行させる。また、領域A(cnt)が平坦と判定されなかった場合、画像符号化装置は、領域A(cnt)を付加情報生成領域ではないと判定し、処理をステップS1813に移行させる。   If it is determined that the region A (cnt) is flat, the image coding apparatus determines that the region A (cnt) is an additional information generation region, and the process proceeds to step S1811. If the area A (cnt) is not determined to be flat, the image coding apparatus determines that the area A (cnt) is not an additional information generation area, and the process proceeds to step S1813.

領域A(cnt)が平坦と判定された場合(即ち、領域A(cnt)が付加情報生成領域と判定された場合)、画像符号化装置は、付加情報生成領域のカウンタnumRをカウントアップする(S1811)。画像符号化装置は、付加情報生成領域のカウンタnumRをカウントアップすると、領域A(cnt)に含まれる矩形領域情報を生成し、さらに付加情報を生成する領域数を更新する(S1812)。なお、ステップS1812の処理に関しては、図19を用いて後述する。   When it is determined that the area A (cnt) is flat (that is, when the area A (cnt) is determined to be an additional information generation area), the image coding apparatus counts up the counter numR of the additional information generation area ( S1811). When the image encoding apparatus counts up the counter numR of the additional information generation area, the image encoding apparatus generates rectangular area information included in the area A (cnt), and further updates the number of areas for generating additional information (S1812). Note that the processing in step S1812 will be described later with reference to FIG.

画像符号化装置は、分割した領域のカウンタcntをカウントアップし(S1813)、分割した領域のカウンタcntと、分割した領域数(N_r)とを比較する(S1814)。そして、分割した領域のカウンタcntと分割した領域数(N_r)とが同じ値であれば(S1814 Yes)、全ての分割領域において、付加情報生成領域の検出(判定)は終了したものとして、処理をステップS1815に移行させる。また、分割した領域のカウンタcntと分割した領域数(N_r)とが同じ値でなければ(S1814 No)、ステップS1807に処理を返す。画像符号化装置は、付加情報生成領域の数Nに、付加情報生成領域のカウンタnumRを代入し、図18に示す処理を終了する。   The image coding apparatus counts up the counter cnt of the divided area (S1813), and compares the counter cnt of the divided area with the number of divided areas (N_r) (S1814). If the counter cnt of the divided area and the number of divided areas (N_r) are the same value (S1814 Yes), the detection (determination) of the additional information generation area is completed in all the divided areas. Is shifted to step S1815. If the divided area counter cnt and the number of divided areas (N_r) are not the same value (No in S1814), the process returns to step S1807. The image coding apparatus substitutes the counter numR of the additional information generation area for the number N of additional information generation areas, and ends the processing illustrated in FIG.

続いて、図19を用いて、ステップS1812における領域A(cnt)に含まれる矩形領域情報の生成処理と付加情報を生成する領域数の更新処理をより詳細に説明する。画像符号化装置は、領域A(cnt)を矩形領域に分割する(S1901)。複合長方形領域を長方形(即ち、矩形領域)に分割する方法は、種々提案されており、どのような方法を用いてもよい。本実施形態では、領域の輪郭の水平線、垂直線をすべて検出し、それらで分割するものとする。したがって、例えば、図9(b)に示されるように、領域904は4つの矩形(905、906、907、908)に分割されることになる。   Subsequently, the generation process of the rectangular area information included in the area A (cnt) in step S1812 and the update process of the number of areas for generating additional information will be described in detail with reference to FIG. The image coding apparatus divides the area A (cnt) into rectangular areas (S1901). Various methods for dividing the composite rectangular area into rectangles (ie, rectangular areas) have been proposed, and any method may be used. In the present embodiment, it is assumed that all horizontal and vertical lines of the outline of the region are detected and divided by them. Therefore, for example, as shown in FIG. 9B, the region 904 is divided into four rectangles (905, 906, 907, 908).

画像符号化装置は、ステップS1901において分割した数(即ち、分割数D)を取得する(S1902)。なお、図9(b)に示す例では、分割数Dは「4」となる。画像符号化装置は、分割数をカウントするカウンタcntDにゼロを代入することで、分割数のカウンタcntDを初期化する(S1903)。   The image coding apparatus acquires the number divided in step S1901 (that is, the division number D) (S1902). In the example shown in FIG. 9B, the division number D is “4”. The image encoding apparatus initializes the division number counter cntD by assigning zero to the counter cntD that counts the division number (S1903).

画像符号化装置は、分割された領域(即ち、カウンタcntDに対応する領域)における左上座標と、その幅と高さを保存する(S1904)。なお、分割された領域の処理順序は、左上の座標のラスター順に実行される。したがって、図9(b)に示される例では、905、906、907、908の順に処理が実行される。   The image coding apparatus stores the upper left coordinates, the width and the height in the divided area (that is, the area corresponding to the counter cntD) (S1904). The processing order of the divided areas is executed in the raster order of the upper left coordinates. Therefore, in the example shown in FIG. 9B, processing is executed in the order of 905, 906, 907, and 908.

画像符号化装置は、次に、カウンタcntDをカウントアップし(S1905)、分割数をカウントするカウンタcntDと分割数Dが同じ値であるか否かを判定する(S1906)。そして、分割数をカウントするカウンタcntDと分割数Dが同じ値であれば(S1906 Yes)、画像符号化装置は、処理をステップS1907に移行させ、また同じ値でなければ、処理をステップS1904に返す。   Next, the image coding apparatus counts up the counter cntD (S1905), and determines whether or not the division number D and the counter cntD for counting the division number have the same value (S1906). If the counter cntD for counting the number of divisions and the number of divisions D are the same value (Yes in S1906), the image coding apparatus shifts the process to step S1907, and if not, the process moves to step S1904. return.

画像符号化装置は、付加情報作成領域用のカウンタnumRに、ステップS1801の矩形分割により増加した領域数(D−1)を加算し(S1907)、図19に示す処理を終了する。   The image encoding apparatus adds the number of areas (D-1) increased by the rectangular division in step S1801 to the counter numR for the additional information creation area (S1907), and ends the process shown in FIG.

本実施形態で説明したように、付加情報を付与するのが効果的な領域を自動で選択することができる。なお、本実施形態において、各領域が低輝度であるか否かの判定に用いる代表輝度値として、各領域のヒストグラムのピーク値を有する輝度値を採用したが、各領域の平均輝度値又は各領域の輝度値の中央値を用いることもできる。   As described in the present embodiment, it is possible to automatically select an area where it is effective to add additional information. In the present embodiment, the luminance value having the peak value of the histogram of each region is adopted as the representative luminance value used for determining whether or not each region has low luminance. The median luminance value of the area can also be used.

[実施形態5]
<HDRの顔検出結果から付加情報の生成領域を自動で設定>
実施形態4では、輝度値が閾値未満であって、かつ最小画素数以上の平坦な領域に対して付加情報を生成したが、顔検出結果を用いて付加情報を生成してもよい。この場合、実施形態4と異なるのは、図17のステップS1706で示される、HDR画像から付加情報生成領域を検出する処理である。そこで、図20を用いて、本実施形態における付加情報生成領域を検出する処理を示す。なお、図20に示す処理に関して、実施形態4の図17と同様の処理は、ここでの詳細な説明は省略する。具体的には、図20のステップS2003、S2006は、図17のステップS1806、S1813に各々、対応している。
[Embodiment 5]
<Automatic setting of additional information generation area from HDR face detection result>
In the fourth embodiment, the additional information is generated for a flat region whose luminance value is less than the threshold and is equal to or larger than the minimum number of pixels. However, the additional information may be generated using a face detection result. In this case, what is different from the fourth embodiment is a process of detecting an additional information generation area from the HDR image, which is shown in step S1706 in FIG. Thus, FIG. 20 is used to show processing for detecting an additional information generation area in the present embodiment. In addition, regarding the process shown in FIG. 20, the detailed description here of the process similar to FIG. 17 of Embodiment 4 is abbreviate | omitted. Specifically, steps S2003 and S2006 in FIG. 20 correspond to steps S1806 and S1813 in FIG. 17, respectively.

画像符号化装置は、既存の顔領域検出手段を用いて、HDR画像から顔領域を検出する(S2001)。画像符号化装置は、ステップS2001において検出した顔領域の数FNを取得する(S2002)。画像符号化装置は、顔領域のカウンタcntを初期化する(S2003)。   The image encoding apparatus detects a face area from the HDR image using existing face area detection means (S2001). The image coding apparatus acquires the number FN of face areas detected in step S2001 (S2002). The image encoding apparatus initializes a counter cnt of the face area (S2003).

画像符号化装置は、次に、cnt番目の顔領域F(cnt)を取得し(S2004)、その取得した顔領域F(cnt)の左上座標と、その幅と高さを保存する(S2005)。画像符号化装置は、顔領域のカウンタcntをカウントアップし(S2006)、顔領域のカウンタcntと、HDR画像において検出した顔領域の数FNが同じ値であるか否かを判定する(S2007)。   Next, the image encoding apparatus acquires a cnt-th face area F (cnt) (S2004), and stores the upper left coordinates of the acquired face area F (cnt), its width and height (S2005). . The image coding apparatus counts up the face area counter cnt (S2006), and determines whether the face area counter cnt and the number FN of face areas detected in the HDR image have the same value (S2007). .

そして、顔領域のカウンタcntと、HDR画像において検出した顔領域の数FNが同じ値であれば(S2007 Yes)、画像符号化装置は、付加情報の生成領域の数に検出された顔領域の数FNを代入し、図20に示す処理を終了する。また、顔領域のカウンタcntと、HDR画像において検出した顔領域の数FNが同じ値でなければ、処理をステップS2004に返す。   If the face area counter cnt and the number FN of face areas detected in the HDR image are the same value (Yes in S2007), the image coding apparatus detects the number of face areas detected in the number of additional information generation areas. The number FN is substituted, and the process shown in FIG. If the face area counter cnt and the number FN of face areas detected in the HDR image are not the same value, the process returns to step S2004.

本実施形態によれば、人が着目しやすい顔領域に関して、その明るさ(輝度値)に関わらず、付加情報を生成することができる。また、実施形態4と組み合わせることで、付加情報を生成する顔領域を限定することもできる。なお、その場合、付加情報が生成されない顔領域も生じるが、人間の視覚感度が低いことから、その顔領域の付加情報を削除することで、ファイルに出力される付加情報を小さくすることができる。その他、実施形態2と同様に、付加情報を、8ビットオーバーのデータを圧縮できる圧縮方式で圧縮することもできる。   According to the present embodiment, additional information can be generated for a face region that is easily noticed by a person regardless of the brightness (luminance value). Further, in combination with the fourth embodiment, a face area for generating additional information can be limited. In this case, a face area where no additional information is generated may be generated. However, since the human visual sensitivity is low, the additional information output to the file can be reduced by deleting the additional information of the face area. . In addition, as in the second embodiment, the additional information can be compressed by a compression method capable of compressing 8-bit over data.

[実施形態6]
<輝度成分の比率の対数値の範囲で付加情報の生成有無を判定>
本実施形態では、輝度成分の比率の対数値を線形量子化することによる劣化の度合いに着目する。即ち、本実施形態では、図5に示すHDR補助データの生成処理のステップS513で取得される、輝度成分の比率の対数値(Y_log)に関して、全ての画素の最大値と最小値の差が大きい場合のみ、付加情報を生成する。したがって、実施形態1では、付加情報生成用データの取得処理をHDR補助データの生成処理の前に実行することができたが、本実施形態では、HDR補助データの生成時に、付加情報生成用データの取得処理を実行する。
[Embodiment 6]
<Determining whether additional information is generated within the logarithmic value range of the luminance component ratio>
In the present embodiment, attention is focused on the degree of deterioration due to linear quantization of the logarithmic value of the luminance component ratio. That is, in the present embodiment, the difference between the maximum value and the minimum value of all the pixels is large with respect to the logarithmic value (Y_log) of the luminance component ratio acquired in step S513 of the HDR auxiliary data generation process shown in FIG. In some cases, additional information is generated. Therefore, in the first embodiment, the additional information generation data acquisition process can be executed before the HDR auxiliary data generation process. However, in the present embodiment, the additional information generation data is generated when the HDR auxiliary data is generated. Execute the acquisition process.

以下、図21を用いて、輝度成分の比率の対数値の範囲で付加情報の生成有無を判定する場合のHDR画像の圧縮処理の手順を説明する。なお、図21に示す処理に関して、実施形態1の図4と同様の処理は、ここでの詳細な説明は省略する。具体的には、ステップS2106以外の処理は、実施形態1の図4に示す処理と同様である。即ち、図21のステップS2101からS2105までの処理は、実施形態1の図4のステップS401からS405までの処理と同様の処理である。   Hereinafter, a procedure of HDR image compression processing in the case where it is determined whether or not additional information is generated within a logarithmic value range of the luminance component ratio will be described with reference to FIG. In addition, regarding the process shown in FIG. 21, the detailed description here of the process similar to FIG. 4 of Embodiment 1 is abbreviate | omitted. Specifically, the processes other than step S2106 are the same as the processes shown in FIG. 4 of the first embodiment. That is, the processing from step S2101 to S2105 in FIG. 21 is the same processing as the processing from step S401 to S405 in FIG. 4 of the first embodiment.

そして、ステップS2106において、画像符号化装置は、HDR補助データの生成処理を実行する。このステップS2106における処理で、付加情報の生成有無の判定処理と、付加情報生成領域の検出処理を実行する。ステップS2106のHDR補助データの生成処理を実行すると、画像符号化装置は、処理をステップS2017に移行させ、以後の処理(即ち、ステップS410からS414までの処理と同様の処理)を実行する。   In step S2106, the image encoding apparatus executes HDR auxiliary data generation processing. In the process in step S2106, a process for determining whether additional information is generated and a process for detecting an additional information generation area are executed. When the HDR auxiliary data generation process in step S2106 is executed, the image encoding apparatus shifts the process to step S2017, and executes the subsequent processes (that is, the same processes as in steps S410 to S414).

続いて、図21のステップS2106の処理(即ち、HDR補助データの生成処理)に関して、図22を用いて説明する。なお、図22に示す処理に関して、実施形態1の図5と同様の処理は、ここでの詳細な説明は省略する。具体的には、ステップS2212以外の処理は、実施形態1の図5に示す対応する処理と同様である。即ち、図22のステップS2201からS2211までの処理は、実施形態1の図5のステップS501からS510までの処理及びステップS513の処理と同様の処理である。   Next, the processing in step S2106 in FIG. 21 (that is, HDR auxiliary data generation processing) will be described with reference to FIG. In addition, regarding the process shown in FIG. 22, the detailed description here is abbreviate | omitted for the process similar to FIG. 5 of Embodiment 1. FIG. Specifically, processes other than step S2212 are the same as the corresponding processes shown in FIG. 5 of the first embodiment. That is, the processing from step S2201 to S2211 in FIG. 22 is the same processing as the processing from step S501 to S510 in FIG. 5 and the processing in step S513 in the first embodiment.

画像符号化装置は、輝度成分の比率の対数値(Y_log)に関して、全ての画素の最大値(Max_log)と最小値(Min_log)を取得すると(S2211)、付加情報領域生成の判定及び検出処理を実行する(S2212)。ステップS2212の付加情報領域生成の判定及び検出処理を実行すると、画像符号化装置は、処理をステップS2213に移行させ、輝度成分の比率の対数値(Y_log)を量子化し、8ビット整数化された輝度成分の比率(Y_xt)を取得する。さらに、ステップS2214において、HDR補助データのJPEG圧縮処理と付加情報生成処理を実行し、図22に示す処理を終了する。   When the image encoding apparatus obtains the maximum value (Max_log) and the minimum value (Min_log) of all the pixels with respect to the logarithmic value (Y_log) of the luminance component ratio (S2211), the determination and detection processing of the additional information area generation is performed. Execute (S2212). When the determination and detection processing of the additional information region generation in step S2212 is executed, the image coding apparatus shifts the processing to step S2213, quantizes the logarithmic value (Y_log) of the luminance component ratio, and is converted into an 8-bit integer. The luminance component ratio (Y_xt) is acquired. Furthermore, in step S2214, HDR auxiliary data JPEG compression processing and additional information generation processing are executed, and the processing shown in FIG. 22 ends.

続いて、図22のステップS2212の処理(即ち、付加情報領域生成の判定及び検出処理)に関して、図23を用いて詳細に説明する。画像符号化装置は、付加情報の生成条件となる輝度差Lを取得する(S2301)。画像符号化装置は、輝度差Lを取得すると、ステップS2211で取得した輝度成分の比率の対数値(Y_log)の最大値(Max_log)と最小値(Min_log)の差分値と比較する(S2302)。即ち、輝度差比較を処理として実行する。そして、その差分値が輝度差Lよりも大きければ、画像符号化装置は、付加情報を生成すると判定し、処理をステップS2303に移行させ、また輝度差Lよりも小さければ、付加情報を生成する必要がないと判定し、処理をステップS2304に移行させる。   Next, the process in step S2212 of FIG. 22 (that is, the determination and detection process of additional information area generation) will be described in detail with reference to FIG. The image coding apparatus acquires a luminance difference L that is a condition for generating additional information (S2301). When acquiring the luminance difference L, the image encoding device compares the difference value between the maximum value (Max_log) and the minimum value (Min_log) of the logarithmic value (Y_log) of the ratio of the luminance component acquired in step S2211 (S2302). That is, the brightness difference comparison is executed as a process. If the difference value is larger than the luminance difference L, the image coding apparatus determines to generate additional information, and shifts the processing to step S2303. If the difference value is smaller than the luminance difference L, the additional information is generated. It is determined that it is not necessary, and the process proceeds to step S2304.

ステップS2303において、画像符号化装置は、付加情報フラグ(Flag)に1を代入する。そして、付加情報フラグ(Flag)に1を代入すると、画像符号化装置は、HDR画像から付加情報の生成領域を検出する(S2305)。なお、本実施形態では、実施形態4と同様の方法で付加情報の生成領域を検出することとし、その後に、図23に示す処理を終了する。また、処理をステップS2304に移行した場合、画像符号化装置は、付加情報フラグ(Flag)に0を代入し、図23に示す処理を終了する。   In step S2303, the image coding apparatus substitutes 1 for an additional information flag (Flag). Then, when 1 is substituted into the additional information flag (Flag), the image coding apparatus detects a generation region of additional information from the HDR image (S2305). In the present embodiment, the additional information generation region is detected by the same method as in the fourth embodiment, and thereafter, the processing illustrated in FIG. 23 is terminated. When the process proceeds to step S2304, the image coding apparatus substitutes 0 for the additional information flag (Flag), and ends the process illustrated in FIG.

本実施形態によれば、輝度成分の比率の対数値(Y_log)の量子化(即ち、8ビット整数化)による誤差が大きいと判定された場合にのみ、付加情報を生成することができる。また、本実施形態において、付加情報の生成にあたり、実施形態4と同様の方法で付加情報を生成するように説明したが、実施形態5のように顔検出の結果を用いて付加情報を生成するようにしてもよい。   According to the present embodiment, the additional information can be generated only when it is determined that the error due to the quantization of the logarithmic value (Y_log) of the luminance component ratio (that is, 8-bit integer conversion) is large. In the present embodiment, the additional information is generated by generating the additional information using the same method as in the fourth embodiment. However, as in the fifth embodiment, the additional information is generated using the face detection result. You may do it.

[実施形態7]
<量子化による誤差のみを付加情報として生成>
実施形態1から6では、HDR補助データの圧縮誤差として、量子化(即ち、8ビット整数化)による誤差と、その後のJPEG圧縮による誤差を考慮し、これらの誤差を補正するための情報を付加情報として生成した。但し、これらの誤差のうち、量子化(即ち、8ビット整数化)による誤差の方が、復号(デコード)した画像の画質劣化に及ぼす影響が大きいと言える。
[Embodiment 7]
<Generate only error due to quantization as additional information>
In the first to sixth embodiments, as the compression error of the HDR auxiliary data, an error due to quantization (that is, 8-bit integer conversion) and an error due to subsequent JPEG compression are taken into account, and information for correcting these errors is added. Generated as information. However, among these errors, it can be said that the error due to quantization (that is, 8-bit integerization) has a greater influence on the image quality degradation of the decoded image.

そこで、本実施形態では、量子化による誤差のみを付加情報として記憶する方法に関して、説明する。なお、本実施形態において、実施形態1と同様に、付加情報を生成する領域は、ユーザにより入力部302を用いて設定されるものとして説明するが、例えば、実施形態4のように、入力されたHDRから付加情報を生成する領域を自動で検出してもよい。   Therefore, in the present embodiment, a method for storing only errors due to quantization as additional information will be described. In the present embodiment, as in the first embodiment, the area for generating the additional information is described as being set by the user using the input unit 302. For example, as in the fourth embodiment, the area is input. Alternatively, an area for generating additional information from HDR may be automatically detected.

本実施形態において、実施形態1と異なる処理は、図5におけるステップS515の処理(即ち、HDR補助データのJPEG圧縮と付加情報の生成に関する処理)である。より詳細には、HDR補助データの輝度成分(Y成分)の逆量子化及び逆DCTが不要になることと、処理の順序が変更されることである。本実施形態におけるHDR補助データのJPEG圧縮と付加情報の生成に関する処理に関して、図24を用いて説明する。なお、図24に示す処理に関して、処理自体は実施形態1の図6と同様であることから、ここでは、各処理の詳細な説明は省略し、主に各処理の順序を説明する。   In the present embodiment, the processing different from the first embodiment is the processing in step S515 in FIG. 5 (that is, processing related to JPEG compression of HDR auxiliary data and generation of additional information). More specifically, the dequantization and inverse DCT of the luminance component (Y component) of the HDR auxiliary data become unnecessary, and the processing order is changed. Processing related to JPEG compression of HDR auxiliary data and generation of additional information in the present embodiment will be described with reference to FIG. 24, since the process itself is the same as that of FIG. 6 of the first embodiment, detailed description of each process is omitted here, and the order of each process will be mainly described.

画像符号化装置は、8ビット整数化された輝度成分の比率の対数値(Y_xt)のマクロブロックMBを取得する(S2401)。画像符号化装置は、取得したマクロブロックMBが付加情報生成領域内にあるか否かを判定する(S2402)。画像符号化装置は、マクロブロックMBが付加情報生成領域内にあると判定した場合、処理をステップS2403に移行させ、マクロブロックMBが付加情報生成領域内にないと判定した場合、処理をステップS2404に移行させる。   The image encoding apparatus acquires a macroblock MB having a logarithmic value (Y_xt) of the ratio of luminance components converted into 8-bit integers (S2401). The image coding apparatus determines whether or not the acquired macroblock MB is in the additional information generation area (S2402). If the image coding apparatus determines that the macroblock MB is in the additional information generation area, the image coding apparatus shifts the process to step S2403. If the image encoding apparatus determines that the macroblock MB is not in the additional information generation area, the process proceeds to step S2404. To migrate.

画像符号化装置は、付加情報を生成する領域の輝度成分の比率の対数値(ROI_Y_log)と、量子化された輝度成分の比率を逆量子化した結果(ROI_DecYlog)との差分を、輝度比補正情報(DifYlog)として保存する(S2403)。   The image coding apparatus corrects the difference between the logarithmic value (ROI_Y_log) of the ratio of the luminance component of the region where the additional information is generated and the result of inverse quantization of the quantized luminance component ratio (ROI_DecYlog). It is stored as information (DifYlog) (S2403).

画像符号化装置は、輝度比補正情報(DifYlog)を保存すると、マクロブロックMBにDCTを実行し(S2404)、DCT係数を取得する。画像符号化装置は、取得したDCT係数に対して、量子化を実行する(S2405)。画像符号化装置は、量子化されたDCT係数をエントロピー符号化する(S2406)。   When the image coding apparatus stores the luminance ratio correction information (DifYlog), the image coding apparatus performs DCT on the macroblock MB (S2404), and acquires DCT coefficients. The image coding apparatus performs quantization on the acquired DCT coefficient (S2405). The image coding apparatus performs entropy coding on the quantized DCT coefficient (S2406).

画像符号化装置は、8ビット整数化された輝度成分の比率(Y_xt)の全てのマクロブロックMBに対して、圧縮処理が終了したか否かを判定する。判定の結果、圧縮処理が終了していなければ、画像符号化装置は、処理をステップS2401に返し、圧縮処理が終了していれば、処理をステップS2408に移行させる。なお、ステップS2408からS2415までの処理は、図6のステップS610からS617までの処理と、その処理内容及び処理順序が同じであることから、ここでの説明は省略する。   The image encoding device determines whether or not the compression process has been completed for all the macroblocks MB having the luminance component ratio (Y_xt) converted to an 8-bit integer. As a result of the determination, if the compression process has not been completed, the image coding apparatus returns the process to step S2401. If the compression process has been completed, the image coding apparatus shifts the process to step S2408. The processing from step S2408 to S2415 is the same as the processing from step S610 to S617 in FIG.

本実施形態によれば、逆量子化、逆DCTの処理を実行しないことから、実施形態1よりも軽い負荷で付加情報を生成することができる。なお、実施形態1と実施形態7は、JPEG補助データのJPEG圧縮パラメータによって切り替えることもできる。例えば、HDR補助データのJPEG圧縮時のQファクタが大きい場合、即ち、量子化ステップが細かい場合、HDR補助データのJPEG圧縮による劣化は、小さいと判断することができる。この場合、実施形態5に示した方法及び手段を適用し、8ビット整数化の量子化誤差のみを保存すればよい。逆に、HDR補助データのJPEG圧縮時の量子化ステップが粗い場合は、実施形態1に示した方法及び手段を適用し、8ビット整数化の量子化誤差とJPEG圧縮時の量子化誤差の双方を付加情報として保存すればよい。また、本実施形態において、実施形態1と同様に、付加情報をJPEG圧縮形式で圧縮しているが、実施形態2と同様に、付加情報を、8ビットオーバーのデータを圧縮できる圧縮方式で圧縮することもできる。   According to the present embodiment, since the inverse quantization and inverse DCT processes are not executed, it is possible to generate additional information with a lighter load than in the first embodiment. Note that the first embodiment and the seventh embodiment can be switched according to the JPEG compression parameter of the JPEG auxiliary data. For example, when the Q factor at the time of JPEG compression of HDR auxiliary data is large, that is, when the quantization step is fine, it can be determined that the degradation of HDR auxiliary data due to JPEG compression is small. In this case, the method and means shown in the fifth embodiment are applied, and only the 8-bit integer quantization error needs to be stored. On the other hand, when the quantization step at the time of JPEG compression of HDR auxiliary data is rough, the method and means shown in the first embodiment are applied, and both the quantization error of 8-bit integerization and the quantization error at the time of JPEG compression are applied. May be stored as additional information. In this embodiment, the additional information is compressed in the JPEG compression format as in the first embodiment. However, in the same manner as in the second embodiment, the additional information is compressed in a compression method capable of compressing 8-bit over data. You can also

以上、説明したように、上述の実施形態に係る画像符号化装置によれば、処理負荷及び使用メモリ量を軽減した上で、復号したHDR画像の画質を向上させることである。   As described above, according to the image coding device according to the above-described embodiment, the image quality of the decoded HDR image is improved while reducing the processing load and the amount of memory used.

なお、HDR画像が、カメラ等の撮像装置により撮像された画像である場合、付加情報を生成する領域の自動検出に、カメラのオートフォーカス位置を含む領域を用いることもできる。   When the HDR image is an image captured by an imaging device such as a camera, an area including the autofocus position of the camera can be used for automatic detection of an area for generating additional information.

また、実施形態4乃至実施形態7において、輝度成分の比率(Y_ratio)に関する付加情報の生成処理を示したが、実施形態3に示されるように色差成分の付加情報を生成することもできる。   In addition, in the fourth to seventh embodiments, the additional information generation processing related to the luminance component ratio (Y_ratio) has been described. However, as illustrated in the third embodiment, additional information on the color difference component can also be generated.

加えて、上述の実施形態では、説明を簡略化するために、付加情報の圧縮方式を固定して説明した。しかしながら、付加情報の圧縮方式は、付加情報の精度やデータサイズから選択することもできる。そして、その場合、付加情報の出力時に、符号化方式の識別番号を出力すればよい。   In addition, in the above-described embodiment, in order to simplify the description, the compression method of the additional information has been fixed. However, the compression method of the additional information can be selected from the accuracy of the additional information and the data size. In that case, the identification number of the encoding method may be output when the additional information is output.

その他、付加情報の生成が必要か否かに関して、HDR補助データの圧縮パラメータの一つである量子化パラメータから判定することもできる。即ち、量子化が粗い場合には、HDR補助データの劣化が大きいと判断し、付加情報の生成が必要と判定することができる。   In addition, whether or not additional information needs to be generated can be determined from a quantization parameter that is one of the compression parameters of the HDR auxiliary data. That is, when the quantization is rough, it is determined that the degradation of the HDR auxiliary data is large, and it can be determined that the generation of additional information is necessary.

また、本実施形態において、付加情報を、図25(b)に示されるように、JPEG XTのHDR補助データが格納されている記憶領域(即ち、APP11マーカ)において、HDR補助データに続けて出力していた。しかしながら、例えば、図25(c)に示されるように、別のAPP11マーカを1つ以上生成し、そのAPPマーカ内に出力することもできる。さらに、各マーカのデータ長は、2バイトで表現できるバイト数に制限される。そのため、付加情報のデータサイズが大きい場合には、図25(d)に示されるように、複数のAPP11マーカに分割して出力することもできる。   In the present embodiment, as shown in FIG. 25B, additional information is output after the HDR auxiliary data in the storage area (that is, the APP11 marker) in which the JPEG XT HDR auxiliary data is stored. Was. However, for example, as shown in FIG. 25C, one or more other APP11 markers can be generated and output within the APP marker. Furthermore, the data length of each marker is limited to the number of bytes that can be represented by 2 bytes. Therefore, when the data size of the additional information is large, it can be divided into a plurality of APP11 markers and output as shown in FIG.

最後に、補足として、上述の実施形態に係る画像符号化装置により符号化されたHDR画像データ(即ち、JPEG XTデータ)を復号する画像復号装置について説明する。また、ここでは、主にISO/IEC 18477−2との相違点に着目して説明する。   Finally, as a supplement, an image decoding apparatus that decodes HDR image data (that is, JPEG XT data) encoded by the image encoding apparatus according to the above-described embodiment will be described. In addition, here, the description will be given mainly focusing on differences from ISO / IEC 18477-2.

図26に示される画像復号装置は、JPEG XTデータ2601から、そのデータ構成を踏まえ、JPEG圧縮されたLDR画像と、HDR補助データ及び付加情報(重要領域データ)とに分離して抽出する。   The image decoding apparatus shown in FIG. 26 separates and extracts JPEG XT data 2601 into JPEG-compressed LDR images, HDR auxiliary data, and additional information (important region data) based on the data configuration.

画像復号装置は、JPEG圧縮されたLDR画像に関して、JPEG復号部2603にてJPEG復号した後に、アップサンプリング部(2604)及びYCC/RGB変換部(2605)において各々、処理を実行する。さらに、画像復号装置は、逆色変換部(2606)により、sRGB色空間から線形色空間に変換する。そして、その線形色空間に変換されたLDR画像に、逆トーンマッピングを施す(2617)ことで、HDR画像を生成する。   The image decoding apparatus performs JPEG decoding on the JPEG-compressed LDR image by the JPEG decoding unit 2603 and then executes processing in the upsampling unit (2604) and the YCC / RGB conversion unit (2605). Further, the image decoding apparatus converts the sRGB color space to the linear color space by the inverse color conversion unit (2606). Then, reverse tone mapping is performed on the LDR image converted into the linear color space (2617), thereby generating an HDR image.

他方、画像復号装置は、HDR補助データと、付加情報とにデータを分離し(2607)、さらにHDR補助データをJPEG復号(2609)する。そして、そのJPEG復号されたHDR補助データのうち、色差補助情報に関して、画像復号装置は、逆量子化し(2613)、さらに生成されたHDR画像より算出された輝度成分でスケール変換する(2614)。その後に、YCC/RGB変換し(2615)、生成されたHDR画像に加算する。   On the other hand, the image decoding apparatus separates the data into HDR auxiliary data and additional information (2607), and further JPEG decodes (2609) the HDR auxiliary data. Then, regarding the color difference auxiliary information in the JPEG-decoded HDR auxiliary data, the image decoding apparatus performs inverse quantization (2613), and further performs scale conversion with the luminance component calculated from the generated HDR image (2614). After that, YCC / RGB conversion is performed (2615) and added to the generated HDR image.

また、JPEG復号されたHDR補助データのうち、輝度成分に関して、画像復号装置は、JPEG復号(2608)した付加情報(即ち、輝度比補正情報)で補正し、さらに逆量子化を実行する(2611)。そして、その逆量子化した結果を、色差補助情報が加算されたHDR画像に掛け合わせる(2612)ことで、HDR画像に輝度補正を施す。これにより、画質を向上させたHDR画像を生成することができる。   In addition, the image decoding apparatus corrects the luminance component in the JPEG-decoded HDR auxiliary data with the additional information (that is, luminance ratio correction information) subjected to JPEG decoding (2608), and further performs inverse quantization (2611). ). Then, the result of the inverse quantization is multiplied by the HDR image to which the color difference auxiliary information is added (2612), thereby performing luminance correction on the HDR image. Thereby, an HDR image with improved image quality can be generated.

本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。   The present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program. It can also be realized by processing. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.

202 トーンマッピング部
203 Y算出部(HDR画像)
205 Y算出部(LDR画像)
207 輝度比算出部
208 Log変換部
209 線形量子化部
214 JPEG圧縮部
219 出力部
221 特徴値取得部
222 領域判定部
224 差分取得部
225 差分データ圧縮部
202 Tone mapping unit 203 Y calculation unit (HDR image)
205 Y calculation unit (LDR image)
207 Brightness ratio calculation unit 208 Log conversion unit 209 Linear quantization unit 214 JPEG compression unit 219 Output unit 221 Feature value acquisition unit 222 Area determination unit 224 Difference acquisition unit 225 Difference data compression unit

Claims (13)

HDR画像を符号化する画像符号化装置であって、
前記HDR画像からLDR画像に変換する画像変換手段と、
前記HDR画像と前記LDR画像の輝度比をデータレベルAで算出する輝度比算出手段と、
前記輝度比の最小値と最大値の間で、前記輝度比をデータレベルB(A>B)に量子化する輝度比量子化手段と、
前記データレベルBに量子化した輝度比を符号化する符号化手段と、
前記HDR画像において、付加情報を生成する領域を特定する領域特定手段と、
前記付加情報を生成する領域において、前記データレベルBに量子化した輝度比をデータレベルC(A>C>B)に補正する輝度比補正情報を算出する補正情報算出手段と、
前記付加情報を生成する領域の位置情報と前記輝度比補正情報を前記付加情報として生成する付加情報生成手段と、
前記符号化された輝度比と前記付加情報を所定の記憶領域に格納することで、HDR符号化ファイルを生成するHDR符号化ファイル生成手段と、
を備えることを特徴とする画像符号化装置。
An image encoding device for encoding an HDR image,
Image conversion means for converting the HDR image into an LDR image;
A luminance ratio calculating means for calculating a luminance ratio between the HDR image and the LDR image at a data level A;
Brightness ratio quantization means for quantizing the brightness ratio to a data level B (A> B) between the minimum value and the maximum value of the brightness ratio;
Encoding means for encoding the luminance ratio quantized to the data level B;
Area specifying means for specifying an area for generating additional information in the HDR image;
Correction information calculating means for calculating luminance ratio correction information for correcting the luminance ratio quantized to the data level B to the data level C (A>C> B) in the region for generating the additional information;
Additional information generating means for generating position information of the area for generating the additional information and the luminance ratio correction information as the additional information;
HDR encoded file generation means for generating an HDR encoded file by storing the encoded luminance ratio and the additional information in a predetermined storage area;
An image encoding device comprising:
前記HDR画像と前記LDR画像の色差をデータレベルLで算出する色差算出手段と、
前記色差の最小値と最大値の間で、前記色差をデータレベルM(L>M)に量子化する色差量子化手段と、
を備え、
前記符号化手段は、前記データレベルMに量子化した色差を符号化し、
前記補正情報算出手段は、前記付加情報を生成する領域において、前記データレベルMに量子化した色差をデータレベルN(L>N>M)に補正する色差補正情報を算出し
前記付加情報生成手段は、前記色差補正情報を、前記付加情報を生成する領域の位置情報と前記輝度比補正情報と併せて前記付加情報として生成し、
前記HDR符号化ファイル生成手段は、前記符号化された色差を、前記符号化された輝度比と前記付加情報と併せて、所定の記憶領域に格納することで、HDR符号化ファイルを生成することを特徴とする請求項1に記載の画像符号化装置。
Color difference calculating means for calculating a color difference between the HDR image and the LDR image at a data level L;
Color difference quantization means for quantizing the color difference to a data level M (L> M) between a minimum value and a maximum value of the color difference;
With
The encoding means encodes the color difference quantized to the data level M,
The correction information calculation means calculates color difference correction information for correcting a color difference quantized to the data level M to a data level N (L>N> M) in the area where the additional information is generated. Generates the color difference correction information as the additional information together with the position information of the region for generating the additional information and the luminance ratio correction information,
The HDR encoded file generation means generates an HDR encoded file by storing the encoded color difference in a predetermined storage area together with the encoded luminance ratio and the additional information. The image encoding device according to claim 1.
前記符号化手段は、前記LDR画像を符号化し、
前記所定の領域が、前記符号化されたLDR画像を格納する記憶領域とは異なる記憶領域であることを特徴とする請求項2に記載の画像符号化装置。
The encoding means encodes the LDR image,
The image encoding apparatus according to claim 2, wherein the predetermined area is a storage area different from a storage area for storing the encoded LDR image.
前記符号化手段は、前記輝度比を、前記LDR画像を符号化する方式と同様の方式で符号化することを特徴とする請求項3に記載の画像符号化装置。   The image encoding apparatus according to claim 3, wherein the encoding unit encodes the luminance ratio by a method similar to a method for encoding the LDR image. 前記符号化手段は、前記色差を、前記LDR画像を符号化する方式と同様の方式で符号化することを特徴とする請求項4に記載の画像符号化装置。   The image encoding apparatus according to claim 4, wherein the encoding unit encodes the color difference by a method similar to a method for encoding the LDR image. 前記領域特定手段は、ユーザにより指定された領域に従って、前記付加情報を生成する領域を特定することを特徴とする請求項1から5のいずれか1項に記載の画像符号化装置。   The image encoding device according to claim 1, wherein the area specifying unit specifies an area for generating the additional information in accordance with an area specified by a user. 前記領域特定手段は、所定の輝度値未満の連続した領域であって、かつ前記連続した領域が所定の画素数以上である場合に、前記付加情報を生成する領域として特定することを特徴とする請求項1から5のいずれか1項に記載の画像符号化装置。   The region specifying means specifies a region for generating the additional information when the continuous region is less than a predetermined luminance value and the continuous region has a predetermined number of pixels or more. The image encoding device according to any one of claims 1 to 5. 前記HDR画像において、顔領域を検出する顔領域検出手段を備え、
前記領域特定手段は、前記検出された顔領域に従って、前記付加情報を生成する領域を特定することを特徴とする請求項1から5のいずれか1項に記載の画像符号化装置。
In the HDR image, comprising a face area detecting means for detecting a face area,
The image coding apparatus according to claim 1, wherein the area specifying unit specifies an area for generating the additional information according to the detected face area.
前記領域特定手段は、前記HDR画像が撮像装置により撮像された場合に、前記撮像装置のオートフォーカス位置に従って、前記付加情報を生成する領域を特定することを特徴とする請求項1から5のいずれか1項に記載の画像符号化装置。   The area specifying unit specifies an area for generating the additional information according to an autofocus position of the imaging device when the HDR image is captured by the imaging device. The image encoding device according to claim 1. 前記輝度比の最小値と最大値の差を、所定の閾値と比較する輝度差比較手段を備え、
前記領域特定手段は、前記輝度差比較手段により、前記輝度比の最小値と最大値の差が前記閾値よりも大きいと判定された場合に、前記付加情報を生成する領域を特定することを特徴とする請求項1から9のいずれか1項に記載の画像符号化装置。
A luminance difference comparison means for comparing a difference between the minimum value and the maximum value of the luminance ratio with a predetermined threshold;
The region specifying unit specifies a region for generating the additional information when the luminance difference comparing unit determines that the difference between the minimum value and the maximum value of the luminance ratio is larger than the threshold value. The image encoding device according to any one of claims 1 to 9.
HDR画像を符号化する画像符号化方法であって、
画像変換手段により、前記HDR画像からLDR画像に変換する画像変換ステップと、
輝度比算出手段により、前記HDR画像と前記LDR画像の輝度比をデータレベルAで算出する輝度比算出ステップと、
輝度比量子化手段により、前記輝度比の最小値と最大値の間で、前記輝度比をデータレベルB(A>B)に量子化する輝度比量子化ステップと、
符号化手段により、前記データレベルBに量子化した輝度比を符号化する符号化ステップと、
領域特定手段により、前記HDR画像において、付加情報を生成する領域を特定する領域特定ステップと、
補正情報算出手段により、前記付加情報を生成する領域において、前記データレベルBに量子化した輝度比をデータレベルC(A>C>B)に補正する輝度比補正情報を算出する補正情報算出ステップと、
付加情報生成手段により、前記付加情報を生成する領域の位置情報と前記輝度比補正情報を前記付加情報として生成する付加情報生成ステップと、
HDR符号化ファイル生成手段により、前記符号化された輝度比と前記付加情報を所定の記憶領域に格納することで、HDR符号化ファイルを生成するHDR符号化ファイル生成ステップと、
を含むことを特徴とする画像符号化装置における画像符号化方法。
An image encoding method for encoding an HDR image, comprising:
An image conversion step of converting the HDR image into an LDR image by an image conversion means;
A luminance ratio calculating step of calculating a luminance ratio between the HDR image and the LDR image at a data level A by a luminance ratio calculating means;
A luminance ratio quantization step for quantizing the luminance ratio to a data level B (A> B) between a minimum value and a maximum value of the luminance ratio by a luminance ratio quantization means;
An encoding step of encoding the luminance ratio quantized to the data level B by an encoding means;
An area specifying step for specifying an area for generating additional information in the HDR image by an area specifying means;
Correction information calculation step of calculating luminance ratio correction information for correcting the luminance ratio quantized to the data level B to the data level C (A>C> B) by the correction information calculation means in the region where the additional information is generated. When,
An additional information generating step of generating position information of the region for generating the additional information and the luminance ratio correction information as the additional information by the additional information generating means;
An HDR encoded file generating step of generating an HDR encoded file by storing the encoded luminance ratio and the additional information in a predetermined storage area by an HDR encoded file generating means;
An image encoding method in an image encoding apparatus, comprising:
コンピュータを、請求項1から11いずれか1項に記載の画像符号化装置の各手段として機能させるためのプログラム。   The program for functioning a computer as each means of the image coding apparatus of any one of Claim 1 to 11. HDR符号化ファイルを復号する画像復号装置であって、
前記HDR符号化ファイルより、符号化されたLDR画像、輝度比及び付加情報を分離して抽出する抽出手段であって、前記付加情報は前記付加情報を生成する領域の位置情報と輝度比補正情報を含む、抽出手段と、
前記符号化されたLDR画像、輝度比及び付加情報を各々、復号する復号手段と、
前記復号されたLDR画像からHDR画像に変換する画像変換手段と、
前記復号された輝度比補正情報を用いて、前記復号されたデータレベルBの輝度比をデータレベルC(C>B)に補正する輝度比補正手段と、
前記輝度比補正手段により補正された輝度比を用いて、前記画像変換手段により変換されたHDR画像の輝度を補正する輝度補正手段と
を備えることを特徴とする画像復号装置。
An image decoding device for decoding an HDR encoded file,
Extraction means for separating and extracting an encoded LDR image, a luminance ratio, and additional information from the HDR encoded file, wherein the additional information includes position information and luminance ratio correction information of a region for generating the additional information Including extraction means,
Decoding means for decoding each of the encoded LDR image, luminance ratio, and additional information;
Image conversion means for converting the decoded LDR image into an HDR image;
Using the decoded luminance ratio correction information, luminance ratio correcting means for correcting the decoded luminance level of the data level B to a data level C (C>B);
An image decoding apparatus comprising: a luminance correction unit that corrects the luminance of the HDR image converted by the image conversion unit using the luminance ratio corrected by the luminance ratio correction unit.
JP2017093085A 2017-05-09 2017-05-09 Image coding device, image decoding device, image coding method and program Active JP6866224B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017093085A JP6866224B2 (en) 2017-05-09 2017-05-09 Image coding device, image decoding device, image coding method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017093085A JP6866224B2 (en) 2017-05-09 2017-05-09 Image coding device, image decoding device, image coding method and program

Publications (3)

Publication Number Publication Date
JP2018191174A true JP2018191174A (en) 2018-11-29
JP2018191174A5 JP2018191174A5 (en) 2020-07-16
JP6866224B2 JP6866224B2 (en) 2021-04-28

Family

ID=64480359

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017093085A Active JP6866224B2 (en) 2017-05-09 2017-05-09 Image coding device, image decoding device, image coding method and program

Country Status (1)

Country Link
JP (1) JP6866224B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112565636A (en) * 2020-12-01 2021-03-26 影石创新科技股份有限公司 Image processing method, device, equipment and storage medium
CN113691739A (en) * 2021-09-02 2021-11-23 锐芯微电子股份有限公司 Image processing method and image processing device for high dynamic range image

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007534238A (en) * 2004-04-23 2007-11-22 ブライトサイド テクノロジーズ インコーポレイテッド Encoding, decoding and representation of high dynamic range images
US20120314944A1 (en) * 2011-06-13 2012-12-13 Dolby Laboratories Licensing Corporation High dynamic range, backwards-compatible, digital cinema
JP2014510988A (en) * 2011-04-15 2014-05-01 ドルビー ラボラトリーズ ライセンシング コーポレイション Encode, decode and represent high dynamic range images
JP2015508589A (en) * 2012-08-08 2015-03-19 ドルビー ラボラトリーズ ライセンシング コーポレイション Image processing for HDR images
JP2015142276A (en) * 2014-01-29 2015-08-03 キヤノン株式会社 Display device, display device control method, and program

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007534238A (en) * 2004-04-23 2007-11-22 ブライトサイド テクノロジーズ インコーポレイテッド Encoding, decoding and representation of high dynamic range images
JP2014510988A (en) * 2011-04-15 2014-05-01 ドルビー ラボラトリーズ ライセンシング コーポレイション Encode, decode and represent high dynamic range images
US20120314944A1 (en) * 2011-06-13 2012-12-13 Dolby Laboratories Licensing Corporation High dynamic range, backwards-compatible, digital cinema
JP2015508589A (en) * 2012-08-08 2015-03-19 ドルビー ラボラトリーズ ライセンシング コーポレイション Image processing for HDR images
JP2015142276A (en) * 2014-01-29 2015-08-03 キヤノン株式会社 Display device, display device control method, and program

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112565636A (en) * 2020-12-01 2021-03-26 影石创新科技股份有限公司 Image processing method, device, equipment and storage medium
CN112565636B (en) * 2020-12-01 2023-11-21 影石创新科技股份有限公司 Image processing method, device, equipment and storage medium
CN113691739A (en) * 2021-09-02 2021-11-23 锐芯微电子股份有限公司 Image processing method and image processing device for high dynamic range image

Also Published As

Publication number Publication date
JP6866224B2 (en) 2021-04-28

Similar Documents

Publication Publication Date Title
EP3198556B1 (en) Encoding and decoding perceptually-quantized video content
US11265559B2 (en) High dynamic range image/video coding
US10412393B2 (en) Intra-frame encoding method, intra-frame decoding method, encoder, and decoder
CN102523367B (en) Real time imaging based on many palettes compresses and method of reducing
US20170339430A1 (en) Encoder, decoder, method of encoding data, method of decoding data, utilizing data format transformations
CN111275628A (en) Image signal conversion processing method and device and terminal equipment
JP6866224B2 (en) Image coding device, image decoding device, image coding method and program
EP3180910B1 (en) Method for optimized chroma subsampling, apparatus for optimized chroma subsampling and storage device
KR102608822B1 (en) Image processing method and device using dynamic range of color components
US9497357B2 (en) Image compressing/decompressing apparatus and image forming apparatus
Pasteau et al. Adaptive color decorrelation for predictive image codecs
EP3251351A1 (en) Predictive image encoding and decoding with pixel group based quantization
JP6637711B2 (en) Encoding device and its control method, program, and storage medium
US20190089955A1 (en) Image encoding method, and image encoder and image decoder using same
Watanabe et al. Lossless two-layer coding using histogram packing technique for HDR images
JP2007049312A (en) Image decoding device and control method thereof, computer program, and computer readable storage medium
JP6867774B2 (en) Image coding device and its control method
US9020289B2 (en) Image processing apparatus and image processing method for compressing image data by combining spatial frequency conversion, quantization, and entropy coding
US10462478B2 (en) Method of video generation
US9350883B2 (en) Color/monochromatic determination
US20220092827A1 (en) Method, apparatus, system and computer-readable recording medium for feature information
US20220108490A1 (en) Method, apparatus, system and computer-readable recording medium for feature information
EP2887667A1 (en) Coding of high dynamic range images
Antony et al. A Lossless Image Compression Based On Hierarchical Prediction and Context Adaptive Coding
JP6706840B2 (en) Image data processing device and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200416

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200604

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210301

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210309

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210407

R151 Written notification of patent or utility model registration

Ref document number: 6866224

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151