JP2019106741A - Image processing device - Google Patents

Image processing device Download PDF

Info

Publication number
JP2019106741A
JP2019106741A JP2019073763A JP2019073763A JP2019106741A JP 2019106741 A JP2019106741 A JP 2019106741A JP 2019073763 A JP2019073763 A JP 2019073763A JP 2019073763 A JP2019073763 A JP 2019073763A JP 2019106741 A JP2019106741 A JP 2019106741A
Authority
JP
Japan
Prior art keywords
image
unit
encoding
exposure
correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019073763A
Other languages
Japanese (ja)
Inventor
安藤　一郎
Ichiro Ando
一郎 安藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2019073763A priority Critical patent/JP2019106741A/en
Publication of JP2019106741A publication Critical patent/JP2019106741A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

To encode images with different exposure values while cancelling mismatching of lightness.SOLUTION: An image encoding device includes: first encoding means for generating a first encoded image by performing intra-image encoding on a first encoding target image among a plurality of encoding target images with different exposure values; second encoding means for generating a second encoded image by performing inter-image encoding on a second encoding target image among the plurality of encoding target images by using a local decode image of the first encoding target image as a first reference image; and correction means which performs correction for substantially matching one of an exposure value of the second encoding target image and an exposure value of the first reference image with the other exposure value. The second encoding means performs the inter-image encoding on the second encoding target image which has been corrected by the correction means, or by using the first reference image which has been corrected by the correction means.SELECTED DRAWING: Figure 1

Description

本発明は、画像処理装置に関する。   The present invention relates to an image processing apparatus.

従来から、異なる露光時間で連続的に順次撮影することにより取得された露光値の異なる複数の画像を合成することにより、広ダイナミックレンジ画像を生成する撮像装置が知られている（たとえば特許文献１）。   2. Description of the Related Art Conventionally, there is known an imaging device that generates a wide dynamic range image by combining a plurality of images with different exposure values acquired by sequentially capturing images sequentially with different exposure times (for example, Patent Document 1) ).

特開平５−７３３６号公報Japanese Patent Application Laid-Open No. 5-7336

しかしながら、異なる露光時間で撮影された複数の画像を画像間処理にてデータ圧縮した場合、それぞれの画像の露出値が異なるため画像間の相関性が低く、データ量を大幅に削減することができないという問題がある。   However, when a plurality of images taken with different exposure times are compressed by inter-image processing, the exposure value of each image is different, the correlation between the images is low, and the data amount can not be significantly reduced. There is a problem of

第１の態様の画像処理装置は、露出値が異なる複数の画像のうちの第１の画像に符号化を行い第１の符号化画像を生成する第１符号化部と、前記複数の画像のうちの第２の画像に、前記第１の符号化画像の一部を復号化した画像を第１の参照画像として用いて画像間符号化を行い第２の符号化画像を生成する第２符号化部と、前記第２の画像の露出値と、前記第１の参照画像の露出値とのうちの一方を他方にほぼ一致させる補正を行う補正部と、を備え、前記第２符号化部は、前記補正部による補正が行われた前記第２の画像、または前記補正部による補正が行われた前記第１の参照画像を用いて前記画像間符号化を行う。
第２の態様の画像処理装置は、露出値が異なる複数の画像のうちの第１の画像に、第１の参照画像を用いて画像間符号化を行い、第１の符号化画像を生成する第１符号化部と、前記複数の画像のうちの第２の画像に、前記第１の符号化画像の一部を復号化した画像を第２の参照画像として用いて前記画像間符号化を行い、第２の符号化画像を生成する第２符号化部と、前記第２の画像の露出値と、前記第２の参照画像の露出値とのうちの一方を他方にほぼ一致させる補正を行う補正部と、を備え、前記第２符号化部は、前記補正部による補正が行われた前記第２の画像、または前記補正部による補正が行われた前記第２の参照画像を用いて前記画像間符号化を行う。 The image processing apparatus according to the first aspect encodes a first image of a plurality of images having different exposure values to generate a first encoded image, and a first encoding unit for the plurality of images. A second code for inter-picture encoding of a second image of the images using an image obtained by decoding a part of the first encoded image as a first reference image to generate a second encoded image A second encoding unit, and a correction unit that performs correction to substantially match one of the exposure value of the second image and the exposure value of the first reference image to the other; The inter-image encoding is performed using the second image corrected by the correction unit or the first reference image corrected by the correction unit.
An image processing apparatus according to a second aspect performs inter-image encoding on a first image of a plurality of images having different exposure values using a first reference image to generate a first encoded image. In the first encoding unit, the second image of the plurality of images is subjected to the inter-image encoding using an image obtained by decoding a part of the first encoded image as a second reference image. Correction that substantially matches one of the second encoding unit that generates a second encoded image, the exposure value of the second image, and the exposure value of the second reference image to the other And the second encoding unit uses the second image corrected by the correction unit or the second reference image corrected by the correction unit. The inter-picture encoding is performed.

本発明によれば、露出値の異なる画像に対して、明るさの不一致を解消して効率よく符号化および復号を行うことができる。   According to the present invention, it is possible to efficiently perform encoding and decoding on an image with different exposure values without resolving the brightness mismatch.

本発明の第１の実施の形態による符号化装置の構成と、各構成にて生成されるデータとを示す図The figure which shows the structure of the encoding apparatus by the 1st Embodiment of this invention, and the data produced | generated by each structure. 第１の実施の形態による符号化装置が有する露出補正部の機能を示すブロック図Block diagram showing the function of the exposure correction unit of the encoding device according to the first embodiment 第１の実施の形態による符号化装置により生成される符号化データと、符号化される前の画像との関係を模式的に示す図A diagram schematically showing a relationship between encoded data generated by the encoding apparatus according to the first embodiment and an image before encoding. 第１〜第５の実施の形態による符号化装置の動作を説明するフローチャートFlow chart for explaining the operation of the coding apparatus according to the first to fifth embodiments 第１の実施の形態による復号装置の構成と、各構成にて生成されるデータとを示す図The figure which shows the structure of the decoding apparatus by 1st Embodiment, and the data produced | generated by each structure 第１〜第５の実施の形態による復号装置の動作を説明するフローチャートFlow chart for explaining the operation of the decoding apparatus according to the first to fifth embodiments 変形例における露出補正部の機能を示すブロック図Block diagram showing the function of the exposure correction unit in the modification 変形例における露出補正部の機能を示すブロック図Block diagram showing the function of the exposure correction unit in the modification 第２の実施の形態による符号化装置により生成される符号化データと、符号化される前の画像との関係を模式的に示す図The figure which shows typically the relationship between the coding data produced | generated by the encoding apparatus by 2nd Embodiment, and the image before being encoded. 第２の実施の形態による符号化装置の構成と、各構成にて生成されるデータとを示す図The figure which shows the structure of the encoding apparatus by 2nd Embodiment, and the data produced | generated by each structure 第３の実施の形態による符号化装置により生成される符号化データと、符号化される前の画像との関係を模式的に示す図The figure which shows typically the relationship between the coding data produced | generated by the encoding apparatus by 3rd Embodiment, and the image before being encoded. 第３の実施の形態による符号化装置の構成と、各構成にて生成されるデータとを示す図The figure which shows the structure of the encoding apparatus by 3rd Embodiment, and the data produced | generated by each structure 第４の実施の形態による符号化装置の構成と、各構成にて生成されるデータとを示す図The figure which shows the structure of the encoding apparatus by 4th Embodiment, and the data produced | generated by each structure 第４の実施の形態による復号装置の構成と、各構成にて生成されるデータとを示す図The figure which shows the structure of the decoding apparatus by 4th Embodiment, and the data produced | generated by each structure 第５の実施の形態による符号化装置の構成と、各構成にて生成されるデータとを示す図The figure which shows the structure of the encoding apparatus by 5th Embodiment, and the data produced | generated by each structure 第５の実施の形態による復号装置の構成と、各構成にて生成されるデータとを示す図The figure which shows the structure of the decoding apparatus by 5th Embodiment, and the data produced | generated by each structure 第４および第６の実施の形態により生成される符号化データと、符号化される前の画像との関係を模式的に示す図The figure which shows typically the relationship between the coding data produced | generated by 4th and 6th embodiment, and the image before being coded. 第４および第６の実施の形態の変形例により生成される符号化データと、符号化される前の画像との関係を模式的に示す図The figure which shows typically the relationship between the coding data produced | generated by the modification of 4th and 6th embodiment, and the image before being encoded. 第４の実施の形態の変形例、第５、第６および第７の実施の形態により生成される符号化データと、符号化される前の画像との関係を模式的に示す図The figure which shows typically the relationship between the coding data produced | generated by the modification of 4th Embodiment, 5th, 6th, and 7th embodiment, and the image before being encoded. 第６の実施の形態による符号化装置の構成と、各構成にて生成されるデータとを示す図The figure which shows the structure of the encoding apparatus by 6th Embodiment, and the data produced | generated by each structure 第６の実施の形態による復号装置の構成と、各構成にて生成されるデータとを示す図The figure which shows the structure of the decoding apparatus by 6th Embodiment, and the data produced | generated by each structure 第７の実施の形態による符号化装置の構成と、各構成にて生成されるデータとを示す図The figure which shows the structure of the encoding apparatus by 7th Embodiment, and the data produced | generated by each structure 第７の実施の形態による復号装置の構成と、各構成にて生成されるデータとを示す図The figure which shows the structure of the decoding apparatus by 7th Embodiment, and the data produced | generated by each structure

−第１の実施の形態−
図面を参照しながら、本発明の実施の形態による符号化装置および復号化装置について説明する。
−−符号化装置−−
図１は本実施の形態による符号化装置１の構成を示すブロック図である。符号化装置１は、制御部１００と、第１蓄積部１０１と、減算部１０２と、直交変換部１０３と、量子化部１０４と、可変長符号化部１０５と、逆量子化部１０６と、逆直交変換部１０７と、加算部１０８と、第２蓄積部１０９と、補正値算出部１１０と、露出補正部１１１と、予測制御情報生成部１１２と、画像間予測部１１３とを備える。制御部１００はＣＰＵやその周辺回路等から構成されており、不図示の記憶媒体（たとえばフラッシュメモリ等）に予め記憶されている制御プログラムを読み込んで実行することにより、符号化装置１の各部を制御する。なお、図示の都合上、制御部１００から各部への信号入出力を省略して示す。また、図１においては、符号化装置１の各構成にて後述するようにして生成されるデータを合わせて模式的に示す。 -First Embodiment-
An encoding apparatus and a decoding apparatus according to an embodiment of the present invention will be described with reference to the drawings.
--Encoding device--
FIG. 1 is a block diagram showing the configuration of a coding apparatus 1 according to the present embodiment. The encoding apparatus 1 includes a control unit 100, a first accumulation unit 101, a subtraction unit 102, an orthogonal transformation unit 103, a quantization unit 104, a variable length encoding unit 105, and an inverse quantization unit 106. The inverse orthogonal transform unit 107, the addition unit 108, the second accumulation unit 109, the correction value calculation unit 110, the exposure correction unit 111, the prediction control information generation unit 112, and the inter-image prediction unit 113. The control unit 100 includes a CPU and peripheral circuits thereof, and reads and executes a control program stored in advance in a storage medium (for example, a flash memory etc.) (not shown) to execute each part of the encoding apparatus 1. Control. Note that signal input / output from the control unit 100 to each unit is omitted for convenience of illustration. Also, in FIG. 1, data generated as described later in each configuration of the encoding device 1 is schematically shown together.

第１蓄積部１０１は、異なる露出値で連続的に撮影された複数の画像を順次入力して、一時的に格納する。なお、各画像を撮影した際の露出値は、画像データのヘッダ等にＥＸＩＦデータとして記録される。本実施の形態においては、第１蓄積部１０１に格納された複数の画像のそれぞれが符号化対象画像であり、符号化対象画像のうち、画像内符号化により符号化を行う画像を特定画像、画像間符号化により符号化を行う画像を非特定画像とする。減算部１０２は、第１蓄積部１０１に格納された複数の画像のうちの特定画像に対しては処理を行わず、非特定画像に対して、後述する画像間予測部１１３から出力される予測画像を減算することによって予測誤差画像を生成して出力する。   The first accumulation unit 101 sequentially inputs a plurality of images continuously photographed at different exposure values and temporarily stores the images. In addition, the exposure value at the time of imaging each image is recorded as EXIF data in the header etc. of image data. In the present embodiment, each of the plurality of images stored in the first storage unit 101 is an encoding target image, and among the encoding target images, an image to be encoded by intra-image encoding is a specific image, An image to be encoded by inter-image encoding is a non-specific image. The subtraction unit 102 does not perform processing on a specific image among the plurality of images stored in the first accumulation unit 101, and performs prediction on the non-specific image, which is output from an inter-image prediction unit 113 described later. A prediction error image is generated and output by subtracting the image.

直交変換部１０３は、減算部１０２から出力された特定画像または予測誤差画像を直交変換して直交変換係数を出力する。量子化部１０４は、直交変換部１０３から出力された直交変換係数を量子化して量子化係数、すなわち符号化済画像を出力する。可変長符号化１０５は、量子化部１０４から出力された量子化係数、後述する予測制御情報生成部１１２から出力される動きベクトル等の予測制御情報、補正値算出部１１０から出力される露出補正値等を可変長符号化することにより、符号化データを出力する。   The orthogonal transformation unit 103 orthogonally transforms the specific image or the prediction error image output from the subtraction unit 102 and outputs an orthogonal transformation coefficient. The quantization unit 104 quantizes the orthogonal transformation coefficient output from the orthogonal transformation unit 103 and outputs a quantization coefficient, that is, an encoded image. The variable-length coding 105 is a quantization coefficient output from the quantization unit 104, prediction control information such as a motion vector output from the prediction control information generation unit 112 described later, and an exposure correction output from the correction value calculation unit 110. The encoded data is output by performing variable-length encoding on values and the like.

逆量子化部１０６は、量子化部１０４で算出された量子化係数を逆量子化して逆量子化係数を出力する。逆直交変換部１０７は、逆量子化部１０６から出力された逆量子化係数を逆直交変換することにより、特定画像の復号画像（以後、復号特定画像と呼ぶ）または予測誤差画像の復号画像（以後、復号予測誤差画像と呼ぶ）を生成する。加算部１０８は、符号化対象画像に対して画像間符号化を行う場合には、逆直交変換部１０７からの復号予測誤差画像と、後述する画像間予測部１１３からの予測画像とを加算して、符号化対象画像の復号画像（以後、復号予測画像と呼ぶ）を生成して出力する。符号化対象画像に対して画像内符号化を行う場合には、加算部１０８は、逆直交変換部１０７からの復号特定画像をそのまま出力する。第２蓄積部１０９は、加算部１０８から出力された復号予測画像または復号特定画像、すなわち逆量子化部１０６および逆直交変換部１０７によって符号化対象画像の一部が復号された局部復号画像を、参照画像として一時的に格納する。   The inverse quantization unit 106 inversely quantizes the quantization coefficient calculated by the quantization unit 104 and outputs the inverse quantization coefficient. The inverse orthogonal transformation unit 107 performs inverse orthogonal transformation on the inverse quantization coefficient output from the inverse quantization unit 106 to obtain a decoded image of a specific image (hereinafter referred to as a decoded specific image) or a decoded image of a prediction error image ( Hereinafter, the decoded prediction error image is generated). The addition unit 108 adds the decoded prediction error image from the inverse orthogonal transformation unit 107 and the prediction image from the inter-image prediction unit 113 described later, when performing inter-image encoding on the encoding target image. And generates and outputs a decoded image of the image to be encoded (hereinafter referred to as a decoded predicted image). When intra-image encoding is performed on the image to be encoded, the addition unit 108 outputs the decoded specific image from the inverse orthogonal transform unit 107 as it is. The second storage unit 109 uses the decoded predicted image or the decoded specific image output from the addition unit 108, that is, the local decoded image obtained by decoding part of the image to be encoded by the inverse quantization unit 106 and the inverse orthogonal transformation unit 107 , Temporarily stored as a reference image.

補正値算出部１１０は、符号化対象画像が非特定画像の場合には、第１蓄積部１０１に格納された符号化対象画像の露出値から、第２蓄積部１０９に格納された参照画像の露出値を減算して、参照画像の露出補正値を算出する。なお、補正値算出部１１０は、画像データのヘッダ等の記録されたＥＸＩＦデータを参照することにより補正値の減算を行う。露出補正部１１１は、補正値算出部１１０により算出された露出補正値を用いて参照画像の露出を補正して、露出補正参照画像を生成し、出力する。この場合、露出補正部１１１は、参照画像の各画素値に露出補正値に応じた値を乗じることにより露出補正参照画像を生成する。すなわち、露出補正部１１１は、符号化対象画像の露出値と一致した露出値を有する露出補正参照画像を生成する。なお、符号化対象画像の露出値と実質的に位置する露出値を有する露出補正参照画像を生成するものについても本発明の一態様に含まれる。この場合、後述する符号化に際して、露出値が異なる複数の画像間で生じる明るさの不一致による影響が解消可能な範囲で露出値が補正されればよい。なお、露出補正部１１１による処理については、詳細を後述して説明する。   When the encoding target image is a non-specific image, the correction value calculating unit 110 calculates the exposure value of the encoding target image stored in the first storage unit 101 based on the reference image stored in the second storage unit 109. The exposure value is subtracted to calculate the exposure correction value of the reference image. The correction value calculation unit 110 subtracts the correction value by referring to the recorded EXIF data such as the header of the image data. The exposure correction unit 111 corrects the exposure of the reference image using the exposure correction value calculated by the correction value calculation unit 110, and generates and outputs an exposure correction reference image. In this case, the exposure correction unit 111 generates an exposure correction reference image by multiplying each pixel value of the reference image by a value corresponding to the exposure correction value. That is, the exposure correction unit 111 generates an exposure correction reference image having an exposure value that matches the exposure value of the image to be encoded. An aspect of the present invention also includes one that generates an exposure correction reference image having an exposure value substantially positioned with the exposure value of the image to be encoded. In this case, at the time of encoding to be described later, the exposure value may be corrected within a range in which the influence of the mismatch of the brightness occurring among a plurality of images having different exposure values can be eliminated. The processing by the exposure correction unit 111 will be described later in detail.

予測制御情報生成部１１２は、露出補正参照画像を用いて、参照画像に対する符号化対象画像の差異を予測するための、たとえば動きベクトル等の予測情報を生成する。画像間予測部１１３は、予測制御情報生成部１１２により生成された予測情報と、露出補正部１１１により生成された露出補正参照画像とに基づいて、減算部１０２が符号化対象画像から減算する際に用いる予測画像を出力する。すなわち、画像間予測部１１３は、符号化対象画像とは露出値が異なる参照画像に基づいて、符号化対象画像と露出値が一致するように補正された予測画像を出力する。   The prediction control information generation unit 112 generates prediction information such as, for example, a motion vector, for predicting a difference between the encoding target image and the reference image, using the exposure correction reference image. When the subtraction unit 102 subtracts the image to be encoded based on the prediction information generated by the prediction control information generation unit 112 and the exposure correction reference image generated by the exposure correction unit 111, the inter-image prediction unit 113 Output the predicted image used for That is, the inter-image prediction unit 113 outputs a predicted image corrected so that the encoding target image and the exposure value match, based on a reference image having an exposure value different from that of the encoding target image.

図２は、露出補正部１１１の機能を示すブロック図である。なお、以下の説明では、ガンマ補正適用ＲＧＢ形式の画像を符号化する場合を例としている。露出補正部１１１は、機能として、ＲＧＢガンマ補正逆変換部１１１１と、ＲＧＢレベル補正部１１１２と、ＲＧＢガンマ補正変換部１１１３とを備える。ＲＧＢガンマ補正逆変換部１１１１は、第２蓄積部１０９に格納された参照画像のＲＧＢ成分に対してガンマ補正逆変換を行い、リニアＲＧＢ参照画像を生成する。この場合、ＲＧＢガンマ補正逆変換部１１１１は、たとえばγ＝２．２に対応するガンマ補正カーブが適用されている参照画像に対しては、サンプル値（画素値）をγ＝１／２．２に対応するガンマ補正カーブを適用することでリニアＲＧＢ参照画像を生成する。   FIG. 2 is a block diagram showing the function of the exposure correction unit 111. As shown in FIG. In the following description, the case of encoding an image in the gamma correction application RGB format is taken as an example. The exposure correction unit 111 includes an RGB gamma correction inverse conversion unit 1111, an RGB level correction unit 1112 and an RGB gamma correction conversion unit 1113 as functions. The RGB gamma correction inverse conversion unit 1111 performs gamma correction inverse conversion on the RGB components of the reference image stored in the second storage unit 109 to generate a linear RGB reference image. In this case, for the reference image to which the gamma correction curve corresponding to, for example, γ = 2.2 is applied, the RGB gamma correction inverse conversion unit 1111 sets the sample value (pixel value) to γ = 1 / 2.2. A linear RGB reference image is generated by applying a gamma correction curve corresponding to.

ＲＧＢレベル補正部１１１２は、ＲＧＢガンマ補正逆変換部１１１１により生成されたリニアＲＧＢ参照画像の露出値を、上述した補正値算出部１１０にて算出された露出補正値に基づいて補正し、露出補正リニアＲＧＢ参照画像を生成する。この場合、ＲＧＢレベル補正部１１１２は、たとえば露出補正値がｎＥＶであれば、リニアＲＧＢ参照画像のサンプル値（画素値）を２−ｎ倍することにより露出補正リニアＲＧＢ参照画像を生成する。ＲＧＢガンマ補正変換部１１１３は、ＲＧＢレベル補正部１１１２により生成された露出補正リニアＲＧＢ参照画像に対してガンマ変換を施して、露出補正参照画像を生成する。この場合、ＲＧＢガンマ補正変換部１１１３は、たとえばγ＝２．２のガンマ補正カーブが適用されている参照画像に対しては、露出補正リニアＲＧＢ参照画像のサンプル値（画素値）をγ＝２．２に対応するガンマ補正カーブを適用することで露出補正参照画像を生成する。この結果、符号化対象画像がガンマ補正適用ＲＧＢ形式の場合であっても、符号化対象画像および参照画像の露出値に応じて、画像間符号化に適した露出補正参照画像を生成することが可能となる。 The RGB level correction unit 1112 corrects the exposure value of the linear RGB reference image generated by the RGB gamma correction inverse conversion unit 1111 based on the exposure correction value calculated by the correction value calculation unit 110 described above, and performs exposure correction Generate a linear RGB reference image. In this case, if the exposure correction value is nEV, for example, the RGB level correction unit 1112 generates an exposure correction linear RGB reference image by multiplying the sample value (pixel value) of the linear RGB reference image by 2 to n . The RGB gamma correction conversion unit 1113 performs gamma conversion on the exposure correction linear RGB reference image generated by the RGB level correction unit 1112 to generate an exposure correction reference image. In this case, the RGB gamma correction conversion unit 1113 sets the sample value (pixel value) of the exposure correction linear RGB reference image to γ = 2 for the reference image to which the gamma correction curve of γ = 2.2 is applied, for example. An exposure correction reference image is generated by applying a gamma correction curve corresponding to .2. As a result, even when the encoding target image is in the gamma correction application RGB format, an exposure correction reference image suitable for inter-image encoding can be generated according to the exposure values of the encoding target image and the reference image. It becomes possible.

図１および図３を参照しながら符号化装置１により生成される符号化データについて説明する。図３（ａ）は、自動露出により露出値ＥＶｒｅｆを基準として、±２ＥＶの範囲で１ＥＶずつ露出値を変化させながら、撮影間隔ａ秒にて連続撮影された画像Ｆ１〜Ｆ５を模式的に示した例である。図に示すように、画像Ｆ３が露出値ＥＶｒｅｆにて撮影された画像であり、画像Ｆ１が最も明るく白とびを多く含み黒つぶれの少ない画像であり、画像Ｆ５が最も暗く黒つぶれを多く含み白とびの少ない画像である。なお、露出値を１ＥＶ増加させるためには、たとえば露光時間を１／２倍にしてもよいし、絞り値を２１／２倍にしてもよい。また、画像Ｆ１〜Ｆ５を連続撮影する際の撮影間隔はａ秒で一定のものに限定されず、一定の撮影間隔ではないものについても本発明の一態様に含まれる。 The encoded data generated by the encoding device 1 will be described with reference to FIGS. 1 and 3. FIG. 3A schematically shows images F1 to F5 captured continuously at shooting intervals a seconds while changing the exposure value by 1 EV in the range of ± 2 EV with reference to the exposure value EVref by automatic exposure. Example. As shown in the figure, the image F3 is an image taken at the exposure value EVref, the image F1 is the brightest image with many overexposures and less blackouts, and the image F5 has the most dark and blackouts and white It is an image with few jumps. In order to increase the exposure value by 1 EV, for example, the exposure time may be halved , or the aperture value may be halved . Moreover, the imaging | photography interval at the time of image | photographing the images F1-F5 continuously is not limited to a fixed thing by a second, What is not a fixed imaging | photography interval is also contained in 1 aspect of this invention.

本実施の形態では、図３（ｂ）に示すように、画像Ｆ１に対して画像内符号化を行い、画像Ｆ２〜Ｆ５に対して画像間符号化を行うことにより、符号化データＩ１、Ｐ２〜Ｐ５が生成される。すなわち、第１蓄積部１０１に格納された複数の画像Ｆ１〜Ｆ５のうち、画像Ｆ１が他の画像Ｆ２〜Ｆ５に先行して可変長符号化部１０５により画像内符号化される。この場合、上述したように、減算部１０２は特定画像である画像Ｆ１をそのまま出力し（図１のａ）、直交変換部１０３、量子化部１０４および可変長符号化部１０５により画像内符号化されて符号化データＩ１として出力される（図１のｂ）。また、直交変換部１０３、量子化部１０４、逆量子化部１０６および逆直交変換部１０７による処理が施された特定画像は、加算部１０８による処理を施されることなく、第２蓄積部１０９に復号特定画像Ｆ１ａとして格納される（図１のｃ）。   In the present embodiment, as shown in FIG. 3B, encoded data I1 and P2 are obtained by performing intra-image encoding on image F1 and performing inter-image encoding on images F2 to F5. .About.P5 are generated. That is, of the plurality of images F1 to F5 stored in the first accumulation unit 101, the image F1 is intra-image encoded by the variable-length coding unit 105 prior to the other images F2 to F5. In this case, as described above, the subtracting unit 102 outputs the image F1 which is a specific image as it is (a in FIG. 1), and the in-picture coding is performed by the orthogonal transformation unit 103, the quantization unit 104, and the variable length coding unit 105. And output as encoded data I1 (b in FIG. 1). Further, the specific image which has been subjected to the processing by the orthogonal transformation unit 103, the quantization unit 104, the inverse quantization unit 106, and the inverse orthogonal transformation unit 107 is not subjected to the processing by the addition unit 108. Is stored as the decoded specific image F1a (c in FIG. 1).

図３（ｂ）に示すように、画像Ｆ２は画像Ｆ１との間で画像間符号化が行われる。この場合、画像Ｆ２は、画像Ｆ２の露出値と一致するように露出値が補正された画像Ｆ１との間で、画像間符号化が行われる。画像Ｆ２に対して画像間符号化を行う際には、第１蓄積部１０１に格納されている画像Ｆ２が符号化対象画像、第２蓄積部１０９に格納されている、画像Ｆ１から生成された復号特定画像Ｆ１ａが参照画像となる。   As shown in FIG. 3B, the image F2 is inter-image encoded with the image F1. In this case, in the image F2, inter-image coding is performed between the image F1 and the image F1 whose exposure value has been corrected to match the exposure value of the image F2. When performing inter-image encoding on the image F2, the image F2 stored in the first storage unit 101 is generated from the image F1 stored in the encoding target image and the second storage unit 109. The decoded specific image F1a is a reference image.

まず、補正値算出部１１０は、参照画像である復号特定画像Ｆ１ａ、すなわち画像Ｆ１の露出値ＥＶ１（＝ＥＶｒｅｆ−２）と、符号化対象画像である画像Ｆ２の露出値ＥＶ２（＝ＥＶｒｅｆ−１）とを用いて、参照画像の露出補正値ΔＥＶＦ１（＝ＥＶ２−ＥＶ１＝１）を算出する。露出補正部１１１は、第２蓄積部１０９に格納されている参照画像（すなわち復号特定画像Ｆ１ａ）を露出補正値ΔＥＶＦ１を用いて補正して、露出補正参照画像Ｆ１ｂを生成する（図１のｄ）。画像間予測部１１３は、予測制御情報生成部１１２により生成された予測情報を用いて、露出補正参照画像Ｆ１ｂ上の動きが符号化対象画像である画像Ｆ２に適合された予測画像Ｆ１ｃを生成する（図１のｅ）。 First, the correction value calculation unit 110 outputs the decoded specific image F1a which is the reference image, that is, the exposure value EV1 (= EVref-2) of the image F1 and the exposure value EV2 of the image F2 which is the encoding target image (= EVref-1). The exposure correction value ΔEV F1 (= EV2−EV1 = 1) of the reference image is calculated using The exposure correction unit 111 corrects the reference image (that is, the decoded specific image F1a) stored in the second storage unit 109 using the exposure correction value ΔEV F1 to generate an exposure correction reference image F1b (see FIG. 1). d). The inter-image prediction unit 113 uses the prediction information generated by the prediction control information generation unit 112 to generate a predicted image F1 c whose motion on the exposure correction reference image F1 b is adapted to the image F2 which is the image to be encoded. (E in FIG. 1).

減算部１０２は、符号化対象画像（すなわち画像Ｆ２）から画像間予測部１１３により生成された予測画像Ｆ１ｃを減算して、予測誤差画像Ｆ２ａを生成する（図１のｆ）。すなわち、減算部１０２は、画像Ｆ２の露出値ＥＶ２と露出値が適合するように補正された露出補正参照画像Ｆ１ｂから生成された予測画像Ｆ１ｃとの差分に相当する画像を予測誤差画像Ｆ２ａとして生成する。予測誤差画像Ｆ２ａは、直交変換部１０３、量子化部１０４および可変長符号化部１０５により符号化されて符号化データＰ２として出力される（図１のｇ）。また、予測誤差画像Ｆ２ａは、直交変換部１０３、量子化部１０４、逆量子化部１０６および逆直交変換部１０７による処理が施され、復号予測誤差画像Ｆ２ｂとして加算部１０８に出力される（図１のｈ）。加算部１０８は、復号予測誤差画像Ｆ２ｂと、画像間予測部１１３にて生成された予測画像Ｆ１ｃとを加算して、復号予測画像Ｆ２ｃを生成し、第２蓄積部１０９に格納する（図１のｉ）。   The subtraction unit 102 subtracts the predicted image F1c generated by the inter-image prediction unit 113 from the image to be encoded (that is, the image F2) to generate a prediction error image F2a (f in FIG. 1). That is, the subtraction unit 102 generates, as a prediction error image F2a, an image corresponding to the difference between the exposure value EV2 of the image F2 and the predicted image F1c generated from the exposure correction reference image F1b corrected to match the exposure value. Do. The prediction error image F2a is encoded by the orthogonal transformation unit 103, the quantization unit 104, and the variable length encoding unit 105, and is output as the encoded data P2 (g in FIG. 1). Further, the prediction error image F2a is processed by the orthogonal transformation unit 103, the quantization unit 104, the inverse quantization unit 106, and the inverse orthogonal transformation unit 107, and is output to the addition unit 108 as a decoded prediction error image F2b (see FIG. 1) h). The addition unit 108 adds the decoded prediction error image F2b and the prediction image F1c generated by the inter-image prediction unit 113 to generate a decoded prediction image F2c, and stores the decoded prediction image F2c in the second storage unit 109 (FIG. 1) I).

図３（ｂ）に示すように、画像Ｆ３は画像Ｆ２との間で画像間符号化が行われる。この場合、画像Ｆ３は、画像Ｆ３の露出値と一致するように露出値が補正された画像Ｆ２との間で、画像間符号化が行われる。画像Ｆ３に対して画像間符号化を行う際には、第１蓄積部１０１内の画像Ｆ３が符号化対象画像、第２蓄積部１０９内の復号予測画像Ｆ２ｃが参照画像となる。補正値算出部１１０は、復号予測画像Ｆ２ｃ、すなわち画像Ｆ２の露出値ＥＶ２（＝ＥＶｒｅｆ−１）と、画像Ｆ３の露出値ＥＶ３（＝ＥＶｒｅｆ）とを用いて、露出補正値ΔＥＶＦ２（＝ＥＶ３−ＥＶ２＝１）を算出する。露出補正部１１１は、第２蓄積部１０９内の復号予測画像Ｆ２ｃを露出補正値ΔＥＶＦ２を用いて補正して、露出補正参照画像Ｆ２ｄを生成する（図１のｊ）。画像間予測部１１３は、予測情報を用いて、露出補正参照画像Ｆ２ｄから予測画像Ｆ２ｅを生成する（図１のｋ）。 As shown in FIG. 3B, the image F3 is inter-image encoded with the image F2. In this case, in the image F3, inter-image encoding is performed between the image F2 and the image F2 whose exposure value has been corrected to match the exposure value of the image F3. When inter-image encoding is performed on the image F3, the image F3 in the first storage unit 101 is the image to be encoded, and the decoded predicted image F2c in the second storage unit 109 is the reference image. The correction value calculation unit 110 uses the decoded predicted image F2c, that is, the exposure value EV2 (= EVref-1) of the image F2 and the exposure value EV3 (= EVref) of the image F3 to obtain an exposure correction value ΔEV F2 (= EV3). Calculate EV2 = 1). The exposure correction unit 111 corrects the decoded predicted image F2c in the second storage unit 109 using the exposure correction value ΔEV F2 to generate an exposure correction reference image F2d (j in FIG. 1). The inter-image prediction unit 113 generates a predicted image F2e from the exposure correction reference image F2d using the prediction information (k in FIG. 1).

減算部１０２は、符号化対象画像（すなわち画像Ｆ３）から予測画像Ｆ２ｅを減算して、予測誤差画像Ｆ３ａを生成する（図１のｌ）。予測誤差画像Ｆ３ａは、直交変換部１０３、量子化部１０４および可変長符号化部１０５により符号化されて符号化データＰ３として出力される（図１のｍ）。また、予測誤差画像Ｆ３ａは、直交変換部１０３、量子化部１０４、逆量子化部１０６および逆直交変換部１０７による処理が施され、復号予測誤差画像Ｆ３ｂとして加算部１０８に出力される（図１のｎ）。加算部１０８は、復号予測誤差画像Ｆ３ｂと予測画像Ｆ２ｅとを加算して復号予測画像Ｆ３ｃを生成し、第２蓄積部１０９に格納する（図１のｏ）。   The subtraction unit 102 subtracts the prediction image F2e from the image to be encoded (that is, the image F3) to generate a prediction error image F3a (l in FIG. 1). The prediction error image F3a is encoded by the orthogonal transformation unit 103, the quantization unit 104, and the variable length encoding unit 105, and is output as the encoded data P3 (m in FIG. 1). Further, the prediction error image F3a is processed by the orthogonal transformation unit 103, the quantization unit 104, the inverse quantization unit 106, and the inverse orthogonal transformation unit 107, and is output to the addition unit 108 as a decoded prediction error image F3b (see FIG. 1 n). The addition unit 108 adds the decoded prediction error image F3b and the prediction image F2e to generate a decoded prediction image F3c, and stores the decoded prediction image F3c in the second storage unit 109 (o in FIG. 1).

以後、上記の処理を繰り返し行うことにより、符号化データＰ４、Ｐ５を生成する。すなわち、図３（ｂ）に示すように、画像Ｆ４は、画像Ｆ３を参照画像とし、画像Ｆ４の露出値と一致するように露出値が補正された画像Ｆ３との間で、画像間符号化が行われる。画像Ｆ５は、画像Ｆ４を参照画像とし、画像Ｆ５の露出値と一致するように露出値が補正された画像Ｆ４との間で、画像間符号化が行われる。この結果、図３（ｂ）に示すように、画像Ｆ２〜Ｆ５については、露出値が＋１ＥＶだけ補正された直前の画像との間で画像間符号化が行われて、符号化データＰ２〜Ｐ５が出力される。   Thereafter, the above process is repeated to generate the encoded data P4 and P5. That is, as shown in FIG. 3B, the image F4 uses the image F3 as a reference image, and performs inter-image encoding with the image F3 whose exposure value has been corrected to match the exposure value of the image F4. Is done. The image F5 uses the image F4 as a reference image, and inter-image coding is performed between the image F4 and the image F4 whose exposure value has been corrected to match the exposure value of the image F5. As a result, as shown in FIG. 3B, for the images F2 to F5, inter-image coding is performed with the image immediately before the exposure value is corrected by +1 EV, and the coded data P2 to P5 is obtained. Is output.

図４に示すフローチャートを参照しながら、符号化装置１の処理について説明する。図４に示す処理は制御部１００でプログラムを実行して行われる。このプログラムは、メモリ（不図示）に格納されており、制御部１００により起動され、実行される。
ステップＳ１０１では、連続撮影された露出値が互いに異なる複数の画像のうち、特定画像について画像内符号化により符号化データを出力させてステップＳ１０２へ進む。ステップＳ１０２においては、符号化対象画像の露出値と参照画像の露出値とに基づいて、参照画像の露出補正値を算出させてステップＳ１０３へ進む。ステップＳ１０３では、ステップＳ１０２で算出された露出補正値を用いて参照画像の露出値を補正して露出補正参照画像を生成してステップＳ１０４へ進む。 The process of the encoding device 1 will be described with reference to the flowchart shown in FIG. The process shown in FIG. 4 is performed by executing a program in the control unit 100. The program is stored in a memory (not shown), activated by the control unit 100, and executed.
In step S101, the encoded data is output by intra-image encoding for a specific image among a plurality of images whose exposure values are different from each other and the process proceeds to step S102. In step S102, the exposure correction value of the reference image is calculated based on the exposure value of the image to be encoded and the exposure value of the reference image, and the process proceeds to step S103. In step S103, the exposure correction value of the reference image is corrected using the exposure correction value calculated in step S102 to generate an exposure correction reference image, and the process proceeds to step S104.

ステップＳ１０４では、符号化対象画像と露出補正参照画像とを用いて予測画像を生成させ、予測画像を用いて符号化対象画像に対して画像間符号化を行わせ、符号化データを生成させてステップＳ１０５へ進む。ステップＳ１０５では、全ての画像に対して符号化データが生成されたか否かを判定する。全ての画像から符号化データが生成された場合には、ステップＳ１０５が肯定判定されて処理を終了する。未処理の画像が存在する場合には、ステップＳ１０５が否定判定されてステップＳ１０２へ戻る。   In step S104, a prediction image is generated using the coding target image and the exposure correction reference image, and inter-picture coding is performed on the coding target image using the prediction image to generate coded data. The process proceeds to step S105. In step S105, it is determined whether or not encoded data has been generated for all images. When the encoded data is generated from all the images, an affirmative determination is made in step S105, and the process ends. If there is an unprocessed image, the negative determination is made in step S105, and the process returns to step S102.

−−復号装置−−
次に、上述した符号化装置１により出力された符号化データを復号して、画像を出力する復号装置２について説明する。
図５は、本実施の形態による復号装置２の構成を示すブロック図である。復号装置２は、制御部２００と、可変長符号復号部２０１と、逆量子化部２０２と、逆直交変換部２０３と、加算部２０４と、第１蓄積部２０５と、第２蓄積部２０６と、露出補正部２０７と、予測部２０８とを備える。制御部２００はＣＰＵやその周辺回路等から構成されており、不図示の記憶媒体（たとえばフラッシュメモリ等）に予め記憶されている制御プログラムを読み込んで実行することにより、復号装置２の各部を制御する。なお、図示の都合上、制御部２００から各部への信号出力を省略して示す。また、図２においては、復号装置２の各構成にて後述するようにして生成されるデータを合わせて模式的に示す。 -Decoding device--
Next, the decoding device 2 that decodes the encoded data output by the above-described encoding device 1 and outputs an image will be described.
FIG. 5 is a block diagram showing a configuration of decoding apparatus 2 according to the present embodiment. Decoding apparatus 2 includes control unit 200, variable length code decoding unit 201, inverse quantization unit 202, inverse orthogonal transformation unit 203, addition unit 204, first accumulation unit 205, and second accumulation unit 206. , An exposure correction unit 207, and a prediction unit 208. The control unit 200 includes a CPU and its peripheral circuits, and controls each unit of the decoding apparatus 2 by reading and executing a control program stored in advance in a storage medium (for example, a flash memory etc.) (not shown). Do. Note that signal output from the control unit 200 to each unit is omitted for convenience of illustration. Also, in FIG. 2, data generated as described later in each configuration of the decoding device 2 is schematically shown together.

可変長符号復号部２０１は、符号化装置１から出力された、連続撮影された露出値が異なる複数の画像のそれぞれに対応する符号化データを入力し、符号化データのそれぞれに含まれる量子化係数や、動きベクトル等の予測情報、露出補正値等を出力する。逆量子化部２０２は、可変長符号復号部２０１から出力された量子化係数を逆量子化して、逆量子化係数を算出する。逆直交変換部２０３は、逆量子化部２０２により算出された逆量子化係数を逆直交変換することにより、特定画像に対応する符号化データの復号画像（以後、復号特定画像と呼ぶ）または予測誤差画像に対応する符号化データの復号画像（以後、復号予測誤差画像と呼ぶ）を生成し、出力する。   The variable-length code decoding unit 201 receives the encoded data corresponding to each of a plurality of continuously captured images having different exposure values output from the encoding device 1 and quantizes the encoded data included in each of the encoded data. It outputs coefficients, prediction information such as motion vectors, exposure correction values, and the like. The inverse quantization unit 202 inversely quantizes the quantization coefficient output from the variable-length code decoding unit 201 to calculate an inverse quantization coefficient. The inverse orthogonal transformation unit 203 performs inverse orthogonal transformation on the inverse quantization coefficient calculated by the inverse quantization unit 202 to obtain a decoded image of encoded data corresponding to a specific image (hereinafter referred to as a decoded specific image) or a prediction A decoded image of coded data corresponding to an error image (hereinafter referred to as a decoded prediction error image) is generated and output.

加算部２０４は、復号対象画像を画像間復号する際には、逆直交変換部２０３から出力された復号予測誤差画像と、後述する予測部２０８から出力された予測画像とを加算して、復号対象画像を復号する。復号対象画像を画像内復号する際には、加算部２０４は逆直交変換部２０３から出力された復号特定画像をそのまま出力する。第１蓄積部２０５は、加算部２０４から出力された復号画像を一時的に格納し、たとえば撮影画像の撮影順序に従って復号画像を出力する。第２蓄積部２０６は、加算部２０４によって出力された復号画像を一時的に格納する。第２蓄積部２０６に格納された復号画像は、以後の復号対象画像を復号する際に参照画像として使用される。   The addition unit 204 adds the decoded prediction error image output from the inverse orthogonal transformation unit 203 and the prediction image output from the prediction unit 208, which will be described later, in the inter-image decoding of the image to be decoded. Decode the target image. When intra-image decoding is performed on the decoding target image, the adding unit 204 outputs the decoded specific image output from the inverse orthogonal transform unit 203 as it is. The first accumulation unit 205 temporarily stores the decoded image output from the adding unit 204, and outputs the decoded image according to, for example, the photographing order of the photographed image. The second accumulation unit 206 temporarily stores the decoded image output by the addition unit 204. The decoded image stored in the second storage unit 206 is used as a reference image when decoding the subsequent decoding target image.

露出補正部２０７は、可変長符号復号部２０１から出力された露出補正値に基づいて、図１の露出補正部１１１と同様の動作で、第２蓄積部２０６に格納された参照画像の露出値を補正した露出補正参照画像を生成する。予測部２０８は、可変長符号復号部２０１から出力された予測情報と、露出補正部２０７により生成された露出補正参照画像とを用いて、画像間復号を行うための予測画像を生成する。   The exposure correction unit 207 performs the same operation as the exposure correction unit 111 in FIG. 1 on the basis of the exposure correction value output from the variable-length code decoding unit 201, and the exposure value of the reference image stored in the second storage unit 206. To generate an exposure correction reference image corrected for. The prediction unit 208 uses the prediction information output from the variable-length code decoding unit 201 and the exposure correction reference image generated by the exposure correction unit 207 to generate a prediction image for inter-image decoding.

図５を参照しながら復号装置２により復号され、生成される復号画像について説明する。なお、図５においては、上述した符号化装置１により出力された符号化データＩ１、Ｐ２〜Ｐ５が順次入力される場合を例として示す。本実施の形態では、符号化データＩ１に対して画像内復号を行い、符号化データＰ２〜Ｐ５に対して画像間復号を行うことにより、復号画像ＦＤ１〜ＦＤ５が生成される。上述したように符号化データＩ１は、特定画像が符号化装置１により符号化されているので、符号化データＩ１は逆量子化部２０２および逆直交変換部２０３により復号され、復号特定画像ＦＤ１として加算部２０４による処理が施されず、第１蓄積部２０５に格納される（図５のａ）。さらに、復号特定画像ＦＤ１は第２蓄積部２０６にも格納される（図５のｂ）。   The decoded image which is decoded and generated by the decoding device 2 will be described with reference to FIG. In addition, in FIG. 5, the case where the coding data I1 and P2-P5 which were output by the encoding apparatus 1 mentioned above are sequentially input is shown as an example. In the present embodiment, the decoded images FD1 to FD5 are generated by performing intra-image decoding on the coded data I1 and performing inter-image decoding on the coded data P2 to P5. As described above, since the specific image of the encoded data I1 is encoded by the encoding apparatus 1, the encoded data I1 is decoded by the inverse quantization unit 202 and the inverse orthogonal transformation unit 203, and is decoded as the decoded specific image FD1. The processing by the adding unit 204 is not performed, and is stored in the first storage unit 205 (a in FIG. 5). Furthermore, the decoded specific image FD1 is also stored in the second storage unit 206 (b in FIG. 5).

符号化データＰ２に対して画像間復号を行う際には、復号対象画像である符号化データＰ２に対して、第２蓄積部２０６に格納されている復号特定画像ＦＤ１を参照画像として復号が行われる。まず、露出補正部２０７は、可変長復号部２０１により復号された露出補正値、すなわち符号化装置１により符号化データＰ２が生成される際に用いられた露出補正値ΔＥＶＦ１に基づいて、参照画像である復号特定画像ＦＤ１の露出値を補正して、露出補正参照画像ＦＤ１Ａを生成する（図５のｃ）。予測部２０８は、可変長符号復号部２０１から出力された予測情報、すなわち符号化装置１により符号化データＰ２が生成される際に用いられた予測情報を用いて、露出補正参照画像ＦＤ１Ａから予測画像ＦＤ１Ｂを生成する（図５のｄ）。 When performing inter-picture decoding on the encoded data P2, the decoded specific image FD1 stored in the second storage unit 206 is decoded using the decoded specific image FD1 stored in the second storage unit 206 as a reference image. It will be. First, the exposure correction unit 207 refers to the exposure correction value decoded by the variable-length decoding unit 201, that is, based on the exposure correction value ΔEV F1 used when the coding data P2 is generated by the coding device 1. The exposure correction reference image FD1A is generated by correcting the exposure value of the decoded specific image FD1 which is an image (c in FIG. 5). The prediction unit 208 performs prediction from the exposure correction reference image FD1A using the prediction information output from the variable-length code decoding unit 201, that is, the prediction information used when the coding data P2 is generated by the coding device 1. An image FD1B is generated (d in FIG. 5).

上述したように符号化データＰ２は、符号化装置１によって予測誤差画像Ｆ２ａ（図１参照）が符号化されることにより生成されている。したがって、符号化データＰ２は、可変長復号部２０１、逆量子化部２０２および逆直交変換部２０３の処理により、予測誤差画像Ｆ２ａが復号された復号予測誤差画像ＦＤ２ａが生成されて、加算部２０４に入力される（図５のｅ）。加算部２０４は、復号予測誤差画像ＦＤ２ａと、露出補正部２０７により生成された予測画像ＦＤ１Ｂとを加算して、復号画像ＦＤ２を生成する。生成された復号画像ＦＤ２は、第１蓄積部２０５に格納されるとともに（図５のｆ）、第２蓄積部２０６に格納される（図５のｇ）。   As described above, the encoded data P2 is generated by encoding the prediction error image F2a (see FIG. 1) by the encoding device 1. Therefore, the encoded data P2 is processed by the variable-length decoding unit 201, the inverse quantization unit 202, and the inverse orthogonal transformation unit 203 to generate a decoded prediction error image FD2a in which the prediction error image F2a is decoded. Is input (e in FIG. 5). The addition unit 204 adds the decoded predicted error image FD2a and the predicted image FD1B generated by the exposure correction unit 207 to generate a decoded image FD2. The generated decoded image FD2 is stored in the first storage unit 205 (f in FIG. 5) and is stored in the second storage unit 206 (g in FIG. 5).

符号化データＰ３を復号対象画像として画像間復号を行う際には、第２蓄積部２０６に格納されている復号画像ＦＤ２が参照画像となる。露出補正部２０７は、可変長復号部２０１から出力された露出補正値ΔＥＶＦ２を用いて復号画像ＦＤ２の露出値を補正して、露出補正参照画像ＦＤ２Ａを生成する（図５のｈ）。予測部２０８は、可変長符号復号部２０１から出力された符号化データＰ３に関する予測情報を用いて、露出補正参照画像ＦＤ２Ａから予測画像ＦＤ２Ｂを生成する（図５のｉ）。 When performing inter-image decoding with the encoded data P3 as the image to be decoded, the decoded image FD2 stored in the second storage unit 206 is a reference image. The exposure correction unit 207 corrects the exposure value of the decoded image FD2 using the exposure correction value ΔEV F2 output from the variable length decoding unit 201, and generates an exposure correction reference image FD2A (h in FIG. 5). The prediction unit 208 generates a prediction image FD2B from the exposure correction reference image FD2A using the prediction information on the encoded data P3 output from the variable-length code decoding unit 201 (i in FIG. 5).

上述したように符号化データＰ３は、符号化装置１によって予測誤差画像Ｆ３ａ（図１参照）が符号化されて生成されている。このため、符号化データＰ３は可変長復号部２０１、逆量子化部２０２および逆直交変換部２０３の処理により、予測誤差画像Ｆ３ａが復号された復号予測誤差画像ＦＤ３ａが出力されて、加算部２０４に入力される（図５のｊ）。加算部２０４は、復号予測誤差画像ＦＤ３ａと、露出補正部２０７により生成された予測画像ＦＤ２Ｂとを加算して、復号画像ＦＤ３を生成する。生成された復号画像ＦＤ３は、第１蓄積部２０５に格納されるとともに（図５のｋ）、第２蓄積部２０６に格納される（図５のｌ）。以後、上記の処理を繰り返し行うことにより、復号画像ＦＤ３を用いて復号画像ＦＤ４が生成され、復号画像ＦＤ４を用いてＦＤ５が生成される。   As described above, the encoded data P3 is generated by encoding the prediction error image F3a (see FIG. 1) by the encoding device 1. Therefore, the encoded data P3 is processed by the variable length decoding unit 201, the inverse quantization unit 202, and the inverse orthogonal transformation unit 203 to output the decoded prediction error image FD3a obtained by decoding the prediction error image F3a, and the addition unit 204. Is input to (j in FIG. 5). The addition unit 204 adds the decoded prediction error image FD3a and the predicted image FD2B generated by the exposure correction unit 207 to generate a decoded image FD3. The generated decoded image FD3 is stored in the first storage unit 205 (k in FIG. 5) and is stored in the second storage unit 206 (l in FIG. 5). Thereafter, the above process is repeatedly performed to generate the decoded image FD4 using the decoded image FD3 and to generate FD5 using the decoded image FD4.

図６に示すフローチャートを参照しながら、復号装置２の処理について説明する。図６に示す処理は制御部２００でプログラムを実行して行われる。このプログラムは、メモリ（不図示）に格納されており、制御部２００により起動され、実行される。
ステップＳ２０１においては、複数の符号化データのうち特定画像に対応する符号化データを画像内復号により復号させてステップＳ２０２へ進む。ステップＳ２０２では、復号対象画像の補正値と、参照画像の補正値とを用いて、参照画像の露出補正値を算出させてステップＳ２０３へ進む。 The process of the decoding device 2 will be described with reference to the flowchart shown in FIG. The process shown in FIG. 6 is performed by executing a program in the control unit 200. The program is stored in a memory (not shown), activated by the control unit 200, and executed.
In step S201, the encoded data corresponding to the specific image among the plurality of encoded data is decoded by intra-image decoding, and the process proceeds to step S202. In step S202, the exposure correction value of the reference image is calculated using the correction value of the decoding target image and the correction value of the reference image, and the process proceeds to step S203.

ステップＳ２０３においては、算出された露出補正値を用いて参照画像の露出値を補正して露出補正参照画像を生成させてステップＳ２０４へ進む。ステップＳ２０４では、復号対象画像を、露出補正参照画像を用いて画像間復号を行わせることにより復号画像を生成させてステップＳ２０５へ進む。ステップＳ２０５においては、全ての符号化データに対して復号画像が生成されたか否かを判定する。全ての符号化データから復号画像が生成された場合には、ステップＳ２０５が肯定判定されて処理を終了する。未処理の符号化データが存在する場合には、ステップＳ２０５が否定判定されてステップＳ２０２へ戻る。   In step S203, the exposure value of the reference image is corrected using the calculated exposure correction value to generate an exposure correction reference image, and the process proceeds to step S204. In step S204, the decoding target image is subjected to inter-image decoding using the exposure correction reference image to generate a decoded image, and the process proceeds to step S205. In step S205, it is determined whether a decoded image has been generated for all of the encoded data. When a decoded image is generated from all the encoded data, an affirmative determination is made in step S205, and the process ends. If there is unprocessed encoded data, the determination in step S205 is negative, and the process returns to step S202.

上述した第１の実施の形態によれば、次の作用効果が得られる。
（１）符号化装置１は、連続撮影により露出値が異なる複数の符号化対象画像のうちの特定画像に対して画像内符号化を行う直交変換部１０３および量子化部１０４と、符号化対象画像と参照画像との間で画像間符号化を行う減算部１０２、直交変換部１０３および量子化部１０４と、参照画像の露出値を補正して符号化対象画像の露出値と一致させる露出補正部１１１とを備える。露出補正部１１１は、画像間符号化に先だって、参照画像の露出値を補正する。そして、画像間符号化は、特定画像とは異なる符号化対象画像に対して、特定画像を参照画像として用いて、または画像間符号化された画像の局部復号画像を参照画像として用いて行われる。したがって、露出値が異なる複数の画像間で生じる明るさの不一致を解消して符号化を行うので、符号化により生じるデータ量を減少させ効率よく画像間符号化を行うことができる。 According to the first embodiment described above, the following effects can be obtained.
(1) The encoding device 1 performs the intra-image encoding on a specific image among a plurality of encoding target images having different exposure values due to continuous shooting, an encoding target, and an encoding target A subtraction unit 102 that performs inter-image coding between an image and a reference image, an orthogonal transformation unit 103, and a quantization unit 104, and an exposure correction that corrects the exposure value of the reference image to match the exposure value of the image to be encoded And a unit 111. The exposure correction unit 111 corrects the exposure value of the reference image prior to inter-image coding. Then, inter-image encoding is performed on an image to be encoded different from the specific image, using the specific image as a reference image, or using a locally decoded image of the inter-image coded image as a reference image. . Therefore, since the encoding is performed while eliminating the inconsistencies in brightness occurring among a plurality of images having different exposure values, the amount of data resulting from the encoding can be reduced and the inter-image encoding can be performed efficiently.

（２）可変長符号化部１０５は、参照画像の露出補正値に関する情報を符号化する。したがって、復号装置２が復号を行う際に、参照画像の露出補正値に関する情報を参照することによって、露出値が正しく復号された復号画像を生成することができる。 (2) The variable-length coding unit 105 codes information on the exposure correction value of the reference image. Therefore, when the decoding apparatus 2 performs decoding, a decoded image in which the exposure value is correctly decoded can be generated by referring to the information on the exposure correction value of the reference image.

（３）復号装置２は、連続撮影により露出値が異なる複数の画像のそれぞれに対応する複数の符号化データのうち、特定画像が符号化された符号化データに対して画像内復号を行う逆量子化部２０２および逆直交変換部２０３と、符号化データと参照画像との間で画像間復号を行う逆量子化部２０２、逆直交変換部２０３および加算部２０４と、参照画像の露出値を補正して符号化データの露出値と一致させる露出補正部２０７とを備える。露出補正部２０７は、画像間復号に先だって、参照画像の露出値を補正する。そして、画像間復号は、特定画像が符号化された符号化データとは異なる符号化データに対して、特定画像が復号された特定復号画像を参照画像として用いて、または画像間復号により復号された画像を参照画像として用いて行われる。したがって、露出値が補正されて符号化された符号化データを参照画像とする場合であっても、復号画像の露出値を正しく再現することができる。 (3) The decoding device 2 performs in-image decoding on encoded data obtained by encoding a specific image out of a plurality of encoded data corresponding to each of a plurality of images having different exposure values due to continuous imaging The quantization unit 202 and the inverse orthogonal transformation unit 203, the inverse quantization unit 202 that performs inter-picture decoding between the encoded data and the reference image, the inverse orthogonal transformation unit 203 and the addition unit 204, the exposure value of the reference image And an exposure correction unit (207) for correcting and matching the exposure value of the encoded data. The exposure correction unit 207 corrects the exposure value of the reference image prior to the inter-image decoding. Then, in the inter-picture decoding, the encoded data different from the encoded data in which the specific image is encoded is decoded using the specific decoded image obtained by decoding the specific image as a reference image, or The image is used as a reference image. Therefore, even in the case where encoded data in which the exposure value is corrected and encoded is used as a reference image, the exposure value of the decoded image can be correctly reproduced.

上述した実施の形態においては、露出補正部１１１は、ガンマ補正適用ＲＧＢ形式の参照画像を符号化する場合を一例として説明したが、他の形式の参照画像を符号化する場合についても本発明の一態様に含まれる。
図７は、ガンマ補正適用ＹＵＶ形式の参照画像を補正する場合における露出補正部１１１の機能を示すブロック図である。露出補正部１１１は、ＹＵＶ／ＲＧＢ変換部１１１４と、ＲＧＢ露出補正部１１１５と、ＲＧＢ／ＹＵＶ変換部１１１６とを機能として備える。ＹＵＶ／ＲＧＢ変換部１１１４は、第２蓄積部１０９から入力した参照画像のＹＵＶ成分をＲＧＢ成分に変換して、ＲＧＢ形式の参照画像を生成する。 In the above-described embodiment, the exposure correction unit 111 has been described by way of example in which the reference image in the gamma correction application RGB format is encoded. However, the present invention is not limited to the case in which reference images in other formats are encoded. Included in one aspect.
FIG. 7 is a block diagram showing the function of the exposure correction unit 111 in the case of correcting a reference image in the gamma correction applied YUV format. The exposure correction unit 111 has a YUV / RGB conversion unit 1114, an RGB exposure correction unit 1115, and an RGB / YUV conversion unit 1116 as functions. The YUV / RGB conversion unit 1114 converts the YUV component of the reference image input from the second storage unit 109 into an RGB component to generate a reference image in RGB format.

ＲＧＢ露出補正部１１１５は、図２に示す露出補正部１１１が有する機能である、ＲＧＢガンマ補正逆変換部１１１１とＲＧＢレベル補正部１１１２とＲＧＢガンマ補正変換部１１１３とを有する。ＲＧＢ露出補正部１１１５は、ＹＵＶ／ＲＧＢ変換部１１１４から入力したＲＧＢ形式の参照画像に対して、図２を用いて説明した処理と同様の処理を行うことにより、ＲＧＢ形式の露出補正参照画像を生成する。ＲＧＢ／ＹＵＶ変換部１１１６は、ＲＧＢ露出補正部１１１５により生成されたＲＧＢ形式の露出補正参照画像のＲＧＢ成分をＹＵＶ成分に変換して、ＹＵＶ形式の参照画像を生成する。この結果、符号化対象画像がガンマ補正適用ＹＵＶ形式の場合であっても、符号化対象画像および参照画像の露出値に応じて、画像間符号化に適した露出補正参照画像を生成することが可能となる。   The RGB exposure correction unit 1115 has an RGB gamma correction inverse conversion unit 1111, an RGB level correction unit 1112 and an RGB gamma correction conversion unit 1113, which are functions of the exposure correction unit 111 shown in FIG. The RGB exposure correction unit 1115 performs processing similar to that described with reference to FIG. 2 on the reference image in RGB format input from the YUV / RGB conversion unit 1114 to obtain an exposure correction reference image in RGB format. Generate The RGB / YUV conversion unit 1116 converts the RGB component of the exposure correction reference image of RGB format generated by the RGB exposure correction unit 1115 into a YUV component to generate a reference image of YUV format. As a result, even when the encoding target image is in the gamma correction applied YUV format, an exposure correction reference image suitable for inter-image encoding can be generated according to the exposure values of the encoding target image and the reference image. It becomes possible.

さらに、露出補正部１１１がガンマ補正適用ＹＵＶ形式の参照画像の輝度成分のみに補正を行う場合についても本発明の一態様に含まれる。
図８は、ガンマ補正適用ＹＵＶ形式の参照画像の輝度成分のみを補正する場合における露出補正部１１１の機能を示すブロック図である。露出補正部１１１は、輝度ガンマ補正逆変換部１１１７と、輝度レベル補正部１１１８と、輝度ガンマ補正変換部１１１９とを機能として備える。輝度ガンマ補正逆変換部１１１７は、第２蓄積部１０９に格納された参照画像の輝度成分についてガンマ補正逆変換して、輝度成分のみがリニアに変換された参照画像を生成する。この場合、輝度ガンマ補正逆変換部１１１７は、たとえばγ＝２．２に対応するガンマ補正カーブが適用されている参照画像に対しては、輝度成分のサンプル値（画素値）をγ＝１／２．２に対応するガンマ補正カーブを適用することで輝度成分のみがリニアに変換された参照画像を生成する。 Furthermore, the case where the exposure correction unit 111 corrects only the luminance component of the reference image of the gamma correction applied YUV format is also included in an aspect of the present invention.
FIG. 8 is a block diagram showing the function of the exposure correction unit 111 in the case of correcting only the luminance component of the reference image of the gamma correction applied YUV format. The exposure correction unit 111 has a luminance gamma correction inverse conversion unit 1117, a luminance level correction unit 1118, and a luminance gamma correction conversion unit 1119 as functions. The luminance gamma correction inverse conversion unit 1117 performs gamma correction inverse conversion on the luminance component of the reference image stored in the second storage unit 109, and generates a reference image in which only the luminance component is linearly converted. In this case, for the reference image to which the gamma correction curve corresponding to, for example, γ = 2.2 is applied, the luminance gamma correction inverse conversion unit 1117 converts the sample value (pixel value) of the luminance component to γ = 1/1. By applying a gamma correction curve corresponding to 2.2, a reference image in which only the luminance component is linearly converted is generated.

輝度レベル補正部１１１８は、輝度ガンマ補正逆変換部１１１７により生成された輝度成分のみがリニアな参照画像に対して、上述した補正値算出部１１０にて算出された露出補正値に基づいて輝度成分のみ補正し、輝度成分のみが補正された露出補正リニア参照画像を生成する。この場合、輝度ベル補正部１１１８は、たとえば露出補正値がｎＥＶであれば、輝度成分のみがリニアな参照画像の輝度成分のサンプル値（画素値）を２-ｎ倍することにより、輝度成分のみが補正された露出補正リニア参照画像を生成する。輝度ガンマ補正変換部１１１９は、輝度レベル補正部１１１８により生成された輝度成分のみが補正された露出補正リニア参照画像に対してガンマ補正変換を施して、露出補正参照画像を生成する。この場合、輝度ガンマ補正変換部１１１９は、たとえばγ＝２．２のガンマカーブが適用されている参照画像に対しては、輝度成分のみが補正された露出補正リニア参照画像の輝度成分のサンプル値（画素値）をγ＝２．２に対応するガンマ補正カーブを適用することで露出補正参照画像を生成する。この結果、符号化対象画像がガンマ補正適用ＹＵＶ形式の場合であっても、符号化対象画像および参照画像の露出値に応じて、画像間符号化に適した露出補正参照画像を生成することが可能となるとともに、図７に示す構成と比べて、ＲＧＢ形式とＹＵＶ形式との間で変換を行う際の演算を削減して、処理負荷を低減させることができる。 The luminance level correction unit 1118 is a luminance component based on the exposure correction value calculated by the correction value calculation unit 110 described above for a reference image in which only the luminance component generated by the luminance gamma correction inverse conversion unit 1117 is linear. Only the luminance component is corrected to generate an exposure-corrected linear reference image. In this case, the luminance level correction unit 1118, for example, if the exposure correction value is NEV, by multiplying 2 -n sample values (pixel values) of the luminance component of only the luminance component is linear reference image, only the luminance component To generate an exposure-compensated linear reference image. The luminance gamma correction conversion unit 1119 performs gamma correction conversion on the exposure correction linear reference image in which only the luminance component generated by the luminance level correction unit 1118 is corrected to generate an exposure correction reference image. In this case, for the reference image to which a gamma curve of, for example, γ = 2.2 is applied, the luminance gamma correction conversion unit 1119 samples values of luminance components of the exposure-corrected linear reference image in which only the luminance component is corrected. An exposure correction reference image is generated by applying a gamma correction curve corresponding to (pixel value) γ = 2.2. As a result, even when the encoding target image is in the gamma correction applied YUV format, an exposure correction reference image suitable for inter-image encoding can be generated according to the exposure values of the encoding target image and the reference image. As compared with the configuration shown in FIG. 7, the processing load can be reduced by reducing the calculation when converting between the RGB format and the YUV format.

−第２の実施の形態−
本発明の第２の実施の形態による符号化装置について説明する。以下の説明では、第１の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第１の実施の形態と同じである。本実施の形態では、符号化の際の参照画像を直前に符号化された画像を常に用いるものではない点が第１の実施の形態とは異なる。 -Second embodiment-
A coding apparatus according to a second embodiment of the present invention will be described. In the following description, the same components as in the first embodiment will be assigned the same reference numerals and differences will be mainly described. The points that are not particularly described are the same as in the first embodiment. The present embodiment is different from the first embodiment in that the image encoded immediately before the reference image in encoding is not always used.

図９および図１０を参照しながら符号化装置１により生成される符号化データについて説明する。図９（ａ）は、図３（ａ）と同様に、自動露出により露出値ＥＶｒｅｆを基準として、±２ＥＶの範囲で１ＥＶずつ露出値を変化させながら、撮影間隔ａ秒にて連続撮影された画像Ｆ１〜Ｆ５を模式的に示した例である。図９（ｂ）は画像Ｆ１〜Ｆ５を符号化することにより生成される符号化データを模式的に示した例である。符号化データＩ３は、画像Ｆ３を特定画像として画像内符号化することにより生成される。符号化データＰ２、Ｐ４は、画像Ｆ３を参照画像としてそれぞれ画像間符号化される。符号化データＰ１、Ｐ５は、画像Ｆ２、Ｆ４との間でそれぞれ画像間符号化することにより生成される。   The encoded data generated by the encoding device 1 will be described with reference to FIGS. 9 and 10. In FIG. 9 (a), as in FIG. 3 (a), continuous exposure was performed at an imaging interval of a second while changing the exposure value by 1 EV in the range of ± 2 EV based on the exposure value EVref by automatic exposure. It is the example which showed the images F1-F5 typically. FIG. 9B is an example schematically showing encoded data generated by encoding the images F1 to F5. The encoded data I3 is generated by intra-image encoding the image F3 as a specific image. The encoded data P2 and P4 are inter-image encoded using the image F3 as a reference image. The encoded data P1 and P5 are generated by inter-image encoding between the images F2 and F4, respectively.

図１０は、本実施の形態による符号化装置１の要部構成と、符号化の際に生成される各種の画像との関係を模式的に示す図である。なお、本実施の形態による符号化装置１の要部構成は、第１の実施の形態による符号化装置１の要部構成と同一である。また、図１０においても、符号化装置１の各構成にて後述するようにして生成されるデータを合わせて模式的に示す。   FIG. 10 is a diagram schematically showing the relationship between the main configuration of the coding apparatus 1 according to the present embodiment and various images generated at the time of coding. The main part configuration of the encoding device 1 according to the present embodiment is the same as the main portion configuration of the encoding device 1 according to the first embodiment. Also in FIG. 10, data generated as described later in each configuration of the encoding device 1 are schematically shown together.

本実施の形態においては、特定画像である画像Ｆ３の画像内符号化が他の画像Ｆ１、Ｆ２、Ｆ４、Ｆ５の画像間符号化に先行して行われる。この場合、第１蓄積部１０１に格納された画像Ｆ１〜Ｆ５の中から、減算部１０２は画像Ｆ３をそのまま出力し（図１０のａ）、直交変換部１０３、量子化部１０４および可変長符号化部１０５により画像内符号化されて符号化データＩ３が出力される（図１０のｂ）。また、直交変換部１０３、量子化部１０４、逆量子化部１０６および逆直交変換部１０７による処理が施された特定画像は、復号特定画像Ｆ３ａとして加算部１０８による処理を施されることなく、第２蓄積部１０９に格納される（図１０のｃ）。   In the present embodiment, intra-image encoding of an image F3 which is a specific image is performed prior to inter-image encoding of other images F1, F2, F4, and F5. In this case, the subtraction unit 102 outputs the image F3 as it is from the images F1 to F5 stored in the first accumulation unit 101 (a in FIG. 10), and the orthogonal transformation unit 103, the quantization unit 104, and the variable length code The intra-image encoding is performed by the encoding unit 105 and the encoded data I3 is output (b of FIG. 10). Further, the specific image subjected to the processing by the orthogonal transformation unit 103, the quantization unit 104, the inverse quantization unit 106, and the inverse orthogonal transformation unit 107 is not subjected to the processing by the addition unit 108 as the decoded specific image F3a. It is stored in the second storage unit 109 (c in FIG. 10).

図９（ｂ）に示すように、画像Ｆ２は、画像Ｆ３を参照画像として画像間符号化が行われる。この場合、画像Ｆ２は、画像Ｆ２の露出値と一致するように露出値が補正された画像Ｆ３との間で、画像間符号化が行われる。画像Ｆ２に対して画像間符号化を行う際には、第１蓄積部１０１内の画像Ｆ２が符号化対象画像、第２蓄積部１０９内の復号特定画像Ｆ３ａが参照画像となる。まず、補正値算出部１１０は、復号特定画像Ｆ３ａ、すなわち画像Ｆ３の露出値ＥＶ３（＝ＥＶｒｅｆ）と、画像Ｆ２の露出値ＥＶ２（＝ＥＶｒｅｆ−１）とを用いて、露出補正値ΔＥＶＦ３（＝ＥＶ２−ＥＶ３＝−１）を算出する。露出補正部１１１は、復号特定画像Ｆ３ａの露出値を、補正値算出部１１０により算出された露出補正値ΔＥＶＦ３を用いて補正して露出補正参照画像Ｆ３ｂを生成する（図１０のｄ）。画像間予測部１１３は、予測制御情報生成部１１２により生成された予測情報を用いて、露出補正参照画像Ｆ３ｂ上の動きを符号化対象画像である画像Ｆ２に適合させた予測画像Ｆ３ｃを生成する（図１０のｅ）。 As shown in FIG. 9B, the image F2 is inter-image encoded using the image F3 as a reference image. In this case, in the image F2, inter-image coding is performed between the image F3 and the image F3 whose exposure value has been corrected so as to match the exposure value of the image F2. When performing inter-image encoding on the image F2, the image F2 in the first storage unit 101 is the image to be encoded, and the decoded specific image F3a in the second storage unit 109 is the reference image. First, the correction value calculation unit 110 uses the decoded specific image F3a, that is, the exposure value EV3 (= EVref) of the image F3 and the exposure value EV2 (= EVref-1) of the image F2 to obtain the exposure correction value ΔEV F3 ( = EV2-EV3 = -1) is calculated. The exposure correction unit 111 corrects the exposure value of the decoded specific image F3a using the exposure correction value ΔEV F3 calculated by the correction value calculation unit 110 to generate an exposure correction reference image F3b (d in FIG. 10). The inter-image prediction unit 113 uses the prediction information generated by the prediction control information generation unit 112 to generate a predicted image F3c in which the motion on the exposure correction reference image F3b is adapted to the image F2 that is the image to be encoded. (E in FIG. 10).

減算部１０２は、符号化対象画像（すなわち画像Ｆ２）から画像間予測部１１３により生成された予測画像Ｆ３ｃを減算して、予測誤差画像Ｆ２ａを生成する（図１０のｆ）。予測誤差画像Ｆ２ａは、直交変換部１０３、量子化部１０４および可変長符号化部１０５により符号化されて符号化データＰ２として出力される（図１０のｇ）。また、予測誤差画像Ｆ２ａは、直交変換部１０３、量子化部１０４、逆量子化部１０６および逆直交変換部１０７による処理が施され、復号予測誤差画像Ｆ２ｂとして加算部１０８に出力される（図１０のｈ）。加算部１０８は、復号予測誤差画像Ｆ２ｂと、予測画像Ｆ３ｃとを加算して復号予測画像Ｆ２ｃを生成し、第２蓄積部１０９に格納する（図１０のｉ）。この場合、第２蓄積部１０９に既に格納されている復号特定画像Ｆ３ａは、そのまま格納され続ける。なお、復号特定画像Ｆ３ａを第２蓄積部１０９から削除する場合についても本発明の一態様に含まれる。   The subtraction unit 102 subtracts the predicted image F3c generated by the inter-image prediction unit 113 from the image to be encoded (that is, the image F2) to generate a prediction error image F2a (f in FIG. 10). The prediction error image F2a is encoded by the orthogonal transformation unit 103, the quantization unit 104, and the variable length encoding unit 105, and is output as the encoded data P2 (g in FIG. 10). Further, the prediction error image F2a is processed by the orthogonal transformation unit 103, the quantization unit 104, the inverse quantization unit 106, and the inverse orthogonal transformation unit 107, and is output to the addition unit 108 as a decoded prediction error image F2b (see FIG. 10 h). The addition unit 108 adds the decoded prediction error image F2b and the prediction image F3c to generate a decoded prediction image F2c, and stores the decoded prediction image F2c in the second storage unit 109 (i in FIG. 10). In this case, the decoded specific image F3a already stored in the second storage unit 109 continues to be stored as it is. The case of deleting the decoded specific image F3a from the second storage unit 109 is also included in an aspect of the present invention.

図９（ｂ）に示すように、画像Ｆ１は画像Ｆ２との間で画像間符号化が行われる。この場合、画像Ｆ１は、画像Ｆ１の露出値と一致するように露出値が補正された画像Ｆ２との間で画像間符号化が行われる。画像Ｆ１に対して画像間符号化を行う際には、第１蓄積部１０１内の画像Ｆ１が符号化対象画像、第２蓄積部１０９内の復号予測画像Ｆ２ｃが参照画像となる。補正値算出部１１０は、復号予測誤差画像Ｆ２ｃ、すなわち画像Ｆ２の露出値ＥＶ２（＝ＥＶｒｅｆ−１）と、画像Ｆ１の露出値ＥＶ１（＝ＥＶｒｅｆ−２）とを用いて、露出補正値ΔＥＶＦ２（＝ＥＶ１−ＥＶ２＝−１）を算出する。露出補正部１１１は、復号予測画像Ｆ２ｃの露出値を、露出補正値ΔＥＶＦ１を用いて補正して露出補正参照画像Ｆ２ｄを生成する（図１０のｊ）。画像間予測部１１３は、予測制御情報生成部１１２により生成された予測情報を用いて、露出補正参照画像Ｆ２ｄ上の動きを画像Ｆ１に適合させた予測画像Ｆ２ｅを生成する（図１０のｋ）。減算部１０２は、符号化対象画像（すなわち画像Ｆ１）から予測画像Ｆ２ｅを減算して、予測誤差画像Ｆ１ａを生成する（図１０のｌ）。予測誤差画像Ｆ１ａは、直交変換部１０３、量子化部１０４および可変長符号化部１０５により符号化されて符号化データＰ１として出力される（図１０のｍ）。 As shown in FIG. 9B, the image F1 is inter-image encoded with the image F2. In this case, the image F1 is inter-image encoded with the image F2 whose exposure value has been corrected to match the exposure value of the image F1. When inter-image encoding is performed on the image F1, the image F1 in the first accumulation unit 101 is the image to be encoded, and the decoded predicted image F2c in the second accumulation unit 109 is the reference image. The correction value calculation unit 110 uses the decoded prediction error image F2c, that is, the exposure value EV2 (= EVref-1) of the image F2 and the exposure value EV1 (= EVref-2) of the image F1 to obtain an exposure correction value ΔEV F2 Calculate (= EV1−EV2 = −1). The exposure correction unit 111 corrects the exposure value of the decoded predicted image F2c using the exposure correction value ΔEV F1 to generate an exposure correction reference image F2d (j in FIG. 10). The inter-image prediction unit 113 uses the prediction information generated by the prediction control information generation unit 112 to generate a predicted image F2e in which the motion on the exposure correction reference image F2d is adapted to the image F1 (k in FIG. 10). . The subtraction unit 102 subtracts the prediction image F2e from the image to be encoded (that is, the image F1) to generate a prediction error image F1a (l in FIG. 10). The prediction error image F1a is encoded by the orthogonal transformation unit 103, the quantization unit 104, and the variable length encoding unit 105 and output as encoded data P1 (m in FIG. 10).

図９（ｂ）に示すように、画像Ｆ４は画像Ｆ３との間で画像間符号化が行われる。この場合、画像Ｆ４は、画像Ｆ４の露出値と一致する露出値となるように補正された画像Ｆ３との間で、画像間符号化が行われる。画像Ｆ４に対して画像間符号化を行う際には、第１蓄積部１０１内の画像Ｆ４が符号化対象画像、第２蓄積部１０９内の復号特定画像Ｆ３ａが参照画像となる。なお、復号予測誤差画像Ｆ２ｃが第２蓄積部１０９に格納される時点で復号特定画像Ｆ３ａが削除された場合には、画像Ｆ３に対して画像内符号化を行った場合と同様の処理を行って復号特定画像Ｆ３ａを再度生成して、第２蓄積部１０９に格納すればよい。   As shown in FIG. 9B, the image F4 is inter-image encoded with the image F3. In this case, inter-image coding is performed on the image F4 with the image F3 corrected to have an exposure value that matches the exposure value of the image F4. When performing inter-image encoding on the image F4, the image F4 in the first storage unit 101 is the image to be encoded, and the decoded specific image F3a in the second storage unit 109 is the reference image. If decoded specific image F3a is deleted at the time when decoded predicted error image F2c is stored in second storage unit 109, the same processing as in the case of performing intra-image coding on image F3 is performed. The decoded specific image F3a may be generated again and stored in the second storage unit 109.

画像Ｆ４に対しては、画像Ｆ２に対して画像間符号化を行った場合と同様にして、参照画像（すなわち画像Ｆ３）との間で画像間符号化を行う。この場合、補正値算出部１１０は、復号特定画像Ｆ３ａの露出値ＥＶ３（＝ＥＶｒｅｆ）と、画像Ｆ４の露出値ＥＶ４（＝ＥＶｒｅｆ＋１）とを用いて、復号特定画像Ｆ３ａの露出補正値ΔＥＶＦ３（＝ＥＶ４−ＥＶ３＝１）を算出する。以後、画像Ｆ２に対して画像Ｆ３を参照画像として画像間符号化を行った場合と同様の処理を行うことにより、符号化データＰ４を生成して出力するとともに、第２蓄積部１０９に格納する。 The image F4 is inter-image encoded with the reference image (that is, the image F3) in the same manner as in the case where the image F2 is inter-image encoded. In this case, the correction value calculation unit 110 uses the exposure value EV3 (= EVref) of the decoded specific image F3a and the exposure value EV4 (= EVref + 1) of the image F4 to obtain the exposure correction value ΔEV F3 of the decoded specific image F3a. = EV4-EV3 = 1) is calculated. Thereafter, the encoded data P4 is generated and output by performing the same processing as in the case of performing the inter-image encoding on the image F2 using the image F3 as a reference image, and stores the data in the second accumulation unit 109. .

画像Ｆ５に対しては、画像Ｆ１に対して画像間符号化を行った場合と同様にして、参照画像である画像Ｆ４との間で画像間符号化を行う。補正値算出部１１０は、画像Ｆ４の露出値ＥＶ４（＝ＥＶｒｅｆ＋１）と、画像Ｆ５の露出値ＥＶ５（＝ＥＶｒｅｆ＋２）とを用いて、露出補正値ΔＥＶＦ４（＝ＥＶ５−ＥＶ４＝１）を算出する。以後、画像Ｆ１に対して画像Ｆ２を参照画像として画像間符号化を行った場合と同様の処理を行うことにより、符号化データＰ５を生成して出力する。 The image F5 is inter-image encoded with the image F4, which is a reference image, as in the case of performing the inter-image encoding on the image F1. Correction value calculation unit 110 calculates exposure correction value ΔEV F4 (= EV5−EV4 = 1) using exposure value EV4 (= EVref + 1) of image F4 and exposure value EV5 (= EVref + 2) of image F5. . Thereafter, the same processing as in the case where inter-image encoding is performed on the image F1 using the image F2 as a reference image is performed to generate and output encoded data P5.

上述した第２の実施の形態による符号化装置によれば、第１の実施の形態により得られた作用効果と同様の作用効果が得られる。
なお、第２の実施の形態による符号化装置１により生成された符号化データを復号する場合であっても、復号装置２は第１の実施の形態の場合と同様の処理を行うことにより復号画像を生成することができる。 According to the coding apparatus according to the second embodiment described above, the same effects as the effects obtained by the first embodiment can be obtained.
Even in the case of decoding the encoded data generated by the encoding device 1 according to the second embodiment, the decoding device 2 performs the same processing as in the case of the first embodiment. Images can be generated.

−第３の実施の形態−
本発明の第３の実施の形態による符号化装置について説明する。以下の説明では、第１の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第１の実施の形態と同じである。本実施の形態では、特定画像のみを符号化の際の参照画像として用いる点が第１の実施の形態とは異なる。 -Third embodiment-
A coding apparatus according to a third embodiment of the present invention will be described. In the following description, the same components as in the first embodiment will be assigned the same reference numerals and differences will be mainly described. The points that are not particularly described are the same as in the first embodiment. The present embodiment differs from the first embodiment in that only a specific image is used as a reference image for encoding.

図１１および図１２を参照しながら符号化装置１により生成される符号化データについて説明する。図１１（ａ）は、図３（ａ）と同様に、自動露出により露出値ＥＶｒｅｆを基準として、±２ＥＶの範囲で１ＥＶずつ露出値を変化させながら、撮影間隔ａ秒にて連続撮影された画像Ｆ１〜Ｆ５を模式的に示した例である。図１１（ｂ）は画像Ｆ１〜Ｆ５を符号化することにより生成される符号化データを模式的に示した例である。符号化データＩ３は、特定画像である画像Ｆ３を画像内符号化することにより生成される。符号化データＰ１、Ｐ２、Ｐ４、Ｐ５は、画像Ｆ３を参照画像として画像Ｆ１、Ｆ２、Ｆ４、Ｆ５をそれぞれ画像間符号化することにより生成される。   The encoded data generated by the encoding device 1 will be described with reference to FIGS. 11 and 12. In FIG. 11 (a), as in FIG. 3 (a), continuous exposure was performed at an imaging interval of a second while changing the exposure value by 1 EV in the range of ± 2 EV based on the exposure value EVref by automatic exposure. It is the example which showed the images F1-F5 typically. FIG. 11 (b) is an example schematically showing encoded data generated by encoding the images F1 to F5. The encoded data I3 is generated by intra-image encoding of the image F3, which is a specific image. The encoded data P1, P2, P4, and P5 are generated by inter-image encoding the images F1, F2, F4, and F5 using the image F3 as a reference image.

図１２は、本実施の形態による符号化装置１の要部構成と、符号化の際に生成される各種の画像との関係を模式的に示す図である。なお、本実施の形態による符号化装置１の要部構成は、第１の実施の形態による符号化装置１の要部構成と同一である。なお、図示の都合上、制御部１００から各部への信号出力を省略して示す。また、図１２においては、符号化装置１の各構成にて後述するようにして生成されるデータを合わせて模式的に示す。   FIG. 12 is a diagram schematically showing the relationship between the main configuration of the coding apparatus 1 according to the present embodiment and various images generated at the time of coding. The main part configuration of the encoding device 1 according to the present embodiment is the same as the main portion configuration of the encoding device 1 according to the first embodiment. Note that signal output from the control unit 100 to each unit is omitted for convenience of illustration. Further, in FIG. 12, data generated as described later in each configuration of the encoding device 1 is schematically shown together.

本実施の形態においては、画像Ｆ３の画像内符号化が他の画像Ｆ１、Ｆ２、Ｆ４、Ｆ５の画像間符号化に先行して行われる。第１蓄積部１０１に格納された画像Ｆ１〜Ｆ５の中から、減算部１０２は特定画像である画像Ｆ３をそのまま出力し（図１２のａ）、直交変換部１０３、量子化部１０４および可変長符号化部１０５により画像内符号化されて符号化データＩ３として出力される（図１２のｂ）。また、画像Ｆ３は、直交変換部１０３、量子化部１０４、逆量子化部１０６および逆直交変換部１０７による処理が施されて復号特定画像Ｆ３ａが生成され、加算部１０８による処理を施されることなく、第２蓄積部１０９に格納される（図１２のｃ）。   In the present embodiment, intra-image encoding of the image F3 is performed prior to inter-image encoding of the other images F1, F2, F4, and F5. Among the images F1 to F5 stored in the first storage unit 101, the subtraction unit 102 outputs the image F3 which is a specific image as it is (a in FIG. 12), the orthogonal transformation unit 103, the quantization unit 104, and the variable length The data is encoded in the image by the encoding unit 105 and output as encoded data I3 (b in FIG. 12). Further, the image F3 is processed by the orthogonal transformation unit 103, the quantization unit 104, the dequantization unit 106, and the inverse orthogonal transformation unit 107 to generate a decoded specific image F3a, and the processing by the addition unit 108 is performed. Instead, they are stored in the second storage unit 109 (c in FIG. 12).

図１１（ｂ）に示すように、画像Ｆ１は画像Ｆ３との間で画像間符号化が行われる。画像Ｆ１は、画像Ｆ１の露出値と一致するように露出値が補正された画像Ｆ３との間で画像間符号化が行われる。この場合、第１蓄積部１０１に格納されている画像Ｆ１が符号化対象画像、第２蓄積部１０９に格納されている復号特定画像Ｆ３ａが参照画像となる。まず、補正値算出部１１０は、復号特定画像Ｆ３ａの露出値ＥＶ３（＝ＥＶｒｅｆ）と、画像Ｆ１の露出値ＥＶ１（＝ＥＶｒｅｆ−２）とを用いて、復号特定画像Ｆ３ａの露出補正値ΔＥＶＦ３（＝ＥＶ１−ＥＶ３＝−２）を算出する。露出補正部１１１は、第２蓄積部１０９内の復号特定画像Ｆ３ａの露出値を露出補正値ΔＥＶＦ３を用いて補正して、露出補正参照画像Ｆ３ｂを生成する（図１２のｄ）。画像間予測部１１３は、予測情報を用いて、露出補正参照画像Ｆ３ｂ上の動きを画像Ｆ１に適合させた予測画像Ｆ３ｃを生成する（図１２のｅ）。減算部１０２は、符号化対象画像（すなわち画像Ｆ１）から予測画像Ｆ３ｃを減算して予測誤差画像Ｆ１ａを生成する（図１２のｆ）。予測誤差画像Ｆ１ａは直交変換部１０３、量子化部１０４および可変長符号化部１０５により符号化されて符号化データＰ１として出力される（図１２のｇ）。 As shown in FIG. 11B, the image F1 is inter-image encoded with the image F3. The image F1 is inter-image encoded with the image F3 whose exposure value has been corrected to match the exposure value of the image F1. In this case, the image F1 stored in the first storage unit 101 is the image to be encoded, and the decoded specific image F3a stored in the second storage unit 109 is the reference image. First, the correction value calculation unit 110 uses the exposure value EV3 (= EVref) of the decoded specific image F3a and the exposure value EV1 (= EVref-2) of the image F1 to obtain the exposure correction value ΔEV F3 of the decoded specific image F3a. Calculate (= EV1−EV3 = −2). The exposure correction unit 111 corrects the exposure value of the decoded specific image F3a in the second storage unit 109 using the exposure correction value ΔEV F3 to generate an exposure correction reference image F3b (d in FIG. 12). The inter-image prediction unit 113 generates a predicted image F3c in which the movement on the exposure correction reference image F3b is adapted to the image F1 using the prediction information (e in FIG. 12). The subtraction unit 102 subtracts the prediction image F3c from the image to be encoded (that is, the image F1) to generate a prediction error image F1a (f in FIG. 12). The prediction error image F1a is encoded by the orthogonal transformation unit 103, the quantization unit 104, and the variable length encoding unit 105 and output as encoded data P1 (g in FIG. 12).

図１１（ｂ）に示すように、画像Ｆ２は画像Ｆ３との間で画像間符号化が行われる。画像Ｆ２は、画像Ｆ２の露出値と一致するように露出値が補正された画像Ｆ３との間で、画像間符号化が行われる。この場合、第１蓄積部１０１内の画像Ｆ２が符号化対象画像、第２蓄積部１０９内の復号特定画像Ｆ３ａ（図１２のｃ）が参照画像となる。補正値算出部１１０は、復号特定画像Ｆ３ａの露出値ＥＶ３（＝ＥＶｒｅｆ）と、画像Ｆ２の露出値ＥＶ２（＝ＥＶｒｅｆ−１）とを用いて、露出補正値ΔＥＶＦ３（＝ＥＶ２−ＥＶ３＝−１）を算出する。露出補正部１１１は、第２蓄積部１０９内の復号特定画Ｆ３ａの露出値を露出補正値ΔＥＶＦ３を用いて補正して、露出補正参照画像Ｆ３ｄを生成する（図１２のｈ）。画像間予測部１１３は、予測制御情報生成部１１２により生成された予測情報を用いて、露出補正参照画像Ｆ３ｄ上の動きを符号化対象画像である画像Ｆ２に適合させた予測画像Ｆ３ｅを生成する（図１２のｉ）。減算部１０２は、符号化対象画像（すなわち画像Ｆ２）から予測画像Ｆ３ｅを減算して、予測誤差画像Ｆ２ａを生成する（図１２のｊ）。予測誤差画像Ｆ２ａは、直交変換部１０３、量子化部１０４および可変長符号化部１０５により符号化されて符号化データＰ２として出力される（図１２のｋ）。 As shown in FIG. 11B, the image F2 is inter-image encoded with the image F3. The image F2 is inter-image encoded with the image F3 whose exposure value has been corrected to match the exposure value of the image F2. In this case, the image F2 in the first storage unit 101 is the image to be encoded, and the decoded specific image F3a (c in FIG. 12) in the second storage unit 109 is the reference image. The correction value calculation unit 110 uses the exposure value EV3 (= EVref) of the decoded specific image F3a and the exposure value EV2 (= EVref-1) of the image F2 to obtain an exposure correction value ΔEV F3 (= EV2-EV3 = −). 1) Calculate. The exposure correction unit 111 corrects the exposure value of the decoded specific image F3a in the second storage unit 109 using the exposure correction value ΔEV F3 to generate an exposure correction reference image F3d (h in FIG. 12). The inter-image prediction unit 113 uses the prediction information generated by the prediction control information generation unit 112 to generate a predicted image F3e in which the motion on the exposure correction reference image F3d is adapted to the image F2 that is the image to be encoded. (I in FIG. 12). The subtraction unit 102 subtracts the prediction image F3e from the image to be encoded (that is, the image F2) to generate a prediction error image F2a (j in FIG. 12). The prediction error image F2a is encoded by the orthogonal transformation unit 103, the quantization unit 104, and the variable length encoding unit 105, and is output as the encoded data P2 (k in FIG. 12).

以後、同様の処理を行うことにより、符号化データＰ４、Ｐ５を生成する。すなわち、図１１（ｂ）に示すように、画像Ｆ４は画像Ｆ３を参照画像として、画像Ｆ４の露出値と一致するように露出値が補正された画像Ｆ３との間で画像間符号化が行われる。画像Ｆ５は、画像Ｆ３を参照画像として、画像Ｆ５の露出値と一致するように露出値が補正された画像Ｆ３との間で画像間符号化が行われる。この結果、図１１（ｂ）に示すように、画像Ｆ２〜Ｆ５については、露出値が−２ＥＶ〜＋２ＥＶの間で順次補正された画像Ｆ３との間で画像間符号化が行われて、符号化データＰ２〜Ｐ５が出力される。   Thereafter, the same process is performed to generate the encoded data P4 and P5. That is, as shown in FIG. 11B, with the image F3 as a reference image, inter-image coding is performed between the image F3 and the image F3 whose exposure value has been corrected to match the exposure value of the image F4. It will be. The image F5 is inter-image coded between the image F3 and the image F3 whose exposure value has been corrected to match the exposure value of the image F5, using the image F3 as a reference image. As a result, as shown in FIG. 11B, for the images F2 to F5, inter-image coding is performed with the image F3 whose exposure value is sequentially corrected between -2EV and + 2EV, The conversion data P2 to P5 are output.

上述した第３の実施の形態による符号化装置によれば、第１の実施の形態により得られた作用効果と同様の作用効果が得られる。
なお、第３の実施の形態による符号化装置１により生成された符号化データを復号する場合であっても、復号装置２は第１の実施の形態の場合と同様の処理を行うことにより復号画像を生成することができる。 According to the coding apparatus of the third embodiment described above, the same effects as the effects obtained by the first embodiment can be obtained.
Even in the case of decoding the encoded data generated by the encoding device 1 according to the third embodiment, the decoding device 2 performs the same processing as in the first embodiment to perform decoding. Images can be generated.

−第４の実施の形態−
本発明の第４の実施の形態による符号化装置および復号装置について説明する。以下の説明では、第１の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第１の実施の形態と同じである。本実施の形態では、符号化装置は、符号化対象画像の露出値を補正した後、参照画像との間で画像間符号化を行う点が第１の実施の形態とは異なる。このため、符号化装置により生成された符号化データを復号する復号装置の構成についても第１の実施の形態と異なる。 -Fourth Embodiment-
A coding apparatus and a decoding apparatus according to a fourth embodiment of the present invention will be described. In the following description, the same components as in the first embodiment will be assigned the same reference numerals and differences will be mainly described. The points that are not particularly described are the same as in the first embodiment. The present embodiment is different from the first embodiment in that the encoding apparatus performs inter-image encoding with a reference image after correcting the exposure value of the image to be encoded. For this reason, the configuration of a decoding apparatus that decodes encoded data generated by the encoding apparatus is also different from that of the first embodiment.

−−符号化装置−−
図１３は、第４の実施の形態における符号化装置４の構成を示すブロック図である。符号化装置４は、第１の実施の形態による符号化装置１が備える構成に加えて、露出補正逆変換部１１５を備える。なお、図示の都合上、制御部１００から各部への信号出力を省略して示すとともに、符号化装置４の各構成にて後述するようにして生成されるデータを合わせて模式的に示す。 --Encoding device--
FIG. 13 is a block diagram showing the configuration of the coding apparatus 4 in the fourth embodiment. The encoding device 4 includes an exposure correction inverse conversion unit 115 in addition to the configuration of the encoding device 1 according to the first embodiment. Note that, for convenience of illustration, signal output from the control unit 100 to each unit is omitted and shown, and data generated as described later in each configuration of the encoding device 4 is schematically shown together.

露出補正部１１１は、補正値算出部１１０により算出された露出補正値を用いて符号化対象画像の露出を補正して、露出補正符号化対象画像を生成し、出力する。この場合、露出補正部１１１は、符号化対象画像の各画素値に露出補正値に応じた値を乗じることにより露出補正符号化対象画像を生成する。なお、特定画像に対して画像内符号化を行う場合には、露出補正部１１１は、露出値を補正することなくそのまま出力する。また、補正値算出部１１０は、第１の実施の形態と同様にして露出補正値を算出する。   The exposure correction unit 111 corrects the exposure of the image to be encoded using the exposure correction value calculated by the correction value calculation unit 110, and generates and outputs an exposure correction coding target image. In this case, the exposure correction unit 111 generates an exposure correction encoding target image by multiplying each pixel value of the encoding target image by a value corresponding to the exposure correction value. When intra-image encoding is performed on a specific image, the exposure correction unit 111 outputs the exposure value as it is without correcting it. Further, the correction value calculation unit 110 calculates the exposure correction value in the same manner as in the first embodiment.

減算部１０２は、露出補正部１１１により生成された露出補正符号化対象画像に対して画像間符号化を行う場合に、画像間予測部１１３から出力される予測画像を露出補正符号化対象画像から減算して予測誤差画像を生成する。なお、減算部１０２は、特定画像に対しては処理を施さず、そのまま出力する。加算部１０８は、第１の実施の形態の場合と同様にして、符号化対象画像に対して画像間符号化を行う場合には復号予測画像を生成し、画像内符号化を行う場合には復号特定画像をそのまま出力する。   When the subtraction unit 102 performs inter-image encoding on the exposure correction encoding target image generated by the exposure correction unit 111, the prediction image output from the inter-image prediction unit 113 is extracted from the exposure correction encoding target image. Subtract to generate a prediction error image. Note that the subtraction unit 102 does not perform processing on the specific image and outputs it as it is. The adding unit 108 generates a decoded predicted image when performing inter-image encoding on an image to be encoded, and performs intra-image encoding, as in the first embodiment. The decoded specific image is output as it is.

露出補正逆変換部１１５は、露出値算出部１１０により算出された露出補正値を用いて、加算部１０８から出力された復号予測画像の露出値を補正して、露出変換復号予測画像を生成する。すなわち、露出補正逆変換部１１５は、露出補正部１１１による補正が施された復号予測画像の露出値を、復号予測画像に対応する符号化対象画像が露出補正部１１１による補正を受ける前の露出値に戻す逆変換処理を行う。たとえば、露出補正部１１１により符号化対象画像の露出値が＋１ＥＶ補正された場合には、露出補正逆変換部１１５は、対応する復号予測画像の露出値を−１ＥＶ補正する。露出値に逆変換処理が施された復号予測画像は、参照画像として第２蓄積部１０９に一時的に格納される。予測制御情報生成部１１２は、参照画像を用いて、参照画像に対する露出補正符号化対象画像の差異を予測するための、たとえば動きベクトル等の予測情報を生成する。他の構成については、第１の実施の形態と同様の処理を行う。   The exposure correction inverse conversion unit 115 corrects the exposure value of the decoded predicted image output from the adding unit 108 using the exposure correction value calculated by the exposure value calculation unit 110 to generate an exposure conversion decoded predicted image. . That is, the exposure correction inverse conversion unit 115 performs the exposure before the encoding target image corresponding to the decoded predicted image is corrected by the exposure correction unit 111, for the exposure value of the decoded predicted image corrected by the exposure correction unit 111. Perform reverse conversion process to return to value. For example, when the exposure correction unit 111 corrects the exposure value of the image to be encoded by +1 EV, the exposure correction inverse conversion unit 115 corrects the exposure value of the corresponding decoded predicted image by −1 EV. The decoded predicted image in which the exposure value is inversely transformed is temporarily stored in the second accumulation unit 109 as a reference image. The prediction control information generation unit 112 generates, for example, prediction information such as a motion vector for predicting a difference between the exposure correction encoding target image with respect to the reference image using the reference image. About the other structure, the process similar to 1st Embodiment is performed.

図１３および図１７を参照しながら符号化装置４により生成される符号化データについて説明する。なお、本実施の形態においても、第１の実施の形態の場合と同様に、図１７（ａ）に示す符号化対象画像である画像Ｆ１〜Ｆ５のうち、画像Ｆ１を特定画像として画像内符号化を行い、画像Ｆ２〜Ｆ５に対して画像間符号化を行うことにより、図１７（ｂ）に示すように符号化データＩ１、Ｐ２〜Ｐ５が生成される場合を一例として説明する。   The encoded data generated by the encoding device 4 will be described with reference to FIGS. 13 and 17. Also in the present embodiment, as in the case of the first embodiment, of the images F1 to F5 which are encoding target images shown in FIG. The case where coded data I1 and P2 to P5 are generated as shown in FIG. 17B by performing inter-image coding on the images F2 to F5 will be described as an example.

第１蓄積部１０１内の複数の画像Ｆ１〜Ｆ５のうち、特定画像である画像Ｆ１が他の画像Ｆ２〜Ｆ５に先行して可変長符号化部１０５により画像内符号化される。この場合、上述したように、露出補正部１１１および減算部１０２は画像Ｆ１に処理を施すことなく、そのまま出力し（図１３のａ）、直交変換部１０３、量子化部１０４および可変長符号化部１０５により画像内符号化されて符号化データＩ１として出力される（図１３のｂ）。また、画像Ｆ１は、直交変換部１０３、量子化部１０４、逆量子化部１０６および逆直交変換部１０７による処理が施されて復号特定画像Ｆ１ａが生成され、加算部１０８および露出補正逆変換部１１５による処理を施されることなく、第２蓄積部１０９に格納される（図１３のｃ）。   Of the plurality of images F1 to F5 in the first accumulation unit 101, an image F1 which is a specific image is intra-image encoded by the variable-length coding unit 105 prior to other images F2 to F5. In this case, as described above, the exposure correction unit 111 and the subtraction unit 102 output the image F1 as it is without processing (a in FIG. 13), the orthogonal transformation unit 103, the quantization unit 104, and variable length coding Intra-image encoding is performed by the unit 105 and output as encoded data I1 (b in FIG. 13). Further, the image F1 is processed by the orthogonal transformation unit 103, the quantization unit 104, the inverse quantization unit 106, and the inverse orthogonal transformation unit 107 to generate the decoded specific image F1a, and the addition unit 108 and the exposure correction inverse transformation unit It is stored in the second storage unit 109 without being subjected to the processing of 115 (c in FIG. 13).

図１７（ｂ）に示す画像Ｆ２は画像Ｆ１との間で画像間符号化が行われる。画像Ｆ２は、画像Ｆ１の露出値と一致するように露出値が補正された後、画像間符号化が行われる。この場合、第１蓄積部１０１内の画像Ｆ２が符号化対象画像、第２蓄積部１０９内の復号特定画像Ｆ１ａが参照画像となる。補正値算出部１１０は、復号特定画像Ｆ１ａの露出値ＥＶ１（＝ＥＶｒｅｆ−２）と、画像Ｆ２の露出値ＥＶ２（＝ＥＶｒｅｆ−１）とを用いて、画像Ｆ２の露出補正値ΔＥＶＦ２（＝ＥＶ１−ＥＶ２＝−１）を算出する。露出補正部１１１は、画像Ｆ２の露出値を露出補正値ΔＥＶＦ２を用いて補正して、露出補正符号化対象画像Ｆ２ａを生成する（図１３のｄ）。画像間予測部１１３は、予測情報を用いて、画像Ｆ１ａ上の動きを露出補正符号化対象画像Ｆ２ａに適合させた予測画像Ｆ１ｂを生成する（図１３のｅ）。 The image F2 shown in FIG. 17B is subjected to inter-image coding with the image F1. The image F2 is inter-image encoded after the exposure value is corrected to match the exposure value of the image F1. In this case, the image F2 in the first storage unit 101 is the image to be encoded, and the decoded specific image F1a in the second storage unit 109 is the reference image. Correction value calculation unit 110 uses exposure value EV1 (= EVref-2) of decoded specific image F1a and exposure value EV2 (= EVref-1) of image F2 to obtain exposure correction value ΔEV F2 (== image of image F2). EV1-EV2 = -1) is calculated. The exposure correction unit 111 corrects the exposure value of the image F2 using the exposure correction value ΔEV F2 to generate an exposure correction encoding target image F2a (d in FIG. 13). The inter-image prediction unit 113 uses the prediction information to generate a predicted image F1b in which the motion on the image F1a is adapted to the exposure correction encoding target image F2a (e in FIG. 13).

減算部１０２は、露出補正符号化対象画像Ｆ２ａから予測画像Ｆ１ｂを減算して、予測誤差画像Ｆ２ｂを生成する（図１３のｆ）。予測誤差画像Ｆ２ｂは、直交変換部１０３、量子化部１０４および可変長符号化部１０５により符号化されて符号化データＰ２として出力される（図１３のｇ）。また、予測誤差画像Ｆ２ｂは、直交変換部１０３、量子化部１０４、逆量子化部１０６および逆直交変換部１０７による処理が施されて、復号予測誤差画像Ｆ２ｃとして加算部１０８に出力される（図１３のｈ）。加算部１０８は、復号予測誤差画像Ｆ２ｃと、画像間予測部１１３により生成された予測画像Ｆ１ｂとを加算して、復号予測画像Ｆ２ｄを生成する（図１３のｉ）。露出補正逆変換部１１５は、復号予測画像Ｆ２ｄの露出値に対して上述した逆変換処理を施して露出変換復号予測画像Ｆ２ｅを生成し、参照画像として第２蓄積部１０９に格納する（図１３のｊ）。   The subtraction unit 102 subtracts the prediction image F1b from the exposure correction encoding target image F2a to generate a prediction error image F2b (f in FIG. 13). The prediction error image F2b is encoded by the orthogonal transformation unit 103, the quantization unit 104, and the variable length encoding unit 105, and is output as the encoded data P2 (g in FIG. 13). Further, the prediction error image F2b is processed by the orthogonal transformation unit 103, the quantization unit 104, the inverse quantization unit 106, and the inverse orthogonal transformation unit 107, and is output to the addition unit 108 as a decoded prediction error image F2c (see FIG. H) in FIG. The addition unit 108 adds the decoded prediction error image F2c and the prediction image F1b generated by the inter-image prediction unit 113 to generate a decoded prediction image F2d (i in FIG. 13). The exposure correction inverse conversion unit 115 performs the above-described inverse conversion process on the exposure value of the decoded predicted image F2d to generate an exposure conversion decoded predicted image F2e, and stores it as a reference image in the second storage unit 109 (FIG. 13). J).

図１７（ｂ）に示すように、画像Ｆ３は画像Ｆ２との間で画像間符号化が行われる。画像Ｆ３は、画像Ｆ２の露出値と一致するように露出値が補正された後、画像間符号化が行われる。この場合、第１蓄積部１０１内の画像Ｆ３が符号化対象画像、第２蓄積部１０９内の露出変換復号予測誤差画像Ｆ２ｅが参照画像となる。補正値算出部１１０は、露出変換復号予測誤差画像Ｆ２ｅの露出値ＥＶ２（＝ＥＶｒｅｆ−１）と、画像Ｆ３の露出値ＥＶ３（＝ＥＶｒｅｆ）とを用いて、露出補正値ΔＥＶＦ３（＝ＥＶ２−ＥＶ３＝−１）を算出する。露出補正部１１１は、画像Ｆ３の露出値を露出補正値ΔＥＶＦ３を用いて補正して、露出補正符号化対象画像Ｆ３ａを生成する（図１３のｋ）。画像間予測部１１３は、予測情報を用いて、参照画像上の動きを露出補正符号化対象画像Ｆ３ａに適合させた予測画像Ｆ２ｆを生成する（図１３のｌ）。 As shown in FIG. 17B, the image F3 is inter-image encoded with the image F2. The image F3 is inter-image encoded after the exposure value is corrected to match the exposure value of the image F2. In this case, the image F3 in the first storage unit 101 is the image to be encoded, and the exposure conversion decoding prediction error image F2e in the second storage unit 109 is the reference image. The correction value calculation unit 110 uses the exposure value EV2 (= EVref-1) of the exposure conversion decoded prediction error image F2e and the exposure value EV3 (= EVref) of the image F3 to obtain an exposure correction value ΔEV F3 (= EV2−). Calculate EV3 = -1). The exposure correction unit 111 corrects the exposure value of the image F3 using the exposure correction value ΔEV F3 to generate an exposure correction encoding target image F3a (k in FIG. 13). The inter-image prediction unit 113 uses the prediction information to generate a predicted image F2f in which the motion on the reference image is adapted to the exposure correction encoding target image F3a (l in FIG. 13).

減算部１０２は、露出補正符号化対象画像Ｆ３ａから予測画像Ｆ２ｆを減算して、予測誤差画像Ｆ３ｂを生成する（図１３のｍ）。予測誤差画像Ｆ３ｂは、直交変換部１０３、量子化部１０４および可変長符号化部１０５により符号化されて符号化データＰ３として出力される（図１３のｎ）。また、予測誤差画像Ｆ３ｂには直交変換部１０３、量子化部１０４、逆量子化部１０６および逆直交変換部１０７による処理が施されて復号予測誤差画像Ｆ３ｃが生成され、加算部１０８に出力される（図１３のｏ）。加算部１０８は、復号予測誤差画像Ｆ３ｃと予測画像Ｆ２ｆとを加算して、復号予測画像Ｆ３ｄを生成する（図１３のｐ）。露出補正逆変換部１１５は、復号予測画像Ｆ３ｄの露出値に対して上述した逆変換処理を施した露出変換復号予測画像Ｆ３ｅを生成し、第２蓄積部１０９に格納する（図１３のｑ）。   The subtraction unit 102 subtracts the prediction image F2f from the exposure correction encoding target image F3a to generate a prediction error image F3b (m in FIG. 13). The prediction error image F3b is encoded by the orthogonal transformation unit 103, the quantization unit 104, and the variable length encoding unit 105, and is output as the encoded data P3 (n in FIG. 13). Further, the prediction error image F3 b is processed by the orthogonal transformation unit 103, the quantization unit 104, the inverse quantization unit 106, and the inverse orthogonal transformation unit 107 to generate a decoded prediction error image F3 c, which is output to the addition unit 108. (O in FIG. 13). The addition unit 108 adds the decoded prediction error image F3c and the prediction image F2f to generate a decoded prediction image F3d (p in FIG. 13). The exposure correction inverse conversion unit 115 generates an exposure conversion decoded predicted image F3e obtained by performing the above-described inverse conversion processing on the exposure value of the decoded predicted image F3d, and stores the generated result in the second storage unit 109 (q in FIG. 13). .

以後、上記の処理を繰り返し行うことにより、符号化データＰ４、Ｐ５を生成する。すなわち、図１７（ｂ）に示すように、画像Ｆ４は、画像Ｆ３を参照画像とし、画像Ｆ４の露出値を補正して画像Ｆ３の露出値と一致させた後、画像Ｆ３との間で、画像間符号化が行われる。画像Ｆ５は画像Ｆ４を参照画像とし、画像Ｆ４の露出値を補正して画像Ｆ４の露出値と一致させた後、画像間符号化が行われる。この結果、図１７（ｂ）に示すように、画像Ｆ２〜Ｆ５については、露出値が−１ＥＶだけ補正された後、直前の画像との間で画像間符号化が行われて、符号化データＰ２〜Ｐ５が出力される。   Thereafter, the above process is repeated to generate the encoded data P4 and P5. That is, as shown in FIG. 17B, the image F4 uses the image F3 as a reference image, corrects the exposure value of the image F4 to match the exposure value of the image F3, and then makes a comparison with the image F3 Inter-picture coding is performed. The image F5 uses the image F4 as a reference image, and after correcting the exposure value of the image F4 to match the exposure value of the image F4, inter-image coding is performed. As a result, as shown in FIG. 17B, for the images F2 to F5, after the exposure value is corrected by −1 EV, inter-image encoding is performed with the immediately preceding image, and encoded data is obtained. P2 to P5 are output.

−−復号装置−−
次に、上述した符号化装置４により出力された符号化データを復号して、画像を出力する復号装置５について説明する。
図１４は、本実施の形態による復号装置５の構成を示すブロック図である。復号装置５は、第１の実施の形態における復号装置２が備える露出補正部２０７に代えて、露出補正逆変換部２１０を備える。なお、図示の都合上、制御部２００から各部への信号出力を省略して示すとともに、復号装置５の各構成にて後述するようにして生成されるデータを合わせて模式的に示す。 -Decoding device--
Next, the decoding device 5 that decodes the encoded data output by the above-described encoding device 4 and outputs an image will be described.
FIG. 14 is a block diagram showing a configuration of decoding apparatus 5 according to the present embodiment. The decoding device 5 includes an exposure correction inverse conversion unit 210 instead of the exposure correction unit 207 included in the decoding device 2 according to the first embodiment. Note that, for convenience of illustration, signal output from the control unit 200 to each unit is omitted and shown, and data generated as described later in each configuration of the decoding device 5 is schematically shown together.

可変長符号復号部２０１は、各符号化データに含まれる露出補正値については、露出補正逆変換部２１０に出力する。加算部２０４は、復号対象画像を画像間復号する際には、逆直交変換部２０３によって復号された復号予測誤差画像と、予測部２０８から出力された予測画像とを加算して、露出変換前復号画像を生成する。復号対象画像を画像内復号する際には、加算部２０４は逆直交変換部２０３から出力された復号特定画像をそのまま出力する。   The variable-length code decoding unit 201 outputs the exposure correction value included in each piece of encoded data to the exposure correction inverse conversion unit 210. The addition unit 204 adds the decoded prediction error image decoded by the inverse orthogonal transformation unit 203 and the prediction image output from the prediction unit 208 before inter-image decoding when decoding the image to be decoded. Generate a decoded image. When intra-image decoding is performed on the decoding target image, the adding unit 204 outputs the decoded specific image output from the inverse orthogonal transform unit 203 as it is.

露出補正逆変換部２１０は、可変長符号復号部２０１から出力された露出補正値を用いて、加算部２０４によって生成された露出変換前復号画像の露出値を補正する。露出補正逆変換部２１０は、符号化装置４の露出補正部１１１によって符号化対象画像の露出値が補正を受ける前の露出値に戻す逆変換処理を行って、復号画像として第１蓄積部２０５および第２蓄積部２０６へ出力する。たとえば、露出補正部１１１により符号化対象画像の露出値が＋１ＥＶ補正された場合には、露出補正逆変換部２１０は、対応する露出変換前復号画像の露出値を−１ＥＶ補正する。なお、露出補正逆変換部２１０は、復号特定画像に対しては露出値の逆変換処理を行わずに、第１蓄積部２０５および第２蓄積部２０６へ出力する。他の構成については、第１の実施の形態と同様の処理を行う。   The exposure correction inverse conversion unit 210 corrects the exposure value of the pre-exposure conversion decoded image generated by the addition unit 204 using the exposure correction value output from the variable-length code decoding unit 201. The exposure correction inverse conversion unit 210 performs an inverse conversion process to return the exposure value of the image to be encoded to the exposure value before the correction by the exposure correction unit 111 of the encoding device 4 to obtain a first storage unit 205 as a decoded image. And the second storage unit 206. For example, when the exposure correction unit 111 corrects the exposure value of the image to be encoded by +1 EV, the exposure correction inverse conversion unit 210 corrects the exposure value of the corresponding pre-exposure conversion decoded image by −1 EV. The exposure correction inverse conversion unit 210 outputs the decoded specific image to the first accumulation unit 205 and the second accumulation unit 206 without performing the inverse conversion process of the exposure value. About the other structure, the process similar to 1st Embodiment is performed.

図１４を参照しながら復号装置５により復号され、生成される復号画像について説明する。なお、図１４においては、上述した符号化装置４により図１７に示す形態にて出力された符号化データＩ１、Ｐ２〜Ｐ５が順次入力される場合を例として示す。本実施の形態では、符号化データＩ１に対して画像内復号を行い、符号化データＰ２〜Ｐ５に対して画像間復号を行うことにより、復号画像ＦＤ１〜ＦＤ５が生成される。上述したように符号化データＩ１は、特定画像が符号化装置１により符号化されているので、符号化データＩ１は逆量子化部２０２および逆直交変換部２０３により復号され、復号特定画像ＦＤ１として加算部２０４および露出補正逆変換部２１０による処理が施されず、第１蓄積部２０５に格納される（図１４のａ）。さらに、復号特定画像ＦＤ１は第２蓄積部２０６にも格納される（図１４のｂ）。   The decoded image which is decoded and generated by the decoding device 5 will be described with reference to FIG. In FIG. 14, an example is shown in which the encoded data I1 and P2 to P5 output in the form shown in FIG. 17 by the encoding device 4 described above are sequentially input. In the present embodiment, the decoded images FD1 to FD5 are generated by performing intra-image decoding on the coded data I1 and performing inter-image decoding on the coded data P2 to P5. As described above, since the specific image of the encoded data I1 is encoded by the encoding apparatus 1, the encoded data I1 is decoded by the inverse quantization unit 202 and the inverse orthogonal transformation unit 203, and is decoded as the decoded specific image FD1. The processing by the addition unit 204 and the exposure correction inverse conversion unit 210 is not performed, and is stored in the first storage unit 205 (a in FIG. 14). Furthermore, the decoded specific image FD1 is also stored in the second storage unit 206 (b in FIG. 14).

復号対象画像が符号化データＰ２の場合には、第２蓄積部２０６内の復号特定画像ＦＤ１を参照画像として、画像間復号が行われる。予測部２０８は、可変長符号復号部２０１から出力された符号化データＰ２に関する予測情報を用いて、復号特定画像ＦＤ１から予測画像ＦＤ１ａを生成する（図１４のｃ）。符号化データＰ２は、符号化装置４によって予測誤差画像Ｆ２ａ（図１３参照）が符号化されて生成されているので、逆量子化部２０２および逆直交変換部２０３により復号されて復号予測誤差画像ＦＤ２ａが生成され、加算部２０４に入力される（図１４のｄ）。加算部２０４は、復号予測誤差画像ＦＤ２ａと画像間予測部１１３により生成された予測画像ＦＤ１ａとを加算して、露出変換前復号画像ＦＤ２ｂを生成する（図１４のｅ）。   When the image to be decoded is the coded data P2, inter-image decoding is performed using the decoded specific image FD1 in the second storage unit 206 as a reference image. The prediction unit 208 generates a predicted image FD1a from the decoded specific image FD1 using the prediction information on the encoded data P2 output from the variable-length code decoding unit 201 (c in FIG. 14). Since the encoded data P2 is generated by encoding the prediction error image F2a (see FIG. 13) by the encoding device 4, the encoded data P2 is decoded by the inverse quantization unit 202 and the inverse orthogonal transformation unit 203 and a decoded prediction error image The FD 2a is generated and input to the adding unit 204 (d in FIG. 14). The addition unit 204 adds the decoded prediction error image FD2a and the prediction image FD1a generated by the inter-image prediction unit 113 to generate a pre-exposure conversion decoded image FD2b (e in FIG. 14).

露出補正逆変換部２１０は、可変長符号復号部２０１から出力された露出補正値を用いて、露出変換前復号画像ＦＤ２ｂの露出値を画像Ｆ２の露出値ＥＶ２となるように逆変換処理を行って、復号画像ＦＤ２を生成する。生成された復号画像ＦＤ２は第１蓄積部２０５に格納される（図１４のｆ）とともに、第２蓄積部２０６に格納される（図１４のｇ）。   The exposure correction inverse conversion unit 210 performs inverse conversion processing so that the exposure value of the pre-exposure conversion image FD2b becomes the exposure value EV2 of the image F2 using the exposure correction value output from the variable-length code decoding unit 201 The decoded image FD2 is generated. The generated decoded image FD2 is stored in the first storage unit 205 (f in FIG. 14) and is stored in the second storage unit 206 (g in FIG. 14).

復号対象画像が符号化データＰ３の場合には、符号化データＰ３は、第２蓄積部２０６内の復号画像ＦＤ２を参照画像として、画像間復号が行われる。予測部２０８は、符号化データＰ３に関する予測情報を用いて復号画像ＦＤ２から予測画像ＦＤ２ｃを生成する（図１４のｈ）。符号化データＰ３は逆量子化部２０２および逆直交変換部２０３により復号されて復号予測誤差画像ＦＤ３ａが生成され、加算部２０４に入力される（図１４のｉ）。加算部２０４は、復号予測誤差画像ＦＤ３ａと予測画像ＦＤ２ｃとを加算して、露出変換前復号画像ＦＤ３ｂを生成する（図１４のｊ）。   When the image to be decoded is the coded data P3, the coded data P3 is decoded between the images using the decoded image FD2 in the second storage unit 206 as a reference image. The prediction unit 208 generates a predicted image FD2c from the decoded image FD2 using the prediction information related to the encoded data P3 (h in FIG. 14). The encoded data P3 is decoded by the inverse quantization unit 202 and the inverse orthogonal transformation unit 203 to generate a decoded prediction error image FD3a, which is input to the addition unit 204 (i in FIG. 14). The addition unit 204 adds the decoded prediction error image FD3a and the prediction image FD2c to generate a pre-exposure conversion decoded image FD3b (j in FIG. 14).

露出補正逆変換部２１０は、可変長符号復号部２０１から出力された露出補正値を参照して、露出変換前復号画像ＦＤ３ｂの露出値を画像Ｆ３の露出値ＥＶ３となるように逆変換処理を行って、復号画像ＦＤ３を生成する。生成された復号画像ＦＤ３は第１蓄積部２０５に格納される（図１４のｋ）とともに、第２蓄積部２０６に格納される（図１４のｌ）。以後、上記の処理を繰り返し行うことにより、復号画像ＦＤ４、ＦＤ５を生成して、第１蓄積部２０５に格納する。   The exposure correction inverse conversion unit 210 performs inverse conversion processing so that the exposure value of the pre-exposure conversion decoded image FD3b becomes the exposure value EV3 of the image F3 with reference to the exposure correction value output from the variable-length code decoding unit 201 To generate a decoded image FD3. The generated decoded image FD3 is stored in the first storage unit 205 (k in FIG. 14) and is stored in the second storage unit 206 (l in FIG. 14). Thereafter, the above process is repeatedly performed to generate the decoded images FD4 and FD5, and the decoded images FD4 and FD5 are stored in the first storage unit 205.

上述した第４の実施の形態による符号化装置４および復号装置５によれば、第１の実施の形態により得られた作用効果と同様の作用効果が得られる。すなわち、参照画像の露出値と符号化対象画像の露出値とが異なる場合には、符号化対象画像の露出値を補正した後、画像間符号化することにより、異なる露出値の画像間で生じる明るさの不一致を解消し、符号化データのデータ量を抑制することができる。   According to the encoding device 4 and the decoding device 5 according to the above-described fourth embodiment, the same effects as the effects obtained by the first embodiment can be obtained. That is, when the exposure value of the reference image and the exposure value of the image to be encoded are different, the exposure value of the image to be encoded is corrected and then inter-image encoding is performed to generate images of different exposure values. Inconsistencies in brightness can be eliminated, and the amount of encoded data can be suppressed.

なお、符号化装置４による符号化データの生成は上述した内容による方法を用いるものに限定されず、第２の実施の形態における符号化装置１が行う符号化データの生成方法や、第３の実施の形態にける符号化装置１が行う符号化データの生成方法を用いるものについても、本発明の一態様に含まれる。図１８に、第２の実施の形態における符号化装置１が行う符号化データの生成方法を用いる場合に生成される符号化データと、符号化される前の画像との関係を模式的に示す。すなわち、画像Ｆ３が特定画像として画像内符号化、画像Ｆ２と画像Ｆ４が画像Ｆ３を参照画像として画像間符号化、画像Ｆ１が画像Ｆ２を参照画像として、また画像Ｆ５が画像Ｆ４を参照画像として画像間符号化される。この場合、図１８に示すように、符号化対象画像の露出値を補正により参照画像に一致させた後、符号化が行われる。図１９に、第３の実施の形態における符号化装置１が行う符号化データの生成方法を用いる場合に生成される符号化データと、符号化される前の画像との関係を模式的に示す。すなわち、画像Ｆ３が特定画像として画像内符号化、画像Ｆ１、画像Ｆ２、画像Ｆ４および画像Ｆ５が画像Ｆ３を参照画像として画像間符号化される。図１９に示すように、符号化対象画像の露値を補正した参照画像の補正値と一致させた後、符号化が行われる。   Note that the generation of encoded data by the encoding device 4 is not limited to the method using the method described above, and a method of generating encoded data performed by the encoding device 1 in the second embodiment, and a third method The use of the method of generating coded data performed by the coding apparatus 1 according to the embodiment is also included in an aspect of the present invention. FIG. 18 schematically shows a relationship between encoded data generated when the method of generating encoded data performed by the encoding device 1 according to the second embodiment is used and an image before encoding. . That is, image F3 is intra-image encoded as a specific image, image F2 and image F4 are inter-image encoded using image F3 as a reference image, image F1 is image F2 as a reference image, and image F5 is image F4 as a reference image It is inter-image coded. In this case, as shown in FIG. 18, after the exposure value of the image to be encoded matches the reference image by correction, the encoding is performed. FIG. 19 schematically shows a relationship between encoded data generated when the method of generating encoded data performed by the encoding device 1 according to the third embodiment is used and an image before encoding. . That is, the image F3 is intra-image encoded as a specific image, the image F1, the image F2, the image F4, and the image F5 are inter-image encoded using the image F3 as a reference image. As shown in FIG. 19, encoding is performed after matching the dew value of the encoding target image with the correction value of the reference image.

−第５の実施の形態−
本発明の第５の実施の形態による符号化装置および復号装置について説明する。以下の説明では、第３の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第３の実施の形態と同じである。本実施の形態では、符号化装置は、特定画像を他の全ての符号化対象画像を符号化する際の参照画像として用い、符号化対象画像の露出値を補正した後、参照画像との間で画像間符号化を行う点が第３の実施の形態とは異なる。このため、符号化装置により生成された符号化データを復号する復号装置の構成についても第３の実施の形態と異なる。 -Fifth Embodiment-
An encoding apparatus and a decoding apparatus according to the fifth embodiment of the present invention will be described. In the following description, the same components as in the third embodiment will be assigned the same reference numerals and differences will be mainly described. Points that are not particularly described are the same as in the third embodiment. In the present embodiment, the encoding apparatus uses the specific image as a reference image when encoding all other encoding target images, corrects the exposure value of the encoding target image, and then performs correction with the reference image. Is different from the third embodiment in that inter-image coding is performed. Therefore, the configuration of a decoding apparatus that decodes the encoded data generated by the encoding apparatus is also different from that of the third embodiment.

−−符号化装置−−
図１５は、第５の実施の形態における符号化装置６の構成を示すブロック図である。符号化装置６は、第１の実施の形態による符号化装置１が備える構成に加えて第３蓄積部１１６をさらに備える。なお、図示の都合上、制御部１００から各部への信号出力を省略して示すとともに、符号化装置６の各構成にて後述するようにして生成されるデータを合わせて模式的に示す。 --Encoding device--
FIG. 15 is a block diagram showing the configuration of the coding apparatus 6 in the fifth embodiment. The encoding device 6 further includes a third storage unit 116 in addition to the configuration of the encoding device 1 according to the first embodiment. Note that, for convenience of illustration, signal output from the control unit 100 to each part is omitted and shown, and data generated as described later in each configuration of the encoding device 6 is schematically shown together.

露出補正部１１１は、第４の実施の形態と同様に、符号化対象画像の符号化に先だって、補正値算出部１１０により算出された露出補正値を用いて符号化対象画像の露出を補正して、露出補正符号化対象画像を生成する。なお、露出補正部１１１は、特定画像に対しては露出値を補正しない。補正値算出部１１０は、特定画像の露出値と他の複数の符号化対象画像の露出値とを用いて、各符号化対象画像の露出値を補正するための補正値をそれぞれ算出する。露出補正部１１１により生成された露出補正符号化対象画像は、第３蓄積部１１６に一時的に格納される。他の構成については、第１の実施の形態と同様の処理を行う。   The exposure correction unit 111 corrects the exposure of the image to be encoded using the exposure correction value calculated by the correction value calculation unit 110 prior to the encoding of the image to be encoded, as in the fourth embodiment. The exposure correction encoding target image is generated. Note that the exposure correction unit 111 does not correct the exposure value for a specific image. The correction value calculation unit 110 calculates a correction value for correcting the exposure value of each encoding target image, using the exposure value of the specific image and the exposure values of the plurality of other encoding target images. The exposure correction encoding target image generated by the exposure correction unit 111 is temporarily stored in the third accumulation unit 116. About the other structure, the process similar to 1st Embodiment is performed.

図１５および図１９を参照しながら符号化装置６により生成される符号化データについて説明する。本実施の形態においては、第３の実施の形態の場合と同様に、図１９（ａ）に示す符号化対象画像である画像Ｆ１〜Ｆ５から、図１９（ｂ）に示すように、特定画像である画像Ｆ３に対して画像内符号化を行い、非特定画像である画像Ｆ１、Ｆ２、Ｆ４、Ｆ５に対して画像間符号化を行うことにより、符号化データＩ３、Ｐ１、Ｐ２、Ｐ４、Ｐ５が生成される。   The encoded data generated by the encoding device 6 will be described with reference to FIGS. 15 and 19. In the present embodiment, as in the case of the third embodiment, as shown in FIG. 19 (b) from the images F1 to F5 which are encoding target images shown in FIG. 19 (a), The intra-image encoding is performed on the image F3 which is the inter-image encoding for the non-specific images F1, F2, F4, and F5, and the encoded data I3, P1, P2, P4, and P5 is generated.

まず、補正値算出部１１０は、非特定画像である画像Ｆ１、Ｆ２、Ｆ４、Ｆ５のそれぞれの露出値と、特定画像である画像Ｆ３の露出値との間で、露出補正値ΔＥＶＦ３１（＝ＥＶ３−ＥＶ１＝２）、ΔＥＶＦ３２（＝ＥＶ３−ＥＶ２＝１）、ΔＥＶＦ３４（＝ＥＶ３−ＥＶ４＝−１）、ΔＥＶＦ３５（＝ＥＶ３−ＥＶ５＝−２）を算出する。露出補正部１１０は、画像Ｆ１、Ｆ２、Ｆ４、Ｆ５の露出値を、補正値算出部１１０にて算出された露出補正値ΔＥＶＦ３１、ΔＥＶＦ３２、ΔＥＶＦ３４、ΔＥＶＦ３５を用いてそれぞれ補正して、露出補正画像Ｆ１ａ、Ｆ２ａ、Ｆ４ａ、Ｆ５ａを生成する。第３蓄積部１１６には、露出補正符号化対象画像Ｆ１ａ、Ｆ２ａ、Ｆ４ａ、Ｆ５ａと、特定画像である画像Ｆ３とが格納される（図１５のａ）。 First, the correction value calculation unit 110 sets the exposure correction value ΔEV F31 (==) between the exposure value of each of the images F1, F2, F4 and F5 which are nonspecific images and the exposure value of the image F3 which is specific image. EV3-EV1 = 2), .DELTA.EV F32 (= EV3-EV2 = 1), .DELTA.EV F34 (= EV3-EV4 = -1), .DELTA.EV F35 (= EV3-EV5 = -2) are calculated. The exposure correction unit 110 corrects the exposure values of the images F1, F2, F4, and F5 using the exposure correction values ΔEV F31 , ΔEV F32 , ΔEV F34 , and ΔEV F35 calculated by the correction value calculation unit 110. The exposure corrected images F1a, F2a, F4a, and F5a are generated. The third storage unit 116 stores exposure correction encoding target images F1a, F2a, F4a, and F5a, and an image F3 which is a specific image (a in FIG. 15).

第３蓄積部１１６から、画像Ｆ３が出力され、減算部１０２による処理が行われることなく、直交変換部１０３、量子化部１０４および可変長符号化部１０５により画像内符号化されて符号化データＩ３が出力される（図１５のｂ）。また、直交変換部１０３、量子化部１０４、逆量子化部１０６および逆直交変換部１０７による処理が施された復号特定画像Ｆ３ａは、加算部１０８による処理を施されることなく、第２蓄積部１０９に格納される（図１５のｃ）。   Image F 3 is output from third storage unit 116 and subjected to intra-image encoding by orthogonal transform unit 103, quantization unit 104, and variable-length encoding unit 105 without processing by subtraction unit 102. I3 is output (b of FIG. 15). Further, the decoded specific image F3a subjected to the processing by the orthogonal transformation unit 103, the quantization unit 104, the inverse quantization unit 106, and the inverse orthogonal transformation unit 107 is not subjected to the processing by the addition unit 108, and the second accumulation is performed. It is stored in the unit 109 (c in FIG. 15).

図１９（ｂ）に示す画像Ｆ１は、画像Ｆ３を参照画像として画像間符号化が行われる。この場合、第３蓄積部１１６内の符号化対象画像である露出補正符号化対象画像Ｆ１ａに対して、第２蓄積部１０９内の復号特定画像Ｆ３ａが参照画像として用いられる。画像間予測部１１３は、予測情報を用いて復号特定画像Ｆ３ａ上の動きを露出補正符号化対象画像Ｆ１ａに適合させた予測画像Ｆ３ｂを生成する（図１５のｄ）。減算部１０２は、露出補正符号化対象画像Ｆ１ａから予測画像Ｆ３ｂを減算して、予測誤差画像Ｆ１ｂを生成する（図１５のｅ）。予測誤差画像Ｆ１ｂは、直交変換部１０３、量子化部１０４および可変長符号化部１０５により符号化されて符号化データＰ１として出力される（図１５のｆ）。   In the image F1 shown in FIG. 19B, inter-image encoding is performed using the image F3 as a reference image. In this case, the decoded specific image F3a in the second storage unit 109 is used as a reference image with respect to the exposure correction encoding target image F1a that is the image to be encoded in the third storage unit 116. The inter-image prediction unit 113 generates a predicted image F3b in which the motion on the decoded specific image F3a is adapted to the exposure correction encoding target image F1a using the prediction information (d in FIG. 15). The subtraction unit 102 subtracts the prediction image F3b from the exposure correction encoding target image F1a to generate a prediction error image F1b (e in FIG. 15). The prediction error image F1b is encoded by the orthogonal transformation unit 103, the quantization unit 104, and the variable length encoding unit 105, and is output as the encoded data P1 (f in FIG. 15).

図１９（ｂ）に示す画像Ｆ２は、画像Ｆ３を参照画像として画像間符号化が行われる。この場合、第３蓄積部１１６内の符号化対象画像である露出補正符号化対象画像Ｆ２ａに対して、第２蓄積部１０９内の復号特定画像Ｆ３ａが参照画像として用いられる。画像Ｆ１に対する画像間符号化の場合と同様に、画像間予測部１１３は、予測情報を用いて、復号特定画像Ｆ３ａ上の動きを露出補正符号化対象画像Ｆ２ａに適合させて予測画像Ｆ３ｃを生成する（図１５のｇ）。減算部１０２は、露出補正符号化対象画像Ｆ２ａから予測画像Ｆ３ｃを減算して、予測誤差画像Ｆ２ｂを生成する（図１５のｈ）。予測誤差画像Ｆ２ｂは、直交変換部１０３、量子化部１０４および可変長符号化部１０５により符号化されて符号化データＰ２として出力される（図１５のｉ）。   In the image F2 shown in FIG. 19B, inter-image coding is performed using the image F3 as a reference image. In this case, the decoded specific image F3a in the second storage unit 109 is used as a reference image for the exposure correction encoding target image F2a that is the image to be encoded in the third storage unit 116. As in the case of inter-image encoding for the image F1, the inter-image prediction unit 113 matches the motion on the decoded specific image F3a with the exposure correction encoding target image F2a using the prediction information to generate a predicted image F3c (G in FIG. 15). The subtraction unit 102 subtracts the prediction image F3c from the exposure correction encoding target image F2a to generate a prediction error image F2b (h in FIG. 15). The prediction error image F2b is encoded by the orthogonal transformation unit 103, the quantization unit 104, and the variable length encoding unit 105, and is output as the encoded data P2 (i in FIG. 15).

以後、上記の処理を繰り返し行うことにより、符号化データＰ４、Ｐ５を生成する。すなわち、画像Ｆ４は、画像Ｆ４の露出値を画像Ｆ４の露出値に一致するように補正された後、画像Ｆ３を参照画像として画像間符号化が行われる。画像Ｆ５は、画像Ｆ５の露出値を画像Ｆ３の露出値に一致するように正された後、画像Ｆ３を参照画像として画像間符号化が行われる。この結果、図１５に示すような従来構造を有する符号化装置６を用いて符号化を行う場合であっても、図１９（ｂ）に示すように、画像Ｆ２〜Ｆ５については、露出値が−２ＥＶ〜＋２ＥＶの間で順次補正された画像Ｆ３との間で画像間符号化が行われて、第３の実施の形態により得られる符号化データと同様の符号化データＰ２〜Ｐ５が出力される。   Thereafter, the above process is repeated to generate the encoded data P4 and P5. That is, after the image F4 is corrected so that the exposure value of the image F4 matches the exposure value of the image F4, inter-image coding is performed using the image F3 as a reference image. After the image F5 is corrected so that the exposure value of the image F5 matches the exposure value of the image F3, inter-image coding is performed using the image F3 as a reference image. As a result, even when encoding is performed using the encoding device 6 having the conventional structure as shown in FIG. 15, as shown in FIG. 19 (b), the exposure values for the images F2 to F5 are Inter-picture encoding is performed between the image F3 sequentially corrected between -2EV and + 2EV, and encoded data P2 to P5 similar to the encoded data obtained according to the third embodiment are output. Ru.

−−復号装置−−
次に、上述した符号化装置６により出力された符号化データを復号して、画像を出力する復号装置７について説明する。
図１６は、本実施の形態による復号装置７の構成を示すブロック図である。復号装置７は、第１の実施の形態による復号装置２が備える露出補正部２０７に代えて露出補正逆変換部２１０を備え、さらに第３蓄積部２１１を備える。なお、図示の都合上、制御部２００から各部への信号出力を省略して示すとともに、図１６においては、復号装置７の各構成にて後述するようにして生成されるデータを合わせて模式的に示す。 -Decoding device--
Next, the decoding device 7 that decodes the encoded data output by the above-described encoding device 6 and outputs an image will be described.
FIG. 16 is a block diagram showing a configuration of decoding apparatus 7 according to the present embodiment. The decoding device 7 includes an exposure correction inverse conversion unit 210 instead of the exposure correction unit 207 included in the decoding device 2 according to the first embodiment, and further includes a third storage unit 211. Here, for convenience of illustration, signal output from the control unit 200 to each unit is omitted and shown, and in FIG. 16, data generated as described later in each configuration of the decoding device 7 are combined and shown schematically. Shown in.

本実施の形態の復号装置７は、符号化装置６により生成された符号化データＰ１、Ｐ２、Ｉ３、Ｐ４、Ｐ５に対して画像間復号または画像内復号により復号した後、画像間復号された復号画像の露出値を補正して、符号化前の画像の露出値と一致させる。すなわち、加算部２０４によって復号予測誤差画像と予測部２０８から出力された予測画像とが加算されることにより、画像間復号されて生成された画像（露出補正前復号画像）の露出値が、露出補正逆変換部２１０によって補正される。この場合、露出補正逆変換部２１０は、可変長符号復号部２０１から出力された露出補正値を用いて、符号化装置６の露出補正部１１１による補正を受ける前の露出値に戻す逆変換処理を行う。たとえば、露出補正部１１１により符号化対象画像の露出値が＋１ＥＶ補正された場合には、露出補正逆変換部２１０は、対応する露出変換前復号対象画像の露出値を−１ＥＶ補正する。なお、露出補正逆変換部２１０は、復号特定画像に対しては露出値の逆変換処理を行わずに第１蓄積部２０５へ出力する。   The decoding device 7 according to the present embodiment decodes the encoded data P 1, P 2, I 3, P 4 and P 5 generated by the encoding device 6 by inter-image decoding or intra-image decoding and then performs inter-image decoding. The exposure value of the decoded image is corrected to match the exposure value of the image before encoding. That is, the addition prediction unit 204 adds the decoded prediction error image and the prediction image output from the prediction unit 208 by the addition unit 204, so that the exposure value of the image generated by the inter-image decoding (the pre-exposure correction decoded image) is exposed. It is corrected by the correction inverse conversion unit 210. In this case, using the exposure correction value output from the variable-length code decoding unit 201, the exposure correction inverse conversion unit 210 reversely converts the exposure value before the correction by the exposure correction unit 111 of the encoding device 6 I do. For example, when the exposure correction unit 111 corrects the exposure value of the encoding target image by +1 EV, the exposure correction inverse conversion unit 210 corrects the exposure value of the corresponding pre-exposure conversion decoding target image by −1 EV. The exposure correction inverse conversion unit 210 outputs the decoded specific image to the first accumulation unit 205 without performing the inverse conversion process of the exposure value.

なお、復号対象画像を画像内復号する際には、加算部２０４は逆直交変換部２０３から出力された復号特定画像をそのまま第２蓄積部２０６および第３蓄積部２１１に出力し、一時的に格納する。第３蓄積部２１１に格納された復号特定画像は、画像間復号を行う復号対象画像の参照画像として用いられる。すなわち、予測部２０８は、可変長符号復号部２０１から出力された予測情報と、第３蓄積部２１１に格納された復号特定画像とを用いて、画像間復号を行う復号対象画像の予測画像を生成する。   When intra-image decoding is performed on the decoding target image, the adding unit 204 outputs the decoded specific image output from the inverse orthogonal transform unit 203 as it is to the second storage unit 206 and the third storage unit 211, temporarily. Store. The decoded specific image stored in the third storage unit 211 is used as a reference image of a decoding target image to be subjected to inter-image decoding. That is, the prediction unit 208 uses the prediction information output from the variable-length code decoding unit 201 and the decoding specific image stored in the third storage unit 211 to perform prediction of the decoding target image to be subjected to inter-picture decoding. Generate

図１６を参照しながら復号装置７により復号され、生成される復号画像について説明する。なお、図１６においては、上述した符号化装置６により図１９に示す形態にて出力された符号化データＩ３、Ｐ１、Ｐ２、Ｐ４、Ｐ５が順次入力される場合を例として示す。本実施の形態では、符号化データＩ３に対して画像内復号を行い、符号化データＰ１、Ｐ２、Ｐ４、Ｐ５に対して画像間復号を行うことにより、復号画像ＦＤ１〜ＦＤ５が生成される。符号化データＩ３は、特定画像が符号化装置６により符号化されているので、符号化データＩ３は逆量子化部２０２および逆直交変換部２０３により復号され、復号特定画像ＦＤ３として加算部２０４および露出補正逆変換部２１０による処理が施されることなく、第１蓄積部２０５に格納される（図１６のａ）。さらに、復号特定画像ＦＤ３は第３蓄積部２１１にも格納される（図１６のｂ）。   The decoded image which is decoded and generated by the decoding device 7 will be described with reference to FIG. Note that FIG. 16 shows an example in which the coded data I3, P1, P2, P4 and P5 output in the form shown in FIG. 19 by the coding device 6 described above are sequentially input. In this embodiment, decoded images FD1 to FD5 are generated by performing intra-image decoding on the encoded data I3 and performing inter-image decoding on the encoded data P1, P2, P4, and P5. Since the specific image is encoded by the encoding device 6, the encoded data I3 is decoded by the inverse quantization unit 202 and the inverse orthogonal transformation unit 203, and the addition unit 204 and the decoded specific image FD3 are added. The image data is stored in the first storage unit 205 without being subjected to the processing by the exposure correction inverse conversion unit 210 (a in FIG. 16). Furthermore, the decoded specific image FD3 is also stored in the third storage unit 211 (b in FIG. 16).

復号対象画像が符号化データＰ１の場合には、符号化データＰ１に対して、第３蓄積部２１１内の復号特定画像ＦＤ３が参照画像として用いられて画像間復号が行われる。予測部２０８は、符号化データＰ１に関する予測情報を用いて、復号特定画像ＦＤ３から予測画像ＦＤ３ａを生成する（図１６のｃ）。符号化データＰ１は、符号化装置６によって予測誤差画像Ｆ１ａ（図１５参照）が符号化されて生成されているので、逆量子化部２０２および逆直交変換部２０３により復号予測誤差画像ＦＤ１ａが生成され、加算部２０４に入力される（図１６のｄ）。加算部２０４は、復号予測誤差画像ＦＤ１ａと予測画像ＦＤ３ａとを加算して、露出変換前復号画像ＦＤ１ｂを生成する（図１６のｅ）。   When the image to be decoded is the coded data P1, inter-image decoding is performed on the coded data P1 using the decoded specific image FD3 in the third storage unit 211 as a reference image. The prediction unit 208 generates a predicted image FD3a from the decoded specific image FD3 using the prediction information on the encoded data P1 (c in FIG. 16). Since the encoded data P1 is generated by encoding the prediction error image F1a (see FIG. 15) by the encoding device 6, the inverse quantization unit 202 and the inverse orthogonal transformation unit 203 generate a decoded prediction error image FD1a. And is input to the adding unit 204 (d in FIG. 16). The addition unit 204 adds the decoded prediction error image FD1a and the prediction image FD3a to generate a pre-exposure conversion decoded image FD1b (e in FIG. 16).

露出補正逆変換部２１０は、可変長符号復号部２０１から出力された露出補正値を参照して、露出変換前復号画像ＦＤ１ｂの露出値を、対応する画像Ｆ１の露出値ＥＶ１となるように逆変換処理を行う。逆変換処理が施された画像は復号画像ＦＤ１として第１蓄積部２０５に格納される（図１６のｆ）。   The exposure correction inverse conversion unit 210 refers to the exposure correction value output from the variable-length code decoding unit 201 and inverts the exposure value of the pre-exposure conversion decoded image FD1b to the exposure value EV1 of the corresponding image F1. Perform conversion processing. The image subjected to the inverse transformation process is stored in the first accumulation unit 205 as a decoded image FD1 (f in FIG. 16).

復号対象画像が符号化データＰ２の場合には、符号化データＰ２に対して、第３蓄積部２１１内の復号画像ＦＤ３が参照画像として用いられて画像間復号が行われる。予測部２０８は、符号化データＰ２に関する予測情報を用いて、復号画像ＦＤ３から予測画像ＦＤ３ｂを生成する（図１６のｇ）。符号化データＰ２は、符号化装置６によって予測誤差画像Ｆ２ａ（図１５参照）が符号化されて生成されているので、逆量子化部２０２および逆直交変換部２０３により復号予測誤差画像ＦＤ２ａが生成され、加算部２０４に入力される（図１６のｈ）。加算部２０４は、復号予測誤差画像ＦＤ３ｂと、画像間予測部１１３により生成された予測画像ＦＤ２ａとを加算して、露出変換前復号画像ＦＤ２ｂを生成する（図１６のｉ）。   When the image to be decoded is the coded data P2, inter-image decoding is performed on the coded data P2 using the decoded image FD3 in the third accumulation unit 211 as a reference image. The prediction unit 208 generates a predicted image FD3b from the decoded image FD3 using the prediction information on the encoded data P2 (g in FIG. 16). Since the encoded data P2 is generated by encoding the prediction error image F2a (see FIG. 15) by the encoding device 6, the dequantization unit 202 and the inverse orthogonal transformation unit 203 generate the decoded prediction error image FD2a. And input to the adding unit 204 (h in FIG. 16). The addition unit 204 adds the decoded prediction error image FD3b and the prediction image FD2a generated by the inter-image prediction unit 113 to generate a pre-exposure conversion decoded image FD2b (i in FIG. 16).

露出補正逆変換部２１０は、符号化データＰ２に関する露出補正値を参照して、露出変換前復号画像ＦＤ２ｂの露出値を、対応する画像Ｆ２の露出値ＥＶ２となるように逆変換処理を行う。逆変換処理が施された画像は、復号画像ＦＤ２として第１蓄積部２０５に格納される（図１４のｊ）。以後、上記の処理を繰り返し行うことにより、復号画像ＦＤ４、ＦＤ５を生成して、第１蓄積部２０５に格納する。   The exposure correction inverse conversion unit 210 performs inverse conversion processing so that the exposure value of the pre-exposure conversion image FD2b becomes the exposure value EV2 of the corresponding image F2 with reference to the exposure correction value related to the encoded data P2. The image subjected to the inverse transformation process is stored in the first accumulation unit 205 as a decoded image FD2 (j in FIG. 14). Thereafter, the above process is repeatedly performed to generate the decoded images FD4 and FD5, and the decoded images FD4 and FD5 are stored in the first storage unit 205.

上述した第５の実施の形態による符号化装置６および復号装置７によれば、第１の実施の形態により得られた作用効果と同様の作用効果が得られる。すなわち、参照画像の露出値と符号化対象画像の露出値とが異なる場合には、符号化対象画像の露出値を補正した後画像間符号化することにより、異なる露出値の画像間で生じる明るさの不一致を解消し、符号化データのデータ量を抑制することができる。さらに、画像間符号化と露出補正とを独立して、すなわち並列的に処理することができるので、従来の符号化方式を用いて符号化を行う符号化装置を用いて、本実施の形態による符号化方法により符号化データを生成することができる。   According to the encoding device 6 and the decoding device 7 according to the fifth embodiment described above, the same effects as the effects obtained by the first embodiment can be obtained. That is, when the exposure value of the reference image and the exposure value of the encoding target image are different, the brightness occurring between images of different exposure values by correcting the exposure value of the encoding target image and then performing inter-image encoding. Can be eliminated, and the amount of encoded data can be reduced. Furthermore, since inter-image coding and exposure correction can be processed independently, that is, in parallel, according to the present embodiment, a coding apparatus that performs coding using a conventional coding method is used. Encoded data can be generated by the encoding method.

−第６の実施の形態−
本発明の第６の実施の形態による符号化装置および復号装置について説明する。以下の説明では、第４の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第４の実施の形態と同じである。本実施の形態では、符号化装置は、入力画像を最大露出補正値に応じたゲインでゲイン補正する点が第４の実施の形態とは異なる。このため、符号化装置により生成された符号化データを復号する復号装置は、画像出力時に最大露出補正値に応じたゲインでゲイン逆補正する点が第４の実施の形態と異なる。また、符号化処理と復号処理の内部演算で扱える画像のビット深度を、符号化装置の入力画像や復号装置の出力画像のビット深度に対して、少なくとも露出補正範囲幅に相当するビット数以上拡張する点が第４の実施の形態と異なる。 -Sixth Embodiment-
An encoder and a decoder according to the sixth embodiment of the present invention will be described. In the following description, the same components as in the fourth embodiment will be assigned the same reference numerals and differences will be mainly described. The points that are not particularly described are the same as in the fourth embodiment. The present embodiment is different from the fourth embodiment in that the encoding apparatus performs gain correction on the input image with a gain corresponding to the maximum exposure correction value. Therefore, the decoding apparatus for decoding the encoded data generated by the encoding apparatus is different from the fourth embodiment in that the gain inverse correction is performed with the gain according to the maximum exposure correction value at the time of image output. In addition, the bit depth of the image that can be handled by the internal operation of the encoding process and the decoding process is expanded by at least the number of bits equivalent to the exposure correction range width to the bit depth of the input image of the encoding device Is different from the fourth embodiment.

−−符号化装置−−
図２０は、第６の実施の形態における符号化装置８の構成を示すブロック図である。符号化装置８は、第４の実施の形態による符号化装置４が備える構成に加えて、ゲイン補正部１１７を備える。また、符号化装置８は、入力画像のビット深度に対して少なくとも露出補正範囲幅に応じたビット数分だけ対応ビット深度を拡張する。例えば、入力画像のビット深度が８ｂｉｔ、露出補正範囲幅に応じたビット数分が４ｂｉｔならば、少なくとも１２ｂｉｔの画像を符号化できるように、符号化装置８の対応ビット深度を拡張する。なお、図示の都合上、制御部１００から各部への信号出力を省略して示すとともに、符号化装置８の各構成にて生成されるデータを合わせて模式的に示す。 --Encoding device--
FIG. 20 is a block diagram showing the configuration of the coding device 8 in the sixth embodiment. The encoding device 8 includes a gain correction unit 117 in addition to the configuration of the encoding device 4 according to the fourth embodiment. Further, the encoding device 8 extends the corresponding bit depth by the number of bits according to at least the exposure correction range width with respect to the bit depth of the input image. For example, if the bit depth of the input image is 8 bits and the bit number corresponding to the exposure correction range width is 4 bits, the corresponding bit depth of the encoding device 8 is extended so that an image of at least 12 bits can be encoded. Note that, for convenience of illustration, signal output from the control unit 100 to each unit is omitted and shown, and data generated by each configuration of the encoding device 8 is schematically shown together.

ゲイン補正部１１７は、入力画像の各サンプル値に、外部から入力する一連の符号化における最大露出補正値に応じたゲイン補正係数値を乗じて、入力画像をゲイン補正して出力する。最大露出補正値ΔＥＶmaxが零、もしくは、負ならゲイン補正係数値は１、最大露出補正値ΔＥＶmaxが正ならゲイン補正係数値は２ΔＥＶである。例えば、最大露出補正値ΔＥＶmax＝２ならゲイン補正係数値は２２＝４であり、入力画像の各サンプル値に、ゲイン補正係数値４を乗じて出力する。 The gain correction unit 117 multiplies each sample value of the input image by a gain correction coefficient value corresponding to the maximum exposure correction value in the series of encoding input from the outside, and performs gain correction on the input image and outputs the result. If the maximum exposure correction value ΔEVmax is zero or negative, the gain correction coefficient value is 1, and if the maximum exposure correction value ΔEVmax is positive, the gain correction coefficient value is 2 ΔEV . For example, if the maximum exposure correction value ΔEVmax = 2, the gain correction coefficient value is 2 2 = 4, and each sample value of the input image is multiplied by the gain correction coefficient value 4 and output.

なお、可変長符号化部１０５は、第１の実施の形態のように、量子化部１０４から出力された量子化係数、予測制御情報生成部１１２から出力される動きベクトル等の予測制御情報、補正値算出部１１０から出力される露出補正値等に加えて、ゲイン補正値、復号処理の内部演算で必要なビット深度を可変長符号化することにより、符号化データを出力する。他の構成については、第４の実施の形態と同様の処理を行う。すなわち、ゲイン補正部１１７によってゲイン補正が施された画像に対して符号化データが生成される。その結果、図１７（ｂ）に示すように、画像Ｆ２〜Ｆ３については、露出値が−１ＥＶだけ補正された後、直前の画像との間で画像間符号化が行われて、符号化データＰ２〜Ｐ５が出力される。   Note that, as in the first embodiment, the variable-length coding unit 105 is prediction control information such as the quantization coefficient output from the quantization unit 104, the motion vector output from the prediction control information generation unit 112, In addition to the exposure correction value and the like output from the correction value calculation unit 110, the encoded data is output by subjecting the gain correction value and the bit depth necessary for the internal calculation of the decoding process to variable length coding. About the other structure, the process similar to 4th Embodiment is performed. That is, encoded data is generated for the image subjected to gain correction by the gain correction unit 117. As a result, as shown in FIG. 17B, for the images F2 to F3, after the exposure value is corrected by −1 EV, inter-image encoding is performed with the immediately preceding image, and encoded data is generated. P2 to P5 are output.

前述したように、符号化装置８は、少なくとも露出補正範囲幅に応じたビット数分だけ対応ビット深度を拡張する。図１７の場合は、露出補正範囲幅は１（＝−１〜０）なので、拡張ビット数は１ビットである。例えば、入力画像のビット深度が８ｂｉｔならば、符号化装置８は、内部演算で少なくとも９ｂｉｔの画像を符号化できるようにする。これにより、符号化対象画像を明るくするような露出補正することで白とびした画像を符号化してしまうことを防ぐことができる。   As described above, the encoding device 8 extends the corresponding bit depth by at least the number of bits corresponding to the exposure correction range width. In the case of FIG. 17, since the exposure correction range width is 1 (= −1 to 0), the number of extension bits is 1 bit. For example, if the bit depth of the input image is 8 bits, the encoding device 8 enables an internal operation to encode an image of at least 9 bits. In this way, it is possible to prevent encoding of the overexposed image by performing exposure correction to brighten the encoding target image.

なお、第２の実施の形態の符号化装置１と同様の方法により符号化処理を行うものについても本発明の一態様に含まれる。すなわち、図１８に示すように、画像Ｆ３を特定画像として画像内符号化、画像Ｆ２と画像Ｆ４は画像Ｆ３を参照画像に画像間符号化、画像Ｆ１と画像Ｆ５はそれぞれ画像Ｆ２と画像Ｆ４を参照画像として画像間符号化する。図１８の場合は、露出補正範囲幅は２（＝−１〜１）なので、拡張ビット数は２ビットである。例えば、入力画像のビット深度が８ｂｉｔならば、符号化装置４は、内部演算で少なくとも１０ｂｉｔの画像を符号化できるようにする。これにより、符号化対象画像を明るくするような露出補正することで白とびした画像を符号化してしまう、また、符号化対象画像を暗くするような露出補正することで黒つぶれした画像を符号化してしまう、ことを防ぐことができる。   An aspect of the present invention also includes one that performs encoding processing by the same method as the encoding device 1 of the second embodiment. That is, as shown in FIG. 18, intra-image encoding is performed with the image F3 as a specific image, and the images F2 and F4 are inter-image encoded with the image F3 as a reference image, and the images F1 and F5 are the images F2 and F4, respectively. Inter-image encoding as a reference image. In the case of FIG. 18, since the exposure correction range width is 2 (= −1 to 1), the number of extension bits is 2 bits. For example, if the bit depth of the input image is 8 bits, the encoding device 4 enables an internal operation to encode an image of at least 10 bits. As a result, the overexposed image is encoded by performing the exposure correction to brighten the encoding target image, and the blackout image is encoded by performing the exposure correction to darken the encoding target image Can be prevented.

また、第３の実施の形態の符号化装置１と同様の方法により符号化処理を行うものについても本発明の一態様に含まれる。すなわち、図１９に示すように、画像Ｆ３を特定画像として画像内符号化、画像Ｆ１、画像Ｆ２、画像Ｆ４、画像Ｆ５は画像Ｆ３を参照画像として画像間符号化する。図１９の場合は、露出補正範囲幅は４（＝−２〜２）なので、拡張ビット数は４ビットである。例えば、入力画像のビット深度が８ｂｉｔならば、符号化装置４は、内部演算で少なくとも１２ｂｉｔの画像を符号化できるようにする。これにより、符号化対象画像を明るくするような露出補正することで白とびした画像を符号化してしまう、また、符号化対象画像を暗くするような露出補正することで黒つぶれした画像を符号化してしまう、ことを防ぐことができる。   Further, an aspect of the present invention also includes one that performs encoding processing by the same method as the encoding device 1 of the third embodiment. That is, as shown in FIG. 19, intra-image encoding is performed with the image F3 as a specific image, and inter-image encoding is performed with the image F1, the image F2, the image F4, and the image F5 using the image F3 as a reference image. In the case of FIG. 19, since the exposure correction range width is 4 (= 2 to 2), the number of extension bits is 4 bits. For example, if the bit depth of the input image is 8 bits, the encoding device 4 can encode an image of at least 12 bits by an internal operation. As a result, the overexposed image is encoded by performing the exposure correction to brighten the encoding target image, and the blackout image is encoded by performing the exposure correction to darken the encoding target image Can be prevented.

−−復号装置−−
次に、上述した符号化装置４により出力された符号化データを復号して、画像を出力する復号装置５について説明する。
図２１は、本実施の形態による復号装置９の構成を示すブロック図である。復号装置５は、第４の実施の形態における復号装置５が備える構成に加えて、ゲイン逆補正部２１２を備える。また、復号装置５は、符号化装置４からの符号化データに含まれる、復号処理の内部演算で必要なビット深度に応じて内部演算できるようを設定する。なお、図示の都合上、制御部２００から各部への信号出力を省略して示すとともに、復号装置９の各構成にて生成されるデータを合わせて模式的に示す。 -Decoding device--
Next, the decoding device 5 that decodes the encoded data output by the above-described encoding device 4 and outputs an image will be described.
FIG. 21 is a block diagram showing a configuration of decoding apparatus 9 according to the present embodiment. The decoding device 5 includes a gain decompensation unit 212 in addition to the configuration of the decoding device 5 in the fourth embodiment. In addition, the decoding device 5 is configured to be able to perform internal calculation in accordance with the bit depth required in the internal calculation of the decoding process, which is included in the encoded data from the encoding device 4. Note that, for convenience of illustration, signal output from the control unit 200 to each unit is omitted and shown, and data generated in each configuration of the decoding device 9 is schematically shown together.

可変長復号部２０１は、第１の実施の形態のように、符号化装置８から出力された、連続撮影された露出値が異なる複数の画像のそれぞれに対応する符号化データを入力し、符号化データのそれぞれに含まれる量子化係数や、動きベクトル等の予測情報、露出補正値等に加えて、ゲイン補正値、復号処理の内部演算で必要なビット深度を出力する。ゲイン逆補正部２１２は、第１蓄積部２０５からの画像の各サンプル値を、可変長復号部２０１からのゲイン補正で除算して、ゲイン逆補正して出力する。他の構成については、第４の実施の形態と同様の処理を行う。すなわち、符号化装置８のゲイン補正部１１７によってゲイン補正が施された画像に対して符号化処理により生成された符号化データに対して、復号を行った後ゲイン逆補正することによって、符号化および復号の際に白とびや黒つぶれの発生を抑制することができる。   As in the first embodiment, the variable-length decoding unit 201 receives encoded data corresponding to each of a plurality of continuously captured images having different exposure values, which are output from the encoding device 8, and In addition to the quantization coefficient included in each of the quantization data, prediction information such as a motion vector, an exposure correction value, etc., a gain correction value and a bit depth necessary for internal calculation of decoding processing are output. The inverse gain correction unit 212 divides each sample value of the image from the first storage unit 205 by the gain correction from the variable length decoding unit 201, and performs inverse gain correction for output. About the other structure, the process similar to 4th Embodiment is performed. That is, encoding is performed by performing gain inverse correction on the encoded data generated by the encoding processing on the image on which gain correction has been performed by the gain correction unit 117 of the encoding device 8. In addition, the occurrence of overexposure and underexposure can be suppressed during decoding.

上述した第６の実施の形態による符号化装置８および復号装置９によれば、第４の実施の形態により得られた作用効果に加えて、次の作用効果が得られる。すなわち、符号化装置８は、符号化対象画像の最大露出補正値に応じて符号化対象画像のゲイン（増幅率）を補正するゲイン補正部１１７をさらに備え、露出補正部１１１はゲイン補正後の符号化対象画像の露出値を補正するようにした。したがって、これにより、符号化対象画像を明るくするような露出補正をする場合や、号化対象画像を暗くするような露出補正をする場合に、白とびした画像を符号化したり黒つぶれした画像を符号化したりすることを防ぐことができる。さらに、復号装置９は、第１蓄積部２０５からの画像についてゲイン逆補正を施すゲイン逆補正部２１２を備える。したがって、符号化装置８によってゲイン補正が施された符号化データを復号した後にゲイン逆補正をすることにより、符号化および復号の際に白とびや黒つぶれの発生を抑制することができる。   According to the encoding device 8 and the decoding device 9 according to the sixth embodiment described above, the following effects can be obtained in addition to the effects obtained by the fourth embodiment. That is, the encoding apparatus 8 further includes a gain correction unit 117 that corrects the gain (amplification factor) of the encoding target image according to the maximum exposure correction value of the encoding target image, and the exposure correction unit 111 performs gain correction. The exposure value of the image to be encoded is corrected. Accordingly, when performing exposure correction to lighten the encoding target image or performing exposure correction to darken the encoding target image, the image in which the overexposure has been encoded or the blackout is thus displayed. Encoding can be prevented. Furthermore, the decoding device 9 includes a gain decompensation unit 212 that performs gain decompensation on the image from the first accumulation unit 205. Therefore, by performing gain reverse correction after decoding encoded data to which gain correction has been performed by the encoding device 8, it is possible to suppress the occurrence of overexposure and underexposure at the time of encoding and decoding.

−第７の実施の形態−
本発明の第７の実施の形態による符号化装置および復号装置について説明する。以下の説明では、第５の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第５の実施の形態と同じである。本実施の形態では、符号化装置は、入力画像を最大露出補正値に応じたゲインでゲイン補正する点が第５１の実施の形態とは異なる。このため、符号化装置により生成された符号化データを復号する復号装置の構成についても第５の実施の形態と異なる。符号化装置により生成された符号化データを復号する復号装置は、参照画像との間で画像間復号後、復号対象画像の露出値を逆補正する点、画像出力時に最大露出補正値に応じたゲインでゲイン逆補正する点が第３の実施の形態と異なる。また、符号化処理と復号処理の内部演算で扱える画像のビット深度を、符号化装置の入力画像や復号装置の出力画像のビット深度に対して、少なくとも露出補正範囲幅に相当するビット数以上拡張する点が第５の実施の形態と異なる。 -Seventh Embodiment-
A coding apparatus and a decoding apparatus according to a seventh embodiment of the present invention will be described. In the following description, the same components as in the fifth embodiment will be assigned the same reference numerals and differences will be mainly described. The points that are not particularly described are the same as in the fifth embodiment. The present embodiment is different from the 51st embodiment in that the encoding apparatus performs gain correction of the input image with a gain corresponding to the maximum exposure correction value. Therefore, the configuration of a decoding device that decodes the encoded data generated by the encoding device is also different from that of the fifth embodiment. The decoding device for decoding the encoded data generated by the encoding device reversely corrects the exposure value of the image to be decoded after the inter-image decoding with the reference image, and according to the maximum exposure correction value at the time of image output This embodiment differs from the third embodiment in that the gain is inversely corrected by the gain. In addition, the bit depth of the image that can be handled by the internal operation of the encoding process and the decoding process is expanded by at least the number of bits equivalent to the exposure correction range width to the bit depth of the input image of the encoding device and the output image of the decoding device Is different from the fifth embodiment.

−−符号化装置−−
図２２は、第７の実施の形態における符号化装置１０の構成を示すブロック図である。符号化装置１０は、第５の実施の形態による符号化装置６が備える構成に加えて、第６の実施の形態の符号化装置８が有するゲイン補正部１１７をさらに備える。また、符号化装置１０は、入力画像のビット深度に対して少なくとも露出補正範囲幅に応じたビット数分だけ対応ビット深度を拡張する。例えば、入力画像のビット深度が８ｂｉｔ、露出補正範囲幅に応じたビット数分が４ｂｉｔならば、少なくとも１２ｂｉｔの画像を符号化できるように、符号化装置６の対応ビット深度を拡張する。なお、図示の都合上、制御部１００から各部への信号出力を省略して示すとともに、符号化装置１０の各構成にて生成されるデータを合わせて模式的に示す。 --Encoding device--
FIG. 22 is a block diagram showing the configuration of the coding apparatus 10 in the seventh embodiment. In addition to the configuration of the encoding device 6 according to the fifth embodiment, the encoding device 10 further includes a gain correction unit 117 of the encoding device 8 of the sixth embodiment. In addition, the encoding device 10 extends the corresponding bit depth by the number of bits according to at least the exposure correction range width with respect to the bit depth of the input image. For example, if the bit depth of the input image is 8 bits and the number of bits corresponding to the exposure correction range width is 4 bits, the corresponding bit depth of the encoding device 6 is extended so that an image of at least 12 bits can be encoded. Note that, for convenience of illustration, signal output from the control unit 100 to each unit is omitted and shown, and data generated by each configuration of the encoding device 10 is schematically shown together.

ゲイン補正部１１７は、第６の実施の形態にて説明したように、入力画像の各サンプル値に、外部から入力する一連の符号化における最大露出補正値に応じたゲイン補正係数値を乗じて、入力画像をゲイン補正して出力する。最大露出補正値ΔＥＶmaxが零、もしくは、負ならゲイン補正係数値は１、最大露出補正値ΔＥＶmaxが正ならゲイン補正係数値は２ΔＥＶである。例えば、最大露出補正値ΔＥＶmax＝２ならゲイン補正係数値は２２＝４であり、入力画像の各サンプル値に、ゲイン補正係数値４を乗じて出力する。なお、可変長符号化部１０５は、第３の実施の形態のように、量子化部１０４から出力された量子化係数、予測制御情報生成部１１１から出力される動きベクトル等の予測制御情報、補正値算出部１１０から出力される露出補正値等に加えて、ゲイン補正値、復号処理の内部演算で必要なビット深度を可変長符号化することにより、符号化データを出力する。   As described in the sixth embodiment, the gain correction unit 117 multiplies each sample value of the input image by a gain correction coefficient value according to the maximum exposure correction value in a series of encoding input from the outside. , Gain correction of the input image and output. If the maximum exposure correction value ΔEVmax is zero or negative, the gain correction coefficient value is 1, and if the maximum exposure correction value ΔEVmax is positive, the gain correction coefficient value is 2ΔEV. For example, if the maximum exposure correction value ΔEVmax = 2, the gain correction coefficient value is 22 = 4, and each sample value of the input image is multiplied by the gain correction coefficient value 4 and output. Note that, as in the third embodiment, the variable-length coding unit 105 predicts control information such as the quantization coefficient output from the quantization unit 104, the motion vector output from the prediction control information generation unit 111, In addition to the exposure correction value and the like output from the correction value calculation unit 110, the encoded data is output by subjecting the gain correction value and the bit depth necessary for the internal calculation of the decoding process to variable length coding.

他の構成については、第５の実施の形態と同様の処理を行う。すなわち、ゲイン補正部１１７によってゲイン補正が施された画像に対して符号化データが生成される。すなわち、図１９に示すように、画像Ｆ３を特定画像として画像内符号化、画像Ｆ１、画像Ｆ２、画像Ｆ４、画像Ｆ５は画像Ｆ３を参照画像として画像間符号化する。図１９の場合は、露出補正範囲幅は４（＝−２〜２）なので、拡張ビット数は４ビットである。例えば、入力画像のビット深度が８ｂｉｔならば、符号化装置４は、内部演算で少なくとも１２ｂｉｔの画像を符号化できるようにする。これにより、符号化対象画像を明るくするような露出補正することで白とびした画像を符号化してしまう、また、符号化対象画像を暗くするような露出補正することで黒つぶれした画像を符号化してしまう、ことを防ぐことができる。   The other processes are performed in the same manner as in the fifth embodiment. That is, encoded data is generated for the image subjected to gain correction by the gain correction unit 117. That is, as shown in FIG. 19, intra-image encoding is performed with the image F3 as a specific image, and inter-image encoding is performed with the image F1, the image F2, the image F4, and the image F5 using the image F3 as a reference image. In the case of FIG. 19, since the exposure correction range width is 4 (= 2 to 2), the number of extension bits is 4 bits. For example, if the bit depth of the input image is 8 bits, the encoding device 4 can encode an image of at least 12 bits by an internal operation. As a result, the overexposed image is encoded by performing the exposure correction to brighten the encoding target image, and the blackout image is encoded by performing the exposure correction to darken the encoding target image Can be prevented.

−−復号装置−−
次に、上述した符号化装置１０により出力された符号化データを復号して、画像を出力する復号装置１１について説明する。
図２３は、本実施の形態による復号装置１１の構成を示すブロック図である。復号装置７は、第５の実施の形態による復号装置７が備える構成に加えて、第６の実施の形態による復号装置９が有するゲイン逆補正部２１２を備える。また、復号装置１１は、符号化装置１０からの符号化データに含まれる、復号処理の内部演算で必要なビット深度に応じて内部演算できるようを設定する。なお、図示の都合上、制御部２００から各部への信号出力を省略して示すとともに、図２３においては、復号装置１１の各構成にて生成されるデータを合わせて模式的に示す。 -Decoding device--
Next, the decoding device 11 that decodes the encoded data output by the above-described encoding device 10 and outputs an image will be described.
FIG. 23 is a block diagram showing a configuration of decoding apparatus 11 according to the present embodiment. The decoding device 7 includes a gain decompensation unit 212 of the decoding device 9 according to the sixth embodiment, in addition to the configuration of the decoding device 7 according to the fifth embodiment. In addition, the decoding device 11 is configured to be able to perform internal calculation according to the bit depth required for internal calculation of the decoding process, which is included in the encoded data from the encoding device 10. Note that, for convenience of illustration, signal output from the control unit 200 to each unit is omitted and shown, and in FIG. 23, data generated by each configuration of the decoding device 11 is schematically shown together.

可変長復号部２０１は、第１の実施の形態のように、符号化装置６から出力された、連続撮影された露出値が異なる複数の画像のそれぞれに対応する符号化データを入力し、符号化データのそれぞれに含まれる量子化係数や、動きベクトル等の予測情報、露出補正値等に加えて、ゲイン補正値、復号処理の内部演算で必要なビット深度を出力する。ゲイン逆補正部２１２は、第一蓄積部２０５からの画像の各サンプル値を、可変長復号部２０１からのゲイン補正で除算して、ゲイン逆補正して出力する。他の構成については、第５の実施の形態と同様の処理を行う。すなわち、符号化装置１０のゲイン補正部１１７によってゲイン補正が施された画像に対して符号化処理により生成された符号化データに対して、復号を行った後ゲイン逆補正することによって、符号化および復号の際に白とびや黒つぶれの発生を抑制することができる。   As in the first embodiment, the variable-length decoding unit 201 receives encoded data corresponding to each of a plurality of continuously captured images having different exposure values output from the encoding device 6, and In addition to the quantization coefficient included in each of the quantization data, prediction information such as a motion vector, an exposure correction value, etc., a gain correction value and a bit depth necessary for internal calculation of decoding processing are output. The gain decompensation unit 212 divides each sample value of the image from the first accumulation unit 205 by the gain compensation from the variable length decoding unit 201, performs gain inverse compensation, and outputs the result. The other processes are performed in the same manner as in the fifth embodiment. That is, encoding is performed by performing inverse gain correction on encoded data generated by the encoding processing on an image on which gain correction has been performed by the gain correction unit 117 of the encoding device 10. In addition, the occurrence of overexposure and underexposure can be suppressed during decoding.

上述した第７の実施の形態による符号化装置１０および復号装置１１によれば、第５の実施の形態により得られた作用効果に加えて、次の作用効果が得られる。すなわち、符号化装置１０は、符号化対象画像の最大露出補正値に応じて符号化対象画像のゲイン（増幅率）を補正するゲイン補正部１１７をさらに備え、露出補正部１１１はゲイン補正後の符号化対象画像の露出値を補正するようにした。したがって、これにより、符号化対象画像を明るくするような露出補正をする場合や、号化対象画像を暗くするような露出補正をする場合に、白とびした画像を符号化したり黒つぶれした画像を符号化したりすることを防ぐことができる。さらに、復号装置１１は、第１蓄積部２０５からの画像についてゲイン逆補正を施すゲイン逆補正部２１２を備える。したがって、符号化装置１０によってゲイン補正が施された符号化データを復号した後にゲイン逆補正をすることにより、符号化および復号の際に白とびや黒つぶれの発生を抑制することができる。   According to the coding apparatus 10 and the decoding apparatus 11 according to the seventh embodiment described above, the following operation and effect can be obtained in addition to the operation and effect obtained by the fifth embodiment. That is, the encoding apparatus 10 further includes a gain correction unit 117 that corrects the gain (amplification factor) of the encoding target image according to the maximum exposure correction value of the encoding target image, and the exposure correction unit 111 performs gain correction. The exposure value of the image to be encoded is corrected. Accordingly, when performing exposure correction to lighten the encoding target image or performing exposure correction to darken the encoding target image, the image in which the overexposure has been encoded or the blackout is thus displayed. Encoding can be prevented. Furthermore, the decoding device 11 includes a gain decompensation unit 212 that performs gain decompensation on the image from the first accumulation unit 205. Therefore, it is possible to suppress the occurrence of overexposure and underexposure at the time of encoding and decoding by performing gain reverse correction after decoding encoded data for which gain correction has been performed by the encoding device 10.

次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。
（１）ガンマ補正適用ＲＧＢ形式やガンマ補正適用ＹＵＶ形式の画像を符号化対象画像とするものに限定されず、たとえばＸＹＺ形式や他の形式の画像を符号化対象画像とするものについても本発明の一態様に含まれる。特に、第３の実施の形態にて説明した輝度成分のみについて露出補正を行う場合には、ＮＩＳＣ方式におけるＹＩＱ形式、ＨＳＶ形式、ＨＬＳ形式等の輝度や明るさを表す成分と色を表す成分からなる形式の画像を符号化対象画像としてもよい。たとえばＹＩＱ形式の場合にはＹ成分、ＨＳＶ形式の場合にはＶ成分、ＨＬＳ形式の場合にはＬ成分を補正すれば良い。
さらには、単板の撮像素子を備える撮像装置から出力されるＣＦＡ形式、たとえばＢａｙｅｒ形式の画像を符号化対象画像としてもよい。この場合、たとえば２×２画素のＰＧＧＢ成分を成分ごとに分離して符号化することができる。 The following modifications are also within the scope of the present invention, and one or more of the modifications can be combined with the above-described embodiment.
(1) The present invention is not limited to the case where an image of gamma correction application RGB format or gamma correction application YUV format is to be an encoding target image, for example, an image of XYZ format or other format is to be an encoding target image. It is included in one aspect. In particular, when the exposure correction is performed only for the luminance component described in the third embodiment, components representing luminance and brightness such as YIQ format, HSV format, and HLS format in the NISC system and components representing color are used. An image of the following format may be used as a coding target image. For example, the Y component in the case of the YIQ format, the V component in the case of the HSV format, and the L component in the case of the HLS format may be corrected.
Furthermore, an image of a CFA format, for example, a Bayer format output from an imaging apparatus including a single-plate imaging device may be used as a coding target image. In this case, for example, PGGB components of 2 × 2 pixels can be separated and encoded for each component.

（２）可変長符号化部１０５は、参照画像の露出補正値を符号化するものに代えて、各画像の撮影時の露出値を符号化してもよいし、各画像の撮影露光時間、撮影絞り値、撮影露出補正値（以後、撮影条件情報と呼ぶ）を符号化してもよい。この場合、撮影条件情報は、各画像に付加されるヘッダ情報や補助情報、たとえば、ＭＰＥＧ−２ビデオ（ＩＳＯ／ＩＥＣ１３８１８−２）に従う符号化データ形式ならばピクチャ層ヘッダ領域のユーザデータとして符号化すればよく、ＡＶＣ（ＩＳＯ／ＩＥＣ１４４９６−１０）に従う符号化データ形式ならばピクチャ層に付随するＳＥＩメッセージとして符号化すればよい。
各画像の撮影条件情報を符号化した場合には、復号装置はこれらの撮影条件情報を用いて、各画像の露出値や参照画像の露出補正値を算出することができる。 (2) The variable-length coding unit 105 may encode the exposure value at the time of shooting of each image instead of coding the exposure correction value of the reference image, or the shooting exposure time of each image, shooting The aperture value and the shooting exposure correction value (hereinafter referred to as shooting condition information) may be encoded. In this case, the shooting condition information is encoded as header information or auxiliary information added to each image, for example, as user data of a picture layer header area in the case of encoded data format according to MPEG-2 video (ISO / IEC 13818-2) What is necessary is to encode the data format according to AVC (ISO / IEC 14496-10) as an SEI message attached to the picture layer.
When the photographing condition information of each image is encoded, the decoding apparatus can calculate the exposure value of each image and the exposure correction value of the reference image using the photographing condition information.

（３）本発明の態様は、連続的に撮影された複数の露出値の異なる画像に対する符号化および復号に限定されず、連続的に撮影された複数のＩＳＯ感度の異なる画像に対する符号化および復号についても含まれる。この場合、ＩＳＯ感度に基づいて露出補正値の算出を行えばよい。 (3) The aspect of the present invention is not limited to encoding and decoding for images with different exposure values captured continuously, but encoding and decoding for images with different ISO sensitivity captured continuously. Is also included. In this case, the exposure correction value may be calculated based on the ISO sensitivity.

（４）本発明の態様は、連続的に撮影された複数の露出地の異なる画像に対する符号化および複合に限定されず、たとえば特開平７−１３１７０４号公報に記載の、複数の撮像素子を用いて異なる露出値で同時に撮影した露出値の異なる複数の画像、に対する符号化および復号についても含まれる。 (4) The aspect of the present invention is not limited to encoding and combining for a plurality of continuously exposed images of different exposed locations, and uses, for example, a plurality of imaging devices described in JP-A-7-131704. It also includes encoding and decoding for multiple images of different exposure values, taken simultaneously at different exposure values.

本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。   The present invention is not limited to the above embodiment as long as the features of the present invention are not impaired, and other embodiments considered within the scope of the technical idea of the present invention are also included in the scope of the present invention. .

１、４、６、８、１０…符号化装置、２、５、７、９、１１…復号装置、
１０２…減算部、１０３…直交変換部、１０４…量子化部、
１０５…可変長符号化部、１１０…補正値算出部、１１１…露出補正部、
１１５…露出補正逆変換部、１１７…ゲイン補正部、２０１…可変長復号部、
２０２…逆量子化部、２０３…逆直交変換部、２０７…露出補正部、
２１０…露出補正逆変換部、２１２…ゲイン逆補正部 1, 4, 6, 8, 10: Encoding device, 2, 5, 7, 9, 11 ... Decoding device,
102 ... subtraction unit, 103 ... orthogonal transformation unit, 104 ... quantization unit,
105: variable length coding unit, 110: correction value calculation unit, 111: exposure correction unit,
115: exposure correction inverse conversion unit, 117: gain correction unit, 201: variable length decoding unit,
202 ... inverse quantization unit, 203 ... inverse orthogonal transformation unit, 207 ... exposure correction unit,
210: Exposure correction inverse conversion unit, 212: Gain inverse correction unit

Claims (9)

露出値が異なる複数の画像のうちの第１の画像に符号化を行い第１の符号化画像を生成する第１符号化部と、
前記複数の画像のうちの第２の画像に、前記第１の符号化画像の一部を復号化した画像を第１の参照画像として用いて画像間符号化を行い第２の符号化画像を生成する第２符号化部と、
前記第２の画像の露出値と、前記第１の参照画像の露出値とのうちの一方を他方にほぼ一致させる補正を行う補正部と、を備え、
前記第２符号化部は、前記補正部による補正が行われた前記第２の画像、または前記補正部による補正が行われた前記第１の参照画像を用いて前記画像間符号化を行う画像処理装置。 A first encoding unit that encodes a first image of a plurality of images having different exposure values to generate a first encoded image;
Inter-picture encoding is performed on a second image of the plurality of images using an image obtained by decoding a part of the first encoded image as a first reference image. A second encoding unit to generate;
And a correction unit that performs correction so that one of the exposure value of the second image and the exposure value of the first reference image substantially matches the other.
The second encoding unit performs the inter-image encoding using the second image corrected by the correction unit or the first reference image corrected by the correction unit. Processing unit. 請求項１に記載の画像処理装置において、
前記第２符号化部は、前記複数の画像のうちの第３の画像に、前記第２の符号化画像の一部を復号化した画像を第２の参照画像として用いて前記画像間符号化を行い第３の符号化画像を生成し、
前記補正部は、前記第３の画像の露出値と、前記第２の参照画像の露出値とのうちの一方を他方にほぼ一致させる補正を行い、
前記第２符号化部は、前記補正部による補正が行われた前記第３の画像、または前記補正部による補正が行われた前記第２の参照画像を用いて前記画像間符号化を行う画像処理装置。 In the image processing apparatus according to claim 1,
The second encoding unit performs the inter-picture encoding using, as a second reference image, an image obtained by decoding a part of the second encoded image into a third image of the plurality of images. To generate a third encoded image,
The correction unit performs correction so that one of the exposure value of the third image and the exposure value of the second reference image substantially matches the other.
The second encoding unit performs the inter-image encoding using the third image corrected by the correction unit or the second reference image corrected by the correction unit Processing unit. 請求項１または２に記載の画像処理装置において、
前記補正部は、前記複数の画像のうちの全ての画像の露出値を補正して、前記第１の参照画像の露出値とほぼ一致させる画像処理装置。 The image processing apparatus according to claim 1 or 2
The image processing apparatus according to claim 1, wherein the correction unit corrects the exposure value of all the images among the plurality of images so as to substantially match the exposure value of the first reference image. 露出値が異なる複数の画像のうちの第１の画像に、第１の参照画像を用いて画像間符号化を行い、第１の符号化画像を生成する第１符号化部と、
前記複数の画像のうちの第２の画像に、前記第１の符号化画像の一部を復号化した画像を第２の参照画像として用いて前記画像間符号化を行い、第２の符号化画像を生成する第２符号化部と、
前記第２の画像の露出値と、前記第２の参照画像の露出値とのうちの一方を他方にほぼ一致させる補正を行う補正部と、を備え、
前記第２符号化部は、前記補正部による補正が行われた前記第２の画像、または前記補正部による補正が行われた前記第２の参照画像を用いて前記画像間符号化を行う画像処理装置。 A first encoding unit that performs inter-image encoding on a first image of a plurality of images having different exposure values using the first reference image to generate a first encoded image;
The second image of the plurality of images is subjected to the inter-picture encoding using an image obtained by decoding a part of the first encoded image as a second reference image, and the second encoding A second encoding unit that generates an image;
And a correction unit that performs correction so that one of the exposure value of the second image and the exposure value of the second reference image substantially matches the other.
The second encoding unit performs the inter-image encoding using the second image corrected by the correction unit or the second reference image corrected by the correction unit Processing unit. 請求項４に記載の画像処理装置において、
前記補正部は、前記複数の画像のうちの全ての画像の露出値を補正して、前記第２の参照画像の露出値とほぼ一致させる画像処理装置。 In the image processing apparatus according to claim 4,
The image processing apparatus according to claim 1, wherein the correction unit corrects the exposure values of all the images among the plurality of images so as to substantially match the exposure values of the second reference image. 請求項１から５のいずれか１項に記載の画像処理装置において、
前記画像の増幅率を補正する増幅率補正部をさらに備え、
前記補正部は、前記増幅率補正部によって補正された画像の露出値を補正する画像処理装置。 The image processing apparatus according to any one of claims 1 to 5.
The image processing apparatus further comprises an amplification factor correction unit that corrects the amplification factor of the image.
The image processing apparatus, wherein the correction unit corrects an exposure value of the image corrected by the amplification factor correction unit. 請求項１から６のいずれか１項に記載の画像処理装置において、
前記補正部は、前記画像が輝度成分に露出補正を行う画像処理装置。 The image processing apparatus according to any one of claims 1 to 6.
The correction unit is an image processing apparatus that performs exposure correction on the luminance component of the image. 請求項１から７のいずれか１項に記載の画像処理装置において、
前記補正部による露出値の補正に関する情報を符号化する第３符号化部を備える画像処理装置。 The image processing apparatus according to any one of claims 1 to 7.
An image processing apparatus comprising: a third encoding unit that encodes information related to the correction of the exposure value by the correction unit. 請求項１から８のいずれか１項に記載の画像処理装置において、
前記補正部による露出値の補正に関する情報と前記画像とを関連付けて記憶する記憶部を備える画像処理装置。
The image processing apparatus according to any one of claims 1 to 8.
An image processing apparatus, comprising: a storage unit that stores information related to the correction of the exposure value by the correction unit and the image.
JP2019073763A 2019-04-08 2019-04-08 Image processing device Pending JP2019106741A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019073763A JP2019106741A (en) 2019-04-08 2019-04-08 Image processing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019073763A JP2019106741A (en) 2019-04-08 2019-04-08 Image processing device

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2014126450A Division JP2016005244A (en) 2014-06-19 2014-06-19 Image encoding device, image decoding device, image encoding method and image decoding method

Publications (1)

Publication Number Publication Date
JP2019106741A true JP2019106741A (en) 2019-06-27

Family

ID=67061553

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019073763A Pending JP2019106741A (en) 2019-04-08 2019-04-08 Image processing device

Country Status (1)

Country Link
JP (1) JP2019106741A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220078321A1 (en) * 2020-09-09 2022-03-10 Canon Kabushiki Kaisha Image capturing control apparatus, method for controlling image capturing apparatus, and storage medium

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007114368A1 (en) * 2006-03-30 2007-10-11 Kabushiki Kaisha Toshiba Image coding apparatus and method, and image decoding apparatus and method
JP2012515493A (en) * 2009-01-19 2012-07-05 シャープ株式会社 Method and system for extended dynamic range images and video from multiple exposures

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007114368A1 (en) * 2006-03-30 2007-10-11 Kabushiki Kaisha Toshiba Image coding apparatus and method, and image decoding apparatus and method
JP2012515493A (en) * 2009-01-19 2012-07-05 シャープ株式会社 Method and system for extended dynamic range images and video from multiple exposures

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220078321A1 (en) * 2020-09-09 2022-03-10 Canon Kabushiki Kaisha Image capturing control apparatus, method for controlling image capturing apparatus, and storage medium
US11711619B2 (en) * 2020-09-09 2023-07-25 Canon Kabushiki Kaisha Controlling exposure based on inverse gamma characteristic

Similar Documents

Publication Publication Date Title
RU2512130C2 (en) Device and method for high-resolution imaging at built-in device
EP2612499B1 (en) Method and system for illumination compensation and transition for video coding and processing
JP5372911B2 (en) Per-pixel weighting for intra-frame coding
JP6584501B2 (en) Decoding method, encoding method, decoding apparatus, encoding method, program
US8000389B2 (en) Method and device for coding a video picture in inter or intra mode
US8457439B2 (en) System and method for reducing artifacts in images
JP5352448B2 (en) Inverse quantization circuit, inverse quantization method, and image reproduction apparatus
JP2009290498A (en) Image encoder and image encoding method
JP5133290B2 (en) Video encoding apparatus and decoding apparatus
JP2005159419A (en) Apparatus and method of processing image, computer program and computer-readable storage medium
JP2019106741A (en) Image processing device
JP2016005244A (en) Image encoding device, image decoding device, image encoding method and image decoding method
JP2023162410A (en) Intra prediction device, image encoding device, image decoding device and program
JP2008219100A (en) Predictive image generating device, method and program, and image encoding device, method and program
JP6564315B2 (en) Encoding device, decoding device, and program
KR20170046136A (en) Method for choosing a compression algorithm depending on the image type
JP2011130192A (en) Encoder and image converting apparatus
US9866841B2 (en) Image coding method and image coding apparatus
JP2014131136A (en) Video compression apparatus, video decoder and program
US20170280154A1 (en) Signal processing apparatus, imaging apparatus, and signal processing method
US20230007311A1 (en) Image encoding device, image encoding method and storage medium, image decoding device, and image decoding method and storage medium
JP4160513B2 (en) Moving image luminance change parameter estimation method, moving image luminance change parameter estimation program and recording medium thereof, and moving image encoding apparatus, moving image encoding method, moving image encoding program and recording medium thereof
JP2019036992A (en) Compressor, decoder, and program
JP2020057842A (en) Image coding apparatus, control method thereof, and program
JP2014107611A (en) Image processing apparatus and image processing method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190410

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200317

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200407

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200604

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200804

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200818

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210302