JP2015023498A

JP2015023498A - Image coding device, image coding method and program

Info

Publication number: JP2015023498A
Application number: JP2013151722A
Authority: JP
Inventors: 小林　悟; Satoru Kobayashi; 悟小林
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2013-07-22
Filing date: 2013-07-22
Publication date: 2015-02-02

Abstract

PROBLEM TO BE SOLVED: To record a plurality of images imaged by different exposure with a high tone levels and a small data amount.SOLUTION: Interframe prediction coding is performed without grayscale compression of a plurality of image data imaged by periodically changing exposure. At this time, a frame other than the shortest exposure, having a smallest exposure difference from a reference source frame is set to be a reference destination frame. Also, a period in which a frame (picture) of intraframe prediction coding appears is set to be an integer multiple of a period of changing the exposure. Further, the brightness of the reference destination frame is fit to the brightness of the reference source frame.

Description

本発明は、画像符号化装置、画像符号化方法およびプログラムに関し、特に、画像を符号化するために用いて好適なものである。 The present invention relates to an image encoding device, an image encoding method, and a program, and is particularly suitable for use in encoding an image.

近年、複数枚の画像を合成し、合成した画像を記録可能なデジタルカメラといった撮像装置が数多く製品化されている。このような撮像装置として、被写体の明るさが適正となる露出よりも低い露出で撮像した画像と当該露出よりも高い露出（被写体の明るさが適正となる露出等）で撮像した画像とを合成することにより、白飛びや暗部のノイズを改善する機能を持つ撮像装置がある。このような機能は、ハイダイナミックレンジ機能と呼ばれている（以下、ハイダイナミックレンジをＨＤＲと称する）。一般的に、撮像素子のダイナミックレンジは、自然界のダイナミックレンジよりも狭い。したがって、例えば、逆光シーンで撮影すると、白飛びが発生してしまう場合がある。また、より低い露出で撮影すると、全体的に暗く撮像されるため、白飛びは抑制することが可能となるが、黒潰れが発生してしまう。 In recent years, a large number of imaging apparatuses such as digital cameras capable of synthesizing a plurality of images and recording the synthesized images have been commercialized. As such an imaging device, an image captured with an exposure lower than the appropriate exposure of the subject is combined with an image captured with an exposure higher than the exposure (such as an exposure with appropriate subject brightness). By doing so, there is an imaging device having a function of improving whiteout and dark part noise. Such a function is called a high dynamic range function (hereinafter, the high dynamic range is referred to as HDR). In general, the dynamic range of an image sensor is narrower than the dynamic range of nature. Therefore, for example, when shooting in a backlight scene, whiteout may occur. Also, if the image is taken with a lower exposure, the entire image is darkened, so that whiteout can be suppressed, but blackout occurs.

ＨＤＲ機能では、露出の異なる複数の画像を撮像し、明るい領域には白飛びしていない低露出画像に重みを掛け、逆に、暗い領域には黒潰れしていない高露出画像に重みを掛けて合成することにより、明部も暗部も階調豊かな画像を作成することができる。このように、高階調な画像を作成できることがＨＤＲの特徴である。ところで、階調をユーザの好みの階調に調整してＨＤＲ画像を作成したいというニーズがある。この場合、撮影しながら階調を調整してＨＤＲ画像を作成するとなると、シャッターチャンスを逃してしまう恐れがある。特に、動画像の撮影時には、撮影しながら階調をマニュアルで調整することは困難である。そのため、ＨＤＲ画像を作成するために必要な、異なる露出で撮像した画像を一旦記録し、撮影後に階調を調整しながらＨＤＲ画像を作成する方法が有効である。また、低階調な画像に対し、例えば、暗部の階調を持ち上げたりすると、疑似輪郭が発生してしまう恐れがある。そのため、ＨＤＲ画像を作成するためには、異なる露出で撮像した画像を高階調のまま記録することが必要である。 The HDR function captures multiple images with different exposures, weights low exposure images that are not overexposed in bright areas, and weights high exposure images that are not crushed in dark areas. By combining them, it is possible to create an image with rich gradation in both bright and dark areas. Thus, it is a feature of HDR that a high gradation image can be created. Incidentally, there is a need to create an HDR image by adjusting the gradation to the user's favorite gradation. In this case, if an HDR image is created by adjusting the gradation while shooting, there is a risk of missing a photo opportunity. In particular, when shooting a moving image, it is difficult to manually adjust the gradation while shooting. For this reason, it is effective to temporarily record images captured at different exposures necessary for creating an HDR image and create the HDR image while adjusting the gradation after shooting. Further, for example, if the gradation of a dark part is raised for a low gradation image, a pseudo contour may be generated. Therefore, in order to create an HDR image, it is necessary to record images captured at different exposures with high gradation.

異なる露出で撮像した画像を記録するための技術として特許文献１に記載の技術がある。特許文献１に記載の技術は、異なる露出で撮像した各フレームの画像を符号化する際に、各フレームの画像が撮像されたときの露出に応じて、フレーム毎に符号化圧縮率を変更するという技術である。 As a technique for recording images taken with different exposures, there is a technique described in Patent Document 1. The technique described in Patent Literature 1 changes the encoding compression rate for each frame according to the exposure when the image of each frame is captured when encoding the image of each frame captured with a different exposure. It is a technology.

特開２００６−３３０２２号公報JP 2006-33022 A

前述のように、撮影後に階調を調整しながらＨＤＲ画像を作成する際には、異なる露出で撮像した複数の画像を一旦記録する必要がある。このような複数の画像を記録するためには、多くのデータ量のデータを記録しなければならない。また、動画像のように長時間の画像データを記録する場合のデータ量は、より膨大となってしまう。
これに対して、特許文献１に記載の技術では、適性露出でない画像（低露出画像等）の圧縮率を高めることによりデータ量の圧縮をしている。しかしながら、適性露光でない画像には、白飛びや黒潰れの階調表現情報が多く含まれており、それらを一様に高い圧縮率で圧縮してしまうと、一画素に十分なビット数を割当てられなくなり、ユーザが求める階調表現を実現できなくなる可能性が高まる。
本発明は、このような問題点に鑑みてなされたものであり、異なる露出で撮像された複数の画像を高階調且つ少ないデータ量で記録できるようにすることを目的とする。 As described above, when creating an HDR image while adjusting the gradation after shooting, it is necessary to temporarily record a plurality of images taken with different exposures. In order to record such a plurality of images, a large amount of data must be recorded. Further, the amount of data when recording long-time image data such as a moving image becomes enormous.
On the other hand, in the technique described in Patent Document 1, the amount of data is compressed by increasing the compression rate of an image that is not properly exposed (such as a low-exposure image). However, an image that is not suitable for exposure contains a lot of gradation expression information such as overexposure and underexposure, and if they are uniformly compressed at a high compression ratio, a sufficient number of bits are allocated to one pixel. This increases the possibility that the gradation expression desired by the user cannot be realized.
The present invention has been made in view of such problems, and an object thereof is to record a plurality of images taken with different exposures with high gradation and a small data amount.

本発明の画像符号化装置は、複数の露出で撮像された複数のフレームの画像データについて、フレーム間予測符号化方式またはフレーム内予測符号化方式を用いて符号化する符号化手段を有する画像符号化装置であって、前記符号化手段は、前記フレームにおける露出に応じて、前記フレーム間予測符号化方式における符号化対象となる参照元フレームに対する参照先フレームを決定することと、前記参照元フレームおよび前記参照先フレームの明るさを合わせることと、の少なくともいずれかを実行することを特徴とする。 An image encoding apparatus according to the present invention includes an encoding unit that encodes a plurality of frames of image data captured at a plurality of exposures using an inter-frame prediction encoding method or an intra-frame prediction encoding method. The encoding unit determines a reference frame for a reference frame to be encoded in the inter-frame predictive encoding method according to exposure in the frame; and the reference frame And at least one of adjusting the brightness of the reference frame.

本発明によれば、異なる露出で撮像された複数の画像を高階調且つ少ないデータ量で記録することができる。 According to the present invention, a plurality of images taken with different exposures can be recorded with high gradation and a small amount of data.

撮像装置の構成を示す図である。It is a figure which shows the structure of an imaging device. 異なる露出で撮像した場合の入射光量と信号レベルの関係を示す図である。It is a figure which shows the relationship between the incident light quantity at the time of imaging with different exposure, and a signal level. 高露出画像、中露出画像および低露出画像を概念的に示す図である。It is a figure which shows notionally a high exposure image, a medium exposure image, and a low exposure image. 撮像するフレームとそのフレームが撮像された露出の関係を示す図である。It is a figure which shows the relationship between the flame | frame to image, and the exposure by which the flame | frame was imaged. 符号化部の詳細な構成を示す図である。It is a figure which shows the detailed structure of an encoding part. フレーム間予測符号化処理を行う際に参照するフレームを示す図である。It is a figure which shows the frame referred when performing the inter-frame prediction encoding process. 画像データの明るさを合わせる方法を説明する図である。It is a figure explaining the method to match the brightness of image data. 撮像装置の処理を説明するフローチャートである。It is a flowchart explaining the process of an imaging device.

以下、図面を参照しながら、本発明の一実施形態について説明する。
図１は、本実施形態による画像符号化装置を適用可能な撮像装置の構成の一例を示すブロック図である。本実施形態における撮像装置１００は、異なる露出条件で撮像した複数の画像を高階調、且つ少ないデータ量で記録する撮像装置である。 Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram illustrating an example of a configuration of an imaging apparatus to which the image coding apparatus according to the present embodiment can be applied. The imaging apparatus 100 according to the present embodiment is an imaging apparatus that records a plurality of images captured under different exposure conditions with high gradation and a small amount of data.

撮像装置１００は、レンズ１０１、絞り部１０２、撮像部１０３、Ａ／Ｄ変換部１０４、カメラ信号処理部１０５、撮像条件決定部１０６、フレーム間予測方法決定部１０７、符号化部１０８、および画像記録部１０９を有する。
レンズ１０１は、被写体光を、絞り部１０２および撮像部１０３に導く。また、レンズ１０１は、複数のレンズ群を備えて構成される。レンズ１０１は、後述の撮像条件決定部１０６から出力されるフォーカス情報に基づき、撮像装置１００から或る距離の被写体像をボケることなく撮像部１０３に結像できるようにレンズ間の距離を変化させる。絞り部１０２は、後述の撮像条件決定部１０６から出力される絞り情報に基づき、レンズ１０１から導かれた被写体光の一部を遮ることにより撮像部１０３に入光する光の光量を制限する。 The imaging apparatus 100 includes a lens 101, a diaphragm unit 102, an imaging unit 103, an A / D conversion unit 104, a camera signal processing unit 105, an imaging condition determination unit 106, an inter-frame prediction method determination unit 107, an encoding unit 108, and an image. A recording unit 109 is included.
The lens 101 guides subject light to the diaphragm unit 102 and the imaging unit 103. The lens 101 includes a plurality of lens groups. The lens 101 changes the distance between the lenses based on the focus information output from the imaging condition determination unit 106 described later so that a subject image at a certain distance from the imaging device 100 can be formed on the imaging unit 103 without blurring. Let The diaphragm unit 102 limits the amount of light incident on the imaging unit 103 by blocking part of the subject light guided from the lens 101 based on aperture information output from the imaging condition determination unit 106 described later.

撮像部１０３は、後述の撮像条件決定部１０６から出力される露光時間情報に基づき、決められた露光時間の被写体光を、ＣＣＤやＣＭＯＳ等の撮像素子を使って撮像し、撮像した被写体光を電気信号に変換してＡ／Ｄ変換部１０４に出力する。Ａ／Ｄ変換部１０４は、所定の増幅率に従って、撮像部１０３から出力された電気信号（アナログ信号）を増幅し、ディジタル信号に変換する。 The imaging unit 103 captures the subject light of the determined exposure time based on the exposure time information output from the imaging condition determination unit 106, which will be described later, using an image sensor such as a CCD or a CMOS, and the captured subject light. It is converted into an electrical signal and output to the A / D converter 104. The A / D conversion unit 104 amplifies the electrical signal (analog signal) output from the imaging unit 103 according to a predetermined amplification factor, and converts it into a digital signal.

カメラ信号処理部１０５は、Ａ／Ｄ変換部１０４より出力されたディジタル信号に対して、ホワイトバランスやガンマ処理、輪郭強調等の画像処理を行い、映像信号を出力する。また、カメラ信号処理部１０５は、フォーカス位置や露出といった撮像条件を決めるための評価値を撮像条件決定部１０６に出力する。フォーカス位置を決めるための評価値としては、例えば、画像に対してバンドパスフィルタ処理を行うことにより得られるコントラスト情報（画像のコントラストを示す情報）が挙げられる。また、露出を決めるための評価値としては、例えば、画像に対する輝度平均を算出することにより得られる明るさ情報（画像の明るさを示す情報である）が挙げられる。 The camera signal processing unit 105 performs image processing such as white balance, gamma processing, and edge enhancement on the digital signal output from the A / D conversion unit 104 and outputs a video signal. In addition, the camera signal processing unit 105 outputs an evaluation value for determining imaging conditions such as a focus position and exposure to the imaging condition determining unit 106. As an evaluation value for determining a focus position, for example, contrast information (information indicating the contrast of an image) obtained by performing a band pass filter process on the image can be cited. Moreover, as an evaluation value for determining exposure, for example, brightness information (information indicating the brightness of an image) obtained by calculating a luminance average with respect to an image can be cited.

撮像条件決定部１０６は、カメラ信号処理部１０５から出力されたコントラスト情報および明るさ情報に応じて、撮像する条件を決定する。具体的に説明すると、撮像条件決定部１０６は、レンズ１０１に対しては、コントラスト情報からフォーカス位置を決めるためのフォーカス情報を生成して出力する。また、撮像条件決定部１０６は、明るさ情報から露出を決め、絞り部１０２および撮像部１０３に対して、絞り情報および露光時間情報（シャッタースピード）を出力する。 The imaging condition determination unit 106 determines imaging conditions according to contrast information and brightness information output from the camera signal processing unit 105. More specifically, the imaging condition determination unit 106 generates and outputs focus information for determining the focus position from the contrast information to the lens 101. Further, the imaging condition determination unit 106 determines the exposure from the brightness information, and outputs aperture information and exposure time information (shutter speed) to the aperture unit 102 and the imaging unit 103.

フレーム間予測方法決定部１０７は、後述の符号化部１０８で行うフレーム間符号化のフレーム間予測方法を決定し、決定したフレーム間予測方法を示すフレーム間予測方法情報を符号化部１０８に出力する。
符号化部１０８は、カメラ信号処理部１０５から出力された映像信号に対して、フレーム内符号化またはフレーム間符号化を行い、符号化ストリームを出力する。フレーム間符号化を行う場合、符号化部１０８は、フレーム間予測方法決定部１０７により決定されたフレーム間予測方法に基づきフレーム間符号化を行う。
画像記録部１０９は、符号化部１０８から出力された符号化ストリームを記録する。 The inter-frame prediction method determination unit 107 determines an inter-frame prediction method for inter-frame encoding performed by the encoding unit 108 described later, and outputs inter-frame prediction method information indicating the determined inter-frame prediction method to the encoding unit 108. To do.
The encoding unit 108 performs intraframe encoding or interframe encoding on the video signal output from the camera signal processing unit 105, and outputs an encoded stream. When performing interframe coding, the coding unit 108 performs interframe coding based on the interframe prediction method determined by the interframe prediction method determination unit 107.
The image recording unit 109 records the encoded stream output from the encoding unit 108.

尚、通常、カメラ信号処理部１０５において、画像に対してガンマ処理を行うことにより階調を圧縮する。しかし、本実施形態では、異なる露出で撮像した「階調特性の異なる複数の画像」に対し、階調を十分に保持したまま記録するため、階調圧縮により階調情報を失うことは望ましくない。そのため、ガンマ処理による階調の圧縮は行わない、若しくは、最低限の階調の圧縮に留めることが必要となる。尚、以下の実施形態では、カメラ信号処理部１０５において、階調の圧縮を行わない場合を例に挙げて説明する。ここで、最低限の階調の圧縮を行うとは、例えば、入力が１のときに出力が１になるガンマ特性でガンマ処理を行う場合よりも階調の圧縮率が低くなるガンマ特性に基づいてガンマ処理を行うことをいう。このようなガンマ特性の一例としては、いわゆるｌｏｇガンマ（入力が高輝度になっても出力が白とびしないようなカーブ形状になっているガンマ特性）がある。 Normally, the camera signal processing unit 105 compresses gradation by performing gamma processing on the image. However, in the present embodiment, since “a plurality of images having different gradation characteristics” captured at different exposures is recorded with sufficient gradation, it is not desirable to lose gradation information by gradation compression. . For this reason, it is necessary not to perform gradation compression by gamma processing, or it is necessary to limit compression to the minimum gradation. In the following embodiment, a case where gradation compression is not performed in the camera signal processing unit 105 will be described as an example. Here, the minimum gradation compression is based on, for example, a gamma characteristic in which the gradation compression rate is lower than that in the case of performing gamma processing with a gamma characteristic in which the output is 1 when the input is 1. To perform gamma processing. As an example of such a gamma characteristic, there is a so-called log gamma (a gamma characteristic having a curve shape that does not cause the output to be overexposed even when the input becomes bright).

次に、撮像条件決定部１０６、符号化部１０８、およびフレーム間予測方法決定部１０７について詳しく説明する。
（撮像条件決定部１０６）
まず、撮像条件決定部１０６について図２および図３を参照して詳しく説明する。
撮像条件決定部１０６は、カメラ信号処理部１０５から出力されたコントラスト情報および明るさ情報に応じて、撮像する条件を決定する。以下、ＨＤＲ画像を作成するために必要な画像の撮像条件の決定方法の一例について詳しく説明する。 Next, the imaging condition determination unit 106, the encoding unit 108, and the inter-frame prediction method determination unit 107 will be described in detail.
(Imaging condition determination unit 106)
First, the imaging condition determination unit 106 will be described in detail with reference to FIGS. 2 and 3.
The imaging condition determination unit 106 determines imaging conditions according to contrast information and brightness information output from the camera signal processing unit 105. Hereinafter, an example of a method for determining an imaging condition for an image necessary for creating an HDR image will be described in detail.

ＨＤＲ画像を作成するためには、まず、階調特性が異なる複数の画像を得るため、異なる露出で撮像することが必要となる。そのために撮像条件決定部１０６は、異なる複数の露出を決定する。本実施形態では、露出を変える方法として、撮像部１０３の露光時間（シャッタースピード）を変化する方法を例に挙げて説明する。ただし、露出を変える方法は、露光時間を変化させる方法に限ったものではない。例えば、絞り部１０２の絞り値を変化させてもよい。 In order to create an HDR image, first, it is necessary to capture images with different exposures in order to obtain a plurality of images having different gradation characteristics. Therefore, the imaging condition determination unit 106 determines a plurality of different exposures. In the present embodiment, as a method for changing the exposure, a method for changing the exposure time (shutter speed) of the imaging unit 103 will be described as an example. However, the method of changing the exposure is not limited to the method of changing the exposure time. For example, the aperture value of the aperture unit 102 may be changed.

図２に、異なる露光時間（露出）で撮像した場合の入射光量と撮像部１０３の信号レベルとの関係の一例を示す。
図２において、グラフＥ_Hは、露光時間が最も長い高露出画像の入射光量と信号レベルとの関係を示す。グラフＥ_Mは、露光時間が２番目に長い中露出画像の入射光量と信号レベルとの関係を示す。グラフＥ_Lは、露光時間が最も短い低露出画像の入射光量と信号レベルとの関係を示す。
また、図３に高露出画像、中露出画像および低露出画像の絵柄の一例を概念的に示す。具体的に、図３（ａ）に高露出画像、図３（ｂ）に中露出画像、図３（ｃ）に低露出画像の絵柄をそれぞれ示す。
高露出画像では、入射光量が小さくて暗い被写体の信号レベルは高いが、或る入射光量Ｌ_H以上の明るい被写体の信号レベルは飽和してしまう（図２を参照）。つまり、高露出画像は、他の中露出画像や低露出画像よりも白飛びし易いく、黒潰れし難いといった階調特性がある。そのため、図３（ａ）に示す高露出画像３１０では、先頭の暗い車３１１は明るく撮像されているが、最後尾の明るい車３１２は白飛びしてしまっている。尚、高露出画像３１０では、説明の都合上、この白飛びしている車３１２を破線で示す。 FIG. 2 shows an example of the relationship between the amount of incident light and the signal level of the imaging unit 103 when imaging is performed with different exposure times (exposure).
In FIG. 2, a graph E _H shows the relationship between the amount of incident light and the signal level of the high exposure image with the longest exposure time. A graph E _M shows the relationship between the incident light amount and the signal level of the medium exposure image having the second longest exposure time. The graph E _L shows the relationship between the amount of incident light and the signal level of the low exposure image with the shortest exposure time.
FIG. 3 conceptually shows an example of a pattern of a high exposure image, a medium exposure image, and a low exposure image. Specifically, FIG. 3A shows a high exposure image, FIG. 3B shows a medium exposure image, and FIG. 3C shows a low exposure image.
In a high-exposure image, the signal level of a dark subject with a small incident light amount is high, but the signal level of a bright subject with a certain incident light amount L _H or more is saturated (see FIG. 2). In other words, the high-exposure image has gradation characteristics such that it is less likely to be over-exposed than the other medium-exposure images and low-exposure images, and is not easily crushed. For this reason, in the high-exposure image 310 shown in FIG. 3A, the first dark car 311 is imaged brightly, but the last bright car 312 is whiteout. In the high-exposure image 310, the overcast car 312 is indicated by a broken line for convenience of explanation.

一方、低露出画像では、入射光量が小さくて暗い被写体の信号レベルは低いが、信号レベルが飽和する入射光量Ｌ_Lが最も大きい（図２を参照）。つまり、低露出画像は、他の高露出画像や中露出画像よりも白飛びし難く、黒潰れし易いといった階調特性がある。そのため、図３（ｃ）に示す低露出画像３３０では、先頭の暗い車３３１は黒潰れしてしまっているが、最後尾の明るい車３３２は白飛びすることなく、撮像されている。
中露出画像の階調特性は、高露出画像と低露出画像の中間である。そのため、図３（ｂ）に示す中露出画像３２０では、先頭の暗い車３２１はやや黒潰れしており、最後尾の明るい車３２２はやや白飛びしている。
ＨＤＲ画像を作成するためには、このように異なる階調特性を持つ複数の画像が必要である。 On the other hand, in a low-exposure image, the incident light amount is small and the signal level of a dark subject is low, but the incident light amount L _{L at} which the signal level is saturated is the largest (see FIG. 2). That is, the low-exposure image has gradation characteristics such that whiteout is less likely to occur than other high-exposure images and medium-exposure images, and blacks are easily crushed. For this reason, in the low-exposure image 330 shown in FIG. 3C, the dark car 331 at the beginning is blacked out, but the bright car 332 at the tail is captured without being overexposed.
The gradation characteristic of the medium exposure image is intermediate between the high exposure image and the low exposure image. Therefore, in the middle-exposure image 320 shown in FIG. 3B, the dark car 321 at the beginning is slightly blacked out, and the bright car 322 at the end is slightly white.
In order to create an HDR image, a plurality of images having different gradation characteristics are necessary.

さらに、撮像条件決定部１０６は、このように異なる階調特性を持つ複数の画像を連続的に撮像するために、周期的に露出を変化させる。周期的に露出を変化させ、撮像を行うシーケンスについて、図４を参照して説明する。
図４は、撮像するフレームとそのフレームが撮像された露出との関係の一例を示す図である。
撮像条件決定部１０６は、フレーム毎に露出を、例えば、高露出、中露出、低露出、高露出、中露出、・・・と周期的に変化させ連続的に撮像を行う。このように露出を周期的に変化させ、撮像することにより、露出の異なる複数のフレームを動画的に撮像することが可能となる。
このように異なる階調特性を持つ画像を用いることにより、ＨＤＲ画像の作成は可能となる。しかしながら、前述したように、これらの画像は、カメラ信号処理部１０５におけるガンマ処理による階調圧縮が行われていないため、膨大なデータ量となってしまう。この膨大なデータ量を持つ画像を、高階調のまま、高画質、且つ、少ないデータ量で記録するために、本実施形態では、以降説明する符号化処理を行う。 Further, the imaging condition determination unit 106 periodically changes the exposure in order to continuously capture a plurality of images having different gradation characteristics. A sequence in which exposure is periodically changed and imaging is performed will be described with reference to FIG.
FIG. 4 is a diagram illustrating an example of a relationship between a frame to be imaged and an exposure at which the frame is imaged.
The imaging condition determination unit 106 performs imaging continuously by periodically changing the exposure for each frame, for example, high exposure, medium exposure, low exposure, high exposure, medium exposure,. As described above, by periodically changing the exposure and capturing an image, it is possible to capture a plurality of frames with different exposures in a moving image.
By using images having different gradation characteristics in this way, it is possible to create an HDR image. However, as described above, since these images are not subjected to gradation compression by gamma processing in the camera signal processing unit 105, the amount of data becomes enormous. In order to record an image having an enormous amount of data with a high image quality and a small amount of data while maintaining a high gradation, in the present embodiment, encoding processing described below is performed.

（符号化部１０８）
次に、符号化部１０８について図５を参照して詳しく説明する。図５は、符号化部１０８の詳細な構成の一例を示すブロック図である。
符号化部１０８は、フレーム並替部５０１、減算器５０２、直交変換部５０３、量子化部５０４、算術符号化部５０５、逆量子化部５０６、逆直交変換部５０７、加算器５０８およびフレームメモリ５０９、５１３を有する。さらに、符号化部１０８は、フレーム内予測部５１０、スイッチ５１１、５１７、デブロッキングフィルタ５１２、明るさ合わせ部５１４、フレーム間予測部５１５および動き検出部５１６を有する。 (Encoding unit 108)
Next, the encoding unit 108 will be described in detail with reference to FIG. FIG. 5 is a block diagram illustrating an example of a detailed configuration of the encoding unit 108.
The encoding unit 108 includes a frame rearrangement unit 501, a subtractor 502, an orthogonal transformation unit 503, a quantization unit 504, an arithmetic coding unit 505, an inverse quantization unit 506, an inverse orthogonal transformation unit 507, an adder 508, and a frame memory. 509, 513. Furthermore, the encoding unit 108 includes an intra-frame prediction unit 510, switches 511 and 517, a deblocking filter 512, a brightness matching unit 514, an inter-frame prediction unit 515, and a motion detection unit 516.

符号化部１０８は、異なる露出の複数の画像を入力し、フレーム内符号化処理またはフレーム間予測符号化処理を行い、符号化ストリームを出力する。フレーム間予測符号化処理に関しては、フレーム間予測方法決定部１０７より出力されたフレーム間予測方法情報に基づきフレーム間予測符号化処理が行われる。尚、本実施形態では、符号化方式として、Ｈ．２６４符号化方式を採用した場合を例に挙げて説明を行う。しかしながら、符号化方式は、フレーム間予測符号化を行う他の符号化方式でも良い。例えば、ＭＰＥＧ符号化方式でも良い。 The encoding unit 108 receives a plurality of images with different exposures, performs an intra-frame encoding process or an inter-frame predictive encoding process, and outputs an encoded stream. Regarding the inter-frame prediction encoding process, the inter-frame prediction encoding process is performed based on the inter-frame prediction method information output from the inter-frame prediction method determination unit 107. In this embodiment, H.264 is used as the encoding method. A case where the H.264 encoding method is employed will be described as an example. However, the encoding scheme may be another encoding scheme that performs interframe predictive encoding. For example, an MPEG encoding method may be used.

続いて、符号化処理について説明する。まず、フレーム並替部５０１は、表示順で入力された異なる露出の画像を符号化順に並び替える。以下の説明では、符号化部１０８に入力された画像データを必要に応じて入力画像データと称する。
減算器５０２は、フレーム並替部５０１で並び替えられた入力画像データから、スイッチ５１７を介して提供される予測画像データを減算したものを画像残差データとして直交変換部５０３に出力する。尚、予測画像データの生成方法の一例については後述する。
直交変換部５０３は、減算器５０２から出力された画像残差データに対して直交変換処理をして変換係数を出力する。
量子化部５０４は、直交変換部５０３から出力された変換係数を所定の量子化パラメータを用いて量子化する。 Subsequently, the encoding process will be described. First, the frame rearrangement unit 501 rearranges images with different exposures input in the display order in the encoding order. In the following description, the image data input to the encoding unit 108 is referred to as input image data as necessary.
The subtracter 502 subtracts the predicted image data provided via the switch 517 from the input image data rearranged by the frame rearrangement unit 501 and outputs the result to the orthogonal transformation unit 503 as image residual data. An example of a method for generating predicted image data will be described later.
The orthogonal transform unit 503 performs orthogonal transform processing on the image residual data output from the subtracter 502 and outputs transform coefficients.
The quantization unit 504 quantizes the transform coefficient output from the orthogonal transform unit 503 using a predetermined quantization parameter.

算術符号化部５０５は、直交変換部５０３による直交変換処理と、量子化部５０４による量子化とを経た変換結果である量子化済みの変換係数を算術符号化して符号化ストリームとして出力する。量子化部５０４で量子化された変換係数は、前述した予測画像データの生成にも使われる。
逆量子化部５０６は、量子化部５０４で量子化された変換係数を逆量子化する。
逆直交変換部５０７は、逆量子化部５０６による逆量子化で得られた変換係数を逆直交変換したものを復号画像残差データとして出力する。
加算器５０８は、逆直交変換部５０７より出力された復号画像残差データと、予測画像データとを加算したものを局所復号化画像データとして出力する。局所復号化画像データの出力先は、フレームメモリ５０９とスイッチ５１１である。 The arithmetic encoding unit 505 arithmetically encodes the quantized transform coefficient, which is a transform result obtained through the orthogonal transform processing by the orthogonal transform unit 503 and the quantization by the quantization unit 504, and outputs the result as an encoded stream. The transform coefficient quantized by the quantization unit 504 is also used for generating the predicted image data described above.
The inverse quantization unit 506 performs inverse quantization on the transform coefficient quantized by the quantization unit 504.
The inverse orthogonal transform unit 507 outputs, as decoded image residual data, an inverse orthogonal transform of the transform coefficient obtained by the inverse quantization by the inverse quantization unit 506.
The adder 508 outputs a result obtained by adding the decoded image residual data output from the inverse orthogonal transform unit 507 and the predicted image data as locally decoded image data. The output destination of the locally decoded image data is the frame memory 509 and the switch 511.

フレームメモリ５０９は、加算器５０８から出力された局所復号化画像データを記録する。
スイッチ５１１は、加算器５０８から出力された局所復号化画像データに対してデブロッキングフィルタ処理を施すか否かを切り替える。局所復号化画像データに対してデブロッキングフィルタ処理を施す場合、デブロッキングフィルタ５１２がデブロッキングフィルタ処理を行う。
フレームメモリ５１３は、局所復号化画像データを記録する。デブロッキングフィルタ処理を施す場合、フレームメモリ５１３は、デブロッキングフィルタ処理が施された局所復号化画像データを記録する。一方、デブロッキングフィルタ処理を施さない場合、フレームメモリ５１３は、デブロッキングフィルタ５１２を介さずにスイッチ５１１から出力された局所復号化画像データを直接記録する。局所復号化画像データの中で、以降のフレーム間予測で参照されるデータは、フレームメモリ５１３に保存される。尚、フレームメモリ５１３に保存すべき局所符号化画像データと、動き検出部５１６およびフレーム間予測部５１５が参照すべき局所復号化画像データは、フレーム間予測方法情報に含まれる参照先フレーム情報に基づき選択される。 The frame memory 509 records the locally decoded image data output from the adder 508.
The switch 511 switches whether to perform deblocking filter processing on the locally decoded image data output from the adder 508. When the deblocking filter process is performed on the locally decoded image data, the deblocking filter 512 performs the deblocking filter process.
The frame memory 513 records locally decoded image data. When the deblocking filter process is performed, the frame memory 513 records the locally decoded image data that has been subjected to the deblocking filter process. On the other hand, when the deblocking filter process is not performed, the frame memory 513 directly records the locally decoded image data output from the switch 511 without passing through the deblocking filter 512. Of the locally decoded image data, data referred to in subsequent inter-frame prediction is stored in the frame memory 513. The locally encoded image data to be stored in the frame memory 513 and the locally decoded image data to be referred to by the motion detection unit 516 and the inter-frame prediction unit 515 are included in the reference frame information included in the inter-frame prediction method information. Based on selection.

フレーム内予測部５１０は、フレームメモリ５０９に記録された局所復号化画像データを用いてフレーム内予測処理を行い、予測画像データを生成する。
明るさ合わせ部５１４は、後述のフレーム間予測部５１５および動き検出部５１６で用いられる局所復号化画像データを、フレーム間予測方法情報に含まれる増幅率情報に従い増幅し、入力画像データと明るさを合わせる。フレーム間予測方法情報に含まれる増幅率情報は、算術符号化部５０５に出力され、符号化ストリームのヘッダ情報として算術符号化される。 The intra-frame prediction unit 510 performs intra-frame prediction using the locally decoded image data recorded in the frame memory 509, and generates predicted image data.
The brightness matching unit 514 amplifies the locally decoded image data used in the inter-frame prediction unit 515 and the motion detection unit 516, which will be described later, according to the amplification factor information included in the inter-frame prediction method information, and the input image data and brightness Adjust. The amplification factor information included in the inter-frame prediction method information is output to the arithmetic encoding unit 505, and is arithmetically encoded as header information of the encoded stream.

フレーム間予測部５１５は、明るさを合わせた局所復号化画像データを用いて、動き検出部５１６により検出された動きベクトル情報に基づくフレーム間予測処理を行い、予測画像データを生成する。
動き検出部５１６は、明るさを合わせた局所復号画像データを参照して、フレーム並替部５０１から出力された画像データにおける動きベクトルを既知のブロックマッチング方式に基づき検出する。ブロックマッチング方式とは、画像をブロック毎に分割し、符号化対象となる参照元の入力画像データ（参照元フレーム）と参照先の局所復号化画像データ（参照先フレーム）との画素差分絶対値の総和が最小となるような位置を動きベクトルとする方式である。動き検出部５１６は、検出した動きベクトルを示す動きベクトル情報を算術符号化部５０５およびフレーム間予測部５１５にそれぞれ出力する。 The inter-frame prediction unit 515 performs inter-frame prediction processing based on the motion vector information detected by the motion detection unit 516 using the locally decoded image data with the brightness adjusted, and generates predicted image data.
The motion detection unit 516 detects the motion vector in the image data output from the frame rearrangement unit 501 based on a known block matching method with reference to the locally decoded image data having the same brightness. The block matching method divides an image into blocks, and the pixel difference absolute value between reference source input image data (reference source frame) to be encoded and reference destination locally decoded image data (reference destination frame) This is a method in which a position where the sum of the values is the smallest is used as a motion vector. The motion detection unit 516 outputs motion vector information indicating the detected motion vector to the arithmetic coding unit 505 and the inter-frame prediction unit 515, respectively.

尚、明るさ合わせ部５１４により、局所復号化画像データと入力画像データとの明るさを合わせる必要がある理由は、フレーム間予測符号化効率を向上させるためである。異なる露出で撮像された画像は、図２や図３に示すように、それぞれ明るさが異なる。参照先の局所復号化画像データと参照元の入力画像データの明るさが合っていない場合、ブロックマッチング方式の画素差分絶対値の総和の値が大きくなる。このため、動き検出部５１６で算出される動きベクトルの精度が悪化してしまう。したがって、動き検出部５１６は、入力画像データと明るさを合わせた局所復号化画像データを用いて、動きベクトルを算出するのが好ましい。 The reason why the brightness matching unit 514 needs to match the brightness of the locally decoded image data and the input image data is to improve the inter-frame prediction encoding efficiency. As shown in FIG. 2 and FIG. 3, the brightness of images captured with different exposures is different. When the brightness of the locally decoded image data of the reference destination and the input image data of the reference source do not match, the sum of the pixel difference absolute values of the block matching method becomes large. For this reason, the accuracy of the motion vector calculated by the motion detection unit 516 is deteriorated. Therefore, it is preferable that the motion detection unit 516 calculates a motion vector using locally decoded image data in which the input image data and the brightness are combined.

また、動き検出部５１６と同様に、フレーム間予測部５１５で作成される予測画像データも入力画像データと明るさを合わせる必要がある。予測画像データと入力画像データとの明るさが合っていないと減算器５０２が出力する画像残差データが大きくなり、フレーム間予測符号化効率が落ちてしまう。そのため、フレーム間予測部５１５は、入力画像データと明るさを合わせた局所復号化画像データを用いて、予測画像データを生成するのが好ましい。 Similarly to the motion detection unit 516, the predicted image data generated by the inter-frame prediction unit 515 needs to match the brightness with the input image data. If the brightness of the predicted image data and the input image data do not match, the image residual data output from the subtractor 502 becomes large, and the inter-frame predictive coding efficiency decreases. Therefore, it is preferable that the inter-frame prediction unit 515 generates predicted image data using locally decoded image data in which the input image data and brightness are combined.

スイッチ５１７は、予測画像データとして、フレーム内予測部５１０で生成された予測画像データと、フレーム間予測部５１５で生成された予測画像データと、のどちらを用いるかを選択する。すなわち、スイッチ５１７は、フレーム内予測と、フレーム間予測と、のどちらを用いるのか選択するための選択部である。例えば、スイッチ５１７は、Ｉピクチャであれば、フレーム内予測部５１０からの出力を選択し、Ｐピクチャであれば、フレーム内予測部５１０またはフレーム間予測部５１５の出力のうち、予測精度の高い方を選択する。また、フレーム間予測方法情報により、フレーム間予測を行わない場合、スイッチ５１７は、フレーム内予測部５１０の出力を選択する。スイッチ５１７により選択された予測画像データは減算器５０２、加算器５０８に出力される。
以上が本実施形態における符号化部１０８に関する説明である。 The switch 517 selects whether to use the predicted image data generated by the intra-frame prediction unit 510 or the predicted image data generated by the inter-frame prediction unit 515 as the predicted image data. That is, the switch 517 is a selection unit for selecting whether to use intra-frame prediction or inter-frame prediction. For example, the switch 517 selects an output from the intra-frame prediction unit 510 if it is an I picture, and has a high prediction accuracy among the outputs of the intra-frame prediction unit 510 or the inter-frame prediction unit 515 if it is a P picture. Select the direction. Further, when the inter-frame prediction is not performed based on the inter-frame prediction method information, the switch 517 selects the output of the intra-frame prediction unit 510. The predicted image data selected by the switch 517 is output to the subtracter 502 and the adder 508.
This completes the description of the encoding unit 108 in the present embodiment.

（フレーム間予測方法決定部１０７）
次に、フレーム間予測方法決定部１０７について図３、図６、図７を参照して詳しく説明する。
フレーム間予測方法決定部１０７は、符号化部１０８で行われるフレーム間符号化のフレーム間予測方法を決定し、決定したフレーム間予測方法を示すフレーム間予測方法情報を符号化部１０８に出力する。本実施形態では、フレーム間予測方法情報には、次の３つの情報が含まれる。１つ目は、フレーム間予測部５１５および動き検出部５１６で参照するフレームを選択する参照先フレーム情報である。２つ目は、フレーム間予測符号化を行うか否かを選択するフレーム間予測可否情報である。３つ目は、明るさ合わせ部５１４で用いる増幅率情報である。 (Inter-frame prediction method determination unit 107)
Next, the inter-frame prediction method determination unit 107 will be described in detail with reference to FIG. 3, FIG. 6, and FIG.
The inter-frame prediction method determination unit 107 determines an inter-frame prediction method for inter-frame encoding performed by the encoding unit 108, and outputs inter-frame prediction method information indicating the determined inter-frame prediction method to the encoding unit 108. . In the present embodiment, the following three pieces of information are included in the inter-frame prediction method information. The first is reference destination frame information for selecting a frame to be referred to by the inter-frame prediction unit 515 and the motion detection unit 516. The second is interframe prediction enable / disable information for selecting whether or not to perform interframe prediction encoding. The third is amplification factor information used in the brightness matching unit 514.

まず、参照先フレーム情報について、図３および図６を参照して説明する。
図６は、周期的に露出を変更して撮像された連続するフレームに対してフレーム間予測符号化処理を行う際に参照するフレームを示す図である。尚、図６においてフレームを表示順で示している。
図６において、２つのフレームに付されている矢印は、フレームの参照関係を示す。当該矢印の先が、参照先である局所符号化画像データ（参照先フレーム）を示し、当該矢印の元が、参照元である入力画像データ（参照音フレーム）を示す。 First, reference frame information will be described with reference to FIG. 3 and FIG.
FIG. 6 is a diagram illustrating frames that are referred to when performing inter-frame predictive encoding processing on consecutive frames that are captured with periodic exposure changes. In FIG. 6, the frames are shown in display order.
In FIG. 6, the arrows attached to the two frames indicate the frame reference relationship. The tip of the arrow indicates local encoded image data (reference destination frame) as a reference destination, and the source of the arrow indicates input image data (reference sound frame) as a reference source.

フレーム間予測方法決定部１０７は、参照フレーム情報として、図６における矢印の先が指し示す参照先フレームのフレーム番号を符号化部１０８に出力する。
また、フレームの下に書き記されているＩ、ＰおよびＢは、符号化されるフレームのピクチャタイプを示す情報である。フレーム間予測符号化方式による符号化を行う場合は、Ｐピクチャ若しくはＢピクチャとして符号化され、フレーム間予測符号化方式による符号化ではなくフレーム内予測符号化方式による符号化を行う場合は、Ｉピクチャとして符号化される。
フレーム間予測方法決定部１０７は、フレーム間予測可否情報を符号化部１０８に出力する。符号化部１０８は、フレーム間予測可否情報に基づいて、フレーム内予測符号化方式による符号化とフレーム間予測符号化方式による符号化との何れを行うかを判断し、スイッチ５１７を切り替える。 The inter-frame prediction method determination unit 107 outputs the frame number of the reference destination frame indicated by the tip of the arrow in FIG. 6 to the encoding unit 108 as reference frame information.
Also, I, P, and B written below the frame are information indicating the picture type of the frame to be encoded. When encoding by the inter-frame predictive encoding method, it is encoded as a P picture or B picture, and when encoding by the intra-frame predictive encoding method is performed instead of encoding by the inter-frame predictive encoding method, I Encoded as a picture.
The inter-frame prediction method determination unit 107 outputs inter-frame prediction availability information to the encoding unit 108. Based on the inter-frame prediction availability information, the encoding unit 108 determines whether to perform encoding using the intra-frame prediction encoding scheme or encoding using the inter-frame prediction encoding scheme, and switches the switch 517.

図６に示すようなフレーム間予測符号化を行う際のフレームの参照関係は、符号化効率を向上させることにより、高画質、且つ、少ないデータ量の符号化ストリームを得るため、以下の（Ａ）および（Ｂ）の２つの規則に基づき決定される。
（Ａ）最も低い露出以外のフレームを参照先フレームに設定する。
（Ｂ）最も露出の差が小さいフレームを参照先フレームに設定する。 The frame reference relationship when performing inter-frame predictive encoding as shown in FIG. 6 is as follows (A) in order to obtain an encoded stream with high image quality and a small amount of data by improving encoding efficiency. ) And (B).
(A) A frame other than the lowest exposure is set as a reference frame.
(B) A frame with the smallest exposure difference is set as a reference frame.

（Ａ）の規則の理由について説明する。
最も低い露出の画像は、露光時間が短いためショットノイズにより画像のＳ／Ｎ比が悪く、符号化難易度が高い。つまり、局所復号化画像データに符号化ノイズが発生しやすい。符号化ノイズが発生している局所復号化画像データを参照して、動きベクトルを算出すると、符号化ノイズにより画素差分絶対値の総和の値が悪影響を受け、動きベクトルの精度は低下してしまう。また、符号化ノイズが発生している局所復号化画像データを使ってフレーム間予測を行うことにより作成した予測画像データには符号化ノイズが含まれてしまう。このため、減算器５０２から出力される画像残差データは大きくなってしまう。以上の２つの要因により、符号化効率が低下してしまうのである。 The reason for the rule (A) will be described.
Since the lowest exposure image has a short exposure time, the S / N ratio of the image is poor due to shot noise, and the coding difficulty is high. That is, encoding noise is likely to occur in the locally decoded image data. If a motion vector is calculated with reference to locally decoded image data in which coding noise is generated, the sum of the pixel difference absolute values is adversely affected by the coding noise, and the accuracy of the motion vector is reduced. . In addition, the predicted image data created by performing inter-frame prediction using locally decoded image data in which coding noise is generated includes coding noise. For this reason, the image residual data output from the subtracter 502 becomes large. Due to the above two factors, the encoding efficiency is lowered.

次に、（Ｂ）の規則の理由について説明する。
例えば、参照元フレームを図３に示す低露出画像３３０とし、参照先フレームを高露出画像３１０としてフレーム間予測符号化処理を行うとする。すると、参照元フレームの低露出画像３３０には最後尾の車３３２が存在しているが、参照先フレームの高露出画像３１０には、最後尾の車３１２が存在しない（図３（ａ）では説明の都合上、車３１２を破線で示している）。最後尾の車３１２が明るいため、高露出画像３１０では白飛びしてしまっているためである。そのため、低露出画像３３０の最後尾の車３３２の動き検出を行う場合、参照先の高露出画像３１０には最後尾の車３１２が存在しないため、正確な動きベクトルを求めることができない。そのため、符号化効率が低下してしまうのである。
以上のような理由により、フレーム間予測符号化の参照関係は前述の２つの規則（Ａ）および（Ｂ）に基づき決定される。 Next, the reason for the rule (B) will be described.
For example, it is assumed that the inter-frame prediction encoding process is performed with the reference source frame as the low exposure image 330 illustrated in FIG. 3 and the reference destination frame as the high exposure image 310. Then, although the last car 332 exists in the low exposure image 330 of the reference source frame, the last car 312 does not exist in the high exposure image 310 of the reference destination frame (in FIG. 3A). For convenience of explanation, the car 312 is shown by a broken line). This is because the last car 312 is bright, and the high-exposure image 310 has been skipped. Therefore, when motion detection of the last car 332 in the low-exposure image 330 is performed, since the last car 312 does not exist in the reference high-exposure image 310, an accurate motion vector cannot be obtained. As a result, the encoding efficiency is reduced.
For the above reasons, the reference relationship of inter-frame predictive coding is determined based on the two rules (A) and (B) described above.

図６（ａ）は、高露出画像、中露出画像、低露出画像の順番で周期的に露出を変化させ、撮像した場合のフレーム間予測符号化の参照関係の一例を示す図である。
フレーム間予測方法決定部１０７は、前述の２つの規則（Ａ）および（Ｂ）に基づき、以下のような参照関係になるよう、参照先フレーム情報を作成する。すなわち、フレーム間予測方法決定部１０７は、中露出画像（Ｅ_M）を参照元フレームとしてフレーム間予測符号化処理を行う場合には、高露出画像（Ｅ_H）を参照する関係になるようにする。また、フレーム間予測方法決定部１０７は、低露出画像（Ｅ_L）を参照元フレームとしてフレーム間予測符号化処理を行う場合には、中露出画像（Ｅ_M）を参照する関係になるようにする。 FIG. 6A is a diagram illustrating an example of a reference relationship of inter-frame predictive encoding when exposure is periodically changed in order of a high exposure image, a medium exposure image, and a low exposure image.
The inter-frame prediction method determination unit 107 creates reference destination frame information based on the two rules (A) and (B) described above so that the reference relationship is as follows. That is, the inter-frame prediction method determination unit 107 refers to the high-exposure image (E _H ) when performing the inter-frame prediction encoding process using the medium exposure image (E _M ) as a reference source frame. To do. Also, the inter-frame prediction method determination unit 107 refers to the medium-exposure image (E _M ) when performing the inter-frame prediction encoding process using the low-exposure image (E _L ) as a reference source frame. To do.

図６（ｂ）は、中露出画像、高露出画像、低露出画像の順番で周期的に露出を変化させ、撮像した場合のフレーム間予測符号化の参照関係の一例を示す図である。
フレーム間予測方法決定部１０７は、前述の２つの規則（Ａ）および（Ｂ）に基づき、以下のような参照関係になるよう、参照先フレーム情報を作成する。すなわち、フレーム間予測方法決定部１０７は、高露出画像（Ｅ_H）を参照元フレームとしてフレーム間予測符号化処理を行う場合には、中露出画像（Ｅ_M）を参照する関係になるようにする。また、フレーム間予測方法決定部１０７は、低露出画像（Ｅ_L）を参照元フレームとしてフレーム間予測符号化処理を行う場合にも、中露出画像（Ｅ_M）を参照する関係になるようにする。 FIG. 6B is a diagram illustrating an example of a reference relationship of inter-frame predictive encoding when the exposure is periodically changed in order of the medium exposure image, the high exposure image, and the low exposure image.
The inter-frame prediction method determination unit 107 creates reference destination frame information based on the two rules (A) and (B) described above so that the reference relationship is as follows. That is, the inter-frame prediction method determination unit 107 refers to the medium-exposure image (E _M ) when performing the inter-frame prediction encoding process using the high-exposure image (E _H ) as a reference source frame. To do. Also, the inter-frame prediction method determination unit 107 refers to the medium-exposure image (E _M ) even when performing the inter-frame prediction encoding process using the low-exposure image (E _L ) as a reference source frame. To do.

図６（ｃ）は、高露出画像、低露出画像、中露出画像の順番で周期的に露出を変化させ、撮像した場合のフレーム間予測符号化の参照関係の一例を示す図である。
フレーム間予測方法決定部１０７は、前述の２つの規則（Ａ）および（Ｂ）に基づき、以下のような参照関係になるよう、参照先フレーム情報を作成する。すなわち、フレーム間予測方法決定部１０７は、低露出画像（Ｅ_L）を参照元フレームとしてフレーム間予測符号化処理を行う場合には、中露出画像（Ｅ_M）を参照する関係になるようにする。また、フレーム間予測方法決定部１０７は、中露出画像（Ｅ_M）を参照元フレームとしてフレーム間予測符号化処理を行う場合には、高露出画像（Ｅ_H）を参照する関係になるようにする。 FIG. 6C is a diagram illustrating an example of a reference relationship of inter-frame predictive encoding when exposure is periodically changed in order of a high-exposure image, a low-exposure image, and a medium-exposure image.
The inter-frame prediction method determination unit 107 creates reference destination frame information based on the two rules (A) and (B) described above so that the reference relationship is as follows. That is, the inter-frame prediction method determination unit 107 refers to the medium-exposure image (E _M ) when performing the inter-frame prediction encoding process using the low-exposure image (E _L ) as a reference source frame. To do. Also, the inter-frame prediction method determination unit 107 refers to the high-exposure image (E _H ) when performing the inter-frame prediction encoding process using the medium exposure image (E _M ) as a reference source frame. To do.

尚、本実施形態では、露出条件が３つ（高露出、低露出、中露出）の場合を例に挙げて説明した。しかしながら、露出条件の数は、２つでも４つ以上でもよい。また、例えば露出条件の数が多く、最も低い露出以外のフレームでもショットノイズの影響がある場合には、１番目〜ｎ番目（ｎは露出条件の数未満の正の整数）に低い露出以外のフレームを参照先フレームとして決定してもよい。すなわち、所定の基準よりも高い露出で得られたフレームを参照先フレームとして決定することができる。また、参照元フレームの露出に最も近い露出のフレームを参照先フレームとするのが好ましいが、例えば露出条件の数が多く、参照元フレームの露出に最も近い露出のフレームでなくても、被写体を識別できるような場合には、必ずしもこのようにしなくてもよい。すなわち、参照元フレームが得られたときの露出に対し、所定の基準よりも近い露出で得られたフレームを、参照先フレームとして決定することができる。例えば、参照元フレームの露出に２番目に近い露出のフレームを参照先フレームとしてもよい。 In this embodiment, the case where there are three exposure conditions (high exposure, low exposure, and medium exposure) has been described as an example. However, the number of exposure conditions may be two or four or more. For example, when there are many exposure conditions and there is an influence of shot noise even in a frame other than the lowest exposure, the first to nth (n is a positive integer less than the number of exposure conditions) other than the lowest exposure. The frame may be determined as a reference frame. That is, a frame obtained with an exposure higher than a predetermined standard can be determined as a reference frame. The exposure frame closest to the exposure of the reference frame is preferably used as the reference frame.For example, even if the number of exposure conditions is large and the exposure frame is not closest to the exposure of the reference frame, the subject can be selected. If it can be identified, this is not always necessary. That is, a frame obtained with an exposure closer to a predetermined reference than the exposure when the reference source frame is obtained can be determined as the reference destination frame. For example, a frame with the second exposure closest to the exposure of the reference source frame may be used as the reference destination frame.

前述の２つの規則（Ａ）および（Ｂ）を守った場合に、参照先フレームと参照元フレームとの時間的な差が所定時間よりも長くなる場合は、必ずしも前述の２つの規則を守らなくても良い。例えば、参照先フレームと参照元フレームとの時間的な差が所定値よりも大きい場合は、被写体の移動量が大きくなる可能性が高く、動きベクトルの精度が低下する恐れがある。そのため、このような場合は、フレーム間予測方法決定部１０７は、前述の２つの規則に関わらず、参照元フレームとの時間的な差が前記所定時間内のフレームを参照先フレームとして設定する。このとき、前記所定時間内のフレームの中で前述の２つの規則（Ａ）および（Ｂ）を満たすフレームを優先して選択することができる。 When the above two rules (A) and (B) are observed, if the time difference between the reference frame and the reference frame is longer than a predetermined time, the above two rules are not necessarily observed. May be. For example, when the temporal difference between the reference destination frame and the reference source frame is larger than a predetermined value, there is a high possibility that the amount of movement of the subject is large, and the accuracy of the motion vector may be reduced. Therefore, in such a case, the inter-frame prediction method determination unit 107 sets a frame whose temporal difference from the reference source frame is within the predetermined time as a reference destination frame regardless of the two rules described above. At this time, a frame satisfying the two rules (A) and (B) can be preferentially selected from the frames within the predetermined time.

次に、フレーム間予測可否情報について、図６を参照して説明する。
前述の２つの規則（Ａ）および（Ｂ）の参照関係に関わる規則を符号化途中で破らないためには、露出の周期的な変化に連動してフレーム内符号化を行い、Ｉピクチャを設定する必要がある。例えば、図６（ａ）では、露出が３フレーム毎に周期的に変化しているのに対し、Ｉピクチャの設定も３フレーム毎に行われている。仮に、Ｉピクチャの設定が２フレーム毎になった場合、低露出画像（Ｅ_L）がＩピクチャとして符号化され、高露出画像（Ｅ_H）がＰピクチャとして符号化されるケースが発生する。その場合、高露出画像（Ｅ_H）は低露出画像（Ｅ_L）を参照してフレーム間予測符号化を行わざるを得なくなり、前述の２つの規則を守り続けることができない。そのため、前述の２つの規則を符号化中、常に守り続けるためには、露出が変化するフレーム周期に対し、整数倍のフレーム周期でＩピクチャを設定する必要がある。尚、図６（ａ）、図６（ｂ）および図６（ｃ）の例では、露出が変化するフレーム周期と同じフレーム周期（１倍）でＩピクチャを設定している。
以上のように、フレーム間予測方法決定部１０７は、露出の周期的な変化に連動してフレーム内予測符号化を行うフレームを設定するようなフレーム間予測符号化可否情報を作成する。 Next, inter-frame prediction availability information will be described with reference to FIG.
In order not to break the rules related to the reference relationship between the two rules (A) and (B) described above during encoding, intra-frame encoding is performed in conjunction with the periodic change of exposure, and an I picture is set. There is a need to. For example, in FIG. 6A, while the exposure periodically changes every three frames, the I picture is set every three frames. If the setting of the I picture is every two frames, a case may occur in which the low exposure image (E _L ) is encoded as an I picture and the high exposure image (E _H ) is encoded as a P picture. In that case, the high-exposure image (E _H ) must be subjected to inter-frame prediction encoding with reference to the low-exposure image (E _L ), and the two rules described above cannot be maintained. Therefore, in order to always keep the above two rules during encoding, it is necessary to set an I picture with a frame period that is an integral multiple of the frame period in which the exposure changes. In the examples of FIGS. 6A, 6B, and 6C, the I picture is set at the same frame period (1 time) as the frame period at which the exposure changes.
As described above, the inter-frame prediction method determination unit 107 creates inter-frame predictive encoding availability information that sets a frame for which intra-frame predictive encoding is performed in conjunction with a periodic change in exposure.

次に、図４および図７を参照して、符号化部１０８内の明るさ合わせ部５１４で用いる増幅率情報について説明する。図７は、入力画像データと局所復号化画像データの明るさを合わせる方法の一例を説明する図である。図７では、フレーム間予測部５１５および動き検出部５１６で参照する参照先フレームの局所復号化画像データが中露出画像（Ｅ_M）であり、参照元フレームの入力画像データが高露出画像（Ｅ_H）である場合にこれらの明るさを合わせる場合について示す。 Next, with reference to FIG. 4 and FIG. 7, amplification factor information used in the brightness matching unit 514 in the encoding unit 108 will be described. FIG. 7 is a diagram for explaining an example of a method for matching the brightness of the input image data and the locally decoded image data. In FIG. 7, the locally decoded image data of the reference frame referenced by the inter-frame prediction unit 515 and the motion detection unit 516 is a medium exposure image (E _M ), and the input image data of the reference source frame is a high exposure image (E _H )), the case where these brightnesses are adjusted will be described.

図７に示すように、入射光量と信号レベルとが線形特性を持つ撮像素子においては、露光時間が２倍になると信号レベルも２倍になる特性がある。図７に示す例では、高露出画像（Ｅ_H）の露光時間は、中露出画像（Ｅ_M）の露光時間の２倍の時間である。そのため、高露出画像（Ｅ_H）と中露出画像（Ｅ_M）の明るさを合わせるためには、中露出画像（Ｅ_M）の画素値を２倍にすればよい（図７のグラフＥ_M'を参照）。
以上のように、フレーム間予測方法決定部１０７は、参照先フレームの局所復号化画像データと参照元フレームの入力画像データとの明るさを合わせるために、参照先フレームと参照元フレームの露光時間（露出）の差に基づき、増幅率を算出する。撮像される露出は、図４に示すように周期的に変化するため、フレーム間予測方法決定部１０７は、露出に連動して増幅率を周期的に変化させる。符号化部１０８内の明るさ合わせ部５１４は、このように算出された増幅率を示す増幅率情報に応じて、フレーム間予測部５１５および動き検出部５１６で用いられる局所復号化画像データを増幅し、入力画像データと明るさを合わせる。
尚、明るさを合わせる方法としては、図７に示す例のように、必ずしも信号レベルを大きくする方式でなくとも良い。例えば、高露出画像（Ｅ_H）の信号レベルを小さくし、中露出画像（Ｅ_M）と明るさを合わせても良い。 As shown in FIG. 7, an image sensor having linear characteristics of the incident light amount and the signal level has a characteristic that the signal level is doubled when the exposure time is doubled. In the example shown in FIG. 7, the exposure time of the high exposure image (E _H ) is twice as long as the exposure time of the medium exposure image (E _M ). Therefore, in order to match the brightness of the high-exposure image (E _H ) and the medium-exposure image (E _M ), the pixel value of the medium-exposure image (E _M ) may be doubled (graph E _{M in} FIG. 7). ').
As described above, the inter-frame prediction method determination unit 107 adjusts the exposure times of the reference frame and the reference frame in order to match the brightness of the locally decoded image data of the reference frame and the input image data of the reference frame. Based on the (exposure) difference, the amplification factor is calculated. Since the imaged exposure changes periodically as shown in FIG. 4, the inter-frame prediction method determination unit 107 periodically changes the amplification factor in conjunction with the exposure. The brightness matching unit 514 in the encoding unit 108 amplifies the locally decoded image data used in the inter-frame prediction unit 515 and the motion detection unit 516 according to the amplification factor information indicating the amplification factor calculated in this way. And match the brightness with the input image data.
Note that the method of adjusting the brightness is not necessarily a method of increasing the signal level as in the example shown in FIG. For example, the signal level of the high-exposure image (E _H ) may be reduced to match the brightness with the medium-exposure image (E _M ).

次に、異なる露出で撮像した画像データを符号化する場合の撮像装置１００の処理の一例について、図８のフローチャートを参照して詳しく説明する。
ステップＳ８０１において、撮像条件決定部１０６は、カメラ信号処理部１０５から出力されたコントラスト情報および明るさ情報に応じて、フォーカス位置や露出等の撮像条件を決定する。この撮像条件のうち、露出に関しては、撮像フレーム毎に周期的に変化するよう決定される。 Next, an example of processing of the imaging apparatus 100 when encoding image data captured at different exposures will be described in detail with reference to the flowchart of FIG.
In step S <b> 801, the imaging condition determination unit 106 determines imaging conditions such as a focus position and exposure according to the contrast information and brightness information output from the camera signal processing unit 105. Among the imaging conditions, the exposure is determined so as to periodically change for each imaging frame.

次に、ステップＳ８０２において、撮像装置１００は、撮像条件決定部１０６により決定された撮像条件に基づき、レンズ１０１、絞り１０２および撮像部１０３を制御し、撮像する。
次に、ステップＳ８０３において、フレーム間予測方法決定部１０７は、符号化部１０８で行うフレーム間符号化におけるフレーム間予測方法を決定し、決定したフレーム間予測方法を示すフレーム間予測方法情報を符号化部１０８に出力する。 Next, in step S <b> 802, the imaging device 100 controls the lens 101, the diaphragm 102, and the imaging unit 103 based on the imaging condition determined by the imaging condition determination unit 106 and performs imaging.
Next, in step S803, the inter-frame prediction method determination unit 107 determines the inter-frame prediction method in the inter-frame encoding performed by the encoding unit 108, and encodes the inter-frame prediction method information indicating the determined inter-frame prediction method. To the conversion unit 108.

次に、ステップＳ８０４において、符号化部１０８は、カメラ信号処理部１０５から出力された映像信号に対してフレーム内符号化またはフレーム間符号化を行い、符号化ストリームを出力する。フレーム間符号化を行う場合は、フレーム間予測方法決定部１０７により決定されたフレーム間予測方法に基づきフレーム間符号化を行う。
次に、ステップＳ８０５において、画像記録部１０９は、符号化部１０８から出力された符号化ストリームを記録する。
次に、ステップ８０６において、撮像装置１００は、最終フレームの符号化ストリームを記録したか否かを判定する。そして、ステップＳ８０１〜Ｓ８０５の処理を、撮影が終了して最終フレームの符号化ストリームを記録するまで繰り返す。 Next, in step S804, the encoding unit 108 performs intraframe encoding or interframe encoding on the video signal output from the camera signal processing unit 105, and outputs an encoded stream. When performing interframe coding, interframe coding is performed based on the interframe prediction method determined by the interframe prediction method determination unit 107.
Next, in step S805, the image recording unit 109 records the encoded stream output from the encoding unit 108.
Next, in step 806, the imaging apparatus 100 determines whether or not the encoded stream of the last frame has been recorded. Then, the processes in steps S801 to S805 are repeated until shooting is completed and the encoded stream of the final frame is recorded.

以上のように本実施形態では、周期的に露出を変化させて撮像された複数の画像データを階調の圧縮を行わずにフレーム間予測符号化する。この際に、最も低い露出以外のフレームであって、参照元フレームとの露出の差が最も小さいフレームを参照先フレームに設定する。また、フレーム内予測符号化を行うフレーム（ピクチャ）が出現する周期を、露出を変更する周期の整数倍にする。また、参照先フレームの明るさと参照元フレームの明るさを合わせるようにする。
このように周期的に露出を変化させることにより異なる階調特性を持つ複数の画像を撮像し、異なる階調特性に適したフレーム間予測方法で符号化を行うことにより、これらの画像を、高階調、且つ、少ないデータ量で記録することが可能となる。このような方法により記録された高階調の画像を用いることにより、撮像した画像を一旦記録し、撮影した後に、明部や暗部の階調を調整しながら高画質なＨＤＲ画像を作成することができ、ユーザが求める階調表現を実現することができる。 As described above, in the present embodiment, inter-frame predictive encoding is performed on a plurality of image data picked up by periodically changing the exposure without performing gradation compression. At this time, the frame other than the lowest exposure and having the smallest exposure difference from the reference source frame is set as the reference destination frame. In addition, the cycle in which frames (pictures) for which intra-frame predictive coding is performed appears is an integral multiple of the cycle for changing exposure. Also, the brightness of the reference frame is matched with the brightness of the reference frame.
In this way, by periodically changing the exposure, a plurality of images having different gradation characteristics are captured, and encoding is performed using an inter-frame prediction method suitable for the different gradation characteristics. And recording with a small amount of data. By using a high-gradation image recorded by such a method, a captured image can be temporarily recorded and photographed, and then a high-quality HDR image can be created while adjusting the gradation of bright and dark areas. The gradation expression desired by the user can be realized.

本実施形態では、符号化ストリームの中に、フレーム間符号化を挟み込む形態を例に挙げて説明した。しかしながら、フレーム間符号化をストリーム間で実現できるＭＶＣ符号化方式を活用するのであれば、以下のようにしてもよい。すなわち、参照元の符号化ストリームをメインストリームにして、メインストリームと露出の異なる符号化ストリームをサブストリームにし、前述の２つの規則に基づき参照関係を決定する様な形態も、本発明の他の実施形態となる。ようにしてもよい。
また、露出段差に応じて独立した符号化ストリームを生成させれば、増幅率情報は、ストリームのヘッダ情報にだけ含めればよく、フレーム毎に増幅率を切り替える処理を省くことが可能となる。
また、前述した理由から、規則（Ａ）および（Ｂ）の双方を満足するのが好ましいが、これらの何れか１つを満足させるようにしてもよい。 In the present embodiment, an example in which inter-frame coding is sandwiched in the coded stream has been described. However, if an MVC encoding method capable of realizing inter-frame encoding between streams is used, the following may be performed. That is, a mode in which a reference source encoded stream is set as a main stream, an encoded stream having a different exposure from the main stream is set as a substream, and the reference relationship is determined based on the two rules described above is also another aspect of the present invention. This is an embodiment. You may do it.
Further, if an independent encoded stream is generated according to the exposure level difference, the amplification factor information only needs to be included in the stream header information, and the process of switching the amplification factor for each frame can be omitted.
For the reasons described above, it is preferable to satisfy both rules (A) and (B), but any one of them may be satisfied.

尚、前述した実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。 The above-described embodiments are merely examples of implementation in carrying out the present invention, and the technical scope of the present invention should not be construed in a limited manner. That is, the present invention can be implemented in various forms without departing from the technical idea or the main features thereof.

（その他の実施例）
本発明は、以下の処理を実行することによっても実現される。即ち、まず、以上の実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）が当該コンピュータプログラムを読み出して実行する。 (Other examples)
The present invention is also realized by executing the following processing. That is, first, software (computer program) for realizing the functions of the above embodiments is supplied to a system or apparatus via a network or various storage media. Then, the computer (or CPU, MPU, etc.) of the system or apparatus reads and executes the computer program.

１０５カメラ信号処理部、１０６撮像条件決定部、１０７フレーム間予測方法決定部、１０８符号化部 105 camera signal processing unit, 106 imaging condition determining unit, 107 inter-frame prediction method determining unit, 108 encoding unit

Claims

複数の露出で撮像された複数のフレームの画像データについて、フレーム間予測符号化方式またはフレーム内予測符号化方式を用いて符号化する符号化手段を有する画像符号化装置であって、
前記符号化手段は、前記フレームにおける露出に応じて、前記フレーム間予測符号化方式における符号化対象となる参照元フレームに対する参照先フレームを決定することと、前記参照元フレームおよび前記参照先フレームの明るさを合わせることと、の少なくともいずれかを実行することを特徴とする画像符号化装置。 An image encoding device having an encoding unit that encodes image data of a plurality of frames captured with a plurality of exposures using an inter-frame prediction encoding method or an intra-frame prediction encoding method,
The encoding means determines a reference frame for a reference frame to be encoded in the inter-frame predictive encoding method according to the exposure in the frame, and determines the reference source frame and the reference frame An image encoding apparatus that performs at least one of adjusting brightness.

前記符号化手段は、前記複数の露出のうち、所定の基準よりも高い露出で得られたフレームを、前記参照元フレームに対する前記参照先フレームとして決定することを特徴とする請求項１に記載の画像符号化装置。 The said encoding means determines the flame | frame obtained by exposure higher than a predetermined reference | standard among these exposures as the said reference frame with respect to the said reference frame. Image encoding device.

前記符号化手段は、前記複数の露出のうち、最も低い露出と異なる露出で撮像されたフレームを、前記参照元フレームに対する前記参照先フレームとして決定することを特徴とする請求項２に記載の画像符号化装置。 3. The image according to claim 2, wherein the encoding unit determines a frame captured at an exposure different from the lowest exposure among the plurality of exposures as the reference destination frame with respect to the reference source frame. Encoding device.

前記符号化手段は、前記参照元フレームが得られたときの露出に対し、所定の基準よりも近い露出で得られたフレームを、当該参照元フレームに対する前記参照先フレームとして決定することを特徴とする請求項１〜３の何れか１項に記載の画像符号化装置。 The encoding means determines, as the reference frame for the reference source frame, a frame obtained with an exposure closer than a predetermined standard with respect to the exposure when the reference source frame is obtained. The image encoding device according to any one of claims 1 to 3.

前記符号化手段は、前記参照元フレームが得られたときの露出に最も近い露出で得られたフレームを、当該参照元フレームに対する前記参照先フレームとして決定することを特徴とする請求項４に記載の画像符号化装置。 5. The encoding unit according to claim 4, wherein the encoding unit determines a frame obtained with an exposure closest to an exposure when the reference source frame is obtained as the reference destination frame for the reference source frame. Image coding apparatus.

前記符号化手段は、前記参照元フレームと、前記参照元フレームが得られたときの露出に最も近い露出で得られたフレームとの時間的な差が所定時間よりも長くなる場合には、前記参照元フレームとの時間的な差が所定時間内のフレームを、当該参照元フレームに対する前記参照先フレームとして決定することを特徴とする請求項５に記載の画像符号化装置。 If the temporal difference between the reference source frame and the frame obtained with the exposure closest to the exposure when the reference source frame is obtained is longer than a predetermined time, the encoding means, 6. The image coding apparatus according to claim 5, wherein a frame whose temporal difference from a reference frame is within a predetermined time is determined as the reference frame for the reference frame.

前記複数の露出は、周期的に繰り返し変更され、
前記フレーム内予測符号化方式を用いて符号化するフレームが出現する周期は、前記露出を変更する周期の整数倍であることを特徴とする請求項１〜６の何れか１項に記載の画像符号化装置。 The plurality of exposures are periodically and repeatedly changed,
The image according to any one of claims 1 to 6, wherein a period in which a frame to be encoded using the intra-frame predictive encoding method appears is an integer multiple of a period in which the exposure is changed. Encoding device.

前記符号化手段は、前記参照元フレームおよび前記参照先フレームの明るさを合わせた後に、当該参照先フレームを用いて、当該参照元フレームに対するフレーム間予測符号化を行うことを特徴とする請求項１〜７の何れか１項に記載の画像符号化装置。 The encoding means performs inter-frame predictive encoding on the reference source frame using the reference destination frame after matching the brightness of the reference source frame and the reference destination frame. The image encoding device according to any one of 1 to 7.

前記符号化手段は、前記参照元フレームが得られたときの露出と、前記参照先フレームが得られたときの露出の差に応じて、前記参照元フレームおよび前記参照先フレームの明るさを合わせることを特徴とする請求項８に記載の画像符号化装置。 The encoding means matches the brightness of the reference source frame and the reference destination frame according to a difference between exposure when the reference source frame is obtained and exposure when the reference destination frame is obtained. The image coding apparatus according to claim 8, wherein:

前記符号化手段は、前記参照元フレームが得られたときの露出と、前記参照先フレームが得られたときの露出との差に応じて、前記参照先フレームの画素値に対する増幅率を決定し、決定した増幅率を前記参照元フレームに掛けることにより、前記参照先フレームの明るさを前記参照元フレームの明るさに合わせることを特徴とする請求項９に記載の画像符号化装置。 The encoding means determines an amplification factor for a pixel value of the reference frame according to a difference between an exposure when the reference frame is obtained and an exposure when the reference frame is obtained. The image coding apparatus according to claim 9, wherein the brightness of the reference frame is matched with the brightness of the reference source frame by multiplying the determined amplification factor by the reference source frame.

前記参照元フレームおよび前記参照先フレームのデータは、ガンマ処理が行われていないデータ、または、入力が１のときに出力が１になるガンマ特性でガンマ処理を行う場合よりも階調の圧縮率が低くなるように階調の圧縮が行われたデータであることを特徴とする請求項１〜１０の何れか１項に記載の画像符号化装置。 The data of the reference source frame and the reference destination frame is data that has not been subjected to gamma processing, or the gradation compression rate compared to the case where gamma processing is performed with a gamma characteristic in which the output is 1 when the input is 1. The image coding apparatus according to claim 1, wherein the image coding apparatus is data that has been subjected to gradation compression so that the signal becomes low.

複数の露出で撮像された複数のフレームの画像データについて、フレーム間予測符号化方式またはフレーム内予測符号化方式を用いて符号化する符号化工程を有する画像符号化方法であって、
前記符号化工程は、前記フレームにおける露出に応じて、前記フレーム間予測符号化方式における符号化対象となる参照元フレームに対する参照先フレームを決定することと、前記参照元フレームおよび前記参照先フレームの明るさを合わせることと、の少なくともいずれかを実行することを特徴とする画像符号化方法。 An image encoding method including an encoding step of encoding image data of a plurality of frames captured with a plurality of exposures using an inter-frame prediction encoding method or an intra-frame prediction encoding method,
The encoding step determines a reference destination frame for a reference source frame to be encoded in the inter-frame predictive encoding scheme according to exposure in the frame, and determines the reference source frame and the reference destination frame. An image encoding method characterized by executing at least one of adjusting brightness.

前記符号化工程は、前記複数の露出のうち、所定の基準よりも高い露出で得られたフレームを、前記参照元フレームに対する前記参照先フレームとして決定することを特徴とする請求項１２に記載の画像符号化方法。 13. The encoding process according to claim 12, wherein the encoding step determines a frame obtained with an exposure higher than a predetermined reference among the plurality of exposures as the reference destination frame with respect to the reference source frame. Image coding method.

前記符号化工程は、前記複数の露出のうち、最も低い露出と異なる露出で撮像されたフレームを、前記参照元フレームに対する前記参照先フレームとして決定することを特徴とする請求項１３に記載の画像符号化方法。 The image according to claim 13, wherein the encoding step determines a frame captured at an exposure different from the lowest exposure among the plurality of exposures as the reference destination frame with respect to the reference source frame. Encoding method.

前記符号化工程は、前記参照元フレームが得られたときの露出に対し、所定の基準よりも近い露出で得られたフレームを、当該参照元フレームに対する前記参照先フレームとして決定することを特徴とする請求項１２〜１４の何れか１項に記載の画像符号化方法。 The encoding step is characterized in that a frame obtained with an exposure closer to a predetermined standard than an exposure when the reference source frame is obtained is determined as the reference destination frame with respect to the reference source frame. The image coding method according to any one of claims 12 to 14.

前記符号化工程は、前記参照元フレームが得られたときの露出に最も近い露出で得られたフレームを、当該参照元フレームに対する前記参照先フレームとして決定することを特徴とする請求項１５に記載の画像符号化方法。 16. The encoding process according to claim 15, wherein the encoding step determines a frame obtained with an exposure closest to an exposure when the reference source frame is obtained as the reference destination frame for the reference source frame. Image coding method.

前記符号化工程は、前記参照元フレームと、前記参照元フレームが得られたときの露出に最も近い露出で得られたフレームとの時間的な差が所定時間よりも長くなる場合には、前記参照元フレームとの時間的な差が所定時間内のフレームを、当該参照元フレームに対する前記参照先フレームとして決定することを特徴とする請求項１６に記載の画像符号化方法。 In the encoding step, when a temporal difference between the reference source frame and a frame obtained by exposure closest to the exposure when the reference source frame is obtained is longer than a predetermined time, The image encoding method according to claim 16, wherein a frame having a temporal difference from a reference source frame within a predetermined time is determined as the reference destination frame with respect to the reference source frame.

前記複数の露出は、周期的に繰り返し変更され、
前記フレーム内予測符号化方式を用いて符号化するフレームが出現する周期は、前記露出を変更する周期の整数倍であることを特徴とする請求項１２〜１７の何れか１項に記載の画像符号化方法。 The plurality of exposures are periodically and repeatedly changed,
The image according to any one of claims 12 to 17, wherein a period in which a frame to be encoded using the intra-frame predictive encoding method appears is an integer multiple of a period in which the exposure is changed. Encoding method.

前記符号化工程は、前記参照元フレームおよび前記参照先フレームの明るさを合わせた後に、当該参照先フレームを用いて、当該参照元フレームに対するフレーム間予測符号化を行うことを特徴とする請求項１２〜１８の何れか１項に記載の画像符号化方法。 The encoding step performs inter-frame predictive encoding on the reference source frame using the reference destination frame after matching the brightness of the reference source frame and the reference destination frame. The image encoding method according to any one of 12 to 18.

前記符号化工程は、前記参照元フレームが得られたときの露出と、前記参照先フレームが得られたときの露出の差に応じて、前記参照元フレームおよび前記参照先フレームの明るさを合わせることを特徴とする請求項１９に記載の画像符号化方法。 The encoding step matches the brightness of the reference source frame and the reference destination frame according to the difference between the exposure when the reference source frame is obtained and the exposure when the reference destination frame is obtained. The image encoding method according to claim 19.

前記符号化工程は、前記参照元フレームが得られたときの露出と、前記参照先フレームが得られたときの露出との差に応じて、前記参照先フレームの画素値に対する増幅率を決定し、決定した増幅率を前記参照元フレームに掛けることにより、前記参照先フレームの明るさを前記参照元フレームの明るさに合わせることを特徴とする請求項２０に記載の画像符号化方法。 The encoding step determines an amplification factor for the pixel value of the reference frame according to a difference between an exposure when the reference frame is obtained and an exposure when the reference frame is obtained. 21. The image encoding method according to claim 20, wherein the brightness of the reference destination frame is matched with the brightness of the reference source frame by multiplying the determined amplification factor by the reference source frame.

前記参照元フレームおよび前記参照先フレームのデータは、ガンマ処理が行われていないデータ、または、入力が１のときに出力が１になるガンマ特性でガンマ処理を行う場合よりも階調の圧縮率が低くなるように階調の圧縮が行われたデータであることを特徴とする請求項１２〜２１の何れか１項に記載の画像符号化方法。 The data of the reference source frame and the reference destination frame is data that has not been subjected to gamma processing, or the gradation compression rate compared to the case where gamma processing is performed with a gamma characteristic in which the output is 1 when the input is 1. The image coding method according to any one of claims 12 to 21, wherein the data is gradation-compressed so as to be low.

請求項１２〜２２の何れか１項に記載の画像符号化方法の各工程をコンピュータに実行させることを特徴とするプログラム。 A program causing a computer to execute each step of the image encoding method according to any one of claims 12 to 22.