JP5820213B2 - Image processing apparatus and method, and imaging apparatus - Google Patents
Image processing apparatus and method, and imaging apparatus Download PDFInfo
- Publication number
- JP5820213B2 JP5820213B2 JP2011209785A JP2011209785A JP5820213B2 JP 5820213 B2 JP5820213 B2 JP 5820213B2 JP 2011209785 A JP2011209785 A JP 2011209785A JP 2011209785 A JP2011209785 A JP 2011209785A JP 5820213 B2 JP5820213 B2 JP 5820213B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- frame
- frames
- images
- gradation compression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Devices (AREA)
Description
本発明は、露光量の異なる複数枚の撮像画像を合成して、ダイナミックレンジの広い画像を生成する画像処理装置及びその方法、撮像装置に関する。 The present invention relates to an image processing apparatus that generates a wide dynamic range image by synthesizing a plurality of captured images with different exposure amounts, and an imaging apparatus therefor.
一般に、露光量の異なる複数枚の撮像画像を合成し、ダイナミックレンジを拡大した後、出力機器のダイナミックレンジに合わせて、階調圧縮を行う画像処理装置が提案されている（特許文献１）。また、入力画像を複数の解像度の画像に変換し、それらを用いて、入力画像の着目画素周囲の小領域毎に、階調圧縮特性を最適化して、入力画像のダイナミックレンジを圧縮する画像処理が提案されている（特許文献２）。 In general, there has been proposed an image processing apparatus that synthesizes a plurality of captured images with different exposure amounts, expands the dynamic range, and then performs gradation compression in accordance with the dynamic range of the output device (Patent Document 1). Image processing that converts the input image into multiple resolution images and uses them to optimize the tone compression characteristics for each small area around the pixel of interest in the input image and compress the dynamic range of the input image Has been proposed (Patent Document 2).
しかし、特許文献１に記載された技術では、露光量の異なる複数枚の画像を合成したダイナミックレンジの広い画像を、図９のように、画面内の輝度に応じた一様な特性で、出力機器のダイナミックレンジに収まるよう階調圧縮を行う。そのため、階調再現性の損なわれる輝度領域が発生するという課題がある。 However, in the technique described in Patent Document 1, an image with a wide dynamic range obtained by combining a plurality of images with different exposure amounts is output with uniform characteristics according to the luminance in the screen as shown in FIG. Tone compression is performed to fit within the dynamic range of the device. For this reason, there is a problem that a luminance region in which gradation reproducibility is impaired occurs.
一方、特許文献２に記載された技術では、階調圧縮特性を生成するために、多重解像度処理を必要とする。すなわち、入力画像から生成した複数種類の解像度の画像を同じタイミングで参照しなければならない。そのため、低解像度画像を生成する間、高解像度画像をフレームメモリにバッファリングしてタイミングを調整する必要がある。フレームメモリを使った画像のバッファリングでは、特に、動画撮影時や、画像サイズ、ビット幅が大きい場合に撮像システムにかかる負荷を高めてしまう。また、ダイナミックレンジが拡張された動画に対して階調圧縮を行う場合、画像内の動的な部分と静的な部分が変化することにより、適切な階調圧縮特性は変化する。
On the other hand, the technique described in
本発明は、上記の課題に鑑みてなされたものであり、ダイナミックレンジを拡張する合成処理を行う場合に、上述したようなシステムへの負荷の増加を抑制しつつ、動画における画像の変化に応じた適切な階調圧縮特性による圧縮を実現することを目的とする。 The present invention has been made in view of the above-described problems, and responds to image changes in a moving image while suppressing an increase in the load on the system as described above when performing a synthesis process for extending a dynamic range. Another object of the present invention is to realize compression using appropriate gradation compression characteristics.
上記の目的を達成するための本発明の一態様による撮像装置は以下の構成を備える。すなわち、
露光量の異なる２つの画像を合成してダイナミックレンジが拡張された画像を生成する撮像装置であって、
２種類の異なる露光量で撮影した画像を連続して出力する撮像手段と、
前記撮像手段から連続して出力された、合成対象の２つのフレームの画像を合成してダイナミックレンジが拡張された合成画像を生成する合成手段と、
前記２つのフレームの１フレーム目の画像を低解像度化した画像と、当該１フレーム目の画像とに基づいて階調圧縮特性を生成する生成手段と、
前記生成手段で生成された前記階調圧縮特性を用いて前記合成画像の階調を圧縮する階調圧縮手段と、
前記２つのフレームの画像から動きの生じた部分を推定する推定手段と、
前記推定手段による推定の結果に基づいて、前記合成対象の２つのフレームにおける１フレーム目と２フレーム目の画像の露光量を入れ替える制御手段と、を備える。
In order to achieve the above object, an imaging apparatus according to an aspect of the present invention has the following arrangement. That is,
An imaging apparatus that generates an image with an expanded dynamic range by combining two images having different exposure amounts,
Imaging means for continuously outputting images taken with two different exposure amounts;
Synthesis means for generating a synthesized image with an expanded dynamic range by synthesizing images of two frames to be synthesized, continuously output from the imaging means;
Generating means for generating gradation compression characteristics based on an image obtained by reducing the resolution of the first frame image of the two frames and the first frame image;
Gradation compression means for compressing the gradation of the composite image using the gradation compression characteristic generated by the generation means;
Estimating means for estimating a portion where motion has occurred from the images of the two frames;
Control means for switching the exposure amounts of the first frame image and the second frame image in the two frames to be combined based on a result of estimation by the estimation unit.
本発明によれば、ダイナミックレンジを拡張する合成処理を行う場合に、上述したようなシステムへの負荷の増加を抑制しつつ、動画における画像の変化に応じた適切な階調圧縮特性による圧縮を実現できる。 According to the present invention, when performing a synthesis process for extending the dynamic range, compression with an appropriate gradation compression characteristic corresponding to a change in an image in a moving image is performed while suppressing an increase in the load on the system as described above. realizable.
以下、添付の図面を参照しながら、本発明の好適な実施形態を説明する。
以下の実施形態では、露光量の異なる２つのフレームの画像を合成して、ダイナミックレンジの拡大された１フレーム分の画像を出力する画像処理装置を有する撮像装置について説明する。
Hereinafter, preferred embodiments of the present invention will be described with reference to the accompanying drawings.
In the following embodiments, an imaging apparatus having an image processing apparatus that combines images of two frames with different exposure amounts and outputs an image for one frame with an expanded dynamic range will be described.
図１は、第１実施形態の撮像装置１００の構成を示すブロック図である。図１において、光学系１は撮像レンズ、絞り等の光学素子を含む。撮像素子２は光学系１により撮像面上に結像された光学像を電気信号に変換して画像信号を出力する。本実施意形態の撮像素子２は複数種類の露光量を切り替えて撮像を行うことが可能であり、露光量の切り替えは、例えば光電変換素子における電荷蓄積時間の切り替えにより実現される。フレームメモリ３は、撮像素子２から出力される画像の１フレーム分をバッファリングするためのメモリである。合成部４は、フレームメモリ３から読み出した画像と、撮像素子２から出力される現フレームの画像とを所定の演算によって合成し、ダイナミックレンジの広い画像を生成する。階調圧縮特性生成部５は、合成部４により合成された画像に対する階調圧縮特性を生成する。階調圧縮部６は、合成部４の出力画像が、所定のダイナミックレンジに収まるよう、階調圧縮特性生成部５から出力された階調圧縮特性を用いて階調圧縮を行う。動き領域推定部７は、撮像素子２から出力される合成対象の画像（本実施形態では露光量の異なる２つのフレームの画像）から動きの生じた部分を推定する。システム制御部８は、撮像装置１００の全体の動作を制御する。
FIG. 1 is a block diagram illustrating a configuration of the
次に、第１実施形態による撮像装置１００の動作の概要について説明する。撮像装置１００において撮影が開始されると、システム制御部８は、フレーム毎に、指示された露光量の画像が撮像素子２から出力されるよう、光学系１、撮像素子２を制御する。光学系１を介して撮像素子２から出力された画像は、フレームメモリ３、合成部４、階調圧縮特性生成部５および、動き領域推定部７に入力される。フレームメモリ３では、撮像素子２からの出力画像の１フレーム分を保持する。
Next, an outline of the operation of the
合成部４は、フレームメモリ３に保持された画像と撮像素子２から出力される画像とを、ダイナミックレンジを拡張するように合成する。この結果、フレームメモリ３から読み出された１フレーム前の撮像素子２の出力画像と、撮像素子２から現在出力されている撮像素子２の現フレームの出力画像とが合成される。フレームメモリ３から読み出された１フレーム前の撮像素子２の出力画像と、撮像素子２からの現フレームの出力画像は、それぞれ露光量が異なる。そのため、合成前に露光量の差に応じたゲイン処理を実施し、現フレームおよび１フレーム前の撮像素子２の出力画像のレベル調整を行う。
The synthesizing
階調圧縮特性生成部５は、フレームメモリ３から読み出された１フレーム前の出力画像と、撮像素子２からの現フレームの出力画像とを用いて、合成部４の出力画像のための階調圧縮特性を生成する。階調圧縮部６は、階調圧縮特性生成部５から出力される階調圧縮特性を用いることにより、撮影中の画像が好ましい階調再現となり、かつ出力映像フォーマットのダイナミックレンジに収まるよう、合成部４から出力される画像の階調圧縮を行う。
The gradation compression characteristic generation unit 5 uses the output image of the previous frame read from the frame memory 3 and the output image of the current frame from the
次に、合成部４の構成について、図４を参照して説明する。上述のように、合成部４は、フレームメモリ３から読み出した画像と、撮像素子２から出力される画像とを合成し、ダイナミックレンジの広い画像を生成する。図４の（ａ）において、入力端子４３には、フレームメモリ３の出力画像、入力端子４４には、撮像素子２の出力画像がそれぞれ入力される。
Next, the configuration of the
動き画素判定部４１は、入力端子４３と入力端子４４から入力された２つの画像、即ち、合成対象の２つのフレームの画像を比較し、被写体が動いている領域を画素単位で検出する。検出結果は、画像合成部４２および、システム制御部８に出力される。動き画素判定部４１は、例えば、各画像で輝度値のレベル合わせを行い、対応する画素、すなわち、同一画像座標の画素毎に画素値の差分の絶対値を取る。そして、その差分の絶対値がある一定の閾値以上の画素を動き部分の画素（以下、動き画素）とみなし、それ以外の画素を静止部分の画素（以下、静止画素）とみなす。
The moving
画像合成部４２は、入力端子４３と入力端子４４から入力された画像、即ち、合成対象の２つのフレームの画像を、動き画素判定部４１の判定出力に基づいて合成する。なお、合成のタイミングは、システム制御部８から入力される制御信号Ｓ２によって与えられる（図３により後述）。
The
図４の（ｂ）に、高露光画像における被写体の輝度と出力値との関係４１１、低露光画像における被写体の輝度と出力値の関係４１２を示す。低露光画像は、暗部のＳ／Ｎが高露光画像よりも低いが、関係４１２に示すように明部４０２でも飽和していないため、暗部４０１から明部４０２までの全ての輝度領域で画像情報が得られる。一方、高露光画像は、関係４１１に示すように、明部４０２の飽和領域では白飛びを起こしてしまうが、暗部４０１のＳ／Ｎは低露光画像よりも高い。従って、明部４０２では画像情報の欠落がない低露光画像を用い、暗部４０１では低露光画像・高露光画像の両方のうちのいずれを用いても構わない。
FIG. 4B shows a
しかしながら、暗部４０１において、動き画素と判定される画素に対して高露光画像を用いることは避けるべきである。なぜなら、動き画素の判定は、低露光画像と高露光画像の差分値を参照しているため、高露光画像において白飛びが起きている場合、動き画素でなくとも低露光画像との差分が大きくなり、動き画素と判定される場合がある。このように判定された動き画素に対して、高露光画像を用いるとその部分が白飛びしてしまうことになる。従って、本実施形態の画像合成部４２では、暗部４０１における動き画素には低露光画像を、暗部４０１における静止画素には高露光画像を用いる。
However, it should be avoided to use a high-exposure image for pixels that are determined as moving pixels in the
次に、階調圧縮特性生成部５の構成について、図２を参照して説明する。階調圧縮特性生成部５では、着目画素を含む小領域の輝度レベルを参照することにより、画素毎に階調圧縮特性を決定する。 Next, the configuration of the gradation compression characteristic generation unit 5 will be described with reference to FIG. The gradation compression characteristic generation unit 5 determines the gradation compression characteristic for each pixel by referring to the luminance level of the small area including the target pixel.
図２において、入力端子５８にはフレームメモリ３の出力画像が、入力端子５９には撮像素子２の出力画像が入力される。輝度生成部５１、輝度生成部５２は、それぞれ、入力端子５８、入力端子５９から入力された画像から輝度信号を生成する。フレームメモリ３の出力画像と撮像素子２の出力画像は、いずれも、ＲＡＷデータであり、ＲＧＢベイヤー等、画素毎に色フィルタによるレベル差がある。したがって、輝度生成部５１、５２では、補間処理、マトリクス演算を行い、色フィルタによるレベル差を解消した輝度信号を生成する。
In FIG. 2, the output image of the frame memory 3 is input to the
画像縮小部５３は、輝度生成部５２から出力される１フレーム分の輝度画像を、×１／６４、×１／１２８等の高い縮小率で縮小して低解像度化した画像を取得し、結果を第２のメモリとしてのメモリ５４に格納する。なお、縮小後の画像（低解像度化した画像）を格納するメモリ５４の容量は、入力画像の１フレーム分をバッファリングするフレームメモリ３と比較して十分に小さく、メモリ５４を用いても撮像システムへの負荷は問題にならない。また、フレームメモリ３とメモリ５４は別個のメモリであってもよいし、同じメモリの異なるメモリ領域であってもよい。画像拡大部５５は、メモリ５４に格納された縮小画像を、輝度生成部５１から出力される輝度画像と等しい画像サイズになるよう、線形補間等を用いて拡大する。
The
局所輝度レベル推定部５６は、輝度生成部５１から出力される高解像度の輝度画像と、画像拡大部５５から出力される低解像度の輝度画像を用いた演算により、着目画素を含む小領域の輝度レベルを推定する。このような推定演算の一例としては、
・画素毎に、解像度の異なる複数枚の画像の出力を比較し、
・高解像度画像と低解像度画像の差分が小さい場合には、低解像度画像の出力を着目画素における輝度レベルとして出力し、
・高解像度画像と低解像度画像の差分が大きい場合には、低解像度画像と高解像度画像を加重加算して、着目画素における輝度レベルとして出力する、という方法等が挙げられる。このような推定演算を用いることで、ノイズや被写体のエッジ等の影響は排除しつつ、様々な輝度レベルの小領域が混在する画像において、各領域の分離精度を高められる。なお、本実施形態では、２種類の解像度の画像を用いて局所輝度レベルの推定を行ったが、これに限られるものではなく、３種類以上の異なる解像度の画像を用いてもよい。
The local luminance
・ Compare the output of multiple images with different resolutions for each pixel,
When the difference between the high resolution image and the low resolution image is small, the output of the low resolution image is output as the luminance level at the pixel of interest,
-When the difference between the high-resolution image and the low-resolution image is large, a method of weighting and adding the low-resolution image and the high-resolution image and outputting the luminance level at the pixel of interest can be used. By using such an estimation calculation, it is possible to improve the separation accuracy of each region in an image in which small regions having various luminance levels are mixed while eliminating the influence of noise, the edge of the subject, and the like. In the present embodiment, the local luminance level is estimated using images of two types of resolutions, but the present invention is not limited to this, and images of three or more types of different resolutions may be used.
階調圧縮特性決定部５７は、局所輝度レベル推定部５６の出力を参照して、画素ごとに、適切な階調圧縮特性を決定する。例えば、
・着目画素を含む小領域の輝度レベルが適正露光よりも暗い場合には、着目画素の輝度レベルをゲインアップするような階調圧縮特性を生成し、
・着目画素を含む小領域の輝度レベルが、適正露光よりも明るい場合には、着目画素の輝度レベルをゲインダウンするような階調圧縮特性を生成する。
The gradation compression
When the brightness level of the small area including the target pixel is darker than the appropriate exposure, a gradation compression characteristic that increases the brightness level of the target pixel is generated,
When the luminance level of the small area including the target pixel is brighter than the appropriate exposure, a gradation compression characteristic that reduces the luminance level of the target pixel is generated.
ところで、局所輝度レベル推定部５６では、低解像度画像と高解像度画像を同じタイミングで参照する必要がある。したがって、画像縮小部５３で、１フレーム分の画像を縮小している間、１フレーム分の高解像度画像をバッファリングして、遅延する必要がある。このような画像のバッファリングは、特に、画像サイズが大きい場合や、撮影画像のフレームレートが高い場合に、撮像装置のシステム負荷を増大させる。そこで、本実施形態の撮像装置１００では、合成部４で用いるフレームメモリ３を、階調圧縮特性生成部５での遅延調整用バッファとして共用することで、システム負荷が増大するのを防いでいる。
Incidentally, the local luminance
一方、合成部４で用いるフレームメモリ３にバッファリングできるのは１フレーム分の画像である。本実施形態では、低露光画像と高露光画像を合成する場合、低露光画像と高露光画像の２つのフレームの画像のうち、最初に撮影された方、すなわち１フレーム目の画像がフレームメモリ３にバッファリングされる。そして、その次に撮像素子２から出力される２フレーム目の画像と、フレームメモリ３にバッファリングされた１フレーム目の画像が合成される。上述したように、２つのフレームの画像は、光学系１、撮像素子２により異なる露光量が適用されて撮影された画像である。したがって、合成用にバッファリングされている画像を階調圧縮特性生成部５で共用する場合、合成前の低露光画像または高露光画像のいずれかの１フレーム目の画像がフレームメモリ３に保持され、この画像に基づいて階調圧縮特性が生成されることになる。
On the other hand, an image for one frame can be buffered in the frame memory 3 used in the
ここで、合成前の低露光画像または合成前の高露光画像のいずれかで階調圧縮特性を生成する場合、画像に動きのある被写体が存在すると、合成後の画像に対して階調圧縮特性が適切でない場合が生じる。図６および図７にその一例を示した。 Here, when generating gradation compression characteristics for either a low-exposure image before composition or a high-exposure image before composition, if there is a moving subject in the image, the gradation compression characteristics for the image after composition May not be appropriate. An example is shown in FIGS.
図６を参照して、階調圧縮特性を高露光画像から生成する場合を説明する。図６（ａ）の高露光画像には、被写体６０１と被写体６０２が存在する。これに対して、図６（ｂ）の低露光画像では、被写体６０１は同じに位置に静止しているが、被写体６０２は被写体６０３の位置に大きく移動したとする。 With reference to FIG. 6, a case where the gradation compression characteristic is generated from a high exposure image will be described. In the high exposure image of FIG. 6A, a subject 601 and a subject 602 exist. On the other hand, in the low-exposure image in FIG. 6B, it is assumed that the subject 601 is stationary at the same position, but the subject 602 has moved greatly to the position of the subject 603.
合成部４によってこれらの高露光画像と低露光画像を合成すると、被写体６０１の領域は静止画素と判定されるため、被写体６０１の領域が暗部４０１に属する画像であれば、合成には高露光画像が用いられる。一方、被写体６０２及び被写体６０３の領域は動き画素と判定されるため、被写体６０２，６０３の領域が暗部４０１に属する画像であっても合成には低露光画像が用いられる。結果として、図６（ｄ）に示すように、合成後の画像には被写体６０１と被写体６０３、さらに被写体６０２の領域に低露光画像が用いられることで生じるゴースト６０４が存在することになる。
When these high-exposure images and low-exposure images are combined by the combining
このとき、階調圧縮特性を高露光画像から生成すると、図６（ｃ）のように被写体６０１及び被写体６０２に対して最適な階調圧縮特性が生成される。この階調圧縮特性を合成後の画像（図６（ｄ））に適用すると、領域６０５の階調圧縮特性は被写体６０１に対して正しく適用される。しかしながら、領域６０６の階調圧縮特性がゴースト６０４に誤って適用されてしまうとともに、被写体６０３に対しては適切な階調圧縮特性が適用されないことになってしまう。
At this time, when the gradation compression characteristic is generated from the high-exposure image, the optimum gradation compression characteristic is generated for the subject 601 and the subject 602 as shown in FIG. When this gradation compression characteristic is applied to the synthesized image (FIG. 6D), the gradation compression characteristic in the
また図７を参照して、階調圧縮特性を低露光画像から生成する場合を考える。図７（ａ）の低露光画像には、被写体７０１と被写体７０２が存在する。これに対して、図７（ｂ）の高露光画像では、被写体７０１は同じに位置に静止しているが、被写体７０２は被写体７０３の位置にごくわずかに移動したとする。 Further, with reference to FIG. 7, a case where the gradation compression characteristic is generated from a low exposure image will be considered. The low-exposure image in FIG. 7A includes a subject 701 and a subject 702. In contrast, in the high exposure image of FIG. 7B, it is assumed that the subject 701 is still at the same position, but the subject 702 has moved to the position of the subject 703 very slightly.
合成部４によってこれらの高露光画像と低露光画像を合成すると、被写体７０１の領域は静止画素と判定されるため、被写体７０１の領域が暗部４０１に属する画像であれば、合成には高露光画像が用いられる。一方、被写体７０２及び被写体７０３の領域であるが、移動量がごくわずかであるために、動き画素判定部４１において動きと判定されるための閾値を超えず、静止画素と判定される。その結果、被写体７０２及び被写体７０３の領域が暗部４０１に属する画像であれば、合成には高露光画像が用いられる。結果として、図７（ｄ）に示されるように、合成後の画像には、被写体７０１と被写体７０３が存在することになる。
When these high-exposure images and low-exposure images are combined by the combining
このとき、階調圧縮特性を図７（ａ）の低露光画像から生成すると、図７（ｃ）のように被写体７０１及び被写体７０２に対して最適な階調圧縮特性が生成される。この階調圧縮特性を図７（ｄ）に示す合成後の画像に適用すると、領域７０４の階調圧縮特性は被写体７０１に対して正しく適用される。しかしながら、領域７０５の階調圧縮特性は被写体７０３に対してわずかにずれて適用されることになり、ずれた部分の階調が損なわれてしまう。
At this time, when the tone compression characteristics are generated from the low-exposure image in FIG. 7A, optimum tone compression characteristics are generated for the subject 701 and the subject 702 as shown in FIG. 7C. When this gradation compression characteristic is applied to the combined image shown in FIG. 7D, the gradation compression characteristic in the
上記のような問題が起きる条件を、図８の表にまとめた。図８の表では、暗部４０１における合成処理（高露光画像、低露光画像のいずれも合成に利用可能な領域における合成処理）を示している。表中のＬは低露光画像、Ｈは高露光画像、ΔＬＨは低露出画像と高露出画像のある同一画像座標の画素に関して、画素値の差分の絶対値を取ったものである。表中の○は合成後の画像に対して階調圧縮特性が適切であることを示しており、×は階調圧縮特性が適切でないことを示している。また△は×と同様に適切ではないが、それによって生じる不具合の影響が小さいことを示している。 The conditions under which the above problems occur are summarized in the table of FIG. The table of FIG. 8 shows the composition processing in the dark portion 401 (composition processing in an area where both high exposure images and low exposure images can be used for composition). In the table, L is a low-exposure image, H is a high-exposure image, and ΔLH is an absolute value of the difference between pixel values for pixels having the same image coordinates in the low-exposure image and the high-exposure image. In the table, ◯ indicates that the tone compression characteristics are appropriate for the combined image, and x indicates that the tone compression characteristics are not appropriate. Further, Δ is not appropriate as in the case of ×, but indicates that the influence of defects caused thereby is small.
ΔＬＨがある閾値よりも大きい場合には動き画素と判定され、合成画像には低露光画像（Ｌ）が用いられる。ΔＬＨがほぼ０である場合には静止画素と判定され、合成画像には高露光画像（Ｈ）が用いられる。また、ΔＬＨが０ではないがある閾値よりも小さい場合には静止画素と判定され、この場合にも合成画像には高露光画像（Ｈ）が用いられる。合成後の画像に対して階調圧縮特性が適切でないのは、合成画像にＬが用いられ、階調圧縮特性をＨから生成する場合（図６）と、合成画像にＨが用いられ、階調圧縮特性をＬから生成する場合（図７）である。 When ΔLH is larger than a certain threshold, it is determined as a moving pixel, and a low-exposure image (L) is used as a composite image. When ΔLH is substantially 0, it is determined as a still pixel, and a high exposure image (H) is used as a composite image. Further, when ΔLH is not 0 and is smaller than a certain threshold value, it is determined as a still pixel, and also in this case, a high-exposure image (H) is used as a composite image. The reason why the tone compression characteristic is not appropriate for the synthesized image is that L is used for the synthesized image and the tone compression characteristic is generated from H (FIG. 6), and H is used for the synthesized image. This is a case where the compression / compression characteristics are generated from L (FIG. 7).
次に、合成画像に対して階調圧縮特性が適切でないケースをより減らすための構成について説明する。本実施形態では、撮影中の画像において、動いていると判定される領域（動き領域）が支配的な場合、すなわち、合成画像で低露光画像が用いられる領域が支配的な場合には、階調圧縮特性を低露光画像から生成する。一方、撮影中の画像において、静止していると判定される領域（静止領域）が支配的な場合、すなわち、合成画像で高露光画像が用いられる領域が支配的な場合には、階調圧縮特性を高露光画像から生成するようにすればよい。 Next, a configuration for further reducing the case where the gradation compression characteristics are not appropriate for the composite image will be described. In the present embodiment, when an area that is determined to be moving (motion area) is dominant in an image being shot, that is, when an area where a low-exposure image is used in a composite image is dominant, A tonal compression characteristic is generated from a low exposure image. On the other hand, if the area that is determined to be stationary (still area) is dominant in the image being shot, that is, if the area where the high-exposure image is used is dominant in the composite image, tone compression The characteristic may be generated from the high exposure image.
そこで、本実施形態の撮像装置１００では、撮影中の画像において、支配的な領域が、動き領域なのか、静止領域なのかを判定する。そして、撮影中の画像において、少なくとも支配的な領域ではより好ましい階調圧縮特性で階調圧縮処理が行われるように、階調圧縮特性生成部５で用いる画像、すなわち、フレームメモリ３に保持する画像を決定する。
Therefore, in the
撮影中の画像において、支配的な領域を判定する方法としては、以下で説明するように、動き領域推定部７で撮影中の画像を解析して判定してもよいし、撮影条件や、ユーザの指示などを参照して、システム制御部８で決定してもよい。例えば、撮影条件を参照して支配的な領域を判定する方法としては、シャッタースピードが速い場合や、シーンモードがスポーツモードの場合には、動被写体を撮影している可能性が高いため、動き領域が支配的と判定することが挙げられる。その逆にシャッタースピードが遅い場合や三脚撮影モードの場合には、静被写体を撮影している可能性が高いため、静止領域が支配的であると判定することが挙げられる。また、ユーザの指示を参照して支配的な領域を判定する方法としては、例えば、あらかじめ静止領域支配モードと動領域支配モードのようなものを用意しておき、撮影前にユーザに選択させる、ことが挙げられる。以下、動き領域推定部７での動作について説明する。
As a method for determining a dominant region in an image being shot, it may be determined by analyzing the image being shot by the motion
動き領域推定部７では、画面内の動きベクトル分布を検出し、動き領域が支配的か、静止領域が支配的かを判定する。判定方法の一例としては、ブロックマッチングによってブロック単位で動きベクトルを算出し、それら動きベクトルの大きさを積算し、ある閾値より大きければ動き領域が支配的であり、ある閾値より小さければ静止領域が支配的であると判定する。動き領域推定部７は、以上のようにして、撮影中の画像を解析し、その解析結果をシステム制御部８に送出する。
The motion
システム制御部８は、動き領域推定部７による推定の結果に基づき、合成対象の２つのフレームにおける１フレーム目と２フレーム目の画像の露光量を入れ替える。この入れ替えにより、階調圧縮特性の生成に使用される１フレーム目の画像を、低露光画像とするか高露光画像とするかを制御する。本実施形態では、システム制御部８は、撮像素子２の駆動を制御して、撮像素子２に適用される２種類の露光量の順番を入れ替える。
The system control unit 8 swaps the exposure amounts of the first and second frame images in the two frames to be synthesized based on the estimation result by the motion
動き領域推定部７による推定の結果、撮像中の画像において動きの生じた部分の大きさが所定値以下の場合、すなわち、静止領域が支配的と判定された場合には、フレームメモリ３に高露出画像が入力されるようにする。本実施形態では、合成対象の連続した２フレームの画像のうち、露光量の高い画像の方が先に撮影されて１フレーム目となるように、システム制御部８が撮像素子２の駆動制御を行う。また、動き領域推定部７による推定の結果、撮像中の画像において動きの生じた部分の大きさが所定値を超える場合、すなわち動き領域が支配的と判定された場合には、フレームメモリ３に低露出画像が入力されるようにする。本実施形態では、合成対象の連続した２つのフレームの画像のうち露光量の低い画像の方が先に撮影されて１フレーム目となるよう、システム制御部８が撮像素子２の駆動制御を行う。
As a result of estimation by the motion
以上の構成により、適正な階調圧縮特性を得ることができる。しかしながら、上記の制御では、動き領域と静止領域のどちらか一方の支配的領域に対しては適切な階調圧縮特性が得られるが、他方の非支配的領域に対しては適切な階調圧縮特性が得られない可能性がある。そこで、本実施形態の階調圧縮部６は、更に、非支配的領域に対する不適切な階調圧縮の影響を低減するため、動き領域の面積と移動量の積に応じて階調圧縮効果の度合いを制御する。
With the above configuration, appropriate gradation compression characteristics can be obtained. However, in the above control, appropriate gradation compression characteristics can be obtained for one of the dominant areas of the motion area and the stationary area, but appropriate gradation compression is obtained for the other non-dominant area. Characteristics may not be obtained. Therefore, the
いま、画面内に動き領域が一部存在するが、動き領域推定部７によって、支配領域は静止領域であると判定された場合を考えてみる。この場合、高露光画像から階調圧縮特性を生成することになり、図６で説明したような状況が生じる可能性がある。図６の状況では、動き領域の面積が大きいほど、また動き領域の移動量が大きいほど、不適切な階調圧縮の影響が大きくなる。従って、支配領域が静止領域であると判定されている場合、すなわち、高露光画像から階調圧縮特性を生成する場合は、動き領域の面積と移動量の積が増加するほど、階調圧縮効果を弱めることが望ましい。
Now, consider a case in which a part of the motion area exists in the screen, but the motion
また、面内に静止領域が一部存在するが、動き領域推定部７によって、支配領域は動き領域であると判定された場合を考えてみる。この場合、低露光画像から階調圧縮特性を生成することになり、図７で説明したような状況が生じる可能性がある。図７の状況では、動き領域の面積が大きいほど、また動き領域の移動量が大きいほど、不適切な階調圧縮の影響が小さくなる。従って、支配領域が動き領域であると判定された場合、すなわち、低露光画像から階調圧縮特性を生成する場合は、動き領域の面積と移動量の積が増加するほど、階調圧縮効果を強めることが望ましい。これは、動き領域の面積と移動量の積が増加するほど、動き領域がより支配的で、合成画像に占める低露光画像の割合が大きくなると考えられるためである。例えば動き領域が１００％であれば低露光画像から生成した階調圧縮をそのまま適用し、動き領域が６０％であれば４０％の静止領域のことも考慮して階調圧縮を弱めに適用するといった具合である。
Consider a case in which a part of a static region exists in the plane, but the dominant region is determined to be a motion region by the motion
階調圧縮効果の度合いの制御は、階調圧縮特性生成部５の出力に対して抑制ゲインを乗算することで行う。抑制ゲインの特性の一例を図５の（ａ）に示した。横軸である動き領域の面積と移動量の積が増加するにつれて、支配領域が静止領域である場合にはゲインが小さくなり、支配領域が動き領域である場合にはゲインが大きくなる。抑制ゲインが１であれば階調圧縮特性生成部５が生成した圧縮特性となり、抑制ゲインが０の場合にはリニアな圧縮特性となる。例えば、図５の（ｂ）に示すように、階調圧縮特性生成部５によって階調圧縮特性５０１が得られた場合、抑制ゲインが１であれば階調圧縮特性５０１がそのまま使用されることになる。一方、抑制ゲインが０に近づけば近づくほど、階調圧縮特性はリニアな特性５０２に近づくことになる。
The degree of the gradation compression effect is controlled by multiplying the output of the gradation compression characteristic generation unit 5 by a suppression gain. An example of the suppression gain characteristic is shown in FIG. As the product of the area of the motion region, which is the horizontal axis, and the amount of movement increases, the gain decreases when the dominant region is a stationary region, and the gain increases when the dominant region is a motion region. When the suppression gain is 1, the compression characteristic generated by the gradation compression characteristic generation unit 5 is obtained. When the suppression gain is 0, the compression characteristic is linear. For example, as shown in FIG. 5B, when the
次に、階調圧縮効果の度合いを制御することによる効果について、図６、図７を参照して更に説明する。図６では先述のとおり、高露光画像から生成した階調圧縮特性（図６（ｃ））が、図６（ｄ）の合成後の画像に適用される。そのため、被写体６０１に対しては適切な階調圧縮が行われるが、ゴースト６０４及び、被写体６０３に対しては適切な階調圧縮が行われない。このとき、非支配領域を考慮し、階調圧縮効果を抑制すれば、被写体６０１に対する適切な階調圧縮の効果は弱まってしまうが、ゴースト６０４及び、被写体６０３に対する不適切な階調圧縮による弊害を低減できる。
Next, the effect obtained by controlling the degree of the gradation compression effect will be further described with reference to FIGS. In FIG. 6, as described above, the gradation compression characteristic (FIG. 6C) generated from the high-exposure image is applied to the synthesized image of FIG. 6D. Therefore, appropriate gradation compression is performed on the subject 601, but appropriate gradation compression is not performed on the
図７においても、先述のとおり、低露光画像から生成した階調圧縮特性（図７（ｃ））が図７（ｄ）の合成後の画像に適用される。そのため、被写体７０１に対しては適切な階調圧縮が行われるが、被写体７０３に対しては適切な階調圧縮が行われない。このとき、非支配領域を考慮し、階調圧縮効果を抑制すれば、被写体７０３に対する不適切な階調圧縮による弊害を低減できる。 Also in FIG. 7, as described above, the gradation compression characteristic (FIG. 7C) generated from the low-exposure image is applied to the synthesized image of FIG. 7D. Therefore, appropriate gradation compression is performed on the subject 701, but appropriate gradation compression is not performed on the subject 703. At this time, if the non-dominated region is taken into consideration and the tone compression effect is suppressed, the adverse effects caused by inappropriate tone compression on the subject 703 can be reduced.
次に、撮影中の画像において、支配的な領域が、動き領域から静止領域に変化した際の撮像動作の一例を、図３のタイミングチャートを参照して説明する。図３において、時刻ｔ１、ｔ２、ｔ３、・・・、ｔ７の間隔は、それぞれ、１フレーム期間（以下１Ｖと表記する）を示す。撮像素子２からは、１Ｖ毎に、低露光画像または高露光画像が出力され、合成部４において合成対象となる２つのフレームの画像は図３の破線で囲まれた組み合わせとなる。
Next, an example of an imaging operation when a dominant region changes from a motion region to a still region in an image being shot will be described with reference to a timing chart of FIG. In FIG. 3, the intervals between times t1, t2, t3,..., T7 each indicate one frame period (hereinafter referred to as 1V). A low-exposure image or a high-exposure image is output from the
すなわち、時刻ｔ１からｔ３の期間では、撮像素子２から連続して出力された低露光画像Ｌ１と高露光画像Ｈ１を合成する。同様に、時刻ｔ３からｔ５の期間では、撮像素子２から連続して出力された低露光画像Ｌ２と高露光画像Ｈ２を合成する。また、時刻ｔ５からｔ７の期間では、撮像素子２から連続して出力された低露光画像Ｌ３と高露光画像Ｈ３を合成する。
That is, in the period from time t1 to time t3, the low-exposure image L1 and the high-exposure image H1 continuously output from the
制御信号Ｓ１は、フレームメモリ３への画像の書き込み、及び、階調圧縮特性生成部５での処理のＯｎ／Ｏｆｆを制御する２値の制御信号であり、システム制御部８が出力する。制御信号Ｓ１が“１”の場合には、撮像素子２の出力画像が、１Ｖ期間かけてフレームメモリ３に書き込まれる。また、これと並行して、撮像素子２の出力画像が階調圧縮特性生成部５に入力され、１Ｖ期間かけて階調圧縮特性が生成される。制御信号Ｓ１が“０”の場合には、フレームメモリ３への画像の書き込みは停止され、階調圧縮特性生成部５での処理はｏｆｆとなる。
The control signal S <b> 1 is a binary control signal that controls the writing of an image to the frame memory 3 and the on / off of the processing in the gradation compression characteristic generation unit 5, and is output by the system control unit 8. When the control signal S1 is “1”, the output image of the
制御信号Ｓ２は、フレームメモリ３からの画像の読み出し、及び、合成部４での処理のｏｎ／ｏｆｆ、及び、階調圧縮部６での処理のｏｎ／ｏｆｆを制御する２値の信号であり、システム制御部８から出力される。制御信号Ｓ２が“０”の場合は、フレームメモリ３からの画像の読み出しが停止され、合成部４、及び、階調圧縮部６での処理はｏｆｆとなる。制御信号Ｓ２が“１”の場合には、合成部４は、撮像素子２から出力される画像と、フレームメモリ３から読み出した画像とを用いて、ダイナミックレンジが拡張された合成画像を生成する合成処理を行う。そして、合成後の画像に対して、階調圧縮特性生成部５の出力を用い、階調圧縮部６で階調圧縮処理を行う。
The control signal S2 is a binary signal that controls the reading of the image from the frame memory 3, the on / off of the processing in the
制御信号Ｓ３は、合成される低露光画像と高露光画像のうち、どちらを先に撮影するかを決定する、２値の制御信号であり、システム制御部８から出力される。システム制御部８は、動き領域推定部７での判定結果に基づいて制御信号Ｓ３を更新する。
The control signal S3 is a binary control signal that determines which of the low-exposure image and the high-exposure image to be combined is to be captured first, and is output from the system control unit 8. The system control unit 8 updates the control signal S3 based on the determination result in the motion
システム制御部８は、動き領域推定部７の判定結果に基づいて、撮影中の画像において動き領域が支配的であると判定した場合に制御信号Ｓ３を“０”にセットする。制御信号Ｓ３が“０”の場合、次の合成用画像の撮影時には、低露光画像が先に撮影されるよう撮像素子２が制御される。即ち、合成対象のフレームのうちの１フレーム目が低露光画像、２フレーム目が高露光画像となるように、撮像素子２からの出力の順番が制御される。一方、システム制御部８は、動き領域推定部７の判定結果に基づいて、撮影中の画像において静止領域が支配的であると判定した場合には、制御信号Ｓ３を“１”にセットする。制御信号Ｓ３が“１”の場合、次に合成用画像の撮影時には、高露光画像が先に撮影されるよう、撮像素子２が制御される。即ち、合成対象のフレームのうちの１フレーム目が高露光画像、２フレーム目が低露光画像となるように、撮像素子２からの出力の順番が制御される。
The system control unit 8 sets the control signal S3 to “0” when it is determined based on the determination result of the motion
図３において、時刻ｔ１からｔ２の期間では、制御信号Ｓ３が“０”であるので、合成対象の２つのフレームの画像は、低露光画像Ｌ１、高露光画像Ｈ１の順に撮像素子２から出力される。そして、システム制御部８は、時刻ｔ１からｔ２までの１Ｖ期間で低露光画像Ｌ１をフレームメモリ３に書き込み、それと、並行して、階調圧縮特性生成部５では、時刻ｔ２までに、低露光画像Ｌ１の縮小画像がメモリ５４に保持される。
In FIG. 3, since the control signal S3 is “0” during the period from the time t1 to the time t2, the images of the two frames to be combined are output from the
時刻ｔ２からｔ３において、合成部４は、フレームメモリ３に書き込まれた低露光画像Ｌ１と撮像素子２から出力される高露光画像Ｈ１を合成して、合成画像Ｈ１＋Ｌ１を出力する。これと並行して、階調圧縮特性生成部５は、メモリ５４に保持されている画像Ｌ１の縮小画像とフレームメモリ３から読み出される画像Ｌ１に基づいて階調圧縮特性ｇ（Ｌ１）を生成し、生成した階調圧縮特性を順次に出力していく。そして、この時刻ｔ２からｔ３の期間において、階調圧縮部６は、合成部４から出力された合成画像Ｈ１＋Ｌ１に対し、階調圧縮特性ｇ（Ｌ１）を用いて、階調圧縮処理を行う。
From time t2 to t3, the synthesizing
また、時刻ｔ１からｔ３の期間では、動き領域推定部７が合成対象の低露光画像Ｌ１と高露光画像Ｈ１を用いて動き領域を判定し、判定結果Ａ（Ｈ１−Ｌ１）を出力する。システム制御部８は、判定結果Ａ（Ｈ１−Ｌ１）に基づいて、時刻ｔ３からの合成で参照する制御信号Ｓ３を“０”に更新する。これは、現在撮影中の画像を解析した結果、動き領域が支配的であると判断できるので、次の合成処理の際も、低露光画像を先に撮影して、動き領域での階調圧縮特性を最適化した方が好ましい画質になると考えられるためである。
In the period from time t1 to time t3, the motion
ここで、動き領域推定部７は、高露光画像Ｈ１（合成対象のフレームのうちの２フレーム目の画像）が撮像素子２から出力される時刻ｔ２から時刻ｔ３の期間に判定結果Ａ（Ｈ１−Ｌ１）を出力する必要がある。そのため、動き領域推定部７では、例えば、
・撮像素子２からの高露光画像Ｈ１の読み出しを間引いて２回に分けて（例えば、偶フィールドと奇フィールドに分けて）行い、１回目の読み出しを終えた時点で動き判定を行う、あるいは、
・高露光画像Ｈ１の読み出しの途中で動き判定を実施する（すなわち、前画像ではなく一部の画像から動き領域を判定する）、などの対策が講じられている。
Here, the motion
・ Thin reading out of the high-exposure image H1 from the
Measures are taken such as performing motion determination in the middle of reading the high-exposure image H1 (that is, determining a motion region from a part of the image rather than the previous image).
時刻ｔ３からｔ５の期間においても、制御信号Ｓ３が“０”であるので、合成対象の２つのフレームの画像は、低露光画像Ｌ２（１フレーム目）、高露光画像Ｈ２（２フレーム目）の順に撮像素子２から出力される。そして、時刻ｔ３からｔ４までの１Ｖ期間で、システム制御部８は、低露光画像Ｌ２をフレームメモリ３に書き込み、それと並行して、階調圧縮特性生成部５では、時刻ｔ４までに、低露光画像Ｌ２の縮小画像がメモリ５４に保持される。
Since the control signal S3 is “0” even during the period from the time t3 to the time t5, the images of the two frames to be synthesized are the low exposure image L2 (first frame) and the high exposure image H2 (second frame). The images are output from the
時刻ｔ４からｔ５において、合成部４は、フレームメモリ３に書き込まれた低露光画像Ｌ２と撮像素子２から出力される高露光画像Ｈ２を合成して、合成画像Ｈ２＋Ｌ２を出力する。これと並行して、階調圧縮特性生成部５は、メモリ５４に保持されている画像Ｌ２の縮小画像とフレームメモリ３から読み出される画像Ｌ２に基づいて階調圧縮特性ｇ（Ｌ２）を生成し、生成した階調圧縮特性を順次に出力していく。そして、この時刻ｔ４からｔ５の期間において、階調圧縮部６は、合成部４から出力された合成画像Ｈ２＋Ｌ２に対し、階調圧縮特性ｇ（Ｌ２）を用いて、階調圧縮処理を行う。
From time t4 to t5, the synthesizing
また、時刻ｔ３からｔ５の期間では、動き領域推定部７が合成対象の低露光画像L２と高露光画像Ｈ２を用いて動き領域を判定し、判定結果Ａ（Ｈ２−Ｌ２）を出力する。システム制御部８は、判定結果Ａ（Ｈ２−Ｌ２）に基づいて、時刻ｔ５からの合成で参照する制御信号Ｓ３を“１”に更新する。これは、現在撮影中の画像を解析した結果、静止領域が支配的になってきていると判断できるので、次の合成処理の際は、高露光画像を先に撮影し、静止領域での階調圧縮特性を最適化した方が、好ましい画質となると考えられるためである。
In the period from time t3 to t5, the motion
時刻ｔ５からｔ７の期間では、制御信号Ｓ３が“１”なので、合成対象の２つのフレームの画像は、１フレーム目が高露光画像Ｈ３、２フレーム目が低露光画像Ｌ３の順となるように撮像素子２から出力される。そして、時刻ｔ５からｔ６までの１Ｖ期間で、システム制御部８は、高露光画像Ｈ３をフレームメモリ３に書き込み、それと、並行して、階調圧縮特性生成部５では、時刻ｔ６までに、高露光画像Ｈ３の縮小画像がメモリ５４に保持される。
In the period from time t5 to t7, since the control signal S3 is “1”, the images of the two frames to be combined are such that the first frame is the high exposure image H3 and the second frame is the low exposure image L3. Output from the
時刻ｔ６からｔ７において、合成部４は、フレームメモリ３に書き込まれた高露光画像Ｈ３と撮像素子２から出力される低露光画像Ｌ３を合成して、合成画像Ｈ３＋Ｌ３を出力する。これと並行して、階調圧縮特性生成部５は、メモリ５４に保持されている画像Ｈ３の縮小画像とフレームメモリ３から読み出される画像Ｈ３に基づいて階調圧縮特性ｇ（Ｈ３）を生成し、生成した階調圧縮特性を順次に出力していく。そして、この時刻ｔ６からｔ７の期間において、階調圧縮部６は、合成部４から出力された合成画像Ｈ３＋Ｌ３に対し、階調圧縮特性ｇ（Ｈ３）を用いて、階調圧縮処理を行う。
From time t6 to t7, the synthesizing
また、時刻ｔ５からｔ７の期間では、動き領域推定部７が合成対象の高露光画像Ｈ３と低露光画像L３とを用いて動き領域を判定し、判定結果Ａ（Ｌ３−Ｈ３）を出力する。システム制御部８は、判定結果Ａ（Ｌ３−Ｈ３）に基づいて、時刻ｔ７からの合成で参照する制御信号Ｓ３を“１”に更新する。これは、現在撮影中の画像を解析した結果、静止領域が支配的であると判断できるので、次の合成処理の際も、高露光画像を先に撮影し、静止領域での階調圧縮特性を最適化した方が、好ましい画質となると考えられるためである。
In the period from time t5 to t7, the motion
以上のような、一連の撮像制御を行うことにより、露光量を変えた複数枚の画像を合成してダイナミックレンジが拡張された合成後の画像に適した階調圧縮特性で、階調圧縮を行って、映像信号を出力することができる。
また、撮影中の画像において動き部分と静止部分のいずれが支配的であるかの判定結果に基づいて階調圧縮特性の生成に用いる画像を決定することにより、撮影中の画像に適した階調圧縮処理を行うことができる。
また、上記実施形態の撮像装置１００では、合成処理のためにフレームメモリ３にバッファリングされた画像を用いて、合成後の画像に対する階調圧縮特性を生成することができ、メモリアクセスによるシステム負荷の増大を回避できる。
By performing a series of imaging controls as described above, tone compression is performed with tone compression characteristics suitable for synthesized images that have been combined with multiple images with different exposure amounts and expanded in dynamic range. And video signals can be output.
Also, by determining the image to be used for generating the gradation compression characteristics based on the result of determining whether the moving part or the stationary part is dominant in the image being photographed, the gradation suitable for the image being photographed Compression processing can be performed.
Further, in the
なお、上記実施形態では、合成対象の２つのフレームにおける高露光画像と低露光画像の順番を、撮像素子２からの出力順を入れ替えることで調整したがこれに限られるものではない。例えば、撮像素子２からの出力順を固定とし、フレームメモリ３に保持させるフレームを１フレームだけずらすことで対応することも可能である。
In the above embodiment, the order of the high-exposure image and the low-exposure image in the two frames to be combined is adjusted by switching the output order from the
また、上記実施形態では、合成対象を２つのフレームの画像としたが、ｎ個の画像を合成する（ｎは３以上の自然数）ようにすることも可能である。この場合、撮像素子２からはｎ種類の露光量の画像が連続的に出力され、合成部４は合成対象のｎ個のフレームの画像を合成してダイナミックレンジが拡張された合成画像を生成する。この場合、フレームメモリ３には、まずｎ個のフレームのうちの１フレーム目が保持される。その後、撮像素子２から２〜ｎ−１フレーム目が出力される期間では、フレームメモリ３の内容は合成部４から出力される合成画像で順次上書きされていく。合成部４は、フレームメモリ３から読み出した１つ前のフレームまでの合成画像と撮像素子２から現在出力されている原フレームの画像とを合成してく。なお、動き画素判定部４１では、１つ前のフレームまでの合成画像と原フレームの画像との対応する画素の画素値の差に基づいて動き部分の画素か静止部分の画素かを判定する。
In the above embodiment, the composition target is an image of two frames. However, it is possible to synthesize n images (n is a natural number of 3 or more). In this case, images of n types of exposure amounts are continuously output from the
階調圧縮特性生成部５は、ｎ個のフレームのうちのｎ−１フレーム目までの合成画像を低解像度化した画像と、当該ｎ−１フレーム目までの合成画像とを用いて階調圧縮特性を生成する。また、動き領域推定部７は、ｎ−１フレーム目までの合成画像とｎフレーム目の画像とから動きの生じた部分を推定し、システム制御部８はその推定の結果に基づいて、合成対象のｎ個のフレームにおける露光量の適用順序を入れ替える。例えば、動き領域が支配的であれば、ｎ個の露光量のうち最低の露光量の画像がｎフレーム目となるようにする。また、静止領域が支配的であれば、ｎ個の露光量のうち最高の露光量の画像がｎフレーム目となるようにする。このような構成により、動き領域が支配的な場合には１〜ｎ−１フレーム目までの低露光量の画像による合成画像により階調圧縮特性が生成されることになり、撮影中の動画に対してより適切な階調圧縮が行なわれる。同様に、静止領域が支配的な場合には１〜ｎ−１フレーム目までの高露光量の画像による合成画像により階調圧縮特性が生成されることになり、撮影中の動画に対してより適切な階調圧縮が行なわれる。
The tone compression characteristic generation unit 5 performs tone compression using an image obtained by reducing the resolution of a composite image up to the (n-1) th frame among n frames and a composite image up to the (n-1) th frame. Generate characteristics. In addition, the motion
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。 The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, or the like) of the system or apparatus reads the program. It is a process to be executed.
Claims (15)
２種類の異なる露光量で撮影した画像を連続して出力する撮像手段と、
前記撮像手段から連続して出力された、合成対象の２つのフレームの画像を合成してダイナミックレンジが拡張された合成画像を生成する合成手段と、
前記２つのフレームの１フレーム目の画像を低解像度化した画像と、当該１フレーム目の画像とに基づいて階調圧縮特性を生成する生成手段と、
前記生成手段で生成された前記階調圧縮特性を用いて前記合成画像の階調を圧縮する階調圧縮手段と、
前記２つのフレームの画像から動きの生じた部分を推定する推定手段と、
前記推定手段による推定の結果に基づいて、前記合成対象の２つのフレームへの前記２種類の露光量の適用順序を入れ替える制御手段と、を備えることを特徴とする撮像装置。 An imaging apparatus that generates an image with an expanded dynamic range by combining two images having different exposure amounts,
Imaging means for continuously outputting images taken with two different exposure amounts;
Synthesis means for generating a synthesized image with an expanded dynamic range by synthesizing images of two frames to be synthesized, continuously output from the imaging means;
Generating means for generating gradation compression characteristics based on an image obtained by reducing the resolution of the first frame image of the two frames and the first frame image;
Gradation compression means for compressing the gradation of the composite image using the gradation compression characteristic generated by the generation means;
Estimating means for estimating a portion where motion has occurred from the images of the two frames;
An image pickup apparatus comprising: control means for switching the application order of the two types of exposure amounts to the two frames to be combined based on a result of estimation by the estimation means.
前記合成手段は、前記撮像手段から出力される前記２つのフレームのうちの２フレーム目の画像と、前記フレームメモリに保持された画像とを合成する、ことを特徴とする請求項１に記載の撮像装置。 A holding unit for holding an image of a first frame of the two frames continuously output from the imaging unit in a frame memory;
2. The composition of claim 1, wherein the synthesizing unit synthesizes an image of a second frame of the two frames output from the imaging unit and an image held in the frame memory. Imaging device.
前記１フレーム目に前記２種類の露光量のうちの小さい方が割り当てられている場合には、前記動きの生じた部分の大きさと移動量の積が大きいほど前記階調圧縮特性による階調圧縮の度合いを強くし、
前記１フレーム目に前記２種類の露光量のうちの大きい方が割り当てられている場合には、前記動きの生じた部分の大きさと移動量の積が大きいほど前記階調圧縮特性による階調圧縮の度合いを弱くする、ことを特徴とする請求項７に記載の撮像装置。 The gradation compression means includes
When the smaller one of the two types of exposure amounts is assigned to the first frame, the gradation compression by the gradation compression characteristic is increased as the product of the size of the portion where the motion has occurred and the movement amount is larger. The degree of
When the larger one of the two types of exposure amounts is assigned to the first frame, gradation compression by the gradation compression characteristic is increased as the product of the size of the portion where the movement has occurred and the movement amount is larger. The image pickup apparatus according to claim 7, wherein the degree of is reduced.
前記２つのフレームの対応する画素の画素値の差に基づいて動き部分の画素であるか静止部分の画素であるかを判定し、
前記２つのフレームの画像の両方を合成に用いることが可能な輝度値の領域において、前記動き部分の画素には前記２種類の露光量の画像のうちの低露光画像を、前記静止部分の画素には前記２種類の露光量の画像のうちの高露光画像を用いて、前記２つのフレームの画像を合成することを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。 The synthesis means includes
Determining whether the pixel is a moving part or a stationary part based on a difference in pixel values of corresponding pixels of the two frames;
In a luminance value area where both of the two frame images can be used for composition, the low-exposure image of the two types of exposure amount images is used as the moving part pixel, and the still part pixel. The imaging apparatus according to claim 1, wherein the images of the two frames are synthesized using a high-exposure image of the two types of exposure amount images.
ｎ種類の異なる露光量で撮影した画像を連続して出力する撮像手段と、
前記撮像手段から連続して出力された、合成対象のｎ個のフレームの画像を合成してダイナミックレンジが拡張された合成画像を生成する合成手段と、
前記ｎ個のフレームのうちのｎ−１フレーム目までの合成画像を低解像度化した画像と、当該ｎ−１フレーム目までの合成画像とに基づいて階調圧縮特性を生成する生成手段と、
前記生成手段で生成された前記階調圧縮特性を用いて、ｎフレーム目までの合成画像の階調を圧縮する階調圧縮手段と、
前記ｎ−１フレーム目までの合成画像とｎフレーム目の画像とから動きの生じた部分を推定する推定手段と、
前記推定手段による推定の結果に基づいて、前記合成対象のｎ個のフレームにおける露光量の適用順序を入れ替える制御手段と、を備えることを特徴とする撮像装置。 An imaging apparatus that generates an image with an expanded dynamic range by combining n images (n is a natural number of 3 or more) with different exposure amounts,
imaging means for continuously outputting images taken with n different exposure amounts;
A combining unit that continuously outputs images of n frames to be combined that are output from the imaging unit and generates a combined image with an expanded dynamic range;
Generating means for generating gradation compression characteristics based on an image obtained by reducing the resolution of a composite image up to the (n-1) th frame among the n frames, and a composite image up to the (n-1) th frame;
Gradation compression means for compressing the gradation of the composite image up to the nth frame using the gradation compression characteristic generated by the generation means;
Estimating means for estimating a portion where motion has occurred from the composite image up to the n-1th frame and the image of the nth frame;
An imaging apparatus comprising: a control unit that switches an application order of exposure amounts in the n frames to be synthesized based on a result of estimation by the estimation unit.
２種類の異なる露光量で撮影した画像を連続して出力する撮像手段から出力された合成対象の２つのフレームの画像を合成してダイナミックレンジが拡張された合成画像を生成する合成手段と、
前記２つのフレームの１フレーム目の画像を低解像度化した画像と、当該１フレーム目の画像とに基づいて階調圧縮特性を生成する生成手段と、
前記生成手段で生成された前記階調圧縮特性を用いて前記合成画像の階調を圧縮する階調圧縮手段と、
前記２つのフレームの画像から動きの生じた部分を推定する推定手段と、
前記推定手段による推定の結果に基づいて、前記合成対象の２つのフレームへの前記２種類の露光量の適用順序を入れ替える制御手段と、を備えることを特徴とする画像処理装置。 An image processing apparatus for generating an image with an expanded dynamic range by combining two images having different exposure amounts,
A synthesizing unit that synthesizes images of two frames to be synthesized output from an imaging unit that continuously outputs images taken with two different exposure amounts, and generates a synthesized image with an expanded dynamic range;
Generating means for generating gradation compression characteristics based on an image obtained by reducing the resolution of the first frame image of the two frames and the first frame image;
Gradation compression means for compressing the gradation of the composite image using the gradation compression characteristic generated by the generation means;
Estimating means for estimating a portion where motion has occurred from the images of the two frames;
An image processing apparatus comprising: a control unit that switches an application order of the two types of exposure amounts to the two frames to be synthesized based on a result of estimation by the estimation unit.
ｎ種類の異なる露光量で撮影した画像を連続して出力する撮像手段から出力された合成対象のｎ個のフレームの画像を合成してダイナミックレンジが拡張された合成画像を生成する合成手段と、
前記ｎ個のフレームのうちのｎ−１フレーム目までの合成画像を低解像度化した画像と、当該ｎ−１フレーム目までの合成画像とに基づいて階調圧縮特性を生成する生成手段と、
前記生成手段で生成された前記階調圧縮特性を用いて、ｎフレーム目までの合成画像の階調を圧縮する階調圧縮手段と、
前記ｎ−１フレーム目までの合成画像とｎフレーム目の画像とから動きの生じた部分を推定する推定手段と、
前記推定手段による推定の結果に基づいて、前記合成対象のｎ個のフレームにおける露光量の適用順序を入れ替える制御手段と、を備えることを特徴とする画像処理装置。 An image processing apparatus for generating an image with an expanded dynamic range by combining n images (n is a natural number of 3 or more) having different exposure amounts,
a synthesizing unit that synthesizes images of n frames to be synthesized output from an imaging unit that continuously outputs images taken with n different exposure amounts, and generates a synthesized image with an expanded dynamic range;
Generating means for generating gradation compression characteristics based on an image obtained by reducing the resolution of a composite image up to the (n-1) th frame among the n frames, and a composite image up to the (n-1) th frame;
Gradation compression means for compressing the gradation of the composite image up to the nth frame using the gradation compression characteristic generated by the generation means;
Estimating means for estimating a portion where motion has occurred from the composite image up to the n-1th frame and the image of the nth frame;
An image processing apparatus comprising: a control unit that switches an application order of exposure amounts in the n frames to be synthesized based on a result of estimation by the estimation unit.
合成手段が、２種類の異なる露光量で撮影した画像を連続して出力する撮像手段から出力された合成対象の２つのフレームの画像を合成してダイナミックレンジが拡張された合成画像を生成する工程と、
生成手段が、前記２つのフレームの１フレーム目の画像を低解像度化した画像と、当該１フレーム目の画像とに基づいて階調圧縮特性を生成する工程と、
階調圧縮手段が、前記生成する工程で生成された前記階調圧縮特性を用いて前記合成画像の階調を圧縮する工程と、
推定手段が、前記２つのフレームの画像から動きの生じた部分を推定する工程と、
制御手段が、前記推定する工程での推定の結果に基づいて、前記合成対象の２つのフレームへの前記２種類の露光量の適用順序を入れ替える工程と、を有することを特徴とする画像処理方法。 An image processing method by an image processing apparatus for generating an image with an expanded dynamic range by combining two images having different exposure amounts,
A step of generating a composite image in which the dynamic range is expanded by combining the images of two frames to be combined that are output from the image pickup unit that continuously outputs images captured with two different exposure amounts. When,
A step of generating gradation compression characteristics based on an image obtained by reducing the resolution of the first frame image of the two frames and the first frame image;
A step of compressing the gradation of the composite image using the gradation compression characteristic generated in the generating step;
Estimating means for estimating a portion where motion has occurred from the images of the two frames;
An image processing method comprising: a step of changing a sequence in which the two types of exposure amounts are applied to the two frames to be synthesized based on a result of the estimation in the estimating step. .
合成手段が、ｎ種類の異なる露光量で撮影した画像を連続して出力する撮像手段から出力された合成対象のｎ個のフレームの画像を合成してダイナミックレンジが拡張された合成画像を生成する工程と、
生成手段が、前記ｎ個のフレームのうちのｎ−１フレーム目までの合成画像を低解像度化した画像と、当該ｎ−１フレーム目までの合成画像とに基づいて階調圧縮特性を生成する工程と、
階調圧縮手段が、前記生成する工程で生成された前記階調圧縮特性を用いて、ｎフレーム目までの合成画像の階調を圧縮する工程と、
推定手段が、前記ｎ−１フレーム目までの合成画像とｎフレーム目の画像とから動きの生じた部分を推定する工程と、
制御手段が、前記推定する工程での推定の結果に基づいて、前記合成対象のｎ個のフレームにおける露光量の適用順序を入れ替える工程と、を有することを特徴とする画像処理方法。 An image processing method by an image processing apparatus for generating an image with an expanded dynamic range by combining n images (n is a natural number of 3 or more) having different exposure amounts,
A synthesizing unit synthesizes images of n frames to be synthesized output from an imaging unit that continuously outputs images taken with n different exposure amounts, and generates a synthesized image with an extended dynamic range. Process,
The generation unit generates a gradation compression characteristic based on an image obtained by reducing the resolution of the composite image up to the n-1 frame among the n frames and the composite image up to the n-1 frame. Process,
A step of compressing the gradation of the composite image up to the nth frame using the gradation compression characteristic generated in the generating step;
An estimating means for estimating a portion in which movement has occurred from the composite image up to the (n-1) th frame and the image of the nth frame;
And a step of changing the order of application of exposure amounts in the n frames to be synthesized based on a result of the estimation in the estimation step.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011209785A JP5820213B2 (en) | 2011-09-26 | 2011-09-26 | Image processing apparatus and method, and imaging apparatus |
| US13/617,772 US9049380B2 (en) | 2011-09-26 | 2012-09-14 | Image processing apparatus for generating an image having an expanded dynamic range and method thereof, and image capture apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011209785A JP5820213B2 (en) | 2011-09-26 | 2011-09-26 | Image processing apparatus and method, and imaging apparatus |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013074335A JP2013074335A (en) | 2013-04-22 |
| JP5820213B2 true JP5820213B2 (en) | 2015-11-24 |
Family
ID=48478510
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011209785A Expired - Fee Related JP5820213B2 (en) | 2011-09-26 | 2011-09-26 | Image processing apparatus and method, and imaging apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5820213B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6494388B2 (en) * | 2015-04-15 | 2019-04-03 | キヤノン株式会社 | Image processing apparatus, image processing method, and program |
| JP6635722B2 (en) * | 2015-09-01 | 2020-01-29 | キヤノン株式会社 | Image processing apparatus, image processing method, and program |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4214457B2 (en) * | 2003-01-09 | 2009-01-28 | ソニー株式会社 | Image processing apparatus and method, recording medium, and program |
| JP2011010108A (en) * | 2009-06-26 | 2011-01-13 | Seiko Epson Corp | Imaging control apparatus, imaging apparatus, and imaging control method |
-
2011
- 2011-09-26 JP JP2011209785A patent/JP5820213B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2013074335A (en) | 2013-04-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9049380B2 (en) | Image processing apparatus for generating an image having an expanded dynamic range and method thereof, and image capture apparatus | |
| US7956899B2 (en) | Imaging device and image processing apparatus | |
| US8009337B2 (en) | Image display apparatus, method, and program | |
| US8570334B2 (en) | Image processing device capable of efficiently correcting image data and imaging apparatus capable of performing the same | |
| JP5898466B2 (en) | Imaging device, control method thereof, and program | |
| JP4293174B2 (en) | Imaging apparatus and image processing apparatus | |
| US8072511B2 (en) | Noise reduction processing apparatus, noise reduction processing method, and image sensing apparatus | |
| US20160344954A1 (en) | Image processing device that generates an image from pixels with different exposure times | |
| CN104980652B (en) | Image processing apparatus and image processing method | |
| EP2523452A1 (en) | Image processing apparatus, image pickup apparatus, image processing method, and program | |
| US20100265353A1 (en) | Image Processing Device, Image Sensing Device And Image Reproduction Device | |
| US8542298B2 (en) | Image processing device and image processing method | |
| US8861846B2 (en) | Image processing apparatus, image processing method, and program for performing superimposition on raw image or full color image | |
| JP2007201985A (en) | Wide dynamic range imaging apparatus | |
| US20120169900A1 (en) | Image processing device and image processing method | |
| JP6087612B2 (en) | Image processing apparatus and image processing method | |
| JP2009027604A (en) | Noise reducer, and noise reducing method | |
| JP5820213B2 (en) | Image processing apparatus and method, and imaging apparatus | |
| US11722788B2 (en) | Image processing apparatus and method, and image capturing apparatus | |
| JP5171287B2 (en) | Data processing device | |
| JP6152009B2 (en) | Imaging apparatus, imaging method, program, and recording medium | |
| JP5852385B2 (en) | Imaging device | |
| WO2014115522A1 (en) | Frame rate converter, frame rate conversion method, and display device and image-capturing device provided with frame rate converter | |
| JP4969371B2 (en) | Imaging device | |
| JP2015204489A (en) | Image processing apparatus and image processing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140911 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150619 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150626 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150805 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150904 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151002 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5820213 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| LAPS | Cancellation because of no payment of annual fees |