JP2017098784A - Image processing device and image processing method - Google Patents
Image processing device and image processing method Download PDFInfo
- Publication number
- JP2017098784A JP2017098784A JP2015229904A JP2015229904A JP2017098784A JP 2017098784 A JP2017098784 A JP 2017098784A JP 2015229904 A JP2015229904 A JP 2015229904A JP 2015229904 A JP2015229904 A JP 2015229904A JP 2017098784 A JP2017098784 A JP 2017098784A
- Authority
- JP
- Japan
- Prior art keywords
- exposure image
- image
- short
- motion compensation
- long
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 46
- 238000003672 processing method Methods 0.000 title claims description 6
- 239000013598 vector Substances 0.000 claims abstract description 91
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 52
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 52
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 15
- 238000000034 method Methods 0.000 claims description 30
- 230000008859 change Effects 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 7
- 238000001514 detection method Methods 0.000 abstract description 19
- 238000005516 engineering process Methods 0.000 abstract description 3
- 239000002131 composite material Substances 0.000 description 16
- 229920006395 saturated elastomer Polymers 0.000 description 16
- 239000000203 mixture Substances 0.000 description 14
- 230000006870 function Effects 0.000 description 6
- 230000002093 peripheral effect Effects 0.000 description 4
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 235000019557 luminance Nutrition 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、画像処理装置および画像処理方法に関する。 The present invention relates to an image processing apparatus and an image processing method.
近年、短時間露光の画像（以下、単に「短露光画像」とも言う。）と長時間露光の画像（以下、単に「長露光画像」とも言う。）を連続して撮影して合成することで、センサが撮影可能なダイナミックレンジを超えたダイナミックレンジを捉えた画像を得るＷＤＲ（ワイドダイナミックレンジ）もしくはＨＤＲ（ハイダイナミックレンジ）という撮影機能が増えてきている。かかる撮影機能は、逆光の構図など明暗比が非常に大きいシーンでは特に大きな効果がある。 In recent years, a short-exposure image (hereinafter also simply referred to as “short-exposure image”) and a long-exposure image (hereinafter also simply referred to as “long-exposure image”) are continuously photographed and combined. An imaging function called WDR (wide dynamic range) or HDR (high dynamic range) that obtains an image that captures a dynamic range that exceeds the dynamic range that the sensor can shoot is increasing. Such a photographing function is particularly effective in a scene with a very large contrast ratio such as a composition of backlight.
ＷＤＲ合成を行うためには、長時間露光設定（以下、「長露光設定」とも言う。）と短時間露光設定（以下、「短露光設定」とも言う。）とで撮影した画像が必要となるが、このような画像を撮影する方法には、空間分割型センサを用いる方法と時分割撮影による方法とがある。 In order to perform WDR composition, images shot with a long exposure setting (hereinafter also referred to as “long exposure setting”) and a short exposure setting (hereinafter also referred to as “short exposure setting”) are required. However, there are two methods for photographing such an image: a method using a space division type sensor and a method using time division photographing.
空間分割型センサとは、例えば偶数ラインと奇数ラインとで異なる露光設定を適用することが可能なセンサであり、空間分割型センサを用いる方法では、上から順次撮影していけば、長露光と短露光との間の時間差が非常に小さくなるため、動きを含むシーンに対しても二重像アーティファクトの発生を抑えることができるメリットがある。しかし、垂直方向の解像度は半分になってしまうことに加えて、センサ自体の構成が複雑になりセンサ自体の解像度を高くすることが難しい。結果として、ＷＤＲ合成出力において高い解像度を確保することが難しいというデメリットがある。 A space division type sensor is a sensor that can apply different exposure settings for even lines and odd lines, for example. Since the time difference from the short exposure becomes very small, there is an advantage that the occurrence of double image artifacts can be suppressed even for a scene including motion. However, in addition to the resolution in the vertical direction being halved, the configuration of the sensor itself is complicated and it is difficult to increase the resolution of the sensor itself. As a result, there is a demerit that it is difficult to ensure high resolution in the WDR composite output.
時分割撮影による方法は、短露光設定で１画面を撮影してから、長露光設定に設定を変更して１画面を撮影し、これを繰り返すものである。時分割撮影による方法は、動きを含むシーンでは二重像アーティファクトが発生するものの、合成によって解像度が低下することはなく、一般的なセンサを使用できるために高解像度のＷＤＲ出力を得ることができるメリットがある。本発明は、時分割撮影によるＷＤＲ合成に向けた技術である。 In the method using time-division shooting, one screen is shot with the short exposure setting, then the setting is changed to the long exposure setting, one screen is shot, and this is repeated. In the method using time-division shooting, a double image artifact is generated in a scene including motion, but the resolution is not reduced by synthesis, and a general sensor can be used, so that a high-resolution WDR output can be obtained. There are benefits. The present invention is a technique for WDR composition by time-division shooting.
時分割撮影した画像からＷＤＲ合成を行う場合には、画面全体が動くシーンにおいては二重像アーティファクトが顕著になる問題があり、これを解決するためにはグローバル動きベクトルを検出してグローバル動き補償を行うことによって短露光画像と長露光画像の位置ずれをなくしてからＷＤＲ合成することが必要である。グローバル動き補償の手法として、次のような技術が公開されている。 When WDR composition is performed from time-division captured images, there is a problem that double image artifacts become prominent in scenes where the entire screen moves. To solve this, global motion vectors are detected and global motion compensation is performed. It is necessary to perform WDR composition after eliminating the positional deviation between the short-exposure image and the long-exposure image. The following technologies have been published as global motion compensation methods.
一つ目として、グローバル動き検出および動き補償を動画像符号化の際の予測画像生成に適用する内容が公開されている（特許文献１参照）。この文献には、グローバル動き補償によって画像情報が存在しなくなる画面端の領域に対して、画面の最外周画素を水平・垂直方向にコピーする方法が紹介されている。また、二つ目として、グローバル動き検出および動き補償を時間軸のノイズリダクションに適用する内容が公開されている（特許文献２参照）。 First, the contents of applying global motion detection and motion compensation to predictive image generation at the time of moving picture coding are disclosed (see Patent Document 1). This document introduces a method of copying the outermost peripheral pixels of the screen in the horizontal and vertical directions for an area at the edge of the screen where image information does not exist due to global motion compensation. Second, the contents of applying global motion detection and motion compensation to time-axis noise reduction are disclosed (see Patent Document 2).
特許文献１に記載された技術においては、予測画像を見れば、最外周画素をコピーした領域はテクスチャが引き延ばされた不自然な画像であるが、動画像符号化では予測誤差を別途符号化するので、復号画像では不自然な画像をそのまま見ることはない。該技術は符号化効率を高めることが目的であるから、その目的が達成されればよい。しかし、ＷＤＲ合成に該技術を適用すれば、短露光画像を選択する領域ではテクスチャが引き延ばされた不自然な画像がＷＤＲ合成画像にそのまま現れてしまうという問題が生じる。 In the technique described in Patent Document 1, if the predicted image is viewed, the region where the outermost peripheral pixel is copied is an unnatural image with the texture extended, but in the moving image coding, a prediction error is separately encoded. Therefore, an unnatural image is not seen as it is in the decoded image. Since the purpose of the technique is to increase the encoding efficiency, it is sufficient that the purpose is achieved. However, if this technique is applied to WDR synthesis, there arises a problem that an unnatural image with an extended texture appears in the WDR synthesized image as it is in a region where a short exposure image is selected.
また、特許文献２に記載された技術は、グローバル動き補償によって画像情報が存在しなくなる画面端の領域に対して何らかの処理を行うものではない。 In addition, the technique described in Patent Document 2 does not perform any processing on a region at the edge of the screen where no image information exists due to global motion compensation.
そこで、本発明は、通常の動画像ではなく、輝度が大きく異なるＷＤＲ合成用の画像をより自然に合成することが可能な技術を提供する。 Therefore, the present invention provides a technique capable of more naturally synthesizing images for WDR synthesis, which are not normal moving images but have greatly different luminances.
本発明のある実施形態によれば、グローバル動きベクトル検出部と、グローバル動き補償部と、合成部とを備える、画像処理装置が提供される。
グローバル動きベクトル検出部は、短露光画像と長露光画像とに基づいてグローバル動きベクトルを検出する。
グローバル動き補償部は、前記グローバル動きベクトルを用いて短露光画像に対して動き補償を行って動き補償後の短露光画像を得る。
合成部は、前記動き補償後の短露光画像と長露光画像とのいずれを合成に使用するかを画素ごとに示す使用画像選択情報のうち、
前記グローバル動きベクトルに応じた画面端の情報を長露光画像使用領域に変更し、
変更後の使用画像選択情報に基づいて、前記動き補償後の短露光画像と長露光画像とを合成する。
According to an embodiment of the present invention, an image processing apparatus including a global motion vector detection unit, a global motion compensation unit, and a synthesis unit is provided.
The global motion vector detection unit detects a global motion vector based on the short exposure image and the long exposure image.
The global motion compensation unit obtains a short-exposure image after motion compensation by performing motion compensation on the short-exposure image using the global motion vector.
The combining unit is used image selection information indicating, for each pixel, which of the short-exposure image and the long-exposure image after motion compensation is used for combining,
Change the information on the screen edge according to the global motion vector to the long exposure image use area,
Based on the changed use image selection information, the motion-compensated short exposure image and long exposure image are combined.
かかる構成によれば、使用画像選択情報のうちグローバル動きベクトルに応じた画面端の情報が長露光画像使用領域に変更される。そのため、変更後の使用画像選択情報に基づいて、動き補償後の短露光画像と長露光画像とが合成された結果は、グローバル動きベクトルに応じた画面端の領域が長露光画像となる。したがって、動き補償後の短露光画像と長露光画像とをより自然に合成することが可能となる。 According to such a configuration, the information on the screen edge corresponding to the global motion vector in the use image selection information is changed to the long exposure image use region. Therefore, as a result of synthesizing the short-exposure image and the long-exposure image after motion compensation based on the changed use image selection information, the region at the screen end corresponding to the global motion vector becomes a long-exposure image. Therefore, the short-exposure image and the long-exposure image after motion compensation can be combined more naturally.
前記グローバル動き補償部は、前記短露光画像を前記グローバル動きベクトルに従って移動させることによって前記動き補償を行い、
前記合成部は、前記使用画像選択情報のうち前記短露光画像の画像情報が存在しなくなった空き領域に対応する情報を長露光画像使用領域に変更してもよい。
かかる構成によれば、前記使用画像選択情報のうち前記動き補償後の短露光画像が存在しなくなった画面内の領域に対応する情報が長露光画像使用領域に変更される。
The global motion compensation unit performs the motion compensation by moving the short exposure image according to the global motion vector,
The synthesizing unit may change the information corresponding to the empty area in which the image information of the short exposure image no longer exists in the use image selection information to the long exposure image use area.
According to this configuration, information corresponding to an area in the screen where the short-exposure image after motion compensation no longer exists in the use image selection information is changed to a long-exposure image use area.
また、本発明の別の実施形態によれば、グローバル動きベクトル検出部と、グローバル動き補償部と、合成部とを備える、画像処理装置が提供される。
グローバル動きベクトル検出部は、短露光画像と長露光画像とに基づいてグローバル動きベクトルを検出する。
グローバル動き補償部は、前記グローバル動きベクトルを用いて短露光画像に対して動き補償を行って動き補償後の短露光画像を得るとともに、
前記動き補償後の短露光画像のうち前記グローバル動きベクトルに応じた画面端の領域の画素値として長露光画像の対応する座標の画素値を露光比で割った画素値を設定して画素値設定後の短露光画像を得る。
合成部は、使用画像選択情報に基づいて、前記画素値設定後の短露光画像と長露光画像とを合成する。
According to another embodiment of the present invention, an image processing apparatus including a global motion vector detection unit, a global motion compensation unit, and a synthesis unit is provided.
The global motion vector detection unit detects a global motion vector based on the short exposure image and the long exposure image.
The global motion compensation unit performs motion compensation on the short exposure image using the global motion vector to obtain a short exposure image after motion compensation,
A pixel value is set by setting a pixel value obtained by dividing the pixel value of the corresponding coordinate of the long exposure image by the exposure ratio as the pixel value of the screen edge region corresponding to the global motion vector in the short exposure image after the motion compensation A later short exposure image is obtained.
The synthesizing unit synthesizes the short-exposure image and the long-exposure image after the pixel value setting based on the use image selection information.
かかる構成によれば、動き補償後の短露光画像の画面のうち画像情報が存在しない空き領域の画素値は、長露光画像の画素値を露光比で割って得られた数値である。そのため、ＷＤＲ合成部によって露光比を乗じられると、長露光画像の画素値となる。結果的に、空き領域の使用画像として長露光画像が選択されて合成された場合に得られるＷＤＲ合成結果と同様の合成結果が得られる。そのため、一般的なＷＤＲ合成部に変更を加える必要がなくなる。 According to such a configuration, the pixel value of the empty area where no image information exists in the screen of the short exposure image after motion compensation is a numerical value obtained by dividing the pixel value of the long exposure image by the exposure ratio. Therefore, when the exposure ratio is multiplied by the WDR synthesis unit, the pixel value of the long exposure image is obtained. As a result, a combined result similar to the WDR combined result obtained when the long exposure image is selected and combined as the use image of the empty area is obtained. Therefore, it is not necessary to change the general WDR synthesis unit.
前記グローバル動き補償部は、前記短露光画像を前記グローバル動きベクトルに従って移動させることによって前記動き補償を行って動き補償後の短露光画像を得るとともに、
前記動き補償後の短露光画像のうち画像情報が存在しなくなった空き領域の画素値として長露光画像の対応する座標の画素値を露光比で割った画素値を設定し、
前記画素値設定後の短露光画像を得てもよい。
かかる構成によれば、前記画面のうち前記動き補償後の短露光画像が存在しなくなった空き領域の画素値として長露光画像の対応する座標の画素値を露光比で割った画素値が設定される。
The global motion compensation unit obtains a short exposure image after motion compensation by performing the motion compensation by moving the short exposure image according to the global motion vector,
Set a pixel value obtained by dividing the pixel value of the corresponding coordinate of the long exposure image by the exposure ratio as the pixel value of the empty area where the image information no longer exists in the short exposure image after the motion compensation,
You may obtain the short exposure image after the said pixel value setting.
According to this configuration, a pixel value obtained by dividing the pixel value of the corresponding coordinate of the long exposure image by the exposure ratio is set as the pixel value of the empty area in which the short exposure image after motion compensation no longer exists in the screen. The
前記画像処理装置は、長露光画像の所定の画素要素に対してクリップ処理を行ってクリップ処理後の長露光画像を得るクリップ処理部を備え、
前記グローバル動き補償部は、前記動き補償後の短露光画像のうち、
前記グローバル動きベクトルに応じた画面端の領域の画素値として前記クリップ処理後の長露光画像の対応する座標の画素値を露光比で割った画素値を設定し、
前記画素値変更後の短露光画像を得てもよい。
かかる構成によれば、長露光画像の飽和領域であってもホワイトバランスが取れていることになり、後段でホワイトバランス処理を行った時に偽色が発生することがなくなる。
The image processing apparatus includes a clip processing unit that performs a clip process on a predetermined pixel element of a long exposure image to obtain a long exposure image after the clip process,
The global motion compensation unit is a short exposure image after the motion compensation,
Set a pixel value obtained by dividing the pixel value of the corresponding coordinate of the long-exposure image after the clip processing by the exposure ratio as the pixel value of the screen edge region according to the global motion vector,
You may obtain the short exposure image after the said pixel value change.
According to such a configuration, white balance is achieved even in a saturated region of a long exposure image, and false color does not occur when white balance processing is performed later.
本発明の別の実施形態によれば、短露光画像と長露光画像とに基づいてグローバル動きベクトルを検出することと、
前記グローバル動きベクトルを用いて短露光画像に対して動き補償を行って動き補償後の短露光画像を得ることと、
前記動き補償後の短露光画像と長露光画像とのいずれを合成に使用するかを画素ごとに示す使用画像選択情報のうち、
前記グローバル動きベクトルに応じた画面端の情報を長露光画像使用領域に変更し、
変更後の使用画像選択情報に基づいて、前記動き補償後の短露光画像と長露光画像とを合成することと、を含む、画像処理方法が提供される。
According to another embodiment of the present invention, detecting a global motion vector based on a short exposure image and a long exposure image;
Performing motion compensation on a short-exposure image using the global motion vector to obtain a short-exposure image after motion compensation;
Among the use image selection information indicating, for each pixel, which of the short exposure image and the long exposure image after the motion compensation is used for synthesis,
Change the information on the screen edge according to the global motion vector to the long exposure image use area,
An image processing method is provided that includes combining the motion-compensated short-exposure image and long-exposure image based on the changed use image selection information.
かかる方法によれば、使用画像選択情報のうちグローバル動きベクトルに応じた画面端の情報が長露光画像使用領域に変更される。そのため、変更後の使用画像選択情報に基づいて、動き補償後の短露光画像と長露光画像とが合成された結果は、グローバル動きベクトルに応じた画面端の領域が長露光画像となる。したがって、動き補償後の短露光画像と長露光画像とをより自然に合成することが可能となる。 According to this method, the information on the screen edge corresponding to the global motion vector in the use image selection information is changed to the long exposure image use region. Therefore, as a result of synthesizing the short-exposure image and the long-exposure image after motion compensation based on the use image selection information after the change, the region at the screen end corresponding to the global motion vector becomes a long-exposure image. Therefore, the short-exposure image and the long-exposure image after motion compensation can be combined more naturally.
本発明の別の実施形態によれば、短露光画像と長露光画像とに基づいてグローバル動きベクトルを検出することと、
前記グローバル動きベクトルを用いて短露光画像に対して動き補償を行って動き補償後の短露光画像を得るとともに、
前記動き補償後の短露光画像のうち前記グローバル動きベクトルに応じた画面端の領域の画素値として長露光画像の対応する座標の画素値を露光比で割った画素値を設定し、
画素値設定後の短露光画像を得ることと、
使用画像選択情報に基づいて、前記画素値設定後の短露光画像と長露光画像とを合成することと、を含む、画像処理方法が提供される。
According to another embodiment of the present invention, detecting a global motion vector based on a short exposure image and a long exposure image;
While performing motion compensation on the short exposure image using the global motion vector to obtain a short exposure image after motion compensation,
Set a pixel value obtained by dividing the pixel value of the corresponding coordinate of the long exposure image by the exposure ratio as the pixel value of the region at the screen end according to the global motion vector among the short exposure image after the motion compensation,
Obtaining a short exposure image after pixel value setting;
An image processing method is provided that includes combining the short-exposure image after setting the pixel value and the long-exposure image based on use image selection information.
かかる方法によれば、動き補償後の短露光画像の画面のうち画像情報が存在しない空き領域の画素値は、長露光画像の画素値を露光比で割って得られた数値である。そのため、ＷＤＲ合成部によって露光比を乗じられると、長露光画像の画素値となる。結果的に、空き領域の使用画像として長露光画像が選択されて合成された場合に得られるＷＤＲ合成結果と同様の合成結果が得られる。そのため、一般的なＷＤＲ合成部に変更を加える必要がなくなる。 According to this method, the pixel value of the empty area where no image information exists in the screen of the short exposure image after motion compensation is a numerical value obtained by dividing the pixel value of the long exposure image by the exposure ratio. Therefore, when the exposure ratio is multiplied by the WDR synthesis unit, the pixel value of the long exposure image is obtained. As a result, a combined result similar to the WDR combined result obtained when the long exposure image is selected and combined as the use image of the empty area is obtained. Therefore, it is not necessary to change the general WDR synthesis unit.
以上説明したように、本発明によれば、通常の動画像ではなく、輝度が大きく異なるＷＤＲ合成用の画像をより自然に合成することが可能である。 As described above, according to the present invention, it is possible to more naturally synthesize an image for WDR synthesis that is not a normal moving image but has significantly different luminance.
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付すことにより重複説明を省略する。 Exemplary embodiments of the present invention will be described below in detail with reference to the accompanying drawings. In the present specification and drawings, components having substantially the same functional configuration are denoted by the same reference numerals, and redundant description is omitted.
また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。 In the present specification and drawings, a plurality of constituent elements having substantially the same functional configuration may be distinguished by attaching different alphabets after the same reference numeral. However, when it is not necessary to particularly distinguish each of a plurality of constituent elements having substantially the same functional configuration, only the same reference numerals are given.
（実施形態の概要）
本実施形態は、露出の異なる複数の画像信号を合成することによって広大なダイナミックレンジを持つ画像信号を生成するシステムを前提として、画面全体が動くシーンにおいて短露光画像と長露光画像との画面全体の動きを補償することを目的とする。
(Outline of the embodiment)
This embodiment presupposes a system that generates an image signal having a wide dynamic range by synthesizing a plurality of image signals having different exposures, and the entire screen of a short exposure image and a long exposure image in a scene in which the entire screen moves. The purpose is to compensate for the movements.
一般的なＷＤＲ合成処理について図１Ａ〜図１Ｃを用いて説明する。短時間露光で短露光画像９１を撮影してから長時間露光で長露光画像９２を撮影する場合を前提としている。図１Ａおよび図１Ｂは、晴れた日に室内から屋外を撮影して得られた画像を表しており、図１Ｂに示した長露光画像９２では、室内が適正露出で撮影されているが、窓の部分は輝度が高すぎて飽和している。一方、図１Ａに示した短露光画像９１では、窓の領域が適正露出で撮影され、窓の外にいる人物や雲が映っているが、室内は露出アンダーとなり暗く撮影されている。 A general WDR synthesis process will be described with reference to FIGS. 1A to 1C. It is assumed that a short exposure image 91 is shot with a short exposure and then a long exposure image 92 is shot with a long exposure. FIGS. 1A and 1B show images obtained by photographing the outdoors from the room on a sunny day. In the long exposure image 92 shown in FIG. 1B, the room is photographed with appropriate exposure. This part is too bright and saturated. On the other hand, in the short-exposure image 91 shown in FIG. 1A, the window area is photographed with appropriate exposure, and a person and a cloud outside the window are reflected, but the room is underexposed and photographed darkly.
図１Ａに示した短露光画像９１と図１Ｂに示した長露光画像９２とをＷＤＲ合成すると、長露光画像９２で適正露出となっている室内部分には長露光画像９２が使用され、長露光画像９２では飽和してしまう明部には短露光画像が使用され、短露光画像９１と長露光画像９２とが統合された結果が得られる（図１Ｃに示したＷＤＲ合成画像９３）。ただし、図１Ａ〜図１Ｃに示した各画像は、静止しているシーンを撮影したものである。 When the short-exposure image 91 shown in FIG. 1A and the long-exposure image 92 shown in FIG. 1B are WDR-combined, the long-exposure image 92 is used in the indoor portion where the long-exposure image 92 is properly exposed. In the image 92, a short exposure image is used for a bright portion that is saturated, and a result obtained by integrating the short exposure image 91 and the long exposure image 92 is obtained (WDR composite image 93 shown in FIG. 1C). However, each image shown in FIGS. 1A to 1C is a photograph of a still scene.
同じ被写体を、画面全体を動かして撮影したシーンの短露光画像（図２Ａ）と長露光画像（図２Ｂ）との合成結果を図２Ｃに示す。具体的には、カメラが水平左方向にパンしているとして、短露光画像９１に対して長露光画像９２♯の画角が少し右にずれている。 FIG. 2C shows a composite result of a short exposure image (FIG. 2A) and a long exposure image (FIG. 2B) of a scene in which the same subject is photographed by moving the entire screen. Specifically, assuming that the camera is panning in the horizontal left direction, the angle of view of the long exposure image 92 # is slightly shifted to the right with respect to the short exposure image 91.
このような状況でＷＤＲ合成を行うと、合成結果は図２Ｃに示したＷＤＲ合成画像９３＃のようになる。長露光画像９２♯が飽和している領域では短露光画像９１を使用するが、このとき短露光画像９１は長露光画像９２♯から位置がずれているために二重像アーティファクトが発生する。同様の現象は、固定カメラにおいて動物体を撮影した時にも発生して、ゴーストと呼ばれる。しかし、カメラ自体が動く場合は、動物体が存在しなくても二重像が発生するし、短露光画像９１と長露光画像９２♯が切り替わる複数の境界領域において二重像が発生する。さらにカメラが動いている間ずっと発生し続けるため、アーティファクトとして非常に顕著になってしまう。 When WDR synthesis is performed in such a situation, the synthesis result is a WDR synthesized image 93 # shown in FIG. 2C. In a region where the long exposure image 92 # is saturated, the short exposure image 91 is used. At this time, since the short exposure image 91 is displaced from the long exposure image 92 #, a double image artifact is generated. A similar phenomenon occurs when a moving object is photographed with a fixed camera, and is called a ghost. However, when the camera itself moves, a double image is generated even if the moving object is not present, and a double image is generated in a plurality of boundary regions where the short exposure image 91 and the long exposure image 92 # are switched. Furthermore, it continues to occur while the camera is moving, making it very prominent as an artifact.
そこで、短露光画像９１と長露光画像９２＃との位置ずれ量Ｄｇ、つまりグローバル動きベクトルを検出し、グローバル動きベクトルに基づいて短露光画像９１に対してグローバル動き補償を行って得られた動き補償後の短露光画像９１’−１（図３）を生成し、短露光画像９１’−１と長露光画像９２＃とを合成すれば、位置ずれがないＷＤＲ合成画像が合成される（図１Ｃに示したＷＤＲ合成画像９３と同等の画像が得られる）。本実施形態は、高精度なグローバル動きベクトルが検出されたとして、そのグローバル動きベクトルを使った動き補償に関する技術である。 Therefore, the position shift amount Dg between the short exposure image 91 and the long exposure image 92 #, that is, the global motion vector is detected, and the motion obtained by performing global motion compensation on the short exposure image 91 based on the global motion vector. If a short-exposure image 91′-1 (FIG. 3) after compensation is generated and the short-exposure image 91′-1 and the long-exposure image 92 # are combined, a WDR composite image without misalignment is combined (FIG. 3). An image equivalent to the WDR composite image 93 shown in FIG. 1C is obtained. This embodiment is a technique relating to motion compensation using a global motion vector when a highly accurate global motion vector is detected.
短露光画像９１に対してグローバル動き補償を行うと、画面端に画像情報が存在しない空き領域Ａｒが発生する（図３に示した動き補償後の短露光画像９１’−１）。この場合に、特許文献１に開示されているように、最外周画素を水平方向にコピーすると、左側の窓には格子のようなものが映るが、最外周画素が水平に引き延ばされて不自然なテクスチャになってしまう（図４Ａに示した動き補償後の短露光画像９１’−２）。このシーンでは、長露光画像９２♯の左側の窓は飽和しており、動き補償後の短露光画像９１’−２が採用されてしまうため、ＷＤＲ合成画像にもこの不自然なテクスチャが合成されてしまう。 When global motion compensation is performed on the short-exposure image 91, a vacant area Ar where no image information exists at the screen edge is generated (short-exposure image 91'-1 after motion compensation shown in FIG. 3). In this case, as disclosed in Patent Document 1, when the outermost peripheral pixel is copied in the horizontal direction, a grid-like image appears in the left window, but the outermost peripheral pixel is stretched horizontally. This results in an unnatural texture (short-exposure image 91′-2 after motion compensation shown in FIG. 4A). In this scene, the left window of the long exposure image 92 # is saturated, and the short exposure image 91′-2 after motion compensation is adopted, so this unnatural texture is also synthesized with the WDR synthesized image. End up.
また、一般的な方法として画面のうち画像情報が存在しない空き領域Ａｒに０を詰める方法があるが（図４Ｂに示した動き補償後の短露光画像９１’−３）、ＷＤＲ合成画像の端に真っ黒な領域が出現するのも不自然である。 Further, as a general method, there is a method of filling the empty area Ar in which no image information exists in the screen with 0 (short-exposure image 91′-3 after motion compensation shown in FIG. 4B), but the end of the WDR composite image It is also unnatural that a black area appears.
そこで、第１の実施形態は図５に示した構成を取る。グローバル動きベクトル検出部３０は短露光画像９１と長露光画像９２＃からグローバル動きベクトルを検出する。そして、グローバル動きベクトルはグローバル動き補償部５０Ａによるグローバル動き補償に用いられるとともに、ＷＤＲ合成部６０Ａにも出力される。グローバル動き補償部５０Ａが、グローバル動きベクトルに基づいて短露光画像９１に対する動き補償を行うと、動き補償後の短露光画像９１’−１が得られる。 Therefore, the first embodiment takes the configuration shown in FIG. Global motion vector detection unit 30 detects a global motion vector from short exposure image 91 and long exposure image 92 #. The global motion vector is used for global motion compensation by the global motion compensation unit 50A and is also output to the WDR synthesis unit 60A. When the global motion compensation unit 50A performs motion compensation on the short-exposure image 91 based on the global motion vector, a short-exposure image 91'-1 after motion compensation is obtained.
ＷＤＲ合成部６０Ａは、動き補償後の短露光画像９１’−１と長露光画像９２＃の画素値から使用画像選択情報を生成し、使用画像選択情報に基づいて動き補償後の短露光画像９１’−１と長露光画像９２＃のいずれを使用するか、またはその両者を使用するかを画素ごとに決定する。このとき、ＷＤＲ合成部６０Ａは、使用画像選択情報に対してグローバル動きベクトルを反映させる。具体的には、ＷＤＲ合成部６０Ａは、画面端のグローバル動きベクトルに応じた空き領域Ａｒに対して、長露光画像９２＃を選択させるように使用画像選択情報を変更する。 The WDR synthesis unit 60A generates use image selection information from the pixel values of the short-exposure image 91′-1 after motion compensation and the long-exposure image 92 #, and the short-exposure image 91 after motion compensation is based on the use-image selection information. It is determined for each pixel whether to use '-1' or the long-exposure image 92 # or both. At this time, the WDR synthesis unit 60A reflects the global motion vector on the used image selection information. Specifically, the WDR composition unit 60A changes the use image selection information so that the long exposure image 92 # is selected for the empty area Ar corresponding to the global motion vector at the screen edge.
図６Ａは、ＷＤＲ合成に利用される使用画像選択情報の一例を示す図である。図６Ａに示した使用画像選択情報６１＃において、白い領域が動き補償後の短露光画像９１’−１を合成に利用する領域を表し、黒い領域が長露光画像９２＃を合成に利用する領域を表している。使用画像選択情報６１＃では、短露光画像９１’−１と長露光画像９２＃の境界を滑らかに接続するために、境界領域が少しぼやけている。本来は画面左の窓全体として短露光画像９１’−１（＝白）が選択されるところが、グローバル動きベクトルの幅だけ長露光画像９２＃（＝黒）が選択されるように使用画像選択情報が変更されている。 FIG. 6A is a diagram illustrating an example of use image selection information used for WDR synthesis. In the use image selection information 61 # shown in FIG. 6A, the white area represents an area where the short-exposure image 91′-1 after motion compensation is used for composition, and the black area is an area where the long-exposure image 92 # is used for composition. Represents. In the use image selection information 61 #, the boundary region is slightly blurred in order to smoothly connect the boundary between the short exposure image 91'-1 and the long exposure image 92 #. Originally, the short exposure image 91′-1 (= white) is selected as the entire window on the left side of the screen, but the use image selection information is selected so that the long exposure image 92 # (= black) is selected by the width of the global motion vector. Has been changed.
以上のようにして得られるＷＤＲ合成画像を図６Ｂに示す。ＷＤＲ合成画像２３においては、画面左端を除けば、グローバル動き補償によって短露光画像９１と長露光画像９２＃との位置ずれがなくなっているので、短露光画像９１と長露光画像９２＃との境界に発生していた二重像アーティファクトはなくなる。また、ＷＤＲ合成画像２３において、左側の窓では、長露光画像９２＃が飽和しているために本来は短露光画像が選択されるが、グローバル動きベクトル量に相当する幅を有する空き領域Ａｒだけは長露光画像９２＃が強制的に選択される。 FIG. 6B shows the WDR composite image obtained as described above. In the WDR composite image 23, except for the left end of the screen, the position difference between the short exposure image 91 and the long exposure image 92 # is eliminated by global motion compensation, and therefore the boundary between the short exposure image 91 and the long exposure image 92 #. The double-image artifact that occurred in In the WDR composite image 23, the long exposure image 92 # is saturated in the left window, so that the short exposure image is originally selected. However, only the empty area Ar having a width corresponding to the global motion vector amount is selected. The long-exposure image 92 # is forcibly selected.
空き領域Ａｒは、短露光画像９１における本来の画素値に比べると長露光画像９２＃の飽和画素値の方が低いため、ＷＤＲ合成画像２３においては薄い影のように見える。テクスチャが引き延ばされて見える短露光画像９１’−２（図４Ａ）や、真っ黒な帯が発生する短露光画像９１’−３（図４Ｂ）と比べると、この方法がより自然である。そして、図３に示した、画面のうち動き補償後の短露光画像９１’−１の中の空き領域Ａｒに対して詰められる画素値は限定されない。なぜなら、空き領域Ａｒの使用画像としては強制的に長露光画像９２＃が選択されるため、空き領域Ａｒに詰められた画素値がＷＤＲ合成結果に反映されることがないからである。 The empty area Ar looks like a light shadow in the WDR composite image 23 because the saturated pixel value of the long exposure image 92 # is lower than the original pixel value in the short exposure image 91. This method is more natural than the short-exposure image 91'-2 (FIG. 4A) in which the texture is stretched or the short-exposure image 91'-3 (FIG. 4B) in which a black band is generated. And the pixel value stuffed with respect to the empty area | region Ar in the short exposure image 91'-1 after a motion compensation among screens shown in FIG. 3 is not limited. This is because the long-exposure image 92 # is forcibly selected as the use image of the empty area Ar, and the pixel values packed in the empty area Ar are not reflected in the WDR synthesis result.
第１の実施形態に係る手法では、グローバル動きベクトルをＷＤＲ合成部６０Ａに伝達する必要があり、ＷＤＲ合成部６０Ａが使用画像選択情報を生成する際にグローバル動きベクトルを参照するため、一般的なＷＤＲ合成部を変更する必要が生じる。そこで、第２の実施形態には、第１の実施形態と等価な合成結果を得ながら、一般的なＷＤＲ合成部を変更する必要がなく、グローバル動き補償時に適用可能な手法について記す。 In the method according to the first embodiment, a global motion vector needs to be transmitted to the WDR synthesis unit 60A, and the WDR synthesis unit 60A refers to the global motion vector when generating use image selection information. It becomes necessary to change the WDR synthesis unit. Therefore, in the second embodiment, a technique that can be applied during global motion compensation without changing a general WDR synthesis unit while obtaining a synthesis result equivalent to that of the first embodiment will be described.
（第１の実施形態）
まず、第１の実施形態に係る画像処理装置の機能構成について説明する。図５は、第１の実施形態に係る画像処理装置の機能構成を示す図である。図３に示すように、画像処理装置１Ａは、センサ１０、フレームメモリ２０、グローバル動きベクトル検出部３０、グローバル動き補償部５０ＡおよびＷＤＲ合成部６０Ａを備える。以下、画像処理装置１Ａが備え各機能ブロックの機能について順次詳細に説明する。なお、適宜に、他の図も参照する。
(First embodiment)
First, the functional configuration of the image processing apparatus according to the first embodiment will be described. FIG. 5 is a diagram illustrating a functional configuration of the image processing apparatus according to the first embodiment. As shown in FIG. 3, the image processing apparatus 1A includes a sensor 10, a frame memory 20, a global motion vector detection unit 30, a global motion compensation unit 50A, and a WDR synthesis unit 60A. Hereinafter, the function of each functional block provided in the image processing apparatus 1A will be sequentially described in detail. Note that other drawings are also referred to as appropriate.
画像処理装置１Ａは、センサ１０の露光設定を変えて２枚の画像を連続撮影するが、ここでは短露光撮影を先に行い、その次に長露光撮影を行うものとする。しかし、長露光撮影を先に行い、その次に短露光撮影を行ってもよい。このようにして撮影された短露光画像および長露光画像は、ペアとしてフレームメモリ２０に書き込まれる。長露光画像および短露光画像の撮影と撮影された長露光画像および短露光画像のフレームメモリ２０への書き込みは、連続的に行われる。 The image processing apparatus 1A changes the exposure setting of the sensor 10 and continuously shoots two images. Here, the short exposure shooting is performed first, and then the long exposure shooting is performed. However, long exposure photography may be performed first and then short exposure photography. The short-exposure image and the long-exposure image photographed in this way are written in the frame memory 20 as a pair. Shooting of the long exposure image and the short exposure image and writing of the captured long exposure image and the short exposure image to the frame memory 20 are continuously performed.
なお、本発明の実施形態においては、短露光画像および長露光画像という用語を使用するが、これらの用語は、撮影された２つの画像それぞれの絶対的な露光時間を限定するものではない。したがって、露光時間の異なる２つの画像が撮影された場合に、当該２つの画像のうち、相対的に露光時間が短い画像が短露光画像に相当し、相対的に露光時間が長い画像が長露光画像に相当する。 In the embodiment of the present invention, the terms “short exposure image” and “long exposure image” are used. However, these terms do not limit the absolute exposure time of each of the two captured images. Therefore, when two images with different exposure times are taken, an image with a relatively short exposure time corresponds to a short exposure image and an image with a relatively long exposure time is a long exposure. Corresponds to an image.
センサ１０は、外部からの光を撮像素子の受光平面に結像させ、結像された光を電荷量に光電変換し、当該電荷量を電気信号に変換するイメージセンサにより構成される。イメージセンサの種類は特に限定されず、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）であってもよいし、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）であってもよい。例えば、センサ１０は、所定の倍率（例えば、数倍から数十倍）の露光比をとって短露光画像および長露光画像を検出（撮影）する。 The sensor 10 is configured by an image sensor that forms an image of light from the outside on the light receiving plane of the image sensor, photoelectrically converts the imaged light into a charge amount, and converts the charge amount into an electric signal. The type of the image sensor is not particularly limited, and may be, for example, a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor). For example, the sensor 10 detects (photographs) a short exposure image and a long exposure image with an exposure ratio of a predetermined magnification (for example, several times to several tens of times).
グローバル動きベクトル検出部３０は、短露光画像と長露光画像とに基づいてグローバル動きベクトルを検出する。例えば、短露光画像および長露光画像の対応する領域には複数のマクロブロックが設定されており、グローバル動きベクトル検出部３０は、短露光画像および長露光画像からマクロブロックごとにグローバル動きベクトルを検出する。 The global motion vector detection unit 30 detects a global motion vector based on the short exposure image and the long exposure image. For example, a plurality of macroblocks are set in corresponding regions of the short exposure image and the long exposure image, and the global motion vector detection unit 30 detects a global motion vector for each macroblock from the short exposure image and the long exposure image. To do.
より具体的には、グローバル動きベクトル検出部３０は、短露光画像のマクロブロックとの間で対応する画素どうしの二乗誤差和が最小となるマクロブロックを長露光画像から検出する処理を、短露光画像の全てのマクロブロックについて行う。この処理によって、短露光画像のマクロブロックを始点とし、検出した短露光画像のマクロブロックを終点とするグローバル動きベクトルが、短露光画像のマクロブロックごとに検出される。 More specifically, the global motion vector detection unit 30 performs a process of detecting a macroblock that minimizes the sum of square errors between corresponding pixels with respect to the macroblock of the short exposure image from the long exposure image. Repeat for all macroblocks in the image. By this processing, a global motion vector starting from the macro block of the short exposure image and ending at the detected macro block of the short exposure image is detected for each macro block of the short exposure image.
なお、マクロブロックのサイズは特に限定されない。したがって、「マクロブロック」という用語に含まれる「マクロ」はブロックのサイズを限定するものではない。また、本実施形態においては、マクロブロックの形状が矩形である場合を例として説明するが、マクロブロックの形状は特に限定されないため、矩形以外の形状であってもよい。 Note that the size of the macroblock is not particularly limited. Therefore, the “macro” included in the term “macroblock” does not limit the size of the block. In the present embodiment, the case where the shape of the macroblock is rectangular will be described as an example. However, the shape of the macroblock is not particularly limited, and may be a shape other than a rectangle.
また、マクロブロックは、短露光画像および長露光画像それぞれに隙間なく敷き詰められていてもよいが、これらの画像の解像度が高い場合などには、マクロブロックが多くなりすぎてしまい、グローバル動きベクトル検出のための演算量が大きくなりすぎてしまう状況が起こり得る。かかる状況を回避したい場合には、図７の長露光画像２２に示された破線の矩形ブロックのように、マクロブロックが離散的に配置されてもよい。 In addition, macroblocks may be spread out between the short-exposure image and the long-exposure image without gaps. However, when the resolution of these images is high, the number of macroblocks becomes excessive, and global motion vector detection is performed. There may be a situation where the amount of computation for becomes too large. When it is desired to avoid such a situation, macroblocks may be discretely arranged like a broken-line rectangular block shown in the long exposure image 22 of FIG.
グローバル動き補償部５０Ａは、グローバル動きベクトルを用いて短露光画像９１に対して動き補償を行って動き補償後の短露光画像９１’−１を得る。例えば、グローバル動き補償部５０Ａは、短露光画像９１をグローバル動きベクトルに従って移動させることによって動き補償を行う。グローバル動き補償部５０Ａは、動き補償後の短露光画像９１’−１のうち画像情報が存在しなくなった空き領域Ａｒの画素値としていかなる画素値を詰めても構わない。なお、グローバル動きベクトル量が小数点精度の場合は、ベクトル参照点の近傍の複数画素を用いた畳みこみ演算の結果を動き補償の結果として出力してもよい。 The global motion compensation unit 50A performs motion compensation on the short-exposure image 91 using the global motion vector to obtain a short-exposure image 91'-1 after motion compensation. For example, the global motion compensation unit 50A performs motion compensation by moving the short exposure image 91 according to the global motion vector. The global motion compensation unit 50A may pack any pixel value as the pixel value of the empty area Ar in which image information no longer exists in the short-exposure image 91'-1 after motion compensation. If the global motion vector amount has decimal point precision, the result of the convolution operation using a plurality of pixels near the vector reference point may be output as the result of motion compensation.
ＷＤＲ合成部６０Ａは、動き補償後の短露光画像９１’−１と長露光画像９２＃とを参照し、動き補償後の短露光画像９１’−１および長露光画像９２＃それぞれの飽和状態や動きなどを検出して、動き補償後の短露光画像９１’−１と長露光画像９２＃とのいずれか（または両者）を使用画像として画素ごとに選択するための使用画像選択情報を生成する。動き補償後の短露光画像９１’−１と長露光画像９２＃とのいずれかを選択するアルゴリズムとしては様々なアルゴリズムが想定される。 The WDR synthesizing unit 60A refers to the short-exposure image 91′-1 and the long-exposure image 92 # after motion compensation, the saturation state of each of the short-exposure image 91′-1 and the long-exposure image 92 # after motion compensation, Using motion or the like, use image selection information for selecting either (or both) the short-exposure image 91′-1 and the long-exposure image 92 # after motion compensation as the use image is generated for each pixel. . As an algorithm for selecting either the short-exposure image 91'-1 after motion compensation or the long-exposure image 92 #, various algorithms are assumed.
例えば、ＷＤＲ合成部６０Ａは、長露光画像９２＃において第１の飽和検出閾値を上回る画素値を有する画素の使用画像として動き補償後の短露光画像９１’−１を選択してもよい。あるいは、例えば、ＷＤＲ合成部６０Ａは、動き補償後の短露光画像９１’−１において第２の飽和検出閾値を下回る画素値を有する画素の使用画像として長露光画像９２＃を選択してもよい。 For example, the WDR synthesis unit 60A may select the motion-compensated short exposure image 91'-1 as a use image of a pixel having a pixel value that exceeds the first saturation detection threshold in the long exposure image 92 #. Alternatively, for example, the WDR synthesis unit 60A may select the long exposure image 92 # as a use image of a pixel having a pixel value lower than the second saturation detection threshold in the short exposure image 91′-1 after motion compensation. .
ＷＤＲ合成部６０Ａは、このようにして生成した使用画像選択情報のうちグローバル動きベクトルに応じた画面端の情報を長露光画像使用領域に変更し、変更後の使用画像選択情報を得る。例えば、ＷＤＲ合成部６０Ａは、使用画像選択情報のうち短露光画像９１の画像情報が存在しなくなった空き領域Ａｒに対応する情報を長露光画像使用領域に変更する。このようにして変更後の使用画像選択情報６１♯が得られる。 The WDR synthesizing unit 60A changes the information on the screen edge corresponding to the global motion vector in the use image selection information generated in this way to the long exposure image use region, and obtains the use image selection information after the change. For example, the WDR composition unit 60A changes the information corresponding to the empty area Ar in which the image information of the short exposure image 91 no longer exists in the use image selection information to the long exposure image use area. In this way, used image selection information 61 # after the change is obtained.
ここで、変更後の使用画像選択情報６１♯において、白く示した短露光画像使用領域に対しては２５６を割り当て、黒く示した長露光画像使用領域に対しては０を割り当て、短露光画像使用領域と長露光画像使用領域との境界領域に対しては０から２５６の中間の値を取らせて、使用画像選択情報を８ｂｉｔ精度で制御するようにしてもよい。この場合、動き補償後の短露光画像９１’−１が存在しなくなった画面内の空き領域Ａｒに対して長露光画像９２＃を選択させることは、使用画像選択情報における空き領域Ａｒの値を０にすることを意味する。 Here, in the used image selection information 61 # after the change, 256 is assigned to the short exposure image use area shown in white, and 0 is assigned to the long exposure image use area shown in black, and the short exposure image use is used. For the boundary area between the area and the long-exposure image use area, an intermediate value between 0 and 256 may be taken, and the use image selection information may be controlled with 8-bit accuracy. In this case, to select the long exposure image 92 # for the empty area Ar in the screen where the short-exposure image 91′-1 after motion compensation no longer exists, the value of the empty area Ar in the used image selection information is selected. Means 0.
また、ＷＤＲ合成部６０Ａは、変更後の使用画像選択情報６１♯に基づいて、動き補償後の短露光画像９１’−１と長露光画像９２＃とを合成する。具体的には、ＷＤＲ合成部６０Ａは、変更後の使用画像選択情報６１♯を参照して、短露光画像使用領域には変更後の使用画像選択情報６１♯を使用し、長露光画像使用領域には長露光画像９２＃を使用してＷＤＲ合成画像２３を生成する。合成に際しては、いずれかの画像に対して露光比（短露光画像の露光時間に対する長露光画像の露光時間の割合）を乗じて正規化した上で合成されるのがよい。 In addition, WDR synthesizing unit 60A synthesizes motion-compensated short exposure image 91'-1 and long exposure image 92 # based on changed use image selection information 61 #. Specifically, WDR composition unit 60A refers to changed use image selection information 61 #, uses changed use image selection information 61 # for the short exposure image use region, and uses long exposure image use region. In this case, the WDR composite image 23 is generated using the long exposure image 92 #. At the time of synthesis, it is preferable to normalize by multiplying any image by an exposure ratio (ratio of exposure time of long exposure image to exposure time of short exposure image).
ＷＤＲ合成部６０Ａは、変更後の使用画像選択情報６１♯に従って動き補償後の短露光画像９１’−１と長露光画像９２＃とを合成してよいが、このような処理だけでは、大きな動きがある領域では輪郭が二重になるなどといったアーティファクトが発生し得る。そのため、ＷＤＲ合成部６０Ａは、動きに基づいて輪郭が二重になる現象を低減する処理を行ってもよい。かかる処理を含む、動き補償後の短露光画像９１’−１と長露光画像９２＃とのいずれかを選択するアルゴリズムは特に限定されない。なお、センサ１０の分解能を１２ビットとしたとき、ＷＤＲ合成画像２３の各画素は１６ビット程度に拡張されてよい。 The WDR synthesizing unit 60A may synthesize the short-exposure image 91′-1 and the long-exposure image 92 # after motion compensation according to the changed use image selection information 61 #. Artifacts such as double contours may occur in certain areas. Therefore, the WDR synthesizing unit 60A may perform a process of reducing the phenomenon that the contour becomes double based on the motion. The algorithm for selecting either the short-exposure image 91'-1 after motion compensation or the long-exposure image 92 # including such processing is not particularly limited. When the resolution of the sensor 10 is 12 bits, each pixel of the WDR composite image 23 may be expanded to about 16 bits.
以上、第１の実施形態に係る画像処理装置１Ａの機能構成について説明した。第１の実施形態において説明したように、露出の異なる複数の画像を合成することによって広大なダイナミックレンジを持つ画像を生成するシステムを前提として、画面全体が動くシーンにおいて短露光画像と長露光画像との画面全体の動きを補償する際に、グローバル動き補償した短露光画像の画面端に画像情報が存在しない領域が発生する。この問題に対して、第１の実施形態によれば、グローバル動きベクトル量に応じて画面端を長露光画像選択領域に固定することによって、二重像アーティファクトの発生を抑え、かつ画面端の画像も自然に表現することができる。 The functional configuration of the image processing apparatus 1A according to the first embodiment has been described above. As described in the first embodiment, on the premise of a system that generates an image having a wide dynamic range by synthesizing a plurality of images having different exposures, a short exposure image and a long exposure image in a scene in which the entire screen moves. When the motion of the entire screen is compensated, a region where no image information exists at the screen edge of the short exposure image subjected to global motion compensation occurs. With respect to this problem, according to the first embodiment, by fixing the screen edge to the long exposure image selection region according to the global motion vector amount, the occurrence of double image artifacts can be suppressed, and the image at the screen edge can be suppressed. Can also be expressed naturally.
（第２の実施形態）
続いて、第２の実施形態について説明する。第１の実施形態に係る手法では、グローバル動きベクトルをＷＤＲ合成部６０Ａに伝達する必要があり、ＷＤＲ合成部６０Ａが使用画像選択情報を生成する際にグローバル動きベクトルを参照するため、一般的なＷＤＲ合成部を変更する必要がある。そこで、第２の実施形態には、第１の実施形態と等価な合成結果を得ながら、一般的なＷＤＲ合成部を変更する必要がなく、グローバル動き補償時に適用可能な手法について記す。完成されたＷＤＲ合成部が既に存在している場合などには、第２の実施形態がより好適である。
(Second Embodiment)
Next, the second embodiment will be described. In the method according to the first embodiment, a global motion vector needs to be transmitted to the WDR synthesis unit 60A, and the WDR synthesis unit 60A refers to the global motion vector when generating use image selection information. It is necessary to change the WDR synthesis unit. Therefore, in the second embodiment, a technique that can be applied during global motion compensation without changing a general WDR synthesis unit while obtaining a synthesis result equivalent to that of the first embodiment will be described. For example, when the completed WDR synthesis unit already exists, the second embodiment is more suitable.
第２の実施形態の構成を図８に示す。図８に示すように、第２の実施形態は、グローバル動きベクトル検出部３０が検出したグローバル動きベクトルをＷＤＲ合成部６０Ｂに伝達しない点において第１の実施形態と異なる。また、第２の実施形態は、グローバル動き補償部５０Ｂに対して短露光画像だけではなく長露光画像も入力されている点において第１の実施形態と異なる。 The configuration of the second embodiment is shown in FIG. As shown in FIG. 8, the second embodiment differs from the first embodiment in that the global motion vector detected by the global motion vector detection unit 30 is not transmitted to the WDR synthesis unit 60B. The second embodiment is different from the first embodiment in that not only a short exposure image but also a long exposure image is input to the global motion compensation unit 50B.
グローバル動き補償部５０Ｂは、第１の実施形態に係るグローバル動き補償部５０Ａと同様に、グローバル動きベクトルを用いて短露光画像９１に対して動き補償を行って動き補償後の短露光画像９１’−１を得る。また、グローバル動き補償部５０Ｂは、第１の実施形態に係るグローバル動き補償部５０Ａと異なり、動き補償後の短露光画像９１’−１のうちグローバル動きベクトルに応じた画面端の領域の画素値として長露光画像９２＃の対応する座標の画素値を露光比で割った画素値を設定して画素値設定後の短露光画像を得る。 Similar to the global motion compensation unit 50A according to the first embodiment, the global motion compensation unit 50B performs motion compensation on the short-exposure image 91 using the global motion vector and performs short-exposure image 91 ′ after motion compensation. -1 is obtained. Further, unlike the global motion compensation unit 50A according to the first embodiment, the global motion compensation unit 50B is a pixel value of a screen edge region corresponding to the global motion vector in the short-exposure image 91′-1 after motion compensation. As a result, a pixel value obtained by dividing the pixel value of the corresponding coordinate of the long exposure image 92 # by the exposure ratio is set to obtain a short exposure image after the pixel value setting.
より具体的には、グローバル動き補償部５０Ｂは、第１の実施形態に係るグローバル動き補償部５０Ａと同様に、短露光画像９１をグローバル動きベクトルに従って移動させることによって動き補償を行って動き補償後の短露光画像９１’−１を得る。また、グローバル動き補償部５０Ｂは、第１の実施形態に係るグローバル動き補償部５０Ａと異なり、動き補償後の短露光画像９１’−１のうち画像情報が存在しなくなった空き領域Ａｒの画素値として長露光画像９２＃の対応する座標の画素値を露光比で割った画素値を設定して画素値設定後の短露光画像を得る。 More specifically, like the global motion compensation unit 50A according to the first embodiment, the global motion compensation unit 50B performs motion compensation by moving the short-exposure image 91 according to the global motion vector and performs motion compensation. Short exposure image 91′-1 is obtained. Further, unlike the global motion compensation unit 50A according to the first embodiment, the global motion compensation unit 50B has a pixel value of the empty area Ar in which no image information exists in the short-exposure image 91′-1 after motion compensation. As a result, a pixel value obtained by dividing the pixel value of the corresponding coordinate of the long exposure image 92 # by the exposure ratio is set to obtain a short exposure image after the pixel value setting.
ＷＤＲ合成部６０Ｂは、長露光画像と短露光画像とが入力されるため（長露光画像９２＃と画素値設定後の短露光画像とが入力されるため）、ＷＤＲ合成部６０Ｂは、一般的なＷＤＲ合成部と同様に、入力された長露光画像と短露光画像とを合成する（長露光画像９２＃と画素値設定後の短露光画像とを合成する）。合成に際しては、短露光画像に対して露光比（短露光画像の露光時間に対する長露光画像の露光時間の割合）を乗じて正規化した上で合成される。 Since the WDR composition unit 60B receives the long exposure image and the short exposure image (since the long exposure image 92 # and the short exposure image after the pixel value is set), the WDR composition unit 60B Similarly to the WDR combining unit, the input long exposure image and short exposure image are combined (long exposure image 92 # and short exposure image after pixel value setting are combined). In the synthesis, the short exposure image is normalized after being multiplied by the exposure ratio (the ratio of the exposure time of the long exposure image to the exposure time of the short exposure image).
長露光画像９２＃では画面左の窓が飽和しているため、ＷＤＲ合成部６０Ｂによって動き補償後の短露光画像９１’−１が選択される。しかし、画面のうち画像情報が存在しない空き領域Ａｒの画素値は、長露光画像９２＃の画素値を露光比で割って得られた数値であるため、ＷＤＲ合成部６０Ｂによって露光比を乗じられると、長露光画像９２＃の画素値となる。結果的に、第２の実施形態においても、空き領域Ａｒの使用画像として長露光画像が選択されて合成された場合に得られるＷＤＲ合成画像２３（図６Ｂ）と同様の合成画像が得られる。 In the long exposure image 92 #, the window on the left of the screen is saturated, so the WDR composition unit 60B selects the short exposure image 91'-1 after motion compensation. However, since the pixel value of the empty area Ar where no image information exists in the screen is a numerical value obtained by dividing the pixel value of the long exposure image 92 # by the exposure ratio, it is multiplied by the exposure ratio by the WDR synthesis unit 60B. And the pixel value of the long exposure image 92 #. As a result, also in the second embodiment, a composite image similar to the WDR composite image 23 (FIG. 6B) obtained when the long exposure image is selected and combined as the use image of the empty area Ar is obtained.
以上、第２の実施形態に係る画像処理装置１Ｂの機能構成について説明した。第２の実施形態において説明したように、グローバル動き補償部５０Ｂは、画面のうち動き補償後の短露光画像９１’−１の中の空き領域Ａｒに対して、長露光画像９２＃の画素値を露光比で割った画素値を詰めることによって、後段にある一般的なＷＤＲ合成部６０Ｂに変更を加えることなく、第１の実施形態と同等の効果を得ることができる。 The functional configuration of the image processing apparatus 1B according to the second embodiment has been described above. As described in the second embodiment, the global motion compensation unit 50B performs pixel values of the long-exposure image 92 # for the empty area Ar in the short-exposure image 91′-1 after motion compensation in the screen. By subtracting the pixel value obtained by dividing by the exposure ratio, it is possible to obtain the same effect as that of the first embodiment without changing the general WDR synthesis unit 60B in the subsequent stage.
（第２の実施形態の変形例）
ただし、長露光画像９２＃で飽和している画素値を第２の実施形態に係る手法によって処理すると問題が生じることがある。それは処理対象信号がＢａｙｅｒ信号かつホワイトバランス処理がされていない場合であり、飽和した長露光画像９２＃の画素値はホワイトバランスが崩れている状態であるため、その値を露光比で割って使用すると偽色が発生する。
(Modification of the second embodiment)
However, there may be a problem when the pixel value saturated in the long exposure image 92 # is processed by the method according to the second embodiment. This is a case where the signal to be processed is a Bayer signal and the white balance processing is not performed, and the pixel value of the saturated long exposure image 92 # is in a state where the white balance is lost, and the value is divided by the exposure ratio and used. Then false color occurs.
一般にＲＧＢカラーセンサの場合、Ｇに対してＲとＢの感度が低いために、後段のホワイトバランス処理でＲとＢをゲインアップすることによって正常なホワイトバランスが取れる。逆に、飽和してＲＧＢのレベルが揃っている場合は、後段でＲとＢをゲインアップするとマゼンタ色になってしまう。一般の画像であれば飽和画素の偽色が見えることはないが、ＷＤＲ合成する場合には、長露光画像９２＃の飽和画素であっても動き補償後の短露光画像９１’−１と合成すれば中間輝度もしくはそれ以下の暗い領域になるため、偽色がはっきりと見えてしまう。 In general, in the case of an RGB color sensor, the sensitivity of R and B with respect to G is low, so that normal white balance can be obtained by gaining up R and B in the subsequent white balance processing. On the contrary, when the RGB levels are saturated and the R and B gains are increased in the latter stage, the color becomes magenta. In the case of a general image, a false color of a saturated pixel is not seen. However, in the case of WDR synthesis, even a saturated pixel of the long exposure image 92 # is synthesized with the short exposure image 91′-1 after motion compensation. This will result in a dark area with an intermediate brightness or lower, so that the false color will be clearly visible.
処理対象信号がＢａｙｅｒ信号の場合には、図９に示した画像処理装置１Ｃの構成が好適である。グローバル動き補償部５０Ｂに入力される長露光画像９２＃に対してクリップ処理を行う飽和クリップ処理部４０が追加されている点が、図８（第２の実施形態）との違いである。飽和クリップ処理部４０は、ＲＧＢ間のカラーバランスが把握できていることを前提に、長露光画像９２＃の所定の画素要素（例えば、ＲＧＢの画素値のいずれか）に対してクリップ処理を行ってクリップ処理後の長露光画像を得る。 When the signal to be processed is a Bayer signal, the configuration of the image processing apparatus 1C illustrated in FIG. 9 is preferable. A difference from FIG. 8 (second embodiment) is that a saturated clip processing unit 40 that performs clip processing on the long exposure image 92 # input to the global motion compensation unit 50B is added. The saturated clip processing unit 40 performs clip processing on a predetermined pixel element (for example, one of RGB pixel values) of the long exposure image 92 # on the assumption that the color balance between RGB can be grasped. To obtain a long-exposure image after clip processing.
例えば、飽和クリップ処理部４０は、Ｇ信号に対してＲ信号の感度が０．６倍だとすると、画像信号の上限値の０．６倍でＲ信号をクリップする。同様に、飽和クリップ処理部４０は、Ｇ信号に対してＢ信号の感度が０．４倍だとすると、画像信号の上限値の０．４倍でＢ信号をクリップする。このような処理を行えば、長露光画像９２＃の飽和領域であってもＲＧＢ画素値のホワイトバランスが取れていることになり、後段でホワイトバランス処理を行った時に偽色が発生することがない。 For example, if the sensitivity of the R signal is 0.6 times that of the G signal, the saturation clip processing unit 40 clips the R signal at 0.6 times the upper limit value of the image signal. Similarly, if the sensitivity of the B signal is 0.4 times that of the G signal, the saturation clip processing unit 40 clips the B signal at 0.4 times the upper limit of the image signal. If such processing is performed, the white balance of the RGB pixel values is obtained even in the saturated region of the long exposure image 92 #, and a false color may be generated when the white balance processing is performed in the subsequent stage. Absent.
以上、本発明の第１の実施形態および第２の実施形態について説明した。本発明の第１の実施形態によれば、短露光画像と長露光画像とに基づいてグローバル動きベクトルを検出するグローバル動きベクトル検出部３０と、グローバル動きベクトルを用いて短露光画像に対して動き補償を行って動き補償後の短露光画像を得るグローバル動き補償部５０Ａと、使用画像選択情報のうちグローバル動きベクトルに応じた画面端の情報を長露光画像使用領域に変更し、変更後の使用画像選択情報に基づいて、動き補償後の短露光画像と長露光画像とを合成するＷＤＲ合成部６０Ａと、を備える、画像処理装置１Ａが提供される。 Heretofore, the first embodiment and the second embodiment of the present invention have been described. According to the first embodiment of the present invention, the global motion vector detection unit 30 that detects the global motion vector based on the short exposure image and the long exposure image, and the motion with respect to the short exposure image using the global motion vector. The global motion compensation unit 50A that obtains a short-exposure image after motion compensation by performing compensation, and changes the screen edge information corresponding to the global motion vector in the use image selection information to the long-exposure image use region, and uses after the change An image processing apparatus 1A is provided that includes a WDR synthesis unit 60A that synthesizes a short-exposure image and a long-exposure image after motion compensation based on image selection information.
かかる構成によれば、使用画像選択情報のうちグローバル動きベクトルに応じた画面端の情報が長露光画像使用領域に変更されるため、変更後の使用画像選択情報に基づいて、動き補償後の短露光画像と長露光画像とが合成された結果は、グローバル動きベクトルに応じた画面端の領域が長露光画像となる。したがって、動き補償後の短露光画像と長露光画像とをより自然に合成することが可能となる。 According to such a configuration, since the information on the screen edge corresponding to the global motion vector in the used image selection information is changed to the long exposure image use region, the short after motion compensation is based on the changed use image selection information. As a result of combining the exposure image and the long exposure image, the region at the screen edge corresponding to the global motion vector becomes a long exposure image. Therefore, the short-exposure image and the long-exposure image after motion compensation can be combined more naturally.
また、本発明の第２の実施形態によれば、短露光画像と長露光画像とに基づいてグローバル動きベクトルを検出するグローバル動きベクトル検出部３０と、グローバル動きベクトルを用いて短露光画像に対して動き補償を行って動き補償後の短露光画像を得るとともに、前記動き補償後の短露光画像のうちグローバル動きベクトルに応じた画面端の領域の画素値として長露光画像の対応する座標の画素値を露光比で割った画素値を設定して画素値設定後の短露光画像を得るグローバル動き補償部５０Ｂと、使用画像選択情報に基づいて、画素値設定後の短露光画像と長露光画像とを合成するＷＤＲ合成部６０Ｂと、を備える、画像処理装置１Ｂが提供される。 In addition, according to the second embodiment of the present invention, the global motion vector detection unit 30 that detects the global motion vector based on the short exposure image and the long exposure image, and the short exposure image using the global motion vector. To obtain a short-exposure image after motion compensation by performing motion compensation, and out of the short-exposure image after motion compensation, a pixel at a corresponding coordinate of the long-exposure image as a pixel value of an area at the screen end corresponding to a global motion vector A global motion compensation unit 50B that obtains a short exposure image after setting the pixel value by setting a pixel value obtained by dividing the value by the exposure ratio, and a short exposure image and a long exposure image after the pixel value setting based on the use image selection information An image processing apparatus 1B is provided that includes a WDR synthesizing unit 60B.
かかる構成によれば、画面のうち画像情報が存在しない空き領域の画素値は、長露光画像の画素値を露光比で割って得られた数値であるため、ＷＤＲ合成部６０Ｂによって露光比を乗じられると、長露光画像の画素値となる。結果的に、第２の実施形態においても、空き領域の使用画像として長露光画像が選択されて合成された場合に得られるＷＤＲ合成結果と同様の合成結果が得られるため、一般的なＷＤＲ合成部６０Ｂに変更を加えることなく、第１の実施形態と同等の効果を得ることができる。 According to such a configuration, the pixel value of the empty area where no image information exists in the screen is a numerical value obtained by dividing the pixel value of the long exposure image by the exposure ratio, and thus is multiplied by the exposure ratio by the WDR synthesis unit 60B. If it is, the pixel value of the long exposure image is obtained. As a result, also in the second embodiment, since a synthesis result similar to the WDR synthesis result obtained when a long exposure image is selected as a use image of a free area and synthesized, a general WDR synthesis is obtained. The effect equivalent to 1st Embodiment can be acquired, without adding a change to the part 60B.
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。 The preferred embodiments of the present invention have been described in detail above with reference to the accompanying drawings, but the present invention is not limited to such examples. It is obvious that a person having ordinary knowledge in the technical field to which the present invention pertains can come up with various changes or modifications within the scope of the technical idea described in the claims. Of course, it is understood that these also belong to the technical scope of the present invention.
ＷＤＲ合成技術は重要視されている。しかし、高解像度のＷＤＲ出力を得ようとして短露光画像と長露光画像を時分割で撮影して合成しようとすれば、動きに対して二重像アーティファクトが発生するという点が弱点である。特にカメラ自体がパン・チルトの動きを含む場合、被写体に動物体がなくとも二重像が発生したり、短露光画像と長露光画像の境界に二重像が多く発生したり、動いている間ずっと二重像が発生したりすることから、顕著なアーティファクトとして問題となる。 WDR synthesis technology is regarded as important. However, if a short-exposure image and a long-exposure image are photographed in a time-division manner to obtain a high-resolution WDR output, a double image artifact is generated with respect to the motion. In particular, when the camera itself includes pan / tilt movements, a double image is generated even if the subject does not have a moving object, or many double images are generated or moved at the boundary between the short exposure image and the long exposure image. Since double images are generated all the time, it becomes a problem as a remarkable artifact.
この問題に対しては、グローバル動き補償を使って短露光画像と長露光画像の位置を合わせてから合成すれば解決できるが、グローバル動き補償適用後に発生する、画像情報が存在しない領域をどのように扱うのか、ＷＤＲ合成システムを前提とした先行技術は存在しなかった。本実施形態によって、パン・チルト動作をするタイプのカメラであっても高品質なＷＤＲ画像を出力することが可能となり、製品の差別化に大きく貢献すると思われる。 This problem can be solved by combining the positions of the short-exposure image and long-exposure image after using global motion compensation, but how can the area that does not have image information that occurs after applying global motion compensation? There is no prior art based on the WDR synthesis system. According to the present embodiment, it is possible to output a high-quality WDR image even for a camera that performs pan / tilt operation, which is considered to greatly contribute to product differentiation.
１（１Ａ、１Ｂ、１Ｃ） 画像処理装置
１０ センサ
２０ フレームメモリ
２２ 長露光画像
２３ ＷＤＲ合成画像
３０ グローバル動きベクトル検出部
４０ 飽和クリップ処理部
５０Ａ、５０Ｂ グローバル動き補償部
６０Ａ、６０Ｂ ＷＤＲ合成部
６１＃ 使用画像選択情報
９１ 短露光画像
９１’（９１’−１、９１’−２、９１’−３） 動き補償後の短露光画像
９２（９２＃） 長露光画像
９３（９３＃） ＷＤＲ合成画像
Ａｒ 空き領域
1 (1A, 1B, 1C) Image processing device 10 Sensor 20 Frame memory 22 Long exposure image 23 WDR composite image 30 Global motion vector detection unit 40 Saturation clip processing unit 50A, 50B Global motion compensation unit 60A, 60B WDR synthesis unit 61 # Use image selection information 91 Short exposure image 91 ′ (91′-1, 91′-2, 91′-3) Short exposure image after motion compensation 92 (92 #) Long exposure image 93 (93 #) WDR composite image Ar empty territory
Claims (7)
前記グローバル動きベクトルを用いて短露光画像に対して動き補償を行って動き補償後の短露光画像を得るグローバル動き補償部と、
前記動き補償後の短露光画像と長露光画像とのいずれを合成に使用するかを画素ごとに示す使用画像選択情報のうち、
前記グローバル動きベクトルに応じた画面端の情報を長露光画像使用領域に変更し、
変更後の使用画像選択情報に基づいて、前記動き補償後の短露光画像と長露光画像とを合成する合成部と、
を備える、画像処理装置。 A global motion vector detector that detects a global motion vector based on the short exposure image and the long exposure image;
A global motion compensation unit that performs motion compensation on a short-exposure image using the global motion vector to obtain a short-exposure image after motion compensation;
Among the use image selection information indicating, for each pixel, which of the short exposure image and the long exposure image after the motion compensation is used for synthesis,
Change the information on the screen edge according to the global motion vector to the long exposure image use area,
Based on the use image selection information after the change, a combining unit that combines the short-exposure image and the long-exposure image after the motion compensation;
An image processing apparatus comprising:
前記合成部は、前記使用画像選択情報のうち前記短露光画像の画像情報が存在しなくなった空き領域に対応する情報を長露光画像使用領域に変更する、
請求項１に記載の画像処理装置。 The global motion compensation unit performs the motion compensation by moving the short exposure image according to the global motion vector,
The combining unit changes the information corresponding to the empty area where the image information of the short exposure image no longer exists in the use image selection information to the long exposure image use area,
The image processing apparatus according to claim 1.
前記グローバル動きベクトルを用いて短露光画像に対して動き補償を行って動き補償後の短露光画像を得るとともに、
前記動き補償後の短露光画像のうち前記グローバル動きベクトルに応じた画面端の領域の画素値として長露光画像の対応する座標の画素値を露光比で割った画素値を設定し、
画素値設定後の短露光画像を得るグローバル動き補償部と、
使用画像選択情報に基づいて、前記画素値設定後の短露光画像と長露光画像とを合成する合成部と、
を備える、画像処理装置。 A global motion vector detector that detects a global motion vector based on the short exposure image and the long exposure image;
While performing motion compensation on the short exposure image using the global motion vector to obtain a short exposure image after motion compensation,
Set a pixel value obtained by dividing the pixel value of the corresponding coordinate of the long exposure image by the exposure ratio as the pixel value of the region at the screen end according to the global motion vector among the short exposure image after the motion compensation,
A global motion compensation unit that obtains a short-exposure image after pixel value setting;
A combining unit that combines the short-exposure image and the long-exposure image after the pixel value is set based on use image selection information;
An image processing apparatus comprising:
前記動き補償後の短露光画像のうち画像情報が存在しなくなった空き領域の画素値として長露光画像の対応する座標の画素値を露光比で割った画素値を設定し、
前記画素値設定後の短露光画像を得る、
請求項３に記載の画像処理装置。 The global motion compensation unit obtains a short exposure image after motion compensation by performing the motion compensation by moving the short exposure image according to the global motion vector,
Set a pixel value obtained by dividing the pixel value of the corresponding coordinate of the long exposure image by the exposure ratio as the pixel value of the empty area where the image information no longer exists in the short exposure image after the motion compensation,
A short exposure image after setting the pixel value is obtained.
The image processing apparatus according to claim 3.
前記グローバル動き補償部は、前記動き補償後の短露光画像のうち、
前記グローバル動きベクトルに応じた画面端の領域の画素値として前記クリップ処理後の長露光画像の対応する座標の画素値を露光比で割った画素値を設定し、
前記画素値変更後の短露光画像を得る、
請求項４に記載の画像処理装置。 The image processing apparatus includes a clip processing unit that performs a clip process on a predetermined pixel element of a long exposure image to obtain a long exposure image after the clip process,
The global motion compensation unit is a short exposure image after the motion compensation,
Set a pixel value obtained by dividing the pixel value of the corresponding coordinate of the long-exposure image after the clip processing by the exposure ratio as the pixel value of the screen edge region according to the global motion vector,
A short exposure image after changing the pixel value is obtained.
The image processing apparatus according to claim 4.
前記グローバル動きベクトルを用いて短露光画像に対して動き補償を行って動き補償後の短露光画像を得ることと、
前記動き補償後の短露光画像と長露光画像とのいずれを合成に使用するかを画素ごとに示す使用画像選択情報のうち、
前記グローバル動きベクトルに応じた画面端の情報を長露光画像使用領域に変更し、
変更後の使用画像選択情報に基づいて、前記動き補償後の短露光画像と長露光画像とを合成することと、
を含む、画像処理方法。 Detecting a global motion vector based on the short exposure image and the long exposure image;
Performing motion compensation on a short-exposure image using the global motion vector to obtain a short-exposure image after motion compensation;
Among the use image selection information indicating, for each pixel, which of the short exposure image and the long exposure image after the motion compensation is used for synthesis,
Change the information on the screen edge according to the global motion vector to the long exposure image use area,
Synthesizing the short-exposure image and the long-exposure image after the motion compensation based on the use image selection information after the change;
Including an image processing method.
前記グローバル動きベクトルを用いて短露光画像に対して動き補償を行って動き補償後の短露光画像を得るとともに、
前記動き補償後の短露光画像のうち前記グローバル動きベクトルに応じた画面端の領域の画素値として長露光画像の対応する座標の画素値を露光比で割った画素値を設定し、
画素値設定後の短露光画像を得ることと、
使用画像選択情報に基づいて、前記画素値設定後の短露光画像と長露光画像とを合成することと、
を含む、画像処理方法。 Detecting a global motion vector based on the short exposure image and the long exposure image;
While performing motion compensation on the short exposure image using the global motion vector to obtain a short exposure image after motion compensation,
Set a pixel value obtained by dividing the pixel value of the corresponding coordinate of the long exposure image by the exposure ratio as the pixel value of the region at the screen end according to the global motion vector among the short exposure image after the motion compensation,
Obtaining a short exposure image after pixel value setting;
Combining the short-exposure image and the long-exposure image after the pixel value setting based on use image selection information;
Including an image processing method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015229904A JP6603557B2 (en) | 2015-11-25 | 2015-11-25 | Image processing apparatus and image processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015229904A JP6603557B2 (en) | 2015-11-25 | 2015-11-25 | Image processing apparatus and image processing method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017098784A true JP2017098784A (en) | 2017-06-01 |
| JP6603557B2 JP6603557B2 (en) | 2019-11-06 |
Family
ID=58817446
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015229904A Active JP6603557B2 (en) | 2015-11-25 | 2015-11-25 | Image processing apparatus and image processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6603557B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021526248A (en) * | 2018-06-07 | 2021-09-30 | ドルビー ラボラトリーズ ライセンシング コーポレイション | HDR image generation from a single shot HDR color image sensor |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006197100A (en) * | 2005-01-12 | 2006-07-27 | Canon Inc | Image processor and image processing method |
| JP2014060502A (en) * | 2012-09-14 | 2014-04-03 | Canon Inc | Image processor and image processing method |
| US9083935B2 (en) * | 2012-06-15 | 2015-07-14 | Microsoft Technology Licensing, Llc | Combining multiple images in bracketed photography |
-
2015
- 2015-11-25 JP JP2015229904A patent/JP6603557B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006197100A (en) * | 2005-01-12 | 2006-07-27 | Canon Inc | Image processor and image processing method |
| US9083935B2 (en) * | 2012-06-15 | 2015-07-14 | Microsoft Technology Licensing, Llc | Combining multiple images in bracketed photography |
| JP2014060502A (en) * | 2012-09-14 | 2014-04-03 | Canon Inc | Image processor and image processing method |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021526248A (en) * | 2018-06-07 | 2021-09-30 | ドルビー ラボラトリーズ ライセンシング コーポレイション | HDR image generation from a single shot HDR color image sensor |
| JP7130777B2 (en) | 2018-06-07 | 2022-09-05 | ドルビー ラボラトリーズ ライセンシング コーポレイション | HDR image generation from a single-shot HDR color image sensor |
| US11922639B2 (en) | 2018-06-07 | 2024-03-05 | Dolby Laboratories Licensing Corporation | HDR image generation from single-shot HDR color image sensors |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6603557B2 (en) | 2019-11-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8581992B2 (en) | Image capturing apparatus and camera shake correction method, and computer-readable medium | |
| JP6184290B2 (en) | Image processing apparatus and image processing method | |
| CN104980652B (en) | Image processing apparatus and image processing method | |
| JP5713752B2 (en) | Image processing apparatus and control method thereof | |
| US9646397B2 (en) | Image processing apparatus and image processing method | |
| US8913153B2 (en) | Imaging systems and methods for generating motion-compensated high-dynamic-range images | |
| JP7169388B2 (en) | Methods, devices, cameras, and software for performing electronic image stabilization of high dynamic range images | |
| JP6312487B2 (en) | Image processing apparatus, control method therefor, and program | |
| JP2012234393A (en) | Image processing device, image processing method, and program | |
| JP2013106149A (en) | Imaging apparatus, control method of the same and program | |
| JP2015027067A (en) | High dynamic range motion picture photographing method | |
| KR20110052507A (en) | Image capture apparatus and image capturing method | |
| JP2014039170A (en) | Image processing device, image processing method, and program | |
| JP2015144475A (en) | Imaging apparatus, control method of the same, program and storage medium | |
| JP5882702B2 (en) | Imaging device | |
| WO2019124289A1 (en) | Device, control method, and storage medium | |
| JP6227935B2 (en) | Image processing apparatus and image processing method | |
| JP2018207413A (en) | Imaging apparatus | |
| JP6541501B2 (en) | IMAGE PROCESSING APPARATUS, IMAGING APPARATUS, AND IMAGE PROCESSING METHOD | |
| JP5713643B2 (en) | IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM | |
| JP2016111568A (en) | Image blur correction control device, imaging apparatus, control method and program thereof | |
| JP6603557B2 (en) | Image processing apparatus and image processing method | |
| JP6173027B2 (en) | Image processing apparatus and image processing method | |
| JP2008211674A (en) | Image signal processing method and apparatus | |
| JP6700028B2 (en) | Vector calculating device and vector calculating method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180912 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20181221 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190320 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20190524 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190829 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190917 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191011 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6603557 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |