JP5505072B2 - Image data processing apparatus and image data processing method - Google Patents
Image data processing apparatus and image data processing method Download PDFInfo
- Publication number
- JP5505072B2 JP5505072B2 JP2010110069A JP2010110069A JP5505072B2 JP 5505072 B2 JP5505072 B2 JP 5505072B2 JP 2010110069 A JP2010110069 A JP 2010110069A JP 2010110069 A JP2010110069 A JP 2010110069A JP 5505072 B2 JP5505072 B2 JP 5505072B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- determination threshold
- threshold value
- image data
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
Description
本発明は、撮影した画像をコンピュータ処理することによって手ぶれを補正する技術に係り、特に合成画像のノイズリダクションの画像データ処理方法および画像データ処理装置に関する。 The present invention relates to a technique for correcting camera shake by computer processing of a captured image, and more particularly to an image data processing method and image data processing apparatus for noise reduction of a composite image.
現在、カメラに加わる手ぶれによる画像のブレを防ぐために、手ぶれ補正技術が開発されている。
手ぶれ補正の技術には、光学式補正方式や画像合成方式などがある。このうち、画像合成方式の手ぶれ補正方法は、補正レンズや光学機器の駆動機構などを必要としないため、小型化が必要とされる装置等に適している。
Currently, image stabilization technology has been developed to prevent image blur due to camera shake.
Examples of the camera shake correction technique include an optical correction method and an image composition method. Among these methods, the image blur correction method of the image composition method does not require a correction lens or a driving mechanism of an optical device, and thus is suitable for an apparatus that requires downsizing.
特許文献１では、画像合成で手ぶれの補正をする画像合成方法にかかる技術が開示されていて、特に画像を小ブロック単位で合成する／しないを判定する技術が開示されている。 Patent Document 1 discloses a technique related to an image synthesizing method for correcting camera shake by image synthesis, and particularly discloses a technique for determining whether to synthesize an image in units of small blocks.
特許文献１の画像合成方法では、一枚の合成画像中に、合成していない領域と合成した領域とが混在することによる画質劣化問題を、重ねあわせ比率に基づいてノイズリダクションを変えることで解決している。
しかしながら、特許文献１にかかる画像合成方法によっても、カメラの設定によってはノイズが現れてしまうという問題があった。
The image composition method disclosed in Patent Document 1 solves the image quality degradation problem caused by a mixture of non-synthesized areas and synthesized areas in a single synthesized image by changing noise reduction based on the overlay ratio. doing.
However, even with the image composition method according to Patent Document 1, there is a problem that noise appears depending on the setting of the camera.
本発明は、上記の問題に係り、高精度な画像合成判定を可能とし、高品質な手ぶれ補正画像を得ることができる画像データ処理装置及び画像データ処理方法を提供することを目的とする。 An object of the present invention is to provide an image data processing apparatus and an image data processing method that enable high-accuracy image synthesis determination and obtain a high-quality image stabilization image.
上記課題を解決するために本発明に係る画像データ処理装置及び画像データ処理方法は、具体的には下記（１）〜（６）に記載の技術的特徴を有する。
（１）：入力された画像データに画像処理を行う画像データ処理装置であって、前記画像データは、基準画像と比較画像とを含み、前記基準画像と前記比較画像との間の動きデータを算出する動きデータ演算手段と、前記基準画像と前記比較画像との画素値の差分を、前記動きデータによって対応付けられるブロックごとに算出するブロック比較手段と、前記画素値の差分に基づいて、前記基準画像に対する前記比較画像の重ね合わせ比率を前記ブロックごとに算出する重ね合わせ比率算出手段と、前記動きデータ及び前記重ね合わせ比率によって、前記比較画像を前記基準画像に重ね合わせて合成画像を生成する画像合成手段と、前記画像合成手段で合成を実行するか否かを合成判定閾値に基づき判定し、前記画素値の差分が前記合成判定閾値より小さいときに前記画像合成手段で合成を実行するように判定する合成判定手段と、前記合成判定閾値を変更する合成判定閾値変更手段と、を備え、前記合成判定閾値変更手段は、前記基準画像内の座標に基づき、周辺部において中心部よりも前記合成判定閾値を大きくすることを特徴とする画像データ処理装置である。
（２）：前記入力された画像データは、当該入力された画像データの撮像時における光学系の設定データを含み、前記合成判定閾値変更手段は、さらに前記光学系の設定データに基づき前記合成判定閾値を変更することを特徴とする上記（１）記載の画像データ処理装置である。
（３）：前記入力された画像データは、当該入力された画像データの撮像時におけるＩＳＯ感度の設定データを含み、前記合成判定閾値変更手段は、さらに前記ＩＳＯ感度の設定データに基づき前記合成判定閾値を変更することを特徴とする上記（１）または（２）記載の画像データ処理装置である。
（４）：入力された画像データに画像処理を行う画像データ処理方法であって、前記画像データは、基準画像と比較画像とを含み、前記基準画像と前記比較画像との間の動きデータを算出する動きデータ演算処理と、前記基準画像と前記比較画像との画素値の差分を、前記動きデータによって対応付けられるブロックごとに算出するブロック比較処理と、前記画素値の差分に基づいて、前記基準画像に対する前記比較画像の重ね合わせ比率を前記ブロックごとに算出する重ね合わせ比率算出処理と、前記動きデータ及び前記重ね合わせ比率によって、前記比較画像を前記基準画像に重ね合わせて合成画像を生成する画像合成処理と、前記画像合成処理で合成を実行するか否かを合成判定閾値に基づき判定し、前記画素値の差分が前記合成判定閾値より小さいときに前記画像合成処理で合成を実行するように判定する合成判定処理と、前記合成判定閾値を変更する合成判定閾値変更処理と、を備え、前記合成判定閾値変更処理は、前記基準画像内の座標に基づき、周辺部において中心部よりも前記合成判定閾値を大きくすることを特徴とする画像データ処理方法である。
（５）：前記入力された画像データは、当該入力された画像データの撮像時における光学系の設定データを含み、前記合成判定閾値変更処理は、さらに前記光学系の設定データに基づき前記合成判定閾値を変更することを特徴とする上記（４）記載の画像データ処理方法である。
（６）：前記入力された画像データは、当該入力された画像データの撮像時におけるＩＳＯ感度の設定データを含み、前記合成判定閾値変更処理は、さらに前記ＩＳＯ感度の設定データに基づき前記合成判定閾値を変更することを特徴とする上記（４）または（５）記載の画像データ処理方法である。
In order to solve the above problems, the image data processing apparatus and the image data processing method according to the present invention specifically have the technical features described in the following (1) to (6).
(1): An image data processing apparatus that performs image processing on input image data, the image data including a reference image and a comparison image, and motion data between the reference image and the comparison image. Based on the difference of the pixel value, the motion data calculating means to calculate, the block comparison means for calculating the difference of the pixel value of the reference image and the comparison image for each block associated with the motion data, A composite image is generated by superimposing the comparative image on the reference image based on the motion data and the superposition ratio, with superposition ratio calculating means for calculating the superposition ratio of the comparative image with respect to the reference image for each block. and image synthesizing means, wherein whether to perform the synthesis by the image synthesis unit determined based on the combination judging threshold, the difference is the synthetic judgment of the pixel values Comprising a determining synthesizing judging means to perform the synthesis in the image synthesizing means when less than the value, a combination judging threshold value changing means for changing the synthetic judgment threshold, and the synthetic judgment threshold value changing means, the reference An image data processing apparatus characterized in that, based on coordinates in an image, the combination determination threshold value is set larger in a peripheral part than in a central part .
(2): The input image data includes optical system setting data at the time of capturing the input image data, and the combination determination threshold value changing unit further performs the combination determination based on the optical system setting data. The image data processing apparatus according to (1), wherein the threshold value is changed.
(3): The input image data includes ISO sensitivity setting data at the time of capturing the input image data, and the combination determination threshold value changing unit further performs the combination determination based on the ISO sensitivity setting data. The image data processing apparatus according to (1) or (2), wherein the threshold value is changed.
(4) : An image data processing method for performing image processing on input image data, the image data including a reference image and a comparison image, and motion data between the reference image and the comparison image. Based on the motion data calculation process to be calculated, the block comparison process for calculating the pixel value difference between the reference image and the comparison image for each block associated with the motion data, and the pixel value difference, A composite image is generated by superimposing the comparative image on the reference image based on the superposition ratio calculation process for calculating the superposition ratio of the comparison image with respect to the reference image for each block, and the motion data and the superposition ratio. It is determined based on a synthesis determination threshold value whether image synthesis processing and synthesis are executed in the image synthesis processing, and the difference between the pixel values is the synthesis determination A composition determination process for determining to perform composition in the image composition process when smaller than a threshold value; and a composition determination threshold value changing process for changing the composition determination threshold value, wherein the composition determination threshold value changing process includes the reference The image data processing method is characterized in that, based on coordinates in an image, the combination determination threshold value is set larger in the peripheral portion than in the central portion .
(5) : The input image data includes optical system setting data at the time of capturing the input image data, and the combination determination threshold value changing process further includes the combination determination based on the optical system setting data. The image data processing method according to (4), wherein the threshold value is changed.
(6) : The input image data includes ISO sensitivity setting data at the time of capturing the input image data, and the combination determination threshold value changing process further includes the combination determination based on the ISO sensitivity setting data. The image data processing method according to (4) or (5), wherein the threshold value is changed.
本発明によれば、高精度な画像合成判定に基づく高品質な手ぶれ補正画像を得ることができる画像データ処理装置及び画像データ処理方法を提供することができる。 According to the present invention, it is possible to provide an image data processing apparatus and an image data processing method capable of obtaining a high-quality camera shake correction image based on high-accuracy image composition determination.
本発明に係る画像データ処理装置は、入力された画像データに画像処理を行い、前記画像データは、基準画像と比較画像とを含み、前記基準画像と前記比較画像との間の動きデータを算出する動きデータ演算手段と、前記基準画像と前記比較画像との画素値の差分を、前記動きデータによって対応付けられるブロックごとに算出するブロック比較手段と、前記画素値の差分に基づいて、前記基準画像に対する前記比較画像の重ね合わせ比率を前記ブロックごとに算出する重ね合わせ比率算出手段と、前記動きデータ及び前記重ね合わせ比率によって、前記比較画像を前記基準画像に重ね合わせて合成画像を生成する画像合成手段と、前記画像合成手段で合成を実行するか否かを合成判定閾値に基づき判定する合成判定処理と、前記合成判定閾値を変更する合成判定閾値変更手段と、を備え、前記合成判定閾値変更手段は、前記基準画像内の座標に基づき前記合成判定閾値を変更することを特徴とする。 An image data processing apparatus according to the present invention performs image processing on input image data, and the image data includes a reference image and a comparison image, and calculates motion data between the reference image and the comparison image. Based on the difference between the pixel values based on the difference between the pixel values of the motion data calculating means, the block comparison means for calculating the difference between the reference image and the comparison image for each block associated with the motion data An overlay ratio calculating unit that calculates an overlay ratio of the comparison image with respect to an image for each block, and an image for generating a composite image by superimposing the comparison image on the reference image based on the motion data and the overlay ratio A synthesis determination process for determining whether to perform synthesis by the image synthesis unit based on a synthesis determination threshold; and And a synthetic determination threshold changing means for changing said synthesis determination threshold changing means, and changing the synthesis determination threshold based on the coordinates in the reference image.
ここで、特許文献１（特開２００９−１６４８５７号公報）にかかる画像合成方法では、入力された画像の撮像時におけるカメラ（撮像装置）の設定については何ら考慮されていない。このため、シェーディングの大きいカメラであると周辺部分では被写体が動いていなくても、合成されないという不具合が現れる。
そこで本発明によれば、撮像装置（カメラ）の設定に応じて合成閾値を変更することによって、より正確な合成判定結果を得ることができ、ノイズを低減することができる好適な画像合成が行える。特に、レンズ特性に応じて閾値を変えることで、周辺部分の判定を正確にし、上記不具合を解決することができる。
Here, in the image composition method according to Patent Document 1 (Japanese Patent Application Laid-Open No. 2009-164857), no consideration is given to the setting of the camera (imaging device) when the input image is captured. For this reason, in the case of a camera with large shading, there is a problem that even if the subject does not move in the peripheral portion, it is not combined.
Therefore, according to the present invention, by changing the synthesis threshold according to the setting of the imaging device (camera), a more accurate synthesis determination result can be obtained, and suitable image synthesis that can reduce noise can be performed. . In particular, by changing the threshold value according to the lens characteristics, it is possible to accurately determine the peripheral portion and to solve the above problems.
次に、本発明に係る画像データ処理装置及び画像データ処理方法についてさらに詳細に説明する。
尚、以下に述べる実施の形態は、本発明の好適な実施の形態であるから技術的に好ましい種々の限定が付されているが、本発明の範囲は以下の説明において本発明を限定する旨の記載がない限り、これらの態様に限られるものではない。
Next, the image data processing apparatus and the image data processing method according to the present invention will be described in more detail.
Although the embodiments described below are preferred embodiments of the present invention, various technically preferable limitations are attached thereto, but the scope of the present invention is intended to limit the present invention in the following description. Unless otherwise described, the present invention is not limited to these embodiments.
以下、本発明の実施形態を説明する。
図１は、本実施形態に係る画像データ処理装置２のブロック図である。この装置は、複数の画像を入力して、それらの画像を合成して手ぶれ補正された画像を生成するものである。
Embodiments of the present invention will be described below.
FIG. 1 is a block diagram of an image data processing apparatus 2 according to the present embodiment. This apparatus inputs a plurality of images and synthesizes the images to generate an image that is corrected for camera shake.
画像データ処理装置２は、記憶部１４と演算処理部１６を備えている。
演算処理部１６は、画像データ入力手段３６、画像合成処理部１８、ノイズ除去手段２０、画像データ出力手段２２を備える。
The image data processing device 2 includes a storage unit 14 and an arithmetic processing unit 16.
The arithmetic processing unit 16 includes an image data input unit 36, an image composition processing unit 18, a noise removal unit 20, and an image data output unit 22.
画像データ入力手段３６は、外部から画像データを受け取り、記憶部１４に保存する。この際、画像の比較や合成のための基準画像を入力画像の中から１つ決定して保存し、その他の画像を比較画像として保存する。
画像合成処理部１８は、基準画像と比較画像とを合成する処理を行う。
ノイズ除去手段２０は、ノイズリダクションのフィルタを合成画像に適用して、合成画像中のノイズを除去する。
画像データ出力手段２２は、ノイズ除去された合成画像を最終的な出力画像として出力する。
The image data input unit 36 receives image data from the outside and stores it in the storage unit 14. At this time, one reference image for comparison and synthesis of images is determined from the input images and stored, and the other images are stored as comparison images.
The image synthesis processing unit 18 performs a process for synthesizing the reference image and the comparison image.
The noise removing unit 20 applies a noise reduction filter to the synthesized image to remove noise in the synthesized image.
The image data output means 22 outputs the synthesized image from which noise has been removed as a final output image.
なお、画像データ入力手段３６により入力された入力画像データ２４は、撮像装置（カメラ）により撮像された画像である場合、当該撮像装置の撮像時における設定データを含む。設定データは撮像装置における各種設定データが挙げられ、例えば、絞り、ズーム位置などの撮像装置における光学系の設定データや、ＩＳＯ感度の設定データなどがある。 When the input image data 24 input by the image data input unit 36 is an image captured by an imaging device (camera), it includes setting data at the time of imaging of the imaging device. Examples of the setting data include various setting data in the imaging apparatus, such as optical system setting data such as an aperture and zoom position, ISO sensitivity setting data, and the like.
画像合成処理部１８は、動きデータ検出手段３８、ブロック比較手段４０、合成判定手段４１、重ね合わせ比率算出手段４２、合成判定閾値変更手段４３、画像合成手段４４を備える。
動きデータ検出手段３８は、入力された複数の画像間の動きデータを演算する。
ブロック比較手段４０は、基準画像と比較画像との対応するブロック同士を比較して、ブロックごとに画素値差分を演算する。
合成判定手段４１は、後述する合成判定閾値変更手段４３により設定される合成判定閾値と、ブロックごとの画素値差分とに基づき、当該ブロックについて基準画像と比較画像との合成を実行するか否かを判定する。
重ね合わせ比率算出手段４２は、ブロック比較手段４０によって算出された画素値差分をもとに、各比較画像についてブロックごとの重ね合わせ比率を算出する。
合成判定閾値変更手段４３は、前述した合成判定手段４１で用いられる合成判定閾値（後述する合成判定閾値データ３３に保持されてなる）を変更する。
画像合成手段４４は、算出された動きデータと重ね合わせ比率データをもとに、基準画像と複数の比較画像とを合成し、合成画像を生成する。
ノイズ除去手段２０は、ノイズリダクションフィルタを合成画像に適用して、合成画像中のノイズを除去する。
画像データ出力手段２２は、ノイズ除去された合成画像を最終的な出力画像として出力する。
The image composition processing unit 18 includes motion data detection means 38, block comparison means 40, composition determination means 41, overlay ratio calculation means 42, composition determination threshold change means 43, and image composition means 44.
The motion data detection means 38 calculates motion data between a plurality of input images.
The block comparison unit 40 compares corresponding blocks of the reference image and the comparison image, and calculates a pixel value difference for each block.
The composition determination unit 41 determines whether or not to perform the composition of the reference image and the comparison image for the block based on the composition determination threshold set by the composition determination threshold change unit 43 described later and the pixel value difference for each block. Determine.
Based on the pixel value difference calculated by the block comparison means 40, the overlay ratio calculation means 42 calculates the overlap ratio for each block for each comparison image.
The combination determination threshold value changing unit 43 changes the combination determination threshold value (held in the combination determination threshold value data 33 described later) used in the above-described combination determination unit 41.
The image synthesizing unit 44 synthesizes the reference image and the plurality of comparison images based on the calculated motion data and the overlay ratio data to generate a synthesized image.
The noise removing unit 20 applies a noise reduction filter to the composite image to remove noise in the composite image.
The image data output means 22 outputs the synthesized image from which noise has been removed as a final output image.
記憶部１４は、画像データ保持部１０とパラメータ保持部１２とからなる。
画像データ保持部１０は、画像データ入力手段３６からの入力画像データ２４、画像合成処理部１８によって生成された合成画像データ２６、最終的な出力データとなる出力画像データ２８を保持する。
パラメータ保持部１２は、基準画像と比較画像とのずれである動きデータ３０、基準画像と比較画像との対応するブロックごとの画素値の差分である画素値差分データ３２、合成判定の際に画素値差分データと比較する合成判定閾値データ３３、基準画像と比較画像との重ね合わせの比率を比較画像かつブロックごとに持つ重ね合わせ比率データ３４を保持する。
The storage unit 14 includes an image data holding unit 10 and a parameter holding unit 12.
The image data holding unit 10 holds the input image data 24 from the image data input unit 36, the synthesized image data 26 generated by the image synthesis processing unit 18, and the output image data 28 as final output data.
The parameter holding unit 12 includes motion data 30 that is a difference between the reference image and the comparison image, pixel value difference data 32 that is a difference between pixel values for each block corresponding to the reference image and the comparison image, and pixels at the time of synthesis determination. The composition determination threshold value data 33 to be compared with the value difference data and the superposition ratio data 34 having the superposition ratio of the reference image and the comparison image for each comparison image and each block are held.
次に、本実施の形態の画像データ処理装置の動作について、図２に示すフローチャートを用いて説明する。 Next, the operation of the image data processing apparatus of the present embodiment will be described using the flowchart shown in FIG.
＜ステップＳ１０１＞
画像データ入力手段３６は、外部の撮像装置から複数の画像データを取得し、画像データ保持部１０に保存する。
入力される画像データは、連続して撮影された画像であり、本実施の形態では、入力された画像データが図３の（ａ）から（ｄ）であるものとして説明する。
<Step S101>
The image data input unit 36 acquires a plurality of image data from an external imaging device and stores them in the image data holding unit 10.
The input image data is images taken continuously, and in this embodiment, the input image data is described as being from (a) to (d) in FIG.
＜ステップＳ１０２＞
動きデータ検出手段３８は、入力された画像データのうち、１枚を基準画像とし、その他の画像のうち１枚を比較画像として決定する。
本実施の形態では、撮像されたタイミングが最も早い画像データを基準画像とし、次のタイミングで撮像された画像データを比較画像とする。
図３の例では、時系列的に（ａ）から（ｄ）の順番に撮像されており、このステップにおいては（ａ）が基準画像となり、（ｂ）が比較画像となる。
<Step S102>
The motion data detection means 38 determines one of the input image data as a reference image and one of the other images as a comparison image.
In the present embodiment, image data captured at the earliest timing is used as a reference image, and image data captured at the next timing is used as a comparative image.
In the example of FIG. 3, images are taken in time sequence from (a) to (d). In this step, (a) is a reference image and (b) is a comparative image.
＜ステップＳ１０３＞
動きデータ検出手段３８は、基準画像と比較画像との間の動きデータを演算する。
動きデータとしては、図４の（ａ）に示すように基準画像と比較画像との相対的なずれであって平行移動量を表す動きベクトルであってもよいし、図４の（ｂ）のように画像の回転など動き検出の自由度が高いアフィンパラメータであってもよい。
例えば、特開２００７−２２６６４３号公報には、入力画像の多重解像度処理を行った後、解像度の低い画像から高い画像へと段階的にブロックマッチング処理を実行して、精度の高いアフィンパラメータを求める技術が開示されており、この技術を用いて基準画像と比較画像間の動きデータを演算することができる。
<Step S103>
The motion data detection unit 38 calculates motion data between the reference image and the comparison image.
As the motion data, as shown in FIG. 4A, the motion vector may be a motion vector that represents a relative shift between the reference image and the comparison image and represents the amount of parallel movement. Thus, affine parameters having a high degree of freedom in motion detection such as image rotation may be used.
For example, in Japanese Patent Laid-Open No. 2007-226643, after performing multi-resolution processing of an input image, block matching processing is executed step by step from a low-resolution image to a high-resolution image to obtain highly accurate affine parameters. A technique is disclosed, and motion data between a reference image and a comparison image can be calculated using this technique.
＜ステップＳ１０４＞
ブロック比較手段４０は、ステップＳ１０３で求めた動きデータによって基準画像と比較画像とのずれを調整した後に、それぞれの画像を所定のブロックに分割し、対応するブロックそれぞれの画素値の総和の差を演算する。
図５は、基準画像と比較画像とをブロックに分割した状態を示している。
基準画像のブロックＡは、動きデータによってずれを考慮した比較画像のブロックＢに対応している。
ここでブロックＡ内の各ピクセルの画素値の総和とブロックＢ内の各ピクセルの画素値の総和との差分を計算する。
なお、ブロック分割の具体的な例としては、２００メガピクセルから５００メガピクセルの画像に対して１６×１６ピクセルのブロックに分割して処理している。画像データ処理装置や必要とする処理速度あるいは画像の大きさなどに合わせてブロックのピクセルは任意に変えてよい。
<Step S104>
The block comparison means 40 adjusts the difference between the reference image and the comparison image based on the motion data obtained in step S103, divides each image into predetermined blocks, and calculates the difference in the sum of the pixel values of the corresponding blocks. Calculate.
FIG. 5 shows a state in which the reference image and the comparison image are divided into blocks.
The block A of the reference image corresponds to the block B of the comparative image in which the shift is taken into account by the motion data.
Here, the difference between the sum of the pixel values of each pixel in the block A and the sum of the pixel values of each pixel in the block B is calculated.
As a specific example of block division, an image of 200 to 500 megapixels is divided into 16 × 16 pixel blocks and processed. The pixel of the block may be arbitrarily changed in accordance with the image data processing apparatus, the required processing speed or the size of the image.
この処理における式は、ブロックＡ内の任意の座標ｐとブロックＢ内の任意の座標ｑとについてそれぞれの画素値をＩ（ｐ）、Ｉ（ｑ）として、下記式（１）のとおりとなる。 The formula in this process is as shown in the following formula (1), where I (p) and I (q) are the pixel values for an arbitrary coordinate p in the block A and an arbitrary coordinate q in the block B, respectively. .
なお、ブロック内の画素値の総和を計算する際に計算量を少なくするために、適宜画素を間引いて計算してもよい。これによってブロック間の判断の精度は落ちるが処理を高速化することができる。 In order to reduce the amount of calculation when calculating the sum of the pixel values in the block, the calculation may be performed by thinning out the pixels as appropriate. This reduces the accuracy of judgment between blocks, but can speed up the processing.
＜ステップＳ１０５＞
重ね合わせ比率算出手段４２は、ブロック比較手段４０によって算出されたブロックごとの画素値の差分をもとに、基準画像への合成画像の重ね合わせの比率をブロックごとに算出する。
算出された重ね合わせ比率は、各画像の各ブロックについて重ね合わせ比率データとしてパラメータ保持部１２に保持される（Ｓ１０５）。
本実施の形態では、合成判定手段４１はステップＳ１０４で求めた画素値の総和の差分が所定の合成判定閾値以上のときはそのブロックについては基準画像に対する比較画像の重ね合わせを行わない。このとき、比較画像のこのブロックについての重ね合わせ比率は０となる。つまり、合成画像における対応するブロック内の各ピクセルの輝度値について、基準画像１に対して比較画像０の割合で合成される。
<Step S105>
The superposition ratio calculation means 42 calculates the superposition ratio of the composite image to the reference image for each block based on the pixel value difference for each block calculated by the block comparison means 40.
The calculated overlay ratio is stored in the parameter storage unit 12 as overlay ratio data for each block of each image (S105).
In the present embodiment, the composition determination unit 41 does not superimpose the comparison image on the reference image for the block when the difference in the sum of the pixel values obtained in step S104 is equal to or greater than a predetermined composition determination threshold. At this time, the overlay ratio for this block of the comparison image is zero. That is, the luminance value of each pixel in the corresponding block in the combined image is combined with the reference image 1 at the ratio of the comparative image 0.
画素値の差分が合成判定閾値より小さい時は、基準画像およびそれぞれの比較画像による合成画像への影響度が一定になるように重ね合わせ比率を決定する。
図６は４枚の入力画像から最終的な合成画像を得る場合の例を示している。
まず、ステップＳ１０５の最初の段階では、画像ａが基準画像として、画像ｂが比較画像として対応するブロックどうしで重ね合わせ比率が決定される。
このとき比較対象となっているブロック同士の画素値の差分が合成判定閾値より小さい時、生成される合成画像ｅへの画像ａおよび画像ｂの影響度は１：１となり、重ね合わせ比率は、画像ａ、画像ｂについて、ともに２分の１となる。
なお、このときの合成判定閾値は、画素値の総和の差がノイズの影響によるものではなく、そのブロックの撮像された被写体に変化があったと判断できる値となる。
When the difference between the pixel values is smaller than the combination determination threshold value, the overlay ratio is determined so that the influence of the reference image and each comparison image on the combined image is constant.
FIG. 6 shows an example in which a final composite image is obtained from four input images.
First, in the first stage of step S105, the overlay ratio is determined between blocks corresponding to image a as a reference image and image b as a comparison image.
At this time, when the difference between the pixel values of the blocks to be compared is smaller than the synthesis determination threshold, the degree of influence of the image a and the image b on the generated synthesized image e is 1: 1, and the overlay ratio is Image a and image b are both halved.
Note that the combination determination threshold value at this time is a value at which it is possible to determine that the difference in the sum of pixel values is not due to the influence of noise and that the subject imaged in that block has changed.
詳細については後述するが、合成画像の生成後さらに比較画像がある場合は、生成された合成画像をあらたな基準画像として、あらたな比較画像との間で合成処理をする（Ｓ１０８後のＳ１０２）。 Although details will be described later, when there is a comparison image after the generation of the combined image, the generated combined image is used as a new reference image and combined with the new compared image (S102 after S108). .
＜２巡目以降のＳ１０５＞
図６の例の場合、画像ｅと画像ｃとを合成して画像ｆを得る処理、画像ｆと画像ｄとを合成して画像ｇを得る処理がこの段階にあたる。
画像ｅと画像ｃとを合成するとき、処理対象のブロックについての画素値の差が前出の合成判定閾値より小さい場合、画像ｃの画像ｆに対するそれぞれのブロックの影響度が画像ａおよび画像ｂと均等になるように、画像ｃの重ね合わせ比率は３分の１となり、画像ｅの重ね合わせ比率は３分の２となる。
つまり、基準画像となる合成画像がＮ枚（Ｎは１以上の整数）の画像からなる場合、基準画像の重ね合わせ比率はＮ＋１分のＮ、比較画像の重ね合わせ比率はＮ＋１分の１となる。
<S105 after the second round>
In the case of the example of FIG. 6, the process of synthesizing the image e and the image c to obtain the image f and the process of synthesizing the image f and the image d to obtain the image g correspond to this stage.
When the image e and the image c are combined, if the difference between the pixel values for the block to be processed is smaller than the above-described combination determination threshold, the degree of influence of each block on the image f of the image c is the image a and the image b. So that the overlay ratio of the image c is 1/3, and the overlay ratio of the image e is 2/3.
That is, when the composite image to be the reference image is composed of N images (N is an integer equal to or greater than 1), the overlay ratio of the reference image is N + 1 / N, and the overlay ratio of the comparison image is 1 / N + 1. .
この合成判定閾値は、ズームポジション、絞りなどの光学系の設定データの変化に伴って生じるＳ／Ｎ比の変化に対応して、異なる値をとる。
また、ＩＳＯ感度の設定データの変化に伴って生じるよるＳ／Ｎ比の変化に応じて、異なる値をとる。
さらに、図７のように、撮像素子面内（即ち、画像データにより構成される画像内）でも、レンズのシェーディング特性による中心から周辺へのＳ／Ｎ比の劣化に対応して、この合成判定閾値は中央から周辺へ連続的に異なる値をとる。
シェーディング特性はズーム位置、絞り状態により異なるので、（ズーム位置の数）×（絞りの数）の分だけ図７の合成判定閾値の曲線をプログラム内に記憶しておき（合成判定閾値データ３３とする）、画像合成処理の際にはズーム位置、絞り状態に合った曲線を合成判定閾値変更手段４３が適用する。
ＩＳＯ感度がＩＳＯ８００以外の場合には、ＩＳＯ８００からの画像のＳ／Ｎ比の増減に応じて、ＩＳＯ８００時の曲線に対して図７における縦軸方向にオフセットが加減された合成判定閾値の曲線（合成判定閾値データ３３である）を合成判定閾値変更手段４３が決定する。
This combination determination threshold value takes different values corresponding to changes in the S / N ratio caused by changes in the setting data of the optical system such as the zoom position and the stop.
Also, different values are taken in accordance with changes in the S / N ratio caused by changes in ISO sensitivity setting data.
Further, as shown in FIG. 7, even in the imaging element plane (that is, in an image constituted by image data), this combination determination is performed corresponding to the deterioration of the S / N ratio from the center to the periphery due to the shading characteristics of the lens. The threshold value varies continuously from the center to the periphery.
Since the shading characteristics vary depending on the zoom position and the aperture state, the composite determination threshold curve of FIG. 7 is stored in the program by the number of (zoom position) × (number of apertures) (with the composite determination threshold data 33). In the image composition process, the composition determination threshold value changing means 43 applies a curve suitable for the zoom position and the aperture state.
When the ISO sensitivity is other than ISO 800, the curve of the composite determination threshold (in which the offset is adjusted in the vertical axis direction in FIG. 7 with respect to the ISO 800 curve in accordance with the increase / decrease of the S / N ratio of the image from ISO 800 ( The combination determination threshold value changing unit 43 determines the combination determination threshold value data 33).
上記の算出方法以外に、重ね合わせ比率を画素値の総和の差分に応じて決定してもよい。例えば、差分が０であるときに基準画像と比較画像の比率が１：１になるように基準画像の重ね合わせ比率を２分の１とし、差分が大きくなるにつれて基準画像の重ね合わせ比率が大きくなるように傾斜的に算出してもよい。ただし、画素値差分が所定の合成判定閾値以上の場合には合成処理を行わない点については同様である。 In addition to the above calculation method, the overlay ratio may be determined according to the difference of the sum of pixel values. For example, when the difference is 0, the overlap ratio of the reference image is halved so that the ratio of the reference image and the comparison image is 1: 1, and the overlap ratio of the reference image increases as the difference increases. It may be calculated so as to be inclined. However, the same applies to the point that the combination process is not performed when the pixel value difference is equal to or greater than a predetermined combination determination threshold value.
＜重ね合わせ比率の調整（Ｓ１０５）＞
重ね合わせ比率を決定する際に、基準画像のブロックに比較画像の対応するブロックが存在しないときは、重ね合わせ処理はせず、基準画像のブロックを合成画像のブロックとして採用する。
<Adjustment of Overlay Ratio (S105)>
When determining the superposition ratio, if there is no corresponding block of the comparison image in the reference image block, the superimposition process is not performed, and the reference image block is adopted as the composite image block.
また、全ブロックについての重ね合わせ比率決定後、基準画像に対して比較画像の重ね合わせをしない、つまり、重ね合わせ比率が０に設定されたブロックの周囲１ブロックについて重ね合わせ比率を０に設定する。
これによって、動被写体のエッジ部分のみが含まれるブロックについてより正確な合成処理をすることができる。
Further, after determining the overlay ratio for all the blocks, the comparison image is not superimposed on the reference image, that is, the overlay ratio is set to 0 for one block around the block in which the overlay ratio is set to 0. .
As a result, a more accurate composition process can be performed on a block including only the edge portion of the moving subject.
図８によって動被写体のエッジ部分における合成処理の例を示す。
ブロックＸ１は、基準画像内のブロックで動被写体３００の一部を含む。また、ブロックＸ２は、比較画像内のブロックＸ１に対応するブロックであり、動被写体３００は含まない。
これらのブロックＸ１，Ｘ２についてステップＳ１０４における画素値の総和の差分を求めた場合、動被写体の影響は少ないためその差分は小さくなる。
したがって、ステップＳ１０５において両ブロックの画素値について重ね合わせをするように重ね合わせ比率が設定される。
このときブロックＸ１内の動被写体の一部についての画素値が弱く合成されてしまう。
FIG. 8 shows an example of composition processing at the edge portion of a moving subject.
Block X 1 comprises a portion of the moving subject 300 in blocks in the reference image. The block X 2 is a block corresponding to the block X 1 in the comparison image, the moving subject 300 does not include.
When the difference of the sum of the pixel values in step S104 is obtained for these blocks X 1 and X 2 , the difference is small because the influence of the moving subject is small.
Accordingly, the superposition ratio is set so that the pixel values of both blocks are superposed in step S105.
In this case the pixel values of some of the moving subject in the block X 1 will be weakly synthesized.
本実施の形態の重ね合わせ比率の調整をすると、ブロックＸ１の１つ右隣のブロックは動被写体３００がブロック全体に含まれることから重ね合わせを行わないため、ブロックＸ１についても重ね合わせをしないこととなり、前記の動被写体の一部の画素値が弱く合成されるという問題が解消される。 When the adjustment of the blending ratio of this embodiment, since the block of one block X 1 right adjacent not perform overlay since the moving subject 300 is included in the entire block, the alignment also overlapping the blocks X 1 This eliminates the problem that some pixel values of the moving subject are weakly combined.
＜ステップＳ１０６＞
画像合成手段４４は、ステップＳ１０５で算出された重ね合わせ比率をもとに、基準画像の各ブロックについて、基準画像の画素値とそれに対応する比較画像の各ピクセルの画素値とをステップＳ１０５で求めた重ね合わせ比率によって加算処理する。
基準画像の全ブロックについて加算処理が終了した時点で、合成画像が生成される。
合成画像は合成画像データとして画像データ保持部１０に保存される。
<Step S106>
Based on the overlay ratio calculated in step S105, the image composition unit 44 obtains the pixel value of the reference image and the corresponding pixel value of each pixel of the comparison image in step S105 for each block of the reference image. Addition processing is performed according to the overlap ratio.
When the addition process is completed for all the blocks of the reference image, a composite image is generated.
The composite image is stored in the image data holding unit 10 as composite image data.
このときの合成画像の生成方法は、合成画像のブロックＡについて座標（ｘ，ｙ）における画素値をＡ（ｘ，ｙ）とし、比較画像のブロックＢについて対応するピクセルの各画素値を画像間のずれを考慮してＢ（ｘ＋ｄｘ，ｙ＋ｄｙ）とし、さらに、ブロックＡに対するブロックＢの重ね合わせ比率をαとすると、下記式（２）の通りとなる。 The synthetic image generation method at this time is such that the pixel value at the coordinates (x, y) for the block A of the synthetic image is A (x, y), and the pixel values of the corresponding pixels for the block B of the comparative image are set between images. Taking into account the deviation of B, it is assumed that B (x + dx, y + dy) and that the overlapping ratio of block B to block A is α, the following equation (2) is obtained.
なお、上記式（２）の例ではブロックＡ、Ｂ間のずれを動きベクトル（ｄｘ，ｄｙ）として計算しているが、アフィンパラメータによって計算してもよい。 In the example of the above formula (2), the shift between the blocks A and B is calculated as a motion vector (dx, dy), but may be calculated using an affine parameter.
＜ステップＳ１０７およびＳ１０８＞
合成画像の生成後、画像合成処理部１８は画像データ保持部１０の入力画像データを参照し、さらに比較画像があるかを調べる（Ｓ１０７）。
新たな比較画像が存在する場合（Ｓ１０７のＹ）、画像合成処理部１８はステップＳ１０６で生成された合成画像を新たな基準画像とし、入力画像データのうち画像合成に使用されていないものを新たな比較画像とし、それらの画像の間で合成処理を開始する（Ｓ１０８）。
<Steps S107 and S108>
After the composite image is generated, the image composition processing unit 18 refers to the input image data of the image data holding unit 10 and checks whether there is a comparison image (S107).
When a new comparison image exists (Y in S107), the image composition processing unit 18 sets the composite image generated in step S106 as a new reference image, and newly inputs input image data that is not used for image composition. And comparison processing is started between these images (S108).
前述のとおり図６は、本実施の形態のうちステップＳ１０１からＳ１０８の処理の概要を示す例として、１枚の基準画像と３枚の比較画像から最終的な合成画像が生成される過程を表した図である。
図６中、Ｍｘ（ｘ：ａ〜ｆ）は、画像ｘの重ね合わせ比率を示している。
基準画像ａと比較画像ｂについてステップＳ１０１からステップＳ１０６の処理を行うことによって合成画像ｅが得られる。
ステップＳ１０７においてさらに比較画像があるかを判断する。
比較画像が存在するので、ステップＳ１０８において、合成画像ｅを新たな基準画像とし、ｃを新たな比較画像としてステップＳ１０３の処理を再び開始する。
再びステップＳ１０１からＳ１０６の処理によって新たな合成画像ｆを得る。
ステップＳ１０７でさらに比較画像がないと判断されるまで（Ｓ１０７のＮ）、同様の処理を繰り返し、最終的に合成画像ｇを得る。
As described above, FIG. 6 shows a process of generating a final composite image from one reference image and three comparison images as an example of an outline of the processing of steps S101 to S108 in the present embodiment. FIG.
In FIG. 6, Mx (x: a to f) indicates the overlay ratio of the image x.
A composite image e is obtained by performing the processing from step S101 to step S106 on the reference image a and the comparison image b.
In step S107, it is determined whether there is a further comparison image.
Since the comparison image exists, in step S108, the process of step S103 is started again with the composite image e as a new reference image and c as a new comparison image.
A new composite image f is obtained again by the processing of steps S101 to S106.
Until it is determined in step S107 that there are no more comparison images (N in S107), the same processing is repeated to finally obtain a composite image g.
＜ステップＳ１０９＞
ノイズ除去手段２０は、各ブロックについて合成に使用した画像の枚数にしたがいノイズリダクションの係数を決定し、ノイズ除去のフィルタ処理をする（Ｓ１０９）。
ノイズリダクションの方法としては既知の技術を用いる。例えばバイラテラルフィルタやガウシアンフィルタ、メディアンフィルタによるノイズリダクションの方法が知られている。
<Step S109>
The noise removing unit 20 determines a noise reduction coefficient in accordance with the number of images used for composition for each block, and performs a noise removing filter process (S109).
A known technique is used as the noise reduction method. For example, a noise reduction method using a bilateral filter, a Gaussian filter, or a median filter is known.
ノイズリダクションの係数の決定においては、合成に使用された画像が多いほどノイズリダクションの係数を小さくし、ノイズ除去のフィルタが弱くかかるようにする。逆に使用された画像が少ないほどノイズリダクションの係数を大きくしてフィルタを強くかける。 In determining the noise reduction coefficient, the noise reduction coefficient is reduced as the number of images used for synthesis increases, so that the noise removal filter is weakly applied. Conversely, the fewer the images used, the stronger the filter by increasing the noise reduction coefficient.
例として、本実施の形態でバイラテラルフィルタを用いた場合について説明する。
バイラテラルフィルタは、注目画素とその周辺の参照画素について距離の差と輝度の差による重みづけをして平均化をするフィルタである。距離および画素値のそれぞれの重みづけには一般的にガウス分布が用いられる。
注目画素をｐ、参照画素をｑ、参照画素の集合をＡ、画素値をそれぞれＩ（ｐ）、Ｉ（ｑ）とすると輝度の差による重みづけ関数ｗ（ｐ，ｑ）は下記式（３）のようになる。
As an example, a case where a bilateral filter is used in the present embodiment will be described.
The bilateral filter is a filter that weights and averages the target pixel and its surrounding reference pixels based on a difference in distance and a difference in luminance. A Gaussian distribution is generally used for weighting each of the distance and the pixel value.
When the pixel of interest is p, the reference pixel is q, the set of reference pixels is A, and the pixel values are I (p) and I (q), respectively, the weighting function w (p, q) based on the difference in luminance is expressed by the following equation (3) )become that way.
この重みづけ関数ｗ（ｐ，ｑ）について係数σｄを変更することにより、フィルタの強さを変えることができる。
ノイズリダクションの係数σｄを大きくするほどフィルタのかかり方は強くなる。
By changing the coefficient σ d for this weighting function w (p, q), the strength of the filter can be changed.
The greater the noise reduction coefficient σ d is, the stronger the filter is applied.
ステップＳ１０９においては、この係数σｄを重ね合わせ枚数によって変更することによってフィルタの強さを変更する。
１枚の重ね合わせ画像についてのブロックに関する係数をσとするとき、重ね合わせの画像枚数が２枚、３枚のブロックについてσ／２、σ／３として設定する。
これによって重ね合わせの枚数が多いブロックほど輝度の差による重みづけの分散が小さくなり、フィルタの効果が小さくなる。
In step S109, it changes the strength of the filter by changing the number superposition this factor sigma d.
When the coefficient relating to the block for one superimposed image is σ, the number of superimposed images is set as σ / 2 and σ / 3 for two and three blocks.
As a result, the larger the number of overlapped blocks, the smaller the variance of weighting due to the difference in luminance, and the smaller the filter effect.
また、各画像の最終的な合成画像に対する影響度にしたがってノイズリダクションの係数を決定してもよい。
各画像の各ブロックにおける合成画像に対する影響度は、各合成処理時の重ね合わせ比率の積となる。
図６の例において、画像ｅを生成する際の画像ａの重ね合わせ比率をＭａとし、同様に画像ｅ、画像ｆの各合成処理時における重ね合わせ比率をそれぞれＭｅ、Ｍｆとすると、最終的な合成画像ｇへの画像ａの重ね合わせ比率Ｍｇａは、Ｍａ、Ｍｅ、Ｍｆの積となる。
同様に画像ｂ、画像ｃ、画像ｄについても求める。
入力画像がＮ枚であるとき、その重ね合わせ比率が閾値（例えば１／Ｎ）以上である画像の枚数によって、段階的にノイズリダクション係数を決定することなどが考えられる。
Further, the noise reduction coefficient may be determined according to the degree of influence of each image on the final composite image.
The degree of influence of each image on each block in each block is the product of the overlay ratios during each combination process.
In the example of FIG. 6, if the superposition ratio of the image a when generating the image e is M a, and the superposition ratios at the time of composition processing of the images e and f are respectively M e and M f , ratio M ga overlay image a to the final composite image g is the product of M a, M e, M f .
Similarly, the image b, the image c, and the image d are obtained.
When the number of input images is N, it is conceivable to determine the noise reduction coefficient step by step depending on the number of images whose overlay ratio is equal to or greater than a threshold (for example, 1 / N).
この処理により、最終的な合成画像内のランダムノイズのばらつきを解消し、全体的にノイズの少ないより滑らかな画像を得ることができる。
デジタル画像は画像中にランダムノイズを有しており、画像を合成したときには、ノイズが平均化されてノイズが低減される。
本実施の形態では、ブロックごとに重ね合わせの比率を変更するため、動被写体が存在するブロックでは基準画像と比較画像との間の画素値の差が大きくなり、基準画像に対する比較画像の重ね合わせ比率は小さくなる。
そのため最終的な合成画像は、ノイズが多く残るブロックとノイズが少ないブロックとが存在しブロック間のノイズのばらつきが目立つ画像となる。
したがって、ブロックごとにノイズリダクションの係数を変えながらフィルタを適用することにより全体的なノイズのばらつきがなくなり、より自然な画像を得ることができる。
なお、画像合成によってノイズが低減されたブロックについては、ノイズリダクションフィルタを適用すると逆に画質が悪くなるため、ノイズリダクションを弱くかけるか、あるいはかけないようにしている。
By this processing, it is possible to eliminate random noise variations in the final composite image and obtain a smoother image with less noise overall.
The digital image has random noise in the image, and when the images are synthesized, the noise is averaged to reduce the noise.
In this embodiment, since the overlay ratio is changed for each block, the difference in pixel value between the reference image and the comparison image becomes large in the block where the moving subject exists, and the comparison image is superimposed on the reference image. The ratio is small.
Therefore, the final composite image is an image in which there are blocks with a lot of noise remaining and blocks with a little noise, and the noise variation between the blocks is conspicuous.
Therefore, by applying the filter while changing the noise reduction coefficient for each block, the overall noise variation is eliminated, and a more natural image can be obtained.
It should be noted that for blocks whose noise has been reduced by image synthesis, image quality deteriorates when a noise reduction filter is applied, so noise reduction is weakened or not applied.
図９は、図３の画像ａないし画像ｄを合成した後のノイズリダクション処理前の画像である。動被写体であるバイクの周辺の領域２００に多くノイズが存在することがわかる。このノイズが多く周辺する領域にはノイズリダクションの係数を大きくしてノイズリダクション処理が行われる。
図１０は、図９の画像にステップＳ１０９のノイズ除去を行った結果である。図９の画像に比べて、領域２００のノイズが低減していることがわかる。
FIG. 9 is an image before the noise reduction process after combining the images a to d in FIG. It can be seen that there is a lot of noise in the area 200 around the motorcycle that is the moving subject. Noise reduction processing is performed by increasing the noise reduction coefficient in an area around the noise.
FIG. 10 shows the result of noise removal performed in step S109 on the image of FIG. It can be seen that the noise in the region 200 is reduced compared to the image of FIG.
ノイズ除去手段２０は、上記の処理によって得られた合成画像を手ぶれ補正処理後の画像である出力画像データとして画像データ保持部１０に保持する。
画像データ出力手段２２は、出力画像データを外部の表示装置や記憶装置などに出力する。
The noise removing unit 20 holds the composite image obtained by the above process in the image data holding unit 10 as output image data that is an image after the camera shake correction process.
The image data output means 22 outputs the output image data to an external display device or storage device.
本実施の形態によれば、画像合成による手ぶれ補正をする際に、各画像間の対応するブロックについて画素値の差を求めて動被写体がありそうなブロックを知り、画像の重ね合わせ処理の時に、そのブロックについての重ね合わせ処理を行わないため、動被写体の影響を受けない画像合成が可能となると共に、撮像装置の設定などに応じて合成閾値を変更することによって、より正確な合成判定結果を得ることができ、ノイズを低減することができる好適な画像合成が行える。 According to the present embodiment, when camera shake correction by image synthesis is performed, a difference between pixel values of corresponding blocks between images is obtained to know a block that is likely to have a moving subject. Since the overlay process is not performed for the block, image synthesis that is not affected by the moving subject is possible, and more accurate synthesis determination results are obtained by changing the synthesis threshold according to the settings of the imaging device. Can be obtained, and suitable image synthesis that can reduce noise can be performed.
本発明による画像データ処理方法は、コンピュータ上で手ぶれ画像を処理する手ぶれ補正装置、画像合成処理をする画像データ処理装置、デジタルカメラやビデオカメラ等の撮像装置、動画生成装置などに適用することができる。 The image data processing method according to the present invention can be applied to a camera shake correction device that processes a camera shake image on a computer, an image data processing device that performs image composition processing, an imaging device such as a digital camera or a video camera, and a moving image generation device. it can.
２ 画像データ処理装置
１０ 画像データ保持部
１２ パラメータ保持部
１４ 記憶部
１６ 演算処理部
１８ 画像合成処理部
２０ ノイズ除去手段
２２ 画像データ出力手段
２４ 入力画像データ
２６ 合成画像データ
２８ 出力画像データ
３０ 動きデータ
３２ 画素値差分データ
３３ 合成判定閾値データ
３４ 重ね合わせ比率データ
３６ 画像データ入力手段
３８ 動きデータ検出手段
４０ ブロック比較手段
４１ 合成判定手段
４２ 重ね合わせ比率算出手段
４３ 合成判定閾値変更手段
４４ 画像合成手段
2 image data processing apparatus 10 image data holding unit 12 parameter holding unit 14 storage unit 16 arithmetic processing unit 18 image synthesis processing unit 20 noise removal unit 22 image data output unit 24 input image data 26 composite image data 28 output image data 30 motion data 32 pixel value difference data 33 composition determination threshold value data 34 overlay ratio data 36 image data input means 38 motion data detection means 40 block comparison means 41 composition determination means 42 overlay ratio calculation means 43 composition determination threshold value change means 44 image composition means
Claims (6)
前記画像データは、基準画像と比較画像とを含み、
前記基準画像と前記比較画像との間の動きデータを算出する動きデータ演算手段と、
前記基準画像と前記比較画像との画素値の差分を、前記動きデータによって対応付けられるブロックごとに算出するブロック比較手段と、
前記画素値の差分に基づいて、前記基準画像に対する前記比較画像の重ね合わせ比率を前記ブロックごとに算出する重ね合わせ比率算出手段と、
前記動きデータ及び前記重ね合わせ比率によって、前記比較画像を前記基準画像に重ね合わせて合成画像を生成する画像合成手段と、
前記画像合成手段で合成を実行するか否かを合成判定閾値に基づき判定し、前記画素値の差分が前記合成判定閾値より小さいときに前記画像合成手段で合成を実行するように判定する合成判定手段と、
前記合成判定閾値を変更する合成判定閾値変更手段と、を備え、
前記合成判定閾値変更手段は、前記基準画像内の座標に基づき、周辺部において中心部よりも前記合成判定閾値を大きくすることを特徴とする画像データ処理装置。 An image data processing apparatus that performs image processing on input image data,
The image data includes a reference image and a comparison image,
Motion data calculating means for calculating motion data between the reference image and the comparison image;
A block comparison means for calculating a difference between pixel values of the reference image and the comparison image for each block associated with the motion data;
An overlay ratio calculating unit that calculates an overlay ratio of the comparison image with respect to the reference image for each block based on the difference between the pixel values;
An image compositing unit that generates a composite image by superimposing the comparison image on the reference image based on the motion data and the overlay ratio;
A composite determination that determines whether or not the image composition unit performs composition based on a composition determination threshold value, and determines that the image composition unit performs composition when a difference between the pixel values is smaller than the composition determination threshold value. Means ,
Synthesis determination threshold value changing means for changing the synthesis determination threshold value,
The image data processing apparatus according to claim 1, wherein the combination determination threshold value changing unit increases the combination determination threshold value in a peripheral portion than in a central portion based on coordinates in the reference image.
前記合成判定閾値変更手段は、さらに前記光学系の設定データに基づき前記合成判定閾値を変更することを特徴とする請求項１記載の画像データ処理装置。 The input image data includes setting data of an optical system at the time of imaging the input image data,
2. The image data processing apparatus according to claim 1, wherein the combination determination threshold value changing unit further changes the combination determination threshold value based on setting data of the optical system.
前記合成判定閾値変更手段は、さらに前記ＩＳＯ感度の設定データに基づき前記合成判定閾値を変更することを特徴とする請求項１または２記載の画像データ処理装置。 The input image data includes ISO sensitivity setting data at the time of capturing the input image data,
3. The image data processing apparatus according to claim 1, wherein the combination determination threshold value changing unit further changes the combination determination threshold value based on the ISO sensitivity setting data.
前記画像データは、基準画像と比較画像とを含み、
前記基準画像と前記比較画像との間の動きデータを算出する動きデータ演算処理と、
前記基準画像と前記比較画像との画素値の差分を、前記動きデータによって対応付けられるブロックごとに算出するブロック比較処理と、
前記画素値の差分に基づいて、前記基準画像に対する前記比較画像の重ね合わせ比率を前記ブロックごとに算出する重ね合わせ比率算出処理と、
前記動きデータ及び前記重ね合わせ比率によって、前記比較画像を前記基準画像に重ね合わせて合成画像を生成する画像合成処理と、
前記画像合成処理で合成を実行するか否かを合成判定閾値に基づき判定し、前記画素値の差分が前記合成判定閾値より小さいときに前記画像合成処理で合成を実行するように判定する合成判定処理と、
前記合成判定閾値を変更する合成判定閾値変更処理と、を備え、
前記合成判定閾値変更処理は、前記基準画像内の座標に基づき、周辺部において中心部よりも前記合成判定閾値を大きくすることを特徴とする画像データ処理方法。 An image data processing method for performing image processing on input image data,
The image data includes a reference image and a comparison image,
Motion data calculation processing for calculating motion data between the reference image and the comparison image;
A block comparison process for calculating a pixel value difference between the reference image and the comparison image for each block associated with the motion data;
An overlay ratio calculation process for calculating an overlay ratio of the comparison image with respect to the reference image for each block based on the difference between the pixel values;
An image synthesis process for generating a synthesized image by superimposing the comparison image on the reference image according to the motion data and the overlay ratio;
A composition determination that determines whether or not to perform composition in the image composition processing based on a composition determination threshold, and determines that composition is performed in the image composition processing when a difference between the pixel values is smaller than the composition determination threshold Processing,
A composite determination threshold value changing process for changing the composite determination threshold value,
The composition determination threshold value changing process is characterized in that, based on the coordinates in the reference image, the composition determination threshold value is made larger in the peripheral part than in the central part .
前記合成判定閾値変更処理は、さらに前記光学系の設定データに基づき前記合成判定閾値を変更することを特徴とする請求項４記載の画像データ処理方法。 The input image data includes setting data of an optical system at the time of imaging the input image data,
5. The image data processing method according to claim 4, wherein the combination determination threshold value changing process further changes the combination determination threshold value based on setting data of the optical system.
前記合成判定閾値変更処理は、さらに前記ＩＳＯ感度の設定データに基づき前記合成判定閾値を変更することを特徴とする請求項４または５記載の画像データ処理方法。 The input image data includes ISO sensitivity setting data at the time of capturing the input image data,
The combination judging threshold value changing process is further said image data processing method according to claim 4 or 5, wherein altering the composite determination threshold based on the ISO sensitivity setting data.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010110069A JP5505072B2 (en) | 2010-05-12 | 2010-05-12 | Image data processing apparatus and image data processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010110069A JP5505072B2 (en) | 2010-05-12 | 2010-05-12 | Image data processing apparatus and image data processing method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2011239266A JP2011239266A (en) | 2011-11-24 |
| JP5505072B2 true JP5505072B2 (en) | 2014-05-28 |
Family
ID=45326740
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010110069A Active JP5505072B2 (en) | 2010-05-12 | 2010-05-12 | Image data processing apparatus and image data processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5505072B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012022653A (en) * | 2010-07-16 | 2012-02-02 | Canon Inc | Image processing apparatus and image processing method |
| JP5643563B2 (en) * | 2010-07-22 | 2014-12-17 | キヤノン株式会社 | Image processing apparatus and control method thereof |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3974633B1 (en) * | 2006-05-30 | 2007-09-12 | 京セラ株式会社 | Imaging apparatus and imaging method |
| JP4480760B2 (en) * | 2007-12-29 | 2010-06-16 | 株式会社モルフォ | Image data processing method and image processing apparatus |
-
2010
- 2010-05-12 JP JP2010110069A patent/JP5505072B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2011239266A (en) | 2011-11-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4480760B2 (en) | Image data processing method and image processing apparatus | |
| JP5847228B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| JP4513906B2 (en) | Image processing apparatus, image processing method, program, and recording medium | |
| JP3770271B2 (en) | Image processing device | |
| US8289405B2 (en) | Image processing apparatus and method thereof | |
| JP5687553B2 (en) | Image composition apparatus, image composition method, and image composition program | |
| JP2007072573A (en) | Image processor and image processing method | |
| JP2011004190A5 (en) | ||
| JP6648914B2 (en) | Image processing apparatus, image processing method, and program | |
| JP6537231B2 (en) | Image processing apparatus, image processing method and program | |
| JP6656035B2 (en) | Image processing apparatus, imaging apparatus, and control method for image processing apparatus | |
| TWI459325B (en) | Digital image processing device and processing method thereof | |
| WO2019008693A1 (en) | Image processing device, imaging device, image processing method, image processing program and storage medium | |
| WO2019008692A1 (en) | Image processing device, imaging device, image processing method, image processing program and storage medium | |
| US20110075948A1 (en) | Image processing apparatus, image processing method, and computer program | |
| JP5211589B2 (en) | Image processing apparatus, electronic camera, and image processing program | |
| JP5505072B2 (en) | Image data processing apparatus and image data processing method | |
| JP2011044891A (en) | Image processor and method for the same | |
| JP2012100000A (en) | Image pickup device, image processing device, and computer program product | |
| JP6532328B2 (en) | Image processing apparatus, control method therefor, and control program | |
| JP6391356B2 (en) | Image processing apparatus, image processing method, and program | |
| JP6730423B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| JP6455354B2 (en) | Movie shooting device, movie shooting method and program | |
| JP5645704B2 (en) | Image processing apparatus and control method thereof | |
| JP2020201694A (en) | Image processing device, imaging device, image processing method, program, and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130218 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131106 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131112 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140109 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140218 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140303 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5505072 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |