JP2012023530A - Imaging apparatus and image composition program - Google Patents
Imaging apparatus and image composition program Download PDFInfo
- Publication number
- JP2012023530A JP2012023530A JP2010159541A JP2010159541A JP2012023530A JP 2012023530 A JP2012023530 A JP 2012023530A JP 2010159541 A JP2010159541 A JP 2010159541A JP 2010159541 A JP2010159541 A JP 2010159541A JP 2012023530 A JP2012023530 A JP 2012023530A
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- reference image
- imaging
- positional deviation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 33
- 238000004364 calculation method Methods 0.000 claims abstract description 11
- 239000002131 composite material Substances 0.000 claims abstract description 6
- 238000000034 method Methods 0.000 claims description 31
- 238000010187 selection method Methods 0.000 claims description 8
- 230000002194 synthesizing effect Effects 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 description 19
- 230000008569 process Effects 0.000 description 13
- 230000003287 optical effect Effects 0.000 description 6
- 238000007792 addition Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Landscapes
- Studio Devices (AREA)
Abstract
Description
本発明は、撮像装置、および画像合成プログラムに関する。 The present invention relates to an imaging apparatus and an image composition program.
本撮像を複数回の連続した露光に分けて行い、各回ごとに得られた画像信号を合成して1つの露光画像を得る技術が知られている(例えば、特許文献1)。 A technique is known in which main imaging is performed in a plurality of consecutive exposures, and an image signal obtained each time is combined to obtain one exposure image (for example, Patent Document 1).
しかしながら、従来の技術では、連続して撮像された画像間での位置ズレ量が大き過ぎる場合には、画像間で位置合わせすることができず、画像を合成できない。このため、位置合わせをすることができない画像を合成の対象から除外し、除外した画像の代わりに他の画像を用いることも考えられるが、この場合、基準画像が適切に選択されないと、合成の対象から除外される画像が多くなってしまう可能性があった。 However, in the conventional technology, when the amount of positional deviation between images taken continuously is too large, the images cannot be aligned and the images cannot be synthesized. For this reason, it is conceivable that images that cannot be aligned are excluded from the objects to be combined and other images are used instead of the excluded images. However, in this case, if the reference image is not properly selected, There was a possibility that many images were excluded from the target.
本発明による撮像装置は、被写体像を撮像して画像を取得する撮像手段と、撮像手段によって連続して撮像された複数の画像の中から、1つの画像を基準画像として選択する選択手段と、選択手段によって選択された基準画像と、撮像手段によって連続して撮像された複数の画像のうちの基準画像以外の複数の画像のそれぞれとの位置ズレ量を算出する算出手段と、算出手段によって算出された位置ズレ量が所定のズレ量以下の画像を、位置合わせをしてから合成して合成画像を生成する生成手段とを備え、選択手段は、位置ズレ量が所定のズレ量以下の画像が多くなるように、基準画像を選択することを特徴とする。
本発明による画像合成プログラムは、被写体像を撮像して画像を取得する撮像手順と、撮像手順で連続して撮像した複数の画像の中から、1つの画像を基準画像として選択する選択手順と、選択手順で選択した基準画像と、撮像手順で連続して撮像した複数の画像のうちの基準画像以外の複数の画像のそれぞれとの位置ズレ量を算出する算出手順と、算出手順で算出した位置ズレ量が所定のズレ量以下の画像を、位置合わせをしてから合成して合成画像を生成する生成手順とをコンピュータに実行させるための画像合成プログラムであって、選択手順は、位置ズレ量が前記所定のズレ量以下の画像が多くなるように、基準画像を選択することを特徴とする。
An imaging apparatus according to the present invention includes an imaging unit that captures an image of a subject to acquire an image, a selection unit that selects one image as a reference image from a plurality of images that are continuously captured by the imaging unit, A calculation unit that calculates a positional deviation amount between the reference image selected by the selection unit and each of a plurality of images other than the reference image among a plurality of images continuously captured by the imaging unit; Generation means for generating a composite image by aligning and synthesizing images whose positional deviation amount is equal to or less than a predetermined deviation amount, and the selection means is an image whose positional deviation amount is equal to or smaller than the predetermined deviation amount The reference image is selected so as to increase the number of images.
An image composition program according to the present invention includes an imaging procedure for capturing an image of a subject and acquiring the image, a selection procedure for selecting one image as a reference image from a plurality of images that are continuously captured in the imaging procedure, A calculation procedure for calculating a positional shift amount between the reference image selected in the selection procedure and each of a plurality of images other than the reference image among the plurality of images continuously captured in the imaging procedure, and the position calculated in the calculation procedure An image synthesizing program for causing a computer to execute a generation procedure for generating a composite image by aligning and synthesizing an image with a shift amount equal to or less than a predetermined shift amount. Is characterized in that the reference image is selected so that the number of images below the predetermined shift amount increases.
本発明によれば、合成の対象から除外される画像が少なくなるように基準画像を選択することができる。 According to the present invention, it is possible to select the reference image so that the number of images excluded from the synthesis target is reduced.
―第1の実施の形態―
図1は、第1の実施の形態におけるカメラの一実施の形態の構成を示すブロック図である。図1において、カメラ1は、撮影光学系11と、撮像素子12と、画像処理部13と、バッファメモリ14と、表示部材15と、CPU16と、フラッシュメモリ17と、カードインターフェース(I/F)18と、操作部材19とを備える。
-First embodiment-
FIG. 1 is a block diagram illustrating a configuration of an embodiment of a camera according to the first embodiment. In FIG. 1, a
CPU16、フラッシュメモリ17、カードインターフェース18、画像処理部13、バッファメモリ14および表示部材15は、それぞれがバス20を介して接続されている。
The
撮影光学系11は、ズームレンズやフォーカシングレンズを含む複数のレンズ群で構成され、被写体像を撮像素子12の受光面に結像させる。なお、図1を簡単にするため、撮影光学系11を単レンズとして図示している。
The photographing
撮像素子12は、受光素子が受光面に二次元配列されたCMOSイメージセンサなどによって構成される。撮像素子12は、撮影光学系11を通過した光束による像を光電変換し、デジタル画像信号を生成する。デジタル画像信号は、画像処理部13に入力される。
The
画像処理部13は、デジタル画像データに対して各種の画像処理(色補間処理、階調変換処理、輪郭強調処理、ホワイトバランス調整処理など)を施す。また、後述する手持ち夜景撮影モードにおける合成処理(位置合わせ、加算)も行う。
The
表示部材15は液晶パネルなどによって構成され、CPU16からの指示に応じて画像や操作メニュー画面などを表示する。バッファメモリ14は、画像処理部13による画像処理の前工程や後工程でのデジタル画像データを一時的に記憶する。フラッシュメモリ17は、CPU16に実行させるプログラムを記憶する他に、後述するテーブルデータを記憶する。
The
CPU16は、フラッシュメモリ17が記憶するプログラムを実行することにより、カメラ1が行う動作を制御する。CPU16は、AF(オートフォーカス)動作制御や、自動露出(AE)演算も行う。AF動作は、たとえば、スルー画像のコントラスト情報に基づいてフォーカシングレンズ(不図示)の合焦位置を求めるコントラスト検出方式を用いる。スルー画像は、レリーズ操作前に撮像素子12によって所定の時間間隔(たとえば60コマ/毎秒)で繰り返し取得されるモニタ用画像のことをいう。
The
メモリカードインターフェース18はコネクタ(不図示)を有し、該コネクタにメモリカードなどの記憶媒体30が接続される。メモリカードインターフェース18は、接続された記憶媒体30に対するデータの書き込みや、記憶媒体30からのデータの読み込みを行う。記憶媒体30は、半導体メモリを内蔵したメモリカード、またはハードディスクドライブなどで構成される。
The
操作部材19は、レリーズボタンやメニュースイッチなどを含む。操作部材19は、撮影操作、モード切替え操作やメニュー選択操作など、各操作に応じた操作信号をCPU16へ送出する。
The
本実施形態のカメラ1は、手持ち夜景撮影モードという撮影モードを有する。この撮影モードは、カメラ1を三脚に固定することなく、手持ちした状態で手軽に夜景撮影を行うモードである。本実施形態は、手持ち夜景撮影モード時の撮影制御に特徴を有するので、手持ち夜景撮影モード時の処理を中心に以降の説明を行う。
The
一般に、夜景撮影は被写体が暗いため、長秒時の露光時間が必要である。一方、手持ち撮影する場合は、いわゆる手ブレ限界とよばれる露光時間Tlimitより長い露光時間では撮影画像にブレが生じるおそれがある。露光時間Tlimitは、たとえば、撮影光学系11の焦点距離をf(mm)とする場合に、1/f(秒)といわれている(35mm版カメラシステムに換算時)。
In general, night view shooting requires a long exposure time because the subject is dark. On the other hand, in the case of hand-held shooting, there is a possibility that a shot image is blurred at an exposure time longer than an exposure time Tlimit called a so-called camera shake limit. The exposure time Tlimit is said to be 1 / f (seconds) when the focal length of the photographing
通常の夜景撮影では露光時間Tlimitより長い露光時間を必要とするので、手ブレが生じないように手持ち撮影することは困難である。そこで、手持ち夜景撮影モードでは、本撮影を複数回(N回とする)の連続した露光に分けて行ない(連写撮影)、各回の撮影で得られたN枚分の画像信号を公知のデジタル演算技術により加算して1つの長秒時露光画像とする。なお、手持ち夜景撮影モード時の連写による撮影回数Nは、あらかじめ設定された固定回数でもよいし、使用者が任意に変更可能であってもよいし、CPU16が撮影条件に応じて変更するようにしてもよい。
Since normal night scene shooting requires an exposure time longer than the exposure time Tlimit, it is difficult to perform hand-held shooting so that camera shake does not occur. Therefore, in the hand-held night view shooting mode, the main shooting is divided into a plurality of (N times) continuous exposures (continuous shooting), and N image signals obtained in each shooting are used as a known digital signal. The result is added by a calculation technique to form one long second exposure image. Note that the number N of continuous shooting in the handheld night scene shooting mode may be a fixed number set in advance, or may be arbitrarily changed by the user, or the
CPU16は、各回の撮影における露光時間Tdivを、上記露光時間Tlimitより短く、かつ連写回数Nを最少とするように必要な露光時間Tを等分することにより決定する。ここで、露光時間Tは、自動露出演算(AE)によって適正露出が得られるように決定される露光時間である。CPU16は、たとえば、上記スルー画像を構成する画像信号値に基づいて自動露出演算(AE)を行い、該スルー画像の平均的な明るさに基づいて露光時間Tを決定する。そして、T=N×Tdivが成立し、各回の露光時間TdivがTlimitより短く、かつ連写回数Nを最小にする露光時間Tdivを求める。
The
CPU16は、N回に分けて連写撮影したN枚の画像について、それぞれ位置合わせをした上で加算する。例えば、各画像において所定の領域(共通の被写体を含む領域)に含まれる画像信号(約60画素分)に基づいてエッジ検出を行い、該エッジを構成する画素位置を揃えるように位置合わせを行う。
The
ところが、N回に分けて連写撮影したN枚の画像のうち、前後の画像に比べてブレが大きい特異な画像が撮影される場合がある。この場合のCPU16は、当該特異な画像に代えて、N枚の画像のうち特異でない他の画像の複製を加算に用いる。例えば、CPU16は、N枚の画像のうちのいずれか1枚を基準画像とし、該基準画像と他の画像との位置ズレ量が所定のズレ量よりも大きい画像を特異な画像として特定する。そして、CPU16は、特定した特異な画像を加算対象から除外し、該特異な画像の代わりに他の画像のいずれかを複製した画像を用いて、それらを位置合わせして加算する。
However, there are cases where a unique image having a larger blur than that of the preceding and following images is taken out of the N images taken continuously in N times. In this case, the
図2は、N=6回に分けて連写撮影した場合を例示する図である。図2において、4枚目の画像に大きなブレが生じたと仮定する。CPU16は、N=6枚の画像のうち特異でない1〜3枚目および5,6枚目の画像の中から、たとえば1枚目の画像を複製し、該複製画像で4枚目の特異な画像を代替する。これにより、複製された1枚目の画像は、他のコマの画像に比べて数多く(本例では2回)加算されることになる。
FIG. 2 is a diagram illustrating a case where continuous shooting is performed with N = 6 times. In FIG. 2, it is assumed that a large blur has occurred in the fourth image. The
一般に、カメラ1による撮影画像には、アナログノイズとよばれるランダムノイズが含まれている。ランダムノイズであることから時々刻々と変化するため、連写撮影された各コマの画像には、それぞれ異なる時刻で発生した異なる状態のノイズが含まれる。一般に、互いに異なるコマの画像を加算する場合、各コマに含まれるランダムノイズは他のコマのランダムノイズによって相殺されるので、ランダムノイズの影響は低減する。
In general, an image captured by the
しかしながら、上述したようにブレ画像を他のコマの複製画像で代替する場合、複製に用いられたコマの画像は他のコマに比べて加算回数が多くなることから、複製に用いられたコマに含まれるランダムノイズは他のコマのランダムノイズによって相殺されにくくなる。すなわち、加算後の画像において、複製に用いられたコマに含まれるランダムノイズが目立ちやすくなるおそれが生じる。 However, as described above, when a blurred image is replaced with a duplicate image of another frame, the image of the frame used for duplication has a larger number of additions than other frames, so The included random noise is not easily canceled by the random noise of other frames. That is, in the image after addition, there is a possibility that random noise included in the frame used for duplication is easily noticeable.
本実施の形態では、このようなランダムノイズの影響を低減するために、できるだけ同じコマが複数回加算されることを防ぐように、上述した特異な画像を特定するために用いる基準画像の選択方法を工夫する。換言すると、CPU16は、基準画像との位置ズレ量が所定のズレ量以下となる画像が多くなるように基準画像の選択方法を工夫する。すなわち、本実施の形態では、CPU16は、基準画像を、撮影したN枚の画像のうちの最初に撮像された画像と最後に撮像された画像とを除いた画像の中から選択するようにする。例えば、図2に示すように6枚の画像を撮影した場合には、1枚目の画像と6枚目の画像とを除いた2〜4枚目の画像の中から基準画像を選択する。
In the present embodiment, in order to reduce the influence of such random noise, the reference image selection method used for specifying the above-described unique image so as to prevent the same frame from being added as many times as possible. Devise. In other words, the
なお、できるだけ同じコマが複数回加算されることを防ぐためには、N枚の画像を時系列で並べたときにできるだけ中央に位置する1枚の画像を基準画像として選択するのが好ましい。例えば、Nが奇数である場合には、複数の画像を時系列で並べたときの中央に位置する1枚の画像を基準画像として選択することが好ましい。また、Nが偶数である場合には、N枚の画像を時系列で並べたときの中央に位置する2枚の画像のうちのいずれかを基準画像として選択することが好ましい。以下、その理由について説明する。 In order to prevent the same frame from being added a plurality of times as much as possible, it is preferable to select, as a reference image, one image located as central as possible when N images are arranged in time series. For example, when N is an odd number, it is preferable to select one image located at the center when a plurality of images are arranged in time series as the reference image. When N is an even number, it is preferable to select one of the two images located at the center when N images are arranged in time series as the reference image. The reason will be described below.
図3は、7枚の画像を撮影した場合の各画像のズレ量を2次元座標上に配置して示した図である。この図3を用いて、本実施の形態における基準画像の選択方法によって得られるメリットを説明する。図3では、縦軸が基準画像からの縦方向のズレ量(ピクセル)、横軸が基準画像からの横方向のズレ量(ピクセル)を示している。また、円3cは、特異な画像を判定するための閾値を示しており、基準画像とのズレ量が該閾値よりも大きい画像、すなわち基準画像とのズレ量を示す点が円3cの外側に位置する画像は特異な画像と判定される。
FIG. 3 is a diagram showing the amount of displacement of each image when two images are taken, arranged on two-dimensional coordinates. The advantages obtained by the reference image selection method according to the present embodiment will be described with reference to FIG. In FIG. 3, the vertical axis indicates the amount of vertical displacement (pixels) from the reference image, and the horizontal axis indicates the amount of horizontal displacement (pixels) from the reference image. The
この図3では、点3a−1から点3a−7、および点3b−1から点3b−7が7枚の画像を撮影した場合の基準画像と他の画像とのズレ量を表している。なお、点3a−1から点3a−7は、4枚目の画像を基準画像とした場合の基準画像と他の画像とのズレ量を表しており、点3b−1から点3b−7は、1枚目の画像を基準画像とした場合の基準画像と他の画像とのズレ量を表している。すなわち、撮影された7枚の画像は、時系列で一定の方向(ここでは右上方向)にズレ量が増加していることがわかる。例えば、レンズ11がレンズシフト方式の手ブレ補正機構を備える場合には、手ブレ補正が行われた後の連写画像は、このように時系列で一定の方向にズレ量が増加する傾向にある。
In FIG. 3, point 3a-1 to point 3a-7 and
まず、点3b−1から点3b−7に示す1枚目の画像を基準画像とした場合の特異な画像の判定例について説明する。この場合、基準画像のズレ量は0となるため、基準画像のズレ量を示す点3b−1は原点に位置している。そして、2枚目の画像のズレ量を示す点3b−2、3枚目の画像のズレ量を示す点3b−3、4枚目の画像のズレ量を示す点3b−4、5枚目の画像のズレ量を示す点3b−5、6枚目の画像のズレ量を示す点3b−6、7枚目の画像のズレ量を示す点3b−7というように、基準画像からのズレ量は一定方向に増加していく。
First, a specific image determination example when the first image indicated by
この場合、基準画像からのズレ量が閾値より大きくなる画像、すなわち基準画像からのズレ量を示す点が円3cよりも外側に位置している画像は、上述した特異な画像と判定される。ここでは、点3b−5、点3b−6、点3b−7が円3cの外側にあるため、5枚目、6枚目、7枚目の画像が特異な画像として判定されることになる。このように、撮影された画像のズレ量が時系列で一定の方向に増加する場合には、1枚目の画像を基準画像として選択すると、後に撮影された画像ほど基準画像からのズレ量が大きくなっていくため、これらは特異な画像と判定され易くなる。このため、特異な画像を他の画像の複製画像で代替して加算する可能性が高くなるため、上述したようにランダムノイズが増加する可能性が高くなる。これは最後に撮影された画像を基準画像として選択した場合も同様である。
In this case, an image in which the amount of deviation from the reference image is larger than the threshold value, that is, an image in which a point indicating the amount of deviation from the reference image is located outside the
次に、点3a−1から点3a−7に示す4枚目の画像を基準画像とした場合の特異な画像の判定例について説明する。この場合、基準画像のズレ量は0となるため、基準画像のズレ量を示す点3a−4は原点に位置している。そして、1枚目の画像のズレ量を示す点3a−1、2枚目の画像のズレ量を示す点3a−2、3枚目の画像のズレ量を示す点3a−3、5枚目の画像のズレ量を示す点3a−5、6枚目の画像のズレ量を示す点3a−6、7枚目の画像のズレ量を示す点3a−7は、原点に位置する点3a−4を中心として一定方向に増加している。
Next, a specific image determination example when the fourth image indicated by the
この場合、基準画像からのズレ量を示す全ての点が円3c内に収まっており、特異な画像と判定される画像は存在しない。このため、CPU16は、7枚の画像全てを位置合わせの後に加算することができる。このように、撮影された画像のズレ量が時系列で一定の方向に増加する場合には、7枚の画像のうちの中ほどで撮影された画像(ここでは4枚目の画像)を基準画像として選択すると、その前後に撮影された画像の基準画像からのズレ量は小さくなるため、他の画像が特異な画像と判定され難くなる。このため、特異な画像を他の画像の複製画像で代替して加算する可能性が低くなるため、ランダムノイズの増加を防ぐことができる。
In this case, all the points indicating the amount of deviation from the reference image are within the
図4は、第1の実施の形態における基準画像の選択処理の流れを示すフローチャートである。図4に示す処理は、手持ち夜景撮影モード時に複数の画像が連写撮影されると起動するプログラムとして、CPU16によって実行される。
FIG. 4 is a flowchart showing the flow of reference image selection processing in the first embodiment. The process shown in FIG. 4 is executed by the
ステップS10において、CPU16は、連写が完了したか否かを判断する。ステップS10で肯定判断した場合には、ステップS20へ進む。ステップS20では、CPU16は、連写によって得た画像の枚数は奇数であるか否かを判断する。
In step S10, the
ステップS20で肯定判断した場合には、ステップS30へ進み、CPU16は、連写によって得た複数の画像を時系列で並べたときの中央に位置する1枚の画像を基準画像として選択して、ステップS50へ進む。これに対して、ステップS20で否定判断した場合には、ステップS40へ進み、CPU16は、連写によって得た複数の画像を時系列で並べたときの中央に位置する2枚の画像のうちのいずれかを基準画像として選択して、ステップS50へ進む。
If an affirmative determination is made in step S20, the process proceeds to step S30, and the
ステップS50では、CPU16は、上述したように、基準画像との位置ズレ量が所定のズレ量よりも大きい画像を特異な画像として特定し、特定した特異な画像を合成の対象から除外する。その後、ステップS60へ進み、CPU16は、特異な画像以外の連写画像を位置合わせをした上で加算して、処理を終了する。
In step S50, as described above, the
以上説明した第1の実施の形態によれば、以下のような作用効果を得ることができる。
(1)CPU16は、位置ズレ量が所定のズレ量以下の画像が多くなるように、基準画像を選択し、該基準画像を基準として位置合わせを行って、画像を加算するようにした。具体的には、CPU16は、撮影したN枚の画像のうちの最初に撮像された画像と最後に撮像された画像とを除いた画像の中から基準画像を選択するようにするようにした。これによって、できるだけ同じコマが複数回加算されることを防いで、合成画像におけるランダムノイズの影響を低減することができる。
According to the first embodiment described above, the following operational effects can be obtained.
(1) The
(2)CPU16は、連写画像の枚数が奇数である場合には、複数の画像を時系列で並べたときの中央に位置する1枚の画像を基準画像として選択し、連写画像の枚数が偶数である場合には、複数の画像を時系列で並べたときの中央に位置する2枚の画像のうちのいずれかを基準画像として選択するようにした。これによって、時系列で一定の方向にズレ量が増加する場合に、基準画像との位置ズレ量が所定のズレ量以下となる画像が多くなるように基準画像を選択することができる。
(2) When the number of continuous shot images is an odd number, the
―第2の実施の形態―
上述した第1の実施の形態では、CPU16は、基準画像との位置ズレ量が所定のズレ量以下となる画像が多くなるように、N枚の画像を時系列で並べたときにできるだけ中央に位置する1枚の画像を基準画像として選択する例について説明した。これに対して、第2の実施の形態では、CPU16は、連写によって得た複数の画像のそれぞれについて、他の画像との位置ズレ量が最も大きい画像を候補画像として特定し、特定した候補画像の中から、他の画像との位置ズレ量が最も小さい画像を基準画像として選択する。なお、第2の実施の形態では、図1および図2は、第1の実施の形態と同様のため、説明を省略する。
-Second embodiment-
In the first embodiment described above, the
以下、第2の実施の形態における基準画像の選択方法について説明する。例えば、連写により6枚の画像を撮影した場合には、CPU16は、1枚目の画像を候補画像とし、該候補画像と2〜6枚目の各画像との位置ズレ量をそれぞれ算出し、その中から位置ズレ量が最も大きくなる画像の組み合わせ(第1の組み合わせ)を特定する。また、2枚目の画像を候補画像とし、該候補画像と3〜6枚目の各画像との位置ズレ量をそれぞれ算出し、その中から位置ズレ量が最も大きくなる画像の組み合わせ(第2の組み合わせ)を特定する。
Hereinafter, a reference image selection method according to the second embodiment will be described. For example, when six images are captured by continuous shooting, the
また、3枚目の画像を候補画像とし、該候補画像と4〜6枚目の各画像との位置ズレ量をそれぞれ算出し、その中から位置ズレ量が最も大きくなる画像の組み合わせ(第3の組み合わせ)を特定する。また、4枚目の画像を候補画像とし、該候補画像と5〜6枚目の各画像との位置ズレ量をそれぞれ算出し、その中から位置ズレ量が最も大きくなる画像の組み合わせ(第4の組み合わせ)を特定する。また、5枚目の画像を候補画像とし、該候補画像と6枚目の画像との位置ズレ量を算出し、その中から位置ズレ量が最も大きくなる画像の組み合わせ(第5の組み合わせ)を特定する。 Further, the third image is set as a candidate image, and the positional deviation amount between the candidate image and each of the fourth to sixth images is calculated, and the combination of the images with the largest positional deviation amount (third). Specified). Further, the fourth image is set as a candidate image, the positional deviation amount between the candidate image and each of the fifth to sixth images is calculated, and the combination of the images with the largest positional deviation amount among them (fourth) Specified). Further, the fifth image is used as a candidate image, the positional deviation amount between the candidate image and the sixth image is calculated, and the combination of the images with the largest positional deviation amount (fifth combination) is calculated. Identify.
そして、CPU16は、第1の組み合わせ〜第5の組み合わせの中から、両画像間の位置ズレ量が最も小さくなる組み合わせを特定し、特定した組み合わせにおける候補画像を基準画像として選択する。例えば、両画像間の位置ズレ量が最も小さくなる組み合わせが、第3の組み合わせ(例えば3枚目の画像と6枚目の画像との組み合わせ)である場合には、該第3の組み合わせにおける候補画像である3枚目の画像を基準画像として選択する。これによって、最も位置ズレ量が大きい画像との位置ズレ量が最も小さくなる画像を基準画像として選択することができるため、基準画像との位置ズレ量が所定のズレ量以下となる画像を多くして、できるだけ同じコマが複数回加算されることを防ぐことができる。
Then, the
図5は、第2の実施の形態における基準画像の選択処理の流れを示すフローチャートである。図5に示す処理は、手持ち夜景撮影モード時に複数の画像が連写撮影されると起動するプログラムとして、CPU16によって実行される。なお、図5においては、図4と同様の処理については、図4と同じステップ番号を付加し、ここでは図4との相違点を中心に説明する。
FIG. 5 is a flowchart showing a flow of reference image selection processing in the second embodiment. The processing shown in FIG. 5 is executed by the
ステップS21において、上述したように、CPU16は、各画像をそれぞれ候補画像に設定した場合の他の画像との位置ズレ量が最も大きくなる画像の組み合わせを特定する。その後、ステップS31へ進み、CPU16は、第1の組み合わせ〜第5の組み合わせの中から、両画像間の位置ズレ量が最も小さくなる組み合わせを特定する。その後、ステップS41へ進む。ステップS41では、CPU16は、ステップS31で特定した組み合わせにおける候補画像を基準画像として選択し、ステップS50へ進む。
In step S <b> 21, as described above, the
以上説明した第2の実施の形態によれば、上述した第1の実施の形態における効果に加えて、以下のような作用効果を得ることができる。すなわち、CPU16は、連写によって得られた複数の画像のそれぞれについて、他の画像との位置ズレ量が最も大きい画像を候補画像として特定し、特定した候補画像の中から、他の画像との位置ズレ量が最も小さい画像を基準画像として選択するようにした。これによって、最も位置ズレ量が大きい画像との位置ズレ量が最も小さくなる画像を基準画像として選択することができるため、できるだけ同じコマが複数回加算されることを防ぐことができ、合成画像におけるランダムノイズの影響を低減することができる。
According to the second embodiment described above, the following operational effects can be obtained in addition to the effects of the first embodiment described above. That is, for each of the plurality of images obtained by continuous shooting, the
―変形例―
なお、上述した実施の形態のカメラは、以下のように変形することもできる。
(1)上述した第1の実施の形態では、CPU16は、連写画像の枚数が偶数である場合には、複数の画像を時系列で並べたときの中央に位置する2枚の画像のうちのいずれかを基準画像として選択するようにした。このとき、CPU16は、該2枚の画像のうち、遅い時刻に撮像された方の画像を基準画像として選択するようにしてもよい。これは、使用者がレリーズボタンを押下したことによって生じる像ブレは、レリーズボタンを押下した直後ほど大きく、時間の経過とともに小さくなるため、該2枚の画像のうちレリーズボタンを押下してからの経過時間が長い方の画像を基準画像とすることにより、レリーズボタン押下に伴う像ブレが小さい画像を基準画像として選択できるためである。
-Modification-
The camera according to the above-described embodiment can be modified as follows.
(1) In the above-described first embodiment, when the number of continuous shot images is an even number, the
(2)上述した第2の実施の形態では、CPU16は、第1の組み合わせ〜第5の組み合わせの中から、両画像間の位置ズレ量が最も小さくなる組み合わせを特定し、特定した組み合わせにおける候補画像を基準画像として選択する例について説明した。しかしながら、CPU16は、両画像間の位置ズレ量が最も小さくなる組み合わせにおける候補画像に像ブレが生じているか否かを判定し、像ブレが生じている場合には、第1の組み合わせ〜第5の組み合わせの中から、両画像間の位置ズレ量が2番目に小さくなる組み合わせを特定し、特定した組み合わせにおける候補画像を基準画像として選択するようにしてもよい。これによって、像ブレが生じている画像が基準画像として選択されることを防ぐことができる。
(2) In the second embodiment described above, the
なお、両画像間の位置ズレ量が2番目に小さくなる組み合わせにおける候補画像にも像ブレが生じている場合には、両画像間の位置ズレ量が3番目に小さくなる組み合わせにおける候補画像を基準画像として選択するようにしてもよい。また、第1の実施の形態においても、同様に、CPU16は、選択した基準画像に像ブレが生じている場合には、該基準画像の前または後に撮影された画像(連写で最初に撮像された画像と最後に撮像された画像とを除く)を基準画像として選択するようにしてもよい。なお、画像に像ブレが生じているか否かを判定する方法は、公知のため説明を省略する。
In addition, when image blurring also occurs in the candidate image in the combination in which the positional deviation amount between the two images is the second smallest, the candidate image in the combination in which the positional deviation amount between the two images is the third smallest is used as a reference. You may make it select as an image. Similarly, in the first embodiment, when image blurring occurs in the selected reference image, similarly, the
(3)上述した第1および第2の実施の形態では、本発明をカメラに適用する例について説明した。しかしながら、図4や図5に示した処理を行う画像合成プログラムを図6に示すコンピュータ装置100に実行させることにより、夜景画像合成処理装置を構成してもよい。画像合成プログラムをパーソナルコンピュータ100に取込んで使用する場合には、パーソナルコンピュータ100のデータストレージ装置にプログラムをローディングした上で、当該プログラムを実行させることによって画像合成処理装置として使用する。この場合のコンピュータ装置100のワークメモリ(不図示)には、連写によって得られたN枚の連写撮影画像が一時的に記憶される。
(3) In the above-described first and second embodiments, examples in which the present invention is applied to a camera have been described. However, the night scene image composition processing apparatus may be configured by causing the
パーソナルコンピュータ100に対するプログラムのローディングは、プログラムを格納したCD−ROMなどの記録媒体104をパーソナルコンピュータ100にセットして行ってもよいし、ネットワークなどの通信回線101を経由する方法でパーソナルコンピュータ100へローディングしてもよい。通信回線101を経由する場合は、通信回線101に接続されたサーバー(コンピュータ)102のハードディスク装置103などにプログラムを格納しておく。画像合成プログラムは、記憶媒体104や通信回線101を介する提供など、種々の形態のコンピュータプログラム製品として供給することができる。
The loading of the program to the
なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。また、上述の実施の形態と複数の変形例を組み合わせた構成としてもよい。 Note that the present invention is not limited to the configurations in the above-described embodiments as long as the characteristic functions of the present invention are not impaired. Moreover, it is good also as a structure which combined the above-mentioned embodiment and a some modification.
1 カメラ、11 撮影光学系、12 撮像素子、13 画像処理部、14 バッファメモリ、15 表示部材、16 CPU、17 フラッシュメモリ、18 カードインターフェース、19 操作部材、30 記憶媒体
DESCRIPTION OF
Claims (8)
前記撮像手段によって連続して撮像された複数の画像の中から、1つの画像を基準画像として選択する選択手段と、
前記選択手段によって選択された前記基準画像と、前記撮像手段によって連続して撮像された複数の画像のうちの前記基準画像以外の複数の画像のそれぞれとの位置ズレ量を算出する算出手段と、
前記算出手段によって算出された前記位置ズレ量が所定のズレ量以下の画像を、位置合わせをしてから合成して合成画像を生成する生成手段とを備え、
前記選択手段は、前記位置ズレ量が前記所定のズレ量以下の画像が多くなるように、前記基準画像を選択することを特徴とする撮像装置。 Imaging means for capturing a subject image and acquiring the image;
A selection unit that selects one image as a reference image from among a plurality of images continuously captured by the imaging unit;
Calculating means for calculating a positional shift amount between the reference image selected by the selection means and each of a plurality of images other than the reference image among a plurality of images continuously captured by the imaging means;
A generating unit configured to generate a composite image by combining the images of which the amount of positional deviation calculated by the calculating unit is equal to or less than a predetermined amount of positional deviation;
The imaging device is characterized in that the selection means selects the reference image so that the number of images with the positional deviation amount equal to or less than the predetermined deviation amount increases.
前記選択手段は、前記撮像手段によって連続して撮像された複数の画像のうちの、最初に撮像された画像と最後に撮像された画像とを除いた画像の中から前記基準画像を選択することを特徴とする撮像装置。 The imaging device according to claim 1,
The selection unit selects the reference image from images excluding the first captured image and the last captured image among a plurality of images continuously captured by the imaging unit. An imaging apparatus characterized by the above.
前記選択手段は、前記撮像手段によって連続して撮像された複数の画像の数が奇数である場合には、前記複数の画像を時系列で並べたときの中央に位置する1枚の画像を前記基準画像として選択し、前記撮像手段によって連続して撮像された複数の画像の数が偶数である場合には、前記複数の画像を時系列で並べたときの中央に位置する2枚の画像のうちのいずれかを前記基準画像として選択することを特徴とする撮像装置。 The imaging device according to claim 2,
When the number of the plurality of images continuously captured by the imaging unit is an odd number, the selection unit selects one image located in the center when the plurality of images are arranged in time series. When the number of a plurality of images selected as a reference image and continuously captured by the imaging unit is an even number, two images positioned in the center when the plurality of images are arranged in time series Any one of them is selected as the reference image.
前記選択手段は、前記撮像手段によって連続して撮像された複数の画像の数が偶数である場合には、前記複数の画像を時系列で並べたときの中央に位置する2枚の画像のうち、遅い時刻に撮像された方の画像を前記基準画像として選択することを特徴とする撮像装置。 The imaging device according to claim 3.
When the number of the plurality of images continuously captured by the image capturing unit is an even number, the selection unit includes the two images positioned in the center when the plurality of images are arranged in time series. An image pickup apparatus, wherein an image picked up at a later time is selected as the reference image.
前記選択手段は、前記撮像手段によって連続して撮像された複数の画像のそれぞれについて、他の画像との位置ズレ量が最も大きい画像を候補画像として特定し、特定した前記候補画像の中から、前記他の画像との位置ズレ量が最も小さい画像を前記基準画像として選択することを特徴とする撮像装置。 The imaging device according to claim 1,
The selection unit specifies, as a candidate image, an image having the largest positional deviation amount with respect to each of a plurality of images continuously captured by the imaging unit, and from among the identified candidate images, An image pickup apparatus, wherein an image having the smallest positional deviation from the other image is selected as the reference image.
前記選択手段は、選択した前記基準画像にブレが生じている場合には、前記候補画像の中から、前記他の画像との位置ズレ量が2番目に小さい画像を前記基準画像として選択することを特徴とする撮像装置。 The imaging apparatus according to claim 5,
When the selected reference image is blurred, the selection unit selects, as the reference image, an image having the second smallest positional deviation from the other images from the candidate images. An imaging apparatus characterized by the above.
前記撮像手段によって撮像される画像は、手ブレ補正が行なわれた画像であることを特徴とする撮像装置。 In the imaging device according to any one of claims 1 to 6,
An image pick-up device, wherein the image picked up by the image pick-up means is an image subjected to camera shake correction.
前記撮像手順で連続して撮像した複数の画像の中から、1つの画像を基準画像として選択する選択手順と、
前記選択手順で選択した前記基準画像と、前記撮像手順で連続して撮像した複数の画像のうちの前記基準画像以外の複数の画像のそれぞれとの位置ズレ量を算出する算出手順と、
前記算出手順で算出した前記位置ズレ量が所定のズレ量以下の画像を、位置合わせをしてから合成して合成画像を生成する生成手順とをコンピュータに実行させるための画像合成プログラムであって、
前記選択手順は、前記位置ズレ量が前記所定のズレ量以下の画像が多くなるように、前記基準画像を選択することを特徴とする画像合成プログラム。 An imaging procedure for capturing a subject image and acquiring the image;
A selection procedure for selecting one image as a reference image from a plurality of images continuously captured in the imaging procedure;
A calculation procedure for calculating a positional deviation amount between the reference image selected in the selection procedure and each of a plurality of images other than the reference image among a plurality of images continuously captured in the imaging procedure;
An image synthesizing program for causing a computer to execute a generation procedure for generating an image by synthesizing an image in which the positional deviation amount calculated by the calculation procedure is equal to or less than a predetermined deviation amount. ,
The image selection program characterized in that the selection procedure selects the reference image so that the number of images with the positional deviation amount equal to or less than the predetermined deviation amount increases.
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010159541A JP5471917B2 (en) | 2010-07-14 | 2010-07-14 | Imaging apparatus and image composition program |
CN201110204654.2A CN102340626B (en) | 2010-07-14 | 2011-07-13 | Camera device and image combining method |
US13/181,865 US9509911B2 (en) | 2010-07-14 | 2011-07-13 | Image-capturing device, and image combination program |
CN201710469537.6A CN107277349B (en) | 2010-07-14 | 2011-07-13 | Image pickup apparatus and computer-readable storage medium |
CN201710469527.2A CN107257434B (en) | 2010-07-14 | 2011-07-13 | Image processing apparatus, imaging apparatus, and medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010159541A JP5471917B2 (en) | 2010-07-14 | 2010-07-14 | Imaging apparatus and image composition program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012023530A true JP2012023530A (en) | 2012-02-02 |
JP5471917B2 JP5471917B2 (en) | 2014-04-16 |
Family
ID=45777427
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010159541A Expired - Fee Related JP5471917B2 (en) | 2010-07-14 | 2010-07-14 | Imaging apparatus and image composition program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5471917B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015041924A (en) * | 2013-08-22 | 2015-03-02 | オリンパス株式会社 | Image processing apparatus, image processing method and program |
US9672608B2 (en) | 2013-08-22 | 2017-06-06 | Olympus Corporation | Image processing device, endoscope apparatus, image processing method, and program |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006060318A (en) * | 2004-08-17 | 2006-03-02 | Sony Corp | Image processing method and image processor, and program and recording medium |
JP2006246309A (en) * | 2005-03-07 | 2006-09-14 | Canon Inc | Image processor and image processing method |
JP2007312348A (en) * | 2006-04-18 | 2007-11-29 | Fujitsu Ltd | Imaging device with camera shake correction function, camera shake correction method, pre-processing program for camera shake correction processing, and storage image determination program |
JP2008124625A (en) * | 2006-11-09 | 2008-05-29 | Sanyo Electric Co Ltd | Imaging apparatus |
JP2010078635A (en) * | 2008-09-24 | 2010-04-08 | Sanyo Electric Co Ltd | Blur correcting device and imaging apparatus |
-
2010
- 2010-07-14 JP JP2010159541A patent/JP5471917B2/en not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006060318A (en) * | 2004-08-17 | 2006-03-02 | Sony Corp | Image processing method and image processor, and program and recording medium |
JP2006246309A (en) * | 2005-03-07 | 2006-09-14 | Canon Inc | Image processor and image processing method |
JP2007312348A (en) * | 2006-04-18 | 2007-11-29 | Fujitsu Ltd | Imaging device with camera shake correction function, camera shake correction method, pre-processing program for camera shake correction processing, and storage image determination program |
JP2008124625A (en) * | 2006-11-09 | 2008-05-29 | Sanyo Electric Co Ltd | Imaging apparatus |
JP2010078635A (en) * | 2008-09-24 | 2010-04-08 | Sanyo Electric Co Ltd | Blur correcting device and imaging apparatus |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015041924A (en) * | 2013-08-22 | 2015-03-02 | オリンパス株式会社 | Image processing apparatus, image processing method and program |
US9672608B2 (en) | 2013-08-22 | 2017-06-06 | Olympus Corporation | Image processing device, endoscope apparatus, image processing method, and program |
Also Published As
Publication number | Publication date |
---|---|
JP5471917B2 (en) | 2014-04-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107257434B (en) | Image processing apparatus, imaging apparatus, and medium | |
JP6178987B2 (en) | Imaging device | |
KR20070086061A (en) | Image processing and image processing program of image processing | |
JP2012049773A (en) | Imaging apparatus and method, and program | |
JP2015194672A (en) | Imaging apparatus | |
JP2013165485A (en) | Image processing apparatus, image capturing apparatus, and computer program | |
KR20110089665A (en) | Digital image process apparatus, method for image processing and storage medium thereof | |
JP2012222495A (en) | Image processor, image processing method, and program | |
JP2017017585A (en) | Imaging apparatus and image processing method | |
WO2017130522A1 (en) | Image processing device, image capturing device, image processing method and program | |
JP6608194B2 (en) | Image processing apparatus, control method therefor, and program | |
JP2018148512A (en) | Imaging device, control method of imaging device, and program | |
JP2013110754A (en) | Camera device, and photographing method and program of the same | |
JP2010154306A (en) | Device, program and method for imaging control | |
JP5471917B2 (en) | Imaging apparatus and image composition program | |
JP6606838B2 (en) | Imaging apparatus and imaging method | |
JP2015194680A (en) | Imaging apparatus | |
JP2010193324A (en) | Camera apparatus, photographing method thereof and program | |
JP2011176542A (en) | Camera, and image composition program | |
JP6435527B2 (en) | Imaging device | |
JP5663989B2 (en) | Imaging apparatus and image composition program | |
JP2014137704A (en) | Imaging device | |
JP2011071712A (en) | Stereoscopically imaging device and method | |
JP6089232B2 (en) | Imaging device | |
JP2020120194A (en) | Imaging apparatus, imaging method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130520 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131225 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140107 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140120 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5471917 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |