JP4762089B2 - 画像合成装置及び方法並びに撮像装置 - Google Patents
画像合成装置及び方法並びに撮像装置 Download PDFInfo
- Publication number
- JP4762089B2 JP4762089B2 JP2006235671A JP2006235671A JP4762089B2 JP 4762089 B2 JP4762089 B2 JP 4762089B2 JP 2006235671 A JP2006235671 A JP 2006235671A JP 2006235671 A JP2006235671 A JP 2006235671A JP 4762089 B2 JP4762089 B2 JP 4762089B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- value
- divided exposure
- motion vector
- calculated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 125
- 239000000203 mixture Substances 0.000 title claims abstract description 55
- 238000003384 imaging method Methods 0.000 title claims description 24
- 230000033001 locomotion Effects 0.000 claims abstract description 236
- 230000001186 cumulative effect Effects 0.000 claims abstract description 189
- 238000001514 detection method Methods 0.000 claims abstract description 182
- 239000013598 vector Substances 0.000 claims abstract description 172
- 238000011156 evaluation Methods 0.000 claims description 100
- 238000004364 calculation method Methods 0.000 claims description 56
- 239000002131 composite material Substances 0.000 claims description 46
- 230000002194 synthesizing effect Effects 0.000 claims description 20
- 238000002156 mixing Methods 0.000 claims description 19
- SNDPXSYFESPGGJ-UHFFFAOYSA-N L-norVal-OH Natural products CCCC(N)C(O)=O SNDPXSYFESPGGJ-UHFFFAOYSA-N 0.000 description 61
- 230000000875 corresponding effect Effects 0.000 description 54
- 230000008569 process Effects 0.000 description 53
- 238000012937 correction Methods 0.000 description 44
- 238000012545 processing Methods 0.000 description 44
- 238000006243 chemical reaction Methods 0.000 description 20
- 238000005070 sampling Methods 0.000 description 19
- 230000004048 modification Effects 0.000 description 14
- 238000012986 modification Methods 0.000 description 14
- 230000015572 biosynthetic process Effects 0.000 description 13
- 238000003786 synthesis reaction Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 230000006641 stabilisation Effects 0.000 description 9
- 238000011105 stabilization Methods 0.000 description 9
- 239000011159 matrix material Substances 0.000 description 8
- 230000015556 catabolic process Effects 0.000 description 6
- 238000006731 degradation reaction Methods 0.000 description 6
- 230000006866 deterioration Effects 0.000 description 6
- 230000009466 transformation Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 230000000994 depressogenic effect Effects 0.000 description 4
- 238000004091 panning Methods 0.000 description 4
- 238000003825 pressing Methods 0.000 description 4
- 230000007423 decrease Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 238000007562 laser obscuration time method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000020509 sex determination Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6811—Motion detection based on the image signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
- H04N23/6845—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20201—Motion blur correction
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
- Adjustment Of Camera Lenses (AREA)
- Image Analysis (AREA)
Description
本発明を撮像装置に適用した実施例を第1実施例として説明する。図1は、本発明の第1実施例に係る撮像装置の全体的構成図である。図1の撮像装置は、デジタルスチルカメラ又はデジタルビデオカメラなどであり、少なくとも静止画像を撮影可能となっている。図1の撮像装置は、符号1〜12、21及び22、30が付された各部位を備えて構成される。符号30が付された手ぶれ補正回路は、輝度調節回路31、動き検出回路32、座標変換回路33、画像加算回路34及び画像メモリ35を備えている。座標変換回路33と画像加算回路34と画像メモリ35は画像合成回路36を形成している。以下、単に「撮像装置」といった場合、それは、図1に示す撮像装置を指すものとする。
次に、図1の動き検出回路32について詳細に説明する。図2は、動き検出回路32の内部ブロック図である。動き検出回路32は、代表点マッチング回路41と、領域動きベクトル算出回路42と、検出領域有効性判定回路43と、全体動きベクトル算出回路44と、を有して構成される。符号42〜44で表される部位の機能については後に示す図9及び図10のフローチャートの説明の中で行うとして、まず、代表点マッチング回路41について詳細に説明する。図3は、代表点マッチング回路41の内部ブロック図である。代表点マッチング回路41は、フィルタ51と、代表点メモリ52と、減算回路53と、累積加算回路54と、演算回路55と、を有して構成される。
「演算対象累積相関値群を形成する全ての累積相関値の平均値Vaveと、
演算対象累積相関値群を形成する全ての累積相関値の内の最小値(最小の累積相関値)と、
その最小値を示す画素の位置PAと、
位置PAの画素の近傍画素に対応する累積相関値(以下、近傍累積相関値と呼ぶことがある)」を算出する。
「候補最小相関値VBを示す画素の位置PBと位置PBの画素の24個の近傍画素に対応する合計24個の累積相関値(以下、近傍累積相関値と呼ぶことがある)、
候補最小相関値VCを示す画素の位置PCと位置PCの画素の24個の近傍画素に対応する合計24個の累積相関値(以下、近傍累積相関値と呼ぶことがある)、及び
候補最小相関値VDを示す画素の位置PDと位置PDの画素の24個の近傍画素に対応する合計24個の累積相関値(以下、近傍累積相関値と呼ぶことがある)」を検出する(図8参照)。
位置PAと同様、位置PBの画素とそれの近傍画素は5×5の行列配列された画素群を形成し、その画素群の各画素の画素位置を(iB+p,jB+q)にて表す。
位置PAと同様、位置PCの画素とそれの近傍画素は5×5の行列配列された画素群を形成し、その画素群の各画素の画素位置を(iC+p,jC+q)にて表す。
位置PAと同様、位置PDの画素とそれの近傍画素は5×5の行列配列された画素群を形成し、その画素群の各画素の画素位置を(iD+p,jD+q)にて表す。
ここで、位置PAと同様、p及びqは整数であり、−2≦p≦2且つ−2≦q≦2、が成立する。pが−2から2に増加するにつれて画素位置は位置PB(又はPC又はPD)を中心として上から下へと向かい、qが−2から2に増加するにつれて画素位置は位置PB(又はPC又はPD)を中心として左から右へと向かう。そして、画素位置(iB+p,jB+q)、(iC+p,jC+q)及び(iD+p,jD+q)に対応する累積相関値を、夫々、V(iB+p,jB+q)、V(iC+p,jC+q)及びV(iD+p,jD+q)にて表す。
「候補最小相関値VA、位置PA及び近傍累積相関値V(iA+p,jA+q)」を特定するデータを総称して「第1の候補データ」と呼び、
「候補最小相関値VB、位置PB及び近傍累積相関値V(iB+p,jB+q)」を特定するデータを総称して「第2の候補データ」と呼び、
「候補最小相関値VC、位置PC及び近傍累積相関値V(iC+p,jC+q)」を特定するデータを総称して「第3の候補データ」と呼び、
「候補最小相関値VD、位置PD及び近傍累積相関値V(iD+p,jD+q)」を特定するデータを総称して「第4の候補データ」と呼ぶ。
次に、図9及び図10のフローチャートを参照して、動き検出回路32の処理手順を説明する。また、図13に、動き検出回路32内部の各データの流れをも表した、動き検出回路32の詳細内部ブロック図を示す。図13に示す如く、検出領域有効性判定回路43は、コントラスト判定部61と、複数動き有無判定部62と、類似模様有無判定部63を含み、全体動きベクトル算出回路44は、全体動きベクトル有効性判定部70と信頼度算出部74を含む。全体動きベクトル有効性判定部70は、更に、パン・チルト判定部71、領域動きベクトル類似性判定部72及び検出領域有効数算出部73を含む。
「累積相関値V(iA+p,jA+q)の平均値VA_aveと、累積相関値V(iB+p,jB+q)の平均値VB_aveと、累積相関値V(iC+p,jC+q)の平均値VC_aveと、累積相関値V(iD+p,jD+q)の平均値VD_ave」を算出する。
「累積相関値V(iA+p,jA+q)の平均値VA_aveと、累積相関値V(iB+p,jB+q)の平均値VB_aveと、累積相関値V(iC+p,jC+q)の平均値VC_aveと、累積相関値V(iD+p,jD+q)の平均値VD_ave」を算出する。
「累積相関値V(iA+p,jA+q)の平均値VA_aveと、累積相関値V(iB+p,jB+q)の平均値VB_aveと、累積相関値V(iC+p,jC+q)の平均値VC_aveと、累積相関値V(iD+p,jD+q)の平均値VD_ave」を算出する。
「累積相関値V(iA+p,jA+q)の平均値VA_aveと、累積相関値V(iB+p,jB+q)の平均値VB_aveと、累積相関値V(iC+p,jC+q)の平均値VC_aveと、累積相関値V(iD+p,jD+q)の平均値VD_ave」を算出する。
「累積相関値V(iA+p,jA+q)の平均値VA_aveと、累積相関値V(iB+p,jB+q)の平均値VB_aveと、累積相関値V(iC+p,jC+q)の平均値VC_aveと、累積相関値V(iD+p,jD+q)の平均値VD_ave」を算出する。
第1条件は、「全体動きベクトルMが垂直方向(上下方向)又は水平方向(左右方向)の同一方向に連続している回数が所定回数以上である」という条件である。
第2条件は、「上記同一方向に連続している全体動きベクトルMの大きさの積分値が撮像装置の画角の一定割合以上である」という条件である。
第3条件は、「全体動きベクトルの大きさが0.5画素以下である状態が連続して所定回数(例えば10回)以上継続した」という条件である
第4条件は、「「手ぶれ状態」から「パン・チルト状態」へ遷移したときの全体動きベクトルMに対して方向が反対の全体動きベクトルMが所定回数(例えば10回)以上連続して得られた」という条件である。
以下、この信頼度の算出手法にて詳細に説明する。今、説明の具体化のため、分割露光数Nが4であるものとする。従って、シャッタボタン21の押下に応じて、1番目、2番目、3番目、4番目の分割露光画像(以下、夫々を、「第1、第2、第3及び第4画像」と略記することがある)が得られるものとする。図14に、信頼度の算出に関与する各値を表として表す。
有効領域(最大9つ)についての各採用最小相関値Vminの平均値をVmin[i]とし、
有効領域(最大9つ)についての各平均値Vaveの平均値をVave[i]とし、
有効領域(最大9つ)についての各「候補最小相関値の個数Nf」の平均値をNf[i]とし、
有効領域数(有効領域の個数)をNval[i]とする。
第2画像に関するVmin[2]は、検出領域E2についての採用最小相関値Vminと検出領域E7についての採用最小相関値Vminとの平均値であり、
第2画像に関するVave[2]は、検出領域E2についての累積相関値の平均値Vaveと検出領域E7についての累積相関値の平均値Vaveとの平均値であり、
第2画像に関するNf[2]は、検出領域E2についての候補最小相関値の個数Nfと検出領域E7についての候補最小相関値の個数Nfとの平均値であり、
第2画像に関するNval[2]は、有効と判断された検出領域E2とE7の個数、即ち、2である。
累積相関値の最小値又は該最小値に近い累積相関値に依存するVmin[i]、に基づく評価値BVmin[i]と、
累積相関値の平均値に依存するVave[i]、に基づく評価値BVave[i]と、
累積相関値の最小値の個数又は該最小値に近い累積相関値の個数に依存するNf[i]、に基づく評価値BNf[i]と、
有効領域数に依存するNval[i]、に基づく評価値BNval[i]と、に基づいて算出される。
次に、手ぶれ補正撮影モードにてシャッタボタン21を押下した場合における、図1の画像合成回路36の動作について説明する。
上述の第1実施例では、4つの評価値(BVmin[i]、BVave[i]、BNf[i]、BNval[i])の全てを考慮して信頼度B[i]を算出するようにしているが、1、2又は3つの評価値のみを考慮して信頼度B[i]を算出するようにしてもよい。つまり、重み付け係数WVmin、WVave、WNf及びWNvalの内、何れか1つ、2つ又は3つをゼロとしても構わない(上記式(2)参照)。何れの重み付け係数をゼロとするか任意である。この場合、上記式(2)においてゼロの重み付け係数が掛け合わされる評価値の算出は省略可能である。
第1及び第2実施例では、シャッタボタン21の押下に応じて得られる複数の分割露光画像の内、1番目に得られる分割露光画像(第1画像)を基準画像と取り扱って全体動きベクトルMの算出及び各分割露光画像の位置合わせを行った。しかしながら、その複数の分割露光画像の内、何れの分割露光画像を基準画像とするかは任意である。
第1と第2画像との間において算出される平均値α2をVave12とし、
第1と第3画像との間において算出される平均値α2をVave13とし、
第1と第4画像との間において算出される平均値α2をVave14とし、
第2と第3画像との間において算出される平均値α2をVave23とし、
第2と第4画像との間において算出される平均値α2をVave24とし、
第3と第4画像との間において算出される平均値α2をVave34とし、且つ、SUMVave[1]〜SUMVave[4]を下記式に従って算出する。
SUMVave[1]=Vave12+Vave13+Vave14
SUMVave[2]=Vave12+Vave23+Vave24
SUMVave[3]=Vave13+Vave23+Vave34
SUMVave[4]=Vave14+Vave24+Vave34
最後に、下記式(12)に従って評価値BVave[i]を算出する。尚、Vave12、Vave13及びVave14は、夫々、第1実施例で述べたVave[2]、Vave[3]及びVave[4]と同じものである(図14参照)。
第1と第2画像との間において算出される平均値α3をNf12とし、
第1と第3画像との間において算出される平均値α3をNf13とし、
第1と第4画像との間において算出される平均値α3をNf14とし、
第2と第3画像との間において算出される平均値α3をNf23とし、
第2と第4画像との間において算出される平均値α3をNf24とし、
第3と第4画像との間において算出される平均値α3をNf34とし、且つ、SUMNf[1]〜SUMNf[4]を下記式に従って算出する。
SUMNf[1]=Nf12+Nf13+Nf14
SUMNf[2]=Nf12+Nf23+Nf24
SUMNf[3]=Nf13+Nf23+Nf34
SUMNf[4]=Nf14+Nf24+Nf34
最後に、下記式(13)に従って評価値BNf[i]を算出する。尚、Nf12、Nf13及びNf14は、夫々、第1実施例で述べたNf[2]、Nf[3]及びNf[4]と同じものである(図14参照)。
第1と第2画像との間において算出される有効領域数をNval12とし、
第1と第3画像との間において算出される有効領域数をNval13とし、
第1と第4画像との間において算出される有効領域数をNval14とし、
第2と第3画像との間において算出される有効領域数をNval23とし、
第2と第4画像との間において算出される有効領域数をNval24とし、
第3と第4画像との間において算出される有効領域数をNval34とし、且つ、SUMNval[1]〜SUMNval[4]を下記式に従って算出する。
SUMNval[1]=Nval12+Nval13+Nval14
SUMNval[2]=Nval12+Nval23+Nval24
SUMNval[3]=Nval13+Nval23+Nval34
SUMNval[4]=Nval14+Nval24+Nval34
最後に、下記式(14)に従って評価値BNval[i]を算出する。尚、Nval12、Nval13及びNval14は、夫々、第1実施例で述べたNval[2]、Nval[3]及びNval[4]と同じものである(図14参照)。
上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。
評価値BVave[i]の算出の基となる記号「Vave」で参照される値は、検出領域E1〜E9ごとに算出された複数の累積相関値(演算対象累積相関値群)の平均値であると上述したが、Vaveを、その複数の累積相関値の合算値(即ち、累積相関値の個数と平均値の積)であると考えても構わない。つまり、評価値BVave[i]は、検出領域E1〜E9ごとに算出された複数の累積相関値の平均値に応じた値に基づいて算出される。
画像マッチング法の1つである代表点マッチング法を用いる実施例を上述したが、本発明を、画像マッチング法に分類される他の手法を用いて実現することも可能である。例えば、代表点マッチング法の代わりに全画素マッチング法(ブロックマッチング法)を用いることも可能である。
真のマッチング位置を定めきれない場合、参照する近傍累積相関値のパターンを、図11(a)から同図(b)、(c)、(d)、(e)に示すパターンへと順次変更していく実施例を上述したが、何れかのパターンを用いた処理を省略するようにしても構わない。
真のマッチング位置を定めきれない場合に参照する近傍累積相関値の個数を段階的に増加させるようにする実施例を上述したが(図11及び図12参照)、そのような場合における個数の増加は必須ではない。
「累積相関値V(iA+p,jA+q)の平均値VA_aveと、累積相関値V(iB+p,jB+q)の平均値VB_aveと、累積相関値V(iC+p,jC+q)の平均値VC_aveと、累積相関値V(iD+p,jD+q)の平均値VD_ave」を算出する。
候補最小相関値(VA等)を示す位置(PA等)を中心とした、最大(5×5)画素の領域内の近傍累積相関値を参照する例を示したが(図11及び図12参照)、これは単なる一例であり、これを様々に変形することが可能である。例えば、採用最小相関値Vminを選択するために、候補最小相関値(VA等)を示す位置(PA等)を中心とした、最大(7×7)画素の領域内の近傍累積相関値を参照するようにしてもよい。
また、第1〜第4の候補データの夫々について(即ち、候補最小相関値ごとに)、「候補最小相関値と近傍累積相関値」の平均値を選択用評価値として算出し、算出された各選択用評価値の比較を介して採用最小相関値Vminを選択する例を図12を示して上述したが、選択用評価値として算出される平均値を、総和(合算値)又は加重平均値に変更しても良い。
VA_ave=k1・V(iA,jA−1)+k2・V(iA−1,jA)+
k3・V(iA,jA+1)+k4・V(iA+1,jA)+
k0・V(iA,jA)
、を算出すればよい。ここで、k0〜k4は、加重平均値を算出するための係数であり、例えば、k1=k2=k3=k4<k0、が成立する。
また、第1〜第4の候補データの夫々について、「候補最小相関値と近傍累積相関値」の平均値(又は総和又は加重平均値)を選択用評価値として算出し、算出された各選択用評価値の比較を介して採用最小相関値Vminを選択する例を示したが、各選択用評価値を、候補最小相関値を除外して算出するようにしても構わない。
各画像(各分割露光画像など)に検出領域(E1〜E9)が9つある場合を例示したが、各画像に設けられる検出領域の個数は任意である。各画像に設ける検出領域の個数は、1つであってもよい。
また、図1の撮像装置は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。特に、図1の手ぶれ補正回路30の機能、それに含まれる動き検出回路32、座標変換回路33、画像加算回路34の各機能は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせによって実現可能である。
尚、図1において、動き検出回路32は動きベクトル算出手段として機能する。また、動き検出回路32(特に、図13の信頼度算出部74)は混合比算出手段として機能する。また、第3実施例において、信頼度に基づき基準画像を可変設定する基準画像設定手段としての機能は、動き検出回路32(特に、図13の信頼度算出部74)又は画像加算回路34によって実現される。動きベクトル算出手段と混合比算出手段又は基準画像設定手段とを含む画像合成装置は、図1の手ぶれ補正回路30によって実現される。
32 動き検出回路
33 座標変換回路
34 画像加算回路
35 画像メモリ
36 画像合成回路
41 代表点マッチング回路
42 領域動きベクトル算出回路
43 検出領域有効性判定回路
44 全体動きベクトル算出回路
74 信頼度算出部
Claims (3)
- 順次撮影して得られた複数の分割露光画像から互いに異なる分割露光画像間の動きベクトルを算出する動きベクトル算出手段と、
前記動きベクトルに基づいて各分割露光画像を位置合わせして加算合成することにより1枚の合成画像を生成する画像合成手段と、
前記異なる分割露光画像間の画像の動きに応じた情報に基づいて、前記分割露光画像ごとに、その分割露光画像を前記合成画像に反映させる度合いを表す混合比を算出する混合比算出手段と、
を備え、
前記動きベクトル算出手段は、前記異なる分割露光画像間において、画像マッチング法により各分割露光画像に設けられた検出領域についてのm個の累積相関値を算出し(mは2以上の整数)、これらm個の累積相関値に基づいて、前記動きベクトルを算出し、
前記混合比算出手段は、
前記m個の累積相関値の内の、最小値又は該最小値を所定の規則に従って増加させた値以下の累積相関値、に基づく第1評価値、
前記m個の累積相関値の平均に応じた値、に基づく第2評価値、及び、
前記m個の累積相関値の内の、最小値の個数又は該最小値を所定の規則に従って増加させた値以下の累積相関値の個数、に基づく第3評価値、
の内の、何れか1つの評価値又は2以上の評価値に基づいて、各混合比を算出し、
前記画像合成手段は、各混合比に従って各分割露光画像を加算合成することにより前記合成画像を生成する
ことを特徴とする画像合成装置。 - 順次撮影して得られた複数の分割露光画像から互いに異なる分割露光画像間の動きベクトルを算出する動きベクトル算出手段と、
前記動きベクトルに基づいて各分割露光画像を位置合わせして加算合成することにより1枚の合成画像を生成する画像合成手段と、
前記異なる分割露光画像間の画像の動きに応じた情報に基づいて、前記分割露光画像ごとに、その分割露光画像を前記合成画像に反映させる度合いを表す混合比を算出する混合比算出手段と、
各分割露光画像に設けられた複数の検出領域について、各検出領域の有効又は無効を判断する判定手段と、
を備え、
前記動きベクトル算出手段は、前記異なる分割露光画像間において、前記検出領域ごとに画像マッチング法によりm個の累積相関値を算出し(mは2以上の整数)、前記検出領域ごとにこれらm個の累積相関値に基づいて前記検出領域内の画像の動きを表すベクトルを領域動きベクトルとして求める一方、
前記判定手段により有効と判断された前記検出領域に対応する領域動きベクトルから前記動きベクトルを算出して画像全体の動きベクトルとし、
前記混合比算出手段は、
前記検出領域ごとに算出された前記m個の累積相関値の内の、最小値又は該最小値を所定の規則に従って増加させた値以下の累積相関値、に基づく第1評価値、
前記検出領域ごとに算出された前記m個の累積相関値の平均に応じた値、に基づく第2評価値、
前記検出領域ごとに算出された前記m個の累積相関値の内の、最小値の個数又は該最小値を所定の規則に従って増加させた値以下の累積相関値の個数、に基づく第3評価値、及び、
前記複数の検出領域の内、前記判定手段によって有効と判断された前記検出領域の個数、に基づく第4評価値、
の内の、何れか1つの評価値又は2以上の評価値に基づいて、各混合比を算出し、
前記画像合成手段は、各混合比に従って各分割露光画像を加算合成することにより前記合成画像を生成する
ことを特徴とする画像合成装置。 - 順次撮影を行って複数の分割露光画像を表す複数の画像データを出力する撮像手段と、
請求項1又は請求項2の何れかに記載の画像合成装置と、
を備え、
前記画像合成装置は、前記複数の画像データに基づいて前記合成画像を生成する
ことを特徴とする撮像装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006235671A JP4762089B2 (ja) | 2006-08-31 | 2006-08-31 | 画像合成装置及び方法並びに撮像装置 |
US11/848,887 US7956897B2 (en) | 2006-08-31 | 2007-08-31 | Image combining device and imaging apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006235671A JP4762089B2 (ja) | 2006-08-31 | 2006-08-31 | 画像合成装置及び方法並びに撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008060927A JP2008060927A (ja) | 2008-03-13 |
JP4762089B2 true JP4762089B2 (ja) | 2011-08-31 |
Family
ID=39151620
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006235671A Expired - Fee Related JP4762089B2 (ja) | 2006-08-31 | 2006-08-31 | 画像合成装置及び方法並びに撮像装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US7956897B2 (ja) |
JP (1) | JP4762089B2 (ja) |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4825093B2 (ja) * | 2006-09-20 | 2011-11-30 | 富士通株式会社 | 手ぶれ補正機能付き撮像装置、手ぶれ補正方法、および、手ぶれ補正処理プログラム |
CN102077572B (zh) * | 2008-06-19 | 2014-06-11 | 松下电器产业株式会社 | 用于在成像***中防止运动模糊和重影的方法及装置 |
JP5304080B2 (ja) * | 2008-07-30 | 2013-10-02 | 株式会社ニコン | 画像再生装置および画像再生プログラム |
JP2010063088A (ja) | 2008-08-08 | 2010-03-18 | Sanyo Electric Co Ltd | 撮像装置 |
US20100157079A1 (en) * | 2008-12-19 | 2010-06-24 | Qualcomm Incorporated | System and method to selectively combine images |
JP2010268441A (ja) * | 2009-04-16 | 2010-11-25 | Sanyo Electric Co Ltd | 画像処理装置、撮像装置及び画像再生装置 |
US8963949B2 (en) * | 2009-04-22 | 2015-02-24 | Qualcomm Incorporated | Image selection and combination method and device |
US8111300B2 (en) * | 2009-04-22 | 2012-02-07 | Qualcomm Incorporated | System and method to selectively combine video frame image data |
JP2010288003A (ja) * | 2009-06-10 | 2010-12-24 | Sanyo Electric Co Ltd | 動き検出装置 |
JP5829612B2 (ja) * | 2009-10-22 | 2015-12-09 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | 標本からの画像の順位付けされたスタックの整列 |
JP5424835B2 (ja) * | 2009-11-30 | 2014-02-26 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
US8478071B2 (en) * | 2009-12-16 | 2013-07-02 | Nvidia Corporation | System and method for constructing a motion-compensated composite image |
KR101710624B1 (ko) | 2010-07-27 | 2017-02-27 | 삼성전자주식회사 | 객체의 모션 벡터를 이용하여 자동 촬영 기능을 수행하는 디지털 영상 촬영 방법, 디지털 영상 촬영 장치 및 상기 방법을 기록한 기록 매체 |
JP5708097B2 (ja) * | 2011-03-18 | 2015-04-30 | 株式会社リコー | 撮像装置、撮像方法、及び撮像プログラム |
JP5744614B2 (ja) * | 2011-04-28 | 2015-07-08 | オリンパス株式会社 | 画像処理装置、画像処理方法、および、画像処理プログラム |
JP2013041387A (ja) * | 2011-08-15 | 2013-02-28 | Sony Corp | 画像処理装置、画像処理方法、撮像装置、電子機器、及び、プログラム |
JP5820720B2 (ja) * | 2011-12-27 | 2015-11-24 | オリンパス株式会社 | 撮像装置 |
US9055223B2 (en) * | 2013-03-15 | 2015-06-09 | Samsung Electronics Co., Ltd. | Digital image stabilization method and imaging device using the same |
US20150103190A1 (en) * | 2013-10-16 | 2015-04-16 | DigitalOptics Corporation Europe Limited | Image acquisition method and apparatus with mems optical image stabilization (ois) |
JP6522539B2 (ja) * | 2016-03-18 | 2019-05-29 | 富士フイルム株式会社 | 内視鏡システム及びその作動方法 |
CN109712193B (zh) * | 2018-12-04 | 2021-06-15 | 浙江大华技术股份有限公司 | 一种球机视场角的确定方法及装置 |
JP7059239B2 (ja) * | 2019-11-15 | 2022-04-25 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、プログラムおよび記録媒体 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06121218A (ja) * | 1992-10-05 | 1994-04-28 | Sanyo Electric Co Ltd | 動きベクトル検出方法 |
JPH09261526A (ja) | 1996-03-19 | 1997-10-03 | Olympus Optical Co Ltd | 撮像装置 |
JP2000217032A (ja) | 1999-01-21 | 2000-08-04 | Sony Corp | 画像信号処理装置および方法 |
JP3530906B2 (ja) * | 2001-03-30 | 2004-05-24 | ミノルタ株式会社 | 結像位置検出プログラムおよびカメラ |
JP2004221992A (ja) | 2003-01-15 | 2004-08-05 | Canon Inc | 撮影装置およびプログラム |
US7295232B2 (en) | 2003-01-15 | 2007-11-13 | Canon Kabushiki Kaisha | Camera and program |
JP4418632B2 (ja) * | 2003-01-15 | 2010-02-17 | キヤノン株式会社 | 撮影装置、合成画像生成方法およびプログラム |
WO2005093654A2 (en) * | 2004-03-25 | 2005-10-06 | Fatih Ozluturk | Method and apparatus to correct digital image blur due to motion of subject or imaging device |
JP4367264B2 (ja) * | 2004-07-12 | 2009-11-18 | セイコーエプソン株式会社 | 画像処理装置、画像処理方法、および、画像処理プログラム |
JP2006074693A (ja) | 2004-09-06 | 2006-03-16 | Toshiba Corp | 撮像装置 |
JP4483501B2 (ja) * | 2004-09-22 | 2010-06-16 | 株式会社ニコン | 静止画を動画再生するための前処理を行う画像処理装置、プログラム、および方法 |
JP4562182B2 (ja) * | 2005-03-07 | 2010-10-13 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
JP4496537B2 (ja) * | 2005-03-24 | 2010-07-07 | カシオ計算機株式会社 | 画像合成装置および画像合成処理プログラム |
US7557832B2 (en) * | 2005-08-12 | 2009-07-07 | Volker Lindenstruth | Method and apparatus for electronically stabilizing digital images |
US7623683B2 (en) * | 2006-04-13 | 2009-11-24 | Hewlett-Packard Development Company, L.P. | Combining multiple exposure images to increase dynamic range |
-
2006
- 2006-08-31 JP JP2006235671A patent/JP4762089B2/ja not_active Expired - Fee Related
-
2007
- 2007-08-31 US US11/848,887 patent/US7956897B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US7956897B2 (en) | 2011-06-07 |
JP2008060927A (ja) | 2008-03-13 |
US20080056613A1 (en) | 2008-03-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4762089B2 (ja) | 画像合成装置及び方法並びに撮像装置 | |
JP4806329B2 (ja) | 撮像装置及び撮像方法 | |
US8593533B2 (en) | Image processing apparatus, image-pickup apparatus, and image processing method | |
JP4775700B2 (ja) | 画像処理装置及び画像処理方法 | |
KR101062502B1 (ko) | 패닝화상을 촬상하기 위한 패닝모드를 구비한 촬상장치 | |
JP5341010B2 (ja) | 画像処理装置、撮像装置、プログラム及び画像処理方法 | |
US7929611B2 (en) | Frame rate converting apparatus, pan/tilt determining apparatus, and video apparatus | |
JP5643563B2 (ja) | 画像処理装置及びその制御方法 | |
JP2004343483A (ja) | 手振れ補正装置および方法、手振れ検出装置 | |
US20090033773A1 (en) | Imaging apparatus, noise reduction apparatus, noise reduction method, and noise reduction program | |
WO2011090107A1 (ja) | 画像処理装置、撮像装置、プログラム及び画像処理方法 | |
EP1882359A2 (en) | Dual path image sequence stabilization | |
JP2004221838A (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
JP5513978B2 (ja) | 撮像装置、集積回路および画像処理方法 | |
JP4420906B2 (ja) | 撮像装置 | |
US9978128B2 (en) | Image processing appartatus and method, recording medium storing image processing program readable by computer, and imaging apparatus | |
JP2008236289A (ja) | 撮像装置 | |
JP2008271529A (ja) | 撮像装置 | |
WO2011021235A1 (ja) | 画像処理方法および画像処理装置 | |
US20060087569A1 (en) | Image apparatus and method and program for producing interpolation signal | |
JP6037224B2 (ja) | 画像処理装置、撮像装置、およびプログラム | |
JP2006229868A (ja) | 画像処理装置及び方法、動き検出装置及び方法 | |
JP4771896B2 (ja) | 動き検出装置及び方法並びに撮像装置 | |
JP2006135823A (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
JP2007020087A (ja) | 撮像装置及び撮像方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090807 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101224 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110215 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110411 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110510 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110607 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140617 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140617 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140617 Year of fee payment: 3 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140617 Year of fee payment: 3 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |