JP5226705B2 - 画像合成装置、画像合成方法、画像合成プログラム及び集積回路並びに撮像システム及び撮像方法 - Google Patents

Description

本発明は、連続撮影された複数枚の撮影画像を利用して合成画像を生成する技術に関する。

従来のデジタルスチルカメラなどの撮像装置の中には、複数枚の画像を連続撮影する機能を備え、更に、連続撮影した全部又は一部枚数の画像を合成して静止画像を生成する機能を備えたものがある。なお、以下において、「連続撮影」を「連写」と言う。例えば、特許文献１には、連写した複数枚の画像を一時バッファに記録しておき、一時バッファに記録された一部枚数の画像を合成することによって、シャッター速度を変えた静止画像と等価な合成画像を生成する手法が開示されている。なお、「シャッター速度」は、「露光時間」、つまり、「露光している露光区間の時間幅」に該当する。

特開２００５−８６２２８号公報

ところで、連写される時間間隔（以下、「連写間隔」と言う。）がシャッター速度より長い場合、露光している露光区間と次の露光区間との間に露光していない区間（以下、「無撮影区間」と言う。）が存在することになる（図１（ｂ）参照）。
しかしながら、特許文献１に開示された手法では連写された複数枚の撮影画像を単に画像合成しているに過ぎないため、シャッター速度より長い連写間隔で連写された複数枚の撮影画像を合成した場合には、無撮影区間の画像が抜けた画像、つまりストロボ合成のような画像になる。このように、連写された複数枚の撮影画像から、実際のシャッター速度より遅いシャッター速度の静止画像に近似した合成画像を生成できないという問題がある。

上記の問題は連写間隔とシャッター速度とを略同じになるように調整して連写すれば解消されるものの、以下の通り、両者を同じになるように調整できるとは限らない。連写間隔は撮像装置の性能により制約されるために、特に日中のような明るい場所で撮影する場合には、絞りを限界まで絞っても露出を合わせるためにシャッター速度を連写間隔より短くせざるを得ないことがある。

そこで、本発明は、露光時間より長い時間間隔で連続撮影された撮影画像から、実際の露光時間より長い露光時間で撮影されたなら得られるであろう静止画像に近似した合成画像を生成可能な画像合成装置、画像合成方法、画像合成プログラム及び集積回路並びに撮像システム及び撮像方法を提供することを目的とする。

上記目的を達成するために本発明の画像合成装置は、所定の時間間隔で連続撮影された撮影画像を利用して所定の時間区間に係る合成画像を生成する画像合成装置であって、露光する露光区間と次の露光区間との間の無撮影区間を補間するための補間画像を、当該無撮影区間に時間的に隣接する双方の露光区間の撮影画像に基づいて生成する補間部と、所定の時間区間において撮影された撮影画像と当該時間区間の前記補間部によって生成された補間画像とに基づいて撮影画像と補間画像との同じ位置の画素が重なるように当該所定の時間区間に係る合成画像を生成する合成部と、を備える。

また、本発明の画像合成方法は、所定の時間間隔で連続撮影された撮影画像を利用して所定の時間区間に係る合成画像を生成する画像合成方法であって、露光する露光区間と次の露光区間との間の無撮影区間を補間するための補間画像を、当該無撮影区間に時間的に隣接する双方の露光区間の撮影画像に基づいて生成する補間ステップと、所定の時間区間において撮影された撮影画像と当該時間区間の前記補間ステップにおいて生成された補間画像とに基づいて撮影画像と補間画像との同じ位置の画素が重なるように当該所定の時間区間に係る合成画像を生成する合成ステップと、を有する。

更に、本発明の画像合成プログラムは、所定の時間間隔で連続撮影された撮影画像を利用して所定の時間区間に係る合成画像を生成する画像合成装置としてのコンピュータに、露光する露光区間と次の露光区間との間の無撮影区間を補間するための補間画像を、当該無撮影区間に時間的に隣接する双方の露光区間の撮影画像に基づいて生成する補間ステップと、所定の時間区間において撮影された撮影画像と当該時間区間の前記補間ステップにおいて生成された補間画像とに基づいて撮影画像と補間画像との同じ位置の画素が重なるように当該所定の時間区間に係る合成画像を生成する合成ステップと、を実行させる。

更に、本発明の集積回路は、所定の時間間隔で連続撮影された撮影画像を利用して所定の時間区間に係る合成画像を生成する集積回路であって、露光する露光区間と次の露光区間との間の無撮影区間を補間するための補間画像を、当該無撮影区間に時間的に隣接する双方の露光区間の撮影画像に基づいて生成する補間回路と、所定の時間区間において撮影された撮影画像と当該時間区間の前記補間回路によって生成された補間画像とに基づいて撮影画像と補間画像との同じ位置の画素が重なるように当該所定の時間区間に係る合成画像を生成する合成回路と、を備える。

上記の画像合成装置、画像合成方法、画像合成プログラム及び集積回路の夫々によれば、無撮影区間を補間するための補間画像が当該無撮影区間に時間的に隣接する双方の露光区間の撮影画像に基づいて作成され、撮影画像に補間画像を加えて合成画像の生成が行われる。このため、露光区間の時間幅（露光時間）より長い時間間隔で連続撮影された撮影画像から、実際の露光時間より長い露光時間で撮影されたならば得られるであろう静止画像に近似した合成画像の生成が可能になる。

上記の画像合成装置において、前記補間部は前記無撮影区間の全てが補間されるように１枚以上の補間画像を生成するようにしてもよい。
これによれば、無撮影区間の全時間が補間画像で埋められるため、時間抜けのない合成画像が得られる。
上記の画像合成装置において、前記無撮影区間の時間幅が前記露光区間の時間幅のＮ（Ｎは正の整数）倍である場合、前記補間部はＮ枚の補間画像を生成するようにしてもよい。

これによれば、無撮影区間の全てが補間画像で埋められ、且つ、撮影画像と補間画像とが時間的に重複することなく、また１つの無撮影区間に２枚以上の補間画像が生成される場合には補間画像同士も時間的に重複することなく、合成画像が生成される。このため、時間区間と同じ露光時間で撮影された静止画像と略等価な合成画像の生成が可能になる。
上記の画像合成装置において、前記無撮影区間の時間幅が前記露光区間の時間幅の正の整数倍でない場合、前記補間部は、前記露光区間の時間幅の（Ｎ−１）倍が前記無撮影区間の時間幅より小さく且つ前記露光区間の時間幅のＮ倍が前記無撮影区間の時間幅より大きくなるような正の整数のＮを求め、Ｎ枚の補間画像を生成するようにしてもよい。

これによれば、撮影画像と補間画像とが時間的に重複する期間を最小限に抑えつつ、また、１つの無撮影区間に２枚以上の補間画像が生成される場合には補間画像同士が時間的に重複する期間も最小限に抑えつつ、無撮影区間の全てが補間画像で埋められた合成画像が生成される。このため、時間区間と同じ露光時間で撮影されたなら得られるはずの静止画像に対して時間抜けがなく重複期間の少ない合成画像の生成が可能になる。

上記の画像合成装置において、前記補間部は、前記補間画像の生成を、前記双方の露光区間の撮影画像間で動いている部分の各前記撮影画像の夫々における位置及び前記無撮影区間に補間する補間画像の枚数に基づいて、前記補間画像における当該動いている部分の位置を決定することによって行うようにしてもよい。
これによれば、補間画像の生成を簡易に行うことが可能になる。

本発明の撮像システムは、撮像部と、連続撮影を行う時間間隔が露光する露光区間の時間幅の正の整数倍になるように前記撮像部の連続撮影を制御する制御部と、露光区間と次の露光区間との間の無撮影区間に補間する補間画像を、当該無撮影区間に時間的に隣接する双方の露光区間の撮影画像に基づいて生成する補間部と、所定の時間区間において撮影された撮影画像と当該時間区間の前記補間部によって生成された補間画像とに基づいて撮影画像と補間画像との同じ位置の画素が重なるように当該所定の時間区間に係る合成画像を生成する合成部と、を備える。

また、本発明の撮像方法は、連続撮影を行う時間間隔が露光する露光区間の時間幅の正の整数倍になるように撮像部の連続撮影を制御する制御ステップと、露光区間と次の露光区間との間の無撮影区間に補間する補間画像を、当該無撮影区間に時間的に隣接する双方の露光区間の撮影画像に基づいて生成する補間ステップと、所定の時間区間において撮影された撮影画像と当該時間区間の前記補間ステップにおいて生成された補間画像とに基づいて撮影画像と補間画像との同じ位置の画素が重なるように当該所定の時間区間に係る合成画像を生成する合成ステップと、有する。

上記の撮像システム及び撮像方法によれば、連続撮影は無撮影区間が存在する場合には無撮影区間の時間幅が露光区間の時間幅の整数倍で行われる。このため、無撮影区間の全てが補間画像で埋められ、且つ、撮影画像と補間画像とが時間的に重複することのない、また、１つの無撮影区間に２枚以上の補間画像が生成される場合には補間画像同士も時間的に重複することのない、合成画像の生成が可能になる。

連写間隔とシャッター解放期間との関係を説明するための図。 （ａ）は第１の実施の形態の撮像装置の正面図であり、（ｂ）は撮像装置の背面図。 図２の撮像装置の機能ブロック図。 図３のフレーム補間回路による補間画像の生成処理の説明図。 図３の撮像装置が行う画像合成処理の流れを示すフローチャート。 図５の画像合成処理中に表示される合成開始位置及び合成終了位置を設定するためのＧＵＩの一例を示す図。 図３の撮像装置が行う画像合成処理の一例を示す図。 図３の撮像装置が行う画像合成処理の他の例を示す図。 図３の撮像装置が行う画像合成処理の更に他の例を示す図。 第２の実施の形態の撮像装置の機能ブロック図。 図１０の撮像装置が行う連写処理の流れを示すフローチャート。 図１１の連写処理中に表示される連写間隔を設定するためのＧＵＩの一例を示す図。

≪第１の実施の形態≫
以下、本発明の第１の実施の形態に係る撮像装置について図面を参照しつつ説明する。
＜連写間隔とシャッター開放期間との関係＞
本実施の形態の撮像装置１の構成及び動作を説明する前に、まず連写間隔とシャッター開放期間との関係について図１を参照しつつ説明する。図１は連写間隔とシャッター開放期間との関係を説明するための図である。なお、「連写間隔」は「連続撮影される時間間隔」に該当する。「シャッター開放期間」は露光している「露光時間」に該当し、その時間区間が「露光区間」に該当する。露光区間と次の露光区間との間のシャッターが解放していない時間区間、つまり露光していない時間区間が「無撮影区間」に該当する。

図１（ａ）は連写間隔Δｔとシャッター開放期間Δｔ’とが等しい場合の両者の関係を示している。連写間隔Δｔとシャッター開放期間Δｔ’とが等しい場合（Δｔ＝Δｔ’）、露光区間が時間的に連続し、無撮影区間が存在しない。
図１（ｂ）は連写間隔Δｔがシャッター開放期間Δｔ’より長い場合の両者の関係を示している。連写間隔Δｔがシャッター開放期間Δｔ’より長い場合（Δｔ＞Δｔ’）、露光区間と次の露光区間との間にはシャッターが解放していない、つまり露光していない期間Δｔ−Δｔ’の無撮影区間が存在する。

但し、本発明の主眼は、露光時間より長い時間間隔で連続撮影された撮影画像から所定の時間区間に係る合成画像を生成するところにある。このことから、以下では、主に、連続撮影される「時間間隔」に相当する「連写間隔」が「露光している露光区間の時間幅（露光時間）」に相当する「シャッター開放期間」より長い場合について記述する。なお、無撮影区間を補間するための画像を「補間画像」と言う。

＜撮像装置の外観＞
本実施の形態の撮像装置１の外観について図２を参照しつつ説明する。図２（ａ）は本実施の形態の撮像装置１の正面図であり、（ｂ）はその背面図である。
撮像装置１の上面には、撮影指示用の撮影ボタン２、連写撮影設定用の連写モードスイッチ３及びモードダイヤル４が設けられ、その正面にはレンズ５が設けられている。また、撮像装置１の背面には、ピント露出固定ボタン６、機能ボタン７、センターキー８ａ及び上下左右方向のプッシュキー８ｂ〜８ｅが設けられ、更に液晶モニタ９が設けられている。

＜撮像装置の機能構成＞
図２の撮像装置１は、無撮影区間を補間するための１枚以上の補間画像を当該無撮影区間に時間的に隣接する双方の露光区間の撮影画像を用いて生成する。そして、撮像装置１は、所定の時間区間内の撮影画像及び補間画像を用いて当該所定の時間区間に係る合成画像を生成する。但し、所定の時間区間は本実施の形態ではユーザが指定するものとし、以下において、「所定の時間区間」を「画像合成区間」と言う。

以下、図２の撮像装置１の機能構成について図３を参照しつつ説明する。図３は図２の撮像装置１の機能ブロック図である。
撮像装置１は、ＣＰＵ（Central Processing Unit）５１と、メモリ５２と、主レンズ５３ａ、ズームレンズ５３ｂ及び絞り５３ｃを有する撮像光学系機構５３と、フォーカス駆動回路５４と、ズーム駆動回路５５と、絞り駆動回路５６と、撮像素子５７と、撮影制御回路５８と、フロントエンド部５９と、ＤＳＰ（Digital Signal Processor）６０と、フレーム補間回路６１と、フレーム合成回路６２と、圧縮伸張回路６３と、ＳＤカードやコンパクトフラッシュ（登録商標）メモリなどのメモリカード６４とを備える。

ＣＰＵ５１は、撮像装置１全体の制御を行う。メモリ５２は例えば半導体メモリであり、メモリ５２には撮像装置１を制御するための各種制御プログラムや各種アプリケーションプログラムなどが記録されている。また、メモリ５２には画像データなどが記録される。
フォーカス駆動回路５４、ズーム駆動回路５５及び絞り駆動回路５６はＣＰＵ５１によって制御される。また、撮像光学系機構５３の主レンズ５３ａはフォーカス駆動回路５４によって駆動され、ズームレンズ５３ｂはズーム駆動回路５５によって駆動され、絞り５３ｃは絞り駆動回路５７によって駆動される。被写体から入射された光は主レンズ５３ａ、ズームレンズ５３ｂ及び絞り５３ｃを介して撮像素子５７に導かれる。

撮像素子５７は、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどで構成される。撮影制御回路５８は例えば連写時にはＣＰＵ５１によって連写間隔Δｔ及びシャッター開放期間Δｔ’が設定され、設定された連写間隔Δｔ及びシャッター開放期間Δｔ’に従って撮像素子５７の制御を行う。これによって、撮像素子５７は連写時には連写間隔Δｔでシャッター開放期間Δｔ’に従った電荷の蓄積及び蓄積した電荷量に応じたアナログ値の出力を行う。

フロントエンド部５９は、撮像素子５７から出力されたアナログ値をデジタルデータに変換し、デジタルデータを出力する。ＤＳＰ６０は、フロントエンド部５９から出力されたデジタルデータを加工してＲＧＢ、ＹＣｂＣｒ、ＹＵＶなどの色空間で表現される画像データ（以下、「撮影画像データ」と言う。）に変換し、撮影画像データをメモリ５２に記録する。なお、撮影画像データは撮影画像の各画素の画素値の情報を有する。

フレーム補間回路６１は、無撮影区間を補間するための補間画像の画像データ（以下、「補間画像データ」と言う。）を、当該無撮影区間に時間的に隣接する双方の撮影区間のメモリ５２に記録されている撮影画像の撮影画像データを用いて生成し、生成した補間画像データをメモリ５２に記録する。なお、補間画像データは撮影画像の各画素の夫々に対応する画素の画素値の情報を有する。

フレーム合成回路６２は、画像合成区間内の撮影画像と補間画像との同じ位置の画素が重なるようにして画像合成区間に係る合成画像を生成するものである。具体的には、フレーム合成回路６２は、画素毎に、メモリ５２に記録されている画像合成区間内の撮影画像の撮影画像データと補間画像の補間画像データとを加算し、加算して得られたデータを画像合成区間内の撮影画像及び補間画像の合計枚数で除算することによって合成画像の画像データ（以下、「合成画像データ」と言う。）を生成し、生成した合成画像データをメモリ５２に記録する。なお、合成画像データは撮影画像の各画素の夫々に対応する画素値の情報を有する。

なお、フレーム補間回路６１による補間画像の生成処理の詳細については図４を用いて後述する。また、撮影画像から合成画像の生成に至るまでのフレーム補間回路６１及びフレーム合成回路６２の処理動作については図５及び図６を用いて後述し、その具体例については図７から図９を用いて後述する。
圧縮伸張回路６３は、メモリ５２或いはメモリカード６４に記録されているデータの圧縮或いは伸張を行い、その処理に得られたデータをメモリ５２或いはメモリカード６４に記録する。

＜補間画像の生成＞
以下、フレーム補間回路６１が行う補間画像の生成処理について図４を参照しつつ説明する。図４は図３のフレーム補間回路６１が行う補間画像の生成処理を説明するための図である。但し、連続する露光区間の撮影画像をＰＡ，ＰＢとし、連写間隔をΔｔ、シャッター開放期間をΔｔ’とする。なお、連写間隔Δｔはシャッター開放期間Δｔ’より長いものとする（Δｔ＞Δｔ’）。

フレーム補間回路６１は、連写間隔Δｔとシャッター開放期間Δｔ’とを用いて１つの無撮影区間に対して補間する補間画像の枚数（以下、「補間枚数」と言う。）を計算する。例えば、フレーム補間回路６１は、連写間隔Δｔからシャッター開放期間Δｔ’を減算することによって無撮影区間の時間幅Δｔ−Δｔ’を算出し、続いて、（Ｎ−１）×Δｔ’＜Δｔ−Δｔ’≦Ｎ×Δｔ’を満たすＮ（Ｎは正の整数）を求め、求めたＮを補間枚数とする。

但し、無撮影区間の時間幅が露光区間の時間幅のＮ（Ｎは正の整数）倍である場合には、フレーム補間回路６１は１つ無撮影区間を補間するための補間枚数をＮ枚とし、Ｎ枚の補間画像を生成することになる。また、無撮影区間の時間幅が露光区間の時間幅の正の整数倍でない場合、フレーム補間回路６１は露光区間の時間幅の（Ｎ−１）倍が無撮影区間の時間幅より小さく且つ露光区間の時間幅のＮ倍が無撮影区間の時間幅より大きくなるような正の整数のＮを求め、Ｎ枚の補間画像を生成することになる。更に、連写間隔Δｔとシャッター開放期間Δｔ’とが等しい場合（Δｔ＝Δｔ’）、フレーム補間回路６１は補間枚数Ｎとして０を求め、補間画像の生成を行わない。

フレーム補間回路６１は、撮影画像ＰＡと撮影画像ＰＢとを用いて動き探索を行い、撮影画像ＰＡと撮影画像ＰＢとの間で動いている部分を見つける。但し、動き探索の方法としては、ＭＰＥＧ（Moving Picture Experts Group）などで利用されている矩形領域毎の差分絶対値和が小さい部分を探索し、差分絶対値和の大小により矩形領域の動きベクトルを推定する方法を利用する。なお、図４の例では、例えば、撮影画像ＰＡの部分Ｐａが撮影画像ＰＢの部分Ｐｂに動いたものとする。

続いて、フレーム補間回路６１は、ｎが１以上Ｎ以下の夫々に関して、検出した動きベクトルをｎ／（Ｎ＋１）倍して動きベクトルの補正を行い、補間画像における動いている部分の位置を補正した動きベクトルの示す位置に決定し、補正した動きベクトルの示す位置に動いている部分が来るように補間画像を生成する。例えば、フレーム補間回路６１は、動いている部分Ｐａがその部分に対応する補正された動きベクトルの示す位置に来るようにして、つまり、図４の部分Ｐａｂに動くようにして、補間画像ＰＡＢを生成する。但し、補間画像ＰＡＢがシャッター開放期間Δｔ’の撮影画像ＰＡ，ＰＢから生成される場合には、補間画像ＰＡＢはシャッター開放期間がΔｔ’である画像に相当する。

なお、補間画像の生成手法は、上述した手法に限らず、補間画像を生成可能な手法であれば特に限定されるものではない。
＜撮像装置の動作＞
以下、図３の撮像装置１が行う連写処理、及び画像合成処理について説明する。
［撮影処理］
図３の撮像装置１が行う連写処理について説明する。

ユーザ操作によって連写モードスイッチ３が連写モードの位置に動かされると、ＣＰＵ５１は撮影制御回路５８に連写間隔Δｔ及びシャッター開放期間Δｔ’を設定し、絞り駆動回路５６を制御して絞り５３ｃの調節を行う。
ユーザ操作によって撮影ボタン２が押下されると、ＣＰＵ５１は撮影制御回路５８に対して撮影開始を指示し、撮影素子５７は撮影制御回路５８に制御されて連写間隔Δｔ及びシャッター開放期間Δｔ’に従って電荷の蓄積及び蓄積した電荷量に応じたアナログ値の出力を行う。フロントエンド部５９は撮像素子５７から出力されたアナログ値をデジタルデータに変換して出力し、ＤＳＰ６０はフロントエンド部５９から出力されたデジタルデータを色空間で表現される撮影画像データに変換してメモリ５２に記録する。この処理はユーザが撮影ボタン２の押下をやめて、又は、メモリ５２がいっぱいになって、ＣＰＵ５１が撮影制御回路５８に対して撮像終了を指示するまで行われる。

これによって、連写間隔Δｔ、シャッター開放期間Δｔ’で連写された複数枚の撮像画像の撮像画像データがメモリ５２に記録されることになる。但し、撮像画像から合成画像を生成する際に連写間隔Δｔ及びシャッター開放期間Δｔ’が利用されるため、撮像画像データ群に対して連写間隔Δｔ及びシャッター開放期間Δｔ’が対応付けてメモリ５２に記録される。

［画像合成処理］
図３の撮像装置１が行う画像合成処理について図５を参照しつつ説明する。図５は図３の撮像装置１が行う画像合成処理の流れを示すフローチャートである。
ＣＰＵ５１は、ユーザが機能ボタン７、センターキー８ａ及び上下左右方向のプッシュキー８ｂ〜８ｅを利用して画像合成の指示操作を行ったかを判定する（ステップＳ１１）。ＣＰＵ５１は、ユーザが画像合成の指示操作を行うまで（Ｓ１１：ＮＯ）、ステップＳ１１の処理を行う。

一方、ユーザが画像合成の指示操作を行うと（Ｓ１１：ＹＥＳ）、ＣＰＵ５１は、ユーザから画像合成区間の開始位置と終了位置とを受け付け、フレーム合成回路６２に対してユーザから受け付けた画像合成区間の開始位置と終了位置との設定を行う（ステップＳ１２）。ユーザからの画像合成区間の開始位置と終了位置との受け付けは、例えば、画像合成区間の開始位置と終了位置とを指定するための図６に一例を示すＧＵＩを液晶モニタ９に表示し、このＧＵＩを利用したユーザ操作を受け付けることによって行われる。図６において、Ｐ１〜Ｐ５は撮影画像のアイコンを示し、Ｓ及びＥは夫々画像合成区間の開始位置及び終了位置の指定用のポインタを示す。図６に一例を示すＧＵＩでは、時間軸に撮像画像のアイコンを表示して、ユーザが表示中のアイコンを指定すれば対応する撮影画像が表示され、ユーザはポインタＳ及びＥを移動させることによって、画像合成区間の開始位置と終了位置とを指定することができるようになっている。なお、画像合成区間の開始位置及び終了位置の設定方法は、これに限られるものではなく、例えば撮影画像の何枚目から何枚目までを合成するかを指定する方法であってもよい。

フレーム補間回路６１は、メモリ５２に記録されている連写間隔Δｔとシャッター開放期間Δｔ’とから１つの無撮影区間を補間するための補間画像の補間枚数Ｎを計算する（ステップＳ１３）。
フレーム合成回路６２は、ステップＳ１２で設定された画像合成区間の開始位置及び終了位置と、ステップＳ１３で計算された補間枚数Ｎから、画像合成する撮影画像及び補間画像の合計枚数（以下、「合成画像枚数」と言う。）ＮＴを計算する（ステップＳ１４）。例えば、画像合成区間の最初の撮影画像より前の補間画像の枚数をＮＡ、画像合成区間内の撮影画像の枚数をＮＢ、１つの無撮影区間に補間する補間画像の枚数をＮＣ（ステップＳ１３の計算で求められたＮ）、画像合成区間の最後の撮影画像より後の補間画像の枚数をＮＤとすると、合計枚数ＮＴはＮＡ＋ＮＢ＋ＮＣ×（ＮＢ−１）＋ＮＤである。なお、ユーザ指定された開始位置又は終了位置が撮影画像及び補間画像の先頭位置又は終了位置に一致しない場合には、画像合成区間の開始位置又は終了位置は撮影画像及び補間画像の先頭位置又は終了位置に一致するように補正される。

フレーム合成回路６２は、ループ変数ｉを０に初期化し（ステップＳ１５）、合成画像データＯＵＴをゼロクリアして初期化する（ステップＳ１６）。但し、合成画像データＯＵＴは撮影画像の各画素に対応する画素に係る値を示す。なお、画像合成区間内の撮影画像及び補間画像は時間の早い方からループ変数ｉが０、１、２、・・・、ＮＴ−１に相当する画像であるとする。

フレーム合成回路６２は、ループ変数ｉに相当する画像（以下、「画像ｉ」と言う。）が撮影画像に当たるかを判定する（ステップＳ１７）。画像ｉが撮影画像に当たる場合（Ｓ１７：ＹＥＳ）、フレーム合成回路６２は、画像ｉの撮影画像データを加算画像データＩに設定し（ステップＳ１８）、合成画像データＯＵＴに加算画像データＩを加算し、加算結果を合成画像データＯＵＴとすることによって合成画像データＯＵＴの更新を行う（ステップＳ２２）。なお、各画像（撮影画像、補間画像）間で同じ位置の画素の画素値が加算されるように合成画像データＯＵＴと加算画像データＩとの加算処理は行われる。

一方、画像ｉが撮影画像に当たらない、つまり補間画像に当たる場合には（Ｓ１７：ＮＯ）、フレーム補間回路６１は、画像ｉの補間対象の無撮影区間を特定し、特定した無撮影区間に時間的に隣接する双方の露光区間の撮影画像を特定する（ステップＳ１９）。フレーム補間回路６１は、ステップＳ１９で特定した補間画像生成用の２枚の撮影画像の撮影画像データを用いて画像ｉに相当する補間画像の補間画像データを生成し、生成した補間画像データをメモリ５２に記録する（ステップＳ２０）。なお、画像ｉが補間対象の無撮影区間に補間する何枚目の画像であるかも把握した上でステップＳ２０の処理は行われる。

フレーム合成回路６２は、ステップＳ２０で生成された補間画像の補間画像データを加算画像データＩに設定し（ステップＳ２１）、合成画像データＯＵＴに加算画像データＩを加算し、加算結果を合成画像データＯＵＴとすることによって合成画像データＯＵＴの更新を行う（ステップＳ２２）。なお、各画像（撮影画像、補間画像）間で同じ位置の画素の画素値が加算されるように合成画像データＯＵＴと加算画像データＩとの加算処理は行われる。

フレーム合成回路６２はループ変数ｉに１加算し（ステップＳ２３）、加算後のループ変数ｉが合成画像枚数ＮＴ未満であるかを判定する（ステップＳ２４）。ループ変数ｉが合成画像枚数ＮＴ未満であれば（Ｓ２４：ＹＥＳ）、画像合成区間内の全ての撮影画像及び補間画像の加算が終了していないので、ステップＳ１７の処理が行われる。一方、ループ変数ｉが合成画像枚数ＮＴ未満でなければ（Ｓ２４：ＮＯ）、画像合成区間内の全ての撮影画像及び補間画像の加算が終了したので、フレーム合成回路６２は合成画像データＯＵＴの各画素に対応する値を合成画像枚数ＮＴで除算し、除算結果を合成画像データＯＵＴとすることによって合成画像データＯＵＴの更新を行い、更新後の合成画像データＯＵＴをメモリ５２に記録する（ステップＳ２５）。

このように、合成画像は撮影画像に加えて補間画像も用いて生成されるので、合成画像は画像合成区間の時間幅をシャッター開放期間として撮影された静止画像に近似した画像になる。
＜画像合成処理の例＞
図３の撮像装置１によって行われる画像合成処理の例を図７から図９を参照しつつ説明する。但し、連写間隔の時間幅をＴａ、露光区間の時間幅をＴｂ、無撮影区間の時間幅をＴｃとする。

［画像合成処理の例（その１）］
図７は、連写間隔の時間幅Ｔａが露光区間の時間幅Ｔｂの整数倍である場合における、撮像装置１が行う画像合成処理の一例を示す図である。但し、連写間隔の時間幅Ｔａは露光区間の時間幅Ｔｂの２倍であり（Ｔａ＝２Ｔｂ）、画像合成区間は図７に示す通りであるとする。なお、この例では、無撮影区間の時間幅が露光区間の時間幅の１倍である（Ｔｂ＝Ｔｃ）。

ＣＰＵ５１はフレーム合成回路６２に対して画像合成区間の開始位置と終了位置との設定を行う（ステップＳ１１，Ｓ１２）。フレーム補間回路６１は１つの無撮影区間を補間するための補間画像の補間枚数Ｎを計算し、ここではＮ＝１になる（ステップＳ１３）。また、フレーム合成回路６２は画像合成する撮影画像及び補間画像の合計枚数（合成画像枚数）ＮＴを計算し、ここではＮＴ＝７になる（ステップＳ１４）。フレーム合成回路６２は、ループ変数ｉ及び合成画像データＯＵＴを初期化する（ステップＳ１５，Ｓ１６）。

ループ変数の値“０”に相当する画像は撮影画像Ａ３である（ステップＳ１７のＹＥＳ）ので、フレーム合成回路６２は撮影画像Ａ３の撮影画像データを加算画像データＩとして合成画像データＯＵＴに加算し、合成画像データＯＵＴの更新を行う（ステップＳ１８，Ｓ２２）。
続いて、フレーム合成回路６２は１加算後のループ変数ｉの値“１”が画像合成枚数“７”未満であると判定する（ステップＳ２３、ステップＳ２４のＹＥＳ）。ループ変数の値“１”に相当する画像は撮影画像でない（ステップＳ１７のＮＯ）ので、フレーム補間回路６１は撮影画像Ａ３，Ａ４の撮影画像データから補間画像Ｂ１の補間画像データを生成する（ステップＳ１９，２０）。そして、フレーム合成回路６２は補間画像Ｂ１の補間画像データを加算画像データＩとして合成画像データＯＵＴに加算し、合成画像データＯＵＴの更新を行う（ステップＳ２１，Ｓ２２）。

続いて、フレーム合成回路６２は１加算後のループ変数ｉの値“２”が画像合成枚数“７”未満であると判定する（ステップＳ２３、ステップＳ２４のＹＥＳ）。ループ変数の値“２”に相当する画像は撮影画像Ａ４である（ステップＳ１７のＹＥＳ）ので、フレーム合成回路６２は撮影画像Ａ４の撮影画像データを加算画像データＩとして合成画像データＯＵＴに加算し、合成画像データＯＵＴの更新を行う（ステップＳ１８，Ｓ２２）。

続いて、フレーム合成回路６２は１加算後のループ変数ｉの値“３”が画像合成枚数“７”未満であると判定する（ステップＳ２３、ステップＳ２４のＹＥＳ）。ループ変数の値“３”に相当する画像は撮影画像でない（ステップＳ１７のＮＯ）ので、フレーム補間回路６１は撮影画像Ａ４，Ａ５の撮影画像データから補間画像Ｂ２の補間画像データを生成する（ステップＳ１９，２０）。そして、フレーム合成回路６２は補間画像Ｂ２の補間画像データを加算画像データＩとして合成画像データＯＵＴに加算し、合成画像データＯＵＴの更新を行う（ステップＳ２１，Ｓ２２）。

続いて、フレーム合成回路６２は１加算後のループ変数ｉの値“４”が画像合成枚数“７”未満であると判定する（ステップＳ２３、ステップＳ２４のＹＥＳ）。ループ変数の値“４”に相当する画像は撮影画像Ａ５である（ステップＳ１７のＹＥＳ）ので、フレーム合成回路６２は撮影画像Ａ５の撮影画像データを加算画像データＩとして合成画像データＯＵＴに加算し、合成画像データＯＵＴの更新を行う（ステップＳ１８，Ｓ２２）。

続いて、フレーム合成回路６２は１加算後のループ変数ｉの値“５”が画像合成枚数“７”未満であると判定する（ステップＳ２３、ステップＳ２４のＹＥＳ）。ループ変数の値“５”に相当する画像は撮影画像でない（ステップＳ１７のＮＯ）ので、フレーム補間回路６１は撮影画像Ａ５，Ａ６の撮影画像データから補間画像Ｂ３の補間画像データを生成する（ステップＳ１９，２０）。そして、フレーム合成回路６２は補間画像Ｂ３の補間画像データを加算画像データＩとして合成画像データＯＵＴに加算し、合成画像データＯＵＴの更新を行う（ステップＳ２１，Ｓ２２）。

続いて、フレーム合成回路６２は１加算後のループ変数ｉの値“６”が画像合成枚数“７”未満であると判定する（ステップＳ２３、ステップＳ２４のＹＥＳ）。ループ変数の値“６”に相当する画像は撮影画像Ａ６である（ステップＳ１７のＹＥＳ）ので、フレーム合成回路６２は撮影画像Ａ６の撮影画像データを加算画像データＩとして合成画像データＯＵＴに加算し、合成画像データＯＵＴの更新を行う（ステップＳ１８，Ｓ２２）。なお、合成画像データＯＵＴの画像は図７の合成画像Ｃになる。

続いて、フレーム合成回路６２は１加算後のループ変数ｉの値“７”が画像合成枚数“７”未満でないと判定する（ステップＳ２３、ステップＳ２４のＮＯ）。フレーム合成回路６２は合成画像Ｃの合成画像データＯＵＴを画像合計枚数“７”で除算し、合成画像データＯＵＴの更新を行う（ステップＳ２５）。なお、合成画像データＯＵＴの画像は図７の合成画像Ｄになる。

この例では、合成画像は、画像合成区間内で時間抜けがなく且つ重複期間のない、画像合成区間の時間幅をシャッター開放期間とする静止画像と等価な画像となる。
［画像合成処理の例（その２）］
図８は、連写間隔の時間幅Ｔａが露光区間の時間幅Ｔｂの整数倍である場合における、撮像装置１が行う画像合成処理の他の例を示す図である。但し、連写間隔の時間幅Ｔａは露光区間の時間幅Ｔｂの３倍であり（Ｔａ＝３Ｔｂ）、画像合成区間は図８に示す通りであるとする。なお、この例では、無撮影区間の時間幅が露光区間の時間幅の２倍である（２Ｔｂ＝Ｔｃ）。

ＣＰＵ５１はフレーム合成回路６２に対して画像合成区間の開始位置と終了位置との設定を行う（ステップＳ１１，Ｓ１２）。フレーム補間回路６１は１つの無撮影区間を補間するための補間画像の補間枚数Ｎを計算し、ここではＮ＝２になる（ステップＳ１３）。また、フレーム合成回路６２は画像合成する撮影画像及び補間画像の合計枚数（合成画像枚数）ＮＴを計算し、ここではＮＴ＝８になる（ステップＳ１４）。フレーム合成回路６２は、ループ変数ｉ及び合成画像データＯＵＴを初期化する（ステップＳ１５，Ｓ１６）。

ループ変数の値“０”に相当する画像は撮影画像Ｅ２である（ステップＳ１７のＹＥＳ）ので、フレーム合成回路６２は撮影画像Ｅ２の撮影画像データを加算画像データＩとして合成画像データＯＵＴに加算し、合成画像データＯＵＴの更新を行う（ステップＳ１８，Ｓ２２）。
続いて、フレーム合成回路６２は１加算後のループ変数ｉの値“１”が画像合成枚数“８”未満であると判定する（ステップＳ２３、ステップＳ２４のＹＥＳ）。ループ変数の値“１”に相当する画像は撮影画像でない（ステップＳ１７のＮＯ）ので、フレーム補間回路６１は撮影画像Ｅ２，Ｅ３の撮影画像データから補間画像Ｆ１の補間画像データを生成する（ステップＳ１９，２０）。そして、フレーム合成回路６２は補間画像Ｆ１の補間画像データを加算画像データＩとして合成画像データＯＵＴに加算し、合成画像データＯＵＴの更新を行う（ステップＳ２１，Ｓ２２）。

続いて、フレーム合成回路６２は１加算後のループ変数ｉの値“２”が画像合成枚数“８”未満であると判定する（ステップＳ２３、ステップＳ２４のＹＥＳ）。ループ変数の値“２”に相当する画像は撮影画像でない（ステップＳ１７のＮＯ）ので、フレーム補間回路６１は撮影画像Ｅ２，Ｅ３の撮影画像データから補間画像Ｆ２の補間画像データを生成する（ステップＳ１９，２０）。そして、フレーム合成回路６２は補間画像Ｆ２の補間画像データを加算画像データＩとして合成画像データＯＵＴに加算し、合成画像データＯＵＴの更新を行う（ステップＳ２１，Ｓ２２）。

続いて、フレーム合成回路６２は１加算後のループ変数ｉの値“３”が画像合成枚数“８”未満であると判定する（ステップＳ２３、ステップＳ２４のＹＥＳ）。ループ変数の値“３”に相当する画像は撮影画像Ｅ３である（ステップＳ１７のＹＥＳ）ので、フレーム合成回路６２は撮影画像Ｅ３の撮影画像データを加算画像データＩとして合成画像データＯＵＴに加算し、合成画像データＯＵＴの更新を行う（ステップＳ１８，Ｓ２２）。

続いて、フレーム合成回路６２は１加算後のループ変数ｉの値“４”が画像合成枚数“８”未満であると判定する（ステップＳ２３、ステップＳ２４のＹＥＳ）。ループ変数の値“４”に相当する画像は撮影画像でない（ステップＳ１７のＮＯ）ので、フレーム補間回路６１は撮影画像Ｅ３，Ｅ４の撮影画像データから補間画像Ｆ３の補間画像データを生成する（ステップＳ１９，２０）。そして、フレーム合成回路６２は補間画像Ｆ３の補間画像データを加算画像データＩとして合成画像データＯＵＴに加算し、合成画像データＯＵＴの更新を行う（ステップＳ２１，Ｓ２２）。

続いて、フレーム合成回路６２は１加算後のループ変数ｉの値“５”が画像合成枚数“８”未満であると判定する（ステップＳ２３、ステップＳ２４のＹＥＳ）。ループ変数の値“５”に相当する画像は撮影画像でない（ステップＳ１７のＮＯ）ので、フレーム補間回路６１は撮影画像Ｅ３，Ｅ４の撮影画像データから補間画像Ｆ４の補間画像データを生成する（ステップＳ１９，２０）。そして、フレーム合成回路６２は補間画像Ｆ４の補間画像データを加算画像データＩとして合成画像データＯＵＴに加算し、合成画像データＯＵＴの更新を行う（ステップＳ２１，Ｓ２２）。

続いて、フレーム合成回路６２は１加算後のループ変数ｉの値“６”が画像合成枚数“８”未満であると判定する（ステップＳ２３、ステップＳ２４のＹＥＳ）。ループ変数の値“６”に相当する画像は撮影画像Ｅ４である（ステップＳ１７のＹＥＳ）ので、フレーム合成回路６２は撮影画像Ｅ４の撮影画像データを加算画像データＩとして合成画像データＯＵＴに加算し、合成画像データＯＵＴの更新を行う（ステップＳ１８，Ｓ２２）。

続いて、フレーム合成回路６２は１加算後のループ変数ｉの値“７”が画像合成枚数“８”未満であると判定する（ステップＳ２３、ステップＳ２４のＹＥＳ）。ループ変数の値“７”に相当する画像は撮影画像でない（ステップＳ１７のＮＯ）ので、フレーム補間回路６１は撮影画像Ｅ４，Ｅ５の撮影画像データから補間画像Ｆ５の補間画像データを生成する（ステップＳ１９，２０）。そして、フレーム合成回路６２は補間画像Ｆ５の補間画像データを加算画像データＩとして合成画像データＯＵＴに加算し、合成画像データＯＵＴの更新を行う（ステップＳ２１，Ｓ２２）。なお、合成画像データＯＵＴの画像は図８の合成画像Ｇになる。

続いて、フレーム合成回路６２は１加算後のループ変数ｉの値“８”が画像合成枚数“８”未満でないと判定する（ステップＳ２３、ステップＳ２４のＮＯ）。フレーム合成回路６２は合成画像Ｇの合成画像データＯＵＴを画像合計枚数“８”で除算し、合成画像データＯＵＴの更新を行う（ステップＳ２５）。なお、合成画像データＯＵＴの画像は図８の合成画像Ｈになる。

この例では、合成画像は、画像合成区間内で時間抜けがなく且つ重複期間のない、画像合成区間の時間幅をシャッター開放期間とする静止画像と等価な画像となる。
［画像合成処理の例（その３）］
図９は、連写間隔の時間幅Ｔａが露光区間の時間幅Ｔｂの整数倍でない場合における、撮像装置１が行う画像合成処理の一例を示す図である。但し、連写間隔の時間幅Ｔａは露光区間の時間幅Ｔｂの３倍より大きく、且つ４倍より小さく（３Ｔｂ＜Ｔａ＜４Ｔｂ）、画像合成区間は図９に示す通りであるとする。なお、この例では、無撮影区間の時間幅Ｔｃが露光区間の時間幅Ｔｂの２倍より大きく、３倍より小さい（２Ｔｂ＜Ｔｃ＜３Ｔｂ）。

ＣＰＵ５１はフレーム合成回路６２に対して画像合成区間の開始位置と終了位置との設定を行う（ステップＳ１１，Ｓ１２）。フレーム補間回路６１は１つの無撮影区間を補間するための補間画像の補間枚数Ｎを計算し、ここではＮ＝３になる（ステップＳ１３）。また、フレーム合成回路６２は画像合成する撮影画像及び補間画像の合計枚数（合成画像枚数）ＮＴを計算し、ここではＮＴ＝９になる（ステップＳ１４）。フレーム合成回路６２は、ループ変数ｉ及び合成画像データＯＵＴを初期化する（ステップＳ１５，Ｓ１６）。

ループ変数の値“０”に相当する画像は撮影画像Ｉ２である（ステップＳ１７のＹＥＳ）ので、フレーム合成回路６２は撮影画像Ｉ２の撮影画像データを加算画像データＩとして合成画像データＯＵＴに加算し、合成画像データＯＵＴの更新を行う（ステップＳ１８，Ｓ２２）。
続いて、フレーム合成回路６２は１加算後のループ変数ｉの値“１”が画像合成枚数“９”未満であると判定する（ステップＳ２３、ステップＳ２４のＹＥＳ）。ループ変数の値“１”に相当する画像は撮影画像でない（ステップＳ１７のＮＯ）ので、フレーム補間回路６１は撮影画像Ｉ２，Ｉ３の撮影画像データから補間画像Ｊ１の補間画像データを生成する（ステップＳ１９，２０）。そして、フレーム合成回路６２は補間画像Ｊ１の補間画像データを加算画像データＩとして合成画像データＯＵＴに加算し、合成画像データＯＵＴの更新を行う（ステップＳ２１，Ｓ２２）。

続いて、フレーム合成回路６２は１加算後のループ変数ｉの値“２”が画像合成枚数“９”未満であると判定する（ステップＳ２３、ステップＳ２４のＹＥＳ）。ループ変数の値“２”に相当する画像は撮影画像でない（ステップＳ１７のＮＯ）ので、フレーム補間回路６１は撮影画像Ｉ２，Ｉ３の撮影画像データから補間画像Ｊ２の補間画像データを生成する（ステップＳ１９，２０）。そして、フレーム合成回路６２は補間画像Ｊ２の補間画像データを加算画像データＩとして合成画像データＯＵＴに加算し、合成画像データＯＵＴの更新を行う（ステップＳ２１，Ｓ２２）。

続いて、フレーム合成回路６２は１加算後のループ変数ｉの値“３”が画像合成枚数“９”未満であると判定する（ステップＳ２３、ステップＳ２４のＹＥＳ）。ループ変数の値“３”に相当する画像は撮影画像でない（ステップＳ１７のＮＯ）ので、フレーム補間回路６１は撮影画像Ｉ２，Ｉ３の撮影画像データから補間画像Ｊ３の補間画像データを生成する（ステップＳ１９，２０）。そして、フレーム合成回路６２は補間画像Ｊ３の補間画像データを加算画像データＩとして合成画像データＯＵＴに加算し、合成画像データＯＵＴの更新を行う（ステップＳ２１，Ｓ２２）。

続いて、フレーム合成回路６２は１加算後のループ変数ｉの値“４”が画像合成枚数“９”未満であると判定する（ステップＳ２３、ステップＳ２４のＹＥＳ）。ループ変数の値“４”に相当する画像は撮影画像Ｉ３である（ステップＳ１７のＹＥＳ）ので、フレーム合成回路６２は撮影画像Ｉ３の撮影画像データを加算画像データＩとして合成画像データＯＵＴに加算し、合成画像データＯＵＴの更新を行う（ステップＳ１８，Ｓ２２）。

続いて、フレーム合成回路６２は１加算後のループ変数ｉの値“５”が画像合成枚数“９”未満であると判定する（ステップＳ２３、ステップＳ２４のＹＥＳ）。ループ変数の値“５”に相当する画像は撮影画像でない（ステップＳ１７のＮＯ）ので、フレーム補間回路６１は撮影画像Ｉ３，Ｉ４の撮影画像データから補間画像Ｊ４の補間画像データを生成する（ステップＳ１９，２０）。そして、フレーム合成回路６２は補間画像Ｊ４の補間画像データを加算画像データＩとして合成画像データＯＵＴに加算し、合成画像データＯＵＴの更新を行う（ステップＳ２１，Ｓ２２）。

続いて、フレーム合成回路６２は１加算後のループ変数ｉの値“６”が画像合成枚数“９”未満であると判定する（ステップＳ２３、ステップＳ２４のＹＥＳ）。ループ変数の値“６”に相当する画像は撮影画像でない（ステップＳ１７のＮＯ）ので、フレーム補間回路６１は撮影画像Ｉ３，Ｉ４の撮影画像データから補間画像Ｊ５の補間画像データを生成する（ステップＳ１９，２０）。そして、フレーム合成回路６２は補間画像Ｊ５の補間画像データを加算画像データＩとして合成画像データＯＵＴに加算し、合成画像データＯＵＴの更新を行う（ステップＳ２１，Ｓ２２）。

続いて、フレーム合成回路６２は１加算後のループ変数ｉの値“７”が画像合成枚数“９”未満であると判定する（ステップＳ２３、ステップＳ２４のＹＥＳ）。ループ変数の値“７”に相当する画像は撮影画像でない（ステップＳ１７のＮＯ）ので、フレーム補間回路６１は撮影画像Ｉ３，Ｉ４の撮影画像データから補間画像Ｊ６の補間画像データを生成する（ステップＳ１９，２０）。そして、フレーム合成回路６２は補間画像Ｊ６の補間画像データを加算画像データＩとして合成画像データＯＵＴに加算し、合成画像データＯＵＴの更新を行う（ステップＳ２１，Ｓ２２）。

続いて、フレーム合成回路６２は１加算後のループ変数ｉの値“８”が画像合成枚数“９”未満であると判定する（ステップＳ２３、ステップＳ２４のＹＥＳ）。ループ変数の値“８”に相当する画像は撮影画像Ｉ４である（ステップＳ１７のＹＥＳ）ので、フレーム合成回路６２は撮影画像Ｉ４の撮影画像データを加算画像データＩとして合成画像データＯＵＴに加算し、合成画像データＯＵＴの更新を行う（ステップＳ１８，Ｓ２２）。なお、合成画像データＯＵＴの画像は図９の合成画像Ｋになる。

続いて、フレーム合成回路６２は１加算後のループ変数ｉの値“９”が画像合成枚数“９”未満でないと判定する（ステップＳ２３、ステップＳ２４のＮＯ）。フレーム合成回路６２は合成画像Ｋの合成画像データＯＵＴを画像合計枚数“９”で除算し、合成画像データＯＵＴの更新を行う（ステップＳ２５）。なお、合成画像データＯＵＴの画像は図９の合成画像Ｌになる。

この例では、合成画像は、撮影画像と補間画像とが一部重複し、補間画像同士も一部重複するものの、画像合成区間内で時間抜けがない、画像合成区間の時間幅をシャッター開放期間とする静止画像によく似た画像となる。
≪第２の実施の形態≫
以下、本発明の第２の実施の形態について図面を参照しつつ説明する。但し、本実施の形態の撮像装置１ａは、第１の実施の形態の撮像装置１に連写間隔Δｔがシャッター開放期間Δｔ’の正の整数倍になるように連写間隔Δｔ及びシャッター開放期間Δｔ’の調整を行う機能を付加したものである。なお、撮像装置１ａでは連写間隔Δｔがシャッター開放期間Δｔ’の１倍になる場合を除いて無撮影区間の時間幅は露光区間の時間幅の正の整数倍になる。

撮像装置１ａは撮像装置１が行う画像合成処理（図５参照）と実質的に同じ画像合成処理を行って撮影画像から合成画像を生成する。
＜撮像装置の機能構成＞
本実施の形態の撮像装置１ａの機能構成について図１０を参照しつつ説明する。図１０は本実施の形態の撮像装置１ａの機能ブロック図である。なお、本実施の形態において、第１の実施の形態の構成要素と実質的に同じ構成要素には同じ符号を付し、その説明が適用できるため本実施の形態ではその説明を省略する。

撮像装置１ａのＣＰＵ５１ａは、連写間隔Δｔがシャッター開放期間Δｔ’の正の整数倍になるように連写間隔Δｔとシャッター開放期間Δｔ’の決定を行うとともに、絞り５３ｃの絞り値の決定を行う。ＣＰＵ５１ａは決定した絞り値になるように絞り駆動回路５６の制御を行う。また、ＣＰＵ５１ａは決定した連写間隔Δｔ及びシャッター開放期間Δｔ’で連写が行われるように撮影制御回路５８の制御を行う。

＜撮像装置の動作＞
以下、図１０の撮像装置１ａが行う連写処理について図１１を参照しつつ説明する。図１１は図１０の撮像装置１ａが行う連写処理の流れを示すフローチャートである。但し、ＣＰＵ５１ａはメモリ５２から図１１に示す動作フローが記述されたプログラムを読み出して、読み出したプログラムを実行する。なお、ユーザは連写間隔Δｔを指定し、ＣＰＵ５１ａは指定された連写間隔Δｔがシャッター開放期間Δｔ’の正の整数倍になるようにシャッター開放期間Δｔ’の決定を行う。

ＣＰＵ５１ａは、ユーザ操作によって連写モードスイッチ３が連写モードの位置に動かされると、撮影装置１ａの撮影モードを連写モードに設定する（ステップＳ５１）。ＣＰＵ５１ａはユーザから連写間隔Δｔの指定を受け付けるための例えば図１２に一例を示すＧＵＩを液晶モニタ９に表示する。ユーザはＧＵＩの入力領域９ａを利用して連写間隔Δｔの指定を行い、ＣＰＵ５１ａはユーザによって指定された連写間隔Δｔを撮影制御回路５８に設定する（ステップＳ５２）。

ＣＰＵ５１ａは、現在の光量から許容されるシャッター開放期間の範囲を特定し、ユーザによって指定された連写間隔Δｔがシャッター開放期間Δｔ’の正の整数倍になるような、特定したシャッター開放期間の範囲内のシャッター開放期間Δｔ’を求め、求めたシャッター開放期間Δｔ’を撮影制御回路５８に設定する（ステップＳ５３）。ＣＰＵ５１ａは、現在の光量に対応したメモリ５２に記録されたシャッター開放期間と絞り値との関係を利用して、ステップＳ５３で求められたシャッター開放期間Δｔ’に対応した絞り値を求め、求めた絞り値に従って絞り駆動回路５６の制御を行い、これによって絞り５３ｃの調節を行う（ステップＳ５４）。

ＣＰＵ５１ａは撮影ボタン２の押下が行われたかを判定し（ステップＳ５５）、撮影ボタン２の押下が行われるまで（Ｓ５５：ＮＯ）ステップＳ５５の処理を行う。撮影ボタン２の押下が行われると（Ｓ５５：ＹＥＳ）、撮影ボタン２の押下がされている間（Ｓ５６：ＮＯ）、ＣＰＵ５１ａによって制御された撮影制御回路５８は撮影素子５７が連写間隔Δｔ及びシャッター開放期間Δｔ’に従って電荷の蓄積及び蓄積した電荷量に応じたアナログ値の出力を繰り返して行うように撮像素子５７の制御を行う。これによって、撮像素子５７は連写間隔Δｔ及びシャッター開放期間Δｔ’に従って電荷の蓄積及び蓄積した電荷量に応じたアナログ値の出力を繰り返し行う。撮像素子５７から出力されたアナログ値はフロントエンド部５９によってデジタルデータに変換され、フロントエンド部５９から出力されたデジタルデータはＤＳＰ６０によって色空間で表現される撮影画像データに変換され、撮影画像データがメモリ５２に記録される（ステップＳ５７）。撮影ボタン２の押下が終了すると（Ｓ５６：ＹＥＳ）、撮影装置１ａは連写処理を終了する。なお、図１１の動作フローでは、撮影ボタン２が押下されている間は連写処理が行われるようになっているが、メモリ５２がいっぱいになった場合にも連写処理が終了するようにしてもよい。

但し、本実施の形態では、フレーム補間回路６１及びフレーム合成回路６２は上述したようにして得られた複数枚の撮影画像を利用して合成画像処理（図５参照）を行うことになる。本実施の形態では、無撮影区間がないか、無撮影区間の時間幅が露光区間の時間幅の整数倍になるので、画像合成区間内で時間抜けがなく且つ重複期間のない合成画像が得られる。

≪補足≫
本発明は上記の実施の形態で説明した内容に限定されず、本発明の目的とそれに関連又は付随する目的を達成するためのいかなる形態においても実施可能であり、例えば、以下であってもよい。
（１）上記の各実施の形態では、フレーム補間回路６１及びフレーム合成回路６２が撮像装置１，１ａ内にあるとして説明したが、これに限らず、撮像装置以外の別の装置にフレーム補間回路１６及びフレーム合成回路１７を備えるようにしてもよい。なお、例えば、別の装置と撮像装置とを有線接続して、別の装置は撮像装置から連写された複数枚の撮像画像の撮像画像データを入手するようにする。

（２）上記の各実施の形態では、フレーム補間回路６１は、連写間隔をΔｔ、シャッター開放期間をΔｔ’とした場合、（Ｎ−１）×Δｔ’＜Δｔ−Δｔ’≦Ｎ×Δｔ’を満たすＮ（Ｎは正の整数）枚の補間画像を生成しているが、これに限らず、例えば次のような枚数の補間画像を生成するようにしてもよい。
上記の各実施の形態において、無撮影区間の時間幅が撮影区間の時間幅のＮ（Ｎは正の整数）倍である場合、フレーム補間回路６１はＮより多い枚数の補間画像を生成するようにしてもよく、また、Ｎより少ない枚数の補間画像を生成するようにしてもよい。

上記の第１の実施の形態において、無撮影区間の時間幅が撮影区間の時間幅の整数倍でない場合、フレーム補間回路６１はＮ×Δｔ’＜Δｔ−Δｔ’を満たすＮ（Ｎは正の整数）枚の補間画像を生成するようにしてもよく、この場合には画像（撮影画像、補間画像）同士が重複していない合成画像が得られる。特に、フレーム補間回路６１はＮ×Δｔ’＜Δｔ−Δｔ’を満たす最大のＮ（Ｎは正の整数）枚の補間画像を生成するようにすれば、画像（撮影画像、補間画像）同士が重複せず、時間抜けがない合成画像の生成が可能になる。

また、上記の第１の実施の形態において、無撮影区間の時間幅が撮影区間の時間幅の整数倍でない場合、フレーム補間回路６１はΔｔ−Δｔ’＜（Ｎ−１）×Δｔ’を満たすＮ（Ｎは正の整数）枚の補間画像を生成するようにしてもよい。
（３）上記の第１の実施の形態で説明した補間画像の生成では、無撮影区間の時間幅が露光区間の時間幅の整数倍でない場合、画像（撮影画像、補間画像）同士の重複する部分の期間が互いに等しくなるように補間画像を生成してもよく、互いに等しくならないように補間画像を生成するようにしてもよい。

（４）上記の第１の実施の形態で説明した補間画像の生成では、２枚の撮影画像を利用して補間画像を生成するようにしたが、これに限らず、例えば、３枚以上の撮影画像を利用して補間画像を生成するようにしてもよい。また、図９の補間画像Ｊ１と撮影画像Ｉ３とから補間画像Ｊ２を生成するなど、補間画像と撮影画像とから補間画像を生成するようにしてもよく、図８の補間画像Ｊ１と補間画像Ｊ３とから補間画像Ｊ２を生成するなど、補間画像と補間画像とから補間画像を生成するようにしてもよい。

（５）上記の第２の実施の形態では、ユーザが連写間隔Δｔを指定し、連写間隔Δｔがシャッター開放期間Δｔ’の正の整数倍になるようなシャッター開放期間Δｔ’を算出することによって、連写間隔Δｔがシャッター開放期間Δｔ’の正の整数倍になるようにしている。しかしながら、これに限らず、例えば次のようなものであってもよい。ユーザが調節した絞り値に対応するシャッター開放期間Δｔ’を計算し、或いは、ユーザがシャッター開放期間Δｔ’を指定し、連写間隔Δｔがシャッター開放期間Δｔ’の正の整数倍になるような連写間隔Δｔを算出することによって、連写間隔Δｔがシャッター開放期間Δｔ’の正の整数倍になるようにしてもよい。

（６）上記の第１の実施の形態で図５の動作フローを参照しつつ説明した画像合成処理を記述したプログラムをメモリに格納し、例えばＣＰＵがメモリに記録されているプログラムを読み出して実行し、ＣＰＵがフレーム補間回路６１及びフレーム合成回路６２の処理などを実行する機能部として動作するようにしてもよい。また、このプログラムを記録媒体に記録し、頒布するようにしてもよい。

上記の第２の実施の形態で図１１の動作フローを参照しつつ説明した撮像処理を記述したプログラムを記録媒体に記録し、頒布するようにしてもよい。また、図１１の動作フローに示す処理内容をＣＰＵ５１ａ以外のデバイスで実行するようにしてもよい。
なお、変形例においても同様である。
（７）上記の各実施の形態などの各構成は、典型的には集積回路であるＬＳＩ（Large Scale Integration）として実現されてもよい。これらは、個別に１チップ化されてもよいし、各実施の形態の全ての構成または一部の構成を含むように１チップ化されてもよい。

ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ（Integrated Circuit）、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
また、集積回路化の手法はＬＳＩに限られるものではなく、専用回路または汎用プロセッサで実現しても良い。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。

さらに、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行っても良い。バイオ技術の適応等が可能性としてあり得る。

本発明は、連写された撮像画像から実際の露光時間より露光時間の長い合成画像の生成に有用である。

１ 撮像装置
５１ ＣＰＵ
５２ メモリ
５３ 撮像光学系機構
５４ フォーカス駆動回路
５５ ズーム駆動回路
５６ 絞り駆動回路
５７ 撮像素子
５８ 撮影制御回路
５９ フロントエンド部
６０ ＤＳＰ
６１ フレーム補間回路
６２ フレーム合成回路
６３ 圧縮伸張回路
６４ メモリカード

Claims (10)

1. 所定の時間間隔で連続撮影された撮影画像を利用して所定の時間区間に係る合成画像を生成する画像合成装置であって、
   露光する露光区間の時間幅及び露光区間と次の露光区間との間の無撮影区間の時間幅から当該無撮影区間に補間する補間画像の枚数を決定し、決定した枚数の補間画像を、前記無撮影区間に時間的に隣接する双方の露光区間の撮影画像に基づいて生成する補間部と、
   所定の時間区間において撮影された撮影画像と当該時間区間の前記補間部によって生成された補間画像とに基づいて撮影画像と補間画像との同じ位置の画素が重なるように当該所定の時間区間に係る合成画像を生成する合成部と、
   を備える画像合成装置。
2. 前記補間部は前記無撮影区間の全てが補間されるように１枚以上の補間画像を生成する
   請求項１記載の画像合成装置。
3. 前記無撮影区間の時間幅が前記露光区間の時間幅のＮ（Ｎは正の整数）倍である場合、
   前記補間部はＮ枚の補間画像を生成する
   請求項２記載の画像合成装置。
4. 前記無撮影区間の時間幅が前記露光区間の時間幅の正の整数倍でない場合、
   前記補間部は、前記露光区間の時間幅の（Ｎ−１）倍が前記無撮影区間の時間幅より小さく且つ前記露光区間の時間幅のＮ倍が前記無撮影区間の時間幅より大きくなるような正の整数のＮを求め、Ｎ枚の補間画像を生成する
   請求項２記載の画像合成装置。
5. 前記補間部は、
   前記補間画像の生成を、前記双方の露光区間の撮影画像間で動いている部分の各前記撮影画像の夫々における位置及び前記無撮影区間に補間する補間画像の枚数に基づいて、前記補間画像における当該動いている部分の位置を決定することによって行う
   請求項１記載の画像合成装置。
6. 所定の時間間隔で連続撮影された撮影画像を利用して所定の時間区間に係る合成画像を生成する画像合成方法であって、
   露光する露光区間の時間幅及び露光区間と次の露光区間との間の無撮影区間の時間幅から当該無撮影区間に補間する補間画像の枚数を決定し、決定した枚数の補間画像を、前記無撮影区間に時間的に隣接する双方の露光区間の撮影画像に基づいて生成する補間ステップと、
   所定の時間区間において撮影された撮影画像と当該時間区間の前記補間ステップにおいて生成された補間画像とに基づいて撮影画像と補間画像との同じ位置の画素が重なるように当該所定の時間区間に係る合成画像を生成する合成ステップと、
   を有する画像合成方法。
7. 所定の時間間隔で連続撮影された撮影画像を利用して所定の時間区間に係る合成画像を生成する画像合成装置としてのコンピュータに、
   露光する露光区間の時間幅及び露光区間と次の露光区間との間の無撮影区間の時間幅から当該無撮影区間に補間する補間画像の枚数を決定し、決定した枚数の補間画像を、前記無撮影区間に時間的に隣接する双方の露光区間の撮影画像に基づいて生成する補間ステップと、
   所定の時間区間において撮影された撮影画像と当該時間区間の前記補間ステップにおいて生成された補間画像とに基づいて撮影画像と補間画像との同じ位置の画素が重なるように当該所定の時間区間に係る合成画像を生成する合成ステップと、
   を実行させる画像合成プログラム。
8. 所定の時間間隔で連続撮影された撮影画像を利用して所定の時間区間に係る合成画像を生成する集積回路であって、
   露光する露光区間の時間幅及び露光区間と次の露光区間との間の無撮影区間の時間幅から当該無撮影区間に補間する補間画像の枚数を決定し、決定した枚数の補間画像を、前記無撮影区間に時間的に隣接する双方の露光区間の撮影画像に基づいて生成する補間回路と、
   所定の時間区間において撮影された撮影画像と当該時間区間の前記補間回路によって生成された補間画像とに基づいて撮影画像と補間画像との同じ位置の画素が重なるように当該所定の時間区間に係る合成画像を生成する合成回路と、
   を備える集積回路。
9. 撮像部と、
   連続撮影を行う時間間隔が露光する露光区間の時間幅の正の整数倍になるように前記撮像部の連続撮影を制御する制御部と、
   露光区間の時間幅及び露光区間と次の露光区間との間の無撮影区間の時間幅から当該無撮影区間に補間する補間画像の枚数を決定し、決定した枚数の補間画像を、前記無撮影区間に時間的に隣接する双方の露光区間の撮影画像に基づいて生成する補間部と、
   所定の時間区間において撮影された撮影画像と当該時間区間の前記補間部によって生成された補間画像とに基づいて撮影画像と補間画像との同じ位置の画素が重なるように当該所定の時間区間に係る合成画像を生成する合成部と、
   を備える撮像システム。
10. 連続撮影を行う時間間隔が露光する露光区間の時間幅の正の整数倍になるように撮像部の連続撮影を制御する制御ステップと、
    露光区間の時間幅及び露光区間と次の露光区間との間の無撮影区間の時間幅から当該無撮影区間に補間する補間画像の枚数を決定し、決定した枚数の補間画像を、前記無撮影区間に時間的に隣接する双方の露光区間の撮影画像に基づいて生成する補間ステップと、
    所定の時間区間において撮影された撮影画像と当該時間区間の前記補間ステップにおいて生成された補間画像とに基づいて撮影画像と補間画像との同じ位置の画素が重なるように当該所定の時間区間に係る合成画像を生成する合成ステップと、
    有する撮像方法。

Images