JP2019062387A - 撮像装置及びその制御方法、プログラム、記憶媒体 - Google Patents

Abstract

【課題】複数枚の画像を合成する場合に、各１枚の画像の中で読み出し制御が変化する場合でも、ノイズの目立ちにくい合成画像を得ることができる撮像装置を提供する。【解決手段】複数の画素を有する画素領域の部分ごとに読み出し条件を変更して画素の信号を読み出すことが可能な撮像素子と、撮像素子の第１の複数回の撮像により得られた複数枚の画像を合成して１枚の合成画像を生成する合成部と、第１の複数回の撮像のそれぞれにおいて、画素領域での読み出し条件のパターンが異なる場合に、読み出し条件のパターンを反映するように撮像素子を遮光して第２の複数回の撮像を行い、読み出し条件のパターンを反映した遮光画像である補正画像を生成する生成部と、補正画像を用いて合成画像を補正する補正部とを備える。【選択図】 図８

Description

本発明は、複数の撮影画像を合成可能な撮像装置に関するものである。

高品位な画像を得る方法として、撮像素子の読み出し方に応じて、予め記憶されたデータを画像データから減算することにより、固定パターンノイズを補正する方法が知られている。しかし、そのような補正がなされてたとしても、複数枚の画像データを加算合成する場合には、１枚１枚の画像ではレベルが小さく目立たなかった固定パターンノイズの補正残りが強調され、画像の品位を下げてしまう場合がある。

この問題を解決する方法として、特許文献１には、画像を加算合成する際に複数枚の黒画像を加算した画像から補正値を取得し、合成後の画像から減算することにより、強調された固定パターンノイズを補正する方法が開示されている。

さらに、特許文献２には、複数毎の画像をそれぞれ別の制御で撮影して、それらの画像を加算合成する場合は、撮影時と同じ制御で黒画像を取得して補正値を生成することにより、制御の違いによる差分を軽減する方法が開示されている。

特許第５８８９３２３号公報 特開２０１２−９５２０４号公報

ところで、近年の撮像装置には、撮像素子の各単位画素が、１つのマイクロレンズについて複数の受光部を備え、撮影光学系の瞳を複数の受光部で分割する機能を有するものがある。このような撮像装置では、複数の受光部のそれぞれから異なる瞳領域に対応する像信号を読み出し、複数の像信号の像ずれ量を検出することにより、位相差方式の焦点検出を行うことができる。また、複数の受光部の像信号を加算することにより、撮影光学系の全瞳領域の光束を利用した画像用の信号を得ることもできる。

このように、上述の撮像素子においては、位相差方式の焦点検出のために複数の受光部の信号を別々に読み出したり、あるいは画像形成のために複数の受光部の信号を加算して読み出したりするといった、いくつかの異なる読み出し制御が行われる。そして、これらの異なる読み出し制御で画素信号を読み出す場合、読み出し制御方法ごとに画素信号に含まれる固定パターンノイズが変化する。さらに、受光部ごとに独立して信号を読み出す焦点検出のための読み出し方法を画像の一部の焦点検出領域のみで行う場合があり、焦点検出領域と、それ以外の加算読み出しを行う領域において固定パターンノイズが変化する。

複数枚の画像を合成する場合、各画像について異なる領域で焦点検出のための独立読み出しを行っていた場合、合成後の画像に現れる読み出し制御に起因する固定パターンノイズは、各撮影時の固定パターンノイズの重ね合わせとなる。１枚１枚の画像では、固定パターンノイズがそれほど目立たなくとも、それらが重ね合わされて１枚の画像に合成されると、固定パターンノイズが目立つという問題が発生する。

これに対し、上述の特許文献１では、加算合成する各画像の撮像素子の読み出し制御は同じ制御を想定している。また、特許文献２では、多重撮影において各画像の撮像素子の読み出し制御が１枚１枚で異なる場合の補正を想定している。どちらの従来技術においても、複数枚の画像を合成する場合に、各１枚の画像の中で固定パターンノイズが変化する場合は想定されていない。

本発明は上述した課題に鑑みてなされたものであり、その目的は、複数枚の画像を合成する場合に、各１枚の画像の中で読み出し制御が変化する場合でも、ノイズの目立ちにくい合成画像を得ることができる撮像装置を提供することである。

本発明に係わる撮像装置は、複数の画素を有する画素領域の部分ごとに読み出し条件を変更して画素の信号を読み出すことが可能な撮像素子と、前記撮像素子の第１の複数回の撮像により得られた複数枚の画像を合成して１枚の合成画像を生成する合成手段と、前記第１の複数回の撮像のそれぞれにおいて、前記画素領域での読み出し条件のパターンが異なる場合に、前記読み出し条件のパターンを反映するように前記撮像素子を遮光して第２の複数回の撮像を行い、前記読み出し条件のパターンを反映した遮光画像である補正画像を生成する生成手段と、前記補正画像を用いて前記合成画像を補正する補正手段と、を備えることを特徴とする。

本発明によれば、複数枚の画像を合成する場合に、各１枚の画像の中で読み出し制御が変化する場合でも、ノイズの目立ちにくい合成画像を得ることができる撮像装置を提供することが可能となる。

本発明の実施形態における画素の構成を示す図。 本発明の実施形態における撮像素子の構成を示す図。 本発明の実施形態における第１の読み出し制御を示すタイミングチャート。 本発明の実施形態における第２の読み出し制御を示すタイミングチャート。 本発明の実施形態における画素の断面図。 本発明の実施形態における撮像装置の全体構成図。 第１の実施形態における信号処理部の構成を示すブロック図。 第１の実施形態における多重露出撮影動作を示すフローチャート。 第１の実施形態における撮影動作を示すフローチャート。 第１の実施形態における第１のダーク撮影動作を示すフローチャート。 第１の実施形態における第２のダーク撮影動作を示すフローチャート。 第１の実施形態における第１のダーク補正データ生成処理を示すフローチャート。 第１の実施形態における第２のダーク補正データ生成処理を示すフローチャート。 第１の実施形態における補正値合成処理を示すフローチャート。 第１の実施形態における撮影毎に読み出し制御の切り替えパターンを変更した場合の模式図。 第２の実施形態における補正値合成処理を示すフローチャート。 第３の実施形態における第１のダーク補正データ生成処理を示すフローチャート。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。

（第１の実施形態）
本実施形態では、単位画素内に複数の受光部を有する撮像素子を用いて多重露出撮影を行う場合に、複数の受光部からの読み出し制御の違いに起因するノイズを低減する方法について説明する。まず、本実施形態における読み出し制御について説明する。

図１は、本発明の第１の実施形態における撮像素子の単位画素の構造を示す図である。図１において、撮像素子の単位画素１１２０は、画素毎に第１の受光部（光電変換部）１１２１ａと第２の受光部（光電変換部）１１２１ｂとを有する。そして、各受光部の信号を画素内のフローティングディフュージョン容量（以下、ＦＤ容量）１１２３に接続して、両方の受光部からの信号を加算した像信号を得る第１の読み出し制御を行うことができる。

また、第１の受光部１１２１ａの信号を先に読み出し、第１の受光部１１２１ａの信号を取得する。その後、その信号を画素内のＦＤ容量１１２３に残したまま、もう一方の第２の受光部１１２１ｂの信号をＦＤ容量１１２３に接続することで、両方の受光部からの信号を取得する。このようにして、第１の受光部１１２１ａからの像信号と、両方の受光部からの像信号を加算した像信号の二つの像信号を得る第２の読み出し制御を行うことができる。以降では、両方の受光部からの像信号を「Ａ＋Ｂ像」、第１の受光部１１２１ａからの像信号を「Ａ像」、第２の受光部１１２１ｂからの像信号を「Ｂ像」と呼ぶこととする。

図２は、図１で説明した単位画素１１２０を持つ撮像素子１１００の構成図である。撮像素子１１００は、画素領域に２次元状に多数の単位画素１１２０が配置され、単位画素１１２０と列ＡＤ変換部（以下、列ＡＤ部）１１４１を接続するための垂直出力線１１４０および信号増幅部１１４４を有する。さらに、ランプ信号生成部１１４２、カウンタ１１４３、タイミング制御部１１５０、垂直読み出し制御部１１６０、水平転送部１１７０、デジタル信号処理部１１８０を有する。タイミング制御部１１５０は、カメラ制御部１４００（図６参照）からの指示内容に基づいて、信号読み出しのタイミング制御や、信号増幅部のゲイン制御などを行う。なお、１１１０は有効画素部、１１１１はＶＯＢ（垂直オプティカルブラック）画素部、１１１２はＨＯＢ（水平オプティカルブラック）画素部である。

図３は、本実施形態における撮像素子の第１の読み出し制御について説明するタイミングチャートである。第１の読み出し制御では、第１の受光部１１２１ａと第２の受光部１１２１ｂ（グループ分けされた光電変換部）の両方の信号をＦＤ容量で合成して読み出す。

まず、撮像素子の全行について信号ｐＳＥＬをアサートして、撮像素子の全行で下記の手順で全行リセット動作を行う。全行について信号ｐＳＥＬをアサートする制御は、図２に記載の垂直読み出し制御部１１６０が行う。このとき全行について信号ｐＲＥＳをアサートしており、ＦＤ容量がリセット状態にされる。時刻ｔｒｅｓ１で全行について信号ｐＲＥＳをネゲートし、ＦＤリセットを解除する。

時刻ｔｒｅｓ２で全行について信号ｐＴＸＡ、ｐＴＸＢ、ｐＲＥＳをアサートし、第１の受光部１１２１ａ、第２の受光部１１２１ｂ、ＦＤ容量１１２３内の電荷をリセットする。電荷のリセットを完了する時刻ｔｒｅｓ３において全行について信号ｐＴＸをネゲートし、蓄積を開始する。蓄積期間中に画素に照射された光信号が信号電荷としてそれぞれの受光部に蓄積されてゆく。

時刻ｔｒｅｓ４で蓄積中に全行について信号ｐＲＥＳをアサートし、ＦＤ容量１１２３の電圧を固定しておくことで、ノイズの原因となり得る意図しない電圧変動を抑える。所定の蓄積時間をおいた後に、時刻ｔｒｄ１で信号ｐＳＥＬをアサートし、次の手順で各行の読み出し動作を行う。

時刻ｔｒｄ２で信号ｐＲＥＳをネゲートし、画素アンプ１１２５で増幅したＦＤ容量１１２３の電圧を垂直出力線１１４０を介して列ＡＤ部１１４１に入力し、デジタル信号に変換する。デジタル変換は、列ＡＤ部１１４１に入力された電圧を内部のコンパレータに接続し、もう一方の入力にカウンタ１１４３に連動したランプ入力を接続し、両者を比較することで行う。時刻ｔｒｄ３でカウンタ値をゼロにしてカウントを開始し、カウント値に応じて所定のステップ量の電圧を増加した電圧信号をランプ入力として、コンパレータの片側の入力とする。

時刻ｔｒｄ４で、コンパレータの両方の入力が一致し、コンパレータ出力がＨｉｇｈになると同時に、その時点のカウンタ値を、列ＡＤ部１１４１内のＮメモリに記憶する。このときのカウント値をＮ信号と呼ぶ。時刻ｔｒｄ５でカウンタをリセットする。

次に時刻ｔｒｄ６で信号ｐＴＸＡ、ｐＴＸＢをアサートし、第１の受光部１１２１ａと第２の受光部１１２１ｂの信号電荷をＦＤ容量１１２３に転送する。転送完了後の時刻ｔｒｄ７で信号ｐＴＸＡ、ｐＴＸＢをネゲートする。さらにＦＤ容量１１２３の電圧は、画素アンプ１１２５で増幅され、垂直出力線１１４０を介して列ＡＤ部１１４１に入力される。

時刻ｔｒｄ８でカウントを開始し、列ＡＤ部１１４１に入力された増幅部の出力電圧値とランプ入力の電圧値が一致する時刻ｔｒｄ９のカウント値を列ＡＤ部１１４１内のＳメモリに記憶する。このカウント値をＳ信号と呼ぶ。時刻ｔｒｄ１０でカウンタをリセットする。

時刻ｔｒｄ１１で、列ＡＤ部１１４１内のＮメモリのＮ信号とＳメモリのＳ信号の水平転送部１１７０への転送が完了し、列ＡＤ部１１４１内のＮメモリとＳメモリの情報をリセットする。

時刻ｔｒｄ１２で、信号ｐＲＥＳをアサートさせ、ＦＤ容量の電圧を固定し、時刻ｔｒｄ１３で信号ｐＳＥＬをネゲートして、選択された行の読み出し動作が完了する。水平転送部１１７０は各列ＡＤ部１１４１内のＮメモリのＮ信号とＳメモリのＳ信号を列毎にデジタル信号処理部１８０に転送する。デジタル信号処理部１１８０において、これらＳ信号とＮ信号を減算処理（Ｓ−Ｎ）することで、Ｓ信号に含まれていた回路に起因するノイズをキャンセルし、画素信号として画像を生成することに用いる。

以上の第１の読み出し制御により、第１及び第２の受光部１１２１ａ、１１２１ｂのＡ＋Ｂ像の信号を行毎に得ることができる。

図４は、本実施形態における撮像素子の第２の信号読み出し制御について説明するタイミングチャートである。第２の信号読み出し制御は、第１の信号読み出し制御と異なり、まず片方の第１の受光部１１２１ａ（グループ分けされた一部の光電変換部）の信号を読み出し、その後に他方の第２の受光部１１２１ｂをＦＤ容量に接続して、両方の受光部の信号をＦＤ容量で合成した信号を読み出す。

まず、リセット動作中のパルスの制御は、図３で説明した第１の信号読み出し制御の場合と同じである。所定の蓄積時間をおいた後に、時刻ｔｒｄａ１で信号ｐＳＥＬをアサートし、次の手順で第１の受光部１１２１ａのＡ像の読み出し動作を行う。

時刻ｔｒｄａ２で信号ｐＲＥＳをネゲートし、画素アンプ１１２５で増幅したＦＤ容量１１２３の電圧を垂直出力線１１４０を介して列ＡＤ部１１４１に入力し、デジタル信号に変換して、Ｎ信号を得る。時刻ｔｒｄａ３でカウンタ値をゼロにしてカウントを開始し、カウント値に応じて所定のステップ量の電圧を増加した電圧信号をランプ入力として、コンパレータの片側の入力とする。時刻ｔｒｄａ４で、コンパレータの両方の入力が一致し、コンパレータ出力がＨｉｇｈになると同時に、その時点のカウンタ値を、列ＡＤ部１１４１内のＮメモリに記憶する。このときのカウント値をＮ信号とする。

時刻ｔｒｄａ５でカウンタをリセットする。次に時刻ｔｒｄａ６で信号ｐＴＸＡのみをアサートし、第１の受光部１１２１ａの信号電荷を光信号電圧としてＦＤ容量１１２３に転送する。転送が完了する時刻ｔｒｄａ７で信号ｐＴＸＡをネゲートする。さらにＦＤ容量１１２３の電圧は、画素アンプ１１２５で増幅され、垂直出力線１１４０を介して列ＡＤ部１１４１に入力される。そして、第１の受光部１１２１ａの信号電荷に応じたデジタル信号を得ることが出来る。時刻ｔｒｄａ８でカウントを開始し、列ＡＤ部１１４１に入力された画素からの電圧値とランプ入力の電圧値が一致する時刻ｔｒｄａ９のカウント値をＳメモリに記憶する。このカウント値をＡ像Ｓ信号と呼ぶ。

時刻ｔｒｄａ１０でカウンタをリセットする。時刻ｔｒｄａ１１で列ＡＤ部１１４１内のＳメモリのＳ信号の水平転送部１１７０への転送が完了し、列ＡＤ部１１４１内のＳメモリの情報をリセットする。時刻ｔｒｄａ１３で信号ｐＳＥＬをネゲートする。

水平転送部１１７０は各列ＡＤ部１１４１内のＮメモリのＮ信号とＳメモリのＡ像Ｓ信号を列毎にデジタル信号処理部１８０に転送する。デジタル信号処理部１１８０において、Ａ像Ｓ信号とＮ信号を減算処理（Ｓ−Ｎ）することで、Ａ像Ｓ信号に含まれていた回路起因のノイズをキャンセルしたＡ像信号を読み出すことができる。

次に第１及び第２の受光部１１２１ａ、１１２１ｂからのＡ＋Ｂ像信号の読み出し動作を行うが、本実施形態の場合、撮像素子の列数分の読み出しを一行として扱い、Ａ像とＡ＋Ｂ像のそれぞれの読み出しに１行分の時間を費やす。

時刻ｔｒｄｂ１で信号ｐＳＥＬをアサートし、Ａ＋Ｂ像信号の読み出し開始の基準とする。時刻ｔｒｄｂ５でカウンタをリセットする。次に時刻ｔｒｄｂ６で信号ｐＴＸＡと信号ｐＴＸＢをアサートし、第１の受光部１１２１ａと第２の受光部１１２１ｂの信号電荷を光信号電圧としてＦＤ容量１１２３で合成する。両方の受光部の光信号電圧がＦＤ容量内で安定する時刻ｔｒｄｂ７で信号ｐＴＸＡと信号ｐＴＸＢをネゲートする。さらにＦＤ容量１１２３の電圧は、画素アンプ１１２５で増幅され、垂直出力線１１４０を介して列ＡＤ部１１４１に入力される。そして、両方の受光部の信号電荷に応じたデジタル信号を得ることが出来る。

時刻ｔｒｄｂ８でカウントを開始し、列ＡＤ部１１４１に入力された画素からの電圧値とランプ入力の電圧値が一致する時刻ｔｒｄｂ９のカウント値をＳメモリに記憶する。このカウント値をＡ＋Ｂ像Ｓ信号と呼ぶ。時刻ｔｒｄｂ１０でカウンタをリセットする。

時刻ｔｒｄｂ１１で列ＡＤ部１１４１内のＮメモリのＮ信号とＳメモリのＳ信号の水平転送部１１７０への転送が完了し、列ＡＤ部１１４１内のＮメモリとＳメモリの情報をリセットする。水平転送部１１７０は各列ＡＤ部１１４１内のＮメモリのＮ信号とＳメモリのＡ＋Ｂ像Ｓ信号を列毎にデジタル信号処理部１８０に転送する。デジタル信号処理部１１８０において、Ａ＋Ｂ像Ｓ信号とＮ信号を減算処理（Ｓ−Ｎ）することで、Ａ＋Ｂ像Ｓ信号に含まれていた回路起因のノイズをキャンセルしたＡ＋Ｂ像信号を読み出す。

時刻ｔｒｄｂ１２で、信号ｐＲＥＳをアサートし、ＦＤ容量１１２３の電圧を固定し、時刻ｔｒｄｂ１３で信号ｐＳＥＬをネゲートする。

以上の第２の読み出し制御により、第１の受光部１１２１ａのＡ像信号と両方の受光部のＡ＋Ｂ像信号を行毎に得ることができる。第１の読み出し制御は、Ａ像を読み出さない分、第２の読み出し制御よりもＡ＋Ｂ像を高速に読み出すことができる。また、第２の読み出し制御で得られたＡ＋Ｂ像からＡ像を画素毎に減算することで、Ｂ像相当の像信号が得られる。減算で得られた像信号をＢ’像とする。Ｂ’像は、光学的にはＢ像と等価な被写体の像信号である。

図５は本実施形態における撮像素子の画素の構造を説明する図であり、第１の受光部１１２１ａに入射する光束と、第２の受光部１１２１ｂに入射する光束のそれぞれを分けて示している。各単位画素の前面にはカラーフィルタ１１８０と、マイクロレンズ１１９０が配置されている。マイクロレンズ１１９０は、画素に入射してきた光を効率良く受光部（フォトダイオード）に集めるために用いられる。

第１の受光部１１２１ａと第２の受光部１１２１ｂは、撮影レンズ２０００を介して入射する光束のうち、おおよそ半分の光束を分割して信号に変えている。つまり、第１の受光部１１２１ａからのＡ像と第２の受光部１１２１ｂからのＢ像は、撮影レンズが形成する射出瞳の別々の領域の像信号を形成する。ピントが合っていない場合、Ａ像とＢ像とでは、取り込んだ光束に応じて射出瞳の分割方向に相対的に被写体像がシフトしたものとなり、ピントが合っている場合、Ａ像とＢ像にずれは無い。

本実施形態の撮像装置では、Ｂ像の代わりに前述したＢ’像を用い、Ａ像とＢ’像から被写体の像ずれ量を計算することで、被写体とのデフォーカス量を求め、対象の被写体にピントを合わせるＡＦ動作を行う。さらに、第１の読み出し制御と第２の読み出し制御を撮像素子の部分ごとに行単位で切り替えて行うことにより、ＡＦ動作を行いつつ、撮像素子の読み出し時間を短縮する。第２の読み出し制御で読み出す行を被写体の動きに応じて変更することにより、目的の被写体にピントを合わせ続けることもできる。このように制御することで、撮影画像から次の撮影のＡＦ（オートフォーカス）を行うことができ、連写撮影速度を向上させることができる。

第１の読み出し制御と第２の読み出し制御は、制御方法の違いから、固定パターンノイズ（ダークシェーディングなど）が異なる場合があるが、公知の補正手法を各行の読み出し制御に合わせて適用することにより、その差が目立たない画像を得ることが出来る。

しかし、このようにして得られた画像を、多重撮影で用いる場合、読み出し制御の違いに起因した固定パターンノイズの補正誤差が多重撮影で積み重なって、顕在化することを考慮しなければならない。さらに、前述したように第２の読み出し制御の行は、被写体の位置に応じて変更する場合があるため、合成後の画像の固定パターンノイズの出方も撮影ごとに変わる。

したがって、本実施形態では、多重露出撮影の本撮影で得られる各露光画像とは別に、本撮影と同じ読み出し制御で（同じ読み出し制御を反映して）遮光して撮影した、ダーク画像（遮光画像）を取得する。そして、ダーク画像に各露光画像と同等の画像処理を施したものを合成して、合成ダーク画像データを生成する。この合成ダーク画像データを、各露光画像を合成した合成露光画像データから減算することにより、ノイズの低減された多重露出画像データを取得する。

図６は、本実施形態における撮像装置のブロック構成を示す図である。図６において、撮像装置１０００は、撮像素子１１００、メカニカルシャッター１２００、カメラ制御部１４００、信号処理部１５００、操作部１９００を有する。また、撮影レンズ２０００は、集光レンズ２１００、絞り２２００、フォーカスレンズ２３００、レンズ制御部２４００を有し、レンズ制御部２４００は、レンズ通信端子１３１０を介してカメラ制御部１４００と通信する。

ユーザーが操作部１９００に含まれるレリーズボタンにより、ＡＦ開始スイッチＳＷ１、撮影開始スイッチＳＷ２を操作することで、カメラ制御部１４００およびレンズ制御部２４００がＡＦ動作、撮影動作などを行う。操作部１９００は、メニューボタンおよびコントロールボタンをさらに含み、メニュー画面を表示部に表示させることにより、後述する撮影モードや、ＡＦモードを選択することができる。さらに操作部１９００は、タッチパネルディスプレイを含み、他の操作ボタンなどと同様にＡＦ動作や、撮影動作の指示を行うことができる。

また、撮像素子１１００はカメラ制御部１４００により制御され、撮像素子１１００から読み出された信号は、信号処理部１５００により補正処理と現像処理が施され、画像信号が作成される。信号処理部１５００は、ＣＰＵおよび後述する画像処理ブロックや記憶領域としてのＲＡＭなどを構成部品として有する。

図７は、信号処理部１５００の内部のブロック構成を示す図である。図７において、ダークシェーディング補正部１５２０は、水平方向の１次元データである補正値を画像から減算することにより水平方向のダークシェーディングを補正する。光学シェーディング補正部１５２１は、画像上の水平方向或いは垂直方向の位置（座標）に応じたゲイン補正を行うことにより、光学的なシェーディングを補正する。ＷＢ（ホワイトバランス）処理部１５２２は、ベイヤー配列のＲ，Ｇ１，Ｇ２，Ｂの画素それぞれにゲインを乗じることでホワイトバランス処理を行う。

画像合成部１５２３は、多重露出撮影における画像合成演算を行う。本実施形態では、設定される枚数分の画像を加算して合成することで多重露出撮影画像を生成するものとする。減算処理部１５２４は、露光画像からダーク画像を減算する処理や、Ａ＋Ｂ像から前述したＢ’像を生成する処理を行う。現像処理部１５２５は、画像データに対し色マトリクス処理やガンマ処理などの現像処理を施す。ＡＦ演算部１５２６は、Ａ像とＢ’像とからデフォーカス量を算出する処理を行う。メモリ制御部１５２７は、画像データや各補正ブロックで使用する補正値を信号処理部１５００の記憶領域に対し読み書きする制御を行う。

これらの各処理ブロックは、バス１５１０によりデータのやり取りができるように接続されており、信号処理部１５００のＣＰＵにより制御される。また、重複する処理ブロックを複数個持つことにより、処理を並列化してもよい。信号処理部１５００により現像処理されて得られた画像は、撮像装置１０００が有する電子ビューファインダ（ＥＶＦ）１９４０やＴＦＴ液晶などの表示部１９５０にリアルタイム表示されたり、記録メディア１９１０に画像データとして記録されたりする。

図８は多重露出撮影における、撮像装置１０００の一連の動作を示すフローチャートである。まず、ステップＳ１００では、ユーザーの操作により、多重露出撮影での多重撮影枚数を含め、ＷＢ（ホワイトバランス）、ＡＥ（自動露出）、ＩＳＯ感度、ＡＦ（オートフォーカス）位置などの各種撮影条件が設定される。ここで、設定された多重撮影枚数をＮ枚とする。

続くステップＳ１０１では、多重露出撮影枚数を管理する変数ｉの値を「１」に設定する。ステップＳ１０２では、多重露出撮影のコマ間で多重露出撮影の中断指示があるか否かを判定する。中断指示はユーザーがカメラの操作部１９００を介して行うことができ、多重撮影の途中でも自由に多重撮影を中止し、それまでの撮影結果を記録することができる。また、電池残量などから安全に画像を記録できるうちに画像を記録するように、カメラが自動的に判断して中断指示を出してもよい。

ステップＳ１０２で、中断指示があった場合には、ステップＳ１０７の処理に移る。ステップＳ１０７では、変数ｉの値を初期値である「１」と比較し、変数ｉの値が「１」であれば、１枚も撮影が行われていないので、そこで撮影を終了する。一方、ステップＳ１０７で、変数ｉの値が２以上の場合、それ以降の撮影動作（ステップＳ１０３〜ステップＳ１０６）を行わず、ステップＳ１０８の画像合成処理に進む。

ステップＳ１０２で、中断指示が無い場合は、ステップＳ１０３に進む。ステップＳ１０３ではユーザーの撮影指示動作によって撮影開始スイッチＳＷ２がＯＮされると、撮影のためのステップＳ１０４に進む。

ステップＳ１０４で撮影動作が行われ、１枚の画像が撮影される。撮影動作の詳細は後述する。１枚の撮影が完了する度にステップＳ１０５では、撮影動作が多重露出撮影の最後（Ｎ枚目）の撮影であったか否かの判定を行う。変数ｉの値がＮ未満であった場合は、ステップＳ１０６に進み、変数ｉの値に１を加えて、現在の撮影回数をカウントする。その後、ステップＳ１０２に戻り、中断指示もしくは、次の撮影指示が来るまで待機する。ステップＳ１０５において、Ｎ枚目の撮影であった場合、ステップＳ１０８に進み、露光画像を加算する画像合成処理が行われる。

露光画像の画像合成処理を終えたら、ステップＳ１０９で第１のダーク補正画像取得枚数と第２のダーク補正画像取得枚数を、それぞれ変数ＭとＬに設定する。本実施形態では、例えばＭ＝８、Ｌ＝８とする。変数Ｍと変数Ｌの値を大きくするほど、多重撮影枚数を多くした場合の固定パターンを軽減することができるが、補正処理に掛かる時間が増加するため、補正精度と処理時間を考慮して決めることが好ましい。変数Ｍと変数Ｌに固定値ではなく、変数ｉの値を記憶させることで、ダーク画像の枚数を多重撮影枚数と同数としてもよい。

その後、ステップＳ１１０で変数ｉの値を「１」 に設定し、変数ｉの値を補正のための第１のダーク画像撮影のカウントに用いる。ステップＳ１１１では、シャッターなどで遮光された状態で撮影を行い、第１のダーク画像を取得する。詳細は後述するが、本実施形態では第１のダーク画像撮影において、前述した第１の読み出し制御のみでダーク画像を撮影する。

第１のダーク画像撮影が完了する度にステップＳ１１２で、撮影動作が第１のダーク補正画像撮影の最後（Ｍ枚目）の撮影であったか否かの判定を行う。変数ｉの値がＭ未満であった場合は、ステップＳ１１３に進み、変数ｉの値に１を加えて、現在の撮影回数をカウントする。その後、ステップＳ１１１に戻り、次の第１のダーク画像撮影を行う。

ステップＳ１１２において、Ｍ枚目の第１のダーク画像撮影であった場合、ステップＳ１１４で変数ｉの値を「１」 に設定し、変数ｉの値を補正のための第２のダーク画像撮影のカウントに用いる。ステップＳ１１５では、シャッターなどで遮光された状態で撮影を行い、第２のダーク画像を取得する。詳細は後述するが、本実施形態では第２のダーク画像撮影において、前述した第２の読み出し制御のみでダーク画像を撮影する。

第２のダーク画像撮影が完了する度にステップＳ１１６で、撮影動作が第２のダーク補正画像撮影の最後（Ｌ枚目）の撮影であったか否かの判定を行う。変数ｉの値がＬ未満であった場合は、ステップＳ１１７に進み、変数ｉの値に１を加えて、現在の撮影回数をカウントする。その後、ステップＳ１１５に戻り、次の第２のダーク画像撮影を行う。

ステップＳ１１６で、Ｌ枚目の第２のダーク画像撮影であった場合、ステップＳ１１８に進み、第１のダーク補正値生成処理を行う。本実施形態の第１のダーク補正値生成処理では、Ｍ枚の第１のダーク画像を加算し、加算後の第１のダーク画像から第１のダーク補正値を生成し、記憶領域に保存する。ここでの第１のダーク補正値生成処理の詳細は、図１２を用いて後述する。

次にステップＳ１１９で、第２のダーク補正値生成処理を行う。本実施形態の第２のダーク補正値生成処理では、Ｌ枚の第２のダーク画像を加算し、加算後の第２のダーク画像から第２のダーク補正値を生成し、記憶領域に保存する。ここでの第２のダーク補正値生成処理の詳細は、図１３を用いて後述する。

ステップＳ１２０では、第１のダーク補正値と第２のダーク補正値を用いて、合成ダーク補正値を生成する補正値合成処理を行う。合成ダーク補正値は、第１のダーク補正値を２次元に展開し、多重撮影時の各撮影での撮像素子の読み出し制御情報に基づいて、第２のダーク補正値から第１のダーク補正値を減算した差分補正データを領域別に加算する。ここでの補正値合成処理の詳細は、図１４を用いて後述する。

ステップＳ１２１では、ステップＳ１０８で得られた露光画像の合成画像からステップＳ１２０で生成された合成ダーク補正値を減算することによってオフセット補正を行う。この補正により、固定パターンノイズが軽減される。

減算処理後の画像データは、ステップＳ１２２において、信号処理部１５００で色マトリクス処理、ガンマ処理などの現像処理が施された後、信号処理部１５００内の記憶領域に記憶される。ステップＳ１２３で、信号処理部１５００の記憶領域に格納された画像データを記録メディア１９１０に格納し、多重撮影動作を終了する。

次に、図９に示すフローチャートを用いて、ステップＳ１０４の撮影動作の詳細について説明する。

撮影動作が開始されると、ステップＳ２００で、第１の読み出し制御で読み出す行と第２の読み出し制御で読み出す行を撮像素子１１００に設定する。ステップＳ２００の撮像素子の読み出し制御設定は、その時点でのＡＦ枠に応じて、カメラ制御部１４００が撮像素子１１００のレジスタに必要な設定を送ることで行われる。ステップＳ２０１で絞り駆動が行われる。絞り駆動ではカメラ制御部１４００がレンズ制御部２４００を介して絞り２２００を駆動する。

次に、ステップＳ２０２では撮像素子１１００の電荷がリセットされる。この動作は、カメラ制御部１４００からの指示により撮像素子１１００を駆動することによって行われる。撮像素子１１００は電荷がリセットされると電荷蓄積状態に入る（ステップＳ２０３）。

撮像素子１１００が電荷蓄積に入った状態で、ステップＳ２０４で、カメラ制御部１４００はメカニカルシャッター１２００を開状態とし、撮像素子１１００の露光を開始する。カメラ制御部１４００は、ステップＳ２０５で所定の蓄積時間が経過するのを待った後、ステップＳ２０６でメカニカルシャッター１２００を閉状態として撮像素子１１００の露光を終了する。

その後、ステップＳ２０７で、カメラ制御部１４００からの指示により撮像素子１１００から撮像信号が読み出される。ステップＳ２０８では、読み出された撮像信号に対し、信号処理部１５００でのダークシェーディング補正が行われる。ここでのダークシェーディング補正は、予めダーク画像を写像演算して得られる水平方向の１次元データを減算することで水平方向のダークシェーディングを補正するものとする。

続いてステップＳ２０９では、信号処理部１５００において各画素の信号に対して座標位置に応じたゲイン補正を行うことにより、光学シェーディングを補正する。この時、補正パラメータは補正対象画像撮影時の撮影条件に応じた値を使用する。ここでの撮影条件とは、レンズズーム位置、撮影レンズ種別、絞り値、シャッタースピード、ＩＳＯ感度値、温度などを指す。

次にステップＳ２１０では、光学シェーディング補正後の画像データに対し、ベイヤー配列のＲ，Ｇ１，Ｇ２，Ｂの画素毎にゲインを乗じるＷＢ処理が行われる。ここでの各ゲイン量は対象画像の画像データから算出した値、或いは予め設定された値を用いる。ＷＢ処理後の画像データは、ステップＳ２１１で信号処理部１５００の記憶領域に格納される。

更に、ステップＳ２１２においては、上述の撮影条件、ＷＢデータ（ゲイン量）および撮像素子の読み出し制御情報を信号処理部１５００の記憶領域に格納して、撮影動作を終了する。

続いて、図１０に示すフローチャートを用いて、図８のステップＳ１１１で行う第１のダーク撮影動作の詳細について説明する。ステップＳ１１１の第１のダーク撮影においては、メカニカルシャッター１２００は駆動せず、撮像素子１１００を遮光した状態で撮影を行う。

まず、ステップＳ３００で、第１のダーク画像用の撮像素子の読み出し制御設定を行う。本実施形態では、常時第１の読み出し制御を行う設定とする。ステップＳ３０１で、撮像素子１１００の電荷をリセットし、リセットが解除された時点から電荷の蓄積が開始される（ステップＳ３０２）。

その後、ステップＳ３０３で所定の蓄積時間が経過するのを待った後、ステップＳ３０４でカメラ制御部１４００からの指示により撮像素子１１００から撮像信号を読み出す。読み出された撮像信号は、ステップＳ３０５で、図９のステップＳ２０８と同様にダークシェーディング補正が行われる。その後、ステップＳ３０６で、第１のダーク画像を記憶領域に保存し、第１のダーク撮影動作を終了する。

図１１は、図８のステップＳ１１５で行う第２のダーク撮影動作の詳細を示すフローチャートである。ステップＳ１１５の第２のダーク撮影も、メカニカルシャッター１２００は駆動せず、撮像素子１１００を遮光した状態で撮影を行う。

まず、ステップＳ４００で、第２のダーク画像用の撮像素子の読み出し制御設定を行う。本実施形態では、常時第２の読み出し制御を行う設定とする。ステップＳ４０１で、撮像素子１１００の電荷をリセットし、リセットが解除された時点から電荷の蓄積が開始される（ステップＳ４０２）。

その後、ステップＳ４０３で所定の蓄積時間が経過するのを待った後、ステップＳ４０４でカメラ制御部１４００からの指示により撮像素子１１００から撮像信号を読み出す。読み出された撮像信号は、ステップＳ４０５で、図９のステップＳ２０８と同様にダークシェーディング補正が行われる。その後、ステップＳ４０６で、第２のダーク画像を記憶領域に保存し、第２のダーク撮影動作を終了する。

次に、図１２に示すフローチャートを用いて、図８のステップＳ１１８で行う第１のダーク補正値生成処理の詳細について説明する。

まず、ステップＳ５００において、変数ｉの値を「１」に設定する。次に、ステップＳ５０１で、撮像素子１１００の画素数分のデータを初期値ゼロとして記憶し、画像合成用の記憶領域を確保する。

次に、ステップＳ５０２で、ｉ枚目の第１のダーク画像を記憶領域から取得し、続くステップＳ５０３で画像合成用の記憶領域に画素毎に加算する。画素数分の加算処理が完了する度にステップＳ５０４で、第１のダーク補正画像撮影の最後（Ｍ枚目）のデータであったかの判定を行う。

変数ｉの値がＭ未満であった場合は、ステップＳ５０５に進み、変数ｉに１を加えて、現在の撮影回数をカウントする。その後、ステップＳ５０２に戻り、次の第１のダーク画像の加算処理を行う。ステップＳ５０４で、最後の第１のダーク画像の加算が終了すると、ステップＳ５０６に進む。

ステップＳ５０６では、信号処理部１５００で加算後の第１のダーク画像を各列毎に平均化し、水平方向の１次元の写像データにする。水平方向の写像データとすることで、固定パターンノイズの水平方向の成分を精度良く求めることができる。その後、ステップ５０７で、加算後の第１のダーク画像から生成した上記の水平方向の１次元の写像データを撮像素子１１００の読み出し行数分コピーして、２次元の第１の基準画像データにする。

ステップＳ５０８で、変数ｉの値を「１」に設定し、多重撮影のｉ番目の撮影で使用された補正を第１の基準画像データに適用するためのカウント値とする。ステップＳ５０９で、撮像素子１１００の画素数分のデータを初期値ゼロとして記憶し、第１のダーク補正データ合成用の記憶領域を確保する。

次のステップＳ５１０で記憶領域からｉ枚目の露光画像撮影時の撮影条件、ＷＢデータを取得する。ステップＳ５１１とステップＳ５１２では、ステップＳ５１０で取得した撮影条件とＷＢデータに基づいて、第１の基準画像データに光学シェーディング補正処理とＷＢ処理を行う。

ステップＳ５１３では、ステップＳ５１２の補正処理後の第２の基準画像データを画素毎にステップＳ５０９で確保した第１のダーク補正データ合成用の記憶領域に加算する。ステップＳ５１４で、多重撮影の撮影枚数分（Ｎ回）の処理が完了したか否かを判定する。変数ｉの値がＮ未満の場合、ステップＳ５１５に進み、変数ｉに１を加えて、ステップＳ５１０に戻る。ステップＳ５１４で、最後のＮ回目の処理が完了した場合、ステップＳ５１６に進む。

ステップＳ５１６では、補正処理後の第１の基準画像データの各値を（１／Ｍ）倍する。これは、ステップＳ５０３でＭ回分の第１のダーク画像の加算処理を、加算枚数で割り戻すための処理である。ステップＳ５１１の光学シェーディング補正処理とステップＳ５１２のＷＢ処理のゲイン補正の後に行うことで、演算精度の高い補正データを生成することができる。

ステップＳ５１６で得られた画像データを、第１のダーク補正データとする。ステップＳ５１７では、ステップＳ５１６で得られた第１のダーク補正データを記憶領域に保存して、第１のダーク補正値生成処理を終了する。

次に、図１３に示すフローチャートを用いて、図８のステップＳ１１９で行う第２のダーク補正値生成処理の詳細について説明する。

まず、ステップＳ６００において、変数ｉの値を「１」に設定する。次に、ステップＳ６０１で、撮像素子１１００の画素数分のデータを初期値ゼロとして記憶し、画像合成用の記憶領域を確保する。

次に、ステップＳ６０２で、ｉ枚目の第２のダーク画像を記憶領域から取得し、続くステップＳ６０３で画像合成用の記憶領域に画素毎に加算する。画素数分の加算処理が完了する度にステップＳ６０４で、第２のダーク補正画像撮影の最後（Ｌ枚目）のデータであったかの判定を行う。

変数ｉの値がＬ未満であった場合は、ステップＳ６０５に進み、変数ｉに１を加えて、現在の撮影回数をカウントする。その後、ステップＳ６０２に戻り、次の第２のダーク画像の加算処理を行う。ステップＳ６０４で、最後の第２のダーク画像の加算が終了すると、ステップＳ６０６に進む。

ステップＳ６０６では、信号処理部１５００で加算後の第２のダーク画像を各列毎に平均化し、水平方向の１次元の写像データにする。水平方向の写像データとすることで、固定パターンノイズの水平方向の成分を精度良く求めることができる。その後、ステップ６０７で、加算後の第２のダーク画像から生成した上記の水平方向の１次元の写像データを撮像素子１１００の読み出し行数分コピーして、２次元の第２の基準画像データにする。

ステップＳ６０８で、変数ｉの値を「１」に設定し、多重撮影のｉ番目の撮影で使用された補正を第２の基準画像データに適用するためのカウント値とする。ステップＳ６０９で、撮像素子１１００の画素数分のデータを初期値ゼロとして記憶し、第２のダーク補正データ合成用の記憶領域を確保する。

次のステップＳ６１０で記憶領域からｉ枚目の露光画像撮影時の撮影条件、ＷＢデータ、撮像素子の読み出し制御情報を取得する。ステップＳ６１１とステップＳ６１２では、ステップＳ６１０で取得した撮影条件とＷＢデータに基づいて、第２の基準画像データに光学シェーディング補正処理とＷＢ処理を行う。

ステップＳ６１３では、ｉ番目の露光画像についての撮像素子の読み出し制御情報に基づいて、第２の基準画像データのうち、第２の読み出し制御を行った行以外のデータにゼロを乗じる。

ステップＳ６１４では、ステップＳ６１３の補正処理後の第２の基準画像データを画素毎にステップＳ６０９で確保した第２のダーク補正データ合成用の記憶領域に加算する。ステップＳ６１５で、多重撮影の撮影枚数分（Ｎ回）の処理が完了したか否かを判定する。変数ｉの値がＮ未満の場合、ステップＳ６１６に進み、変数ｉに１を加えて、ステップＳ６１０に戻る。ステップＳ６１５で、最後のＮ回目の処理が完了した場合、ステップＳ６１７に進む。

ステップＳ６１７では、第２のダーク補正データ合成用の記憶領域に格納されている画像データを（１／Ｌ）倍する。これは、ステップＳ６０３でＬ回分の第２のダーク画像の加算処理を、加算枚数分で割り戻すための処理である。ステップＳ６１１の光学シェーディング補正処理とステップＳ６１２のＷＢ処理のゲイン補正の後に行うことで、演算精度の高い補正データを生成することができる。

ステップＳ６１７で得られた画像データを、第２のダーク補正データとする。第２のダーク補正データは、ある行のデータに着目したとき、ステップＳ６１３の処理により、図８のステップＳ１０４の各露光画像撮影時に、第２の読み出し制御を行った回数に応じて重み付けされた補正データとなっている。ステップＳ６１８では、ステップＳ６１７で得られた第２のダーク補正データを記憶領域に保存して、第２のダーク補正値生成処理を終了する。

図１４に示すフローチャートを用いて、補正値合成処理の詳細について説明する。

補正値合成処理では、図１２のステップＳ５１７と図１３のステップＳ６１８で得られた第１のダーク補正データと第２のダーク補正データから、多重撮影の際の撮像素子の読み出し制御に応じた２次元の補正データを生成する。

まず、ステップＳ７００で、撮影時の撮像素子の読み出し制御情報を取得する。次に、ステップＳ７０１と続くステップＳ７０２で、第１のダーク補正データと第２のダーク補正データを記憶領域から取得する。ステップＳ７０３では、第２のダーク補正データから第１の補正データの対応する画素同士のデータを減算して、差分補正データを生成する。

ここで、図１５は、多重撮影の各撮影画像で読み出し制御の切り替えパターンを変更した場合に、画像合成後に領域別に表れる固定パターンノイズを模式的に表す図である。１枚目、２枚目、３枚目では、第２の読み出し制御を行う領域を画面上下方向に少しずつ変えて撮影している。これら３枚の画像を加算すると、１番右に示す加算合成時の画像のように第２の読み出し制御が何回行われたかで、領域に分けることができる。

本実施形態の撮像装置は、カメラ制御部１４００が撮像素子１１００に設定する撮像素子の読み出し制御情報から領域を決定することができる。撮像素子の読み出し制御情報は、第１の読み出し制御と第２の読み出し制御をしている座標を一意に決定する情報であり、本実施形態では、第２の読み出し制御の行番号を用いる。撮像素子の読み出し制御情報は、複数の矩形領域の開始座標、終了座標を示すものでもよく、第１の読み出し制御と第２の読み出し制御を周期的に切り変える場合、その行周期や列周期で表現して情報量を削減しても良い。前述したように、第１の読み出し制御と第２の読み出し制御では異なる固定パターンノイズ（ダークシェーディングなど）が現れるため、第２の読み出し制御が行われた回数が多い領域ほどその成分が積算されて、画像に悪影響を与える。

ステップＳ７０４では、図１５に示すような領域別に適切な補正値が当てられるように補正値を加工する。ステップＳ７００で取得した撮像素子の読み出し制御情報から、１回以上第２の読み出し制御が行われた行に、該当行の差分補正データを加算する。このようにすることで、加算後の固定パターンノイズの各領域に対応した２次元の補正データが得られる。

ステップＳ７０５で、生成した２次元データを合成ダーク補正値として、記憶領域に保存し、補正値合成処理を終了する。多重撮影データから合成ダーク補正値を画素毎に減算処理することで、固定パターンノイズを軽減することが出来る。そして、補正後の画像を現像、記録する。

以上のように、本実施形態では、多重露出撮影の各露光画像の撮影とは別に、第１の読み出し制御のみの第１のダーク画像の撮影と、第２の読み出し制御のみの第２のダーク画像の撮影を複数回行う。第１のダーク画像を加算して作成した第１の補正データと、第２のダーク画像を加算して作成した第２の補正データを、撮影時の撮像素子の読み出し制御情報を基に合成することで、撮影毎の読み出し制御の切り替えパターンの組み合わせで生じる固定パターンノイズを適切に補正することが可能となる。

（第２の実施形態）
多重露光撮影は、必ずしも連続して撮影されるとは限らない。たとえば、過去に撮影した画像を記録メディアから読み出して、その画像に次の撮影を加算していく場合がある。第２の実施形態では、このような多重撮影を可能とする撮像装置について説明する。

第２の実施形態では、前述のように後から多重加算する場合に備えて、多重撮影モードとされていない場合においても、すべての記録画像に撮像素子の読み出し制御情報を記憶している必要がある。そのために、図９の撮影動作のフローチャートにおいて、１枚の撮影動作が完了した後、ステップＳ２１１で記憶領域に記憶した画像を現像し、ＪＰＥＧなどに変換する。そして、その現像した画像の画像フォーマットのヘッダに、ステップＳ２１２で取得した撮像素子の読み出し制御情報を付加して、記録メディア１９１０に保存する。なお、撮像素子の読み出し制御情報は、符号化されたビットデータとして画像中の画素データとして付加してもよい。

図１６は、後から多重加算する場合における、１枚の画像の撮影動作を説明するフローチャートである。

ステップＳ１０００において、多重撮影の条件設定の際に１枚目の画像を選択する。ステップＳ１００１で変数ｉの値に「１」を設定する。ステップＳ１００２で、ステップＳ１０００で選択された画像を記録メディアから取得する。次にステップＳ１００３で、１枚目に選択された画像の読み出し制御情報を取得し、変数ｉ＝１に関連付けて記憶領域に保存する。

その後、ステップＳ１００４で変数ｉに１を加えた後、ステップＳ１００５からステップＳ１０２６において、図８に示す多重撮影フローにおける、２枚目以降（変数ｉ≧２）のステップＳ１０２からステップＳ１２３と同じ動作を行う。

このように、記録メディアからの画像取得時に、１枚目の画像の読み出し制御情報を取得することで、過去に撮影した画像の上に、次からの撮影を多重加算処理する場合でも、固定パターンノイズを適切に補正することが出来る。

（第３の実施形態）
第３の実施形態では、図８のステップＳ１０９における補正用ダーク撮影枚数設定を次のように制御し、ステップＳ１１８の第１のダーク補正値生成に当る動作を図１７に示すフローで行う。

まず、ステップＳ１０９で、第１のダーク補正画像取得枚数Ｍに、その時点での変数ｉの値を記憶させ、多重撮影枚数と同数の撮影を行うように設定する。また、第２のダーク補正画像取得枚数Ｌをゼロとする。こうすることで、第１のダーク画像は、第１の読み出し制御と第２の読み出し制御の切り替えパターンが露光画像と同じになる設定で撮影され、第２のダーク画像は、Ｌ＝０にした場合、撮影自体が行われない。

本実施形態における第１のダーク補正値生成処理について、図１７のフローチャートを用いて説明する。

まず、ステップＳ３０００において、変数ｉを「１」に設定する。次に、ステップＳ３００１で、撮像素子の画素数分のデータを初期値ゼロとして記憶し、画像合成用の記憶領域を確保する。次に、ステップＳ３００２で、ｉ枚目の第１のダーク画像を取得する。
続くステップＳ３００３でｉ枚目の撮影条件、ＷＢデータを取得する。

ステップＳ３００４とステップＳ３００５では、ステップＳ３００３で取得した撮影条件とＷＢデータに基づいて、ｉ枚目の第１の画像データに光学シェーディング補正処理とＷＢ処理を行う。その後、ステップＳ３００６で画像合成用の記憶領域に画素毎に加算する。

ステップＳ３００７で、第１のダーク撮影枚数分（Ｍ回）の処理が完了したか否かを判定する。変数ｉがＭ未満の場合は、ステップＳ３００８に進み、変数ｉに１を加えて、ステップＳ３００２に戻る。最後のＭ回目の処理が完了した場合は、ステップＳ３００９に進む。

ステップＳ３００９では、ステップＳ３００６で加算された第１のダーク画像を第１のダーク補正データとして記憶領域に保存して、本実施形態での第１のダーク補正値生成処理を終了する。

本実施形態では、図８のステップＳ１２０の補正値合成処理を行わない。第１のダーク画像撮影時のときに露光画像と同じ読み出し制御の切り替えパターンを用いているため、前述の第１のダーク補正データが、各撮影の読み出し制御切り替えパターンの組み合わせに応じた２次元の固定パターンノイズの補正データとなっている。したがって、ステップＳ１２１の減算処理で、第１のダーク補正データを画素毎に減算処理することにより、固定パターンノイズを軽減することができる。そして、補正後の画像を現像、記録する。

第３の実施形態では、第１、第２の実施形態で行っていた水平方向の１次元データにする写像演算を行わないため、撮影毎の読み出し制御の切り替えパターンの様々な組み合わせで生じる固定パターンノイズの水平垂直方向の補正を行うことができる。

（第４の実施形態）
第３の実施形態では、垂直方向の固定パターンノイズも補正できるが、画素毎に加減算処理を行うと、画素値のばらつきが増加する。画素値のばらつきは解像感の低下にもつながるため、第１の実施形態、第２の実施形態で示した水平写像タイプの補正のいずれかと、第３の実施形態で示した２次元画像タイプの補正を条件によって使い分けることで、より最適な補正となる。本実施形態の撮像装置では、多重の加算枚数とＩＳＯ感度に基づいて、前述した水平写像タイプの補正と２次元画像タイプの補正を切り替える。

本実施形態のように加算枚数と撮影条件によって補正タイプを切り替えることにより、撮影毎の読み出し制御の切り替えパターンの様々な組み合わせで生じる固定パターンノイズを補正し、撮影条件に応じた好適な画質を得ることが可能となる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０００：撮像装置、１１００：撮像素子、１１２０：単位画素、１１２１ａ：第１の受光部、１１２１ｂ：第２の受光部、１１２３：ＦＤ容量、１１４０：垂直出力線、１４００：カメラ制御部、２０００：撮影レンズ、２４００：レンズ制御部

Claims (16)

1. 複数の画素を有する画素領域の部分ごとに読み出し条件を変更して画素の信号を読み出すことが可能な撮像素子と、
   前記撮像素子の第１の複数回の撮像により得られた複数枚の画像を合成して１枚の合成画像を生成する合成手段と、
   前記第１の複数回の撮像のそれぞれにおいて、前記画素領域での読み出し条件のパターンが異なる場合に、前記読み出し条件のパターンを反映するように前記撮像素子を遮光して第２の複数回の撮像を行い、前記読み出し条件のパターンを反映した遮光画像である補正画像を生成する生成手段と、
   前記補正画像を用いて前記合成画像を補正する補正手段と、
   を備えることを特徴とする撮像装置。
2. 前記撮像素子を遮光した前記第２の複数回の撮像により得られた複数枚の基準画像を合成することにより前記補正画像を生成することを特徴とする請求項１に記載の撮像装置。
3. 前記第１の複数回と前記第２の複数回は等しいことを特徴とする請求項１または２に記載の撮像装置。
4. 前記撮像素子の画素のそれぞれは、複数の光電変換部を有し、前記画素の複数の光電変換部の信号を同時に読み出す第１の読み出し制御と、前記画素の複数の光電変換部を複数のグループに分けて読み出す第２の読み出し制御とを切り替える切り替え手段をさらに備えることを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記第２の読み出し制御では、前記画素の複数の光電変換部の一部の信号を読み出した後、前記複数の光電変換部の全ての信号を読み出すことを特徴とする請求項４に記載の撮像装置。
6. 前記第２の読み出し制御では、前記画素の複数の光電変換部の一部の信号を読み出した後、前記複数の光電変換部のうちの残りの信号を読み出すことを特徴とする請求項４に記載の撮像装置。
7. 前記読み出し条件とは、前記画素の信号を前記第１の読み出し制御で読み出すか、前記第２の読み出し制御で読み出すかという条件であることを特徴とする請求項４に記載の撮像装置。
8. 前記読み出し条件のパターンとは、１枚の画像において、前記画素領域のどの部分の画素の信号を第１の読み出し制御で読み出し、どの部分の画素の信号を第２の読み出し制御で読み出すかというパターンであることを特徴とする請求項４に記載の撮像装置。
9. 前記生成手段は、前記撮像素子を遮光した前記第２の複数回の撮像において、前記第１の読み出し制御で前記画素の信号を読み出して得られた第１の基準画像と、前記第２の読み出し制御で前記画素の信号を読み出して得られた第２の基準画像を、前記合成画像の画素ごとに前記第１の読み出し制御で読み出した回数と前記第２の読み出し制御で読み出した回数に基づいて重み付けして合成することにより、前記補正画像を生成することを特徴とする請求項４乃至８のいずれか１項に記載の撮像装置。
10. 前記生成手段は、前記撮像素子を遮光した前記第２の複数回の撮像において、前記複数枚の画像のそれぞれの撮影時の読み出し条件のパターンで読み出した複数枚の基準画像を合成することにより、前記補正画像を生成することを特徴とする請求項４乃至８のいずれか１項に記載の撮像装置。
11. 前記合成画像に、前記読み出し条件のパターンを関連付けて記憶する記憶手段をさらに備えることを特徴とする請求項１乃至１０のいずれか１項に記載の撮像装置。
12. 前記合成手段は、前記複数枚の画像を加算することにより合成することを特徴とする請求項１乃至１１のいずれか１項に記載の撮像装置。
13. 前記補正手段は、前記合成画像から前記補正画像を差し引くことにより前記合成画像を補正することを特徴とする請求項１乃至１２のいずれか１項に記載の撮像装置。
14. 複数の画素を有する画素領域の部分ごとに読み出し条件を変更して画素の信号を読み出すことが可能な撮像素子を備える撮像装置を制御する方法であって、
    前記撮像素子の第１の複数回の撮像により得られた複数枚の画像を合成して１枚の合成画像を生成する合成工程と、
    前記第１の複数回の撮像のそれぞれにおいて、前記画素領域での読み出し条件のパターンが異なる場合に、前記読み出し条件のパターンを反映するように前記撮像素子を遮光して第２の複数回の撮像を行い、前記読み出し条件のパターンを反映した遮光画像である補正画像を生成する生成工程と、
    前記補正画像を用いて前記合成画像を補正する補正工程と、
    を有することを特徴とする撮像装置の制御方法。
15. 請求項１４に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
16. 請求項１４に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images