JP2019062387A - 撮像装置及びその制御方法、プログラム、記憶媒体 - Google Patents
撮像装置及びその制御方法、プログラム、記憶媒体 Download PDFInfo
- Publication number
- JP2019062387A JP2019062387A JP2017185315A JP2017185315A JP2019062387A JP 2019062387 A JP2019062387 A JP 2019062387A JP 2017185315 A JP2017185315 A JP 2017185315A JP 2017185315 A JP2017185315 A JP 2017185315A JP 2019062387 A JP2019062387 A JP 2019062387A
- Authority
- JP
- Japan
- Prior art keywords
- image
- imaging
- pixel
- signal
- imaging device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Studio Devices (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
【課題】複数枚の画像を合成する場合に、各1枚の画像の中で読み出し制御が変化する場合でも、ノイズの目立ちにくい合成画像を得ることができる撮像装置を提供する。【解決手段】複数の画素を有する画素領域の部分ごとに読み出し条件を変更して画素の信号を読み出すことが可能な撮像素子と、撮像素子の第1の複数回の撮像により得られた複数枚の画像を合成して1枚の合成画像を生成する合成部と、第1の複数回の撮像のそれぞれにおいて、画素領域での読み出し条件のパターンが異なる場合に、読み出し条件のパターンを反映するように撮像素子を遮光して第2の複数回の撮像を行い、読み出し条件のパターンを反映した遮光画像である補正画像を生成する生成部と、補正画像を用いて合成画像を補正する補正部とを備える。【選択図】 図8
Description
本発明は、複数の撮影画像を合成可能な撮像装置に関するものである。
高品位な画像を得る方法として、撮像素子の読み出し方に応じて、予め記憶されたデータを画像データから減算することにより、固定パターンノイズを補正する方法が知られている。しかし、そのような補正がなされてたとしても、複数枚の画像データを加算合成する場合には、1枚1枚の画像ではレベルが小さく目立たなかった固定パターンノイズの補正残りが強調され、画像の品位を下げてしまう場合がある。
この問題を解決する方法として、特許文献1には、画像を加算合成する際に複数枚の黒画像を加算した画像から補正値を取得し、合成後の画像から減算することにより、強調された固定パターンノイズを補正する方法が開示されている。
さらに、特許文献2には、複数毎の画像をそれぞれ別の制御で撮影して、それらの画像を加算合成する場合は、撮影時と同じ制御で黒画像を取得して補正値を生成することにより、制御の違いによる差分を軽減する方法が開示されている。
ところで、近年の撮像装置には、撮像素子の各単位画素が、1つのマイクロレンズについて複数の受光部を備え、撮影光学系の瞳を複数の受光部で分割する機能を有するものがある。このような撮像装置では、複数の受光部のそれぞれから異なる瞳領域に対応する像信号を読み出し、複数の像信号の像ずれ量を検出することにより、位相差方式の焦点検出を行うことができる。また、複数の受光部の像信号を加算することにより、撮影光学系の全瞳領域の光束を利用した画像用の信号を得ることもできる。
このように、上述の撮像素子においては、位相差方式の焦点検出のために複数の受光部の信号を別々に読み出したり、あるいは画像形成のために複数の受光部の信号を加算して読み出したりするといった、いくつかの異なる読み出し制御が行われる。そして、これらの異なる読み出し制御で画素信号を読み出す場合、読み出し制御方法ごとに画素信号に含まれる固定パターンノイズが変化する。さらに、受光部ごとに独立して信号を読み出す焦点検出のための読み出し方法を画像の一部の焦点検出領域のみで行う場合があり、焦点検出領域と、それ以外の加算読み出しを行う領域において固定パターンノイズが変化する。
複数枚の画像を合成する場合、各画像について異なる領域で焦点検出のための独立読み出しを行っていた場合、合成後の画像に現れる読み出し制御に起因する固定パターンノイズは、各撮影時の固定パターンノイズの重ね合わせとなる。1枚1枚の画像では、固定パターンノイズがそれほど目立たなくとも、それらが重ね合わされて1枚の画像に合成されると、固定パターンノイズが目立つという問題が発生する。
これに対し、上述の特許文献1では、加算合成する各画像の撮像素子の読み出し制御は同じ制御を想定している。また、特許文献2では、多重撮影において各画像の撮像素子の読み出し制御が1枚1枚で異なる場合の補正を想定している。どちらの従来技術においても、複数枚の画像を合成する場合に、各1枚の画像の中で固定パターンノイズが変化する場合は想定されていない。
本発明は上述した課題に鑑みてなされたものであり、その目的は、複数枚の画像を合成する場合に、各1枚の画像の中で読み出し制御が変化する場合でも、ノイズの目立ちにくい合成画像を得ることができる撮像装置を提供することである。
本発明に係わる撮像装置は、複数の画素を有する画素領域の部分ごとに読み出し条件を変更して画素の信号を読み出すことが可能な撮像素子と、前記撮像素子の第1の複数回の撮像により得られた複数枚の画像を合成して1枚の合成画像を生成する合成手段と、前記第1の複数回の撮像のそれぞれにおいて、前記画素領域での読み出し条件のパターンが異なる場合に、前記読み出し条件のパターンを反映するように前記撮像素子を遮光して第2の複数回の撮像を行い、前記読み出し条件のパターンを反映した遮光画像である補正画像を生成する生成手段と、前記補正画像を用いて前記合成画像を補正する補正手段と、を備えることを特徴とする。
本発明によれば、複数枚の画像を合成する場合に、各1枚の画像の中で読み出し制御が変化する場合でも、ノイズの目立ちにくい合成画像を得ることができる撮像装置を提供することが可能となる。
以下、本発明の実施形態について、添付図面を参照して詳細に説明する。
(第1の実施形態)
本実施形態では、単位画素内に複数の受光部を有する撮像素子を用いて多重露出撮影を行う場合に、複数の受光部からの読み出し制御の違いに起因するノイズを低減する方法について説明する。まず、本実施形態における読み出し制御について説明する。
本実施形態では、単位画素内に複数の受光部を有する撮像素子を用いて多重露出撮影を行う場合に、複数の受光部からの読み出し制御の違いに起因するノイズを低減する方法について説明する。まず、本実施形態における読み出し制御について説明する。
図1は、本発明の第1の実施形態における撮像素子の単位画素の構造を示す図である。図1において、撮像素子の単位画素1120は、画素毎に第1の受光部(光電変換部)1121aと第2の受光部(光電変換部)1121bとを有する。そして、各受光部の信号を画素内のフローティングディフュージョン容量(以下、FD容量)1123に接続して、両方の受光部からの信号を加算した像信号を得る第1の読み出し制御を行うことができる。
また、第1の受光部1121aの信号を先に読み出し、第1の受光部1121aの信号を取得する。その後、その信号を画素内のFD容量1123に残したまま、もう一方の第2の受光部1121bの信号をFD容量1123に接続することで、両方の受光部からの信号を取得する。このようにして、第1の受光部1121aからの像信号と、両方の受光部からの像信号を加算した像信号の二つの像信号を得る第2の読み出し制御を行うことができる。以降では、両方の受光部からの像信号を「A+B像」、第1の受光部1121aからの像信号を「A像」、第2の受光部1121bからの像信号を「B像」と呼ぶこととする。
図2は、図1で説明した単位画素1120を持つ撮像素子1100の構成図である。撮像素子1100は、画素領域に2次元状に多数の単位画素1120が配置され、単位画素1120と列AD変換部(以下、列AD部)1141を接続するための垂直出力線1140および信号増幅部1144を有する。さらに、ランプ信号生成部1142、カウンタ1143、タイミング制御部1150、垂直読み出し制御部1160、水平転送部1170、デジタル信号処理部1180を有する。タイミング制御部1150は、カメラ制御部1400(図6参照)からの指示内容に基づいて、信号読み出しのタイミング制御や、信号増幅部のゲイン制御などを行う。なお、1110は有効画素部、1111はVOB(垂直オプティカルブラック)画素部、1112はHOB(水平オプティカルブラック)画素部である。
図3は、本実施形態における撮像素子の第1の読み出し制御について説明するタイミングチャートである。第1の読み出し制御では、第1の受光部1121aと第2の受光部1121b(グループ分けされた光電変換部)の両方の信号をFD容量で合成して読み出す。
まず、撮像素子の全行について信号pSELをアサートして、撮像素子の全行で下記の手順で全行リセット動作を行う。全行について信号pSELをアサートする制御は、図2に記載の垂直読み出し制御部1160が行う。このとき全行について信号pRESをアサートしており、FD容量がリセット状態にされる。時刻tres1で全行について信号pRESをネゲートし、FDリセットを解除する。
時刻tres2で全行について信号pTXA、pTXB、pRESをアサートし、第1の受光部1121a、第2の受光部1121b、FD容量1123内の電荷をリセットする。電荷のリセットを完了する時刻tres3において全行について信号pTXをネゲートし、蓄積を開始する。蓄積期間中に画素に照射された光信号が信号電荷としてそれぞれの受光部に蓄積されてゆく。
時刻tres4で蓄積中に全行について信号pRESをアサートし、FD容量1123の電圧を固定しておくことで、ノイズの原因となり得る意図しない電圧変動を抑える。所定の蓄積時間をおいた後に、時刻trd1で信号pSELをアサートし、次の手順で各行の読み出し動作を行う。
時刻trd2で信号pRESをネゲートし、画素アンプ1125で増幅したFD容量1123の電圧を垂直出力線1140を介して列AD部1141に入力し、デジタル信号に変換する。デジタル変換は、列AD部1141に入力された電圧を内部のコンパレータに接続し、もう一方の入力にカウンタ1143に連動したランプ入力を接続し、両者を比較することで行う。時刻trd3でカウンタ値をゼロにしてカウントを開始し、カウント値に応じて所定のステップ量の電圧を増加した電圧信号をランプ入力として、コンパレータの片側の入力とする。
時刻trd4で、コンパレータの両方の入力が一致し、コンパレータ出力がHighになると同時に、その時点のカウンタ値を、列AD部1141内のNメモリに記憶する。このときのカウント値をN信号と呼ぶ。時刻trd5でカウンタをリセットする。
次に時刻trd6で信号pTXA、pTXBをアサートし、第1の受光部1121aと第2の受光部1121bの信号電荷をFD容量1123に転送する。転送完了後の時刻trd7で信号pTXA、pTXBをネゲートする。さらにFD容量1123の電圧は、画素アンプ1125で増幅され、垂直出力線1140を介して列AD部1141に入力される。
時刻trd8でカウントを開始し、列AD部1141に入力された増幅部の出力電圧値とランプ入力の電圧値が一致する時刻trd9のカウント値を列AD部1141内のSメモリに記憶する。このカウント値をS信号と呼ぶ。時刻trd10でカウンタをリセットする。
時刻trd11で、列AD部1141内のNメモリのN信号とSメモリのS信号の水平転送部1170への転送が完了し、列AD部1141内のNメモリとSメモリの情報をリセットする。
時刻trd12で、信号pRESをアサートさせ、FD容量の電圧を固定し、時刻trd13で信号pSELをネゲートして、選択された行の読み出し動作が完了する。水平転送部1170は各列AD部1141内のNメモリのN信号とSメモリのS信号を列毎にデジタル信号処理部180に転送する。デジタル信号処理部1180において、これらS信号とN信号を減算処理(S−N)することで、S信号に含まれていた回路に起因するノイズをキャンセルし、画素信号として画像を生成することに用いる。
以上の第1の読み出し制御により、第1及び第2の受光部1121a、1121bのA+B像の信号を行毎に得ることができる。
図4は、本実施形態における撮像素子の第2の信号読み出し制御について説明するタイミングチャートである。第2の信号読み出し制御は、第1の信号読み出し制御と異なり、まず片方の第1の受光部1121a(グループ分けされた一部の光電変換部)の信号を読み出し、その後に他方の第2の受光部1121bをFD容量に接続して、両方の受光部の信号をFD容量で合成した信号を読み出す。
まず、リセット動作中のパルスの制御は、図3で説明した第1の信号読み出し制御の場合と同じである。所定の蓄積時間をおいた後に、時刻trda1で信号pSELをアサートし、次の手順で第1の受光部1121aのA像の読み出し動作を行う。
時刻trda2で信号pRESをネゲートし、画素アンプ1125で増幅したFD容量1123の電圧を垂直出力線1140を介して列AD部1141に入力し、デジタル信号に変換して、N信号を得る。時刻trda3でカウンタ値をゼロにしてカウントを開始し、カウント値に応じて所定のステップ量の電圧を増加した電圧信号をランプ入力として、コンパレータの片側の入力とする。時刻trda4で、コンパレータの両方の入力が一致し、コンパレータ出力がHighになると同時に、その時点のカウンタ値を、列AD部1141内のNメモリに記憶する。このときのカウント値をN信号とする。
時刻trda5でカウンタをリセットする。次に時刻trda6で信号pTXAのみをアサートし、第1の受光部1121aの信号電荷を光信号電圧としてFD容量1123に転送する。転送が完了する時刻trda7で信号pTXAをネゲートする。さらにFD容量1123の電圧は、画素アンプ1125で増幅され、垂直出力線1140を介して列AD部1141に入力される。そして、第1の受光部1121aの信号電荷に応じたデジタル信号を得ることが出来る。時刻trda8でカウントを開始し、列AD部1141に入力された画素からの電圧値とランプ入力の電圧値が一致する時刻trda9のカウント値をSメモリに記憶する。このカウント値をA像S信号と呼ぶ。
時刻trda10でカウンタをリセットする。時刻trda11で列AD部1141内のSメモリのS信号の水平転送部1170への転送が完了し、列AD部1141内のSメモリの情報をリセットする。時刻trda13で信号pSELをネゲートする。
水平転送部1170は各列AD部1141内のNメモリのN信号とSメモリのA像S信号を列毎にデジタル信号処理部180に転送する。デジタル信号処理部1180において、A像S信号とN信号を減算処理(S−N)することで、A像S信号に含まれていた回路起因のノイズをキャンセルしたA像信号を読み出すことができる。
次に第1及び第2の受光部1121a、1121bからのA+B像信号の読み出し動作を行うが、本実施形態の場合、撮像素子の列数分の読み出しを一行として扱い、A像とA+B像のそれぞれの読み出しに1行分の時間を費やす。
時刻trdb1で信号pSELをアサートし、A+B像信号の読み出し開始の基準とする。時刻trdb5でカウンタをリセットする。次に時刻trdb6で信号pTXAと信号pTXBをアサートし、第1の受光部1121aと第2の受光部1121bの信号電荷を光信号電圧としてFD容量1123で合成する。両方の受光部の光信号電圧がFD容量内で安定する時刻trdb7で信号pTXAと信号pTXBをネゲートする。さらにFD容量1123の電圧は、画素アンプ1125で増幅され、垂直出力線1140を介して列AD部1141に入力される。そして、両方の受光部の信号電荷に応じたデジタル信号を得ることが出来る。
時刻trdb8でカウントを開始し、列AD部1141に入力された画素からの電圧値とランプ入力の電圧値が一致する時刻trdb9のカウント値をSメモリに記憶する。このカウント値をA+B像S信号と呼ぶ。時刻trdb10でカウンタをリセットする。
時刻trdb11で列AD部1141内のNメモリのN信号とSメモリのS信号の水平転送部1170への転送が完了し、列AD部1141内のNメモリとSメモリの情報をリセットする。水平転送部1170は各列AD部1141内のNメモリのN信号とSメモリのA+B像S信号を列毎にデジタル信号処理部180に転送する。デジタル信号処理部1180において、A+B像S信号とN信号を減算処理(S−N)することで、A+B像S信号に含まれていた回路起因のノイズをキャンセルしたA+B像信号を読み出す。
時刻trdb12で、信号pRESをアサートし、FD容量1123の電圧を固定し、時刻trdb13で信号pSELをネゲートする。
以上の第2の読み出し制御により、第1の受光部1121aのA像信号と両方の受光部のA+B像信号を行毎に得ることができる。第1の読み出し制御は、A像を読み出さない分、第2の読み出し制御よりもA+B像を高速に読み出すことができる。また、第2の読み出し制御で得られたA+B像からA像を画素毎に減算することで、B像相当の像信号が得られる。減算で得られた像信号をB’像とする。B’像は、光学的にはB像と等価な被写体の像信号である。
図5は本実施形態における撮像素子の画素の構造を説明する図であり、第1の受光部1121aに入射する光束と、第2の受光部1121bに入射する光束のそれぞれを分けて示している。各単位画素の前面にはカラーフィルタ1180と、マイクロレンズ1190が配置されている。マイクロレンズ1190は、画素に入射してきた光を効率良く受光部(フォトダイオード)に集めるために用いられる。
第1の受光部1121aと第2の受光部1121bは、撮影レンズ2000を介して入射する光束のうち、おおよそ半分の光束を分割して信号に変えている。つまり、第1の受光部1121aからのA像と第2の受光部1121bからのB像は、撮影レンズが形成する射出瞳の別々の領域の像信号を形成する。ピントが合っていない場合、A像とB像とでは、取り込んだ光束に応じて射出瞳の分割方向に相対的に被写体像がシフトしたものとなり、ピントが合っている場合、A像とB像にずれは無い。
本実施形態の撮像装置では、B像の代わりに前述したB’像を用い、A像とB’像から被写体の像ずれ量を計算することで、被写体とのデフォーカス量を求め、対象の被写体にピントを合わせるAF動作を行う。さらに、第1の読み出し制御と第2の読み出し制御を撮像素子の部分ごとに行単位で切り替えて行うことにより、AF動作を行いつつ、撮像素子の読み出し時間を短縮する。第2の読み出し制御で読み出す行を被写体の動きに応じて変更することにより、目的の被写体にピントを合わせ続けることもできる。このように制御することで、撮影画像から次の撮影のAF(オートフォーカス)を行うことができ、連写撮影速度を向上させることができる。
第1の読み出し制御と第2の読み出し制御は、制御方法の違いから、固定パターンノイズ(ダークシェーディングなど)が異なる場合があるが、公知の補正手法を各行の読み出し制御に合わせて適用することにより、その差が目立たない画像を得ることが出来る。
しかし、このようにして得られた画像を、多重撮影で用いる場合、読み出し制御の違いに起因した固定パターンノイズの補正誤差が多重撮影で積み重なって、顕在化することを考慮しなければならない。さらに、前述したように第2の読み出し制御の行は、被写体の位置に応じて変更する場合があるため、合成後の画像の固定パターンノイズの出方も撮影ごとに変わる。
したがって、本実施形態では、多重露出撮影の本撮影で得られる各露光画像とは別に、本撮影と同じ読み出し制御で(同じ読み出し制御を反映して)遮光して撮影した、ダーク画像(遮光画像)を取得する。そして、ダーク画像に各露光画像と同等の画像処理を施したものを合成して、合成ダーク画像データを生成する。この合成ダーク画像データを、各露光画像を合成した合成露光画像データから減算することにより、ノイズの低減された多重露出画像データを取得する。
図6は、本実施形態における撮像装置のブロック構成を示す図である。図6において、撮像装置1000は、撮像素子1100、メカニカルシャッター1200、カメラ制御部1400、信号処理部1500、操作部1900を有する。また、撮影レンズ2000は、集光レンズ2100、絞り2200、フォーカスレンズ2300、レンズ制御部2400を有し、レンズ制御部2400は、レンズ通信端子1310を介してカメラ制御部1400と通信する。
ユーザーが操作部1900に含まれるレリーズボタンにより、AF開始スイッチSW1、撮影開始スイッチSW2を操作することで、カメラ制御部1400およびレンズ制御部2400がAF動作、撮影動作などを行う。操作部1900は、メニューボタンおよびコントロールボタンをさらに含み、メニュー画面を表示部に表示させることにより、後述する撮影モードや、AFモードを選択することができる。さらに操作部1900は、タッチパネルディスプレイを含み、他の操作ボタンなどと同様にAF動作や、撮影動作の指示を行うことができる。
また、撮像素子1100はカメラ制御部1400により制御され、撮像素子1100から読み出された信号は、信号処理部1500により補正処理と現像処理が施され、画像信号が作成される。信号処理部1500は、CPUおよび後述する画像処理ブロックや記憶領域としてのRAMなどを構成部品として有する。
図7は、信号処理部1500の内部のブロック構成を示す図である。図7において、ダークシェーディング補正部1520は、水平方向の1次元データである補正値を画像から減算することにより水平方向のダークシェーディングを補正する。光学シェーディング補正部1521は、画像上の水平方向或いは垂直方向の位置(座標)に応じたゲイン補正を行うことにより、光学的なシェーディングを補正する。WB(ホワイトバランス)処理部1522は、ベイヤー配列のR,G1,G2,Bの画素それぞれにゲインを乗じることでホワイトバランス処理を行う。
画像合成部1523は、多重露出撮影における画像合成演算を行う。本実施形態では、設定される枚数分の画像を加算して合成することで多重露出撮影画像を生成するものとする。減算処理部1524は、露光画像からダーク画像を減算する処理や、A+B像から前述したB’像を生成する処理を行う。現像処理部1525は、画像データに対し色マトリクス処理やガンマ処理などの現像処理を施す。AF演算部1526は、A像とB’像とからデフォーカス量を算出する処理を行う。メモリ制御部1527は、画像データや各補正ブロックで使用する補正値を信号処理部1500の記憶領域に対し読み書きする制御を行う。
これらの各処理ブロックは、バス1510によりデータのやり取りができるように接続されており、信号処理部1500のCPUにより制御される。また、重複する処理ブロックを複数個持つことにより、処理を並列化してもよい。信号処理部1500により現像処理されて得られた画像は、撮像装置1000が有する電子ビューファインダ(EVF)1940やTFT液晶などの表示部1950にリアルタイム表示されたり、記録メディア1910に画像データとして記録されたりする。
図8は多重露出撮影における、撮像装置1000の一連の動作を示すフローチャートである。まず、ステップS100では、ユーザーの操作により、多重露出撮影での多重撮影枚数を含め、WB(ホワイトバランス)、AE(自動露出)、ISO感度、AF(オートフォーカス)位置などの各種撮影条件が設定される。ここで、設定された多重撮影枚数をN枚とする。
続くステップS101では、多重露出撮影枚数を管理する変数iの値を「1」に設定する。ステップS102では、多重露出撮影のコマ間で多重露出撮影の中断指示があるか否かを判定する。中断指示はユーザーがカメラの操作部1900を介して行うことができ、多重撮影の途中でも自由に多重撮影を中止し、それまでの撮影結果を記録することができる。また、電池残量などから安全に画像を記録できるうちに画像を記録するように、カメラが自動的に判断して中断指示を出してもよい。
ステップS102で、中断指示があった場合には、ステップS107の処理に移る。ステップS107では、変数iの値を初期値である「1」と比較し、変数iの値が「1」であれば、1枚も撮影が行われていないので、そこで撮影を終了する。一方、ステップS107で、変数iの値が2以上の場合、それ以降の撮影動作(ステップS103〜ステップS106)を行わず、ステップS108の画像合成処理に進む。
ステップS102で、中断指示が無い場合は、ステップS103に進む。ステップS103ではユーザーの撮影指示動作によって撮影開始スイッチSW2がONされると、撮影のためのステップS104に進む。
ステップS104で撮影動作が行われ、1枚の画像が撮影される。撮影動作の詳細は後述する。1枚の撮影が完了する度にステップS105では、撮影動作が多重露出撮影の最後(N枚目)の撮影であったか否かの判定を行う。変数iの値がN未満であった場合は、ステップS106に進み、変数iの値に1を加えて、現在の撮影回数をカウントする。その後、ステップS102に戻り、中断指示もしくは、次の撮影指示が来るまで待機する。ステップS105において、N枚目の撮影であった場合、ステップS108に進み、露光画像を加算する画像合成処理が行われる。
露光画像の画像合成処理を終えたら、ステップS109で第1のダーク補正画像取得枚数と第2のダーク補正画像取得枚数を、それぞれ変数MとLに設定する。本実施形態では、例えばM=8、L=8とする。変数Mと変数Lの値を大きくするほど、多重撮影枚数を多くした場合の固定パターンを軽減することができるが、補正処理に掛かる時間が増加するため、補正精度と処理時間を考慮して決めることが好ましい。変数Mと変数Lに固定値ではなく、変数iの値を記憶させることで、ダーク画像の枚数を多重撮影枚数と同数としてもよい。
その後、ステップS110で変数iの値を「1」 に設定し、変数iの値を補正のための第1のダーク画像撮影のカウントに用いる。ステップS111では、シャッターなどで遮光された状態で撮影を行い、第1のダーク画像を取得する。詳細は後述するが、本実施形態では第1のダーク画像撮影において、前述した第1の読み出し制御のみでダーク画像を撮影する。
第1のダーク画像撮影が完了する度にステップS112で、撮影動作が第1のダーク補正画像撮影の最後(M枚目)の撮影であったか否かの判定を行う。変数iの値がM未満であった場合は、ステップS113に進み、変数iの値に1を加えて、現在の撮影回数をカウントする。その後、ステップS111に戻り、次の第1のダーク画像撮影を行う。
ステップS112において、M枚目の第1のダーク画像撮影であった場合、ステップS114で変数iの値を「1」 に設定し、変数iの値を補正のための第2のダーク画像撮影のカウントに用いる。ステップS115では、シャッターなどで遮光された状態で撮影を行い、第2のダーク画像を取得する。詳細は後述するが、本実施形態では第2のダーク画像撮影において、前述した第2の読み出し制御のみでダーク画像を撮影する。
第2のダーク画像撮影が完了する度にステップS116で、撮影動作が第2のダーク補正画像撮影の最後(L枚目)の撮影であったか否かの判定を行う。変数iの値がL未満であった場合は、ステップS117に進み、変数iの値に1を加えて、現在の撮影回数をカウントする。その後、ステップS115に戻り、次の第2のダーク画像撮影を行う。
ステップS116で、L枚目の第2のダーク画像撮影であった場合、ステップS118に進み、第1のダーク補正値生成処理を行う。本実施形態の第1のダーク補正値生成処理では、M枚の第1のダーク画像を加算し、加算後の第1のダーク画像から第1のダーク補正値を生成し、記憶領域に保存する。ここでの第1のダーク補正値生成処理の詳細は、図12を用いて後述する。
次にステップS119で、第2のダーク補正値生成処理を行う。本実施形態の第2のダーク補正値生成処理では、L枚の第2のダーク画像を加算し、加算後の第2のダーク画像から第2のダーク補正値を生成し、記憶領域に保存する。ここでの第2のダーク補正値生成処理の詳細は、図13を用いて後述する。
ステップS120では、第1のダーク補正値と第2のダーク補正値を用いて、合成ダーク補正値を生成する補正値合成処理を行う。合成ダーク補正値は、第1のダーク補正値を2次元に展開し、多重撮影時の各撮影での撮像素子の読み出し制御情報に基づいて、第2のダーク補正値から第1のダーク補正値を減算した差分補正データを領域別に加算する。ここでの補正値合成処理の詳細は、図14を用いて後述する。
ステップS121では、ステップS108で得られた露光画像の合成画像からステップS120で生成された合成ダーク補正値を減算することによってオフセット補正を行う。この補正により、固定パターンノイズが軽減される。
減算処理後の画像データは、ステップS122において、信号処理部1500で色マトリクス処理、ガンマ処理などの現像処理が施された後、信号処理部1500内の記憶領域に記憶される。ステップS123で、信号処理部1500の記憶領域に格納された画像データを記録メディア1910に格納し、多重撮影動作を終了する。
次に、図9に示すフローチャートを用いて、ステップS104の撮影動作の詳細について説明する。
撮影動作が開始されると、ステップS200で、第1の読み出し制御で読み出す行と第2の読み出し制御で読み出す行を撮像素子1100に設定する。ステップS200の撮像素子の読み出し制御設定は、その時点でのAF枠に応じて、カメラ制御部1400が撮像素子1100のレジスタに必要な設定を送ることで行われる。ステップS201で絞り駆動が行われる。絞り駆動ではカメラ制御部1400がレンズ制御部2400を介して絞り2200を駆動する。
次に、ステップS202では撮像素子1100の電荷がリセットされる。この動作は、カメラ制御部1400からの指示により撮像素子1100を駆動することによって行われる。撮像素子1100は電荷がリセットされると電荷蓄積状態に入る(ステップS203)。
撮像素子1100が電荷蓄積に入った状態で、ステップS204で、カメラ制御部1400はメカニカルシャッター1200を開状態とし、撮像素子1100の露光を開始する。カメラ制御部1400は、ステップS205で所定の蓄積時間が経過するのを待った後、ステップS206でメカニカルシャッター1200を閉状態として撮像素子1100の露光を終了する。
その後、ステップS207で、カメラ制御部1400からの指示により撮像素子1100から撮像信号が読み出される。ステップS208では、読み出された撮像信号に対し、信号処理部1500でのダークシェーディング補正が行われる。ここでのダークシェーディング補正は、予めダーク画像を写像演算して得られる水平方向の1次元データを減算することで水平方向のダークシェーディングを補正するものとする。
続いてステップS209では、信号処理部1500において各画素の信号に対して座標位置に応じたゲイン補正を行うことにより、光学シェーディングを補正する。この時、補正パラメータは補正対象画像撮影時の撮影条件に応じた値を使用する。ここでの撮影条件とは、レンズズーム位置、撮影レンズ種別、絞り値、シャッタースピード、ISO感度値、温度などを指す。
次にステップS210では、光学シェーディング補正後の画像データに対し、ベイヤー配列のR,G1,G2,Bの画素毎にゲインを乗じるWB処理が行われる。ここでの各ゲイン量は対象画像の画像データから算出した値、或いは予め設定された値を用いる。WB処理後の画像データは、ステップS211で信号処理部1500の記憶領域に格納される。
更に、ステップS212においては、上述の撮影条件、WBデータ(ゲイン量)および撮像素子の読み出し制御情報を信号処理部1500の記憶領域に格納して、撮影動作を終了する。
続いて、図10に示すフローチャートを用いて、図8のステップS111で行う第1のダーク撮影動作の詳細について説明する。ステップS111の第1のダーク撮影においては、メカニカルシャッター1200は駆動せず、撮像素子1100を遮光した状態で撮影を行う。
まず、ステップS300で、第1のダーク画像用の撮像素子の読み出し制御設定を行う。本実施形態では、常時第1の読み出し制御を行う設定とする。ステップS301で、撮像素子1100の電荷をリセットし、リセットが解除された時点から電荷の蓄積が開始される(ステップS302)。
その後、ステップS303で所定の蓄積時間が経過するのを待った後、ステップS304でカメラ制御部1400からの指示により撮像素子1100から撮像信号を読み出す。読み出された撮像信号は、ステップS305で、図9のステップS208と同様にダークシェーディング補正が行われる。その後、ステップS306で、第1のダーク画像を記憶領域に保存し、第1のダーク撮影動作を終了する。
図11は、図8のステップS115で行う第2のダーク撮影動作の詳細を示すフローチャートである。ステップS115の第2のダーク撮影も、メカニカルシャッター1200は駆動せず、撮像素子1100を遮光した状態で撮影を行う。
まず、ステップS400で、第2のダーク画像用の撮像素子の読み出し制御設定を行う。本実施形態では、常時第2の読み出し制御を行う設定とする。ステップS401で、撮像素子1100の電荷をリセットし、リセットが解除された時点から電荷の蓄積が開始される(ステップS402)。
その後、ステップS403で所定の蓄積時間が経過するのを待った後、ステップS404でカメラ制御部1400からの指示により撮像素子1100から撮像信号を読み出す。読み出された撮像信号は、ステップS405で、図9のステップS208と同様にダークシェーディング補正が行われる。その後、ステップS406で、第2のダーク画像を記憶領域に保存し、第2のダーク撮影動作を終了する。
次に、図12に示すフローチャートを用いて、図8のステップS118で行う第1のダーク補正値生成処理の詳細について説明する。
まず、ステップS500において、変数iの値を「1」に設定する。次に、ステップS501で、撮像素子1100の画素数分のデータを初期値ゼロとして記憶し、画像合成用の記憶領域を確保する。
次に、ステップS502で、i枚目の第1のダーク画像を記憶領域から取得し、続くステップS503で画像合成用の記憶領域に画素毎に加算する。画素数分の加算処理が完了する度にステップS504で、第1のダーク補正画像撮影の最後(M枚目)のデータであったかの判定を行う。
変数iの値がM未満であった場合は、ステップS505に進み、変数iに1を加えて、現在の撮影回数をカウントする。その後、ステップS502に戻り、次の第1のダーク画像の加算処理を行う。ステップS504で、最後の第1のダーク画像の加算が終了すると、ステップS506に進む。
ステップS506では、信号処理部1500で加算後の第1のダーク画像を各列毎に平均化し、水平方向の1次元の写像データにする。水平方向の写像データとすることで、固定パターンノイズの水平方向の成分を精度良く求めることができる。その後、ステップ507で、加算後の第1のダーク画像から生成した上記の水平方向の1次元の写像データを撮像素子1100の読み出し行数分コピーして、2次元の第1の基準画像データにする。
ステップS508で、変数iの値を「1」に設定し、多重撮影のi番目の撮影で使用された補正を第1の基準画像データに適用するためのカウント値とする。ステップS509で、撮像素子1100の画素数分のデータを初期値ゼロとして記憶し、第1のダーク補正データ合成用の記憶領域を確保する。
次のステップS510で記憶領域からi枚目の露光画像撮影時の撮影条件、WBデータを取得する。ステップS511とステップS512では、ステップS510で取得した撮影条件とWBデータに基づいて、第1の基準画像データに光学シェーディング補正処理とWB処理を行う。
ステップS513では、ステップS512の補正処理後の第2の基準画像データを画素毎にステップS509で確保した第1のダーク補正データ合成用の記憶領域に加算する。ステップS514で、多重撮影の撮影枚数分(N回)の処理が完了したか否かを判定する。変数iの値がN未満の場合、ステップS515に進み、変数iに1を加えて、ステップS510に戻る。ステップS514で、最後のN回目の処理が完了した場合、ステップS516に進む。
ステップS516では、補正処理後の第1の基準画像データの各値を(1/M)倍する。これは、ステップS503でM回分の第1のダーク画像の加算処理を、加算枚数で割り戻すための処理である。ステップS511の光学シェーディング補正処理とステップS512のWB処理のゲイン補正の後に行うことで、演算精度の高い補正データを生成することができる。
ステップS516で得られた画像データを、第1のダーク補正データとする。ステップS517では、ステップS516で得られた第1のダーク補正データを記憶領域に保存して、第1のダーク補正値生成処理を終了する。
次に、図13に示すフローチャートを用いて、図8のステップS119で行う第2のダーク補正値生成処理の詳細について説明する。
まず、ステップS600において、変数iの値を「1」に設定する。次に、ステップS601で、撮像素子1100の画素数分のデータを初期値ゼロとして記憶し、画像合成用の記憶領域を確保する。
次に、ステップS602で、i枚目の第2のダーク画像を記憶領域から取得し、続くステップS603で画像合成用の記憶領域に画素毎に加算する。画素数分の加算処理が完了する度にステップS604で、第2のダーク補正画像撮影の最後(L枚目)のデータであったかの判定を行う。
変数iの値がL未満であった場合は、ステップS605に進み、変数iに1を加えて、現在の撮影回数をカウントする。その後、ステップS602に戻り、次の第2のダーク画像の加算処理を行う。ステップS604で、最後の第2のダーク画像の加算が終了すると、ステップS606に進む。
ステップS606では、信号処理部1500で加算後の第2のダーク画像を各列毎に平均化し、水平方向の1次元の写像データにする。水平方向の写像データとすることで、固定パターンノイズの水平方向の成分を精度良く求めることができる。その後、ステップ607で、加算後の第2のダーク画像から生成した上記の水平方向の1次元の写像データを撮像素子1100の読み出し行数分コピーして、2次元の第2の基準画像データにする。
ステップS608で、変数iの値を「1」に設定し、多重撮影のi番目の撮影で使用された補正を第2の基準画像データに適用するためのカウント値とする。ステップS609で、撮像素子1100の画素数分のデータを初期値ゼロとして記憶し、第2のダーク補正データ合成用の記憶領域を確保する。
次のステップS610で記憶領域からi枚目の露光画像撮影時の撮影条件、WBデータ、撮像素子の読み出し制御情報を取得する。ステップS611とステップS612では、ステップS610で取得した撮影条件とWBデータに基づいて、第2の基準画像データに光学シェーディング補正処理とWB処理を行う。
ステップS613では、i番目の露光画像についての撮像素子の読み出し制御情報に基づいて、第2の基準画像データのうち、第2の読み出し制御を行った行以外のデータにゼロを乗じる。
ステップS614では、ステップS613の補正処理後の第2の基準画像データを画素毎にステップS609で確保した第2のダーク補正データ合成用の記憶領域に加算する。ステップS615で、多重撮影の撮影枚数分(N回)の処理が完了したか否かを判定する。変数iの値がN未満の場合、ステップS616に進み、変数iに1を加えて、ステップS610に戻る。ステップS615で、最後のN回目の処理が完了した場合、ステップS617に進む。
ステップS617では、第2のダーク補正データ合成用の記憶領域に格納されている画像データを(1/L)倍する。これは、ステップS603でL回分の第2のダーク画像の加算処理を、加算枚数分で割り戻すための処理である。ステップS611の光学シェーディング補正処理とステップS612のWB処理のゲイン補正の後に行うことで、演算精度の高い補正データを生成することができる。
ステップS617で得られた画像データを、第2のダーク補正データとする。第2のダーク補正データは、ある行のデータに着目したとき、ステップS613の処理により、図8のステップS104の各露光画像撮影時に、第2の読み出し制御を行った回数に応じて重み付けされた補正データとなっている。ステップS618では、ステップS617で得られた第2のダーク補正データを記憶領域に保存して、第2のダーク補正値生成処理を終了する。
図14に示すフローチャートを用いて、補正値合成処理の詳細について説明する。
補正値合成処理では、図12のステップS517と図13のステップS618で得られた第1のダーク補正データと第2のダーク補正データから、多重撮影の際の撮像素子の読み出し制御に応じた2次元の補正データを生成する。
まず、ステップS700で、撮影時の撮像素子の読み出し制御情報を取得する。次に、ステップS701と続くステップS702で、第1のダーク補正データと第2のダーク補正データを記憶領域から取得する。ステップS703では、第2のダーク補正データから第1の補正データの対応する画素同士のデータを減算して、差分補正データを生成する。
ここで、図15は、多重撮影の各撮影画像で読み出し制御の切り替えパターンを変更した場合に、画像合成後に領域別に表れる固定パターンノイズを模式的に表す図である。1枚目、2枚目、3枚目では、第2の読み出し制御を行う領域を画面上下方向に少しずつ変えて撮影している。これら3枚の画像を加算すると、1番右に示す加算合成時の画像のように第2の読み出し制御が何回行われたかで、領域に分けることができる。
本実施形態の撮像装置は、カメラ制御部1400が撮像素子1100に設定する撮像素子の読み出し制御情報から領域を決定することができる。撮像素子の読み出し制御情報は、第1の読み出し制御と第2の読み出し制御をしている座標を一意に決定する情報であり、本実施形態では、第2の読み出し制御の行番号を用いる。撮像素子の読み出し制御情報は、複数の矩形領域の開始座標、終了座標を示すものでもよく、第1の読み出し制御と第2の読み出し制御を周期的に切り変える場合、その行周期や列周期で表現して情報量を削減しても良い。前述したように、第1の読み出し制御と第2の読み出し制御では異なる固定パターンノイズ(ダークシェーディングなど)が現れるため、第2の読み出し制御が行われた回数が多い領域ほどその成分が積算されて、画像に悪影響を与える。
ステップS704では、図15に示すような領域別に適切な補正値が当てられるように補正値を加工する。ステップS700で取得した撮像素子の読み出し制御情報から、1回以上第2の読み出し制御が行われた行に、該当行の差分補正データを加算する。このようにすることで、加算後の固定パターンノイズの各領域に対応した2次元の補正データが得られる。
ステップS705で、生成した2次元データを合成ダーク補正値として、記憶領域に保存し、補正値合成処理を終了する。多重撮影データから合成ダーク補正値を画素毎に減算処理することで、固定パターンノイズを軽減することが出来る。そして、補正後の画像を現像、記録する。
以上のように、本実施形態では、多重露出撮影の各露光画像の撮影とは別に、第1の読み出し制御のみの第1のダーク画像の撮影と、第2の読み出し制御のみの第2のダーク画像の撮影を複数回行う。第1のダーク画像を加算して作成した第1の補正データと、第2のダーク画像を加算して作成した第2の補正データを、撮影時の撮像素子の読み出し制御情報を基に合成することで、撮影毎の読み出し制御の切り替えパターンの組み合わせで生じる固定パターンノイズを適切に補正することが可能となる。
(第2の実施形態)
多重露光撮影は、必ずしも連続して撮影されるとは限らない。たとえば、過去に撮影した画像を記録メディアから読み出して、その画像に次の撮影を加算していく場合がある。第2の実施形態では、このような多重撮影を可能とする撮像装置について説明する。
多重露光撮影は、必ずしも連続して撮影されるとは限らない。たとえば、過去に撮影した画像を記録メディアから読み出して、その画像に次の撮影を加算していく場合がある。第2の実施形態では、このような多重撮影を可能とする撮像装置について説明する。
第2の実施形態では、前述のように後から多重加算する場合に備えて、多重撮影モードとされていない場合においても、すべての記録画像に撮像素子の読み出し制御情報を記憶している必要がある。そのために、図9の撮影動作のフローチャートにおいて、1枚の撮影動作が完了した後、ステップS211で記憶領域に記憶した画像を現像し、JPEGなどに変換する。そして、その現像した画像の画像フォーマットのヘッダに、ステップS212で取得した撮像素子の読み出し制御情報を付加して、記録メディア1910に保存する。なお、撮像素子の読み出し制御情報は、符号化されたビットデータとして画像中の画素データとして付加してもよい。
図16は、後から多重加算する場合における、1枚の画像の撮影動作を説明するフローチャートである。
ステップS1000において、多重撮影の条件設定の際に1枚目の画像を選択する。ステップS1001で変数iの値に「1」を設定する。ステップS1002で、ステップS1000で選択された画像を記録メディアから取得する。次にステップS1003で、1枚目に選択された画像の読み出し制御情報を取得し、変数i=1に関連付けて記憶領域に保存する。
その後、ステップS1004で変数iに1を加えた後、ステップS1005からステップS1026において、図8に示す多重撮影フローにおける、2枚目以降(変数i≧2)のステップS102からステップS123と同じ動作を行う。
このように、記録メディアからの画像取得時に、1枚目の画像の読み出し制御情報を取得することで、過去に撮影した画像の上に、次からの撮影を多重加算処理する場合でも、固定パターンノイズを適切に補正することが出来る。
(第3の実施形態)
第3の実施形態では、図8のステップS109における補正用ダーク撮影枚数設定を次のように制御し、ステップS118の第1のダーク補正値生成に当る動作を図17に示すフローで行う。
第3の実施形態では、図8のステップS109における補正用ダーク撮影枚数設定を次のように制御し、ステップS118の第1のダーク補正値生成に当る動作を図17に示すフローで行う。
まず、ステップS109で、第1のダーク補正画像取得枚数Mに、その時点での変数iの値を記憶させ、多重撮影枚数と同数の撮影を行うように設定する。また、第2のダーク補正画像取得枚数Lをゼロとする。こうすることで、第1のダーク画像は、第1の読み出し制御と第2の読み出し制御の切り替えパターンが露光画像と同じになる設定で撮影され、第2のダーク画像は、L=0にした場合、撮影自体が行われない。
本実施形態における第1のダーク補正値生成処理について、図17のフローチャートを用いて説明する。
まず、ステップS3000において、変数iを「1」に設定する。次に、ステップS3001で、撮像素子の画素数分のデータを初期値ゼロとして記憶し、画像合成用の記憶領域を確保する。次に、ステップS3002で、i枚目の第1のダーク画像を取得する。
続くステップS3003でi枚目の撮影条件、WBデータを取得する。
続くステップS3003でi枚目の撮影条件、WBデータを取得する。
ステップS3004とステップS3005では、ステップS3003で取得した撮影条件とWBデータに基づいて、i枚目の第1の画像データに光学シェーディング補正処理とWB処理を行う。その後、ステップS3006で画像合成用の記憶領域に画素毎に加算する。
ステップS3007で、第1のダーク撮影枚数分(M回)の処理が完了したか否かを判定する。変数iがM未満の場合は、ステップS3008に進み、変数iに1を加えて、ステップS3002に戻る。最後のM回目の処理が完了した場合は、ステップS3009に進む。
ステップS3009では、ステップS3006で加算された第1のダーク画像を第1のダーク補正データとして記憶領域に保存して、本実施形態での第1のダーク補正値生成処理を終了する。
本実施形態では、図8のステップS120の補正値合成処理を行わない。第1のダーク画像撮影時のときに露光画像と同じ読み出し制御の切り替えパターンを用いているため、前述の第1のダーク補正データが、各撮影の読み出し制御切り替えパターンの組み合わせに応じた2次元の固定パターンノイズの補正データとなっている。したがって、ステップS121の減算処理で、第1のダーク補正データを画素毎に減算処理することにより、固定パターンノイズを軽減することができる。そして、補正後の画像を現像、記録する。
第3の実施形態では、第1、第2の実施形態で行っていた水平方向の1次元データにする写像演算を行わないため、撮影毎の読み出し制御の切り替えパターンの様々な組み合わせで生じる固定パターンノイズの水平垂直方向の補正を行うことができる。
(第4の実施形態)
第3の実施形態では、垂直方向の固定パターンノイズも補正できるが、画素毎に加減算処理を行うと、画素値のばらつきが増加する。画素値のばらつきは解像感の低下にもつながるため、第1の実施形態、第2の実施形態で示した水平写像タイプの補正のいずれかと、第3の実施形態で示した2次元画像タイプの補正を条件によって使い分けることで、より最適な補正となる。本実施形態の撮像装置では、多重の加算枚数とISO感度に基づいて、前述した水平写像タイプの補正と2次元画像タイプの補正を切り替える。
第3の実施形態では、垂直方向の固定パターンノイズも補正できるが、画素毎に加減算処理を行うと、画素値のばらつきが増加する。画素値のばらつきは解像感の低下にもつながるため、第1の実施形態、第2の実施形態で示した水平写像タイプの補正のいずれかと、第3の実施形態で示した2次元画像タイプの補正を条件によって使い分けることで、より最適な補正となる。本実施形態の撮像装置では、多重の加算枚数とISO感度に基づいて、前述した水平写像タイプの補正と2次元画像タイプの補正を切り替える。
本実施形態のように加算枚数と撮影条件によって補正タイプを切り替えることにより、撮影毎の読み出し制御の切り替えパターンの様々な組み合わせで生じる固定パターンノイズを補正し、撮影条件に応じた好適な画質を得ることが可能となる。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
1000:撮像装置、1100:撮像素子、1120:単位画素、1121a:第1の受光部、1121b:第2の受光部、1123:FD容量、1140:垂直出力線、1400:カメラ制御部、2000:撮影レンズ、2400:レンズ制御部
Claims (16)
- 複数の画素を有する画素領域の部分ごとに読み出し条件を変更して画素の信号を読み出すことが可能な撮像素子と、
前記撮像素子の第1の複数回の撮像により得られた複数枚の画像を合成して1枚の合成画像を生成する合成手段と、
前記第1の複数回の撮像のそれぞれにおいて、前記画素領域での読み出し条件のパターンが異なる場合に、前記読み出し条件のパターンを反映するように前記撮像素子を遮光して第2の複数回の撮像を行い、前記読み出し条件のパターンを反映した遮光画像である補正画像を生成する生成手段と、
前記補正画像を用いて前記合成画像を補正する補正手段と、
を備えることを特徴とする撮像装置。 - 前記撮像素子を遮光した前記第2の複数回の撮像により得られた複数枚の基準画像を合成することにより前記補正画像を生成することを特徴とする請求項1に記載の撮像装置。
- 前記第1の複数回と前記第2の複数回は等しいことを特徴とする請求項1または2に記載の撮像装置。
- 前記撮像素子の画素のそれぞれは、複数の光電変換部を有し、前記画素の複数の光電変換部の信号を同時に読み出す第1の読み出し制御と、前記画素の複数の光電変換部を複数のグループに分けて読み出す第2の読み出し制御とを切り替える切り替え手段をさらに備えることを特徴とする請求項1乃至3のいずれか1項に記載の撮像装置。
- 前記第2の読み出し制御では、前記画素の複数の光電変換部の一部の信号を読み出した後、前記複数の光電変換部の全ての信号を読み出すことを特徴とする請求項4に記載の撮像装置。
- 前記第2の読み出し制御では、前記画素の複数の光電変換部の一部の信号を読み出した後、前記複数の光電変換部のうちの残りの信号を読み出すことを特徴とする請求項4に記載の撮像装置。
- 前記読み出し条件とは、前記画素の信号を前記第1の読み出し制御で読み出すか、前記第2の読み出し制御で読み出すかという条件であることを特徴とする請求項4に記載の撮像装置。
- 前記読み出し条件のパターンとは、1枚の画像において、前記画素領域のどの部分の画素の信号を第1の読み出し制御で読み出し、どの部分の画素の信号を第2の読み出し制御で読み出すかというパターンであることを特徴とする請求項4に記載の撮像装置。
- 前記生成手段は、前記撮像素子を遮光した前記第2の複数回の撮像において、前記第1の読み出し制御で前記画素の信号を読み出して得られた第1の基準画像と、前記第2の読み出し制御で前記画素の信号を読み出して得られた第2の基準画像を、前記合成画像の画素ごとに前記第1の読み出し制御で読み出した回数と前記第2の読み出し制御で読み出した回数に基づいて重み付けして合成することにより、前記補正画像を生成することを特徴とする請求項4乃至8のいずれか1項に記載の撮像装置。
- 前記生成手段は、前記撮像素子を遮光した前記第2の複数回の撮像において、前記複数枚の画像のそれぞれの撮影時の読み出し条件のパターンで読み出した複数枚の基準画像を合成することにより、前記補正画像を生成することを特徴とする請求項4乃至8のいずれか1項に記載の撮像装置。
- 前記合成画像に、前記読み出し条件のパターンを関連付けて記憶する記憶手段をさらに備えることを特徴とする請求項1乃至10のいずれか1項に記載の撮像装置。
- 前記合成手段は、前記複数枚の画像を加算することにより合成することを特徴とする請求項1乃至11のいずれか1項に記載の撮像装置。
- 前記補正手段は、前記合成画像から前記補正画像を差し引くことにより前記合成画像を補正することを特徴とする請求項1乃至12のいずれか1項に記載の撮像装置。
- 複数の画素を有する画素領域の部分ごとに読み出し条件を変更して画素の信号を読み出すことが可能な撮像素子を備える撮像装置を制御する方法であって、
前記撮像素子の第1の複数回の撮像により得られた複数枚の画像を合成して1枚の合成画像を生成する合成工程と、
前記第1の複数回の撮像のそれぞれにおいて、前記画素領域での読み出し条件のパターンが異なる場合に、前記読み出し条件のパターンを反映するように前記撮像素子を遮光して第2の複数回の撮像を行い、前記読み出し条件のパターンを反映した遮光画像である補正画像を生成する生成工程と、
前記補正画像を用いて前記合成画像を補正する補正工程と、
を有することを特徴とする撮像装置の制御方法。 - 請求項14に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
- 請求項14に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017185315A JP2019062387A (ja) | 2017-09-26 | 2017-09-26 | 撮像装置及びその制御方法、プログラム、記憶媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017185315A JP2019062387A (ja) | 2017-09-26 | 2017-09-26 | 撮像装置及びその制御方法、プログラム、記憶媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019062387A true JP2019062387A (ja) | 2019-04-18 |
Family
ID=66177750
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017185315A Pending JP2019062387A (ja) | 2017-09-26 | 2017-09-26 | 撮像装置及びその制御方法、プログラム、記憶媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2019062387A (ja) |
-
2017
- 2017-09-26 JP JP2017185315A patent/JP2019062387A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4292426B2 (ja) | 撮像装置および撮像データ補正方法 | |
EP2809063B1 (en) | Image capturing apparatus and image processing method | |
JP4979482B2 (ja) | 撮像装置及び画像信号処理プログラム | |
JP5219778B2 (ja) | 撮像装置及びその制御方法 | |
JP5889323B2 (ja) | 撮像装置及び撮像装置の制御方法 | |
JP5889324B2 (ja) | 撮像装置及び撮像装置の制御方法 | |
JP5013811B2 (ja) | 撮像装置及び補正方法 | |
JP2008113141A (ja) | 撮像装置及び信号処理方法 | |
JP6900227B2 (ja) | 撮像装置及び撮像装置の駆動方法 | |
JP4745851B2 (ja) | 撮像装置 | |
JP6234058B2 (ja) | 焦点調節装置およびその制御方法 | |
JP2006157882A (ja) | 固体撮像装置 | |
JP2007333801A (ja) | 焦点検出装置 | |
US8026965B2 (en) | Image pickup apparatus and method for controlling the same | |
JP2018182459A (ja) | 撮像装置及び撮像装置の制御方法 | |
JP2005323041A (ja) | クランプレベル調整装置および電子カメラ | |
JP2017142484A (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
JP2010016630A (ja) | 撮像装置 | |
JP6444254B2 (ja) | 焦点検出装置、撮像装置、焦点検出方法、プログラム、及び記憶媒体 | |
JP2019062387A (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
JP7236282B2 (ja) | 画像処理装置及び方法、及び撮像装置 | |
JP5720213B2 (ja) | 撮像装置 | |
JP2021110885A (ja) | 撮像装置及びその制御方法 | |
JP2007295429A (ja) | ディジタル・スチル・カメラおよびその制御方法 | |
JP2016029756A (ja) | 撮像装置 |