JP2015099989A - 撮像装置 - Google Patents

Abstract

【課題】電子シャッターによる撮像からメカニカルシャッターによる撮像へ切り換えて撮像するときに、撮像信号に発生するノイズによる画質低下を補正する撮像装置を提供する。【解決手段】行方向と列方向に配置された複数の画素と、前記画素の信号を読み出す周辺回路と、前記画素から読み出された信号を処理する信号処理部とを備える撮像装置であって、電子シャッターにより電荷蓄積を制御する第１モードと、メカニカルシャッターにより電荷蓄積を制御する第２モードを備え、前記信号処理部は、前記第２モードでの電荷蓄積によって得られる信号に基づいて、前記複数の画素から得られる画像データを補正する。【選択図】 図２

Description

本発明は、電子シャッターと、メカニカルシャッターを備える撮像装置に関するものである。

近年、電子シャッターによって露光時間を制御した画像と、メカニカルシャッターによって露光時間を制御した画像を出力する撮像装置が提案されている。特許文献１には電子シャッターとメカニカルシャッターにより静止画を撮像する場合に、撮像素子のリセット動作のタイミングとメカニカルシャッターの羽根の走行特性の間でのズレを演算することが開示されている。

特開２００８−２２１９８号公報

デジタルカメラに於いて、撮像装置の露光時間を制御する手段は大きく２種類ある。１つは被写体からの画素への光の入射を物理的に遮断するメカニカルシャッターである。もうひとつは画素のリセットと電荷の読み出しを電気的に制御する電子シャッターである。

一般的なメカニカルシャッターの駆動方法を説明する。メカニカルシャッターはシャッター基板に枢支した２組の羽根ユニットを有する。この羽根ユニットは複数に分割された遮光羽根群を２本のアームで各々回転可能に保持している。一方の羽根ユニットは露光時にシャッター開口部を遮蔽状態から開放状態へ移行させる先羽根として作用する。他方の羽根ユニットは露光時にシャッター開口部を開放状態から遮蔽状態へ移行させる後羽根として作用する。先羽根と後羽根を構成する羽根ユニットは、所定方向への付勢力を与えるばね等の駆動源と制御マグネットに吸着保持されるアーマチャとを有した駆動部材に連結されている。メカニカルシャッターの動作は、まず、チャージレバーによって、羽根ユニットがヨーク吸着面に保持される位置に移動される。この操作により先羽根がシャッター開口部を遮蔽する。次にシャッターボタンが操作されると、先羽根の制御マグネット用のコイルへの通電を解除されて、先羽根が走行し、シャッター開口部を開放する。シャッター速度に応じた時間の後、後羽根の制御マグネット用のコイルへの通電が絶たれて後羽根がシャッター開口部を遮蔽する。

一方、電子シャッターの動作は、画素に蓄積された信号電荷をフォトダイオード外へ廃棄するリセット動作に続いて、露光が開始される。露光の開始時点からフォトダイオードは電荷の蓄積を開始する。所定の時間の後、フォトダイオードから電荷の読み出しが開始される。電子シャッターではリセット後に画素が露光を開始してからフォトダイオードに蓄積された電荷を読み出すまでの時間によりシャッター速度を制御している。

特許文献１に記載された撮像装置では、動画撮像モードで撮影する場合は電子シャッターを使う。静止画撮像モードで撮影する場合には、メカニカルシャッターの先羽根機能を電子シャッターにより行い、後羽根機能は、メカニカルシャッターにより行っている。画素の電荷蓄積開始を後羽根の走行特性に一致させることで行方向と列方向に配置された画素の露光時間を等しくする。静止画撮像モードでは後羽根の走行特性に一致するタイミングでほぼ同時に画素のリセットが行われ、メカニカルシャッターによりほぼ同時に画素の受光面が遮光される。画素のリセットによる電荷の蓄積開始からメカニカルシャッターによる画素の遮光までの露光時間は、行方向と列方向に配置された画素ではどこも等しい。しかし、露光により蓄積された電荷の読み出しが開始されるまでの時間は各行毎に異なる。つまり、露光により電荷の蓄積が開始されてから、蓄積された電荷が読み出されるまでの時間（「蓄積時間」）は、最初に電荷の読み出しを開始した行より最後に電荷を読み出す行の方が長く（遅く）なる。このために、遮光後の、電荷を読み出すまでの時間の違いの影響により輝度や暗電流等が行ごとに異なり、シェーディングのようなノイズが生じる可能性があった。本発明は、例えば、電子シャッターによる撮像からメカニカルシャッターによる撮像へ切り換えて撮像するときに、撮像信号に発生するノイズによる画質低下を補正する撮像装置を提供することを目的とする。

本発明の撮像装置は、行方向と列方向に配置された複数の画素と、前記画素の信号を読み出す周辺回路と、前記画素から読み出された信号を処理する信号処理部とを備える撮像装置であって、電子シャッターにより電荷蓄積を制御する第１モードと、メカニカルシャッターにより電荷蓄積を制御する第２モードを備え、前記信号処理部は、前記第２モードでの電荷蓄積によって得られる信号に基づいて、前記複数の画素から得られる画像データを補正することを特徴とする。

本発明は、電子シャッターによる撮像からメカニカルシャッターによる撮像へ切り換えて撮像するときに、撮像信号に発生するノイズによる画質低下を補正する撮像装置を提供する。

単板式デジタル一眼レフカメラを構成する部品のブロック図。 本発明に係る第一の実施形態の電子シャッター制御画像（動画撮像モード）とメカニカルシャッター制御画像（静止画撮像モード）のシャッター装置のタイミング図 本発明による第一の実施形態の電子シャッター制御画像（動画撮像モード）とメカニカルシャッター制御画像（静止画撮像モード）のシャッター装置の動作シーケンス図。 本発明に係る第一の実施形態の補正の概念図。 本発明に係る行方向と列方向に配置された画素の構成図。 本発明に係る第一の実施形態の動画撮像モードでの駆動パルスを示す図。

（第１の実施形態）
以下、本発明の第１の実施形態について図面を用いて説明する。本発明に係るデジタル一眼レフカメラについて図１により説明する。本実施形態ではデジタル一眼レフカメラを例にあげて説明を行うが、これに限られるものではない。電気信号として画像データを出力する撮像素子を備え、遮光部材としてメカニカルシャッターを用いて撮像素子の露光時間を制御する構成を備えた撮像装置であれば、他の構成を有する撮像装置についても本発明を適用することは可能である。

本実施形態では、シャッター２０３として、電子シャッターとメカニカルシャッターを備え、撮像モードとして、電子シャッターによる動画撮像モードとメカニカルシャッターを使う静止画撮像モードとを備える。メカニカルシャッターは、一眼レフカメラに使用される後羽根に相当する羽根ユニットを備えている。シャッター駆動装置２０４はシャッター２０３を動作させるための装置であり。チャージレバーや制御マグネットにて構成されている。

電子シャッターの動作について、図５及び図６により説明する。撮像装置の単位画素１０１について説明する。光を電荷に変換するフォトダイオード（以下、ＰＤと称する）１０２は電荷を蓄積する。転送スイッチ１０３は、転送パルスｐＴＸによってＰＤで発生した電荷を後述するＦＤに転送する。電荷検出部（以下、ＦＤと称する）１０４は電荷を一時的に蓄積する。増幅ＭＯＳトランジスタ１０５はソースフォロアとして機能する。選択スイッチ１０６は、選択パルスｐＳＥＬＶによって画素を選択し、リセットスイッチ１０７は、リセットパルスｐＲＥＳによってＦＤ１０４に蓄積された電荷を除去する。ＦＤ１０４、増幅ＭＯＳトランジスタ１０５、及び定電流源１０９でフローティングディフュージョンアンプが構成される。このような単位画素が行方向と列方向に配置されている。画素は、信号を読み出すための水平走査回路及び垂直走査回路などの周辺回路により駆動され、信号が読み出される。そして、選択スイッチ１０６で選択された画素の電荷が電圧に変換され信号出力線１０８を経て読み出し回路１１３に出力される。定電流源１０９は増幅ＭＯＳアンプ１０５の負荷となっている。垂直走査回路１１２は転送スイッチ１０３、選択スイッチ１０６、リセットスイッチ１０７を制御して画素を行単位で走査するための制御信号を出力する。水平走査回路１１４によって駆動される選択スイッチ１１０は、読み出し回路１１３から出力信号を選択する。

ｐＴＸ、ｐＲＥＳ、ｐＳＥＬＶそれぞれにおいて垂直走査回路１１２によって走査選択されたｎ番目の走査ライン（ｎライン）をｐＴＸｎ、ｐＲＥＳｎ、ｐＳＥＬＶｎとする。撮像の動作は以下のように行われる。ｎラインにおいて、まず時刻ｔ４１からｔ４２の間、ｐＲＥＳｎとｐＴＸｎにパルスを印加され転送スイッチ１０３及びリセットスイッチ１０７をオンにする。そして、ｎライン目のＰＤ１０２とＦＤ１０４に蓄積されている不要電荷を除去するリセット動作を行う。リセット動作が行われると、時刻ｔ４２で転送スイッチ１０３がオフになり、ＰＤに発生した光電荷が蓄積される蓄積動作が開始される。次に時刻ｔ４３においてｐＴＸｎにパルスが印加され転送スイッチ１０３をオンにし、ＰＤ１０２に蓄積された光電荷をＦＤ４０４に転送する転送動作を行う。なお、リセットスイッチ１０７は、転送動作に先んじてオフする必要があり、図６では、時刻ｔ４２で転送スイッチ１０３と同時にオフとなる。ここで、時刻ｔ４２から時刻ｔ４３までが露光時間となる。

ｎライン目の転送動作終了後ｐＳＥＬＶｎにパルスが印加され選択スイッチ１０６がオンすることにより、ＦＤ１０４で保持された電荷が電圧に変換され、信号として読み出し回路１１３に出力される。時刻ｔ４３の転送開始から時刻ｔ４５の読み出し終了までをｎラインでの読み出し時間とする。この読み出し時間終了直後にｎ+1ラインでの転送動作が開始できるようにタイミングを合わせる。ｎラインでのリセット動作開始時刻ｔ４１からｎ+1ラインでのリセット動作開始時刻ｔ４６までの時間をｎ＋１ラインでの待機時間とする。他のラインにおいても同様に、転送開始から読み出し終了までの時間が読み出し時間となり、あるラインのリセット開始から次のラインのリセット開始までの間の時間が待機時間となる。このように、リセット動作から読み出し動作を画素の行毎に時間差で行う構成を、以下、電子シャッターのローリング動作と称する。電子シャッターで撮像する場合は画素の行毎に電荷の蓄積が開始されるタイミングは異なるが、それぞれの露光による電荷の蓄積に要する時間は撮像装置で等しくすることが可能である。

本実施形態の静止画撮像モードでは、電子シャッターにより画素のリセット動作を行うことによって電荷の蓄積動作を開始し、後羽根ユニットによって行方向と列方向に配置された画素の受光面を遮光して露光時間を調整する。このとき、リセット動作を後羽根ユニットの走行に合わせることによって、撮像装置の露光時間を等しくしている。また、リセット動作の開始から後羽根ユニットによる遮光までの時間を変更することによって撮像装置の露光時間を制御する構成となっている。この構成では、後羽根の走行特性に一致するタイミングでほぼ同時に画素のリセットが行われて露光による電荷の蓄積が開始され、次に全画素がほぼ同時にメカニカルシャッター（後羽根）によって遮光される。

図２、３に静止画撮像モードのリセット動作のタイミングと後羽根での遮光動作後に信号を読み出すタイミングの関係を示す。図２、３には、例えば、電子ファインダーを利用する電子シャッター制御による動画撮像モードからメカニカルシャッター制御による静止画撮像モードへ撮像モードを切り替えて撮像する場合が示されている。図３のフローチャートに示すように、動画撮像モードではメカニカルシャッターは開いており、常に光が画素に照射されている。動画撮像モードでは、画素のリセット動作により電荷の蓄積動作が開始される。リセット動作は、図２（Ａ）の斜線ａに示すように、時刻ｔ１からの動画撮像モードでは画素の行ごとに順次時間をずらして行われる。各行の画素からは、設定された露光時間が経過した後に順次に信号の読み出しが行われる。電子シャッターがローリング動作している間、リセット動作の開始タイミングと読み出し動作の開始タイミングを適切に調整することで、動画撮像モードでは画面内での露光時間は一定である。電子シャッターが動作している間、メカニカルシャッターは開放されている。

一方、動画撮像モードから静止画撮像モードに切り換えてメカニカルシャッターで撮像する場合は、後羽根の走行特性に一致するタイミングで電子シャッターによる画素のリセットがほぼ同時に行われ、時刻ｔ２から露光が始まり、電荷の蓄積動作が開始される。次に、全画素がほぼ同時に時刻ｔ３でメカニカルシャッターによって遮光される。その後、時刻ｔ４から画素から信号の読み出しを開始する。静止画撮像モードでは、電子シャッターによる画素のリセット動作と、メカニカルシャッターによる遮光動作のタイミングを適切に調整することで、露光時間が制御される。しかし、静止画撮像モードの場合、露光により電荷の蓄積が開始されてから、蓄積された電荷が読み出されるまでの蓄積時間は、図２に示すように画面の上から読み出す場合に、画面上部ではｔ２からｔ４、画面下部ではｔ２からｔ５かかる。よって静止画撮像モードでは、電子シャッターによる蓄積開始からメカニカルシャッターによる遮光までの露光時間は各行の画素で等しいが、遮光後に各行の画素から信号の読み出しを開始するまでの時間が異なる。一様な画像を撮像した場合、図４（Ａ）に示すように、撮影画像の上部と下部とでノイズの影響による差が生じる。

静止画撮像モードの場合、電子シャッター機能によるリセット動作によって露光を開始しメカニカルシャッターによる遮光の後に画素から信号の読み出しを行うので、各行での信号を読み出すまでの時間に違いが生じる。そして、露光開始から遮光後に画素から信号を読み出すまでの時間を含めた蓄積時間の違いにより輝度や暗電流等が行ごとに異なる。このために図４（Ａ）に示すように、シェーディングのようなノイズが生じる可能性がある。

具体的に説明すると、ある撮像素子の行数がｎ行で、全画素の電荷蓄積量を読み出すのにかかる時間を図２で示されるｔ５−ｔ４であるとした場合、単純にいえば１行目に比べｎ行目では蓄積時間がｔ５−ｔ４増えることになる。この間にフォトダイオードには被写体からの入射光を変換した電荷以外に加えて、露光後に画素部等から発生する暗電流などのノイズ電荷等が蓄積される。したがってｎ行目と１行目とで、読み出すタイミングの違いにより蓄積時間に依存性の有るノイズ電荷に差が生じる。

本実施形態では、図２（Ｂ）のように、連続する偶数行の画素から先に電荷の読み出しを行い、連続する奇数行の画素からの電荷の読み出しを後にするように、画素からの電荷の読み出しを分けて行う。画素から読み出された信号は信号処理部２０６で処理されて、補正される。信号処理部２０６での補正について説明する。メカニカルシャッターによる遮光ｔ３から読み出し開始ｔ４までの間は各画素に共通なので考慮しない。偶数行の１行目では露光時間に応じた信号ａ０と信号の読み出しにかかる時間に応じた蓄積時間依存ノイズｂ、つまりａ０＋ｂが得られることになる。さらに偶数行の次行ではその露光時間に応じた信号ａ２と読み出しにかかる時間に応じた蓄積時間依存ノイズ２ｂの和であるａ２＋２ｂが得られる。このように蓄積時間依存ノイズはｔ４からの時間に比例すると考えられるので、時刻ｔ４〜ｔ４ａの期間に偶数行で得られる信号は、図４（Ａ）の偶数行撮影画像のようになり、以下の式１のようにあらわすことができる。

偶数行毎（０、２、４、・・・、２ｎ行目とする。）の出力信号
ａ０＋ｂ、ａ２＋２ｂ、ａ４＋３ｂ、・・・、ａ２ｎ＋ｎｂ・・・（式１）
同様に時刻ｔ４ａ〜ｔ５の期間に奇数行で得られる信号は、図４（Ｂ）の奇数行撮影画像のようになり、以下の式２のように表される。
奇数行毎（１、３、・・・、２ｎ＋１行目とする。）の出力信号
ａ１＋（ｎ＋１）ｂ、ａ３＋（ｎ＋２）ｂ、・・・、ａ（２ｎ＋１）＋２ｎｂ・・・（式２）
上記の偶数行と奇数行の信号の間で差分をとると、その総和は以下の式３のように表される。
奇数行−偶数行
（ａ１−ａ０＋ｎｂ）＋（ａ３−ａ２＋ｎｂ）＋・・・＋（ａ（２ｎ＋１）−ａ２ｎ＋ｎｂ）・・・（式３）
偶数行の画像と奇数行の画像で隣接する上下の行では被写体からの入射光による信号はほぼ同じと考えられるから、隣接する行の信号の差分は０とみなせる。つまり、上記における、ａ１−ａ０、・・・、ａ（２ｎ＋１）−ａ２ｎの各部分を０とみなすことができるので、奇数行の画素と偶数行の画素の信号の差分は、式３の括弧部分のそれぞれについてｎｂと考えられる。偶数行と奇数行とに分けて信号を読みだしたので、０行目と１行目では蓄積時間の差は図２に示すようにｔ４ａ−ｔ４となる。信号処理部２０６はこの時間差ｔ４ａ−ｔ４と奇数行の画素と偶数行の画素の信号の差ｎｂからノイズを補正するための補正データを生成し、蓄積時間に依存があるノイズの補正を行い、図４（Ｃ）の出力補正画像を得る。この場合、差分を求める箇所は撮像素子の一部であってもよい。また、蓄積時間の差が大きいほど、蓄積時間依存ノイズの差が大きくなるので、検出に有利である。

上記の例では上下に隣接する画素で被写体からの入射による信号電荷は大きく変わらないとした例で説明した。しかし、コントラストの高い被写体像をとらえている場合は、隣接する上下の信号の差分が０に近似できない部分が発生する。そのような場合は奇数行の画素と偶数行の画素の信号の差を複数箇所から求めて、求めた差分を平均化、またはそれらの中央値をとる処理を行うこと等で、適切に蓄積時間の差に応じたノイズを補正する補正値を求めることができる。差分を求める箇所を増やすことにより全体で信号のばらつきを平均化することができるので局所的な信号の差をキャンセルすることができる。したがって、全部の偶数行と奇数行から差分を求めてもよい。差分を求める領域を画面の変化が少ない部分から選択しても良い。また、蓄積時間依存ノイズの大きさとして、前回撮影時の値や撮影条件に応じて求めた値を用いて読み出し時間の差に応じた補正をしてもよい。上述の補正値を求める処理を、撮影したカメラとは別の装置上で行っても構わない。

（第２の実施形態）
以下、本発明の第２の実施形態について説明する。
行方向と列方向に配置された画素の行数がｎ行で、全画素の電荷蓄積量を読み出すのにかかる時間をｔであるとした場合、単純にいえば１行目に比べｎ行目では読み出しにかかる時間がｔ増えることになる。この間にフォトダイオードには被写体からの入射光を変換した電荷以外に加えて、画素部から発生する暗電流などのノイズ電荷等が蓄積されている。したがってｎ行目と１行目とでは信号電荷以外に読み出し時の時間に依存のあるノイズ電荷にも差が生じている。

これを上から順に、遮光後の蓄積時間差として見ると、以下のようになる。
1行目の蓄積時間差 ・・・ ｔ/ｎ
2行目の蓄積時間差 ・・・ 2ｔ/ｎ
3行目の蓄積時間差 ・・・ 3ｔ/ｎ
・
・
・
n行目の蓄積時間差 ・・・ ｎｔ/ｎ
蓄積時間の違う行の同色画素同士の信号、例えば１行目の信号は、その蓄積時間に応じた信号ｓ１と同蓄積時間に応じた蓄積時間依存ノイズｔ/ｎ*ａの和のｓ１＋ｔ/ｎ*ａと表される。同様に２行目ではその蓄積時間に応じた信号ｓ２と同蓄積時間に応じた蓄積時間依存ノイズ２ｔ/ｎ*ａの和のｓ２＋２ｔ/ｎ*ａと表される。このような蓄積時間の違う１行目と２行目の同色画素同士を減算すると（ｓ２-ｓ１）+t/ｎ*ａが得られる。よって隣接する行の、信号電荷の蓄積時間が異なる同色画素の差分から得られる信号と蓄積時間依存ノイズとは次のように表される。

隣接する行間の同色画素の信号の差分で得られる信号
ｓ２-ｓ１、ｓ３-ｓ２、・・・・・、ａ（ｎ-１）-ａｎ・・・（式４）
同色画素の差分でえられる蓄積時間依存ノイズ
t/ｎ*ａ、t/ｎ*ａ、・・・・・、（ｎ-（ｎ-１））* t/ｎ*ａ・・・（式５）
上記の、隣接する行の同色画素の信号の差分、例えばｓ２−ｓ１で得られる信号は近似的には０になるから、蓄積時間の違う同色画素同士の減算を複数の組で行って差を平均化すると、差分をとった信号同士の１組当たりの蓄積時間依存ノイズが抽出される。この蓄積時間依存ノイズから補正データを求めて、各行の蓄積時間の差ｔ/ｎ分に依存性が有るノイズの補正を行うことで適切に上下の蓄積時間差によるノイズを補正することができる。なお、上記の式では上下に隣接する画素で被写体からの入射による信号電荷は大きく変わらない例で説明している。しかし、コントラストの高い被写体像をとらえている場合は、複数箇所から求めた差分画像から蓄積時間依存ノイズｂを求め、それらを平均化、または中央値をとる処理を行うことで、適切にノイズを補正することができる。このときも、上述の補正処理を、撮影したカメラとは別の装置上で行っても構わない。

Claims (8)

1. 行方向と列方向に配置された複数の画素と、前記画素の信号を読み出す周辺回路と、前記画素から読み出された信号を処理する信号処理部とを備える撮像装置であって、
   電子シャッターにより電荷蓄積を制御する第１モードと、
   メカニカルシャッターにより電荷蓄積を制御する第２モードを備え、
   前記信号処理部は、前記第２モードでの電荷蓄積によって得られる信号に基づいて、前記複数の画素から得られる画像データを補正することを特徴とする撮像装置。
2. 前記信号処理部は、前記メカニカルシャッターによる遮光がなされてから前記信号が画素から読み出されるまでの時間に基づいて、前記画像データを補正することを特徴とする請求項１に記載の撮像装置。
3. 前記信号処理部は、複数の画素からの前記信号に基づいて、前記画像データを補正することを特徴とする請求項１又は２に記載の撮像装置。
4. 前記複数の画素は、隣接した行に配置された画素であることを特徴とする請求項３に記載の撮像装置。
5. 前記複数の画素は、同色画素であることを特徴とする請求項３に記載の撮像装置。
6. 前記信号の読み出しは、前記行方向の並び順に行われることを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記信号の読み出しは、奇数行の画素を連続して行う期間と偶数行の画素を連続して行う期間とを含むことを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
8. 前記補正は、前記第１モードから前記第２モードに切り換えられたときに行われることを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置