JP5167676B2 - 撮像装置及び撮像方法 - Google Patents

Description

本発明は、低フレームレートでの撮像が可能なビデオカメラに適用される撮像装置、及びその撮像装置に適用される撮像方法に関する。

テレビジョン放送用のフォーマットなどに準拠した映像信号を得るビデオカメラの場合、イメージャで撮像を行うフレーム周期としては、１／６０秒や１／５０秒などに決められている。例えば１／６０秒をフレーム周期としたビデオカメラでは、イメージャで各フレームの撮像光を受光して蓄積する期間（いわゆるシャッタ期間）は、最大で１／６０秒である。
いわゆる電子シャッタと称される、撮像光の受光期間を１フレーム周期内で短くする処理を行えば、１／１００秒や１／１０００秒などの高速シャッタでの撮像については可能であるが、１フレーム周期より長いいわゆる低速シャッタは、通常は不可能である。

通常より低いフレームレートでの撮像を実現するためには、イメージャで複数のフレーム期間期間に亘る長期間の撮像光の受光を行って、その複数フレーム期間に亘って受光された信号を、イメージャから読み出すことで可能である。例えば、ＣＣＤ（Charge Coupled Devices）型のイメージセンサをイメージャとして使用した場合には、各画素に受光により電荷が蓄積する期間を長時間化することで可能である。例えば、各画素で電荷が蓄積する期間を２フレーム期間の１／３０秒とし、その１／３０秒間に蓄積した信号を読み出すことで、蓄積期間を２倍化した低速撮像が可能となる。そのようにして得た撮像信号としては、通常のフレーム周期を１／６０秒とすると、その２倍の１／３０秒ごとに変化する。例えば、夜間などの暗い状況での撮像が可能となる。 このようにして、再生時のフレームレートより遅いフレームレートで撮像と記録を行なうことによって、再生時に早回し効果を得ることができる。ここでは２倍の期間蓄積する処理を行う例を説明したが、イメージャに電荷を蓄積させる期間の調整で、例えば数十フレーム期間のような長時間の撮像が可能となる。

特許文献１には、フレーム加算を行ってフレームレートを加算する処理を行う撮像装置の例についての記載がある。
特開２００５−３９７１０号公報

ところが、上述したようにイメージセンサの受光素子に電荷を蓄積させる期間が長くなると、イメージセンサの補正機能のダイナミックレンジが不足して、イメージセンサが持つ固定パターンノイズが露顕した画像となったり、或いは間欠画像であるためホワイトバランスなどの自動制御系が実用に耐えない状態となり、画質が非常に悪化してしまう。

この問題点を解決するためには、例えばイメージセンサの出力を、そのイメージセンサが出力する撮像信号がリニアな信号の段階で、デジタル同期加算する構成が考えられる。撮像信号がリニアな信号の段階とは、ホワイトバランス調整やガンマ補正などの各種撮像信号処理が行われる前の、イメージセンサの出力がそのまま反映した信号の段階である。

このイメージセンサの出力を非線形信号処理回路の後段の回路で加算する構成とした場合には、加算を行う際に、加算される各フレームの信号の特性が合致していないと、加算後の信号の特性が正しいものにならないという問題がある。

例えば、２フレーム期間の加算を行う構成を想定した場合、その加算される２フレーム期間のそれぞれが、全て同じ電荷の蓄積期間であればよいが、実際には、イメージセンサの信号電荷の蓄積期間は、電子シャッタと称される処理で１フレーム期間内の信号蓄積期間を短くする場合がある。この電子シャッタ処理で、加算する２つのフレーム期間の信号蓄積期間が異なる期間である場合には、イメージセンサ出力を加算したとしても、その加算されるそれぞれのフレーム期間の信号が等しい特性の信号とは言えず、加算された信号が正しい特性でない可能性がある。

本発明はかかる点に鑑みてなされたものであり、低フレームレートでの撮像と電子シャッタ処理とを組み合わせた場合の問題点を解決することを目的とする。

本発明は、撮像光を撮像信号に変換するイメージセンサから取り出した撮像信号を増幅し、増幅が行われた撮像信号を、フレームメモリを使用してフレーム単位で所定の複数フレーム加算して、その複数フレーム加算した撮像信号をフレーム周期で連続して出力する。そして、イメージセンサでの信号蓄積期間を制御し、加算を行う複数フレーム内の各フレームの信号蓄積期間に応じて、各フレームの増幅ゲインを可変設定するようにした。そして、信号蓄積期間の制御には、所定の複数フレームが２または３以上のフレームである場合にいずれかのフレームで信号蓄積期間を０にする制御も含み、いずれかのフレームで信号蓄積期間を０にした場合には、信号蓄積期間が０でないフレームの増幅ゲインを信号蓄積期間に応じて可変設定するようにした。

かかる処理を行うことで、低フレームレート撮像を行うために、複数フレームの撮像信号を加算する処理を行う際に、その加算される各フレームの信号が、信号蓄積期間に応じて可変設定されたゲインの信号となる。

本発明によると、低フレームレート撮像で、複数フレームの撮像信号を加算する処理を行う際に、その加算される各フレームの信号が、信号蓄積期間に応じて可変設定されたゲインの信号となり、加算前の信号の特性を等しくすることができ、加算により信号特性を悪化させることがない効果を有する。

以下、本発明の一実施の形態の例を、添付図面を参照して説明する。
図１は本実施の形態の例による撮像装置の構成例を示した図である。図１に従って構成を説明すると、レンズ１１を介して得た撮像光を、プリズム１２で３原色に分解し、その分解されたそれぞれの色の撮像光を、青色，緑色，赤色のイメージセンサ１３Ｂ，１３Ｇ，１３Ｒの撮像面に入射させる。各色のイメージセンサ１３Ｂ，１３Ｇ，１３Ｒの撮像面に結像した撮像光は、それぞれのイメージセンサ１３Ｂ，１３Ｇ，１３Ｒで電気信号に変換し、その変換された電気信号を読み出す。イメージセンサ１３Ｂ，１３Ｇ，１３Ｒから読み出された電気信号を、撮像信号と称する。

レンズ１１は、図１では説明を簡単にするために１枚のレンズだけを示してあるが、実際には複数枚（複数群）のレンズで構成され、ズームレンズとして構成してもよい。また、図示しないが、絞り機構であるアイリスについてもレンズ１１の光路中に配置してある。イメージセンサ１３Ｂ，１３Ｇ，１３Ｒとしては、例えば、ＣＣＤ型のイメージセンサ、或いはＣＭＯＳ型のイメージセンサを使用する。イメージセンサ１３Ｂ，１３Ｇ，１３Ｒでの各フレームの信号蓄積期間は、後述する制御部２５からの指令で可変設定される構成としてある。即ち、例えば１フレームが１／６０秒であるとすると、１フレーム期間の最大の信号蓄積期間は約１／６０秒であるが、それよりも短い蓄積期間を設定できる構成としてある。このように１フレームの期間内で信号蓄積期間を短くする処理を、電子シャッタ処理と称する。

イメージセンサ１３Ｂ，１３Ｇ，１３Ｒから読み出された撮像信号は、カメラプロセス部３０に供給される。カメラプロセス部３０では、撮像信号の各種補正処理が行われる。補正処理としては、リニア信号処理による補正と、ノンリニア信号処理による補正とがある。

カメラプロセス部３０に入力した撮像信号は、まずリニアプロセス部３１に供給して、リニア信号処理が行われる。リニアプロセス部３１でのリニア信号処理としては、図１に示すように、各色の撮像信号に対して、増幅回路３１ｂ，３１ｇ，３１ｒで個別に増幅処理を行って、各色の撮像信号を適正なレベルの信号とする処理がある。本例においては、この増幅回路３１ｂ，３１ｇ，３１ｒで設定されるゲインとして、後述するフレーム加算を行うモード（低フレームレート撮像モード）時に、各フレームでの信号蓄積期間の違いによる補正を行う構成としてある。そのゲイン設定例については後述する。
また、青色，緑色，赤色の撮像信号のバランスを調整するホワイトバランス調整の補正処理がある。このホワイトバランス調整用のレベル補正処理についても、増幅回路３１ｂ，３１ｇ，３１ｒで行うようにしてもよい。
リニアプロセス部３１で処理された撮像信号は、ノンリニアプロセス部３２に供給して、ノンリニア信号処理が行われる。

ノンリニアプロセス部３２でのノンリニア信号処理による補正としては、ガンマ（γ）補正、ニー補正などがある。ガンマ補正は、ガンマ補正カーブに基づいて各色の輝度値を非線形の入出力特性で変換する補正処理であり、ニー補正は画像中の明るい部分の明るさを調整する非線形補正処理である。ノンリニアプロセス部３２での非線形補正処理は、後述する制御部２５からの指令により、通常撮像時の非線形補正処理と、後述するフレーム加算時の非線形補正処理とが、それぞれ異なる補正特性で設定されるようにしてある。さらに、フレーム加算時には、フレーム加算数に応じて補正特性がさらに修正されて設定されるようにしてある。

ノンリニアプロセス部３２で補正された撮像信号は、ＹＣ変換部３３に供給する。ＹＣ変換部３３では、青色，緑色，赤色の原色信号（以下ＲＧＢ信号と称する）で構成される撮像信号を、輝度信号（以下Ｙ信号と称する）とクロマ信号（以下Ｃ信号と称する）の撮像信号に変換する。ＹＣ変換部３３で変換された撮像信号は、カメラプロセス部３０から出力させる。

カメラプロセス部３０から出力された撮像信号（Ｙ信号及びＣ信号）は、同期加算回路１４に供給する。同期加算回路１４には、フレームメモリで構成されるフレームバッファ２４が接続してあり、低フレームレート撮像を行う際に、供給される撮像信号を、フレーム単位で加算させる処理が行われる。加算フレーム数などは制御部２５により制御される。同期加算回路１４で加算された撮像信号又は加算されない撮像信号は、コーデック部１５に供給する。

コーデック部１５では、供給される撮像信号を所定のフォーマットの映像信号に変換するコーデック処理を行い、変換された映像信号を、記録系回路１６に供給して、記録媒体（記憶媒体）に記録させる。記録媒体としては、メモリカード、光ディスク、磁気テープなどの各種媒体が適用可能である。

また、カメラプロセス部３０が出力する撮像信号と、同期加算回路１４が出力する撮像信号は、セレクタ２１に送る構成としてあり、制御部２５の制御に基づいて、セレクタ２１でモニタを行う撮像信号を選択する。例えば、セレクタ２１では、低フレームレートでの撮像時には、その低フレームレートで撮像された撮像信号をモニタする際に、同期加算回路１４が出力する撮像信号を選択し、低フレームレートで撮像中の加算されていない毎フレームの撮像信号をモニタする場合に、カメラプロセス部３０の出力を選択する。通常の撮像時は、いずれの撮像信号を選択しても同じである。

セレクタ２１で選択された撮像信号は、フレームレート変換部２２でモニタ用又は外部出力用にフレームレートの変換処理が行われた後、表示部２３に表示させる。或いは、図示しない出力端子から、フレームレート変換部２２で変換された映像信号を出力させる。フレームレート変換部２２での変換と、表示部２３での表示についても、制御部２５の制御で実行される。フレームレート変換部２２でフレームレートを変換する際には、フレームバッファ２４を一時記憶手段として使用して変換処理が行われる。

この撮像装置の各部の動作を制御する制御部２５には、操作スイッチなどで構成される操作部２６から操作指令が供給され、撮像の開始や停止などの撮像動作が制御される他に、撮像モードの設定なども、操作部２６での操作に基づいて設定される。低フレームレートモードの設定や、電子シャッタの設定についても、操作部２６の操作で設定される。或いは、電子シャッタについては、そのときの撮像条件（明るさなど）により制御部２５が自動的に設定するようにしてもよい。レームバッファ２４での撮像信号の蓄積動作についても制御部２４により制御される。なお、フレームバッファ２４は、撮像信号をＹ信号及びＣ信号の形式で記憶するメモリである。

ここで、図２を参照して、フレームバッファ２４を同期加算用の記憶回路として使用する場合の構成を示す。入力端子２４ａに得られる撮像信号を、切換スイッチ２４ｂを介して加算器２４ｃに供給する。切換スイッチ２４ｂは、撮像信号を加算しない期間は、入力端子２４ａ側ではなく、０データが得られる側を選択する。加算器２４ｃは、記憶部２４ｄの出力を加算するものである。そして、加算器２４ｃの出力を、記憶部２４ｄに供給して記憶させる。そして、記憶部２４ｄに記憶された撮像信号を、出力端子２４ｅから出力させる。この図２に示す構成として、記憶部２４ｄで１フレームの撮像信号を記憶して、加算器２４ｃでその記憶された撮像信号を入力信号に加算させる処理を、１フレームごとに同期して行うことで、毎フレームに撮像された信号が、順に加算される。そして、必要なフレーム数加算された撮像信号を、出力端子２４ｅから出力させる。フレームバッファ２４で加算を行う際には、各フレーム内の加算される画素位置が等しくなるように設定してあり、その加算を行うことで各画素位置の輝度値が、加算フレーム数に対応した期間加算した値となる。

図３は、本例の撮像装置の同期加算回路１４で、加算処理を行う場合の撮像動作を示したタイミング図である。この図３の例では、３フレームの撮像信号を加算する例としてある。図３（ａ）は、撮像信号のフレーム周期を示してあり、図３（ｂ）に示すように、３フレームの露光期間の撮像信号を加算して１フレームの信号とするようにしてある。即ち、露光期間１．１と１．２と１．３の３フレーム期間のイメージセンサ出力を加算して、同期加算回路１４で３フレーム加算されたフレーム番号１の撮像信号を得る。このフレーム番号１の撮像信号は、３フレーム期間連続して、同期加算回路１４から出力される。次の露光期間２．１と２．２と２．３の３フレーム期間のイメージセンサ出力を加算して、同期加算回路１４で３フレーム加算されたフレーム番号２の撮像信号を得る。このフレーム番号２の撮像信号も、３フレーム期間連続して、同期加算回路１４から出力される。

このようにして、３フレームの加算が行われた撮像信号は、通常撮像時の撮像信号に比べて、イメージセンサ１３Ｂ，１３Ｇ，１３Ｒでの露光時間が約３倍となり、撮像のフレームレートとしては、１／３の低フレームレートとなり、３倍の早回し効果が得られる。図３の例では、３フレーム加算の例を示したが、加算フレーム数は２フレーム以上の任意のフレーム数とすることができる。例えば、１フレームが１／６０秒である場合に６０フレーム加算すれば、１秒ごとの低フレームレートでの撮像が行える。

次に、このような低フレームレートの撮像処理と、電子シャッタ処理とを組み合わせた場合の処理例を、図４を参照して説明する。この図４の例では、図３の例と同様に、１／３のフレームレートで撮像を行う低フレームレート撮像を行う例としてある。
電子シャッタ処理を行わない場合には、１／３のフレームレートで撮像を行うモード時には、図３に示したように３フレームの撮像信号が加算される。しかしながら、電子シャッタ処理を行った場合には、例えば加算される３フレーム期間の内の電子シャッタで指示されたタイミング以前の信号は破棄されて、その電子シャッタで指示されたタイミング以後の信号だけが加算される。

図４の例では、図４（ａ）に示すように撮像フレーム周期が設定されているとして、その撮像フレームの３フレーム期間を１つの撮像フレーム期間とする低フレームレート撮像を設定が、図４（ｂ）に示すように行われる。ここで、その低フレームレート撮像状態を設定した上で、２番目のフレーム期間のほぼ半分の期間以降の信号を蓄積（加算）させ、それより前の信号は破棄する電子シャッタ処理が、図４（ｂ）に示すように行われたとする。具体的には、例えば、露光期間２．１と２．２と２．３の３フレーム期間を加算する低フレームレート撮像モードとして、露光期間２．２のほぼ半分のタイミングに、電子シャッタタイミングを設定して、それより後の期間だけを露光期間とする。従って、同期加算回路１４では、露光期間２．２の後半の撮像信号と、露光期間２．３の全期間の撮像信号だけが加算される。

このような構成とした場合に、電子シャッタ処理で蓄積期間が短い期間（例えば露光期間２．２）については、カメラプロセス部３０内のリニアプロセス部３１で信号ゲインを、他の期間から変化させる。即ち、リニアプロセス部３１内の増幅回路３１ｂ，３１ｇ，３１ｒのゲインとして、通常時のゲインを０ｄＢとすると、蓄積期間が約半分のフレーム期間については、それよりも６ｄＢ高くして、蓄積期間が違っていても各フレームの撮像信号のリニアプロセス部３１の出力をほぼ等しいレベルとする。
図４（ｃ）は、そのカメラプロセス部３０の増幅回路３１ｂ，３１ｇ，３１ｒでのゲイン設定例を示したものであり、そのゲインで増幅された信号が図４（ｄ）に示すように出力される。この例では、図４（ｃ）に示すように、３フレーム周期でゲインの高いフレーム期間が１フレームずつある処理が繰り返される。３つの増幅回路３１ｂ，３１ｇ，３１ｒでの設定ゲインは基本的に同じである。但し増幅回路３１ｂ，３１ｇ，３１ｒがホワイトバランス用の増幅回路なども兼ねる場合には、３つの原色信号でゲインがアンバランスになる場合もある。

この図４（ｃ）に示すようにゲインが電子シャッタタイミングに連動して可変設定されながら、その図４（ｄ）に示す出力が同期加算回路１４で加算されて、同期加算回路１４の出力としては、図４（ｅ）に示すように、３フレーム期間同じ加算信号が繰り返し出力されるようになる。
なお、図４の例では、電子シャッタで信号蓄積期間が制限されるフレーム期間での蓄積期間として、約１／２に制限させる構成としたため、ゲインを６ｄＢ高くするようにしたが、その蓄積期間の制限量に応じてゲインを高くする値は変化する。具体的には、より蓄積期間が短くなる場合には、よりゲインを高くし、蓄積期間が長くなる場合にはゲインを高くする値を小さくする。即ち、蓄積期間と信号ゲインとは反比例の関係となるようにして、蓄積期間が違っていても各フレームの撮像信号のリニアプロセス部３１の出力をほぼ等しいレベルとする。また、図４の例では、３フレーム周期の内の最初のフレーム期間の信号（図４（ｄ）の出力２．１など）については、撮像信号として加算されないので、その期間のゲインについては、０ｄＢでなくてもよい。

次に、図５のフローチャートを参照して、制御部２５の制御で行われる、低フレームレートでの撮像時の処理例を説明する。まず、制御部２５は、現在の撮像モードが通常のフレームレートでの撮像か、或いは低フレームレートでの撮像かを判断する（ステップＳ１１）。ここで、通常のフレームレートでの撮像時には、ノンリニアプロセス部３２で、通常撮像用のガンマ補正カーブを設定し（ステップＳ１２）、同期加算回路１４で加算処理を行わないようにし、記録や表示などを行う（ステップＳ１３）。

これに対して、低フレームレートでの撮像時には、ノンリニアプロセス部３２で、低フレームレート撮像用のガンマ補正カーブを設定する（ステップＳ１４）。
ここで、制御部２５では、電子シャッタ処理を行うか否か判断し（ステップＳ１５）、電子シャッタを行う場合には、電子シャッタで信号蓄積期間が制限については、その信号蓄積期間と反比例の関係となるようにゲインを設定する（ステップＳ１６）。このようにして、同期加算回路１４でフレーム単位で加算された撮像信号を得る。

また、表示部２３で表示させる映像として、通常のフレーム周期の映像であるのか、或いは、フレーム加算された低フレームレートの映像であるのかを選択する（ステップＳ１７）。通常のフレーム周期の映像を選択した場合には、セレクタ２１でカメラプロセス部３０の出力を選択し、その選択された撮像信号による映像を表示部２３で表示させる（ステップＳ１８）。この通常のフレーム周期で撮像された映像を表示させた場合には、通常のフレーム周期（即ち１／６０秒などの周期）で変化する映像であり、実際の撮像状態が判り、例えば表示映像から、レンズのフォーカス調整やズームレンズの画角調整などが迅速かつ正確に行える。但しフレーム加算されていない映像であるので、明るさは暗い映像になる場合がある。
また、フレーム加算された低フレームレートの映像を表示するように選択した場合には、セレクタ２１で加算後の出力を選択し、その選択された撮像信号による映像を表示部２３で表示させる（ステップＳ１９）。この低フレームレートで撮像された映像の表示時には、実際に低フレームレートで撮像することによる映像の明るさもしくはＳ／Ｎが確認できる。このときには、電子シャッタの使用により信号蓄積期間を制限させた場合には、その電子シャッタ処理による撮像状況も、表示部２３での表示から確認できる。

図４の例では、１／３の低フレームレート撮像を行う場合の電子シャッタ処理について説明したが、その他のレートでの低フレームレート撮像においても、本発明は適用可能である。
図６は、１／２の低フレームレート撮像を行うモードとした場合に、電子シャッタでシャッタ開度を１００％（図６（ａ））、７５％（図６（ｂ））、５０％（図６（ｃ））、２５％（図６（ｄ））の例を示したものである。
図６（ａ）のシャッタ開度が１００％の場合は、電子シャッタ処理による開度の制限がない状態であり、センサ出力は全て同じゲインで増幅されて、加算処理される。
図６（ｂ）のシャッタ開度が７５％の場合は、一方のフレーム期間（露光期間２など）で電子シャッタ処理による開度が半分に制限された状態であり、その制限された期間のイメージセンサ出力が高いゲインで増幅されて、他方のフレーム期間の信号と加算処理される。
図６（ｃ）のシャッタ開度が５０％の場合は、一方のフレーム期間（露光期間２など）の信号が全く使用されない状態であり、ゲインの変更はない状態で、他方のフレーム期間の信号だけが出力される。
図６（ｄ）のシャッタ開度が２５％の場合は、一方のフレーム期間（露光期間２など）の信号が全く使用されず、他方のフレーム期間（露光期間２など）で電子シャッタ処理による開度が半分に制限された状態であり、その制限された期間のイメージセンサ出力が高いゲインで増幅されて、そのフレーム期間の信号だけが出力される。

このように低フレームレートでのフレーム加算数の設定と、電子シャッタによる各フレーム期間内の開度の制限状態に応じて、ゲインを可変設定する処理を組み合わせることで、種々のフレーム周期の低フレームレート撮像における電子シャッタ処理を行う場合に対応が可能であることが判る。

以上説明したように、本実施の形態の撮像装置によると、低フレームレート撮像と電子シャッタ処理を組み合わせる場合において、電子シャッタ処理で開度が制限されるフレーム期間がある場合には、その期間のゲインを高くする処理を行うことで、カメラプロセス部３０内のリニアプロセス部３１の出力レベルを、いずれのフレーム期間でもほぼ等しくすることができ、リニアプロセス部３１の次段のノンリニアプロセス部３２内での非線形補正処理が正しく行われる。
即ち、ノンリニアプロセス部３２内では、ガンマ補正などの非線形補正処理が行われるが、そのノンリニアプロセス部３２での非線形補正処理された信号が、いずれもフレーム周期でも等しい特性となり、同期加算された信号の非線形補正処理状態が乱れることがない。

例えば、ガンマ補正については、ガンマ補正ゲインとして、図８に示したように、ゲイン１倍の場合と、ゲイン１／２倍の場合と、ゲイン３／２倍の場合とで、それぞれ入出力が所定の特性となるカーブが設定される。なお、ガンマ補正ゲインは通常は１倍である。
この図８に示すように、ガンマ補正は入力レベルによる決まるカーブであり、加算される複数フレーム期間内で電子シャッタ処理でレベルが異なると、ガンマ補正のかかり具合が異なる信号が加算されることになり好ましくないが、本実施の形態の場合には、電子シャッタ処理を行っても、加算される各フレーム期間の信号レベルがほぼ等しくなり、一定の状態で正しくガンマ補正が行われることになる。ガンマ補正以外の非線形補正が行われる場合にも、同様に本実施の形態の場合には良好な特性となる。

なお、図４や図６のタイミング設定例では、同期加算する複数フレームの内の１つのフレーム期間だけを、電子シャッタ処理で開度を制限させるようにしたが、同期加算する複数のフレームそれぞれを、電子シャッタ処理で開度を制限させて、その制限された開度に応じて、ゲインを変更させるようにしてもよい。
即ち、例えば図７に示すように、１／３の低フレームレート撮像を行うモード（即ち図４と同じモード）とした上で、加算される３フレーム周期のそれぞれで、開度を５０％などに制限するようにし、それぞれのフレーム期間で開度に応じたゲインを設定するようにしてもよい。この場合には、例えば各フレーム期間でゲインを６ｄＢ通常時よりも高くする処理が行われることになる。
また、ここまで説明した例では、同期加算を輝度信号とクロマ信号の形式で行う構成としたが、ＲＧＢ信号の形式の撮像信号で同期加算を行う構成としてもよい。また、同期加算を行う信号として、フレーム単位で加算するようにしたが、フィールド単位で同期加算することもできる。

本発明の一実施の形態の例による撮像装置の構成例を示すブロック図である。 本発明の一実施の形態の例による同期加算例を示す構成図である。 本発明の一実施の形態の例による撮像タイミングの例（３フレーム加算の例）を示すタイミング図である。 本発明の一実施の形態の例による電子シャッタ時の撮像タイミングの例（３フレーム加算の例）を示すタイミング図である。 本発明の一実施の形態の例による処理例を示すフローチャートである。 本発明の一実施の形態の例によるシャッタ開度とゲインとの例を示すタイミング図である。 本発明の一実施の形態の例による電子シャッタとゲインとの設定の他の例を示すタイミング図である。 本発明の一実施の形態の例によるゲインとガンマカーブの例を示す特性図である。

符号の説明

１１…レンズ、１２…プリズム、１３Ｂ，１３Ｇ，１３Ｒ…イメージセンサ、１４…同期加算回路、１５…コーデック部、１６…記録系回路、２１…セレクタ、２２…フレームレート変換部、２３…表示部、２４…フレームバッファ、２５…制御部、２６…操作部、３０…カメラプロセス部、３１…リニアプロセス部、３１ｂ，３１ｇ，３１ｒ…増幅回路、３２…ノンリニアプロセス部、３３…ＹＣ変換部

Claims (7)

1. 光学系を介して得た撮像光を所定のフレーム周期で撮像信号に変換するイメージセンサと、
   前記イメージセンサから取り出した撮像信号を増幅する撮像信号処理部と、
   前記撮像信号処理部で処理された撮像信号を、フレームメモリを使用してフレーム単位で所定の複数フレーム加算して、その複数フレーム加算した撮像信号をフレーム周期で連続して出力するフレーム加算部と、
   前記イメージセンサでの信号蓄積期間を制御し、前記フレーム加算部で加算させる複数フレーム内の各フレームの信号蓄積期間に応じて、前記撮像信号処理部での各フレームの増幅ゲインを可変設定する制御部とを備え、
   前記制御部による信号蓄積期間の制御には、前記所定の複数フレームが２または３以上のフレームである場合にいずれかのフレームで信号蓄積期間を０にする制御も含まれ、いずれかのフレームで信号蓄積期間を０にした場合には、前記制御部は、信号蓄積期間が０でないフレームの増幅ゲインを信号蓄積期間に応じて可変設定する
   撮像装置。
2. 請求項１記載の撮像装置において、
   前記フレーム加算部で加算させる所定フレーム数の内の各フレームの信号蓄積期間に応じた前記撮像信号処理部での各フレームの増幅ゲインの可変設定は、前記信号蓄積期間が０でないフレームにおいて前記信号蓄積期間と増幅ゲインとが反比例の関係になる設定である
   撮像装置。
3. 請求項２記載の撮像装置において、
   前記信号蓄積期間は電子シャッタ処理により設定される
   撮像装置。
4. 請求項１〜３のいずれか１項に記載の撮像装置において、
   前記撮像信号処理部内で増幅された信号に対して、ガンマ補正処理を行う
   撮像装置。
5. 請求項４記載の撮像装置において、
   前記撮像信号処理部内でのガンマ補正特性を、前記フレーム加算部での加算フレーム数により変化させる
   撮像装置。
6. 請求項１〜５のいずれか１項に記載の撮像装置において、
   前記撮像信号処理部内で増幅された信号に対して、ニー補正処理を行う
   撮像装置。
7. 撮像光を撮像信号に変換するイメージセンサから所定のフレーム周期で取り出した撮像信号を増幅し、増幅された撮像信号に対して非線形処理を行うステップと、
   前記非線形処理が行われた撮像信号を、フレームメモリを使用してフレーム単位で所定の複数フレーム加算して、その複数フレーム加算した撮像信号をフレーム周期で連続して出力するステップと、
   前記イメージセンサでの信号蓄積期間を制御し、前記加算を行う複数フレーム内の各フレームの信号蓄積期間に応じて、各フレームの増幅ゲインを可変設定するステップであって、前記信号蓄積期間の制御には、前記所定の複数フレームが２または３以上のフレームである場合にいずれかのフレームで信号蓄積期間を０にする制御も含み、いずれかのフレームで信号蓄積期間を０にした場合には、信号蓄積期間が０でないフレームの増幅ゲインを信号蓄積期間に応じて可変設定するステップとを有する
   撮像方法。

Images