JP3933095B2

JP3933095B2 - 撮像装置及び撮像方法

Info

Publication number: JP3933095B2
Application number: JP2003155677A
Authority: JP
Inventors: 良介天野
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2003-05-30
Filing date: 2003-05-30
Publication date: 2007-06-20
Anticipated expiration: 2023-05-30
Also published as: CN1701598A; US20060050165A1; EP1519571A1; WO2004107741A1; CN100418360C; EP1519571A4; US7714922B2; KR20060013360A; KR100994844B1; JP2004357242A

Description

【０００１】
【発明の属する技術分野】
本発明は、固体撮像素子を用いた撮像装置に関し、詳しくは、被写体を高感度で撮像する撮像装置及び撮像方法に関する。
【０００２】
【従来の技術】
固体撮像素子としてＣＣＤ（Charge Coupled Device）撮像デバイスを用いた撮像装置では、ＣＣＤ撮像デバイスに蓄積される電荷の読み出しタイミングを制御することで、ＣＣＤ撮像デバイスに蓄積する電荷の電荷蓄積時間を増加させて長時間露光を行い、高い感度での被写体の撮像を可能としている。
【０００３】
長時間露光をするために、ＣＣＤ撮像デバイスに電荷を蓄積させている間は、当該ＣＣＤ撮像デバイスから電荷を読み出すことができないので、メモリに一時的に格納した画像をＣＣＤ撮像デバイスの電荷蓄積時間中に出力することで補完をしている。
【０００４】
長時間露光中における、画像の補完に関して以下に示すような手法が考案されている。
【０００５】
まず、ＣＣＤ撮像デバイスから１フィールド単位で電荷を読み出し、メモリ（フィールドメモリ）には、１フィールド（１偶数フィールド又は１奇数フィールド）の画像を格納し、長時間露光中には、この１フィールドの画像をメモリから読み出して補完する手法が考案されている（例えば、特許文献１参照。）。
【０００６】
また、ＣＣＤ撮像デバイスから、所謂フレーム読み出しによって、１フレーム単位で電荷を読み出し、メモリ（フレームメモリ）に１フレームの画像を格納し、長時間露光中の、奇数フィールドの画像を出力するタイミングでは、メモリから奇数フィールドの画像を読み出して補完をし、偶数フィールドの画像を出力するタイミングでは、メモリから偶数フィールドの画像を読み出して補完をする手法も考案されている（例えば、特許文献２参照。）。
【０００７】
【特許文献１】
特開平９−１６８１１８号公報
【特許文献２】
特開平９−２５２４２３号公報
【０００８】
【発明が解決しようとする課題】
しかし、特許文献１で示されている手法は、偶数フィールド又は奇数フィールドの画像をフィールドメモリに格納し、長時間露光時にフィールドメモリに格納された偶数フィールド又は奇数フィールドの画像を読み出して補完している。したがって、インタレース走査を行う現行のテレビジョン規格に基づいた機器に適用した場合、長時間露光時の画像は、偶数フィールドと、奇数フィールドで同一の画像が出力されることになるので、垂直解像度が半分になってしまい、動画像に対しては実用的ではないといった問題がある。
【０００９】
また、特許文献１及び特許文献２で示されている手法のいずれにおいても、高い感度で被写体を撮像するには、ＣＣＤ撮像デバイスの電荷蓄積時間を長時間にする必要があるため、動きのある被写体に対しては振れが大きな映像となってしまう。また、このような振れを解消するためにピント調整をしたり明るさの調整を行っても、長時間露光中には、蓄積した画像によって補完をしているため調整に対するタイムラグが生じ、調整が非常に困難となり、感度をあげたとしてもユーザが期待するような画質の映像を取得することができないといった問題がある。
【００１０】
そこで、本発明は上述したような問題を解決するために案出されたものであり、高画質な映像を必要とする場合には画質を低下させることなく、ユーザが要求する出力感度で被写体を撮像し、高い出力感度を必要とする場合には、画質の低下を最小限に抑えて、ユーザが要求する出力感度で被写体を撮像する撮像装置及び撮像方法を提供することを目的とする。
【００１１】
【課題を解決するための手段】
上述の目的を達成するために、本発明に係る撮像装置は、受光した撮像光に応じて光電変換を行う固体撮像素子と、上記固体撮像素子に蓄積された電荷をｎ（ｎは自然数）フレーム毎に読み出す撮像モードである第１のモードと、上記固体撮像素子に蓄積された電荷をｍ（ｍは自然数）フィールド毎に読み出し、読み出した電荷の垂直方向において奇数番目の電荷とこの奇数番目の電荷に隣り合う偶数番目の電荷のうちの一方との第１の組み合わせと、上記奇数番目の電荷と上記偶数番目の電荷のうちの他方との第２の組み合わせをｍフィールド毎に交互に変えて、上記組み合わせた電荷を加算して出力する撮像モードである第２のモードとを切り替える切り替え手段と、低い出力感度での撮像要求に応じて、当該撮像装置の撮像モードを上記第１のモードに切り替え、高い出力感度での撮像要求に応じて、当該撮像装置の撮像モードを上記第２のモードに切り替えるように上記切り替え手段を制御する制御手段と、上記制御手段によって、撮像モードが上記第１のモードに切り替えられたことに応じて、上記固体撮像素子からｎフレーム毎に読み出される電荷を記憶手段に書き込ませ、上記電荷の上記記憶手段への書き込みがない期間において、上記記憶手段に書き込ませた上記電荷を１フレーム期間毎に読み出させる信号を生成し、上記制御手段によって、撮像モードが上記第２のモードに切り替えられたことに応じて、上記固体撮像素子からｍフィールド毎に読み出され、読み出した電荷の垂直方向において奇数番目の電荷とこの奇数番目の電荷に隣り合う偶数番目の電荷のうちの一方との第１の組み合わせと、上記奇数番目の電荷と上記偶数番目の電荷のうちの他方との第２の組み合わせをｍフィールド毎に交互に変えて、上記組み合わせた電荷を加算して出力された電荷を記憶手段に書き込ませ、上記電荷の上記記憶手段への書き込みがない期間において、上記記憶手段に書き込ませた上記電荷を１フィールド期間毎に読み出させる信号を生成するタイミング発生手段と、を備えることを特徴とする。
【００１２】
上述の目的を達成するために、本発明に係る撮像方法は、受光した撮像光に応じて固体撮像素子で光電変換し、低い出力感度での撮像要求に応じて、上記固体撮像素子に蓄積された電荷をｎ（ｎは自然数）フレーム毎に読み出す撮像モードである第１のモードに切り替え、高い出力感度での撮像要求に応じて、上記固体撮像素子に蓄積された電荷をｍ（ｍは自然数）フィールド毎に読み出し、読み出した電荷の垂直方向において奇数番目の電荷とこの奇数番目の電荷に隣り合う偶数番目の電荷のうちの一方との第１の組み合わせと、上記奇数番目の電荷と上記偶数番目の電荷のうちの他方との第２の組み合わせをｍフィールド毎に交互に変えて、上記組み合わせた電荷を加算して出力する撮像モードである第２のモードに切り替えて撮像し、撮像モードが上記第１のモードに切り替えられたことに応じて、上記固体撮像素子からｎフレーム毎に読み出される電荷を記憶手段に書き込み、上記電荷の上記記憶手段への書き込みがない期間において、上記記憶手段に書き込ませた上記電荷を１フレーム期間毎に読み出し、撮像モードが上記第２のモードに切り替えられたことに応じて、上記固体撮像素子からｍフィールド毎に読み出され、読み出した電荷の垂直方向において奇数番目の電荷とこの奇数番目の電荷に隣り合う偶数番目の電荷のうちの一方との第１の組み合わせと、上記奇数番目の電荷と上記偶数番目の電荷のうちの他方との第２の組み合わせをｍフィールド毎に交互に変えて、上記組み合わせた電荷を加算して出力された電荷を記憶手段に書き込み、上記電荷の上記記憶手段への書き込みがない期間において、上記記憶手段に書き込ませた上記電荷を１フィールド期間毎に読み出すことを特徴とする。
【００１３】
【発明の実施の形態】
以下、本発明に係る撮像装置及び撮像方法の実施の形態を図面を参照にして詳細に説明する。
【００１４】
図１を用いて、本発明の実施の形態として示す撮像装置２０について説明をする。
【００１５】
撮像装置２０は、ＣＣＤ撮像デバイス１と、ＣＤＳ（Correlated Double Sampling circuit）２ａ，２ｂ，２ｃからなるＣＤＳ２と、ゲイン可変アンプ３と、Ａ／Ｄ（Analog to Digital）コンバータ４と、バススイッチ５ａ，５ｂ，５ｃからなるバススイッチ５と、フレームメモリ６と、画像信号処理ブロック７と、ユーザインターフェース８と、ＣＰＵ（Central Processing Unit）９と、タイミング発生回路１０と、スイッチ１１とを備えている。
【００１６】
ＣＣＤ撮像デバイス１は、３つのＣＣＤ１ａ，１ｂ，１ｃを備えた３板式のＣＣＤ撮像デバイスである。図示しないが、ＣＣＤ撮像デバイス１の前段には、図示しない撮像レンズから入射した入射光を透過あるいは反射して色分離を行うダイクロイックプリズムが備えられており、各ＣＣＤ１ａ，１ｂ，１ｃには、ダイクロイックプリズムで色分離された波長領域が異なるＲ（Red）光線、Ｇ（Green）光線、Ｂ（Blue）光線がそれぞれ入射される。
【００１７】
ＣＣＤ１ａ，１ｂ，１ｃは、フォトダイオードなどの光電変換素子からなる複数の画素が２次元配列されており、この光電変換素子で入射した光を画素単位で光電変換して、光量に応じた電荷を蓄積する。また、ＣＣＤ１ａ，１ｂ，１ｃは、蓄積した電荷を垂直転送、さらに水平転送することで２次元配列の１ライン毎に電荷を出力させる。ＣＣＤ１ａ，１ｂ，１ｃから出力された電荷は、ＣＣＤ出力信号としてＣＤＳ２ａ，２ｂ，２ｃにそれぞれ供給される。
【００１８】
ＣＣＤ１ａ，１ｂ，１ｃに蓄積された電荷は、フレーム読み出し又はフィールド読み出しによって読み出されることになる。
【００１９】
フレーム読み出しとは、ＣＣＤ１ａ，１ｂ，１ｃの２次元配列されたフォトダイオードに１フレーム時間、つまり１／３０秒間蓄積された電荷を読み出す手法である。フレーム読み出しでは、奇数フィールドの映像信号に対応したＣＣＤ出力信号として、２次元配列されたフォトダイオードの垂直方向に１つおきの奇数番目（奇数ライン）の画素に蓄積された電荷が読みだされ、偶数フィールドの映像信号に対応したＣＣＤ出力信号として、残りの偶数番目（偶数ライン）の画素に蓄積された電荷が読み出される。
【００２０】
一方、フィールド読み出しとは、ＣＣＤ１ａ，１ｂ，１ｃの２次元配列されたフォトダイオードに１フィールド時間、つまり１／６０秒間蓄積された電荷を読み出す手法である。フィールド読み出しでは、２次元配列されたフォトダイオードの隣り合う奇数ラインの画素と、偶数ラインの画素から読み出され、加算した電荷を、奇数フィールドの映像信号に対応したＣＣＤ出力信号とし、隣り合う奇数ラインと、偶数ラインの組み合わせを替えて加算した電荷を偶数フィールドの映像信号に対応したＣＣＤ出力信号としている。
【００２１】
フレーム読み出しは、各画素の電荷を独立して読み出すため、２画素の電荷を加算して出力するフィールド読み出しと比較して、垂直解像度が若干高くなるという利点がある。また、フレーム読み出しは、各画素に蓄積される電荷の蓄積時間が１／３０秒というように、フィールド読み出しにおける電荷蓄積時間、１／６０秒の２倍の長さになっているため、被写体が動いたり、撮像装置２０をパンしたりすると前の画像が残り残像となって現れる、いわゆるフレーム残像によって、画質が劣化してしまうという欠点もある。
【００２２】
これに対し、フィールド読み出しは、各画素に蓄積された電荷の読み出し間隔つまり、電荷蓄積時間が１／６０秒とフレーム読み出しの１／２倍の長さであることからフレーム残像が少なくなるため、フレーム読み出しより動解像度が優れているという利点がある。また、フィールド読み出しは、２画素の電荷を加算して出力するため、長時間露光時には、フレーム読み出しと比較して垂直解像度は劣るが、同じ電荷蓄積時間で倍の電荷が読み出されるため、高い感度の画像が得られるという利点がある。
【００２３】
以下の説明において、ＣＣＤ１ａ，１ｂ，１ｃからフレーム読み出しにて電荷を読み出すモードを第１のモードと呼び、フィールド読み出しにて電荷を読み出すモードを第２のモードと呼ぶ。
【００２４】
このようにフレーム読み出し又はフィールド読み出しによって、蓄積された電荷が読み出されるＣＣＤ１ａ，１ｂ，１ｃでは、２次元配列されたフォトダイオードに蓄積させる電荷の蓄積時間を、それぞれの読み出しモードにおける最短蓄積時間の自然数倍にした長時間露光を行うことができる。
【００２５】
つまり、第１のモードであるフレーム読み出しでは、フォトダイオードに蓄積させる電荷の蓄積時間を１／３０秒×ｎ（ｎは、自然数）とすることができ、第２のモードであるフィールド読み出しでは、同様に電荷の蓄積時間を１／６０秒×ｍ（ｍは、自然数）とすることができる。
【００２６】
長時間露光を行うと、光量の少ない条件において、動きの少ない被写体をより高画質で撮像したり、光量不足で本来なら写らない被写体を感度を上げて撮像したりすることができる。しかし、動きの多い被写体に対して長時間露光すると、残像が生じ画質が劣化してしまう。
【００２７】
当該撮像装置２０で長時間露光する場合、ユーザから指定される露光時間に応じて、第１のモードであるフレーム読み出しで電荷を読み出すのか、第２のモードであるフィールド読み出しによって電荷を読み出すのかがＣＰＵ９によって決定され、タイミング発生回路１０によって各モードに応じた電荷の読み出し制御が実行される。
【００２８】
ＣＤＳ２ａ，２ｂ，２ｃは、ＣＣＤ１ａ，１ｂ，１ｃから出力されたＣＣＤ出力信号に含まれるノイズを除去しビデオ信号を生成する。ＣＤＳ２ａ，２ｂ，２ｃでノイズが除去されたビデオ信号は、ゲイン可変アンプ３に供給される。
【００２９】
ゲイン可変アンプ３は、ＣＤＳ２ａ，２ｂ，２ｃから供給されたビデオ信号のゲイン（利得）を、後述するユーザインターフェース８を介して入力されるユーザからの要求に応じて調整する。例えば、ユーザは、被写体に十分な明るさがある場合、ノイズの少ない高画質な画像を取得するために、ゲインを低くするよう要求し、被写体の明るさが不足している場合、ノイズが多くなるが被写体を撮像することを優先してゲインを高くするよう要求する。
【００３０】
ゲイン可変アンプ３でゲイン調整がなされたビデオ信号は、Ａ／Ｄコンバータ４に供給される。
【００３１】
Ａ／Ｄコンバータ４は、ゲイン可変アンプ３から供給されたアナログのビデオ信号をデジタルビデオ信号に変換する。Ａ／Ｄコンバータ４は、変換したデジタルビデオ信号をバススイッチ５に出力する。
【００３２】
バススイッチ５は、タイミング発生回路１０による制御に応じて、スイッチをＯＮ、ＯＦＦし、Ａ／Ｄコンバータ４から供給されるデジタルビデオ信号のフレームメモリ６及び画像信号処理ブロック７への出力を制御する。
【００３３】
バススイッチ５は、ＣＣＤ１ａ，１ｂ，１ｃで長時間露光を行う際、電荷蓄積時間中は、各ＣＣＤ１ａ，１ｂ，１ｃからは電荷が読み出されないためＯＦＦとなるように制御され、電荷蓄積時間が終了するとＯＮとなるように制御される。バススイッチ５がＯＮとなると、Ａ／Ｄコンバータ４から出力されたデジタルビデオ信号は、フレームメモリ６及び画像信号処理ブロック７に供給される。
【００３４】
フレームメモリ６は、所定の容量のＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）であり、Ａ／Ｄコンバータ４からバススイッチ５を介して供給されるデジタルビデオ信号が格納される。フレームメモリ６に格納されるデジタルビデオ信号は、長時間露光を行う際の電荷蓄積時間中、つまり、各ＣＣＤ１ａ，１ｂ，１ｃから電荷の読み出しがない期間に、補完をするためのビデオ信号である。
【００３５】
画像信号処理ブロック７は、Ａ／Ｄコンバータ４からバススイッチ５を介して供給されるデジタルビデオ信号又はフレームメモリ６から読み出された補完用のデジタルビデオ信号に対して、輝度信号処理、色信号処理、輪郭補正処理、エンコード処理を施し、ＤＡ変換してアナログの輝度信号と、色度信号として出力する。
【００３６】
ユーザインターフェース８は、ユーザからの要求を入力し、当該撮像装置２０の各種機能を操作する操作ボタンや、ＬＣＤ（Liquid Crystal Display）といった表示部などを備えている。例えば、ＬＣＤには、当該撮像装置２０の各種機能の操作を支援するＧＵＩ（Graphic User Interface）が表示され、ユーザはこのＧＵＩに従って、撮像を開始する撮像開始コマンドや、撮像停止コマンドなどを入力する。
【００３７】
また、ユーザインターフェース８からは、上述したゲイン可変アンプ３で調整するビデオ信号に対するゲイン量を入力することができる。
【００３８】
さらにまた、ユーザインターフェース８からは、当該撮像装置２０が長時間露光する場合の露光時間を入力することもできる。ユーザは、ユーザインターフェース８から入力する露光時間として、ＣＣＤ撮像デバイス１のＣＣＤ１ａ，１ｂ，１ｃのフォトダイオードに蓄積させる電荷の電荷蓄積時間をフレーム数で指定することになる。例えば、１フレームは１／３０秒なので３フレームとすると電荷蓄積時間は、１／３０秒×３＝１／１０秒となる。
【００３９】
ユーザインターフェース８からユーザによって電荷蓄積時間が指定されると当該撮像装置２０は、長時間露光モードに切り替わる。
【００４０】
ＣＰＵ９は、当該撮像装置２０を統括的に制御する制御部である。ＣＰＵ９は、ユーザインターフェース８から入力されるコマンドに応じて、当該撮像装置２０の各種機能の動作を制御する。
【００４１】
ＣＰＵ９は、ユーザインターフェース８から入力されるゲイン量に応じて、ゲイン可変アンプ３にゲインコントロール信号を供給し、ＣＤＳ２ａ，２ｂ，２ｃから出力されるビデオ信号のゲインを調整するように制御する。また、ＣＰＵ９は、ユーザインターフェース８から入力されるゲイン量に応じて、ＣＣＤ１ａ，１ｂ，１ｃから電荷を読み出すモードである第１のモード又は第２のモードのいずれかを指定するモードコントロール信号をタイミング発生回路１０に出力する。
【００４２】
ＣＰＵ９は、例えば、図２に示すようなテーブルを用い、ゲイン量に応じてＣＣＤ１ａ，１ｂ，１ｃから電荷を読み出すモードを指定する。図２に示すように、ＣＰＵ９は、ゲイン量が０ｄＢ、６ｄＢ、１２ｄＢと低ゲインの場合には、第１のモードを指定し、１８ｄＢ、２４ｄＢ、３０ｄＢと高ゲインの場合には第２のモードを指定するようになっている。
【００４３】
これは、ユーザが、低ゲインを指定するということは、被写体に十分な明るさがあり、高画質な映像を希望していると考えられるため、垂直解像度の高い第１のモードを指定する。
【００４４】
また、ユーザが、高ゲインを指定するということは、被写体の明るさが不足しており、多少のノイズが含まれても、なんとかして被写体を撮像したいと希望していると考えられるため、垂直解像度は落ちるが高い感度で撮像できる第２のモードを指定する。また、高ゲインとすると、非常にノイズが多くなるため、垂直解像度が劣化してもあまり目立たないので第２のモードが有効となる。
【００４５】
さらにまた、ＣＰＵ９は、ユーザインターフェース８から入力される電荷蓄積時間に応じて、ＣＣＤ１ａ，１ｂ，１ｃから電荷を読み出すモードである第１のモード又は第２のモードのいずれかを指定するモードコントロール信号をタイミング発生回路１０に出力する。
【００４６】
ＣＰＵ９は、例えば、図３に示すようなテーブルを用い、電荷蓄積時間に応じてＣＣＤ１ａ，１ｂ，１ｃから電荷を読み出すモードを指定する。図３に示すように、ＣＰＵ９は、電荷蓄積時間が１フレーム、２フレーム、４フレーム、８フレームと電荷蓄積時間が比較的少ない場合には、第１のモードを指定し、１６フレーム、３２フレーム、６４フレームと電荷蓄積時間が長時間である場合には、第２のモードを指定するようになっている。第２のモードは、ＣＣＤ１ａ，１ｂ，１ｃの奇数ラインの電荷と、偶数ラインの電荷とを加算して偶数フィールド及び奇数フィールドのデジタルビデオ信号としているので、第１のモードと同じ電荷蓄積時間とした場合、感度が倍になる。
【００４７】
そこでＣＰＵ９は、ユーザが、電荷蓄積時間を少なくする場合は、感度をあまり求めていないと考えられるため、第２のモードより感度は低いが垂直解像度の高い第１のモードを指定する。また、ユーザが電荷蓄積時間を多くする場合は、高い感度の映像を求めていると考えられるため、垂直解像度は落ちるが、高い感度で撮像できる第２のモードを指定する。
【００４８】
また、ＣＰＵ９は、上述したようにゲイン量に応じた第１のモード又は第２のモードの指定、電荷蓄積時間に応じた第１のモード又は第２のモードの指定を単独で行うだけでなく、例えば、図４に示すようにゲイン量及び電荷蓄積時間をパラメータとして第１のモード又は第２のモードを指定することも行う。
【００４９】
図４に示すように、第１のモード、第２のモードが指定される傾向は、図２及び図３に準じており、ゲイン量を高くするほど高い感度が得られる第２のモードが指定され、電荷蓄積時間を増やすほど高い感度が得られる第２のモードが指定されるようになっている。
【００５０】
ところで、一般的にＣＣＤに長時間電荷を蓄積させた場合、暗電流による影響は大きくなるが、当該ＣＣＤが備える２次元配列されたフォトディテクタの奇数ラインと、偶数ラインとでは、暗電流の影響が異なることが非常に多い。これは、ＣＣＤの構造などに起因しており、奇数ラインと、偶数ラインにおいて暗電流による影響が異なっていると、それぞれから読み出された電荷によって決まる映像信号のダークレベルも大幅に異なることになる。したがって、このようなＣＤＤに長時間蓄積された電荷を、第１のモードによって読み出した場合、ダークレベルの激しい変動により、非常に見苦しい映像が出力されることになる。このような現象は、ゲイン量を高くするとより顕著となることが分かっている。
【００５１】
したがって、図４に示すように、ゲイン量及び電荷蓄積時間によって第１のモードと、第２のモードとを切り替えられるようにすると、このようなＣＣＤの構造上の特性によって生ずる問題にも対処可能となり、よりきめ細かく、最適な感度の映像を取得することができる。
【００５２】
なお、図２，３，４に示した値は、全て一例であって、ゲイン量の増加、電荷蓄積時間の増加に伴ってＣＰＵ９によって第２のモードが指定される傾向とすること以外、全く異なる値でもよく、図２，３，４に示した値によって本発明が限定されるものではない。
【００５３】
タイミング発生回路１０は、ＣＰＵ９から出力されたモードコントロール信号に応じて、ＣＣＤ１ａ，１ｂ，１ｃに蓄積された電荷の読み出しタイミングを制御するリードアウトパルス信号（CCD read out pulse）を発生し、ＣＣＤ１ａ，１ｂ，１ｃに供給する。
【００５４】
ＣＣＤ１ａ，１ｂ，１ｃの２次元配列されたフォトディテクタに蓄積された電荷を垂直転送、水平転送して取り出す垂直駆動パルスφＶ、水平駆動パルスφＨも、タイミング発生回路１０から供給される。
【００５５】
また、当該撮像装置２０において、長時間露光する長時間露光モードとなった場合、タイミング発生回路１０は、ＣＰＵ９から出力されたモードコントロール信号に応じて、ＣＣＤ１ａ，１ｂ，１ｃのフォトディテクタにユーザから指定された時間だけ電荷を蓄積させるため、リードアウトパルス信号がＣＣＤ１ａ，１ｂ，１ｃに供給されないようスイッチ１１を切り替えるリードアウトマスク信号（Readout_Mask）を発生する。
【００５６】
さらに、タイミング発生回路１０は、長時間露光モードにおいて、バススイッチ５のＯＮ、ＯＦＦの制御、フレームメモリ６へのデジタルビデオ信号の書き込み、書き込まれたデジタルビデオ信号の読み出しの制御を行う。
【００５７】
このような撮像装置２０は、ＣＰＵ９の制御によって、ゲイン量の増加、電荷蓄積時間（露光時間）の増加に応じ、垂直解像度の高い映像が得られる第１のモードから、感度の高い映像が得られる第２のモードへと、ＣＣＤ１ａ，１ｂ，１ｃに蓄積された電荷の読み出しモードを切り替える。
【００５８】
続いて、図５、図８に示すタイミングチャートを用いて、長時間露光モードにおいて、フレーム読み出しをするモードである第１のモードがＣＰＵ９によって指定された場合の撮像装置２０の動作、及び、同じく長時間露光モードにおいて、フィールド読み出しをするモードである第２のモードがＣＰＵ９によって指定された場合の撮像装置２０の動作について説明をする。
【００５９】
まず、図５に示すタイミングチャートを用いて、第１のモードが指定された場合の撮像装置２０の動作について説明をする。なお、ＣＣＤ１ａ，１ｂ，１ｃに蓄積される電荷の蓄積時間は、３フレーム分の蓄積時間とする。
【００６０】
図５に示す（ａ）のフレーム同期信号は、フレームの開始を示す信号であり、（ｂ）のフィールド１／２識別信号は、当該パルス信号のロー（Low）区間において現在、奇数フィールドであることを示し、ハイ（High）区間において、現在、偶数フィールドであることを示すパルス信号である。（ｃ）のＣＣＤ動作モードは、ＣＣＤ１ａ，１ｂ，１ｃが現在どのような動作をしているかを示している。
【００６１】
（ｄ）のリードアウトマスク信号は、タイミング発生回路１０からスイッチ１１に出力される信号を示し、（ｅ）及び（ｆ）のリードアウトパルス信号は、タイミング発生回路１０からスイッチ１１を介してＣＣＤ１ａ，１ｂ，１ｃに出力され、蓄積された電荷の読み出しタイミングを指定する信号である。（ｅ）に示すリードアウト信号は、ＣＣＤ１ａ，１ｂ，１ｃの偶数ラインのフォトダイオードから電荷を読み出すために供給される信号であり、（ｆ）に示すリードアウト信号は、奇数ラインのフォトダイオードから電荷を読み出すために供給される信号である。
【００６２】
（ｇ）は、ＣＣＤ１ａ，１ｂ，１ｃから読み出された電荷による映像信号のイメージを示している。（ｈ）は、フレームメモリ６の動作状態について示しており、（ｉ）は、画像信号処理ブロック７に入力される映像信号のイメージを示している。
【００６３】
（ｅ），（ｆ）に示すように、タイミング発生回路１０からは、奇数フィールド区間において、ＣＣＤ１ａ，１ｂ，１ｃのフォトダイオードの奇数ラインを読み出し、偶数フィールド区間において、ＣＣＤ１ａのフォトダイオードの偶数ラインを読み出すリードアウト信号が出力されている。
【００６４】
なお、（ｅ），（ｆ）に点線として示した箇所は、リードアウトマスク信号によってリードアウトパルス信号がマスクされなかった場合に出力されるであろうリードアウトパルス信号の位相を示している。
【００６５】
また、（ｄ）に示すように、タイミング発生回路１０は、リードアウト信号が３フレームに１回だけ有効となるようにリードアウトマスク信号を出力している。タイミング発生回路１０から出力されたリードアウトマスク信号は、スイッチ１１に供給され、ハイ区間においてリードアウト信号がＣＣＤ１ａ，１ｂ，１ｃに供給されないように制限をかけている。
【００６６】
これにより、リードアウトマスク信号のロー区間において、ＣＣＤ１ａ，１ｂ，１ｃにはスイッチ１１を介してリードアウト信号が供給され、（ｇ）に示すように奇数ラインに蓄積された電荷による映像信号及び偶数ラインに蓄積された電荷による映像信号がそれぞれ３フレーム毎に読み出されるようになる。
【００６７】
また、タイミング発生回路１０は、リードアウトマスク信号のロー区間において、バススイッチ５を制御してＯＮにし、さらに（ｈ）に示すようにフレームメモリ６へ映像信号の書き込みを許可する信号を出力する。
【００６８】
ＣＣＤ１ａ，１ｂ，１ｃから読み出された映像信号は、ＣＤＳ２、ゲイン可変アンプ３、Ａ／Ｄコンバータ４、スイッチ５を介して、フレームメモリ６及び（ｉ）に示すように画像信号処理ブロック７に供給される。
【００６９】
リードアウトマスク信号のロー区間における撮像装置２０の様子を図６に示す。リードアウトマスク信号のロー区間においては、タイミング発生回路１０から、スイッチ１１を介してリードアウトパルス信号がＣＣＤ１ａ，１ｂ，１ｃに供給され、バススイッチ５もＯＮとなり、フレームメモリ６には、タイミング発生回路１０より書き込み許可信号が供給される。
【００７０】
一方、リードアウトマスク信号のハイ区間において、タイミング発生回路１０は、バススイッチ５を制御してＯＦＦにし、さらに図５の（ｈ）に示すようにフレームメモリ６に格納された映像信号の読み出しを許可する信号を出力する。
【００７１】
これにより、画像信号処理ブロック７へのＡ／Ｄコンバータ４からの供給は遮断され、フレームメモリ６に格納されている映像信号が読み出され、画像信号処理ブロック７へ供給される。
【００７２】
リードアウトマスク信号のハイ区間における撮像装置２０の様子を図７に示す。リードアウトマスク信号のハイ区間においては、タイミング発生回路１０からのリードアウトパルス信号がＣＣＤ１ａ，１ｂ，１ｃには供給されず、バススイッチ５もＯＦＦとなり、フレームメモリ６にはタイミング発生回路１０より読み出し許可信号が供給される。
【００７３】
このようにして、タイミング発生回路１０の制御により、画像処理ブロック７には、３フレーム分の電荷を蓄積したＣＣＤ１ａ，１ｂ，１ｃの奇数ライン、偶数ラインからそれぞれ３フレームごとに読み出された電荷による映像信号が供給され、残りの２フレームにおいては、同じ映像信号がフレームメモリ６から補完されるべく供給される。
【００７４】
次に、図８に示すタイミングチャートを用いて、第２のモードが指定された場合の撮像装置２０の動作について説明をする。なお、ＣＣＤ１ａ，１ｂ，１ｃに蓄積される電荷の蓄積時間は、３フレーム分（＝６フィールド分）の蓄積時間とする。図８の（ａ），（ｂ），（ｃ），（ｄ），（ｅ），（ｆ），（ｇ），（ｈ），（ｉ）に示す信号の説明は、図５で説明した（ａ），（ｂ），（ｃ），（ｄ），（ｅ），（ｆ），（ｇ），（ｈ），（ｉ）と同じであるため省略する。
【００７５】
図８の（ｅ），（ｆ）に示すように、タイミング発生回路１０からは、奇数フィールド区間において、ＣＣＤ１ａ，１ｂ，１ｃのフォトダイオードの奇数ラインを読み出し、同じく奇数フィールド区間において、ＣＣＤ１ａのフォトダイオードの偶数ラインを読み出すリードアウト信号が出力されている。
【００７６】
なお、（ｅ），（ｆ）に点線として示した箇所は、リードアウトマスク信号によってリードアウトパルス信号がマスクされなかった場合に出力されるであろうリードアウトパルス信号の位相を示している。
【００７７】
また、（ｄ）に示すように、タイミング発生回路１０は、リードアウト信号が６フィールドに１回だけ有効となるようにリードアウトマスク信号を出力している。タイミング発生回路１０から出力されたリードアウトマスク信号は、スイッチ１１に供給され、ハイ区間においてリードアウト信号がＣＣＤ１ａ，１ｂ，１ｃに供給されないように制限をかけている。
【００７８】
これにより、リードアウトマスク信号のロー区間において、ＣＣＤ１ａ，１ｂ，１ｃにはスイッチ１１を介してリードアウト信号が供給され、（ｇ）に示すように奇数ラインに蓄積された電荷による映像信号及び偶数ラインに蓄積された電荷による映像信号が６フィールド毎に読み出され加算される。
【００７９】
また、タイミング発生回路１０は、リードアウトマスク信号のロー区間において、バススイッチ５を制御してＯＮにし、さらに（ｈ）に示すようにフレームメモリ６へ映像信号の書き込みを許可する信号を出力する。
【００８０】
ＣＣＤ１ａ，１ｂ，１ｃから読み出された映像信号は、ＣＤＳ２、ゲイン可変アンプ３、Ａ／Ｄコンバータ４、スイッチ５を介して、フレームメモリ６及び（ｉ）に示すように画像信号処理ブロック７に供給される。
【００８１】
リードアウトマスク信号のロー区間における撮像装置２０の様子を図６に示す。リードアウトマスク信号のロー区間においては、タイミング発生回路１０から、スイッチ１１を介してリードアウトパルス信号がＣＣＤ１ａ，１ｂ，１ｃに供給され、バススイッチ５もＯＮとなり、フレームメモリ６には、タイミング発生回路１０より書き込み許可信号が供給される。
【００８２】
一方、リードアウトマスク信号のハイ区間において、タイミング発生回路１０は、バススイッチ５を制御してＯＦＦにし、さらに、図８の（ｈ）に示すようにフレームメモリ６に格納された映像信号の読み出しを許可する信号を出力する。
【００８３】
これにより、画像信号処理ブロック７へのＡ／Ｄコンバータ４からの供給は遮断され、フレームメモリ６に格納されている映像信号が読み出され、画像信号処理ブロック７へ供給される。
【００８４】
リードアウトマスク信号のハイ区間における撮像装置２０の様子を図７に示す。リードアウトマスク信号のハイ区間においては、タイミング発生回路１０からのリードアウトパルス信号がＣＣＤ１ａ，１ｂ，１ｃには供給されず、バススイッチ５もＯＦＦとなり、フレームメモリ６にはタイミング発生回路１０より読み出し許可信号が供給される。
【００８５】
このようにして、タイミング発生回路１０の制御により、画像処理ブロック７には、３フレーム分（＝６フィールド分）の電荷を蓄積したＣＣＤ１ａ，１ｂ，１ｃの奇数ラインと偶数ラインとから、６フィールド毎に読み出され加算された電荷による映像信号が供給され、残りの５フィールドにおいては、同じ映像信号がフレームメモリ６から補完されるべく供給される。
【００８６】
このようにして、撮像装置２０は、長時間露光モードにおいて、ＣＣＤ１ａ，１ｂ，１ｃに蓄積された電荷を、第１のモード又は第２のモードによって読み出すことができる。
【００８７】
なお、本発明の実施の形態として示した撮像装置２０では、ゲイン量の調整は、ユーザによってユーザインターフェース８から入力されたゲイン量に応じて、ゲイン可変アンプ３によって制御するようにしたが、ゲイン可変アンプ３に替えて、ＡＧＣ（Auto Gain Controller）を備えることで撮影条件などによってゲインを調整するようにしてもよい。ＣＰＵ９は、ＡＧＣによって調整されたゲイン量が低い場合、第１のモードが指定され、ゲイン量が高い場合、第２のモードが指定されるようにモードコントロール信号をタイミング発生回路１０に出力する。
【００８８】
さらにまた、本発明の実施の形態として示す撮像装置２０における第１のモード、第２のモードの指定は、ユーザインターフェース８から入力されるゲイン量、電荷蓄積時間に基づいてＣＰＵ９に設定された、例えば、図２，３，４で示したテーブルによって規定されるポリシーにより自動的に行うようにしているが、ユーザインターフェース８より直接、ユーザが第１のモード又は第２のモードを指定するようにしてもかまわない。
【００８９】
【発明の効果】
以上の説明からも明らかなように、本発明は、低い出力感度での撮像要求に応じて、上記固体撮像素子に蓄積された電荷をフレーム毎に読み出す撮像モードである第１のモードに切り替え、高い出力感度での撮像要求に応じて、上記固体撮像素子に蓄積された電荷をフィールド毎に読み出し、読み出した電荷の垂直方向において奇数番目の電荷とこの奇数番目の電荷に隣り合う偶数番目の電荷のうちの一方との第１の組み合わせと、上記奇数番目の電荷と上記偶数番目の電荷のうちの他方との第２の組み合わせをｍフィールド毎に交互に変えて、上記組み合わせた電荷を加算して出力する撮像モードである第２のモードに切り替えて撮像する。
そして、撮像モードが上記第１のモードに切り替えられたことに応じて、上記固体撮像素子からｎ（ｎは自然数）フレーム毎に読み出される電荷を記憶手段に書き込み、上記電荷の上記記憶手段への書き込みがない期間において、上記記憶手段に書き込ませた上記電荷を１フレーム期間毎に読み出す。
また、撮像モードが上記第２のモードに切り替えられたことに応じて、上記固体撮像素子からｍ（ｍは自然数）フィールド毎に読み出され、読み出した電荷の垂直方向において奇数番目の電荷とこの奇数番目の電荷に隣り合う偶数番目の電荷のうちの一方との第１の組み合わせと、上記奇数番目の電荷と上記偶数番目の電荷のうちの他方との第２の組み合わせをｍフィールド毎に交互に変えて、上記組み合わせた電荷を加算して出力された電荷を記憶手段に書き込み、上記電荷の上記記憶手段への書き込みがない期間において、上記記憶手段に書き込ませた上記電荷を１フィールド期間毎に読み出す。
【００９０】
これにより、ユーザが所望する出力感度に応じて、第１のモード、第２のモードが適宜切り替えられることで、最適な映像となるように被写体を撮像することができる。そして、固体撮像素子で電荷を蓄積している期間においては、記憶手段に記憶させた電荷を、第１のモード又は第２のモードに応じたタイミングで読み出すことで補完をするため、ユーザが所望する出力感度を最適な形で反映させた動画像として被写体を撮像することを可能とする。
【００９１】
例えば、利得を上げた場合、高い出力感度での撮像要求がなされていると判断し、第２のモードに切り替える。第２のモードは、第１のモードと比較して、同じ感度となる電荷蓄積時間が半分でよいため、動きのある被写体の振れを抑制しながら、要求される出力感度も満たした映像（動画像）を取得することが可能となる。
【００９２】
また、利得を下げた場合、低い出力感度での撮像要求がなされていると判断し、第１のモードに切り替えることで、第２のモードで撮像した場合よりも垂直解像度の高い高画質な映像（動画像）を取得することが可能となる。
【００９３】
さらにまた、固体撮像素子において電荷を蓄積させる電荷蓄積時間を長時間にした場合、高い出力感度での撮像要求がなされていると判断し、第２のモードに切り替えることで、第１のモードに切り替えたときと同じ電荷蓄積時間で倍の出力感度、つまり、電荷蓄積時間を半分とすることができる。したがって、動きのある被写体の振れによる画質の劣化を光学調整することで最小限にしながら、要求される出力感度の映像（動画像）を取得することが可能となる。
【図面の簡単な説明】
【図１】本発明の実施の形態として示す撮像装置の構成について説明するための図である。
【図２】ゲイン量に応じて切り替わる第１のモード及び第２のモードの関係の一例を示した図である。
【図３】電荷蓄積時間に応じて切り替わる第１のモード及び第２のモードの関係の一例を示した図である。
【図４】ゲイン量及び電荷蓄積時間に応じて切り替わる第１のモード及び第２のモードの関係の一例を示した図である。
【図５】長時間蓄積モードにおいて、第１のモードで蓄積電荷を読み出す際の撮像装置の動作について説明するためのタイミングチャートである。
【図６】リードアウトマスク信号がロー区間である場合の撮像装置の様子を示した図である。
【図７】リードアウトマスク信号がハイ区間である場合の撮像装置の様子を示した図である。
【図８】長時間蓄積モードにおいて、第２のモードで蓄積電荷を読み出す際の撮像装置の動作について説明するためのタイミングチャートである。
【符号の説明】
１ＣＣＤ（Charge Coupled Device）撮像デバイス、１ａ，１ｂ，１ｃＣＣＤ（Charge Coupled Device）、２ＣＤＳ（Correlated Double Sampling circuit）、３ゲイン可変アンプ、４Ａ／Ｄ（Analog to Digital）コンバータ、５バススイッチ、６フレームメモリ、７画像信号処理ブロック、８ユーザインターフェース、９ＣＰＵ（Central Processing Unit）、１０タイミング発生回路、１１スイッチ

Claims

受光した撮像光に応じて光電変換を行う固体撮像素子と、
上記固体撮像素子に蓄積された電荷をｎ（ｎは自然数）フレーム毎に読み出す撮像モードである第１のモードと、上記固体撮像素子に蓄積された電荷をｍ（ｍは自然数）フィールド毎に読み出し、読み出した電荷の垂直方向において奇数番目の電荷とこの奇数番目の電荷に隣り合う偶数番目の電荷のうちの一方との第１の組み合わせと、上記奇数番目の電荷と上記偶数番目の電荷のうちの他方との第２の組み合わせをｍフィールド毎に交互に変えて、上記組み合わせた電荷を加算して出力する撮像モードである第２のモードとを切り替える切り替え手段と、
低い出力感度での撮像要求に応じて、当該撮像装置の撮像モードを上記第１のモードに切り替え、高い出力感度での撮像要求に応じて、当該撮像装置の撮像モードを上記第２のモードに切り替えるように上記切り替え手段を制御する制御手段と、
上記制御手段によって、撮像モードが上記第１のモードに切り替えられたことに応じて、上記固体撮像素子からｎフレーム毎に読み出される電荷を記憶手段に書き込ませ、上記電荷の上記記憶手段への書き込みがない期間において、上記記憶手段に書き込ませた上記電荷を１フレーム期間毎に読み出させる信号を生成し、上記制御手段によって、撮像モードが上記第２のモードに切り替えられたことに応じて、上記固体撮像素子からｍフィールド毎に読み出され、読み出した電荷の垂直方向において奇数番目の電荷とこの奇数番目の電荷に隣り合う偶数番目の電荷のうちの一方との第１の組み合わせと、上記奇数番目の電荷と上記偶数番目の電荷のうちの他方との第２の組み合わせをｍフィールド毎に交互に変えて、上記組み合わせた電荷を加算して出力された電荷を記憶手段に書き込ませ、上記電荷の上記記憶手段への書き込みがない期間において、上記記憶手段に書き込ませた上記電荷を１フィールド期間毎に読み出させる信号を生成するタイミング発生手段と、
を備えることを特徴とする撮像装置。
上記固体撮像素子から出力される撮像信号の利得を調整する利得調整手段を備え、
上記制御手段は、上記利得調整手段によって調整される上記利得が低利得である場合、低い出力感度での撮像要求がなされていると判断し、当該撮像装置の撮像モードを上記第１のモードに切り替えるよう上記切り替え制御手段を制御し、
上記利得調整手段によって調整される上記利得が高利得である場合、高い出力感度での撮像要求がなされていると判断し、当該撮像装置の撮像モードを上記第２のモードに切り替えるよう上記切り替え制御手段を制御すること
を特徴とする請求項１記載の撮像装置。
上記制御手段は、上記固体撮像素子に蓄積される上記電荷の蓄積時間を短時間とする場合、低い出力感度での撮像要求がなされていると判断し、当該撮像装置の撮像モードを上記第１のモードに切り替えるよう上記切り替え制御手段を制御し、
上記固体撮像素子に蓄積される上記電荷の蓄積時間を長時間とする場合、高い出力感度での撮像要求がなされていると判断し、当該撮像装置の撮像モードを上記第２のモードに切り替えるよう上記切り替え制御手段を制御すること
を特徴とする請求項１記載の撮像装置。
受光した撮像光に応じて固体撮像素子で光電変換し、
低い出力感度での撮像要求に応じて、上記固体撮像素子に蓄積された電荷をｎ（ｎは自然数）フレーム毎に読み出す撮像モードである第１のモードに切り替え、
高い出力感度での撮像要求に応じて、上記固体撮像素子に蓄積された電荷をｍ（ｍは自然数）フィールド毎に読み出し、読み出した電荷の垂直方向において奇数番目の電荷とこの奇数番目の電荷に隣り合う偶数番目の電荷のうちの一方との第１の組み合わせと、上記奇数番目の電荷と上記偶数番目の電荷のうちの他方との第２の組み合わせをｍフィールド毎に交互に変えて、上記組み合わせた電荷を加算して出力する撮像モードである第２のモードに切り替えて撮像し、
撮像モードが上記第１のモードに切り替えられたことに応じて、上記固体撮像素子からｎフレーム毎に読み出される電荷を記憶手段に書き込み、上記電荷の上記記憶手段への書き込みがない期間において、上記記憶手段に書き込ませた上記電荷を１フレーム期間毎に読み出し、撮像モードが上記第２のモードに切り替えられたことに応じて、上記固体撮像素子からｍフィールド毎に読み出され、
読み出した電荷の垂直方向において奇数番目の電荷とこの奇数番目の電荷に隣り合う偶数番目の電荷のうちの一方との第１の組み合わせと、上記奇数番目の電荷と上記偶数番目の電荷のうちの他方との第２の組み合わせをｍフィールド毎に交互に変えて、上記組み合わせた電荷を加算して出力された電荷を記憶手段に書き込み、上記電荷の上記記憶手段への書き込みがない期間において、上記記憶手段に書き込ませた上記電荷を１フィールド期間毎に読み出すことを特徴とする撮像方法。
上記固体撮像素子から出力される撮像信号の利得を調整し、
調整された上記利得が低利得である場合、低い出力感度での撮像要求がなされていると判断し、撮像モードを上記第１のモードに切り替え、
調整された上記利得が高利得である場合、高い出力感度での撮像要求がなされていると判断し、撮像モードを上記第２のモードに切り替えて撮像すること
を特徴とする請求項４記載の撮像方法。
上記固体撮像素子に蓄積される上記電荷の蓄積時間を短時間とする場合、低い出力感度での撮像要求がなされていると判断し、撮像モードを上記第１のモードに切り替え、
上記固体撮像素子に蓄積される上記電荷の蓄積時間を長時間とする場合、高い出力感度での撮像要求がなされていると判断し、撮像モードを上記第２のモードに切り替えて撮像すること
を特徴とする請求項４記載の撮像方法。