JP2005117494A - 撮像装置 - Google Patents

Abstract

【課題】 記録用の露光動作の期間に被写体をリアルタイムで表示しつつ、高画質な記録画像を得ることのできる撮像装置を提供する。
【解決手段】 長秒モニタリングモードの設定時において、記録用画素信号を生成するための本露光動作期間は、第１フィールド内の画素から画素信号を取り出し、この画素信号によりライブビュー画像を生成する。また、本露光動作の終了が指示されると、シャッターボタンの全押し中、継続して露光動作を行っていた第２、第３フィールド内の画素から画素信号が取り出され、この画素信号により構成される画像と、本露光動作の終了が指示指示される直前に生成された加算画像とを加算することで記録画像を生成する。
【選択図】 図４

Description

本発明は、記録用の画素信号を生成するための露光動作中に被写体の画像を表示する機能を備えた撮像装置に関する。

従来、液晶表示器等の表示器を備えるデジタルカメラにおいて、露光中の被写体を表示器で確認できるようにする技術として、例えば特許文献１に記載の技術がある。

特許文献１には、撮像素子の画素配列面を、水平方向の２ラインごとに２つのフィールドに分割するとともに、一方のフィールドの画素ラインから得られる画像データを記録用として用い、他方のフィールドの画素ラインから得られる画像データを液晶表示器等への表示用として用いる技術が開示されている。
特開２００２−１３５６２６号公報

しかしながら、上記特許文献１の技術においては、撮像素子の画素数の略半分の画素から画像信号を読み出すこととなるから、撮像素子の画素数が高画素化すると、撮像素子から画像信号を読み出すのに時間を要し、表示器における画像の表示周期が大きくなる。また、この場合、高画素化された撮像素子を用いて被写体を撮像しても、この撮像素子の画素数に相応しい画質の画像を得ることは困難であり、高画素化された撮像素子の性能を記録画像の画質に十分に活かしているとは言い難い。

本発明は、上記事情に鑑みてなされたもので、記録用の露光動作の期間に被写体の画像をリアルタイムで表示でき、且つ高画質な記録画像が得られる撮像装置を提供することを目的とする。

請求項１に記載の発明は、それぞれ異なる色を受光する複数種類の画素を備え、各画素を一方向に配列してなる画素ラインが前記一方向と交差する方向に複数配置してなる撮像素子と、所定の記録部に記録する記録用画素信号を生成するための露光動作の開始を前記撮像素子に指示するための入力操作部と、前記入力操作部により前記露光開始指示が行われると、前記複数の画素ラインのうち一部の画素ラインに位置する複数の画素のみから所定の時間間隔で画素信号を出力させ、前記露光開始指示後の所定のタイミングで前記複数の画素以外の他の画素から画素信号を出力させる撮像制御部と、前記複数の画素から得られる画素信号を記憶する記憶部と、画像を表示する画像表示部と、前記記憶部に記憶された画素信号に対して前記画像表示部に表示するための処理を施し、この処理後の画素信号に基づき前記画像表示部に画像を表示させる第１画像処理部と、前記他の画素から画素信号を取得し、この画素信号と、前記所定のタイミングまでに前記複数の画素から得られた画素信号とに基づいて画像を生成する第２画像処理部と、前記第２画像処理部により生成された画像を前記所定の記録部に記録させる記録制御部とを備えることを特徴とする撮像装置。

請求項２に記載の発明は、請求項１に記載の撮像装置において、前記第１画像処理部は、前記入力操作部により前記露光開始指示が行われると、前記所定の時間毎に前記複数の画素から得られる画素信号を順次加算してなる加算画像を生成し、前記画像表示部は、前記加算画像を表示することを特徴とするものである。

請求項３に記載の発明は、請求項２に記載の撮像装置において、前記第２画像処理部は、前記他の画素から取得した画素信号に、前記所定のタイミングとなる直前に生成された加算画像を構成する画素信号を前記複数の画素に対応する代替の画素信号として補間することを特徴とするものである。

請求項４に記載の発明は、請求項１ないし３のいずれかに記載の撮像装置において、前記第２画像処理部は、画素から取得した画素信号に対し、前記撮像素子の各画素に発生する暗電流に起因する画素値のずれを補正することを特徴とするものである。

請求項５に記載の発明は、請求項３に記載の撮像装置において、前記第２画像処理部は、前記加算画像を構成する画素信号のうち空間周波数が所定の閾値以上の画素信号のみを前記補間のために用い、残りの代替の画素信号として、前記他の画素から取得した画素信号から補間することを特徴とするものである。

請求項１に記載の発明によれば、入力操作部により前記露光開始指示が行われると、複数の画素ラインのうち一部の画素ラインに位置する複数の画素のみから所定の時間間隔で画素信号を出力させ、この画素信号を記憶部に記憶するとともに、この画素信号に対して画像表示部に表示するための処理を施し、この処理後の画素信号に基づき画像表示部に画像を表示させるようにしたので、露光開始指示が行われると、被写体の画像をリアルタイムで画像表示部に表示することができる。

また、露光開始指示後の所定のタイミングで前記複数の画素以外の他の画素から画素信号を出力させ、この画素信号と、前記所定のタイミングまでに前記複数の画素から得られた画素信号とに基づいて画像を生成し、この生成された画像を前記所定の記録部に記録するようにしたので、撮像素子の画素数に相当する画質の画像を得ることができる。したがって、従来の撮像装置に比して、高画質な記録画像を得ることができる。

請求項２に記載の発明によれば、入力操作部により露光開始指示が行われると、前記所定の時間毎に前記複数の画素から得られる画素信号を順次加算してなる加算画像を生成し、前記加算画像を画像表示部に表示するようにしたので、入力操作部による露光開始の指示後、所定の時間間隔で撮像素子から出力される画素信号により得られる画像が重畳して画像表示部に表示される。これにより、撮影者は、画像表示部に表示される画像を視認することで、被写体の状態変化を確認することができる。

請求項３に記載の発明によれば、前記他の画素から取得した画素信号に、前記所定のタイミングとなる直前に生成された加算画像を構成する画素信号を前記複数の画素に対応する代替の画素信号として補間するようにしたので、より一層高画質な画像を得ることができる。

請求項４に記載の発明によれば、前記第２画像処理部は、画素から取得した画素信号に対し、前記撮像素子の各画素に発生する暗電流に起因する画素値のずれを補正するようにしたので、生成する画像に濃度ずれが発生するのを防止または抑制することができる。

請求項５に記載の発明によれば、前記第２画像処理部は、前記加算画像を構成する画素信号のうち空間周波数が所定の閾値以上の画素信号のみを前記補間のために用い、残りの代替の画素信号として、前記他の画素から取得した画素信号から補間するようにしたので、所定の記録部に記録される画像のうち空間周波数が低い領域において、補間した部分とその周囲との間で比較的大きな濃度ずれが発生するのを防止または抑制することができる。

本発明に係る撮像装置の実施形態について説明する。

図１は、撮像装置１の正面図、図２は、撮像装置１の背面図である。

図１、図２に示すように、撮像装置１は、電源ボタン２と、光学系３と、ＬＣＤ（Liquid Crystal Display）４と、光学ファインダー５と、内蔵フラッシュ６と、モード設定スイッチ７と、４連スイッチ８と、シャッターボタン９と、長秒モニタリングスイッチ１０とを備える。

電源ボタン２は、撮像装置１の電源のオンオフを切り替えるものである。

光学系３は、ズームレンズや図略のメカニカルシャッター等を備えてなり、ＣＣＤ（Charge Coupled Device）等の撮像素子１１（図３参照）の撮像面に、被写体の光学像を結像するものである。

ＬＣＤ４は、ライブビュー画像及び後述するメモリカードｍ（図３参照）に記録する画像（記録画像）の表示や、メモリカードｍに記録された画像の再生表示等を行うものである。

ライブビュー画像は、被写体の画像を記録するまでの期間、一定の周期（１／３０秒）でＬＣＤ４に切換表示される撮像素子１１で撮像された画像をいい、このライブビュー画像により、被写体の状態が略リアルタイムでＬＣＤ４に表示され、撮影者は被写体の状態をＬＣＤ４で確認することができる。

光学ファインダー５は、被写体が撮影される範囲を光学的に観察できるようにするものである。

内蔵フラッシュ６は、撮像素子１１への露光量が不足している場合等に、該被写体に照明光を照射するものである。

モード設定スイッチ７は、被写体像の撮影を行なう「撮影モード」と、メモリカードｍに記録された撮影画像をＬＣＤ４に再生表示する「再生モード」と、各種機能の設定を行うための「メニューモード」との間でモードの切換設定を行うためのスイッチである。モード設定スイッチ７は、上下にスライドする３接点のスライドスイッチからなり、下にセットすると撮像装置１は撮影モードに設定され、中央にセットすると再生モードに設定され、上にセットするとメニューモードに設定される。

４連スイッチ８は、詳細には説明しないが、ズームレンズの光軸方向への移動や、露出補正、あるいはＬＣＤ４に再生する記録画像のコマ送り等を行うためのスイッチである。また、本実施形態の撮像装置１は、撮影モードの種類として、プログラムＡＥモード、絞り優先ＡＥモード、シャッター速度優先ＡＥモード、マニュアルモード及びバルブ撮影モードが備えられており、モード設定スイッチ７によりメニューモードが設定された状態で４連スイッチ８が操作されることにより、これらのモードを切り換えることができる。

プログラムＡＥモードは、予め設定されたＡＥ（Auto Exposure）プログラムにしたがって絞り値とシャッタースピードとの組合せを自動的に設定するモードであり、絞り優先ＡＥモードは、撮影者により予め設定された絞り値でシャッタースピードを設定して撮像を行うモードであり、シャッター速度優先ＡＥモードは、撮影者により予め設定されたシャッタースピードで絞り値を設定して撮像を行うモードであり、マニュアルモードは、撮影者により予め設定されたシャッタースピードと絞り値とで撮像を行うモードである。

また、バルブ撮影モードは、図略のメカニカルシャッターを開閉するタイミングを撮影者がシャッターボタン９で指示するバルブ撮影を行うモードであり、シャッターボタン９が完全に押し切られる（以下、この操作を全押し操作という）ことで電子シャッターにより撮像素子１１による記録用の露光動作が開始され、シャッターボタン９の全押しが解除されることでメカニカルシャッターが閉じてその露光動作が終了される。したがって、このバルブ撮影モードでは、撮像装置１に比較的長時間（例えば１０秒など）露光させて被写体を撮影することができる。

シャッターボタン９は、２段階（半押し及び全押し）で押圧操作されるボタンであり、露出制御のタイミングを指示するためのものである。前記各撮影モードにおいて、シャッターボタン９が操作されていない状態では、１／３０（秒）毎に被写体の光学像が取り込まれ、ＬＣＤ４へのライブビュー画像の表示が行われる。また、撮像装置１は、前述のプログラムＡＥモード、絞り優先ＡＥモード、シャッター速度優先ＡＥモード及びマニュアルモードでは、シャッターボタン９が半押しされることで、ライブビュー画像の表示に加えてシャッタースピードや絞り値等の設定が行われる撮像待機状態に設定され、全押し操作が行われることで、メモリカードｍに記録する被写体の光学像が決定される。なお、バルブ撮影モードにおけるシャッターボタン９の機能は前述の通りである。

ここで、本実施形態の撮像装置１は、前述したいずれかの撮影モードの設定時であって後述の長秒モニタリングモードに設定された場合に、記録用の画素信号を生成するための露光動作（以下、本露光動作という）の開始がシャッターボタン９により指示されるまでの期間だけでなく、本露光動作の期間中にも、被写体の状態（正確にはメモリカードｍに記録される画像の状態）をライブビュー画像としてリアルタイムでＬＣＤ４に表示するようにしているところに特徴を有している。

本露光動作の期間（記録用の画素信号の生成期間）は、プログラムＡＥモード及び絞り優先ＡＥモードでは、シャッターボタン９の全押し操作後であって、撮像装置１で算出されたシャッタースピードに相当するシャッター開放期間に相当し、シャッター速度優先ＡＥモードでは、シャッターボタン９の全押し操作後であって、予め撮影者により設定されたシャッタースピードに相当するシャッター開放期間に相当し、マニュアルモードでは、シャッターボタン９の全押し操作後、撮影者により予め設定された時間（露光時間）が経過するまでの期間に相当し、バルブ撮影モードではシャッターボタン９の全押し状態が継続している期間に略相当する。

長秒モニタリングスイッチ１０は、前述したいずれかの撮影モードの設定時において、本露光動作の期間が予め設定されたライブビュー画像の表示周期（例えば１／３０秒）より著しく長いときに、その本露光動作期間にもライブビュー画像をＬＣＤ４に表示するモード（長秒モニタリングモード）に設定するためのものであり、押圧する毎に、長秒モニタリングモードの設定／非設定が交互に切り換えられる。なお、この長秒モニタリングモードは、特にバルブ撮影モードが設定されている場合に有効なものであるため、以下の説明においては、撮像装置１がバルブ撮影モードに設定されている場合について説明することとする。

図３は、撮像装置１のシステムを示すブロック構成図である。同図において、図１，図２に示した部材と同一部材には同一の番号を付している。

撮像装置１は、光学系３と、ＬＣＤ４と、撮像素子１１と、タイミングジェネレータ１２と、信号処理部１３、Ａ／Ｄ変換部１４と、画像メモリ１５と、ＶＲＡＭ（Video Random Access Memory）１６と、操作部１７と、制御部１８とを備えて構成されている。

光学系３は、図１に示す光学系３に相当するものであり、前述したようにメカニカルシャッターを備える。

撮像素子１１は、例えばフォトダイオード等で構成される複数の光電変換素子がマトリックス状に２次元配列され、各光電変換素子の受光面に、それぞれ分光特性の異なる例えばＲ（赤），Ｇ（緑），Ｂ（青）のカラーフィルタが１：２：１の比率で配設されてなるベイヤー配列のＣＣＤカラーエリアセンサである。以下、光電変換素子にカラーフィルタが配設されたものを撮像素子１１の画素という。撮像素子１１は、光学系３により結像された被写体の光像をＲ（赤），Ｇ（緑），Ｂ（青）各色成分のアナログの電気信号（画像信号）に変換し、Ｒ，Ｇ，Ｂ各色の画像信号として出力する。なお、撮像素子１１は、画素信号を出力すると、該画素信号が当該撮像素子１１に残存しない破壊読み出しの撮像素子である。

撮像素子１１は、図４（ａ）に示すように、フォトダイオード等からなる受光部１１１、垂直転送部１１２、及び水平転送部１１３等を備えてなるインターラインインターレース転送方式の撮像素子である。なお、図４（ａ）は、撮像素子１１に備えられる複数の画素のうち横２列に並ぶ画素列のみを示している。

図４に示すように、複数の画素が水平方向に並んでなる各画素ラインに対して、最上位置に位置する画素ラインから垂直方向下側に向かって番号を付したとき、本実施形態においては、３ｎ−２（ｎは１以上の整数）で表される番号が付された画素ラインと、３ｎ−１（ｎは１以上の整数）で表される番号が付された画素ラインと、３ｎ（ｎは１以上の整数）で表される番号が付された画素ラインとの３回に分けて、各画素の電荷が画素信号として取り出されるように、各部１１１〜１１３に水平同期信号や垂直同期信号等が付与される。

すなわち、図４（ａ）に示すように、３ｎ−１（ｎは１以上の整数）で表される番号が付された画素ラインについて、まず、垂直同期信号により、各画素の受光部１１１で発生した電荷が垂直転送部１１２に転送される。そして、水平同期信号により、水平転送部１１３に近い画素の垂直転送部１１２から順次、水平転送部１１３への電荷の転送及び該電荷の後述する信号処理部１３（図３参照）への転送が行われる。

この３ｎ−１で表される番号が付された画素ラインについての電荷の取り出しが終了すると、図４（ｂ）に示すように、３ｎ−２で表される番号が付された画素ラインについて、前述の３ｎ−１で表される番号が付された画素ラインと同様の処理が行われる。

さらに、この３ｎ−１で表される番号が付された画素ラインについての電荷の取り出しが終了すると、図４（ｃ）に示すように、３ｎで表される番号が付された画素ラインについて、前述の３ｎ−１で表される番号が付された画素ラインと同様の処理が行われる。

以下、３ｎ−１で表される番号が付された画素ラインが位置する領域を第１フィールド、３ｎ−２で表される番号が付された画素ラインが位置する領域を第２フィールド、３ｎで表される番号が付された画素ラインが位置する領域を第３フィールドという。

長秒モニタリングモードの設定時において本露光動作の開始が指示されると、第１〜第３フィールドの画素は本露光動作を開始するとともに、本露光動作の期間、インターレース転送方式により第１フィールドの画素から画素信号が取り出され、この画素信号によりライブビュー画像が生成される。その際、後述するように、メモリカードｍに記録される画像の状態変化を明瞭に撮影者に示すため、第１フィールドの画素から画素信号が出力されるたびに、その画素信号により構成される画像を加算していき、この加算した画像（加算画像）をＬＣＤ４に表示するようにしている。

そして、本露光動作の終了が指示されると、画素信号が取り出されることなく継続して本露光動作を行っていた第２、第３フィールドの画素から画素信号が取り出され、この画素信号により構成される画像と、本露光動作の終了が指示される直前に生成された加算画像とを加算することで記録画像が生成されるようになっており、ここに主たる特徴を有している。

一方、長秒モニタリングモードの非設定時においては、本露光動作の開始が指示されると、第１〜第３フィールドの画素は本露光動作を開始し、本露光動作の終了が指示されるまで画素信号が取り出されることなく継続して本露光動作を行う。そのため、本露光動作中は、ＬＣＤ４に被写体の画像は表示されない。そして、本露光動作の終了が指示されると、第１〜第３フィールドの画素から画素信号が取り出され、これらの画素信号を用いて記録画像が生成される。

なお、長秒モニタリングモードの設定時及び非設定時において本露光動作の開始が指示されるまでは、インターレース転送方式により第１フィールドの画素から画素信号が取り出され、この画素信号によりライブビュー画像が生成される。ただし、前述したような加算処理は行わない。

図３に戻り、撮像素子１１は、タイミングジェネレータ１２等により、撮像素子１１の露出動作の開始及び終了や、撮像素子１１における各画素の出力信号の読出し（水平同期、垂直同期）等の撮像動作が制御される。

タイミングジェネレータ１２は、制御部１８から送信される基準クロックＣＬＫ０に基づいて、撮像素子１１の駆動制御信号、例えば積分開始／終了（露出開始／終了）のタイミング信号、各画素の受光信号の読出制御信号（水平同期信号，垂直同期信号等）等のクロック信号を生成し、撮像素子１１に出力する。

信号処理部１３は、撮像素子１１から出力されるアナログの画素信号に所定のアナログ信号処理を施すものである。信号処理部１３は、ＣＤＳ（相関二重サンプリング）回路とＡＧＣ（オートゲインコントロール）回路とを有し、ＣＤＳ回路により画素信号のノイズの低減を行い、ＡＧＣ回路により画素信号のレベル調整を行う。

Ａ／Ｄ変換部１４は、信号処理部１３により出力されたアナログのＲ，Ｇ，Ｂの画素信号を、複数のビットからなるデジタルの画素信号にそれぞれ変換するものである。

画像メモリ１５は、Ａ／Ｄ変換部１４から出力される画素信号を一時的に格納するとともに、この画素信号に対して制御部１８により後述の処理を行うための作業領域として用いられるメモリである。

ＶＲＡＭ１６は、ＬＣＤ４に再生表示される画像の画素信号のバッファメモリであり、ＬＣＤ４の画素数に対応した画素信号の記録容量を有する。

操作部１７は、シャッターボタン９のレリーズ操作を検出するスイッチ、モード設定スイッチ７、４連スイッチ８及び長秒モニタリングスイッチ１０等を含むものである。

制御部１８は、例えば制御プログラムを記憶するＲＯＭや一時的にデータを記憶するＲＡＭからなる記憶部（後述する第１、第２画像記憶部２９，３０を含む）が内蔵されたマイクロコンピュータからなり、上述した各部材の駆動を関連付けて制御するものである。

ここで、長秒モニタリングモードの設定時に本露光動作中にもライブビュー画像をＬＣＤ４に表示する意義等について説明する。

長秒モニタリングモードの設定時において露光時間が比較的長いときに、シャッターボタン９の全押し操作開始以降に行われる撮像素子１１の露光動作によって得られる全ての画素信号を、メモリカードｍへの記録用として用いるように構成した場合、ライブビュー画像表示用として用いることのできる画素信号が無いため、本露光動作中において、メモリカードｍに記録される画像の状態をライブビュー画像としてＬＣＤ４に表示することはできない。

また、本露光動作の期間に、前述のライブビュー画像をＬＣＤ４に表示する構成を備えた場合であっても、各時点における被写体の状態を示した画像をライブビュー画像として表示する構成では、次のような不具合が生じる。

図５は、本露光動作が開始されてから１２秒間にわたって連続的に打ち上げられた３発の花火について、その１２秒間の期間における各時点でＬＣＤ４に表示されるライブビュー画像を示したものであり、この図５においては、各時点で、その１／３０秒前に撮像された被写体の状態がライブビュー画像として表示されている。

このようなライブビュー画像の表示方法では、この１２秒間のうちいずれかのタイミングで本露光動作の終了を指示しようとする場合に、その指示タイミングまでの花火の軌跡がＬＣＤ４に表示されないから、撮影者は、花火の状態を直接視認することで、例えば花火の状態が最も鮮やかになる等の所望の状態となるタイミングを予測し、その予測タイミングで撮像する被写体像を決定することとなる。

しかし、この場合、撮像装置１の一連の撮像動作が完了するまで、どのような画像が得られたのかが不明であり、また、メモリカードｍに記録された画像が所望の画像と大きく異なる場合がある。

以上の点に鑑みて、本実施形態では、撮像装置１に前述したような長秒モニタリングモードを備え、この長秒モニタリングモードの設定時には、シャッターボタン９の全押し操作が行われるまでの期間、すなわち本露光動作の開始が指示されるまでの期間に加えて、本露光動作の露光時間がライブビュー画像の表示周期（例えば１／３０秒）より著しく大きいとき、この本露光動作の期間（全押し状態が継続している期間に略相当）にもメモリカードｍに記録される画像の状態をライブビュー画像としてＬＣＤ４にリアルタイムで表示するようにしている。

そして、このような構成を実現するため、前述したように、撮像素子１１の複数の画素を第１〜第３フィールドに分け、本露光動作の期間、第１フィールドの画素で生成される画素信号を一定の周期（例えば１／１０秒）で読み出し、この読み出した画素信号を用いて順次ライブビュー画像を生成しＬＣＤ４に表示するとともに、第２、第３フィールドの画素は、画素信号を取り出すことなく露光動作を継続して行う。

また、本実施形態では、メモリカードｍに記録される画像の状態をＬＣＤ４に表示させるため、図６に示すように、長秒モニタリングモードの設定時において、本露光動作の期間、前回の周期で生成されたライブビュー画像（正確には後述の加算画像）と今回の周期で得られる画像とを加算することで、今回の周期で表示するライブビュー画像を生成することにより、各時点で撮像される画像を重畳したライブビュー画像を表示する。

例えば、図６に示すように、シャッターボタン９の全押し操作の開始から１２秒後には、その１２秒間の期間に時間差をもって打ち上げられた３発の花火があたかも同時に開いたかのように画像が重畳されたライブビュー画像が生成され、そのライブビュー画像がＬＣＤ４に表示される。

さらに、撮像装置１は、シャッターボタン９の全押し操作の解除により本露光動作の終了が指示されると、本露光動作中は、画素信号が取り出されることなく露光動作を継続して行った第２，第３フィールドの画素の画素信号により構成される画像と、シャッターボタン９の全押し解除の直前に生成された加算画像とを加算することでメモリカードｍに記録する記録画像を生成する。

以上のような構成を実現すべく、図３に示すように、制御部１８は、機能的に、第１撮像制御部１９、第１記録制御部２０、加算処理部２１、アスペクト補正処理部２２、第２撮像制御部２３、第２記録制御部２４、記録画像生成部２５、画像処理部２６、表示制御部２７、画像圧縮部２８、第１画像記憶部２９及び第２画像記憶部３０を備えている。

第１撮像制御部１９は、長秒モニタリングモードの設定時においては、バルブ撮影モードが設定されてからシャッターボタン９により本露光動作の終了が指示されるまでの期間において、第１フィールドの画素に露光動作を行わせつつ該画素から所定の周期（例えば１／３０秒）で画素信号を取り出す一方、第２、第３フィールドの画素から画素信号を取り出さないで露光動作を行わせるように、タイミングジェネレータ１２から撮像素子１１に出力されるクロック信号を制御するものである。

図７は、長秒モニタリングモードの設定時において、シャッターボタン９の全押し操作の開始から１２秒間にわたって連続的に打ち上げられた３発の花火について、前記開始タイミングから１秒経過した時点、４秒経過した時点、８秒経過した時点及び１２秒経過した時点を一例として、各時点において第１フィールドの画素から得られる画像（ａ）と、後述する加算画像（ｂ）と、アスペクト補正画像（ｃ）と、第２、第３フィールドの画素から得られる画素信号で生成される画像（ｄ）と、メモリカードｍに記録する記録画像（ｅ）とを示したものである。

本実施形態においては、シャッターボタン９の全押し操作の開始後、例えば１秒経過した時点で第２、第３フィールドの画素から画素信号を読み出したものと仮定した場合に得られる画像は図７（ｄ−１）に示すような画像となり、この図７（ｄ−１）における黒線Ｐは、第１フィールドの画素の画素信号がＬＶ表示用として用いられることにより欠落した部分である。

第１記録制御部２０は、長秒モニタリングモードの設定時に、本露光動作の開始から終了までの期間において、第１フィールドの画素からＡ／Ｄ変換部１４等の処理を経て出力される画素信号（図７（ｄ）に示す黒線Ｐの部分に対応する画素信号）を、一時的に第１画像記憶部２９に記録するものである。第１記録制御部２０は、図７（ａ）に示すように、前述した複数の黒線Ｐの部分に対応する画像を上下方向に隣接させてなる画像を生成し、この画像を第１画像記憶部２９に記録する。

加算処理部２１は、長秒モニタリングモードの設定時に、本露光動作の開始後における第２番目の周期以降、第１記録制御部２０により第１画像記憶部２９に画像が記録されるたびに、それらの画像を加算処理した加算画像を生成し、この加算画像を第１画像記憶部２９に記録するものである。

図７に示すように、本露光動作の開始後、例えば１秒経過した時点では、加算処理部２１は、その時点において第１フィールドの画素の画素信号からなる画像（ａ−１）と、その時点より１周期（例えば１／３０秒）前において生成された加算画像とを加算した加算画像（ｂ−１）を生成する。同様に、本露光動作の開始後、例えば４秒経過した時点、８秒経過した時点、１２秒経過した時点においても、加算処理部２１は、各時点で第１フィールドの画素から出力される画素信号からなる画像（ａ−２），（ａ−３）（ａ−４）と、その時点より１周期（例えば１／３０秒）前において生成された加算画像とを加算した加算画像（ｂ−２），（ｂ−３），（ｂ−４）を生成する。

このように、今回の周期で得られた画素信号からなる画像をＰｎ（ｎ＝１，２，…，ｋ−１，ｋ）と表すものとすると、第１フィールドの画素による露光動作及びこの露光動作により得られる画素信号の読み出しをｎ回繰り返したときの加算画像Ｇｎは、Ｇｎ＝Ｐ１＋Ｐ２＋…＋Ｐｎとなる。

アスペクト補正処理部２２は、図７（ｃ）に示すように、加算処理部２１により生成された加算画像をＬＣＤ４に表示する際に、その加算画像をＬＣＤ４のアスペクトに補正し、そのアスペクト補正画像を第２画像記憶部３０に記録するものである。これにより、長秒モニタリングモードの設定時において、本露光動作の期間（シャッターボタン９の全押し操作が行われている期間）、各時点における被写体の画像を重畳させたライブビュー画像（動体の軌跡が全て表示された画像）をＬＣＤ４に表示することができる。

第２撮像制御部２３は、本露光動作の終了が指示されたとき、長秒モニタリングモードの設定時では、第２、第３フィールドの画素から画素信号を出力させるべくタイミングジェネレータ１２から撮像素子１１に出力されるクロック信号を制御し、長秒モニタリングモードの非設定時では、略全ての画素から画素信号を出力させるべくタイミングジェネレータ１２から撮像素子１１に出力されるクロック信号を制御するものである。

第２記録制御部２４は、第２撮像制御部２３による制御によりＡ／Ｄ変換部１４等を介して得られた画素信号を、一時的に第２画像記憶部３０に記録するものである。

記録画像生成部２５は、本露光動作が終了される直前に生成され第１画像記憶部２９に記録された加算画像と、本露光動作の終了指示により第２、第３フィールドの画素から出力され第２画像記憶部３０に記録された画素信号とを用いて、メモリカードｍに記録する記録画像を生成するものである。

例えば、図７において、本露光動作の開始から１２秒経過した時点で本露光動作が終了されたものとすると、この時点で第２，第３フィールドの画素の画素信号により構成される画像は、図７（ｄ−４）のような画像となる一方、その全押し操作が解除される直前に生成され第１画像記憶部２９に記録された加算画像は、図７（ｂ−４）のような画像となる。記録画像生成部２５は、図７（ｄ−４）に示す画像のうち黒線Ｐの部分を、図７（ｂ−４）に示す加算画像で埋めるように補間する。

また、記録画像生成部２５は、長秒モニタリングモードの非設定時には、第２画像記憶部３０に記録された略全ての画素信号を用いて記録画像を生成する。特許請求の範囲における第２画像処理部は、記録画像生成部２５を基礎とするものである。

画像処理部２６は、アスペクト補正処理部２２から出力されるアスペクト補正画像、または記録画像生成部２５から出力される記録画像に対し、黒レベルを基準の黒レベルに補正する黒レベル補正、光源に応じた白の基準に基づいて、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の各色成分のデジタル信号のレベル変換を行うホワイトバランスの調整、Ｒ（赤），Ｇ（緑），Ｂ（青）の各色のデジタル信号のγ特性を補正するγ補正を行うものである。

表示制御部２７は、画像処理部２６から出力される画像をＬＣＤ４に表示させるべく、その画像の画素データをＶＲＡＭ１６に転送するものである。これにより、長秒モニタリングモードの非設定時には、本露光動作が開始されるまでの期間、また、長秒モニタリングモードの設定時には、本露光動作が開始されるまでの期間に加えて本露光動作期間中にも、ＬＣＤ４に被写体の状態（長秒モニタリングモードではメモリカードｍに記録される画像の状態）をライブビュー画像としてリアルタイムで表示することができる。

画像圧縮部２８は、画像処理部２６により上記各種の処理が施された記録画像の画素データに、２次元ＤＣＴ(Discrete Cosine Transform)変換、ハフマン符号化等のＪＰＥＧ（Joint Picture Experts Group）方式による所定の圧縮処理を施して圧縮画像データを生成し、この圧縮画像データに、撮影画像に関する情報（圧縮率等の情報）を付加した画像ファイルをメモリカードｍに記録するものである。

メモリカードｍには、画像データが時系列的に配列して記録され、各コマ毎に、ＪＰＥＧ方式により圧縮された圧縮画像が、撮影画像に関するインデックス情報（コマ番号、露出値、シャッタースピード、圧縮率、撮影日、撮影時のフラッシュのオンオフのデータ、シーン情報等の情報）とともに記録される。

次に、本実施形態の撮像装置１の特徴部分である長秒モニタリングモードの設定時における撮像処理を説明する。なお、本例では、撮影モードのうちバルブ撮影モードが設定されているものとする。図８は、撮像装置１の長秒モニタリングモードの設定時における撮像処理を示すフローチャートであり、図９は、同じく撮像処理を示すタイムチャートである。

図８に示すように、長秒モニタリングモードの設定時においては、シャッターボタン９の全押し操作がなされる（ステップ♯２でＮＯ、図９の時刻Ｔ＝Ｔ１）まで、第１フィールドの画素の画素信号によりライブビュー画像が生成され、表示制御部２６は、このライブビュー画像をＬＣＤ４に表示させる（ステップ♯１）。

そして、シャッターボタン９の全押し操作が開始される（ステップ♯２でＹＥＳ、図９の時刻Ｔ＝Ｔ１）と、第１撮像制御部１９は、第１フィールドの画素に例えば１／１０秒の周期で画素信号を出力させる一方、第２、第３フィールドの画素には画素信号を出力させることなく露光動作を継続させる（ステップ♯３）。

そして、第１記録制御部２０は、第１画像記憶部２９の記憶領域をクリアにした後（ステップ♯４）、１／１０秒の周期で第１フィールドの画素から取得した画素信号を第１画像記憶部２９に記憶させる（ステップ♯５）。この取得した画素信号が、シャッターボタン９の全押し開始以降の第１回目の周期で得られたものである場合（ステップ♯６でＮＯ）には、加算処理部２１によるステップ♯７の加算処理を実行せず、アスペクト補正処理部２２及び第１画像処理部２６は、アスペクト補正処理等の各種処理を施す（ステップ♯８）。

一方、第２回目以降の周期で得られたものである場合（ステップ♯６でＹＥＳ）には、加算処理部２１は、各時点で第１フィールドの画素から出力されて第１画像記憶部２９に記録された画像と、その時点より１周期前において生成された加算画像とを加算する加算処理を行った（ステップ♯７）後、アスペクト補正処理部２２及び第１画像処理部２６は、アスペクト補正処理等の各種処理を施す（ステップ♯８）。

そして、ステップ♯８においてアスペクト補正処理等の処理が終了すると、表示制御部２６は、この処理後の画像をＬＣＤ４に表示させ（ステップ♯９）、シャッターボタン９の全押し操作が解除されるまで（ステップ♯１０でＮＯ）、前述のステップ♯５〜♯９の処理が繰り返し行われる。これにより、ＬＣＤ４にはライブビュー画像、特に前記第２回目以降の周期においては各時点で撮像された画像が重畳されたライブビュー画像が表示される。

ここまでの動作を図９に示すタイムチャートを用いて説明すると、シャッターボタン９の全押し操作が時刻Ｔ＝Ｔ１で開始されると、その全押し開始タイミングより所定時間遅延した時刻Ｔ＝Ｔ２から、第１フィールドの画素により例えば１／１０秒の周期（より短い周期でもよい）で露光動作が開始される。なお、ここでは、撮像装置１がバルブ撮影モードに設定されていることを前提としているため、メカニカルシャッターは、シャッターボタン９の全押し操作が解除されるまで開放状態が継続され、第１フィールド及び第２、第３フィールドの画素はその解除時点まで継続して露光動作を行う。また、図９は、第２、第３フィールドの画素による本露光動作中において、ＬＶ表示用の第１フィールドの画素の画素信号の読み出し動作（垂直転送路への電荷の転送等）が５０回にわたって周期的に行われたことを示す。

さらに、図９は、ライブビュー画像の表示周期は、１／３０秒とされているため、第１フィールドの画素から次の周期で画素信号を取得するまでの間（１／１０秒間）、各周期で得られた画素信号により構成される画像が、それぞれ３回ずつＬＣＤ４に表示されることを示している。例えば、本露光動作の開始以降における第１回目の周期、すなわち「蓄積１」の期間で第１フィールドの画素から得られた画素信号「出力１」は、「画像１」としてＬＣＤ４に３回表示される。

そして、第１フィールドの画素から取り出した画素信号が第２回目以降の周期、例えば第２回目の周期で得られたものである場合には、「蓄積２」の期間で第１フィールドの画素から得られた画素信号「出力２」により構成される「画像２」と、前回の周期で生成された「画像１」とが加算され、この加算画像「画像１＋２」がＬＣＤ４に３回表示される。

図８に戻り、シャッターボタン９の全押し操作が解除される（ステップ♯１０でＹＥＳ）と、第２撮像制御部２３は、シャッターボタン９の全押し開始以降、露光動作を継続していた第２，第３フィールドの画素に画素信号を出力させ、第２記録制御部２０は、この画素信号を第２画像記憶部３０に記憶させる（ステップ♯１１）。

図９においては、時刻Ｔ＝Ｔ３でシャッターボタン９の全押し操作が解除されると、メカニカルシャッターが閉じられその解除タイミングより所定時間遅延した時刻Ｔ＝Ｔ４で、第２、第３フィールドの画素による露光動作が終了され、時刻Ｔ２から時刻Ｔ４までの「蓄積α」の期間、画素信号が読み出されることなく露光動作が継続して行われた第２，第３フィールドの画素により得られる画素信号「出力α」をその画素に出力させ、この画素信号「出力α」が第２画像記憶部３０に記憶される。

そして、図８に示すように、記録画像生成部２５は、この第２画像記憶部３０に記憶された画素信号により構成される画像と、シャッターボタン９の全押し操作が解除される直前に生成された加算画像とを加算する（ステップ♯１２）。

図９においては、シャッターボタン９の全押しが解除される時刻Ｔ＝Ｔ３の直前に生成された加算画像「画像１＋・・・＋４９」と、第２画像記憶部３０に記憶された画素信号「出力α」により構成される画像とが加算される。これは、図７に示すように、第２，第３フィールドの画素の画素信号により構成される画像が、図７（ｄ−４）に示す画像となる一方、シャッターボタン９の全押し操作が解除される直前に生成され第１画像記憶部２９に記録された加算画像が、図７（ｂ−４）に示す画像となった場合には、図７（ｄ−４）に示す画像のうち黒線Ｐの部分が、図７（ｂ−４）に示す加算画像で埋めるように補間されることに相当する。

そして、画像処理部２６及び画像圧縮部２７は、この加算画像「画像α＋（１＋・・・＋４９）」に前述の黒レベル補正等の画像処理及び圧縮処理を施した後（ステップ♯１３）、この圧縮後の画像をメモリカードｍに記録する（ステップ１４）。

このように、撮像素子１１の複数の画素を第１〜第３フィールドに分け、シャッターボタン９の全押し操作が開始されると、第１フィールドの画素から画素信号を取り出し、この画素信号を用いてライブビュー画像を生成するとともに、第２、第３フィールドの画素に画素信号を取り出すことなく本露光動作を継続させるようにしたので、本露光動作中にもメモリカードｍに記録される画像をＬＣＤ４に表示することができる。

また、各周期で第１フィールドの画素から得られる画素信号により構成される画像を、その画素から画素信号が出力されるたびに加算するようにしたので、各時点で撮像された画像を重畳したライブビュー画像をＬＣＤ４に表示することができ、これにより、撮影者は、メモリカードｍに記録される画像をＬＣＤ４で確認することができる。

また、シャッターボタン９の全押し操作が解除されると、第２、第３フィールドの画素から得られる画素信号により構成される画像に、シャッターボタン９の全押し操作が解除される直前に生成された加算画像を補間（加算）し、この加算画像を記録画像としてメモリカードｍに記録するようにしたので、撮像素子１１の画素数に相当する記録画像を得ることができる。したがって、従来の撮像装置に比して、高画質な記録画像を得ることができる。

また、本露光動作の期間において、第１フィールドの画素による露光時間の総和と、第２、第３フィールドの画素による露光時間とが略同一であるから、シャッターボタン９の全押し操作の解除によってその解除直前に生成された加算画像と、第２画像記憶部３０に記憶された画素信号により構成される画像とを加算して記録画像を生成する場合に、両者の画像の画素レベルを略同レベルとなり、部分的に画像の輝度が異なるなどの不具合が発生するのを防止又は抑制することができる。

なお、本発明は、上記実施形態に限らず、次の変形形態（１）〜（１２）も採用可能である。

（１）一般に、撮像素子１１は、光が当っていない状態でも電荷（暗電流）が発生する。この暗電流の発生によって、画素から出力される画素信号が、本来の画素の露光量に対応する画素信号とずれが生じ、所謂オフセット（暗電流による黒レベル（オプティカルブラック）のずれ）が発生する。特に、黒を始めとする輝度の小さい色の部分については、この暗電流によるノイズの比率（Ｓ／Ｎ比）が大きくなることにより、本来の色と大きく異なってしまうことが考えられる。

そこで、撮像素子１１に備えられる複数の画素のうち遮光された一部の画素（オフセット検出用画素）から出力される画素信号を暗電流に起因する画素信号とし、前述のように第１フィールドの画素から画素信号を取得するたびに、オフセット検出用画素から得られるオフセット信号も併せて記録しておく。

そして、シャッターボタン９の全押し操作が解除され記録用の画像を生成する際に、各周期で得られたオフセット信号の総和分を、本露光動作の終了指示が行われる直前に生成された加算画像を構成する画素信号から除去するとともに、第２、第３フィールドの画素から得られる画素信号からもオフセット信号を除去し、その上で両者を加算するようにするとよい。

あるいは、第１フィールドの画素から得られる画素信号について、その画素信号を前回の周期で得られた加算画像の画素信号と加算する前に、当該周期でオフセット検出用画素から得られるオフセット信号を予め除去しておき、シャッターボタン９の全押し操作が解除され記録用の画像を生成する際に、第２、第３フィールドの画素から得られる画素信号からオフセット信号を除去し、この除去処理後の画素信号と、前述のオフセット信号が予め除去された加算画像の画像信号とを加算するようにしてもよい。

（２）第１フィールドの画素からは周期的に画素信号が読み出される一方、第２、第３フィールドの画素からは本露光動作の終了が指示されるまで画素信号が読み出されることなく露光動作が継続して行われるから、シャッターボタン９の全押しが解除される直前に生成された加算画像に含まれる暗電流分の画素値と、第２、第３フィールドの画素により構成される画像の画素信号に含まれる暗電流分の画素値は異なる。

その際、空間周波数の比較的大きい部位については、暗電流によるノイズの比率（Ｓ／Ｎ比）が比較的小さいため、加算画像から空間周波数が所定の閾値以上の画素信号を抽出し、その画素信号で前述の補間を行っても、該補間部分とその周囲（第２、第３フィールドの画素の画素信号により構成される空間周波数の比較的高い部分）との間で黒レベル（オプティカルブラック）の大きな差は生じないが、空間周波数の比較的小さい部位については、暗電流によるノイズの比率（Ｓ／Ｎ比）が大きくなるため、加算画像の画素信号で補間すると、該補間部分がその周囲と黒レベル（オプティカルブラック）が比較的大きく異なる場合がある。

そこで、第２、第３フィールドの画素の画素信号により構成される画像に、シャッターボタン９の全押し操作が解除される直前に生成された加算画像を加算（補間）して記録画像を生成する場合に、その補間する部分について、前述の加算画像からは、空間周波数が所定の閾値以上の画素信号（高周波成分の画素信号）のみを用いるようにする。また、残りの補間対象領域には、該領域に最も近い位置に位置する、第２、第３フィールドの同色画素の画素信号に置換したり、あるいは該領域に最も近い位置に位置する第２、第３フィールドの同色画素が複数存在する場合には、それらの平均をとり、その平均の画素信号を代替の画素信号として補間したりするようにするとよい。

これにより、輝度の低い部分における、補間した部分とそれ以外の部分との黒レベル（オプティカルブラック）の差を解消もしくは抑制し、例えば補間した部分が鮮明な筋となって現れるなどによる画像上の違和感を解消もしくは抑制することができる。なお、この処理は、図８に示すステップ♯１２の処理時に行えばよい。

（３）本実施形態では、バルブ撮影モードにおいて、第２、第３フィールドに位置する画素を比較的長時間露光すべく、特に前述の花火などのように非常に明るい被写体を撮像する場合に、受光部１１１で発生した電荷が転送路１１２，１１３にあふれ出す現象が発生する場合がある。

そこで、記録画像生成部２５により、シャッターボタン９の全押しが解除される直前に生成された加算画像と、第２画像記憶部３０に記憶された画素信号により構成される画像とを加算して記録画像を生成する場合に、電荷が転送路１１１，１１２にあふれ出している画素を検出した場合には、その画素から得られる画素信号を用いず、その画素の近傍に位置する画素、好ましくは最も近い位置に位置する同色画素の画素信号のうち１の画素信号を代替の画素信号としたり、あるいは最も近い位置に位置する複数の同色画素の画素値を平均し、この平均の画素信号を代替の画素信号としたりするとよい。

これにより、記録画像上に垂直方向や水平方向に明るい線が現れる所謂スミヤの発生を防止または抑制することができる。

（４）上記実施形態では、第２、第３フィールドの画素の画素信号により構成される画像に、シャッターボタン９の全押し操作が解除される直前に生成された加算画像を加算（補間）して記録画像を生成するようにしたが、これに限られず、第２、第３フィールドの画素の画素信号により構成される画像に、シャッターボタン９の全押し操作が解除される直前に生成されたアスペクト補正画像を加算（補間）して記録画像を生成するようにしてもよい。この場合、アスペクト補正画像は加算画像に対して縦横の画素数が異なるため、画素数を調整したうえで、前述の加算（補間）を行えばよい。

（５）上記実施形態においては、撮像装置１がバルブ撮影モードの設定時であって長秒モニタリングモードに設定された場合について説明したが、マニュアルモードを始めとする他の撮影モードの設定時であって長秒モニタリングモードに設定された場合においても、前述のように撮像素子１１の複数の画素を第１〜第３フィールドに分け、本露光動作中には、第１フィールドの画素から画素信号を読み出してライブビュー画像を表示するとともに、シャッターボタン９により本露光動作の終了が指示されると、第２、第３フィールドの画素から画素信号を取り出し、前述のように記録画像を生成するようにしてもよい。

（６）上記実施形態では、被写体の画像を表示するものとしてＬＣＤ４を備え、ＬＣＤ４にライブビュー画像等を表示するようにしたが、これに限らず、光学ファインダー５の代わりに電子ビューファインダーが備えられている場合には、電子ビューファインダーにもライブビュー画像を表示するようにしてもよい。

（７）上記実施形態においては、長秒モニタリングモードの設定時や非設定時であって、本露光動作が指示されるまで、第１フィールドの画素により生成される画素信号を用いてライブビュー画像を生成するようにしたが、これに限らず、ライブビュー画像の表示切替処理が撮像素子の撮像周期に同期できる場合には、撮像素子１１における略全ての画素により生成される画素信号を用いてライブビュー画像を生成するようにしてもよい。

（８）上記実施形態では、画像を記録する手段としてメモリカードｍを採用したが、これに限られず、当該撮像装置１が、例えばコンピュータなど記憶容量を有する機器と、通信ケーブル、あるいは通信ネットワークを介して通信可能に構成されている場合には、そのコンピュータ等の機器に画像を記録するようにしてもよい。

（９）上記実施形態では、３フィールドのインターライン型撮像素子を用い、インターレーススキャン動作で画素信号を読み出すように構成したが、これに限られず、２フィールドのインターライン型撮像素子を用い、インターレーススキャン動作で画素信号を読み出すように構成してもよい。あるいは、インターライン型撮像素子を用い間引き読み出し動作で画素信号を読み出すようにしてもよい。

２フィールドのインターライン型撮像素子を用い、インターレーススキャン動作で画素信号を読み出す構成においては、バルブ撮影モードにおいて、本露光動作の終了が指示されるまでの期間、一方のフィールドから画素信号を読み出して該画素信号によりライブビュー画像を生成し、記録指示が行われると、一方のフィールドから得られる加算した画素信号と、他方のフィールドから得られる画素信号とを加算するようにするとよい。

また、間引き読み出し動作で画素信号を読み出す構成においては、垂直方向に並ぶ複数の画素ラインにおいて、所定数の画素ライン（例えば１２列の画素ライン）ごとに一部の画素ライン（例えば任意の２列の画素ライン）をＬＶ表示用として用いるとともに、残りの１０列の画素ラインを記録画像用として用い、ライブビュー画像生成時には、前記２列の画素ラインの画素信号を読み出し、記録画像生成時には、前記１０列の画素ラインの画素信号を読み出すようにするとよい。

（１０）本発明は、図１０に示すように、八角形状の画素が市松格子状に配設された所謂ハニカムＣＣＤにも採用可能である。すなわち、図１０に示すように、隣接するＲＧＢの画素の列を１の画素ライン（例えばＲ１，Ｒ２）とみなし、上記実施形態と同様に、これらの画素ラインを３フィールドに分けて、そのうち１のフィールドの画素ラインからライブビュー画像用の画素信号を取り出すようにしてもよい。あるいは、Ｒ，Ｂの画素の列を１の画素ライン、Ｇの画素の列を１の画素ラインとみなし、これらの画素ラインを３フィールドに分けて、そのうち１のフィールドの画素ラインからライブビュー画像用の画素信号を取り出すようにしてもよい。

（１１）前記実施形態においては、撮像素子１１として、各光電変換素子の受光面に原色フィルター（Ｒ（赤），Ｇ（緑），Ｂ（青）のカラーフィルタ）を配設したＣＣＤを採用したが、これに限られず、補色フィルター（Ｃ（シアン）、Ｍ（マゼンタ）、Ｙ（イエロー））を配設したＣＣＤを採用してもよい。

（１２）前記実施形態では、記録画像を生成する場合に、第２、第３フィールドの画素から得られる画素信号により構成される画像に、シャッターボタン９の全押し操作が解除される直前に生成された加算画像を補間（加算）するようにしたが、この加算画像の画素値が、第２、第３フィールドの画素から得られる画素信号の画素値と比較的大きくずれている場合には、次のように記録画像を生成するようにしてもよい。

図１１（ａ）に示すように、矢印ａに示す画素列（以下、注目画素列ａという）がＬＶ表示用として用いられたものとし、この注目画素列ａから出力される画素信号により生成された画像（加算画像）の画素値が、注目画素列ａと同種の画素列であって最も近傍に位置する画素列ｂ，ｃ（本露光動作に終了が指示されるまで画素信号が読み出されることなく本露光動作を継続して行う画素列）の画素値と比較的大きくずれている場合、前記画素列ｂ，ｃについて、水平方向に一定数の画素ごとに画素値の比較を行う。画素値の比較は、例えば水平方向に位置が対応する画素間で行う。すなわち、図１１（ａ）に示すように、水平方向に並ぶ画素に左から順番に番号１〜１５を付したとき、例えば、区間Ａにおいて、番号「１」が付された画素列ｂの画素と画素列ｃの画素との間で画素値の比較を行う。

これらの処理の結果、図１１（ａ）では、区間Ａにおいては、上記比較により、注目画素列ａの画素信号として画素列ｂで補間することが適切であると判明し、その画素列ｂの画素信号で補間している。また、区間Ｂにおいては、注目画素列ａの画素信号として画素列ｂと画素列ｂとの平均の画素信号で補間することが適切であると判明し、その平均の画素信号で補間し、区間Ｃにおいては、注目画素列ａの画素信号として画素列ｃで補間することが適切であると判明し、その画素列ｃの画素信号で補間している。

なお、画素毎に画素値を比較する代わりに、画素列ｂや画素列ｃの画素の画素信号と注目画素列ａの画素の画素信号とについて、バンドパスフィルターまたはハイパスフィルターを用いて低周波成分をカットし、そのカット後の画素信号に基づいて比較を行ってもよいし、あるいは、そのカット後、さらにフーリエ変換を行い、その変換処理後の画素信号に基づいて比較を行ってもよい。

図１１（ｂ）は、図１１（ａ）に示したように区間毎の比較を行うものではなく、列単位で比較を行う例を示したものであり、画素列ｂ，ｃの画素の画素信号について、バンドパスフィルターまたはハイパスフィルターを用いて低周波成分をカットし、そのカット後、さらにフーリエ変換を行い、その変換処理後の画素信号に基づいて比較を行った結果、注目画素列ａの画素信号として画素列ｂの画素信号で補間することが適切であると判明し、その画素信号で補間している。

以上、説明した撮像装置１は、以下の付記１〜７に示す発明を主に含む。

［付記１］ それぞれ異なる色を受光する複数種類の画素を備え、各画素を一方向に配列してなる画素ラインが前記一方向と交差する方向に複数配置してなる撮像素子と、所定の記録部に記録する記録用画素信号を生成するための露光動作の開始を前記撮像素子に指示するための入力操作部と、前記入力操作部により前記露光開始指示が行われると、前記複数の画素ラインのうち一部の画素ラインに位置する複数の画素のみから所定の時間間隔で画素信号を出力させ、前記露光開始指示後の所定のタイミングで前記複数の画素以外の他の画素から画素信号を出力させる撮像制御部と、前記複数の画素から得られる画素信号を記憶する記憶部と、画像を表示する画像表示部と、前記記憶部に記憶された画素信号に対して前記画像表示部に表示するための処理を施し、この処理後の画素信号に基づき前記画像表示部に画像を表示させる第１画像処理部と、前記他の画素から画素信号を取得し、この画素信号と、前記所定のタイミングまでに前記複数の画素から得られた画素信号とに基づいて画像を生成する第２画像処理部と、前記第２画像処理部により生成された画像を前記所定の記録部に記録させる記録制御部とを備えることを特徴とする撮像装置。

［付記２］ 前記第１画像処理部は、前記入力操作部により前記露光開始指示が行われると、前記所定の時間毎に前記複数の画素から得られる画素信号を順次加算してなる加算画像を生成し、前記画像表示部は、前記加算画像を表示することを特徴とする請求項１に記載の撮像装置。

［付記３］ 前記第２画像処理部は、前記他の画素から取得した画素信号に、前記所定のタイミングとなる直前に生成された加算画像を構成する画素信号を前記複数の画素に対応する代替の画素信号として補間することを特徴とする請求項２に記載の撮像装置。

［付記４］ 前記第２画像処理部は、画素から取得した画素信号に対し、前記撮像素子の各画素に発生する暗電流に起因する画素値のずれを補正することを特徴とする請求項１ないし３のいずれかに記載の撮像装置。

［付記５］ 前記第２画像処理部は、前記加算画像を構成する画素信号のうち空間周波数が所定の閾値以上の画素信号のみを前記補間のために用い、残りの代替の画素信号として、前記他の画素から取得した画素信号から補間することを特徴とする請求項３に記載の撮像装置。

［付記６］ 前記第２画像処理部は、前記補間を行う際にスミアの発生を検出したときには、そのスミアが発生している画素の画素信号を用いず、その画素の近傍に位置する画素の画素信号を用いて得られる画素信号を代替の画素信号として使用することを特徴とする付記３ないし５のいずれかに記載の撮像装置。この発明によれば、前記所定の記録部に記録する画像上に垂直方向や水平方向に明るい線が現れる所謂スミヤの発生を防止または抑制することができる。

［付記７］ 前記撮像素子は、各画素により得られる画素信号が３回のインターレーススキャン動作により読み出される撮像素子である付記１ないし６のいずれかに記載の撮像装置。この発明によれば、簡単な構成で、記録用画素信号の生成のための露光動作の終了が指示されるまでの期間に被写体の画像を画像表示部に表示する構成と、所定の記録部に記録する画像を高画質なものにする構成とを実現することができる。

［付記８］ 前記所定のタイミングまでにおいて、前記複数の画素の露光時間の総和は、前記他の画素の露光時間と略同一であることを特徴とする付記１ないし７のいずれかに記載の撮像装置。この発明によれば、他の画素から取得した画素信号と、記録用画素信号の生成のための露光動作の終了が指示されるまでに前記複数の画素から得られた画素信号とを用いて画像を生成する場合に、両画素信号の信号レベルを略同等とすることができ、部分的に輝度等が異なる画像が生成されるのを防止することができる。

［付記９］ 前記撮像素子の露光を許容及び遮断するシャッター部材を有し、記録用画素信号の生成のための露光動作の終了が指示されると、前記シャッター部材により撮像素子の露光が遮断されることを特徴とする付記１ないし８のいずれかに記載の撮像装置。この発明によれば、撮像素子に記録用画素信号の生成のための露光動作を行わせる時間が経過したときに撮像素子の各画素に蓄積された電荷を読み出す所謂電子シャッターを採用する構成に比して、綺麗な画像を生成することができる。すなわち、前述の電子シャッターを採用する構成においては、その読み出し後にも画素が露光されることで、余分な画素信号も一緒に読み出され、画像にノイズが発生したり、色ずれを起こしたりするなどの問題が発生するが、本発明では、確実に撮像素子の露光を遮断するため、これらの問題が発生するのを防止又は抑制することができる。

［付記１０］ 前記撮像素子は、各画素から画素信号が出力されると、当該画素に前記画素信号が残存しない破壊読み出しの撮像素子であることを特徴とする付記１ないし９のいずれかに記載の撮像装置。

本発明に係る撮像装置の正面図である。 本発明に係る撮像装置の背面図である。 撮像装置のシステムを示すブロック構成図である。 撮像素子の画素から画素信号の読み出す方法を示す図である。 従来のライブビュー画像の一例を示す図である。 本発明に係る撮像装置において表示されるライブビュー画像の一例を示す図である。 シャッターボタンの全押し操作が開始されてから１２秒間にわたって連続的に打ち上げられた３発の花火について、各時点における、記録用の画素の露光動作により得られる画像と、加算画像及びアスペクト補正画像と、ライブビュー画像用の画素から出力される画素信号により得られる画像と、メモリカードに記録する記録画像を示した図である。 本発明に係る撮像装置のバルブ撮影モードにおける撮像処理を示すフローチャートである。 本発明に係る撮像装置のバルブ撮影モードにおける撮像処理を示すタイムチャートである。 撮像素子の変形例を示す図である。 記録画像を生成する際に行う補間処理の変形例を示す図である。

符号の説明

１ 撮像装置
４ ＬＣＤ
９ シャッターボタン
１０ 長秒モニタリングスイッチ
１１ 撮像素子
１２ タイミングジェネレータ
１８ 制御部
１９ 第１撮像制御部
２０ 第１記録制御部
２１ 加算処理部
２２ アスペクト補正処理部
２３ 第２撮像制御部
２４ 第２記録制御部
２５ 記録画像生成部
２６ 画像処理部
２７ 表示制御部
２８ 画像圧縮部
２９ 第１画像記憶部
３０ 第２画像記憶部

Claims (5)

1. それぞれ異なる色を受光する複数種類の画素を備え、各画素を一方向に配列してなる画素ラインが前記一方向と交差する方向に複数配置してなる撮像素子と、
   所定の記録部に記録する記録用画素信号を生成するための露光動作の開始を前記撮像素子に指示するための入力操作部と、
   前記入力操作部により前記露光開始指示が行われると、前記複数の画素ラインのうち一部の画素ラインに位置する複数の画素のみから所定の時間間隔で画素信号を出力させ、前記露光開始指示後の所定のタイミングで前記複数の画素以外の他の画素から画素信号を出力させる撮像制御部と、
   前記複数の画素から得られる画素信号を記憶する記憶部と、
   画像を表示する画像表示部と、
   前記記憶部に記憶された画素信号に対して前記画像表示部に表示するための処理を施し、この処理後の画素信号に基づき前記画像表示部に画像を表示させる第１画像処理部と、
   前記他の画素から画素信号を取得し、この画素信号と、前記所定のタイミングまでに前記複数の画素から得られた画素信号とに基づいて画像を生成する第２画像処理部と、
   前記第２画像処理部により生成された画像を前記所定の記録部に記録させる記録制御部と
   を備えることを特徴とする撮像装置。
2. 前記第１画像処理部は、前記入力操作部により前記露光開始指示が行われると、前記所定の時間毎に前記複数の画素から得られる画素信号を順次加算してなる加算画像を生成し、前記画像表示部は、前記加算画像を表示することを特徴とする請求項１に記載の撮像装置。
3. 前記第２画像処理部は、前記他の画素から取得した画素信号に、前記所定のタイミングとなる直前に生成された加算画像を構成する画素信号を前記複数の画素に対応する代替の画素信号として補間することを特徴とする請求項２に記載の撮像装置。
4. 前記第２画像処理部は、画素から取得した画素信号に対し、前記撮像素子の各画素に発生する暗電流に起因する画素値のずれを補正することを特徴とする請求項１ないし３のいずれかに記載の撮像装置。
5. 前記第２画像処理部は、前記加算画像を構成する画素信号のうち空間周波数が所定の閾値以上の画素信号のみを前記補間のために用い、残りの代替の画素信号として、前記他の画素から取得した画素信号から補間することを特徴とする請求項３に記載の撮像装置。

Images