JP4986588B2 - 撮像装置及びその制御方法 - Google Patents

Description

本発明は、撮像装置及びその制御方法に関し、特に動画像及び静止画像を撮像して記録することが可能な撮像装置及びその制御方法に関する。

近年、コンパクトタイプのデジタルスチルカメラは、静止画のみならず動画記録も可能な機種が一般的になってきている。この種のデジタルカメラでは、動画記録中は自動焦点調節（ＡＦ）動作を行わないものがある一方、連続的にＡＦ動作を行うコンティニュアスＡＦ方式を採用したものも存在する。コンティニュアスＡＦ動作を行うデジタルカメラでは、撮像素子上に結像した被写体像の輝度信号の高周波成分が最大となるフォーカスレンズ位置を合焦位置として焦点調節を行う、所謂山登り方式を採用しているものが多い。

動画記録時にコンティニュアスＡＦ動作を行う場合は、画像の連続性を重視するために、一般的に短時間で合焦位置にフォーカスレンズを移動することを避け、あえて時間をかけて合焦するようにフォーカスレンズを駆動している。そのため、動画記録中に静止画撮影を行おうとすると、

（１）静止画撮影指示時点のフォーカスレンズ位置のまま撮影を行うと、その時点で合焦しているとは限らないため、ピンぼけになることがある。
（２）動画記録中はあえて時間を掛けて合焦させるため、レリーズタイムラグが、通常の静止画撮影時と比較して長くなることがある。
といった問題があった。
これらの問題に対処するために、動画記録中に静止画撮影指示がなされた際には、撮像駆動を切り換えて高速にＡＦ動作を行う方法も考えられる。しかし、静止画撮影用のＡＦ動作中は動画記録時と異なる撮像素子の駆動を行うため、ＡＦ用に読み出した画像を動画として記録することができず、画像をブラックアウトさせたり、動画記録の中断時間を長くするといった措置が必要であった。

動画の表示及び記録と、山登り方式のＡＦ動作を両立させるために、フレーム毎に画素の中央部連続信号読出しと、画素の全領域間引き信号読出しとを交互に切り換えながら読み出す方式が提案されている（例えば、特許文献１参照）。この方式では、一定のフレームレートを確保しながら、並行して画像の一部を切り出したＡＦ動作を行うことが可能である。

特開２００５−０８６２４５号公報

しかしながら、上記従来例では、ＡＦ動作中に得られる画像信号は有効領域全体ではなく、その一部を切り出したものであるため、表示及び記録用の画像として使用することができない。従って、交互に切り換えたフレームの内、画素の全領域間引き信号のみを使用して表示及び記録用の画像を作ることになるため、フレームレートの低下は免れない。また、この方法で動画記録中に静止画用のＡＦ動作を行おうとした場合、１フレームおきでしかＡＦ動作用の信号の読出しができないために高速化が難しいという問題があった。

本発明は上記問題点を鑑みてなされたものであり、動画記録中の静止画撮影において、動画記録の中断時間を最小限に抑えるとともに、静止画撮影用のＡＦ動作をより短時間で完了できるようにすることを目的とする。

また、本発明の撮像装置は、入射光を光電変換して得られた画像データを出力する撮像素子と、前記撮像素子を駆動する駆動制御手段と、前記撮像素子から出力された画像データに基づいて焦点調節処理を行う焦点調節手段と、前記撮像素子から出力された画像データを記録する記録手段と、動画の記録が指示された場合に、前記駆動制御手段により第１の駆動方法で前記撮像素子を駆動して得られた画像データを前記記録手段により記録し、動画記録中に静止画の撮影が指示された場合に、前記第１の駆動方法と画角が等しく、且つ、前記第１の駆動方法よりもフレームレートが高い第２の駆動方法で前記駆動制御手段により前記撮像素子を間引き駆動して得られた画像データを、前記第１の駆動方法で得られた画像データに相当する画素数に変換して前記記録手段により記録すると共に、前記第２の駆動方法で得られた画像データに基づいて前記焦点調節手段により静止画撮影用の焦点調節処理を行い、合焦後に、前記第１の駆動方法よりも高解像度の第３の駆動方法で前記駆動制御手段により前記撮像素子を駆動して得られた画像データを前記記録手段により記録するように制御する制御手段とを有する。

本発明によれば、動画記録中の静止画撮影において、動画記録の中断時間を最小限に抑えるとともに、静止画撮影用のＡＦ動作をより短時間で完了することができる。

以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。

図１は、本実施の形態におけるデジタルスチルムービーカメラシステムの構成を示すブロック図である。

図１において、１００はデジタルスチルムービーカメラ装置（以下、「カメラ装置」と呼ぶ。）である。１０は撮影レンズ、１１は被写体像を確認する光学ファインダーであり、ズーム制御に応じて画角の変更が可能となっている。１２は絞り機能を備える絞り兼用シャッター、１４は光学像を電気信号に変換する撮像素子であり、素子上に原色モザイクフィルタが配置されている。撮像素子１４は、数十〜数百万を超える画素から構成され、高品質の静止画を得ることができると共に、間引き読み出しをすることによって、公知の動画規格で定められた画素数及びフレームレートで画素信号を読み出し、動画を撮影することもできる。

１５は内部に撮像素子１４の出力ノイズ除去のためのＣＤＳ（相関２重サンプリング）回路やＡＧＣ（自動利得制御）回路を含む前置処理回路、１６は前置処理回路１５から出力されるアナログ信号をデジタル信号に変換するＡ／Ｄ変換器である。１８は撮像素子１４及びＡ／Ｄ変換器１６にクロック信号や制御信号を供給するタイミング発生回路（ＴＧ）であり、それらのタイミングは信号処理ＩＣ２２により制御される。

信号処理ＩＣ２２はＣＰＵ５０からの指示により、Ａ／Ｄ変換器１６からのデータ或いはＤＲＡＭ３０からのデータに対して、所定の画素補間処理や色変換処理、拡大・縮小（リサイズ）処理、画像データ形式変換処理等を行う。また、ＤＭＡ（Direct Memory Access）コントローラ、表示用のＤ／Ａ変換器、画像データを圧縮伸長する圧縮・伸長回路を内蔵している。さらに信号処理ＩＣ２２は、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果をＤＲＡＭ３０に保存する。ＣＰＵ５０はこの演算結果に基づいてスルー・ザ・レンズ（ＴＴＬ）方式のオートホワイトバランス（ＡＷＢ）処理、オートフォーカス（ＡＦ）処理、自動露出（ＡＥ）処理、フラッシュプリ発光（ＥＦ）処理を行っている。

２８はＴＦＴ ＬＣＤなどから成る画像表示部であり、ＤＲＡＭ３０に書き込まれた表示用の画像データが信号処理ＩＣ２２内部のＤ／Ａ変換器（不図示）を介して画像表示部２８により表示される。画像表示部２８は画像の他、各種情報・モード設定状況の表示にも使われる。画像表示部２８を用いて撮像した画像データを逐次表示すれば、電子ファインダー（ＥＶＦ）機能を実現することができる。また、画像表示部２８は、ＣＰＵ５０の指示により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合にはカメラ装置１００の電力消費を大幅に低減することができる。

さらに、画像表示部２８は、回転可能なヒンジ部によってカメラ本体と結合されており、自由な向き、角度を設定して電子ファインダー機能や再生表示機能、各種表示機能を使用することが可能である。また、画像表示部２８の表示部分をカメラ本体側に向けることで表示部分を保護しつつ格納することが可能であり、この場合は検知スイッチ（ＳＷ）９８により、格納状態を検知して画像表示部２８の表示動作を停止することができる。

ＤＲＡＭ３０は撮影した非圧縮データの一時格納、ＡＦ／ＡＥ／ＡＷＢ／ＥＦ処理の演算結果の保持、画像表示部２８への表示用画像の保持、圧縮画像データの保持等に使用されるメモリである。ＤＲＡＭ３０は所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えていると共に、ＣＰＵ５０を実行させるプログラムのワークエリア等も有する。

４４は撮影レンズ１０および光学ファインダー１１のズーミングを制御するズーム制御回路である。

４６はコネクタであり、アクセサリーシューとも呼ばれ、外部フラッシュ装置４００との電気接点や機械的な固定手段を合わせて備えている。４８は内蔵フラッシュであり、ＴＴＬ調光機能を有している。

５０はカメラ装置１００全体を制御するＣＰＵである。ＣＰＵ５０は、信号処理ＩＣ２２によってＤＲＡＭ３０に格納されたＡＦ／ＡＥ／ＡＷＢ／ＥＦの演算結果に基づき、ＡＦ／ＡＥ／ＡＷＢ／ＥＦ制御を行う。他に、信号処理ＩＣ２２に対するデータフロー制御、各種キースキャン動作、ズーム制御、周辺モジュールとの通信等を行う。５２は電気的に消去・記録可能なフラッシュメモリであり、ＣＰＵ５０を動作させるために必要なプログラムやカメラ固有の調整データ等があらかじめ書き込まれている。

５４はＣＰＵ５０でのプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等を外部に通知する為の通知部である。通知部５４としては、例えば液晶表示装置やＬＥＤなどによる視覚的な表示を行う表示部や音声による通知を行うスピーカー等の発音素子などが用いられるが、これらのうち１つ以上の組み合わせにより構成される。特に表示部の場合には、カメラ装置１００の操作部７０近辺の、視認し易い単数或いは複数個所に設置されている。

通知部５４に表示される表示内容としては、シングルショット／連写撮影表示、セルフタイマー表示等、撮影モードに関する表示がある。また、圧縮率表示、記録画素数表示、記録枚数表示、残撮影可能枚数表示等の記録に関する表示がある。また、シャッタースピード表示、絞り値表示、露出補正表示、フラッシュ表示、赤目緩和表示等の撮影条件に関する表示がある。その他に、マクロ撮影表示、ブザー設定表示、時計用電池残量表示、電池残量表示、エラー表示、複数桁の数字による情報表示、記録媒体２００の着脱状態表示、通信Ｉ／Ｆ動作表示、日付け・時刻表示等も行われる。

６０、６２、６４、６８、７０、７２、７４、７６は、ＣＰＵ５０の各種の動作指示を入力するための操作手段であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。

ここで、これらの操作手段の具体的な説明を行う。

６０は電源スイッチ（ＳＷ）を兼ねたモードレバーで、電源オフ（ＯＦＦ）、撮影モード、再生モードの３状態を切り替えることができる。６２は撮影時、目的・シーンに合わせてユーザが設定する各種撮影モードが割り当てられたモードダイアルである。モードダイアルにより切り替えられる撮影モードとしては、例えば、全自動撮影モード（ＡＵＴＯ）、プログラム撮影モード、シャッター速度優先撮影モード、絞り優先撮影モード、マニュアル撮影モードがある。他にも、ポートレートモード、風景モード、夜景モード、色効果モード、スティッチアシストモード等がある。

６４はシャッタースイッチ（ＳＷ）で、２段階のスイッチＳＷ１、ＳＷ２から構成されている。不図示のシャッターボタンの半押しでＳＷ１がＯＮとなり、ＡＦ処理、ＡＥ処理、ＡＷＢ処理、ＥＦ処理等の動作開始を指示する。さらにシャッターボタンの全押しによりＳＷ２がＯＮとなり、撮像素子１４から読み出した信号をＡ／Ｄ変換器１６、信号処理ＩＣ２２を介して、画像データとしてＤＲＡＭ３０に書き込む。次に信号処理ＩＣ２２はＣＰＵ５０からの指示に従ってＤＲＡＭ３０から画像データを読み出して、色補正、画素補間、色変換等の画像処理を行った後、圧縮処理を行い、記録媒体２００に処理後の画像データを書き込む。

６８はムービーＳＷであり、動画記録の開始・終了を指示するスイッチである。

７２、７４、７６はそれぞれ、メニューキー、セットキー、十字キーであり、これらのキーの組み合わせにより、撮影時もしくは再生時の各種設定の変更もしくはファンクションの実行を画像表示部２８を見ながら行うことができる。このうち十字キー７６は上下左右の４つの方向キーから構成される複合キーである。

メニューキー７２を１回押すことで、画像表示部２８にメニュー画面を表示するようになっており、表示されるメニュー画面は、モードレバー６０及びモードダイアル６２が指す現在のモードによって異なる。そして、表示されているメニュー項目を十字キー７６を使って選択し、セットキー７４を押すことで決定する仕組みになっている。

例えば、撮影モードがプログラム撮影モードとなっている際のメニュー項目としては、記録画素サイズ、圧縮率、記録形式、感度、ＡＦモード、撮影の確認の有無、画質チューニングパラメータ等がある。また再生時のメニュー項目としては、画像の消去（１枚もしくは全部）、画像の保護（プロテクト）、画像の回転設定等が挙げられる。

また、十字キー７６はメニュー設定時以外にも使用される。例えばモードダイアル６２でシャッター速度優先モードに設定されている場合には、十字キー７６の左右方向キーを使って、シャッター速度の変更を行えるようになっている。また再生モードにおいては十字キー７６の左右方向キーを使って、画像送り・戻しを行うことができる。

７０は上記以外の操作部をまとめたもので、例えば、ズームレバー、測光モード切替ボタン、マクロボタン、ＡＥロックボタン、画像表示部２８のＯＮ／ＯＦＦを設定する画像表示ＯＮ／ＯＦＦスイッチ等がある。メニューに含まれている項目に対して、比較的使用頻度の高いものが、操作部７０に割り当てられている。

８０は電源制御部で、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されている。電源制御部８０は電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果及びＣＰＵ５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２００を含む各部へ供給する。更に、必要に応じて通知部５４、画像表示部２８に電池残量表示を行わせる。

８２、８４はコネクタ、８６はアルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ−ｉｏｎ電池、Ｌｉポリマー電池等の二次電池、ＡＣアダプター等からなる電源部である。

９２はメモリカードやハードディスク等の記録媒体と接続を行うコネクタである。

なお、本実施の形態では記録媒体を取り付けるコネクタを１系統持つものとして説明しているが、記録媒体を取り付けるコネクタは、単数或いは複数、いずれの系統数を備える構成としても構わない。また、異なる規格のコネクタを組み合わせて備える構成としても構わない。コネクタとしては、ＰＣＭＣＩＡカードやＣＦ（コンパクトフラッシュ（登録商標））カード等、種々な記憶媒体の規格に準拠したものを用いて構成することが可能である。

９４は録音の際に音声を入力するためのマイクである。９８は検知スイッチ（ＳＷ）であり、コネクタ９２に記録媒体２００が装着されているか否かを検知する検知機能や、画像表示部２８の表示部分をカメラ装置１００に向けて格納した格納状態にあるかどうかを検知することができる画像表示部開閉検知機能を含む。更に、電池蓋が開けられたことを検出する電池蓋開閉検出機能や、外部フラッシュ４１４の装着状態検出機能等も含む。

２００はメモリカードやハードディスク等の記録媒体である。この記録媒体２００は、半導体メモリや磁気ディスク等から構成される記録部２０２、カメラ装置１００とのインタフェース２０４、カメラ装置１００と接続を行うコネクタ２０６を備えている。

４００は外部フラッシュ装置である。本実施の形態では内蔵フラッシュ４８の他に外部フラッシュ装置４００を後から装着できる構成となっており、内蔵フラッシュと同様に、ＴＴＬ調光撮影が可能となっている。４１２はカメラ装置１００のアクセサリーシュー４６と接続するためのコネクタである。４１４は外部フラッシュであり、ＡＦ補助光の投光機能、フラッシュ調光機能も有する。

次に、上記構成を有するカメラ装置１００における撮像処理について説明する。

図２は、本実施の形態におけるカメラ装置１００の撮像処理の動作を示すフローチャートである。撮像処理は、モードレバー６０が撮影モードに設定されている間、実行される。

先ず、モードレバー６０が撮影モードに設定されると、ステップＳ１０１においてＣＰＵ５０のフラグや制御変数等、信号処理ＩＣ２２の初期化を行う。この初期化により、ＣＰＵ５０からズーム制御回路４４に対して撮影レンズ１０を初期位置に移動するように指示が行われる。初期化後、スタンバイ状態に移行する（ステップＳ１０２）。ここで、スタンバイ状態におけるカメラ装置１００の動作について説明する。

撮影レンズ１０を通過した光は、シャッター１２を通過して、撮像素子１４に結像する。この時、シャッター１２は絞りによりある程度露出を制御する。撮像素子１４に結像された被写体像は光量に応じて光電変換され、電荷が蓄積される。所定時間経過後に蓄積された電荷を読み出すが、この時には全画素の電荷読み出しは行わず、水平方向や垂直方向に間引いて（及び／または加算して重畳し）、予め設定されたフレームレートで読み出す。

図４（ａ）は、この時の加算・間引きの一例を示した模式図であり、説明を分かり易くするために、水平４画素、垂直１６画素分のみを記載している。

４０１は色フィルタをのせた画素で、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の各色の色フィルタがベイヤー配列で各画素に割り当てられている場合を示している。４０２は垂直転送レジスタ、４０３は水平転送レジスタ、４０４は出力回路、４０５は出力端子である。各画素４０１で光電変換された信号電荷は読み出しパルスにより垂直転送レジスタ４０２に送られ、垂直転送パルスによって行単位で図中下方向へ順次転送される。垂直転送レジスタ４０２から水平転送レジスタ４０３に転送されてきた水平１ライン分の信号電荷は、水平転送パルスにより出力回路４０４に転送される。ここで電圧に変換され、出力端子４０５よりセンサ出力（アナログ画像信号）として外部に導出される。

スタンバイモードにおいて、図中の網掛けで表示された画素の電荷は出力回路４０４に出力されず、間引かれる画素であり、実際には水平転送レジスタ４０３に接続される不図示の電荷排出部を通して掃き捨てられる。図４（ａ）で、垂直転送レジスタ４０２、水平転送レジスタ４０３内で接続された線は加算される画素の一例を表しており、１０行目及び１４行目のＲ画素（１，３列）、Ｇ画素（２，４列）がそれぞれ同色加算され出力される。同様に９行目及び１３行目のＧ画素（１，３列）、Ｂ画素（２，４列）、２行目及び６行目のＲ画素（１，３列）とＧ画素（２，４列）、１行目及び５行目のＧ画素（１，３列）、Ｂ画素（２，４列）がそれぞれ同色加算されて出力される。結果的に、スタンバイ状態では水平で２画素加算、垂直で２画素加算、１／２間引きされた画素信号が出力される。そのため、全画素読み出しに対して８倍のフレームレートで読み出すことができる。

上述したようにして読み出され、前置処理回路１５により処理されたアナログ画像信号はＡ／Ｄ変換器１６に送られ、デジタル画像データに変換されて、システムのバスを介して信号処理ＩＣ２２に転送される。

なお、スタンバイ状態では画像データの記録は行わないため、取得した画像データは画像表示部２８に順次表示する電子ビューファインダー用の画像として利用される。従って、信号処理ＩＣ２２内では、動画撮影に適した水平垂直のフィルタ処理、アパーチャー補正処理、ガンマ処理等で行ってから、リサイズ処理を行う。リサイズ処理では、所定の画素サイズ、例えばＶＧＡ（水平６４０画素、垂直４８０ライン）サイズにリサイズして、ＤＲＡＭ３０に転送する。ＤＲＡＭ３０上の画像データは、画像表示部２８に転送され、スルー画像として表示される。

また、スルー画像として表示する一方、信号処理ＩＣ２２はＡ／Ｄ変換器１６から送られたデジタル画像データに基づいて、被写体の位置・状況に応じて継続してＡＦ、ＡＥ、ＡＷＢを行って評価値の演算を行う。ＣＰＵ５０はこの結果を基にして、撮影レンズ１０やシャッター１２の絞り、撮像素子１４を駆動制御する。なお、スタンバイ状態では、画像表示部２８に表示されるスルー画像の合焦状態や明るさが急激に変化することがないように、公知の方法で動画撮影で行われるように徐々に合焦させたり、明るさを変えたりする。

次に、ステップＳ１０３において、シャッタースイッチ６４及びムービースイッチ６８の状態を調べる。どちらも押されていなければステップＳ１０２に戻って上述したスタンバイ状態における処理を繰り返す。

シャッタースイッチ６４が操作されてＳＷ１がＯＮ状態になっていれば、ステップＳ１２１に進んで、静止画用のＡＦ、ＡＥ、ＡＷＢを実行し、撮影レンズ１０を合焦位置に移動させる。ここで行われる静止画用のＡＦ、ＡＥ、ＡＷＢは、静止画撮影に適した公知の方法を用いればよいため、詳細説明は省略する。なお、上述したスタンバイ状態におけるＡＦ動作とは異なり、できる限り迅速に合焦状態を得ることができるように制御する。

次にシャッタースイッチ６４の状態を調べ（ステップＳ１２２）、変化がなければ（ＳＷ１のみＯＮの状態）ステップＳ１２１へ戻り、ＳＷ１がＯＦＦされていればステップＳ１０２に戻って、上述したスタンバイ状態に戻る。ＳＷ２がＯＮされていれば、ステップＳ１２３で静止画撮影を行う。なお、ここで行われる静止画撮影については、図３を参照して詳細に後述する。静止画撮影を終えると、ステップＳ１０２に戻って上述したスタンバイ状態に戻る。

一方、ステップＳ１０３においてムービースイッチ６８が押されたならば、ステップＳ１０４に進み、第１の間引き駆動を開始する。なお、第１の間引き駆動は、ここでは、上述したスタンバイ状態において上述した図４（ａ）を参照して説明した駆動と同じとする。上述したように、図４（ａ）に示すように駆動することで、全画素読み出しに対して８倍のフレームレートで読み出すことができる。ＣＰＵ５０は信号処理ＩＣ２２を介してタイミング発生回路１８、撮像素子１４、前置処理回路１５に対して、第１の間引き駆動に切り換えるよう指示を出す。

次に、ステップＳ１０５において、動画記録を行う。ここで、動画記録処理の詳細について説明する。

撮影レンズ１０を通過した光は、シャッター１２を通過して、撮像素子１４に結像する。この時、シャッター１２は絞りによりある程度露出を制御する。撮像素子１４に結像された被写体像は光量に応じて光電変換され、電荷が蓄積される。そして、蓄積された電荷を第１の間引き駆動により読み出す。

読み出されたアナログ画像信号はＡ／Ｄ変換器１６に送られ、デジタル画像データに変換されて、システムのバスを介して信号処理ＩＣ２２に転送される。

信号処理ＩＣ２２内では、動画撮影に適した水平垂直のフィルタ処理、アパーチャー補正処理、ガンマ処理等を行ってから、リサイズ処理を行う。リサイズ処理では、所定の画素サイズ、例えばＶＧＡ（水平６４０画素、垂直４８０ライン）サイズにリサイズして、ＤＲＡＭ３０に転送する。

信号処理ＩＣ２２はＤＲＡＭ３０上の画像データを圧縮・伸長回路により、例えばＪＰＥＧデータに変換する。それと同時に、マイク９４で音声を取り込み、取り込んだ音声をＣＰＵ５０にて、例えばＷＡＶＥ形式の音声データに変換する。そしてこれらの画像ＪＰＥＧデータと音声ＷＡＶＥデータに、ＣＰＵ５０がヘッダーなどを付加して例えばＡＶＩデータ形式で動画ファイルを生成し、コネクタ９２を介して記録媒体２００に生成した動画ファイルを記録する。

このＡＶＩファイルのデータ構造では、ファイル先頭のヘッダーで画像データと音声データの配置を管理する。例えば、ヘッダーに続けて１秒間分の音声データ（４４．１ＫＨｚサンプリング、１６ｂｉｔステレオの場合、約１７２ｋＢｙｔｅ）を置き、さらに続けて１秒間分の画像ＪＰＥＧデータ（３０ｆｐｓの場合、３０フレーム）を置く。そして、音声データと画像データを交互に１秒間置きに配置する。

従って、動画ファイルの作成時には、静止した画像ＪＰＥＧデータをバッファーするための画像バッファー領域と音声データをバッファーするための音声バッファー領域をＤＲＡＭ３０で確保する。そして、確保した領域に生成したそれぞれの映像データと音声データを溜め、１秒単位で、画像データと音声データをＡＶＩ形式のデータにまとめてＤＲＡＭ３０上のＡＶＩバッファー領域に書きこむ。ＡＶＩバッファー領域に溜めこんだデータを、順次記録媒体２００へファイルとして書き込んでいく。

なお、上記例では画像データの圧縮方式をＪＰＥＧ方式とし、音声データをＷＡＶＥ形式に変換する場合について説明したが、本発明はこれに限るものではなく、公知の圧縮方式及び形式を用いても良いことは言うまでもない。更に、動画ファイルは、ＡＶＩファイル形式の他に、公知のファイル形式を用いることも勿論可能である。

上述したようにしてＡＶＩ形式のデータにまとめで動画記録を行う一方、画像表示部２８へのスルー表示も行う。信号処理ＩＣ２２内で所定の画素サイズ、例えばＶＧＡ（水平６４０画素、垂直４８０ライン）サイズにリサイズされた画像データを、ＤＲＡＭ３０に転送し、このＤＲＡＭ３０上の画像データを、画像表示部２８に転送して、スルー画像として表示する。これにより、ユーザーは記録中の動画を確認することができる。

次に、ステップＳ１０６において、動画記録用に継続してＡＦ、ＡＥ、ＡＷＢを行うが、記録する動画の合焦状態や明るさが急激に変化することがないように、公知の方法で行われるように徐々に合焦させたり、明るさを変えたりする。

次に、シャッタースイッチ６４及びムービースイッチ６８の状態を調べ（ステップＳ１０７）、どちらも押されていなければ、ステップＳ１０５に戻って、動画記録及びＡＦ、ＡＥ、ＡＷＢを繰り返す。ムービースイッチ６８が押されたら、動画記録を終了して、ステップＳ１０２へ戻り、上述したスタンバイ状態に移行する。

一方、ステップＳ１０７においてシャッタースイッチ６４が押されてＳＷ１がＯＮである場合、ステップＳ１０８に進んで、撮像素子１４の電荷読み出し駆動を第２の間引き駆動に切り替える。

図４（ｂ）は、第２の間引き駆動の一例を示した模式図であり、説明を分かり易くするために、水平４画素、垂直１６画素分のみを記載している。なお、図４（ａ）と同じ構成には同じ参照番号を付し、説明を省略する。

図４（ｂ）において、垂直転送レジスタ４０２、水平転送レジスタ４０３内で接続された線は加算される画素の一例を表しており、１２行目及び１６行目のＲ画素（１，３列）、Ｇ画素（２，４列）がそれぞれ同色加算され出力される。同様に３行目及び７行目のＧ画素（１，３列）、Ｂ画素（２，４列）がそれぞれ同色加算されて出力される。図４（ａ）よりも網掛けの部分が多いことからわかるように、図４（ａ）に示す第１の間引き駆動との違いは垂直方向の間引き量であり、この第２の間引き駆動においては垂直１／４間引きとなっている。間引き量が倍になった分、フレームレートも、図４（ａ）に示す第１の間引き駆動に比べて２倍の速度（全画素読み出しに対して１６倍の速度）で読み出すことができる。

次に、ステップＳ１０９において、第２の間引き駆動により得られた画像データを用いて、動画記録及びスルー画像表示を行う。ステップＳ１０９における動画記録処理では、第１の間引き駆動に比べて読み出す画素数が少ないため、信号処理ＩＣ２２は動画記録に適した画素数となるように補間、間引き等のリサイズ処理を行い、ＤＲＡＭ３０にリサイズした画像データを書き込む。これ以降の処理は、ステップＳ１０５で説明した動画記録処理及びスルー画像表示処理と同様であるため、説明を省略する。また、第１の間引き駆動に比べて２倍のフレームレートで読み出しを行うので、ここでは１フレームおきに処理した画像データを記録する。

また、ステップＳ１０９では、動画記録処理と共に、第２の間引き駆動により得られた画像データを用いて、静止画撮影用のＡＦ、ＡＥ、ＡＷＢ処理を行う。上述したように、第２の間引き駆動では高速フレームレートで動作することができるため、より高速にＡＦ制御し、静止画撮影の準備を終了することが可能になる。この時に行うＡＦ制御では、動画記録中のＡＦ制御方法を継続して徐々に合焦するようにしても、静止画撮影用にできるだけ早く合焦するように制御しても、何れでも構わない。前者の場合であっても、第１の間引き駆動時の２倍のフレームレートで読み出しを行っているため、２倍の速さで合焦を完了することが可能になる。

これにより、動画撮影中にシャッタースイッチ６４が押下されてから静止画撮影を行うまでのシャッタータイムラグを短くすることができると共に、静止画撮影用のＡＦ、ＡＥ、ＡＷＢ処理中であっても、動画記録を継続することが可能になる。

次にシャッタースイッチ６４の状態を調べ（ステップＳ１１０）、変化がなければ（ＳＷ１のみＯＮ）、ステップ１０９へ戻って第２の間引き駆動による動画記録及びＡＦ、ＡＥ、ＡＷＢ処理を継続する。ＳＷ１がＯＦＦされていればステップＳ１０４に戻って第１の間引き駆動に切り替え、上述した動画記録を繰り返す。一方、ＳＷ２がＯＮとなった場合には、動画記録を中断し、静止画撮影を行う（ステップＳ１１１）。なお、ここで行われる静止画撮影処理については、図３を参照して詳細に後述する。静止画撮影を終えると、ステップＳ１０４に戻って第１の間引き駆動に切り替え、上述した動画記録を繰り返す。

なお上記のフローでは、動画記録中にＳＷ１がＯＮとなった後、ＳＷ２が押下されるか、ＳＷ１がＯＦＦとなるまでの間は、第２の間引き駆動が継続するように制御していた。しかしながら、ＡＦ処理が終了した後に、第１の間引き駆動に変更するようにしても構わない。そうすることによって、ＳＷ１がＯＮ時の動画解像度が低下する期間を短くすることができる。

次に、ステップＳ１１１及びＳ１２３で行われる静止画撮影処理について、図３のフローチャートを参照して説明する。

まず、図２のステップＳ１０９またはＳ１２１で取得した測光結果に基づいて、撮影時のシャッター速度、撮像出力ゲイン、フラッシュ発光等の設定を決定する（ステップＳ３０１）。更に、画像表示部２８へのスルー表示を停止する（ステップＳ３０２）。次にＲＡＷデータをＤＲＡＭ３０に一時保存するためのＤＲＡＭ書込み設定を行う（ステップＳ３０３）。このときのＤＲＡＭ３０への書き込み設定はメモリ上で連続的に書き込むのではなく複数フィールド読み出し方式に従い、数ラインおきに書き込まれるように信号処理ＩＣ２２内のＤＭＡコントローラに対して設定を行う。なお、プログレッシブスキャンにより読み出すことも勿論可能であり、その場合にはＤＭＡコントローラに対してＤＲＡＭ３０に順に書き込みを行うように設定する。

次に、タイミング発生回路１８に対して電子シャッター停止指令を出して露光を開始させるとともに、シャッター１２を閉じるタイミングを、決定したシャッター速度に従ってＣＰＵ内蔵タイマにセットする（ステップＳ３０４）。このＣＰＵ内蔵タイマは指定された時間が経過したところでシャッター１２を全閉するパルスを出力するように設計されている。次にシャッター１２が閉じるのを待つ（ステップＳ３０５）。シャッター１２が閉じたら、ステップＳ３０３で設定したＤＲＡＭ領域の各フィールドに対する書き込み開始命令を発行する。それとともに撮像素子１４から順次各フィールドの撮像データを読み出すようタイミング発生回路１８に対して指示を出す（ステップＳ３０６）。読み出した信号はＡ／Ｄ変換器１６でデジタル信号（ＲＡＷデータ）に変換され、バスを介してＤＲＡＭ３０へ転送される。

読み出し及び書き込みが完了すると、次の撮影が迅速に行えるようにシャッター１２の開処理、電子シャッター動作の再開等を行う撮影後処理を行う（ステップＳ３０７）。

その後、画像データを順に読み出してＷＢ演算を行い、各色の出力に乗じるべきＷＢ係数を算出し（ステップＳ３０８）、完了したら前処理で得られたＷＢ係数を基に色補正を行う（ステップＳ３０９）。

次に、最終的に記録する画像データに変換する現像圧縮処理を行う。この現像処理では、まず、ＤＲＡＭ３０からＲＡＷデータを読み出して信号処理ＩＣ２２に転送する。信号処理ＩＣ２２では、静止画撮影に適した水平垂直のフィルタ処理やアパチャー補正処理やガンマ処理などを行い、圧縮・伸長回路へ転送する。圧縮・伸長回路は、ＹＵＶデータをＪＰＥＧデータに変換してＤＲＡＭ３０へ書き戻す（ステップＳ３１０）。以上のＤＲＡＭ３０からのＲＡＷデータ読み出しからＪＰＥＧデータをＤＲＡＭ３０へ書き戻すまでが現像処理になる。この時、この現像処理の途中の信号処理ＩＣ２２では、ＹＵＶデータをリサイズ処理し、レビュー画像表示のためにＶＧＡサイズ程度にリサイズして、ＤＲＡＭ３０へ書き戻す。

上述した現像処理が終了すると、撮影画像確認のためのレビュー画像表示のために、ＤＲＡＭ３０に記憶されたＶＧＡサイズの画像データ（ＹＵＶデータ）を表示用画像に変換し、ＤＲＡＭ３０に格納する。この表示用画像データを信号処理ＩＣ２２が所定のレートで読み出し、内部でＤ／Ａ変換後、画像表示部２８に出力することにより、確認画像表示を行う（ステップＳ３１１）。そして、ステップＳ３１０でＤＲＡＭ３０に保存された圧縮画像データを記録媒体２００へ書き込み（ステップＳ３１２）、静止画撮影処理を終了する。

次に、図４に示した駆動が可能な、５００万画素の撮像素子を持つデジタルカメラを例にとって、ＶＧＡ３０ｆｐｓで動画記録中に、静止画撮影を行う場合のシーケンスについて、図５を参照して説明する。この撮像素子では最大２５９２ｘ１９４４の画素サイズの静止画を撮影することが可能である。なお、動画記録時に同時に記録される音声の記録シーケンスについての説明は省略する。

Ｔ１期間においては、動画記録を行いながらスルー画表示を継続する。この状態ではシャッター１２は開いている。このＴ１期間では、撮像素子１４は前述した図４（ａ）に示す第１の間引き駆動により駆動されるため、水平２画素加算、垂直１／２間引きで２画素加算であることから、センサ読み出し有効画素数は１２９６ｘ４８６となる。読み出した画素信号に対して信号処理ＩＣ２２内でリアルタイムに現像処理及びＶＧＡサイズ（６４０ｘ４８０）へのリサイズを行い、ＤＲＡＭ３０に保存する。

ＤＲＡＭ３０に一時保存された画像データは画像表示部２８へ転送され、スルー表示されると共に、信号処理ＩＣ２２へ送られてＪＰＥＧデータに変換され、記録媒体２００に記録される。この期間では読み出し、表示、記録のフレームレートはいずれも３０ｆｐｓとなり、一致している。

次に、この状態でＳＷ１が押下されると、静止画撮影のためのＡＦ動作を行うために、図４（ｂ）に示す第２の間引き駆動に切り換えて、撮像素子１４からの画素信号の読み出しを行う。このＳＷ１が押下されている期間がＴ２となる。このＴ２期間では、撮像素子１４は前述した図４（ｂ）に示す第２の間引き駆動により駆動されるため、水平２画素加算、垂直１／４間引きで２画素加算であることから、センサ読み出し有効画素数は１２９６ｘ２４３となる。そして、読み出した画素信号に対して現像処理及びＶＧＡサイズへのリサイズ（ここでは、水平方向の信号の間引き、垂直方向の信号の補間処理を行う。これにより、動画記録及びスルー表示を中断することなく継続することが可能である。なお、撮像素子１４からの読み出しは部分読み出しでなく全領域に対して行われるので、ＳＷ１押下前とＳＷ１押下後で画角変化がないため、ＳＷ１押下後も表示、動画記録に不自然さがなく、フレーミングが容易であるというメリットがある。

だたし、Ｔ１期間では撮像クロックレートが３０ｆｐｓだったのに対し、Ｔ２期間では垂直の間引き量が２倍になっているので６０ｆｐｓで動作している。一方、動画記録のフォーマットはここでは３０ｆｐｓに指定されているため、画像を時系列方向に間引く必要がある。ここでは、図５において、Ｔ２期間の垂直周期の網掛け部の画像は記録せず、それ以外の部分を記録することで、意図的にコマ落としを行い、３０ｆｐｓで記録・表示を行う。

なお、本実施の形態においては記録と表示のフレームレートは同一となっているが、必ずしも同一である必要がなく、例えば記録は３０ｆｐｓで、表示は６０ｆｐｓのままとしても良い。この場合は、ＳＷ１押下中のスルー表示が滑らかになり、表示の遅延が少ないというメリットがある。

この状態でさらにＳＷ２が押下されると、静止画撮影と判定され、動画記録が一時的に中断されるとともに、前述の静止画撮影動作が行われる。露光中、静止画読み出し中は、画像表示部２８には黒画像などの単一色の画像が表示される。静止画の現像処理後は静止画用のサイズである２５９２ｘ１９４４画素の画像と、動画ファイルに記録されるＶＧＡ（６４０ｘ４８０画素）サイズの画像とが生成される。この生成されたＶＧＡサイズ画像を使用して、レビュー画像が画像表示部２８に転送され、表示される。

静止画撮影が完了したら、第１の間引き駆動に戻し、中断していた動画記録を再開する（Ｔ４）。

なお、図５に示す例では、動画撮影時の画角が撮像素子１４の全領域に相当する場合について説明したが、電子ズームにより画角が狭くなっている場合には、静止画撮影時にもその画角に相当する領域に含まれる全画素を読み出すようにすればよい。

更に、カメラ装置１００が静止画撮影時の解像度を変更可能である場合には、全画素読み出し駆動に限らず、指定された解像度に応じて間引きや加算を行うように駆動すればよい。

以上説明したように、本実施の形態によれば、動画記録中に静止画用のＡＦ動作を行う際にも、ＡＦ動作に適した撮像素子の駆動方法を選択することができるので、ＡＦ精度の向上及びタイムラグの短縮が可能になる。また、動画記録中に静止画撮影が指示された場合に行われるＡＦ動作期間中も、動画記録及び表示を継続することができるので、動画記録の中断期間を最低限に抑えることができる。

なお、上記実施の形態では、第１及び第２の間引き駆動において、それぞれ図４（ａ）及び図４（ｂ）に示すように駆動するものとして説明したが、本発明はこれに限るものではない。撮像素子の画素数や読み出し速度、及び適用する動画規格に応じて、適宜変更することが可能であり、その場合に、第２の間引き駆動時に第１の間引き駆動時よりも高いフレームレートで読み出しを行えるようにすればよい。また、第２の間引き駆動におけるフレームレートは第１の間引き駆動の２倍のフレームレートに限るものではなく、撮像素子の駆動速度に応じて３倍以上のフレームレートとしても良い。その場合には、カメラ装置が適用する動画規格のフレームレートとなるようにフレームの間引きを行えばよい。

また、上記実施の形態では、スタンバイ状態でも第１の間引き駆動で撮像素子の読み出しを行うものとしたが、画像表示部２８の画素数に応じて、第１の間引き駆動とは異なる読み出し駆動にしても良い。

また、上記実施の形態では、画像表示部２８によるＥＶＦ機能を用いて撮影を行う場合について説明したが、ＥＶＦ機能を用いずに光学ファインダー１１を用いて撮影を行うこともできる。その場合にも、動画記録時に静止画撮影が指示された場合には上述した方法を適用することが可能であり、静止画用のＡＦ動作を高速化し、該ＡＦ動作中に動画記録を行うことができる。

本発明の実施の形態におけるデジタルスチルムービーカメラシステムの構成を示すブロック図である。 本発明の実施の形態における撮影処理を示すフローチャートである。 本発明の実施の形態における静止画撮影処理を示すフローチャートである。 本発明の実施の形態における間引き駆動を説明するための模式図である。 動画記録中の静止画撮影シーケンスを示す概念図である。

符号の説明

１０：撮影レンズ
１２：シャッター
１４：撮像素子
１５：前置処理回路
１６：Ａ／Ｄ変換器
１８：タイミング発生回路
２２：信号処理ＩＣ
２８：画像表示部
３０：ＤＲＡＭ
５０：ＣＰＵ
５２：フラッシュメモリ
５４：通知部
６０：モードレバー
６２：モードダイアル
６４：シャッタースイッチ
６８：ムービースイッチ
７０：操作部
７２：メニューキー
７４：セットキー
７６：十字キー
８０：電源制御部
８６：電源
９４：マイク
９８：検知スイッチ
１００：デジタルスチルムービーカメラ装置
２００：記録媒体

Claims (7)

1. 入射光を光電変換して得られた画像データを出力する撮像素子と、
   前記撮像素子を駆動する駆動制御手段と、
   前記撮像素子から出力された画像データに基づいて焦点調節処理を行う焦点調節手段と、
   前記撮像素子から出力された画像データを記録する記録手段と、
   動画の記録が指示された場合に、前記駆動制御手段により第１の駆動方法で前記撮像素子を駆動して得られた画像データを前記記録手段により記録し、動画記録中に静止画の撮影が指示された場合に、前記第１の駆動方法と画角が等しく、且つ、前記第１の駆動方法よりもフレームレートが高い第２の駆動方法で前記駆動制御手段により前記撮像素子を間引き駆動して得られた画像データを、前記第１の駆動方法で得られた画像データに相当する画素数に変換して前記記録手段により記録すると共に、前記第２の駆動方法で得られた画像データに基づいて前記焦点調節手段により静止画撮影用の焦点調節処理を行い、合焦後に、前記第１の駆動方法よりも高解像度の第３の駆動方法で前記駆動制御手段により前記撮像素子を駆動して得られた画像データを前記記録手段により記録するように制御する制御手段と
   を有することを特徴とする撮像装置。
2. 前記駆動制御手段は、前記第２の駆動方法では、前記第１の駆動方法の複数倍のフレームレートで画像データの読み出しを行うことを特徴とする請求項１に記載の撮像装置。
3. 前記駆動制御手段により前記第２の駆動方法で駆動中、前記記録手段はフレームを間引きながら記録することを特徴とする請求項１または２に記載の撮像装置。
4. 前記駆動制御手段により前記第１及び第２の駆動方法で駆動中、前記撮像素子から得られた画像データを所定の規格に準拠した画像データに加工する画像処理手段を更に有し、
   前記記録手段は、前記第１及び第２の駆動方法で駆動中、前記画像処理手段により加工された画像データを記録することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記駆動制御手段は、前記第１の駆動方法では、前記撮像素子の全画素の内、一部の画素の画像データを読み出さない間引き読み出し、及び、前記撮像素子の画素の画像データを複数画素分ずつ加算して読み出す加算読み出しの少なくともいずれか一方を行って前記撮像素子から画像データを読み出し、前記第２の駆動方法では、前記第１の駆動方法よりも多くの画素を間引く間引き読み出し、及び、前記第１の駆動方法よりも多くの画素の画像データを加算する加算読み出しの少なくとも一方を行って前記撮像素子から画像データを読み出すことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記駆動制御手段は、前記第３の駆動方法では、前記第１の駆動方法と同じ画角に対応する前記撮像素子の領域の全画素からそれぞれ画像データを読み出すことを特徴とする請求項５に記載の撮像装置。
7. 前記制御手段は、前記第３の駆動方法で得られた画像データを記録後、前記第１の駆動方法に戻すように制御することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。

Images