JP6327939B2 - 撮像装置及び撮像装置の制御方法 - Google Patents

Description

本発明は、撮像装置及び撮像装置の制御方法に関する。

撮像装置は、撮像センサが撮像した生の画像情報（ＲＡＷ画像）を輝度と色差から成る信号に変換する。得られた各信号には、例えばノイズ除去、光学的な歪補正、画像の適正化などの所謂現像処理が行われ、現像処理された輝度信号及び色差信号は、圧縮符号化され、記憶媒体に記録される。

一方で、ＲＡＷ画像そのものを記録できる撮像装置も存在する。ＲＡＷ画像は記録に必要なデータ量が膨大になるが、オリジナル画像に対する補正や劣化が抑えられ、撮影後に編集できる利点がある。ＲＡＷ画像を記録する撮像装置の構成は特許文献１に開示されている。特許文献１には、ＲＡＷ画像と共に現像パラメータを記録しておき、再生時に当該現像パラメータを用いてＲＡＷ画像の現像及び再生を行う構成が記載されている。

特開２０１１−２４４４２３号公報

上述のように、ＲＡＷ画像と、ＲＡＷ画像に対して現像処理を行った後の画像（例えばＪＰＥＧ画像）とを、ＳＤカードのような記憶媒体上に保存可能な撮像装置において連写撮影を行った場合を考える。当該装置で連写撮影を続けていると（シャッターボタンを押したままにしておくと）、ＤＲＡＭバッファのような一時記憶メモリへ、次々にＲＡＷ画像のデータが格納（バッファリング）されていく。これらのＲＡＷ画像データは、バッファリングされた順に現像処理、圧縮処理が施され記憶媒体に転送され保存される。

このとき一時記憶メモリ上で現像処理、圧縮処理が施され記憶媒体に転送される単位時間あたりのデータ量に対して、連写撮影によって一時記憶メモリへバッファリングされる単位時間あたりのデータ量の方が大きい場合、一時記憶メモリの容量がＲＡＷ画像データによって埋まってしまう。一時記憶メモリの容量がＲＡＷ画像データによって埋まってしまうと、連写撮影によるＲＡＷ画像データのバッファリング速度は、一時記憶メモリ上のＲＡＷ画像データを現像処理、圧縮処理し記憶媒体へ転送、保存する速度まで低下してしまう。つまり、このような状態になると、結果として撮像装置の連写速度が低下してしまうこととなる。

そこで、本発明の目的は、ＲＡＷ画像と、ＲＡＷ画像に対して現像処理を行った後の画像とを保存可能な撮像装置において、連写撮影を続けることによって起こり得る連写速度の低下を抑制することを目的とする。

上記目的を達成するために、本発明は撮像装置であって、
撮像手段と、
前記撮像手段により得られた画像を用いてＲＡＷ画像データを生成する生成手段と、
前記ＲＡＷ画像データを一時的に保持する保持手段と、
前記ＲＡＷ画像データを現像処理する第１の現像手段と、
前記第１の現像手段による現像処理により生成された第１の画像データと、前記ＲＡＷ画像データとを記録媒体に記録する記録手段と、
前記生成手段が連続して複数の画面の前記ＲＡＷ画像データを生成する連写モードにおいて、前記保持手段における前記ＲＡＷ画像データを保持するための空き容量が第１の閾値に満たない場合、前記第１の現像手段による前記ＲＡＷ画像データの現像処理を行わないように制御を行う制御手段とを備えることを特徴とする。

本発明によれば、ＲＡＷ画像と、ＲＡＷ画像に対して現像処理を行った後の画像とを保存可能な撮像装置において、連写撮影を続けることによって起こり得る連写速度の低下を抑制することができる。

発明の実施形態に係る撮像装置の構成例を示すブロック図である。 発明の実施形態の状態遷移図である。 発明の実施形態の単写撮影モードの処理に係るフローチャートである。 発明の実施形態の画像ファイルとＲＡＷファイルの構成例である。 発明の実施形態のアイドル状態の処理に係るフローチャートである。 発明の実施形態の画像再生モードの処理に係るフローチャートである。 発明の実施形態の画像再生モードの表示処理の例を示す図である。 発明の実施形態１の連写撮影モードの処理に係るフローチャートである。 発明の画素配列の説明図である。 発明の実施形態１の空き容量を判定する閾値の一例を示す図。 発明の実施形態２の連写撮影モードの処理に係るフローチャートである。 発明の実施形態２の空き容量を判定する閾値の一例を示す図である。

［実施形態１］
以下、図面を参照しながら、本発明の実施の形態を詳細に説明する。

図１は、本発明の実施形態に係る撮像装置の構成例を示すブロック図である。図１に示した撮像装置１００は、被写体を撮像して得られた画像情報を記憶媒体に記録する機能を有する。また、画像情報を記憶媒体から読み出し、現像処理して表示する機能や、画像情報を外部の装置やサーバ（クラウド）等と送受信する機能も有する。従って、本発明の実施形態に係る撮像装置は、画像処理装置、記録装置、再生装置、記録再生装置、通信装置等と表現することができる。

また図１の撮像装置１００において、撮像素子、表示素子、入力デバイスや端子のような物理的デバイスを除き、各ブロックは専用ロジック回路やメモリを用いてハードウェア的に構成されてもよい。或いは、メモリに記憶されている処理プログラムをＣＰＵ等のコンピュータが実行することにより、ソフトウェア的に構成されてもよい。また、撮像装置１００は、デジタルカメラ以外に、例えばパーソナルコンピュータ、携帯電話、スマートフォン、ＰＤＡ、タブレット端末、デジタルビデオカメラなどの任意の情報処理端末或いは撮像装置とすることができる。

図１において、制御部１６１は、ＣＰＵと、当該ＣＰＵが実行する制御プログラムを格納するメモリを含み、撮像装置１００の全体の処理を制御する。操作部１６２は、ユーザが撮像装置１００に対して指示を与えるために用いるキーやボタン、タッチパネルなどの入力デバイスを含む。操作部１６２はまた、撮像装置１００に対して被写体の撮像を行うための撮像指示を与えるシャッターボタンを含む。ユーザは、連写撮影モードを選択し、操作部１６２に含まれるシャッターボタンを押し続けることにより、連写撮影を行うことができる。操作部１６２からの操作信号は、制御部１６１によって検出され、操作に応じた動作が実行されるよう制御部１６１によって制御される。表示部１２３は、撮像装置１００において、撮影、或いは再生された画像や、メニュー画面、各種情報等を表示するための液晶ディスプレイ（ＬＣＤ）等を含む。

操作部１６２に含まれるシャッターボタンの操作に基づく撮影動作の開始指示が制御部１６１により検出されると、撮像対象となる被写体の光学像が、撮像光学部１０１を介して入力され、撮像センサ部１０２上に結像する。撮影時における撮像光学部１０１及び撮像センサ部１０２の動作は、カメラ制御部１０４によって制御される。カメラ制御部１０４は当該制御のために、評価値算出部１０５により取得される絞り、フォーカス、手ぶれ等の評価値算出結果や、認識部１３１によって抽出される被写体情報を受け取る。

撮像センサ部１０２は、ＣＣＤやＣＭＯＳセンサ等の撮像素子を備え、画素毎に配置される赤、緑、青（ＲＧＢ）のカラーフィルタを透過した光を電気信号に変換する。図９は、撮像センサ部１０２に配置されるカラーフィルタの一例であり、撮像装置１００が扱う画像の画素配列を表している。図９に示すように、赤（Ｒ）、緑（Ｇ）、青（Ｂ）が画素毎にモザイク状に配置されていて、２×２の４画素につき赤１画素、青１画素、緑２画素を１セットにして規則的に並べられた構造となっている。このような画素の配置は、一般にベイヤ―配列と呼ばれる。

撮像センサ部１０２によって変換された電気信号は、センサ信号処理部１０３によって画素の修復処理が施される。修復処理には、撮像センサ部１０２における欠落画素や信頼性の低い画素の値に対し、周辺画素値を用いて修復対象の画素を補間したり、所定のオフセット値を減算したりする処理が含まれる。本実施形態では、センサ信号処理部１０３から出力される画像情報を、生（未現像）の画像を意味するＲＡＷ画像と称す。

ＲＡＷ画像は、現像部１１０で現像処理される。現像部１１０は、複数の異なる現像処理部を有し、第１の現像部としての簡易現像部１１１と、第２の現像部としての高画質現像部１１２とから成り、それらの出力を選択するスイッチ部１２１を含んで構成される。簡易現像部１１１、高画質現像部１１２は共に、ＲＡＷ画像に対してデベイヤー処理（デモザイク処理）を施し、輝度と色差から成る信号に変換して、各信号に含まれるノイズを除去、光学的な歪を補正し、画像を適正化するなどの所謂現像処理を行う。

特に、高画質現像部１１２は、簡易現像部１１１よりも各々の処理を高精度に行うものである。高精度であるため、簡易現像部１１１よりも高画質な現像画像が得られるが、一方で、処理負荷が大きくなってしまう。そこで、本実施形態の高画質現像部１１２は、撮影と並行したリアルタイムの現像に特化したものではなく、撮影後に時間をかけて分散処理を行うことが可能な構成になっている。このように高画質現像を撮影時ではなく、時間をかけて後から行うようにすることで、回路規模や消費電力の増大（ピーク）を低く抑えることができる。

他方、簡易現像部１１１は、高画質現像部１１２よりも、画質は低いものの、撮影中に高速に現像処理を行えるよう、高画質現像よりも現像に係る処理量が少なくなるように構成されている。簡易現像部１１１の処理負荷は小さいので、撮影動作と並行したリアルタイムの現像の際には簡易現像部１１１を用いるようにする。スイッチ部１２１は、操作部１６２によりユーザから指示された操作内容や実行中の動作モードに応じた制御に従って、制御部１６１によって切り替えられる。

なお、本実施形態では、現像部１１０の中に簡易現像部１１１と高画質現像部１１２が独立に存在する構成を示しているが、一つの現像部が動作モードを切り替えて、簡易現像と高画質現像の処理を排他的に行う構成であっても本発明の範疇である。

現像部１１０によって現像処理された画像情報は、表示制御部１２２によって所定の表示処理がなされた後、表示部１２３にて表示される。また、現像処理された画像情報は、映像出力端子１２４により、外部に接続された表示機器に出力してもよい。映像出力端子１２４は、例えばＨＤＭＩやＳＤＩのような汎用インタフェースを含む。

現像部１１０によって現像処理された画像情報は、評価値算出部１０５にも供給される。評価値算出部１０５は、画像情報からフォーカス状態や露出状態などの評価値を算出する。

現像部１１０によって現像処理された画像情報は、認識部１３１にも供給される。認識部１３１は、画像情報中の被写体情報を検出及び認識する機能を有する。例えば、画像情報によって表される画面内における顔を検出し、顔が検出された場合は顔の位置を示す情報を出力し、さらに顔などの特徴情報に基づいて特定の人物の認証などを行う。

現像部１１０によって現像処理された画像情報は、画像圧縮部１４１に供給される。画像圧縮部１４１は、対象となる画像情報を高能率符号化（圧縮符号化）し、情報量が圧縮された画像情報を生成して、画像ファイルに変換する。画像圧縮はＪＰＥＧ等を用いることができる。また、画像情報を動画として圧縮する場合は、ＭＰＥＧ−２、Ｈ．２６４、Ｈ．２６５等を用いることができる。

ＲＡＷ圧縮部１１３は、センサ信号処理部１０３が出力したＲＡＷ画像データを、ウエーブレット変換や、差分符号化等の技術を用いて高能率符号化し、圧縮された状態のＲＡＷ画像データに変換して、データを一時的に保持するためのバッファ部（一時記憶メモリ）１１５に格納する。また、ＲＡＷ圧縮部１１３は、センサ信号処理部１０３が出力したＲＡＷ画像データを、ＲＡＷ圧縮せずバッファ部１１５に格納することもできる。ＲＡＷ画像データは、バッファ部１１５内に残しておいてＲＡＷ伸張部１１４によって再び読み出すことができるが、バッファ部１１５に格納された後、別の記録媒体１５２に移動して記録する（その際、バッファ部１１５から削除してもよい）ようにしても良い。

ＲＡＷ伸張部１１４は、バッファ部１１５に格納されているＲＡＷ画像データを読みだして、圧縮された状態のＲＡＷ画像データを復号して伸張する。ＲＡＷ伸張部１１４によって伸張されたＲＡＷ画像データは、現像部１１０内の簡易現像部１１１、高画質現像部１１２に供給される。

ＲＡＷ画像データを含むＲＡＷファイルと、現像された画像データを含む画像ファイルとは、それぞれ、記録再生部１５１によって、記録媒体１５２に記録される。記録媒体１５２は、内蔵式の大容量メモリやハードディスク、又は、着脱式のメモリカード等である。記録再生部１５１は、記録媒体１５２から画像ファイル、ＲＡＷファイルを読み出すこともできる。記録再生部１５１は、通信部１５３を介して、外部のストレージやサーバに、各種ファイルを書き込んだり、読み出したりすることができる。通信部１５３は通信端子１５４を用いて、無線通信や有線通信によりインターネットや外部機器にアクセス可能な構成を有する。

再生動作が開始されると、記録再生部１５１は、記録媒体１５２から、又は、通信部１５３を介して、所望のファイルを取得して再生する。再生対象のファイルがＲＡＷファイルであれば、記録再生部１５１は、取得されたＲＡＷファイルに格納されたＲＡＷ画像データをバッファ部１１５に格納する。その後、ＲＡＷ伸張部１１４が、バッファ部１１５に格納されているＲＡＷ画像データを読みだして、圧縮された状態のＲＡＷ画像データを復号して伸張する。ＲＡＷ伸張部１１４によって伸張されたＲＡＷ画像データは、現像部１１０内の高画質現像部１１２に供給される。高画質現像部１１２は、供給されたＲＡＷ画像データを高画質に現像し、再生画像として表示制御部１２２に供給する。一方、再生対象のファイルが画像ファイルであれば、記録再生部１５１は取得された画像ファイルに格納された画像データを画像伸張部１４２に供給する。画像伸張部１４２は、入力された画像データを復号して伸張し、画像の再生画像として表示制御部１２２に供給する。

次に、本実施形態の撮像装置１００の動作モードに関して、図を用いて詳細に説明する。図２は、撮像装置１００における、各動作モードの遷移を示す状態遷移図である。このような動作状態の遷移は、操作部１６２からのユーザ操作指示や、制御部１６１の判断に応じて実行され、操作に応じて手動で遷移することもあれば、自動で遷移することもある。図２のように、撮像装置１００は、アイドル状態（２００）を経由して３つのモード、単写撮影モード（２０１）、画像再生モード（２０２）、連写撮影モード（２０３）に適宜切り替わって動作する。本実施形態では、まず、単写撮影モード（２０１）、アイドル状態（２００）、画像再生モード（２０２）を説明した後、本発明の特徴である連写撮影モード（２０３）について説明を行う。

まず、撮像装置１００の単写撮影モード２０１における動作について説明する。図３に、本実施形態の単写撮影モードの処理に係るフローチャートを示す。図３のフローチャートは、制御部１６１によって、各処理ブロックを制御し実行される処理手順を図示したものであり、制御部１６１が有するメモリ（ＲＯＭ）に格納されているプログラムをメモリ（ＲＡＭ）に展開し、ＣＰＵが実行することにより実現される。

図３において単写撮影モード２０１の処理が開始されると、Ｓ３０１にて制御部１６１が撮像装置１００の処理負荷状況が低いか否かを判定する。負荷状況に応じた頻度で、処理負荷が低い場合はＳ３２０でアイドル状態へ遷移し、それ以外の場合はＳ３０２へ進む。例えば、高速連写中は処理負荷が高いため、Ｓ３２０へは遷移せず、常にＳ３０２へ進む。通常の単発の撮影を行う場合においては、第１の撮影と第２の撮影の合間に例えば半分の頻度でＳ３２０へ遷移する。

Ｓ３０２において、カメラ制御部１０４が、好適な条件で撮影を行うように撮像光学部１０１や撮像センサ部１０２の動作を制御する。例えば、ユーザのズームやフォーカスの指示に従って、撮像光学部１０１に含まれるレンズが移動されたり、撮影画素数の指示に従って撮像センサ部１０２の読み出し領域が設定されたりする。また、後述の評価値算出部１０５や認識部１３１から供給される評価値の情報や被写体情報に基づいて、特定被写体へのフォーカス調整や追尾などの制御が行われる。

Ｓ３０３において、撮像センサ部１０２によって変換された電気信号に対して、センサ信号処理部１０３が画素の修復のための信号処理を施す。ここでは、欠落画素や、信頼性の低い画素の値に対し、周辺画素値を用いて補間したり、所定のオフセット値を減算したりする。本実施形態では、Ｓ３０３の処理を終えて、センサ信号処理部１０３から出力される画像情報を、生（未現像）の画像を意味するＲＡＷ画像データと呼ぶ。

Ｓ３０４において、簡易現像部１１１がＲＡＷ画像データを現像処理する。このとき、制御部１６１が現像部１１０内のスイッチ部１２１を切り替えて、簡易現像部１１１で現像処理された画像情報の出力を選択する。簡易現像部１１１は、ＲＡＷ画像データに対してデベイヤー処理（デモザイク処理）し、輝度と色差から成る信号へ変換して、各信号に含まれるノイズを除去、光学的な歪を補正し、画像を適正化するなどの所謂現像処理を行う。ここで、簡易現像部１１１が行う現像処理（簡易現像）について説明する。簡易現像部１１１は、現像後の画像サイズを２００万画素以下に制限したり、ノイズ除去や光学的な歪補正を限定的な処理に留めたり或いは省いたりすることで、現像の高速処理や簡易処理を実現している。簡易現像部１１１が、画像サイズを縮小した上で処理を行ったり、現像処理の機能を一部制限したりすることで、撮像装置１００は、例えば２００万画素の毎秒６０コマというパフォーマンスの撮影を、小さい回路規模で少ない消費電力で実現することができる。

簡易現像部１１１で現像処理された画像情報は、評価値算出部１０５に供給される。Ｓ３０５にて評価値算出部１０５は、画像情報に含まれる輝度値やコントラスト値などからフォーカス状態や露出状態などの評価値を算出する。なお、評価値算出部１０５は、現像処理前のＲＡＷ画像データを取得して、ＲＡＷ画像から同様に評価値を算出するようにしても良い。また、簡易現像部１１１で現像処理された画像情報は、認識部１３１に供給される。Ｓ３０６にて認識部１３１は、画像情報から被写体（顔など）の検出を行い、被写体情報を認識する。例えば、画像情報内における顔の有無や、その位置、特定の人物の認証などを行って、その結果を情報として出力する。

また、簡易現像部１１１で現像処理された画像情報は、表示制御部１２２にも供給される。Ｓ３０７にて表示制御部１２２は、取得した画像情報から表示画像を形成し、表示部１２３又は外部の表示装置に出力して、表示する。表示部１２３による表示画像は、単写撮影モード２０１において、ユーザが被写体を適切にフレーミングするためのライブビュー表示（撮影スルー画像表示）のために用いられる。なお、表示画像は、表示制御部１２２から映像出力端子１２４を経由して、外部のテレビジョンなどの他の表示装置にて表示されてもよい。さらに、表示制御部１２２は、評価値算出部１０５や認識部１３１から供給される、評価値情報や被写体情報を活用して、例えば、表示画像上のフォーカスの合焦領域にマーキング表示したり、認識された顔の位置に枠を表示したりすることもできる。

Ｓ３０８において、制御部１６１は、ユーザからの撮影指示の入力を判定し、撮影の指示があった場合は、Ｓ３０９へ進む。Ｓ３０８で撮影指示が無い場合は、Ｓ３０１へ戻って、撮影の準備動作とライブビュー表示を繰り返す。

Ｓ３０８における撮影指示に応答して、簡易現像部１１１で現像処理された画像情報が、画像圧縮部１４１に供給される。Ｓ３０９において画像圧縮部１４１は、取得した画像情報に対して高能率符号化処理（画像圧縮）を施し、簡易画像としての画像ファイル（第１の画像ファイル）を生成する。なお、画像圧縮部１４１は、ＪＰＥＧなどの公知の画像圧縮技術を用いて圧縮処理を行う。

Ｓ３１０において、記録再生部１５１が画像ファイルを記録媒体１５２に記録する。さらに、Ｓ３０８における撮影指示に応答して、Ｓ３１１ではＲＡＷ圧縮部１１３が、撮影された画像に対応するセンサ信号処理部１０３から出力されたＲＡＷ画像データを取得し、ＲＡＷ画像データを高能率符号化（ＲＡＷ圧縮）する。ＲＡＷ圧縮により圧縮された状態のＲＡＷ画像データはバッファ部１１５に格納される。ＲＡＷ圧縮部１１３が行う高能率符号化は、ウエーブレット変換や、差分符号化などの公知の技術により処理されるものとするが、非可逆符号化でも可逆符号化でも良い。或いは、ＲＡＷ圧縮部１１３のＲＡＷ圧縮を省略して、ＲＡＷ画像データが非圧縮の状態のままスルー出力されても良い。ＲＡＷ圧縮の有無に関わらず、本実施形態では、センサ信号処理部１０３から供給される画像情報を大きく損なわない、高画質な画像として復元可能なＲＡＷ画像データを生成する。

Ｓ３１２において、記録再生部１５１がＲＡＷ画像データを含むＲＡＷファイルを記録媒体１５２に記録した後、フローはＳ３０１に遷移する。なお、Ｓ３１０及びＳ３１２において、記録再生部１５１は、画像ファイル及び／又はＲＡＷファイルを、通信部１５３を介して、通信端子１５４から外部のストレージに送って、外部のストレージによって記録するようにしても良い。なお図３のフローチャートではＳ３０９からＳ３１２において画像圧縮・記録を行った後にＲＡＷ圧縮・記録を行う順序で記載しているが、当該処理は逆順で行ってもよいし、また、並列に行ってもよい。以上が、本実施形態の単写撮影モード２０１の処理に係るフローの説明である。

ここで、本実施形態に係る、画像ファイルの構造と、ＲＡＷファイルの構造について説明する。図４は、画像ファイル及びＲＡＷファイルの構成例を示す図である。図４（ａ）に示す画像ファイル４００は、記録再生部１５１によって、例えば記録媒体１５２の所定の記録エリアに記録されている。画像ファイル４００は、ヘッダ部４０１、メタデータ部４０２、圧縮データ部４０３から成る。ヘッダ部４０１には、このファイルが画像ファイルの形式であることを示す識別コードなどが含まれている。圧縮データ部４０３には、高能率符号化された画像の圧縮データが含まれている。

メタデータ部４０２には、この画像ファイルに格納された画像データに対応したＲＡＷ画像データを含むＲＡＷファイルのファイル名の情報４０４が含まれる。また、この画像ファイルが、簡易現像部１１１によって簡易現像された画像データを含むのか、又は高画質現像部１１２で高画質現像された画像データを含むのかを示すフラグを含む現像ステータスの情報４０５が含まれる。また、評価値算出部１０５や認識部１３１で検知された評価値や被写体情報、及び、撮像光学部１０１や撮像センサ部１０２からの撮影時の情報（例えば、レンズ種別識別情報、センサ種別識別情報など）を含む撮影メタデータ４０６が含まれる。また、図示していないが、対応するＲＡＷファイルが記録されている記録媒体の識別コードや、記録されているフォルダのパス情報などを更に含んでも良い。

図４（ｂ）に示すＲＡＷファイル４１０は、バッファ部１１５に記憶されているか、または、記録再生部１５１によって、例えば記録媒体１５２の所定の記録エリアに記録されている。なお、バッファ部１１５にＲＡＷ画像データが記憶される場合、必ずしも図４の順にファイルの形式で各データが記憶されていなくてもよい。なお、記録媒体１５２に記録した後も、ＲＡＷ画像データ及びヘッダ部、メタデータ部の情報をバッファ部１１５に保持しておいてもよい。ＲＡＷファイル４１０は、ヘッダ部４１１、メタデータ部４１２、圧縮データ部４１３から成る。ヘッダ部４１１には、このファイルがＲＡＷファイルの形式であることを示す識別コードなどが含まれている。圧縮データ部４１３には、高能率符号化された圧縮された状態のＲＡＷ画像データが含まれている（圧縮されていないＲＡＷ画像データであっても良い）。

メタデータ部４１２には、このＲＡＷファイルに含まれるＲＡＷ画像データを現像処理することにより生成された画像データを含む画像ファイルのファイル名の情報４１４が含まれる。また、その画像ファイルに含まれる画像データが簡易現像部１１１によって簡易現像されたのか、又は高画質現像部１１２で高画質現像されたのかを示すフラグを含む現像ステータスの情報４１５が含まれる。また、評価値算出部１０５や認識部１３１で検知された評価値や被写体情報、及び、撮像光学部１０１や撮像センサ部１０２からの撮影時の情報（例えば、レンズ種別識別情報、センサ種別識別情報など）を含む撮影メタデータ４１６が含まれる。また、図示していないが、該ＲＡＷファイルが記録されている記録媒体の識別コードや、記録されているフォルダのパス情報などを更に含んでも良い。また、対応する画像ファイルが記録されている記録媒体の識別コードや、記録されているフォルダのパス情報などを更に含んでも良い。或いはまた、該画像ファイルそのものをメタデータ化して、メタデータ部４１２に格納しても良い。上述した本実施形態に係る各種ファイルの構造は一例であり、ＤＣＦやＥＸＩＦなどの標準規格に準じた構成であっても良い。

本実施形態に係る撮像装置１００は、上述のように、単写撮影モード２０１における、撮影指示が行われるまでのライブビュー表示や、撮影指示に応答して生成される画像ファイルのための現像処理を、簡易現像部１１１によって行う。簡易現像部１１１は、現像後の画像サイズを２００万画素以下に制限したり、ノイズ除去や光学的な歪補正を限定的な処理に留めたり、或いは省いたりする。そうすることで、例えば２００万画素の毎秒６０コマというパフォーマンスの現像処理を、小さい回路規模で少ない消費電力で実現することができる。一方で、本実施形態に係る撮像装置１００は、上述のように、画像の撮影指示に応答して、ＲＡＷ画像データを生成する。ＲＡＷ画像データは、センサ信号処理部１０３から供給される画像情報を大きく損なわない高画質な画像データであるが、このＲＡＷ画像データの生成に現像処理を必要としない。そのため、画像の画素数や連写のスピードを高めながらも、小規模な回路によって少ない消費電力でＲＡＷ画像データを記録することが可能である。

続いて、図３のＳ３２０におけるアイドル状態の処理について、図５のフローチャートを用いて説明する。図５に、本実施形態のアイドル状態の処理に係るフローチャートを示す。図５のフローチャートは、制御部１６１によって、各処理ブロックを制御し実行される処理手順を図示したものであり、制御部１６１が有するメモリ（ＲＯＭ）に格納されているプログラムをメモリ（ＲＡＭ）に展開し、ＣＰＵが実行することにより実現される。

図５においてアイドル状態の処理が開始されると、Ｓ５０１にて制御部１６１が、ユーザによる手動操作に応じて追いかけ現像を行うか否かを判定し、追いかけ現像を行わない場合はＳ５０２に、追いかけ現像を行う場合はＳ５２０に遷移する。Ｓ５０１で追いかけ現像を行わない場合、ユーザからのモード設定に従って、制御部１６１が図２に示した２０１，２０２，２０３の何れかのモードに遷移するか判定する（Ｓ５０２、Ｓ５０３、Ｓ５０４）。そして、制御部１６１が、選ばれたモードの処理フローへ遷移するよう制御する（Ｓ５１０、Ｓ５１１、Ｓ５１２）。

本実施形態の「追いかけ現像」とは、撮影動作終了後、バッファ部１１５に保持されたＲＡＷ画像データ又は記録媒体１５２等に記録されたＲＡＷファイルに格納されたＲＡＷ画像データに対し、改めて高画質に現像処理を施し、高画質の表示画像や高画質の画像データを生成する処理を意味する。

上述したように、撮影時に現像処理された画像データは、簡易現像部１１１で現像されているため、画素数が２００万画素以下であったり、現像処理を一部省いていたりするために、画質は限定的な品質である。撮影内容の大まかな確認としては有効であるが、画像の細部を確認したり、プリントアウトしたりする用途には十分ではない場合がある。一方、ＲＡＷ画像データは、センサ信号処理部１０３から供給される画像情報を大きく損なわない高品質を有するが、現像処理前のデータであるため、そのままの状態で表示やプリントアウトを行うことが困難である。表示やプリントアウトのためには現像処理が必要となり、現像のための時間を要してしまう。また、一般に、ＲＡＷ画像データは、メーカ固有の形式であることが多く、ＲＡＷ画像データを扱える再生環境も限定されてしまう。

そこで、本実施形態の追いかけ現像が有効な機能となる。本実施形態では、追いかけ現像が実行されると、既に記録されているＲＡＷ画像データを読みだして、高画質現像部１１２によって高画質に現像処理を行う。そして、高画質な現像処理を行うことにより得られた画像データを記録媒体１５２等へ記録する。そして、このような追いかけ現像を、撮影と撮影の合間や、再生モードやスリープ状態などユーザ操作待ちの、比較的、装置の処理負荷が小さい状態において実行させる。追いかけ現像は手動に限らず、制御部１６１が自動に実行させるように設計すると良い。

このように構成することにより、その後に、細部の確認表示やプリントアウトなど、高画質な再生の要求においても、その都度余計な現像処理が発生せず、また、従来の画像ファイルと同様の一般的な環境における活用が可能となる。

図５の説明に戻り、記録媒体１５２等には、１回の撮影指示に対して、現像処理により得られた画像データを格納する画像ファイルとＲＡＷ画像データを格納するＲＡＷファイルが１つずつの組として記録されている。手動または自動によって追いかけ現像を行う場合、Ｓ５２０にて制御部１６１が、各画像の組について、追いかけ現像が処理済みか未処理かを判定する。判定の方法は、例えば画像ファイル４００の現像ステータス４０５に含まれる、該画像ファイルが格納する画像データが簡易現像部１１１で処理されたものか否かを識別するためのフラグを参照する方法がある。或いはＲＡＷファイル４１０の中の現像ステータス４１５を参照し、高画質現像部１１２で現像されたことを示すフラグ情報が含まれるかにより判定してもよい。或いは、一連の撮影された画像に対して、現像処理の状態を示すテーブルファイルを別に用意して判定しても良い。

制御部１６１によって、追いかけ現像が処理済みと判断されれば、Ｓ５０２に遷移する。追いかけ現像が未処理の画像があれば、Ｓ５２１に遷移する。Ｓ５２１では制御部１６１が、追いかけ現像が未処理の画像に対応するＲＡＷファイルが、バッファ部１１５に記憶されているか否かを判定する。もし、記憶されていれば、Ｓ５２３に進み、記憶されていなければＳ５２２で対応するＲＡＷファイルを記録媒体１５２等から読み出す。

バッファ部１１５は、単写撮影モード２０１、又は連写撮影モード２０３で撮影された、新しい画像から優先的に保持されるように、データが更新される。すなわち、過去に撮影された画像から順にバッファ部１１５から取り除かれる。こうすることにより、直前に撮影された画像は常にバッファ部１１５に保持されているので、Ｓ５２２をスキップし、高速に処理できる。さらに、直前に撮影された画像から時刻を遡って、追いかけ現像を実行するようにすれば、バッファ部１１５に保持されている画像から優先的に処理が完了できるため、処理の効率化ができる。

Ｓ５２３において、ＲＡＷ伸張部１１４が、バッファ部１１５又は記録媒体１５２から読み出したＲＡＷ画像データを伸張処理する。伸張されたＲＡＷ画像データを、Ｓ５２４にて高画質現像部１１２が高画質に現像し、スイッチ部１２１を経由して表示制御部１２２や画像圧縮部１４１に出力される。

高画質現像部１１２は、ＲＡＷ画像データをデベイヤー処理（デモザイク処理）し、輝度と色差から成る信号へ変換して、各信号に含まれるノイズを除去、光学的な歪を補正し、画像を適正化するなどの所謂現像処理を行う。高画質現像部１１２によって生成される現像処理済みの画像のサイズ（画素数）は、撮像センサ部１０２から読出された全体サイズのまま、或いはユーザから設定されたサイズとなり、２００万画素以下に制限された簡易現像の画像よりも格段に高品質となる。

高画質現像部１１２は簡易現像部１１１よりも各々の処理が高精度であるため、より高画質な現像画像が得られるが、一方で、処理負荷が大きくなってしまう。本実施形態の高画質現像部１１２は、撮影と並行したリアルタイムの現像処理を避け、時間をかけて現像処理可能としたことで、回路規模や消費電力の増大を抑える構成となっている。

高画質現像部１１２で現像処理された画像情報は、画像圧縮部１４１に供給され、Ｓ５２５にて画像圧縮部１４１が、取得した画像情報に対して高能率符号化処理（画像圧縮）を施し、高画質の画像ファイル（第２の画像ファイル）を生成する。なお、画像圧縮部１４１は、ＪＰＥＧなどの公知の技術により圧縮処理を行う。

Ｓ５２６において、記録再生部１５１が高画質に現像された画像データを含む画像ファイルを記録媒体１５２等に記録したら、フローはＳ５０２に遷移する。なお、追いかけ現像の処理は、追いかけ現像が未処理の画像がある場合、その画像毎に同様の処理を繰り返して実行可能である。

Ｓ５２６で記録される画像ファイルは、図４（ａ）に示す画像ファイル４００の構成で、ヘッダ部４０１、メタデータ部４０２、圧縮データ部４０３から成る。ヘッダ部４０１には、このファイルが画像ファイルの形式であることを示す識別コードなどが含まれている。圧縮データ部４０３には、高能率符号化された画像の圧縮データが含まれている。

メタデータ部４０２には、この画像ファイルに含まれる画像データに対応するＲＡＷ画像データが格納されたＲＡＷファイルのファイル名の情報４０４が含まれる。また、この画像ファイルに含まれる画像データが簡易現像部１１１によって簡易現像されたのか、又は高画質現像部１１２で高画質現像されたのかを示すフラグを含む現像ステータスの情報４０５が含まれる。また、対応するＲＡＷファイルのメタデータから抽出された、評価値算出部１０５や認識部１３１で検知された評価値や被写体情報、及び、撮像光学部１０１や撮像センサ部１０２からの撮影時の情報を含む撮影メタデータ４０６が含まれる。

記録再生部１５１は、高画質現像処理により得られ、Ｓ５２６で記録される新たな画像データを含む画像ファイルには、対応するＲＡＷファイルのＲＡＷ画像データから簡易現像により得られた画像データを含む画像ファイルと同じファイル名を与えて、上書き記録する。すなわち簡易現像による画像データを含む画像ファイルは削除される。そして、記録再生部１５１は、対応するＲＡＷファイルにおける、メタデータ部４１２内の現像ステータス４１５を、高画質現像済（又は追いかけ現像済）を示す情報にて更新する。

このように、本実施形態の撮像装置１００は、撮影と撮影の合間や、再生モードやスリープ状態などユーザからの操作待ちの、比較的、装置の処理負荷が小さい状態のときに追いかけ現像を実行する。そして、撮影時の簡易現像による画像データを含む画像ファイルを、高画質現像による画像データを含む画像ファイルに置き換えて行く。こうすることにより、細部の確認表示やプリントアウトなど、高画質な再生の要求が与えられた場合であっても、その都度余計な現像処理が発生せず、また、従来の画像ファイルと同様の一般的な環境における活用が可能となる。

次に、撮像装置１００の画像再生モード２０２における動作について説明する。図６に、本実施形態の画像再生モード２０２の処理に係るフローチャートを示す。図６のフローチャートは、制御部１６１によって、各処理ブロックを制御し実行される処理手順を図示したものであり、制御部１６１が有するメモリ（ＲＯＭ）に格納されているプログラムをメモリ（ＲＡＭ）に展開し、ＣＰＵが実行することにより実現される。

図６において画像再生モード２０２の処理が開始されると、Ｓ６０１にて制御部１６１が撮像装置１００の処理負荷状況が低いか否かを判定する。負荷状況に応じた頻度で、処理負荷が低い場合にはＳ６１０でアイドル状態へ遷移し、それ以外の場合はＳ６０２へ進む。例えば、再生指示などのユーザ操作を待っている間は、処理負荷が低いため、Ｓ６１０へ遷移する。ユーザからの操作に応じて画像の再生が開始されている（再生中の状態を含む）場合はＳ６０２へ進む。

Ｓ６０２において、制御部１６１が、再生される画像について、ユーザから拡大表示の指示を受けているかを判定する。拡大表示があればＳ６０３に進み、拡大表示がなければＳ６２０に進む。

図７に、拡大表示を含む表示形態の種類を説明する。図７は、本実施形態の画像再生モード２０２の表示処理の例を示す図である。図７（ａ）の表示例７００は、７０１に示す６つの画像を縮小して表示部１２３に縮小表示（一覧表示）している例である。図７（ｂ）の表示例７１０は、ある１つの画像７１１の全体を表示部１２３に表示している例であり、この表示の状態を通常表示とする。図７（ｃ）の表示例７２０は、ある１つの画像の一部領域を拡大した画像７２１を表示部１２３に拡大表示している例である。例えば、撮影直後にフォーカスの適否の確認を行うような場合に、表示例７２０のように被写体像の細部を拡大表示する使われ方が一般的である。

表示例７２０のように拡大表示する場合、図６のフローはＳ６０２からＳ６０３へ遷移する。表示例７００のように縮小表示する場合は、Ｓ６０２からＳ６２０へ遷移する。表示例７１０のような場合は、表示部１２３の表示画素数が簡易現像による画像データの画素数、上述の例ならば２００万画素以下であれば等倍もしくは縮小での表示であるため、Ｓ６０２からＳ６２０へ遷移する。

Ｓ６２０において、記録再生部１５１が、記録媒体１５２等から再生対象の画像ファイルを読み出す。そして、Ｓ６２１において、画像伸張部１４３が、画像ファイルに含まれる画像データを復号して伸張し、Ｓ６０８において、表示制御部１２２が図７の各図に示すような形態で表示画像を表示部１２３へ出力する。

表示される画像が、簡易現像による画像データの画素数、上述の例ならば２００万画素以下で足りる場合は、画像データが簡易現像部１１１で現像処理されたものであっても、十分な画質で表示できる。画像データが高画質現像部１１２で現像処理されたものであるならば、勿論、表示に十分な画質であるということは言うまでも無い。

一方、拡大表示の場合、表示される画像が、簡易現像による画像データの画素数、上述の例ならば２００万画素以下では足りないことが起こり得る。すなわち、簡易現像による画像データを用いて表示したのでは、解像感の低下を招いてしまう。

よって、拡大表示の場合は、Ｓ６０３において、制御部１６１が、再生対象となって表示されるべき画像データが、高画質現像部１１２で現像されたものであるかどうかを判定する。判定の方法には、例えば画像ファイル４００のメタデータ部４０２に格納されている現像ステータス４０５に含まれる、この画像ファイルが、簡易現像部１１１で処理された画像データを含むのか、あるいは、高画質現像部１１２で処理された画像データを含むのかを識別するためのフラグを参照する方法がある。或いはＲＡＷファイル４１０の中の現像ステータス４１５を参照し、同様に判定しても良い。或いは、一連の撮影された画像に対して、現像処理の状態を示すテーブルファイルを別に用意して判定しても良い。

Ｓ６０３で、高画質現像されたものと判定された場合、拡大されても十分な画質で表示可能な高画質の画像データであることを意味するので、Ｓ６２０に進む。Ｓ６２０では、記録再生部１５１が該当する高画質の画像データを含む画像ファイルを記録媒体１５２等から読み出して、再生表示する。このように、高画質現像部１１２で現像された画像データである場合は、このようにＳ６２０以降の処理で高画質に表示できる。

Ｓ６０３で、高画質現像されたものと判定されなかった場合、簡易現像部１１１で現像処理された画像データであることを意味するので、Ｓ６０４に進み、高画質現像（上述した、追いかけ現像）を実行する。Ｓ６０４において、制御部１６１が再生対象となる画像に対応するＲＡＷファイルが、バッファ部１１５に記憶されているかどうかを判定する。記憶されていれば、Ｓ６０６に進み、記憶されていなければＳ６０５で記録再生部１５１が対応するＲＡＷファイルを記録媒体１５２等から読み出し、バッファ部１１５に格納する。なお、バッファ部１１５は、単写撮影モード２０１、又は連写撮影モード２０３で撮影された新しい画像から優先的に保持されるように、データが更新される。すなわち、過去に撮影された画像から順にバッファ部１１５から取り除かれる。こうすることにより、直前に撮影された画像は常にバッファ部１１５に保持されているので、Ｓ６０５をスキップし、高速に表示に至れるようになる。

Ｓ６０６において、ＲＡＷ伸張部１１４が、バッファ部１１５又は記録媒体１５２等から読み出したＲＡＷ画像データを復号して伸張する。伸張されたＲＡＷ画像データを、Ｓ６０７で高画質現像部１１２が高画質に現像処理し、スイッチ部１２１を経由して表示制御部１２２に出力する。Ｓ６０８において、表示制御部１２２が図７（ｃ）に示すような拡大画像を表示部１２３へ出力する。高画質現像部１１２は、ＲＡＷ画像データをデベイヤー処理（デモザイク処理）し、輝度と色差から成る信号へ変換して、各信号に含まれるノイズを除去、光学的な歪を補正し、画像を適正化するなどの所謂現像処理を行う。

高画質現像部１１２によって生成される現像処理済みの画像のサイズ（画素数）は、撮像センサ部１０２から読出された全体サイズのまま、或いはユーザから設定されたサイズとなり、２００万画素以下に制限された簡易現像の画像よりも格段に高品質となる。従って、高画質現像部１１２で現像された画像ならば、拡大表示の要求に対して十分な画質で答えることができる。なお、Ｓ６０８の表示が停止されると、フローはＳ６０１に戻る。Ｓ６０１において、アイドル状態Ｓ６１０に遷移した場合は、上述した図５のフローチャートに従って処理される。

図６のＳ６０４以降の高画質現像は、上述したように、撮影直後等の、まだ追いかけ現像が実行されていないタイミングで発生することが想定される。本実施形態では、撮影と撮影の合間や、再生モードやスリープ状態などユーザ操作待ちの、比較的装置の処理負荷が小さい状態のときに画像の追いかけ現像が徐々に終了する。その結果、簡易現像による画像ファイルが自然と高画質現像による画像ファイルに置き換わる。そうして置き換えが進むに従って、Ｓ６０４以降の高画質現像は発生するケースが減少し、拡大表示に対して速やかに高画質画像を出力できるようになり、操作性が一層高まっていく。

また、バッファ部１１５にＲＡＷ画像データが保持されている場合には、Ｓ６０５をスキップできるため、素早く表示できるようになると上述した。そこで、バッファ部１１５になるべくＲＡＷ画像データが保持された状態になるよう、図７の表示例７００や７１０の場合に、拡大表示に備え、画像７０１や画像７１１に対応するＲＡＷ画像データを予め記録媒体１５２から読み出してバッファ部１１５へ記憶させると良い。拡大表示の指示よりも先行して、記録再生部１５１が記録媒体１５２等から該当するＲＡＷ画像データを読みだして記憶させることで、表示例７２０のような拡大表示の指示がなされたときに、より素早く表示することができる。

本実施形態に係る撮像装置１００は、上述のように、単写撮影モード２０１における、撮影指示が行われるまでのライブビュー表示や、撮影指示に応答して生成される画像ファイルのための現像処理を、簡易現像部１１１によって行う。簡易現像部１１１は、現像後の画像サイズを２００万画素以下に制限したり、ノイズ除去や光学的な歪補正を限定的な処理に留めたり、或いは省いたりする。そうすることで、例えば２００万画素の毎秒６０コマというパフォーマンスの現像処理を、小さい回路規模で少ない消費電力で実現することができる。一方で、本実施形態に係る撮像装置１００は、上述のように、画像の撮影指示に応答して、ＲＡＷ画像データを生成する。ＲＡＷ画像データは、センサ信号処理部１０３から供給される画像情報を大きく損なわない高画質なデータである。また、ＲＡＷ画像データを生成するために現像処理を必要としない。そのため、画像の画素数や連写のスピードを高めながらも、小規模な回路によって少ない消費電力でＲＡＷ画像データを記録することが可能である。

次に、撮像装置１００の連写撮影モード２０３における動作について説明する。図８に、本実施形態の連写撮影モード２０３の処理に係るフローチャートを示す。図８のフローチャートは、制御部１６１によって、各処理ブロックを制御し実行される処理手順を図示したものであり、制御部１６１が有するメモリ（ＲＯＭ）に格納されているプログラムをメモリ（ＲＡＭ）に展開し、ＣＰＵが実行することにより実現される。制御部１６１は、プログラムにより各動作部の制御を行う。各動作部はそれぞれ独立に動くことができ、例えば、各動作部の処理を並列に行うことも可能である。

図８において連写撮影モードの処理が開始されると、Ｓ８０１において撮影準備およびライブビュー処理を行う。当該処理は図３のＳ３０１からＳ３０７及びＳ３２０の処理に対応する。したがって、処理の詳細については説明を省略する。

本実施形態の連写撮影モードでは、連写撮影時にＲＡＷファイルを記憶するバッファ部１１５の空き容量を監視し、バッファ部１１５の容量がＲＡＷ画像データを格納するのに必要な容量を確保できない場合には簡易現像を省略し、ＲＡＷ圧縮とＲＡＷ画像データの記録のみを実行し、連写撮影指示が解除された後に現像を行う。なお、ユーザが動作モードとして連写モードを撮影モードとして選択する場合、ユーザは毎秒撮影可能な画像の枚数を併せて設定することができる。当該枚数はユーザが任意に設定することが可能であってもよいし、あるいは、低速、中速、高速といった複数段階で予め撮影枚数が規定されていてもよい。たとえば、低速では毎秒２枚、中速では毎秒４枚、高速では毎秒６枚の静止画の撮影が可能であってもよい。当該枚数はあくまで一例であって、低速３枚、高速１２枚、超高速１４枚のように予め設定することもできる。毎秒の撮影枚数に関する情報は本発明の実施形態に対応する処理を実行するために制御部１６１が保持しておく。なお、連写モードが選択されている場合、シャッターボタンが全押しされている間は連続して撮影が行われ、毎秒上記の設定枚数のＲＡＷ画像データが生成される。

以下、本実施形態の連写撮影モード２０３に特有の処理について図８のＳ８０２以降の工程を参照して説明する。Ｓ８０２において、制御部１６１は、バッファ部１１５にＲＡＷ画像データが存在するかどうかを判定する。バッファ部１１５にＲＡＷ画像データが記憶されている場合はＳ８０３へ遷移し、記憶されていない場合はＳ８０５へ遷移する。Ｓ８０２にて制御部１６１が、バッファ部１１５がＲＡＷ画像データを記憶していると判定した場合、Ｓ８０３にて制御部１６１は、ＲＡＷファイルと、このＲＡＷファイルに格納されたＲＡＷ画像データを現像して得られた画像データを含む画像ファイルとが記録媒体１５２に既に記録されているか否かを判定する。当該判定はＲＡＷファイルのメタデータ部４１２に含まれるＲＡＷファイル及び画像ファイルが記録されている記録媒体の識別コードの有無、または、記録フォルダのパス情報などに基づいて判定することができる。もしＲＡＷファイルと画像ファイルとが共に記録媒体１５２に記録されていた場合、Ｓ８０４へ遷移し、どちらか一方が記録されていなかった場合、Ｓ８０５へ遷移する。

ＲＡＷファイルと画像ファイルとが共に記録媒体１５２に記録されていた場合、制御部１６１は、Ｓ８０４にてバッファ部１１５に記憶されている記録済みのＲＡＷ画像データを削除し、Ｓ８０５へ遷移する。これは、当該ＲＡＷ画像データ及び対応する現像済みの画像データは既に記録媒体１５２に記憶されているため、現像処理等のためにＲＡＷ画像データをバッファ部１１５に保持しておく必要がなく、また、新たなＲＡＷ画像データを記憶するための容量を確保するためである。

続くＳ８０５にて制御部１６１は、バッファ部１１５にＲＡＷ圧縮部１１３より送信されるＲＡＷ画像データを記憶できるだけの容量があるかどうかを判断する。当該判断のために、ＲＡＷ圧縮部１１３は、バッファ部１１５に送信しようとしているＲＡＷ画像データのデータ量を制御部１６１に通知し、また、制御部１６１はバッファ部１１５の空き容量を監視している。空き容量とはバッファ部１１５の中でＲＡＷ画像データを新たに記憶することができる容量をいう。制御部１６１は、現在のバッファ部１１５の空き容量とＲＡＷ圧縮部１１３から通知されたＲＡＷ画像データのデータ量とを比較して、当該ＲＡＷ画像データをバッファ部１１５に記憶可能か否かを判定する。あるいは、記録する画像の画素数に応じて予めＲＡＷ画像データのデータ量を定めておき、当該値との比較により判定を行ってもよい。バッファ部１１５にＲＡＷ画像データを記憶するのに必要な空き容量がない場合は、Ｓ８１２へ遷移する。Ｓ８１２ではバッファ部１１５の空き容量を確保するためにＲＡＷ画像データを記録媒体１５２に記録させる。一方、バッファ部１１５にＲＡＷ画像データを記憶するのに必要な空き容量がある場合は、Ｓ８０６へ遷移する。

なお、ＲＡＷ画像データを保持するための空き容量が不足する場合は、Ｓ８０６のシャッターボタンの押下を判定せずにＳ８１２に移行するが、ここではＳ８０５の判定時点においてシャッターボタンが押下されていない場合も含まれる。その場合、新たな連写撮影はできない旨の表示（たとえば、「Ｂｕｓｙ」）を表示部１２３で行ってもよい。また、空き領域のサイズに基づいて撮影可能な枚数を数値で表示してもよい。

Ｓ８０６において、シャッターボタンが押されているか否かを判断する。シャッターボタンが押されている状態は、ユーザが連写撮影の撮影指示を出したか、継続している状態であり、その場合はＳ８０７へ遷移する。シャッターボタンが押されていない状態は、ユーザからの撮影指示がない状態か、終了した状態であり、その場合はＳ８０１へ戻って撮影の準備動作とライブビュー表示の処理を繰り返す。

Ｓ８０６における撮影指示に応答して、Ｓ８０７にてＲＡＷ圧縮部１１３が、撮影された画像に対応するセンサ信号処理部１０３から出力されたＲＡＷ画像データを取得し、高能率符号化（ＲＡＷ圧縮）処理する。圧縮されたＲＡＷ画像データはＳ８０８においてバッファ部１１５へ格納され、Ｓ８０９へ遷移する。

Ｓ８０９にて制御部１６１がバッファ部１１５の空き容量が所定値（第１の閾値：閾値１）以上か否かを判断する。当該判定は、記憶されたＲＡＷ画像データについて簡易現像を行うか否かを決定するために行うものであり、第１の閾値は簡易現像を行うか否かの判定に用いる閾値とする。ここでのバッファ部１１５の空き容量とは、上記と同様バッファ部１１５の中でＲＡＷ画像データを新たに記憶することができる容量のことである。第１の閾値については、例えば、空き容量１０メガバイトを閾値とする、といったようにバイト（ｂｙｔｅ）数で設定してもよいし、バッファ部１１５にＲＡＷ画像データを記憶可能な最大容量を１００％としたとき、５０.０％に相当する容量を閾値とする、というように割合で設定してもよい。即ち、記憶可能な最大容量が１００メガバイトであった場合に、５０メガバイト以上の空き容量があれば第１の閾値以上と判定できる。

また、この第１の閾値は一定ではなく、様々なパラメータよって変化するように制御部１６１が制御してもよい。例えば、撮像装置１００における連写速度が低速、中速、高速のように切り替えられるとすると、図１０に示すように、撮像装置１００の連写速度（単位時間当たりの撮影枚数）と、記録媒体１５２（ＳＤカード）の最低保証データ転送速度（クラス）とによって値が変化するように制御してもよい。その場合、制御部１６１は連写撮影モード設定時に予め設定された単位時間当たりの撮影枚数の情報に従って第１の閾値を選択する。

ＳＤカードのクラスには、クラス２、４、６、１０の４種類があり、それぞれ読み書き時の最低保証データ転送速度が異なっている。具体的に、クラス２では、毎秒２ＭＢ以上、クラス４は毎秒４ＭＢ以上、クラス６は毎秒６ＭＢ以上、クラス１０では毎秒１０ＭＢ以上となっている。このように、クラスが下がるほどデータ転送速度が遅くなるため、バッファリング可能な最大容量に余裕を持たせて、転送時間の遅さを補償する必要がある。そこで、図１０に示す例では、連写速度が上がるにつれて第１の閾値の値も大きくなる一方、クラスが上がるほど値は小さくなっている。

Ｓ８０９においてバッファ部１１５の空き容量が第１の閾値以上と判定された場合、バッファ部１１５に記憶されているＲＡＷ画像データに対し、バックグラウンドで現像処理を行いながら、以降の連写撮影によって得られる新たなＲＡＷ画像データをバッファ部１１５に記憶可能である。この場合Ｓ８１０へ遷移する。一方、バッファ部１１５の空き容量が第１の閾値未満と判定された場合、以降の連写撮影によってバッファ部１１５の空き容量が全て埋まってしまい、それ以降、新たなＲＡＷ画像データの生成が停止されて連写性能が低下するおそれがある。そのため、制御部１６１は、簡易現像部１１１による簡易現像処理を行わないようにして、Ｓ８１２へ遷移する。

Ｓ８１０において、制御部１６１は、バッファ部１１５に記憶されているＲＡＷ画像データに対して簡易現像を実行するよう、ＲＡＷ伸張部１１４、簡易現像部１１１、スイッチ部１２１、画像圧縮部１４１に命令（制御信号）を出す。命令を出したら、Ｓ８１１へ遷移する。制御部１６１からの命令を受けて、ＲＡＷ伸張部１１４、簡易現像部１１１、スイッチ部１２１、画像圧縮部１４１は、簡易現像処理された画像データを取得するための処理を行う。これらの処理は、連写時において、バッファ部１１５に対するＲＡＷ画像データの記憶動作（Ｓ８０１〜Ｓ８０８）と並行して（バックグラウンドで）行われる。画像圧縮部１４１に、簡易現像された画像データの圧縮が完了した後、記録再生部１５１へ圧縮した画像データを送信する。

Ｓ８１１において、制御部１６１は、記録再生部１５１に、簡易現像にて得られた画像データを記録する命令（制御信号）を出す。命令を出したら、Ｓ８１２へ遷移する。その際、制御部１６１は、バッファ部１１５に格納されている当該ＲＡＷ画像データのメタデータとして、画像ファイルが記録されている記録媒体の識別コードや、記録されているフォルダのパス情報を含めることができる。制御部１６１からの命令を受けて、記録再生部１５１は圧縮された簡易現像の画像データを含む画像ファイルを記録媒体１５２へ記録する。この動作は、連写時において、バッファ部１１５に対するＲＡＷ画像データの記憶動作（Ｓ８０１〜Ｓ８０８）と並行して（バックグラウンドで）行われる。

Ｓ８１２において、制御部１６１は、記録再生部１５１に、バッファ部１１５のＲＡＷ画像データを記録するよう命令（制御信号）を出す。命令を出したら、Ｓ８０１の処理へ戻る。その際、制御部１６１はバッファ部１１５に格納されている当該ＲＡＷ画像データのメタデータとして、ＲＡＷファイルが記録されている記録媒体１５２の識別コードや、記録されているフォルダのパス情報を含めることができる。記録再生部１５１は、制御部１６１からの制御信号を受けて、バッファ部１１５に記憶されているＲＡＷ画像データ並びに、ヘッダ情報やメタデータなどを読み出して、記録媒体１５２に記録する。この動作は、連写撮影における、バッファ部１１５に対するＲＡＷ画像データの記憶動作（Ｓ８０１〜Ｓ８０８）と並行して（バックグラウンドで）行われる。

なお、上述のように、バッファ部１１５に対して新しい画像から優先的に保持されるように、データが更新され、過去に撮影された画像から順に削除される。そして上記のＳ８０９で空き容量が第１の閾値未満の場合、ＲＡＷ画像データの簡易現像処理を行わないので、連写撮影による撮影枚数が多い場合には簡易現像処理が行われていないＲＡＷ画像データがバッファ部１１５から削除されることもありえる。しかしこの場合でもＳ８１２でＲＡＷ画像データ自体を記録媒体１５２に記録しておくので、後に行われる追いかけ現像ではＲＡＷファイルを記録媒体１５２から読みだして高画質現像が可能となるので大きな問題はない。

また、上記ではＳ８０３においてＲＡＷファイルと画像ファイルとの両方について記録媒体１５２への書き込みが終了しているかを判定した。しかし、本実施形態ではバッファ部１１５の空き容量によっては簡易現像が行われない場合がある。そのため、バッファ部１１５に保持されているＲＡＷ画像データ全てについて、対応する現像済みの画像データが記録媒体１５２に記録されていない状況も想定される。そのような場合には、Ｓ８０４において画像ファイルの書き込みが終了しているかどうかにかかわらず、より過去に撮影されたＲＡＷ画像データを優先的に削除してもよい。あるいは、連写モードの場合には、Ｓ８０３においてＲＡＷファイルの記録媒体１５２への書き込みが行われたかのみを判定し、書き込みが終わっているＲＡＷファイルは古いものから削除してもよい。また、当該判定基準を毎秒の撮影枚数に応じて切り替えてもよい。すなわち、低速の連写モードの場合にはＲＡＷファイルと画像ファイルの両方について判定し、中速、高速の連写モードの場合にはＲＡＷファイルのみについて判定してもよい。

Ｓ８１０、Ｓ８１１、Ｓ８１２の処理において、制御部１６１より命令をうける各動作部は、連写撮影に対してバックグラウンドで処理を行うが、制御部１６１からの命令を受けたときに、前の命令の処理が完了していない場合は、新たな命令をスタックし、実行中の処理が完了した後、スタックした命令の処理を順次開始する。

以上のように、本実施形態に係る撮像装置１００は、バッファ部１１５の空き容量に応じて、連写モード中に、ＲＡＷ画像データから生成される画像の簡易現像、圧縮および記録処理を実行するかしないか切り替える。これにより、バッファ部１１５の記憶容量がＲＡＷ画像データによって埋まってしまい、新たなＲＡＷ画像データを記憶できない状態（連写速度が低下している状態）を回避できる。

［実施形態２］
本実施形態では、実施形態１で記載した撮像装置１００の連写撮影モードの他の実施形態について説明する。実施形態１では、バッファ部１１５の空き容量と第１の閾値との比較に基づき、ＲＡＷ画像データの簡易現像、圧縮、記録処理を行うか否かを制御した。そして、空き容量が少ない場合はＲＡＷ画像データの記録媒体１５２への記録を優先し、簡易現像等を行わないようにした。これに対し本実施形態では、バッファ部１１５の空き容量と閾値との比較に応じて、更に高画質現像を行うかどうかも制御する点に特徴がある。

本実施形態の撮像装置１００の連写撮影モード２０３における動作について図１１のフローを用いて説明する。図１１に、本実施形態の連写撮影モードの処理に係るフローチャートを示す。図１１のフローチャートは、制御部１６１によって、各処理ブロックを制御し実行される処理手順を図示したものであり、制御部１６１が有するメモリ（ＲＯＭ）に格納されているプログラムをメモリ（ＲＡＭ）に展開し、ＣＰＵが実行することにより実現される。制御部１６１は、プログラムにより各動作部の制御を行う。各動作部はそれぞれ独立に動くことができ、例えば、各動作部の処理を並列に行うことも可能である。

図１１において連写撮影モードの処理が開始されると、Ｓ１１０１において撮影準備およびライブビュー処理を行う。当該処理は図３のＳ３０１からＳ３０７及びＳ３２０の処理に対応する。したがって、処理の詳細については説明を省略する。また図１１では図８のフローチャートと対応するステップには同一の参照番号を付しており、当該ステップについては特に記載する以外は図８の説明に準ずるものとする。

Ｓ８０８でバッファ部１１５にＲＡＷ画像データを記憶したのち、Ｓ１１０２では制御部１６１がバッファ部１１５の空き容量が所定の閾値（第２の閾値：閾値２）以上か否かを判断する。第２の閾値は高画質現像を行うか否かの判定に用いる閾値とする。もし、第２の閾値以上の場合はＳ１１０３に移行し、第２の閾値未満の場合はＳ１１０５に移行する。Ｓ１１０３において、制御部１６１は、バッファ部１１５に記憶されているＲＡＷ画像データに対して高画質現像を実行するよう、ＲＡＷ伸張部１１４、高画質現像部１１２、スイッチ部１２１、画像圧縮部１４１に命令（制御信号）を出す。命令を出したら、Ｓ１１０４へ遷移する。制御部１６１からの命令を受けて、ＲＡＷ伸張部１１４、高画質現像部１１２、スイッチ部１２１、画像圧縮部１４１は、高画質現像処理された画像データを取得するための処理を行うが、これらの処理は、連写時において、バッファ部１１５に対するＲＡＷ画像データの記憶動作（Ｓ１１０１、Ｓ８０１からＳ８０８、Ｓ１１０２）と並行して（バックグラウンドで）行われる。画像圧縮部１４１にて画像データの圧縮が完了した後、記録再生部１５１へ圧縮した画像データを送信する。

続くＳ１１０４において、制御部１６１は、記録再生部１５１に、高画質現像にて得られた画像データを記録する命令（制御信号）を出す。命令を出したら、Ｓ１１０５へ遷移する。制御部１６１からの命令を受けて、記録再生部１５１は圧縮された高画質現像の画像データを含む画像ファイルを記録媒体１５２へ記録する動作を開始する。この動作は、連写時における、バッファ部１１５に対するＲＡＷ画像データの記憶動作（Ｓ１１０１、Ｓ８０１からＳ８０８、Ｓ１１０２）と並行して（バックグラウンドで）行われる。その後、Ｓ１１０５に移行する。

Ｓ１１０５では、制御部１６１がバッファ部１１５の空き容量が所定の閾値（第１の閾値：閾値１）以上か否かを判断する。ここで第１の閾値は、実施形態１と同様に簡易現像を行うか否かの判定に用いる閾値とする。もし第１の閾値以上の場合はＳ８１０に移行し、第１の閾値未満の場合はＳ８１２に移行する。これらの処理については図８との関連ですでに説明したとおりである。なお、図１１では、Ｓ１１０３、Ｓ１１０４で高画質現像・記録を行った後にも、空き容量が第１の閾値以上であれば簡易現像・記録を行うこととしたが、高画質現像・記録を行った場合は簡易現像・記録を行わなくてもよい。

このように本実施形態では、高画質現像と簡易現像との実施の切り替えに際し、第１の閾値と後述する第２の閾値との２つの閾値を使ってバッファ部１１５の空き領域の大きさを判定している。その際、第２の閾値は第１の閾値よりも大きいとする。すなわち、当該第２の閾値を使用して、バッファ部１１５の空き領域の大きさが、ＲＡＷ画像データに対しバックグラウンドで高画質現像処理を行いながら以降の新たなＲＡＷ画像データを記憶することが可能な大きさか否かを判定する。仮に、高画質現像を行いながらの新たなＲＡＷ画像データの記憶が困難と判定される場合は、第１の閾値に基づき、簡易現像を行いながら新たなＲＡＷ画像データをバッファ部１１５に記憶可能か否かを判定する。また、高画質現像の後に簡易現像を行うこともできる。

以下、具体的に第１の閾値と第２の閾値について説明する。これらの閾値は実施形態１と同様、例えば、空き容量１０メガｂｙｔｅといったようにｂｙｔｅ数で設定してもよいし、バッファ部１１５にＲＡＷ画像データを記憶可能な最大値を１００％としたときの５０％というように割合で設定してもよい。また、この第１の閾値および第２の閾値は一定ではなく、様々なパラメータよって変化するように制御部１６１が制御してもよい。

例えば、撮像装置１００における連写速度が低速、中速、高速のように切り替えられるとすると、図１２（ａ）、（ｂ）のように、撮像装置１００の連写速度（単位時間当たりの撮影枚数）と、記録媒体１５２（ＳＤカード）の最低保証データ転送速度（クラス）とによって値が変化するように制御してもよい。図１２（ａ）は本実施形態に対応する第２の閾値の設定例を示し、図１２（ｂ）は本実施形態に対応する第１の閾値の設定例を示す。図１２に示すように、ＳＤカードのクラスや連写速度の条件が同じであれば図１２（ａ）に示す第２の閾値は、図１２（ｂ）に示す第１の閾値よりも大きくなる。なお、図１２に示す値はあくまで一例であって、閾値の具体的値はこれらに限定されるものではない。

なお、Ｓ１１０３、Ｓ１１０４、Ｓ８１０、Ｓ８１１、Ｓ８１２の処理において、制御部１６１より命令をうける各動作部は、連写撮影に対してバックグラウンドで処理を行うが、制御部１６１からの命令を受けたときに、前の命令の処理が完了していない場合は、新たな命令をスタックし、実行中の処理が完了した後、スタックした命令の処理を順次開始する。

以上のように、本実施形態の撮像装置１００は、バッファ部１１５の空き容量に応じて、連写撮影モード中に、画像の現像、圧縮、記録処理の内容を、高画質画像用と簡易画像用とで段階的に切り替えることができる。これによりバッファ部１１５がＲＡＷ画像データによって埋まってしまい、新たなＲＡＷ画像データがバッファ部１１５に記憶できない状態（連写速度が低下している状態）を回避することが可能である。

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０１：撮像光学部、１０２：撮像センサ部、１０３：センサ信号処理部、１０４：カメラ制御部、１０５：評価値算出部、１１０：現像部、１１１：簡易現像部、１１２：高画質現像部、１１３：ＲＡＷ圧縮部、１１４：ＲＡＷ伸張部、１１５：バッファ部、１２１：スイッチ部、１２２：表示制御部、１２３：表示部、１２４：映像出力端子、１３１：認識部、１４１：画像圧縮部、１４２：画像伸張部、１５１：記録再生部、１５２：記録媒体、１５３：通信部、１５４：通信端子

Claims (11)

1. 撮像手段と、
   前記撮像手段により得られた画像を用いてＲＡＷ画像データを生成する生成手段と、
   前記ＲＡＷ画像データを一時的に保持する保持手段と、
   前記ＲＡＷ画像データを現像処理する第１の現像手段と、
   前記第１の現像手段による現像処理により生成された第１の画像データと、前記ＲＡＷ画像データとを記録媒体に記録する記録手段と、
   前記生成手段が連続して複数の画面の前記ＲＡＷ画像データを生成する連写モードにおいて、前記保持手段における前記ＲＡＷ画像データを保持するための空き容量が第１の閾値に満たない場合、前記第１の現像手段による前記ＲＡＷ画像データの現像処理を行わないように制御を行う制御手段と
   を備えることを特徴とする撮像装置。
2. 前記制御手段は、前記連写モードにおいて単位時間あたりに生成されるＲＡＷ画像データの枚数が多いほど、前記第１の閾値を大きくすることを特徴とする請求項１に記載の撮像装置。
3. 前記制御手段は、前記記録媒体へのデータ転送速度が速くなるほど、前記第１の閾値を小さくすることを特徴とする請求項１または２に記載の撮像装置。
4. 前記連写モードにおいて、前記制御手段は、前記保持手段の前記空き容量が新たなＲＡＷ画像データを保持するのに必要な容量に満たない場合に、前記保持手段に保持され、かつ、前記記録媒体に記録されていないＲＡＷ画像データを前記記録媒体に記録するように前記記録手段を制御することを特徴とする請求項１から３のいずれか１項に記載の撮像装置。
5. 前記連写モードにおいて、前記制御手段は、前記保持手段に保持されたＲＡＷ画像データのうち前記記録媒体に記録済みのＲＡＷ画像データを前記保持手段から削除するように制御することを特徴とする請求項４に記載の撮像装置。
6. 前記ＲＡＷ画像データに対し、前記第１の現像手段が行う前記現像処理よりも処理負荷の高い現像処理を行う第２の現像手段をさらに備え、
   前記記録手段は、前記第２の現像手段により現像処理された第２の画像データを前記記録媒体に記録し、
   前記連写モードにおいて、前記制御手段は、前記保持手段における前記ＲＡＷ画像データを保持するための空き容量が前記第１の閾値よりも高い第２の閾値以上の場合に、前記第２の現像手段により前記ＲＡＷ画像データの現像処理を行うように制御することを特徴とする請求項１から５のいずれか１項に記載の撮像装置。
7. 前記ＲＡＷ画像データに対応した前記第２の画像データが生成されたか否かを示す情報を生成する手段を備え、
   前記制御手段は、前記情報が、前記第２の画像データが生成されていないことを示し、かつ、前記生成手段が前記ＲＡＷ画像データの生成を行っていない場合に、前記ＲＡＷ画像データを現像処理するように前記第２の現像手段を制御することを特徴とする請求項６に記載の撮像装置。
8. 前記第１の画像データに対応した画像、または、前記第２の画像データに対応した画像を表示部に表示させる表示制御手段と、
   前記ＲＡＷ画像データに対応した前記第２の画像データが生成されたか否かを示す情報を生成する手段と
   を更に備え、
   前記制御手段は、前記情報が、前記第２の画像データが生成されていないことを示し、かつ、前記第１の画像データに対応した画像が前記表示部において拡大されて表示される場合に、前記ＲＡＷ画像データを現像処理するように、前記第２の現像手段を制御することを特徴とする請求項６に記載の撮像装置。
9. 前記ＲＡＷ画像データを圧縮し、圧縮された状態のＲＡＷ画像データを生成するＲＡＷ圧縮手段と、
   前記圧縮された状態のＲＡＷ画像データを伸張する伸張手段と
   を更に備え、
   前記保持手段は、前記圧縮された状態のＲＡＷ画像データを一時的に保持し、
   前記第１の現像手段は、前記伸張されたＲＡＷ画像データを現像処理する
   ことを特徴とする請求項１から８のいずれか1項に記載の撮像装置。
10. 撮像手段により得られた画像を用いてＲＡＷ画像データを生成する生成工程と、
    前記ＲＡＷ画像データを保持手段に一時的に保持する保持工程と、
    前記ＲＡＷ画像データを現像処理する第１の現像工程と、
    前記第１の現像工程における現像処理により生成された第１の画像データと、前記ＲＡＷ画像データとを記録媒体に記録する記録工程と
    を備える撮像装置の制御方法であって、
    前記生成工程において連続して複数の画面の前記ＲＡＷ画像データが生成される連写モードにおいて、前記保持手段における前記ＲＡＷ画像データを保持するための空き容量が第１の閾値に満たない場合、前記第１の現像工程における前記ＲＡＷ画像データの現像処理が行われないように制御されることを特徴とする撮像装置の制御方法。
11. 撮像手段と保持手段とを備えるコンピュータを請求項１から９のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。

Images