JP6282136B2 - 撮像装置及びその制御方法 - Google Patents

Description

本発明は、撮像装置及びその制御方法に関し、特に、動画又は静止画のＲＡＷ画像を取り扱う技術に関する。

従来の撮像装置では、撮像センサによって撮像された生の画像情報であるＲＡＷ画像をデベイヤー処理（デモザイク処理）し、輝度と色差から成る信号に変換し、各信号についてノイズ除去や光学的な歪補正、画像の適正化等の現像処理を行っている。そして、こうして現像処理された輝度信号及び色差信号を圧縮符号化して、記憶媒体に記憶している。

一方、ＲＡＷ画像をデータとして記憶することができる撮像装置が知られている。ＲＡＷ画像は、記憶に必要なデータ量が膨大になるが、オリジナル画像に対する補正や劣化が最小限に抑えられ、撮影後に編集することができる利点があるため、上級者に好んで使用されている。ＲＡＷ画像のデータを記憶可能な撮像装置の構成としては、ＲＡＷ画像自体のデータと共に現像パラメータを記憶し、再生時に、現像パラメータを用いてＲＡＷ画像の現像及び再生を行う技術が提案されている（特許文献１参照）。

特開２０１１−２４４４２３号公報

近年の撮像装置では、撮像センサの進化に伴って、画像１枚あたりの画素数が大幅に増加してきており、また、１秒間に連写可能な画像枚数も増加する傾向にある。そのため、ＲＡＷ画像に対する現像処理での情報処理量が相乗的に増大しており、撮影と並行したリアルタイムの現像処理を行うためには、情報処理能力の高い演算回路が必要になり、同時に、演算回路の駆動に大きな電力が必要になってきている。

しかしながら、情報処理能力の高い演算回路を高出力で駆動可能とする構成では、コストが高くなってしまうという問題がある。また、情報処理能力の高い演算回路を用いても、現像処理による回路の占有や消費電力の制限等のために、高い撮影パフォーマンスを実行することができない事態が起こり得る。

これに対して、上記特許文献１に記載された技術のように、ＲＡＷ画像を現像せずに記憶する構成であれば、撮影時の現像処理にかかる情報処理量を軽減することができ、これにより高い撮影パフォーマンスを実行することが可能になると考えられる。

しかし、画像データがＲＡＷ画像のように未現像の状態で記憶されている場合、撮影画像を速やかに再生表示することが困難になる。また、従来のＲＡＷ画像の記憶方式では、ＲＡＷ画像のデータの特殊性に起因して、他の機器では記憶したＲＡＷ画像を再生（現像）することができないという問題が生じてしまい、ユーザにとって利便性がよいとは言えない。

本発明は、ＲＡＷ画像を記憶可能な撮像装置において、情報処理に必要とされる回路の大型化や電力消費の増大を抑制しつつ、高い撮影パフォーマンスの実現を可能にすると共に、撮影映像（画像）の速やかな表示を可能にする技術を提供することを目的とする。

本発明に係る撮像装置は、被写体像からＲＡＷ画像を生成する撮像手段を備える撮像装置であって、前記ＲＡＷ画像を現像処理する第１の現像手段と、前記ＲＡＷ画像を前記第１の現像手段よりも処理にかかる負荷の大きい現像処理で現像処理する第２の現像手段と、前記ＲＡＷ画像、前記第１の現像手段により現像された画像および前記第２の現像手段により現像された画像を記憶する記憶手段と、前記第１の現像手段により現像処理された画像から被写体情報を抽出する抽出手段と、前記被写体情報に基づいて前記記憶手段に記憶されたＲＡＷ画像を前記第２の現像手段で現像処理するための現像優先度を求め、前記現像優先度が高い順に前記記憶手段に記憶されたＲＡＷ画像を前記第２の現像手段で現像処理する制御手段と、画像を表示する表示手段と、前記表示手段に、１フレームの縮小画像または１フレームの画像を表示する際には前記第１の現像手段により現像処理された画像を表示し、１フレームの画像の一部を拡大して表示する際には前記第２の現像手段により現像処理された画像を表示する表示処理手段と、を備えることを特徴とする。

本発明によれば、情報処理の負荷が大きくなる撮影時等には現像処理を簡易的に行い、情報処理の負荷が小さくなる撮影の合間やアイドル状態にあるときに、ＲＡＷ画像を高精度に現像する。これにより、情報処理に必要とされる回路の大型化や電力消費の増大を抑制しつつ、高い撮影パフォーマンスを実現することができ、また、撮影した映像（画像）を速やかに再生して表示することが可能になる。

本発明の実施形態に係る撮像装置の概略構成を示すブロック図である。 撮像装置が静止画撮影モードにあるときの処理のフローチャートである。 現像優先度設定ファイルの例を示す図である。 静止画ファイルと静止画のＲＡＷファイルのそれぞれのファイル構造の例を示す図である。 図２のステップＳ２２０のアイドル状態で実行される処理のフローチャートである。 撮像装置が静止画再生モードにあるときの処理のフローチャートである。 撮像装置が静止画再生モードにあるときの表示処理の例を示す図である。 撮像装置が動画撮影モードにあるときの処理のフローチャートである。 動画ファイルと動画のＲＡＷファイルのそれぞれのファイル構造の例を示す図である。 撮像装置が動画再生モードにあるときの処理のフローチャートである。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。図１は、本発明の実施形態に係る撮像装置１００の概略構成を示すブロック図である。撮像装置１００は、被写体を撮像して得られた画像情報を記憶媒体に記憶するだけでなく、画像情報を記憶媒体から再生し、現像処理して表示する機能や、画像情報を外部の装置やサーバ（クラウド）等と送受信する機能を有する。したがって、撮像装置１００は、換言すれば、画像処理装置、記憶装置、再生装置、記憶再生装置或いは通信装置と表現することができる。

撮像装置１００は、制御部１６１、操作部１６２、表示部１２３、撮像光学部１０１、撮像センサ１０２、センサ信号処理部１０３、認識部１３１、カメラ制御部１０４及び評価値算出部１０５を備える。また、撮像装置１００は、現像部１１０、ＲＡＷ圧縮部１１３、ＲＡＷ伸張部１１４及びバッファ１１５を備える。更に、撮像装置１００は、表示処理部１２２、外部出力端子１２４、静止画伸張部１４３、動画伸張部１４４、静止画圧縮部１４１、動画圧縮部１４２、記憶再生部１５１、記憶媒体１５２、通信部１５３及び通信端子１５４を備える。

制御部１６１は、不図示であるが、ＣＰＵと、ＣＰＵが実行する制御プログラム等を格納するＲＯＭと、制御プログラムを展開するワークエリアとして機能すると共にＣＰＵが取り扱う各種データやパラメータを一時記憶するＲＡＭ等を含む。制御部１６１は、制御プログラムを実行して、撮像装置１００を構成する各ブロックの動作や処理を制御することにより、撮像装置１００の全体的な動作を制御する。

操作部１６２は、ユーザが撮像装置１００に対して指示を与えるために用いるキーやボタン、タッチパネル等の入力デバイスを含む。操作部１６２を操作することにより発生する操作信号は制御部１６１によって検出され、制御部１６１は入力操作に応じた動作が実行されるように撮像装置１００を制御する。表示部１２３は、例えば液晶ディスプレイや有機ＥＬディスプレイ等の表示装置を含み、撮影中の被写体像や撮影された映像（画像）、撮像装置１００の動作条件を設定するためのメニュー画面や各種情報等を表示する。

撮像光学部１０１は、不図示のズームレンズやフォーカスレンズ等の各種のレンズを有する。また、撮像光学部１０１は、機械的な絞りやシャッタ等を備えていてもよい。撮像センサ１０２は、例えばＣＭＯＳセンサ等であり、光電変換素子とベイヤー配列型カラーフィルタ等とを含む。操作部１６２によって撮影動作の開始が指示されると、撮像対象となる被写体の光学像が撮像光学部１０１を介して入力され、撮像センサ１０２上に結像する。このとき、カメラ制御部１０４が、評価値算出部１０５から取得する評価値や認識部１３１によって抽出される被写体情報に基づいて、撮影時における撮像光学部１０１及び撮像センサ１０２の動作を制御する。なお、評価値算出部１０５が算出する評価値と、認識部１３１が抽出する被写体情報の詳細ついては、後述する。

撮像センサ１０２により光電変換された電気信号に対して、センサ信号処理部１０３によって画素の修復処理が施される。センサ信号処理部１０３が実行する画素の修復処理には、撮像センサ１０２における欠落画素や信頼性の低い画素の値に対して、周辺画素値を用いて修復対象の画素を補間する処理や、所定のオフセット値を減算する処理が含まれる。以下の説明では、センサ信号処理部１０３から出力される画像情報である生の画像（未現像の画像データ）を「ＲＡＷ画像」と称呼することとする。ただし、ＲＡＷ画像の定義としてはこれに限らず、後述するデベイヤ−処理を施した画像でも、非線形な変換処理が施される前までをＲＡＷ画像と呼ぶこともある。センサ信号処理部１０３から出力されるＲＡＷ画像は、評価値算出部１０５、現像部１１０及びＲＡＷ圧縮部１１３へ供給される。

ＲＡＷ画像は、現像部１１０において現像処理される。現像部１１０は、簡易現像部１１１（第１の現像部）と、高画質現像部１１２（第２の現像部）と、現像部１１０からの出力を簡易現像部１１１と高画質現像部１１２のどちらから行うかを選択するスイッチ部１２１とを有する。簡易現像部１１１と高画質現像部１１２は共に、ＲＡＷ画像に対してデベイヤー処理（デモザイク処理）を施して、ＲＡＷ画像を輝度と色差から成る信号に変換した後、各信号に含まれるノイズを除去し、光学的な歪を補正して画像を適正化する等の、所謂、現像処理を行う。

高画質現像部１１２は、簡易現像部１１１よりも各処理を高精度に行う。よって、簡易現像部１１１による現像処理後の現像画像よりも高画質な現像画像が高画質現像部１１２による現像処理によって得られる。しかし、その一方で、高画質現像部１１２では、現像処理のための処理負荷が簡易現像部１１１よりも大きくなる。そこで、本実施形態では、高画質現像部１１２は、撮影と並行したリアルタイムの現像に特化したものではなく、撮影後に時間をかけて分散処理を行うことが可能な構成となっており、これにより、回路規模や消費電力の増大（ピーク）を低く抑える。

他方、簡易現像部１１１は、高速に現像処理を行えるように、高画質現像部１１２よりも現像処理のための処理負荷が小さくなるように構成されている。そのため、簡易現像部１１１で生成される現像画像の画質は、高画質現像部１１２で生成される現像画像の画質よりも低いものの、撮影動作と並行したリアルタイムのＲＡＷ画像の現像には、簡易現像部１１１を用いるようにする。

スイッチ部１２１は、操作部１６２によりユーザから指示された操作内容や実行中の動作モードに応じた制御に従って、制御部１６１によって切り替えられる。なお、本実施形態では、現像部１１０の中に簡易現像部１１１と高画質現像部１１２とが独立に存在する構成としたが、１つの現像部が動作モードを切り替えることで簡易現像と高画質現像とを排他的に行うことができる構成となっていてもよい。以下の説明では、簡易現像部１１１から出力される簡易現像後の画像情報を「簡易画像情報」と称呼し、高画質現像部１１２から出力される高画質現像後の画像情報を「高画質画像情報」と称呼することとする。また、以下の説明では、簡易画像情報と高画質画像情報とを区別しない場合には、これらを併せた称呼として、適宜、「現像画像情報」を用いることとする。

現像部１１０から出力される現像画像情報は、表示処理部１２２によって所定の表示処理がなされた後、表示部１２３に表示される。また、撮像装置１００では、現像画像情報を外部出力端子１２４を介して外部に接続された表示機器（不図示）に出力することができるようになっている。外部出力端子１２４は、例えばＨＤＭＩ(登録商標)やＳＤＩのような汎用インタフェースである。

現像部１１０から出力される現像画像情報（主に簡易画像情報）は、評価値算出部１０５へ供給される。評価値算出部１０５は、センサ信号処理部１０３から取得したＲＡＷ画像或いは現像部１１０から取得した現像画像情報に含まれる輝度値やコントラスト値等から、フォーカス状態や露出状態等の評価値を算出する。

現像部１１０から出力される現像画像情報（主に簡易画像情報）は、認識部１３１へ供給される。認識部１３１は、現像画像情報から被写体情報を抽出し、認識する機能を有する。具体的には、現像画像情報によって表される画像内に人物の顔があるか否かを検出し、顔がある場合には顔の位置を示す情報を出力し、更に、顔の特徴情報（例えば、顔の形、目、鼻、口等の位置等）に基づいて特定の人物の認証（顔認証）等を行う。

現像部１１０から出力される現像画像情報は、静止画圧縮部１４１及び動画圧縮部１４２へ供給される。現像画像情報を静止画として圧縮する場合には静止画圧縮部１４１が用いられ、現像画像情報を動画として圧縮する場合には動画圧縮部１４２を用いる。静止画圧縮部１４１及び動画圧縮部１４２はそれぞれ、圧縮対象となる現像画像情報を高能率符号化（圧縮符号化）し、情報量が圧縮された画像情報を生成して、画像ファイル（静止画ファイル、動画ファイル）に変換する。なお、静止画圧縮にはＪＰＥＧ等を、動画圧縮にはＭＰＥＧ−２やＨ．２６４、Ｈ．２６５等を用いることができる。

ＲＡＷ圧縮部１１３は、センサ信号処理部１０３から出力されたＲＡＷ画像を、ウェーブレット変換や差分符号化等の技術を用いて高能率符号化して、圧縮されたＲＡＷファイル（以下「圧縮ＲＡＷファイル」という）に変換し、バッファ１１５に格納する。バッファ１１５は、圧縮ＲＡＷファイルを一時的に記憶する記憶手段である。バッファ１１５に格納された圧縮ＲＡＷファイルは後に読み出すことができるが、圧縮ＲＡＷファイルをバッファ１１５に格納した後には、別の記憶媒体に移動して記憶させると同時に、バッファ１１５から削除されるように構成してもよい。

圧縮ＲＡＷファイル、静止画ファイル及び動画ファイルは、記憶再生部１５１によって記憶媒体１５２に記憶される。記憶媒体１５２は、内蔵式の大容量メモリやハードディスク、着脱式のメモリカード等である。記憶再生部１５１は、記憶媒体１５２から静止画ファイル、動画ファイル及び圧縮ＲＡＷファイルを読み出すこともできる。また、記憶再生部１５１は、通信部１５３を介して外部の不図示のストレージやサーバに対して、静止画ファイル等の各種ファイルの書き込みと読み出しを行うことができる。通信部１５３は通信端子１５４を用いて、無線通信或いは有線通信により、不図示のインターネットや外部機器にアクセスする機能を有する。

操作部１６２を通して静止画又は動画の再生動作が指示されると、制御部１６１の制御下において、記憶再生部１５１は、記憶媒体１５２から又は通信部１５３を介して、所定のファイルを取得する。記憶再生部１５１は、再生対象がＲＡＷ画像である場合には、取得した圧縮ＲＡＷファイルをバッファ１１５に格納する。また、記憶再生部１５１は、再生対象が静止画である場合には、取得した静止画ファイルを静止画伸張部１４３へ供給し、再生対象が動画である場合には、取得した動画ファイルを動画伸張部１４４へ供給する。ＲＡＷ伸張部１１４は、取得した圧縮ＲＡＷファイルを復号して伸張し、伸張ＲＡＷファイルを生成する。ＲＡＷ伸張部１１４は、生成した伸張ＲＡＷファイルを、現像部１１０の簡易現像部１１１又は高画質現像部１１２へ供給する。静止画伸張部１４３は、取得した静止画ファイルを復号して伸張し、静止画の再生画像として表示処理部１２２へ供給する。動画伸張部１４４は、取得した動画ファイルを復号して伸張し、動画の再生画像として表示処理部１２２へ供給する。表示処理部１２２は、取得した静止画又は動画の再生画像に対して必要な表示処理を施して表示部１２３に表示する。

上記の通りに構成された撮像装置１００には、静止画撮影モード、静止画再生モード、動画撮影モード、動画再生モードの４つの動作モードがある。これらの動作モードはそれぞれ、アイドル状態を経由して切り替え可能となっており、ユーザによる操作部１６２の操作、指示により切り替えられるようになっている。また、これらの動作モードはそれぞれ、制御部１６１の判断にしたがって自動的に切り替わる場合がある。

図２は、撮像装置１００が静止画撮影モードにあるときの処理のフローチャートである。図２に示す各処理は、制御部１６１が有するＣＰＵがＲＯＭに格納されているプログラムをＲＡＭに展開し、実行することにより、制御部１６１の制御下で撮像装置１００の各ブロックが所定の動作と処理を実行することにより実現される。

静止画撮影モードでの処理が開始されると、ステップＳ２０１において、制御部１６１が、撮像装置１００における情報処理負荷（以下「処理負荷」という）が小さい状況にあるか否かを判定する。制御部１６１は、処理負荷が小さい場合（Ｓ２０１でＹＥＳ）、撮像装置１００がアイドル状態にあると判定し、処理をステップＳ２２０へ進めてアイドル状態での処理を実行し、処理負荷が小さくない場合（Ｓ２０１でＮＯ）、処理をステップＳ２０２へ進める。例えば、静止画の高速連写中は処理負荷が大きいため、常に処理はステップＳ２０２へ進められる。一方、通常の単発撮影を行う場合、第１の撮影と第２の撮影の合間（１枚の静止画を撮影してから、次の静止画の撮影を行うまでの間）に、例えば半分の頻度で、処理はステップＳ２２０へ進められる。

ステップＳ２０２では、カメラ制御部１０４が、好適な条件で撮影が行われるように、撮像光学部１０１と撮像センサ１０２の動作を制御する（カメラ制御）。具体的には、ユーザのズームやフォーカスの指示に従って、撮像光学部１０１が有するレンズの移動が行われ、撮影画素数の指示に従って撮像センサ１０２の読み出し領域が設定される。また、評価値算出部１０５が算出した評価値や認識部１３１が検出した被写体情報に基づいて、特定の被写体へのフォーカス調整や追尾等の制御が行われる。

続くステップＳ２０３では、センサ信号処理部１０３が、撮像センサ１０２から出力される電気信号に対して、画素の修復のための信号処理（欠落画素、信頼性の低い画素の値に対する周辺画素値を用いた補間処理、所定のオフセット値の減算処理等）を施す。これにより、センサ信号処理部１０３からＲＡＷ画像が出力される。その後のステップＳ２０４では、簡易現像部１１１がＲＡＷ画像を現像処理する。このとき、制御部１６１は、現像部１１０から簡易現像部１１１で生成された簡易画像情報が出力されるように、スイッチ部１２１を設定する。

なお、簡易現像部１１１は、具体的には、現像後の画像サイズを２００万画素以下に制限し、ノイズ除去や光学的な歪補正を限定的な処理に留め或いは省く等して、現像の高速処理や簡易処理を実現する。これにより撮像装置１００では、例えば２００万画素の毎秒６０コマというパフォーマンスの撮影を、小さい回路規模で、且つ、少ない消費電力で実現することができる。

簡易現像部１１１から出力される簡易画像情報は、評価値算出部１０５へ供給される。これにより、ステップＳ２０５では、評価値算出部１０５が、簡易画像情報からフォーカス状態や露出状態等の評価値を算出する。なお、評価値算出部１０５は、センサ信号処理部１０３からＲＡＷ画像を取得して、ＲＡＷ画像から前記の評価値を算出するようにしてもよい。また、簡易現像部１１１から出力される簡易画像情報は、認識部１３１へ供給される。これにより、ステップＳ２０６では、認識部１３１が、簡易画像情報に基づいて被写体検出を行い、被写体情報を生成して、出力する。更に、簡易現像部１１１から出力される簡易画像情報は、表示処理部１２２へ供給される。これによりステップＳ２０７では、表示処理部１２２が、取得した簡易画像情報から表示画像を生成し、表示部１２３又は外部出力端子１２４を経由して外部のテレビジョン等の他の表示装置に出力する。こうして、画像表示が行われる。

なお、表示部１２３による表示画像は、静止画撮影モードにおいて、ユーザが被写体を適切にフレーミングするためのライブビュー表示（撮影スルー画像表示）に用いられる。また、表示処理部１２２は、評価値算出部１０５から供給される評価値や認識部１３１から供給される被写体情報を活用して、例えば、表示画像上の合焦領域へのマーキング表示や認識された顔の位置への枠表示等を行うことができる。

その後のステップＳ２０８において、制御部１６１は、ユーザから撮影指示が入力されたか否かを判定する。撮影指示は、不図示のシャッタボタンの押下や、表示部１２３がタッチパネル機能を有する場合におけるタッチパネルへのタッチにより行われる。制御部１６１は、撮影指示がない場合（Ｓ２０８でＮＯ）、処理をステップＳ２０１へ戻し、撮影指示があった場合（Ｓ２０８でＹＥＳ）、処理をステップＳ２０９へ進める。

ステップＳ２０８の撮影指示に応答して、簡易現像部１１１で現像処理された簡易画像情報が静止画圧縮部１４１へ供給される。これによりステップＳ２０９では、静止画圧縮部１４１が、ＪＰＥＧ等の周知の静止画圧縮技術を用いて、取得した簡易画像情報に対して高能率符号化処理（静止画圧縮）を施し、静止画ファイルを生成する。続くステップＳ２１０では、記憶再生部１５１が、ステップＳ３０９で生成した静止画ファイルを記憶媒体１５２に記憶する。

また、ステップＳ２０８の撮影指示に応答して、ＲＡＷ圧縮部１１３は、撮影された静止画に対応するＲＡＷ画像をセンサ信号処理部１０３から取得する。そこで、ステップＳ２１１では、ＲＡＷ圧縮部１１３が、取得したＲＡＷ画像に対して高能率符号化処理（ＲＡＷ圧縮）を施し、ＲＡＷファイルを生成して、バッファ１１５に格納する。

なお、ＲＡＷ圧縮部１１３が行う高能率符号化処理は、非可逆符号化でもあってもよいし、可逆符号化であってもよい。また、ＲＡＷ圧縮部１１３によるＲＡＷ圧縮を省略して、ＲＡＷ画像が非圧縮の状態のままスルー出力されるようにしてもよい。本実施形態では、ＲＡＷ圧縮の有無にかかわらず、センサ信号処理部１０３から出力されるＲＡＷ画像の情報を大きく損なうことのない、高画質ファイルとして復元可能なＲＡＷファイルが生成される。

ステップＳ２１２では、記憶再生部１５１が、ステップＳ２１１で生成されたＲＡＷファイルを記憶媒体１５２に記憶する。なお、ステップＳ２１０，Ｓ２１２において、記憶再生部１５１は、静止画ファイル及び／又はＲＡＷファイルを、通信部１５３を介し、通信端子１５４を通して、外部のストレージへ送信して記憶するようにしてもよい。

その後のステップＳ２１３において、制御部１６１は、現像優先度を管理する現像優先度設定ファイルの生成と更新を行う。現像優先度は、後述する追いかけ現像処理において複数の高画質現像部１１２による現像処理が終わっていない画像が存在する場合にどの画像から先に現像処理を行うかを示すパラメータである。本実施形態では、現像優先度は、認識部１３１で認識された顔の数や人物の認証の結果に応じて設定される。具体的には、顔の数が多くなるにしたがって現像優先度は高く設定され、顔が予め登録されている人物が多くなるほど（顔認証に成功した人数が多くなるほど）、現像優先度はより高く設定される。例えば、認識された顔の数毎に１ポイントを加算し、登録された人物である場合には２ポイントを加算し、画像毎に算出した合計ポイントを現像優先度とする。これにより、現像優先度は、風景写真よりも人物写真の方が高くなり、また人物写真の中でも登録されている人物が映っている写真（例えば、家族や自分の写真）の方がより高くなる。

現像優先度をＲＡＷファイルと関連付けたリストが、現像優先度ファイルとして作成され、記憶媒体１５２に記憶される。また、既に現像優先度ファイルが存在する場合には、作成した現像優先度ファイルをその末尾に追加することで、現像優先度ファイルは更新される。

図３は、現像優先度設定ファイルの例を示す図である。図３に示すように、現像優先度設定ファイルでは、ＲＡＷファイルのファイル名と現像優先度とがセットになったデータで構成される。ステップＳ２１３での現像優先度設定ファイルの生成、更新が行われると、制御部１６１により、処理はステップＳ２０１に戻される。

ここで、静止画ファイルと静止画のＲＡＷファイルのそれぞれのファイル構造について説明する。図４（ａ）は、静止画ファイルのファイル構造の例を示す図であり、図４（ｂ）は、静止画のＲＡＷファイルのファイル構造の例を示す図である。

図４（ａ）に示すように、静止画ファイル４００は、ヘッダ部４０１、メタデータ部４０２及び圧縮データ部４０３から成る。ヘッダ部４０１には、このファイルが静止画ファイルの形式であることを示す識別コード等が含まれる。メタデータ部４０２は、ＲＡＷファイル名４０４、現像ステータス４０５及び撮影メタデータ４０６を含む。ＲＡＷファイル名４０４は、この静止画ファイルと同時に生成された静止画のＲＡＷファイルのファイル名である。現像ステータス４０５は、この静止画ファイル４００が簡易現像部１１１又は高画質現像部１１２によって現像されたことを示す情報である。一例として、現像ステータス４０５には、その静止画ファイルが簡易現像部１１１で生成されたものか高画質現像部１１２で生成されたものかを識別するためのフラグが立てられる。撮影メタデータ４０６は、評価値算出部１０５が算出した評価値や認識部１３１で検知された被写体情報、撮影時の情報（撮像光学部１０１のレンズ種別識別情報や撮像センサ１０２のセンサ種別識別情報等）を含む。なお、不図示であるが、メタデータ部４０２は、この静止画ファイル４００と同時に生成されたＲＡＷファイルが記憶されている記憶媒体１５２等の識別コードや記憶されているフォルダのパス情報等を更に含んでいてもよい。圧縮データ部４０３には、高能率符号化された静止画の圧縮データが含まれる。

図４（ｂ）に示す静止画のＲＡＷファイル４１０は、ヘッダ部４１１、メタデータ部４１２及び圧縮データ部４１３から成る。ヘッダ部４１１には、このファイルがＲＡＷファイルの形式であることを示す識別コード等が含まれる。メタデータ部４１２は、ファイル名４１４、現像ステータス４１５及び撮影メタデータ４１６を含む。ファイル名４１４は、このＲＡＷファイルと同時に生成された静止画ファイルのファイル名である。現像ステータス４１５は、ファイル名４１４が示す静止画ファイルが簡易現像部１１１又は高画質現像部１１２によって現像されたことを示す情報である。撮影メタデータ４１６は、評価値算出部１０５が算出した評価値や認識部１３１で検知された被写体情報、撮影時の情報（撮像光学部１０１のレンズ種別識別情報や撮像センサ１０２のセンサ種別識別情報等）を含む。なお、不図示であるが、メタデータ部４１２は、静止画のＲＡＷファイル４１０と同時に生成された静止画ファイルが記憶されている記憶媒体１５２等の識別コードや記憶されているフォルダのパス情報などを更に含んでもいてもよい。更に、メタデータ部４１２は、ＲＡＷファイル４１０と同時に生成された静止画ファイル４００自体をメタデータ化したデータを格納していてもよい。圧縮データ部４１３には、ＲＡＷ画像を高能率符号化した圧縮データが含まれるが、圧縮されていないＲＡＷ画像のデータであってもよい。

なお、図４に示したファイル構造は一例であり、ＤＣＦやＥＸＩＦ等の標準規格に準じた構成であってもよい。

上述の通り、撮像装置１００は、静止画撮影モードにおいて、撮影指示があるまでのライブビュー表示や撮影指示に応答して生成される静止画ファイルのための現像処理を簡易現像部１１１によって行う。また、撮像装置１００は、静止画の撮影指示に応答して、ＲＡＷファイルを生成するが、ＲＡＷファイルの生成に現像処理は必要とされない。そのため、撮像装置１００では、静止画の画素数や連写スピードを高めながらも、小規模な回路を用いて、少ない消費電力でＲＡＷファイルを記憶することができる。

次に、図２のステップＳ２２０について説明する。図５は、ステップＳ２２０のアイドル状態で実行される処理のフローチャートである。図５に示す各処理は、制御部１６１が有するＣＰＵがＲＯＭに格納されているプログラムをＲＡＭに展開し、実行することにより、制御部１６１の制御下で撮像装置１００の各ブロックが所定の動作と処理を実行することにより実現される。

撮像装置１００がアイドル状態にあるとき、ステップＳ５０１において、制御部１６１が、ユーザの設定により追いかけ現像を行うか否かを判定する。制御部１６１は、追いかけ現像を行わない場合（Ｓ５０１でＮＯ）、処理をステップＳ５０２へ進め、追いかけ現像を行う場合（Ｓ５０１でＹＥＳ）、処理をステップＳ５２０へ進める。

ステップＳ５０２，Ｓ５０３，Ｓ５０４，Ｓ５０５において、制御部１６１は、ユーザが静止画撮影モード、静止画再生モード、動画撮影モード及び動画再生モードの４つの動作モードからどの動作モードを選択したかを判定する。そして、制御部１６１は、撮像装置１００を選択された動作モードで動作させるために、処理をステップＳ５１０，Ｓ５１１，Ｓ５１２，Ｓ５１３のいずれかに進める。ステップＳ５０２〜Ｓ５０５の処理は、その順序を問わず、全ての判定の結果が「ＮＯ」となった場合、処理はステップＳ５０１へ戻される。

ステップＳ５２０〜Ｓ５２７の処理は、追いかけ現像に関係する処理である。これらの処理について説明する前に、追いかけ現像について説明する。本実施形態において、「追いかけ現像」とは、撮影動作を終えた後、バッファ１１５又は記憶媒体１５２等に記憶されたＲＡＷファイルをソースとして、改めて高画質に現像処理を施し、高画質の静止画ファイルや表示画像を生成する処理を指す。追いかけ現像は、静止画と動画の両方のＲＡＷファイルを対象とするが、以下の説明では、静止画のＲＡＷファイルを例に取り上げて説明を行うこととする。

既に説明した通り、撮影時に生成される静止画ファイルは、簡易現像部１１１で現像されたものであるため、その画質は高くはなく、よって、撮影内容の大まかな確認としては有効であるが、画像の細部の確認やプリントアウトの用途には十分ではない場合がある。一方、静止画ファイルと同時に生成されるＲＡＷファイルは、画像情報を大きくは損なわないが、現像処理前のデータであるため、画像表示やプリントアウトに即時に対応することができず、現像処理を行う時間が必要となる。また、ＲＡＷファイルは、ＪＰＥＧ等のように広く普及したファイルではないため、ＲＡＷファイルを取り扱うことができる再生環境も限定されてしまう。

そこで、本実施形態では、追いかけ現像は、記憶されているＲＡＷファイルを読み出して高画質現像部１１２による高画質な現像処理を行った後、所定の圧縮処理等を行って生成した静止画ファイルを記憶媒体１５２等に記憶することで実行される。そして、このような追いかけ現像を、撮影と撮影の合間やアイドル状態（スリープ状態）等のユーザ操作待ち状態、つまり、撮像装置１００の処理負荷が比較的小さい状態において実行する。これにより、後に細部の確認表示やプリントアウト等の高画質な画像再生の要求に対して、その都度、現像処理を行う必要がなくなり、従来の静止画ファイルと同様の一般的な使用環境での活用が可能になる。なお、追いかけ現像は、手動で実行する構成に限らず、制御部１６１が自動で実行する構成とすることで、ユーザにとっては利便性が高くなる。

ステップＳ５２０〜Ｓ５２７の処理の説明に戻る。記憶媒体１５２等には、図４を参照して説明したように、１回の撮影指示に対して静止画ファイルとＲＡＷファイルとが１組となって記憶されている。そこで、ステップＳ５２０において、制御部１６１は、高画質現像部１１２での現像処理（追いかけ現像）が未処理のＲＡＷファイルがあるか否かを判定する。その判定方法としては、次のような方法がある。本実施形態では、後述するように、ＲＡＷファイルを追いかけ現像することにより生成された高画質の静止画ファイルは、簡易現像部１１１により生成された静止画ファイルを上書きする形で記憶媒体１５２等に記憶される。そこで、静止画ファイル４００のメタデータ部４０２に格納されている現像ステータス４０５に、その静止画ファイルが簡易現像部１１１で生成されたものか追いかけ現像により高画質現像部１１２で生成されたものかを識別するためのフラグを立てる。これにより、制御部１６１は、そのフラグを参照してステップＳ５２０の判定を行うことができる。また、静止画のＲＡＷファイル４１０の現像ステータス４１５に、追いかけ現像が終了したか否かを示すフラグを立て、制御部１６１がそのフラグを参照して、ステップＳ５２０の判定を行うようにしてもよい。或いは、一連の撮影された静止画に対して、現像処理の状態を示すテーブルファイルを別に用意し、制御部１６１がこのテーブルファイルを参照して、ステップＳ５２０の判定を行うようにしてもよい。

制御部１６１は、未処理のＲＡＷファイルがある場合（Ｓ５２０でＹＥＳ）、処理をステップＳ５２１へ進め、未処理のＲＡＷファイルがない場合（Ｓ５２０でＮＯ）、処理をステップＳ５０２へ戻す。ステップＳ５２１において、制御部１６１は、追いかけ現像を行う静止画のＲＡＷファイルを選択する。ＲＡＷファイルの選択は、図３に示した現像優先度設定ファイルを参照して、最も現像優先度の高い画像のＲＡＷファイルを選択することによって行われる。なお、現像優先度設定ファイルにおいて、選択されたＲＡＷファイルに関するデータは、以降は不要となるために削除され、これにより現像優先度設定ファイルの更新が行われる。

続くステップＳ５２２において、制御部１６１は、ステップＳ５２１で選択した画像に対応するＲＡＷファイルが、バッファ１１５にバッファリングされているか否かを判定する。制御部１６１は、ＲＡＷファイルがバッファリングされている場合（Ｓ５２２でＹＥＳ）、処理をステップＳ５２４へ進め、ＲＡＷファイルがバッファリングされていない場合（Ｓ５２２でＮＯ）、処理をステップＳ５２３へ進める。

ステップＳ５２３において、制御部１６１は、追いかけ現像の対象とされたＲＡＷファイルを記憶媒体１５２等から読み出す。なお、バッファ１１５では、静止画撮影モードで撮影された新しい画像から優先的に保持されるようにデータの更新が行われ、過去に撮影された画像から順にバッファ１１５から削除される。これにより、直前に撮影された画像は常にバッファ１１５に保持されているため、ステップＳ５２３をスキップすることができる場合が多くなり、処理の高速化を図ることができる。また、直前に撮影された画像から時刻を遡って追いかけ現像を行うようにすることで、バッファ１１５に保持されている画像を優先的に処理することができ、処理の効率化を図ることができる。

ステップＳ５２４では、ＲＡＷ伸張部１１４が、バッファ１１５又は記憶媒体１５２から読み出したＲＡＷファイルを伸張処理し、ＲＡＷ画像を復元する。続くステップＳ５２５では、高画質現像部１１２が、復元されたＲＡＷ画像を高画質に現像する。高画質現像部１１２により現像された画像のサイズ（画素数）は、撮像センサ１０２から読出された全体サイズのまま又はユーザにより設定されたサイズとなり、簡易現像部１１１により現像された画像よりも格段に高品質（高画質）なものとなる。

なお、高画質現像部１１２は簡易現像部１１１よりも現像処理を高精度に行うため、高画質の画像を得ることができる。その一方で、高画質現像部１１２では、処理負荷が簡易現像部１１１よりも大きくなってしまう。本実施形態では、高画質現像部１１２での現像処理を、撮影と並行したリアルタイムで実行することを避け、時間に余裕のあるときに行う構成としており、これにより回路規模の大型化と消費電力の増大を抑えることを可能としている。

高画質現像部１１２で生成された高画質画像情報は、スイッチ部１２１を経由して表示処理部１２２や静止画圧縮部１４１へ出力される。よって、ステップＳ５２６では、静止画圧縮部１４１が、取得した高画質画像情報に対して高能率符号化処理（静止画圧縮）を施して高画質の静止画ファイルを生成する。

続くステップＳ５２７では、記憶再生部１５１が、静止画圧縮部１４１から出力された高画質の静止画ファイルを記憶媒体１５２等に記憶する。その際、記憶再生部１５１は、高画質の静止画ファイルに、その元となったＲＡＷファイルと同時に記憶された簡易現像による静止画ファイルと同じファイル名を付して、簡易現像による静止画ファイルを上書きする。よって、簡易現像による静止画ファイルは削除（消去）されることになる。そして、記憶再生部１５１は、追いかけ現像の元となったＲＡＷファイルにおけるメタデータ部４１２内の現像ステータス４１５を、高画質現像部１１２での現像がなされたこと（追いかけ現像されたこと）を示す情報（フラグ）に変更し、ＲＡＷファイルを更新する。なお、ステップＳ５２７で記憶媒体１５２記憶される高画質の静止画ファイルは、図４（ａ）に示す静止画ファイル４００と同じファイル構造を有する。

ステップＳ５２７の後、制御部１６１は、処理をステップＳ５０２へ戻す。その結果、追いかけ現像が未処理のＲＡＷファイルがある場合には、引き続き、高画質現像部１１２による現像処理が行われることとなる。

以上の説明の通り、本実施形態では、撮像装置１００は、撮影と撮影との合間や再生モードにあるとき、アイドル状態等のユーザによる操作待ち等の、比較的、処理負荷が小さいときに追いかけ現像（高画質現像部１１２による現像処理）を実行する。そして、撮影時の簡易現像による静止画ファイルを、ＲＡＷファイルに基づく高画質現像による静止画ファイルに置き換えていく。上記説明では、静止画についての処理を取り上げたが，動画についての処理も同様に行われる。よって、撮影時の簡易現像による動画ファイルも、ＲＡＷファイルを用いた高画質現像による動画ファイルに置き換えていく。これにより、細部の確認表示やプリントアウト等の高画質な再生が要求されたときに、その都度、現像処理を行う必要がなくなり、従来の静止画ファイルを活用する場面と同等の操作感や使用感を得ることができる。

追いかけ現像での処理枚数（処理能力）よりも撮影枚数（撮影頻度）が多い場合には、未現像の画像が複数枚存在する状況となるが、前述の通りに現像優先度が設定され、現像優先度に従った順番で追いかけ現像が行われる。このような構成は、例えば、通信部１５３を介して静止画ファイルを外部機器と共有する場合に特に有用となる。即ち、本実施形態では、現像優先度は、風景写真よりも人物写真で高く、人物写真でも複数の人物が写っており、且つ、登録された人物が写っている場合に高くなり、登録される人物は家族や友人である場合が多い。そのため、家族や友人との集合写真を撮影後に速やかに各自の携帯端末に送って皆で写真を観賞しながら楽しむといった場合には、集合写真が他の写真よりも優先的に高画質で現像処理されるため、速やかな画像の共有が可能になる。これにより、画像を共有する相手にとっても、現像処理の待ちの時間を最小限とすることができる利点がある。

次に、撮像装置１００が静止画再生モードにあるときの処理について説明する。図６は、撮像装置１００が静止画再生モードにあるときの処理のフローチャートである。図６に示す各処理は、制御部１６１が有するＣＰＵがＲＯＭに格納されているプログラムをＲＡＭに展開し、実行することにより、制御部１６１の制御下で撮像装置１００の各ブロックが所定の動作と処理を実行することにより実現される。

静止画再生モードの処理が開始されると、先ず、ステップＳ６０１において、制御部１６１は、撮像装置１００の処理負荷が小さいか否かを判定する。制御部１６１は、処理負荷が小さい場合（Ｓ６０１でＹＥＳ）、撮像装置１００がアイドル状態にあると判定し、処理をステップＳ６１０へ進めてアイドル状態での処理を実行し、処理負荷が小さくない場合（Ｓ６０１でＮＯ）、処理をステップＳ６０２へ進める。例えば、再生指示等のユーザ操作を待っている間は処理負荷が小さいため、処理はステップＳ６１０へ移行され、ユーザ操作により静止画再生が開始されている（再生中の状態を含む）場合には、処理負荷は大きいために処理はステップＳ６０２へ進められる。なお、ステップＳ６１０では、先に図５のフローチャートを参照して説明した処理が実行される。

ステップＳ６０２において、制御部１６１は、再生対象とされた画像について、ユーザから拡大表示の指示を受けているか否かを判定する。制御部１６１は、拡大表示の指示がある場合（Ｓ６０２でＹＥＳ）、処理をステップＳ６０３へ進め、拡大表示の指示がない場合（Ｓ６０２でＮＯ）、処理をステップＳ６２０へ進める。

ここで、拡大表示の表示形態について説明する。図７は、静止画再生モードでの表示処理の例を示す図である。図７各図に示す第１の表示画面７００、第２の表示画面７１０及び第３の表示画面７２０はそれぞれ、表示部１２３が有する液晶ディスプレイ或いは有機ＥＬディスプレイ等の画面である。

図７（ａ）の第１の表示画面７００には、６つの縮小画像７０１が表示されている。図７（ｂ）の第２の表示画面７１０には、図７（ａ）に示す６つ縮小画像７０１の内の１つを画面全体に表示した標準画像７１１が表示されている。図７（ｃ）の第３の表示画面７２０には、図７（ａ）に示す６つ縮小画像７０１の内の１つの画像（ここでは、図７（ｂ）に示す画像）の一部領域を拡大させた拡大画像７２１が表示されている。例えば、撮影直後にフォーカスの適否の確認を行う場合には、第３の表示画面７２０のように被写体像の細部を拡大表示するような使われ方が一般的に行われる。

第３の表示画面７２０のように拡大画像７２１の表示を行う場合、処理はステップＳ６０２からステップＳ６０３へ移行することになる。一方、第１の表示画面７００のように１フレームの画像を縮小した１又は複数の縮小画像７０１を表示する場合には、処理はステップＳ６０２からステップＳ６２０へ移行することになる。また、第２の表示画面７１０のように１フレームの画像に相当する標準画像７１１を表示する場合には、表示画素数が簡易現像による静止画ファイルの画素数（上述の例の場合、２００万画素以下）と同じか又はそれ以下であれば、処理はステップＳ６０２からステップＳ６２０へ移行することになる。これは、表示画像が、簡易現像による静止画ファイルの画素数で足りる場合には、静止画ファイルが簡易現像部１１１で現像処理されたものであっても、十分な画質で表示することができるからである。

ステップＳ６２０では、記憶再生部１５１が記憶媒体１５２等から再生対象の静止画ファイルを読み出し、続くステップＳ６２１では、静止画伸張部１４３が静止画ファイルを復号して伸張する。その後、処理はステップＳ６０８へ進められる。ステップＳ６０８において、表示処理部１２２は、図７（ａ）又は図７（ｂ）のように画像表示を行う。

拡大表示を行う場合には、表示される画像が、簡易現像による静止画ファイルの画素数では足りないことが起こり得る。即ち、簡易現像による静止画ファイルを用いて表示したのでは、解像感の低下を招いてしまう。そこで、拡大表示を行う場合のステップＳ６０３では、制御部１６１が、再生対象とされた画像の静止画ファイルが、高画質現像部１１２で現像済みか否かを判定する。ここでの判定の方法は、図５を参照して説明したステップＳ５２０の判定方法に準じ、よって、ここでの詳細な説明は省略する。

制御部１６１は、高画質現像部１１２で現像済みの場合（Ｓ６０３でＹＥＳ）、処理をステップＳ６２０へ進める。これは、高画質画像情報に基づいて生成され、記憶媒体１５２に記憶されている静止画ファイルであれば、読み出して拡大しても、十分な画質での表示が可能であるからである。

制御部１６１は、高画質現像部１１２での現像が行われていない場合（Ｓ６０３でＮＯ）、処理をステップＳ６０４へ進め、これにより、高画質現像部１１２による現像処理、つまり、追いかけ現像が実行されることになる。これは、高画質現像部１１２によって現像処された静止画であれば、拡大表示の要求に対して十分な画質で応えることができるからである。ステップＳ６０４〜Ｓ６０７では、図５を参照して説明したステップＳ５２２〜Ｓ５２５と同じ処理が行われるため、ここでの詳細な説明は省略する。

ステップＳ６０７の高画質現像部１１２での現像処理が終了すると、高画質画像情報がスイッチ部１２１を経由して表示処理部１２２に出力される。これにより、ステップＳ６０８では、表示処理部１２２は、図７（ｃ）のように画像表示を行う。ステップＳ６０８の画像表示が実行されると、制御部１６１は処理をステップＳ６０１へ戻す。

なお、ステップＳ６０４〜Ｓ６０７での高画質現像処理は、撮影直後等の、まだ追いかけ現像が実行されていないタイミングで発生することが想定される。本実施形態では、撮像装置１００が処理負荷の小さいアイドル状態にあるときに追いかけ現像が徐々に終了し、簡易現像された静止画ファイルが自然に高画質現像された静止画ファイルに置き換えられる。こうして静止画ファイルの置き換えが進むにつれて、ステップＳ６０４〜Ｓ６０７の高画質現像処理を実行するケースが減少するため、拡大表示に対して速やかに高画質画像を出力することができるようになり、操作性をより一層高めることができる。

また、本実施形態では、バッファ１１５にＲＡＷファイルが保持されている場合、ステップＳ６０５の処理をスキップすることができるため、素早く拡大画像を表示することができるようになる。そこで、バッファ１１５にできるだけ多くのＲＡＷファイルが保持された状態となる構成とすることが好ましい。具体的には、図７（ａ）の第１の表示画面７００や図７（ｂ）の第２の表示画面７１０がなされている場合に、拡大表示に備えて、縮小画像７０１や標準画像７１１に対応するＲＡＷファイルを予め記憶媒体１５２等から読み出して、バッファ１１５へ移動させるようにする。こうして拡大表示の指示に先行してＲＡＷファイルを読み出してバッファリングすることにより、図７（ｃ）の第３の表示画面７２０のような拡大画像７２１の表示指示がなされたときに、より素早く対応することができ、ユーザの操作感や使用感を向上させることができる。

次に、撮像装置１００が動画撮影モードにあるときの処理について説明する。図８は、撮像装置１００が動画撮影モードにあるときの処理のフローチャートである。図８に示す各処理は、制御部１６１が有するＣＰＵがＲＯＭに格納されているプログラムをＲＡＭに展開し、実行することにより、制御部１６１の制御下で撮像装置１００の各ブロックが所定の動作と処理を実行することにより実現される。

動画撮影モードの処理が開始されると、ステップＳ８０１において、制御部１６１は、撮像装置１００の処理負荷が小さいか否かを判定する。制御部１６１は、処理負荷が小さい場合（Ｓ８０１でＹＥＳ）、撮像装置１００がアイドル状態にあると判定し、処理をステップＳ８２０へ進めてアイドル状態での処理を実行し、処理負荷が小さくない場合（Ｓ８０１でＮＯ）、処理をステップＳ８０２へ進める。例えば、水平解像度が４０００画素相当（４Ｋ）や８０００画素相当（８Ｋ）のように画素数の多い動画や、毎秒１２０コマ（１２０Ｐ）のようにフレームレートの高い動画が設定されているときは、処理負荷が高いため、処理は常にステップＳ８０２へ進められる。一方、画素数が所定値より少ない場合やフレームレートが所定速度より低い場合には、動画の第１のフレームと第２のフレームの処理の合間に、例えば、処理は半分の頻度でステップＳ８２０へ進められる。

ステップＳ８０２では、カメラ制御部１０４が、適切な条件で動画撮影を行うように撮像光学部１０１や撮像センサ１０２の動作を制御する。具体的には、カメラ制御部１０４は、ユーザのズームやフォーカスの指示に従って、撮像光学部１０１に含まれるレンズを移動させ、撮影画素数の指示に従って撮像センサ１０２の読み出し領域を設定する。また、評価値算出部１０５と認識部１３１からそれぞれ供給される評価値と被写体情報とに基づいて、特定被写体へのフォーカス調整や追尾等の制御が行われる。

続くステップＳ８０３において、センサ信号処理部１０３が、撮像センサ１０２から出力される電気信号に対して、画素の修復のための信号処理を施す。例えば、欠落画素や信頼性の低い画素の値に対して、周辺画素値を用いた補間処理や所定のオフセット値の減算処理が行われる。本実施形態では、センサ信号処理部１０３から出力される生（未現像）の動画の映像情報を、先に説明した静止画撮影の場合と同様に、「ＲＡＷ画像」と称呼することとする。

ステップＳ８０４では、簡易現像部１１１が、ＲＡＷ画像を現像処理する。このとき、制御部１６１は、簡易現像部１１１から簡易画像情報が出力されるように、スイッチ部１２１を設定する。簡易現像部１１１は、具体的には、現像後の画像サイズを、例えばＨＤ映像の２００万画素以下に制限し、ノイズ除去や光学的な歪補正を限定的な処理に留め或いは省いて簡易化する。これにより、現像処理の高速化を実現すると共に、ＨＤサイズの動画の高速撮影を小さい回路規模で、且つ、少ない消費電力で実現することができる。

簡易現像部１１１で生成された簡易画像情報は、評価値算出部１０５へ供給される。これにより、ステップＳ８０５において、評価値算出部１０５は、簡易画像情報に含まれる輝度値やコントラスト値等からフォーカス状態や露出状態等の評価値を算出する。なお、評価値算出部１０５は、現像処理前のＲＡＷ画像を取得し、取得したＲＡＷ画像から同様に評価値を算出するようにしてもよい。また、簡易現像部１１１で生成された簡易画像情報は、認識部１３１へ供給される。ステップＳ８０６において、認識部１３１は、簡易画像情報から、顔の有無や位置、特定の人物の認証等の被写体検出を行い、その結果を被写体情報として出力する。

簡易現像部１１１で生成された簡易画像情報は、表示処理部１２２へ供給される。ステップＳ８０７において、表示処理部１２２は、取得した簡易画像情報から表示画像を形成し、表示部１２３又は外部の表示装置に出力し、表示する。表示部１２３による表示画像は、動画撮影モードにおいて、ユーザが被写体を適切にフレーミングするための確認表示に用いられる。例えば、動画撮影中の表示画像は、静止画撮影とは異なり、撮影された動画の記憶開始前（スタンバイ中）だけでなく、録画中（ＲＥＣ中）においても被写体を適切にフレーミングするためのライブビュー表示に用いられる。

なお、表示処理部１２２から外部出力端子１２４を経由して、外部のテレビジョン等の他の表示装置に画像表示を行ってもよい。また、表示処理部１２２は、評価値算出部１０５と認識部１３１からそれぞれ供給される評価値や被写体情報を活用して、表示画像上の合焦領域に対するマーキング表示や認識された顔の位置への枠表示等を行うようにしてもよい。

ステップＳ８０８において、制御部１６１は、ユーザからの録画開始指示を受けて、動画が録画中（ＲＥＣ中）であるか否かを判定する。制御部１６１は、録画中の場合（Ｓ８０８でＹＥＳ）、処理をステップＳ８０９へ進め、録画中でない場合、つまり、スタンバイ中の場合（Ｓ８０８でＮＯ）、処理をステップＳ８０１へ戻す。

ステップＳ８０９において、動画圧縮部１４２は、録画開始から録画終了までの間の撮影対象について簡易現像部１１１で生成された撮影動画である簡易画像情報を逐次取得しており、取得した簡易画像情報に対してフレーム単位で圧縮処理を施す。その際、不図示であるが、動画の撮影と同時に不図示のマイクロフォンによって音声情報が取得されており、動画圧縮部１４２は撮影動画に対応する音声情報に対しても圧縮処理を施す。なお、動画圧縮部１４２は、簡易画像情報及び音声情報に対して、ＭＰＥＧ−２、Ｈ．２６４或いはＨ．２６５等の周知の動画圧縮技術を用いて高能率符号化処理（動画圧縮）を施すことで動画ファイルを生成する。続くステップＳ８１０では、記憶再生部１５１が、動画圧縮部１４２から出力される動画ファイルを記憶媒体１５２に記憶する。

録画開始から録画終了までの間の撮影対象についてセンサ信号処理部１０３から出力されたＲＡＷ画像（ステップ８０８において録画対象となった動画に対応する期間のＲＡＷ画像）は、ＲＡＷ圧縮部１１３へ供給されている。そこで、ステップＳ８１１では、ＲＡＷ圧縮部１１３が、センサ信号処理部１０３から取得したＲＡＷ画像を高能率符号化（ＲＡＷ圧縮）してＲＡＷファイルを生成し、生成されたＲＡＷファイルをバッファ１１５に格納する。

なお、ＲＡＷ圧縮部１１３が行う動画のＲＡＷ画像に対する高能率符号化は、静止画のＲＡＷ画像に対する処理と同様に、ウェーブレット変換や差分符号化等の周知技術により行うことができ、非可逆符号化であってもよいし可逆符号化でもあってもよい。また、ＲＡＷ圧縮部１１３のＲＡＷ圧縮を省略して、ＲＡＷ画像が非圧縮の状態のままスルー出力されてもよい。本実施形態では、ＲＡＷ圧縮部１１３による高能率符号化の有無に関わらず、センサ信号処理部１０３から供給される画像情報を大きく損なわない高画質ファイルとして復元可能なＲＡＷファイルが生成されるものとする。

ステップＳ８１２では、記憶再生部１５１が、ＲＡＷ圧縮部１１３から出力されるＲＡＷファイルを記憶媒体１５２に記憶する。その後、処理はステップＳ８０１へ戻される。ステップＳ８１０，Ｓ８１２において、記憶再生部１５１は、動画ファイル及び／又はＲＡＷファイルを通信部１５３により通信端子１５４を介して外部のストレージに送って記憶するようにしてもよい。

ここで、動画ファイルと動画のＲＡＷファイルのそれぞれのファイル構造について説明する。図９（ａ）は、動画ファイルのファイル構造の例を示す図であり、図９（ｂ）は、動画のＲＡＷファイルのファイル構造の例を示す図である。図９（ａ）に示す動画ファイル９００と図９（ｂ）に示す動画のＲＡＷファイル９１０はそれぞれ、記憶再生部１５１によって、例えば、記憶媒体１５２の所定の記憶エリアに記憶されている。

動画ファイル９００は、ヘッダ部９０１、メタデータ部９０２、圧縮データ部９０３から成る。ヘッダ部９０１には、このファイルが動画ファイルの形式であることを示す識別コード等が含まれる。メタデータ部９０２は、ファイル名情報９０４、現像ステータス９０５及び撮影メタデータ９０６を含む。ファイル名情報９０４は、この静止画ファイルと同時に生成された動画のＲＡＷファイルのファイル名である。現像ステータス９０５は、この動画ファイルが簡易現像部１１１又は高画質現像部１１２によって現像されたことを示す情報である。撮影メタデータ９０６は、評価値算出部１０５が算出した評価値や認識部１３１で検知された被写体情報、撮影時の情報（例えば、撮像光学部１０１のレンズ種別識別情報や撮像センサ１０２のセンサ種別識別情報等）を含む。なお、不図示であるが、メタデータ部９０２は、この動画ファイル９００と同時に生成された動画のＲＡＷファイルが記憶されている記憶媒体１５２等の識別コードや、記憶されているフォルダのパス情報等を更に含んでいてもよい。圧縮データ部９０３には、高能率符号化された動画と音声の圧縮データが含まれる。

図９（ｂ）に示す動画のＲＡＷファイル９１０は、ヘッダ部９１１、メタデータ部９１２、圧縮データ部９１３から成る。ヘッダ部９１１には、このファイルがＲＡＷファイルの形式であることを示す識別コード等が含まれる。メタデータ部９１２は、ファイル名９１４、現像ステータス９１５及び撮影メタデータ９１６を含む。ファイル名９１４は、このＲＡＷファイルと同時に生成された動画ファイルのファイル名である。現像ステータス９１５は、ファイル名９１４が示す動画ファイルが簡易現像部１１１又は高画質現像部１１２によって現像されたことを示す情報である。撮影メタデータ９１６は、評価値算出部１０５が算出した評価値や認識部１３１で検知された被写体情報、撮影時の情報（例えば、撮像光学部１０１のレンズ種別識別情報や撮像センサ１０２のセンサ種別識別情報等）を含む。なお、不図示であるが、メタデータ部９１２は、動画のＲＡＷファイル９１０と同時に生成された動画ファイルが記憶されている記憶媒体１５２等の識別コードや、記憶されているフォルダのパス情報などを更に含んでもいてもよい。また、メタデータ部９１２は、動画のＲＡＷファイル９１０と同時に生成された動画ファイルの全部又は一部（先頭フレームなど）を抽出してメタデータ化したデータを格納していてもよい。圧縮データ部９１３には、動画のＲＡＷ画像を高能率符号化したデータが含まれるが、動画の圧縮されていないＲＡＷ画像のデータであってもよい。

なお、図９に示したファイル構造は一例であり、ＤＣＦやＡＶＣＨＤ、ＭＸＦ等などの標準規格に準じた構成であってもよい。

図８を参照して説明した通り、撮像装置１００は、動画撮影モードでの動作時のＲＡＷ画像の現像処理を簡易現像部１１１で行うと共に、録画時に動画ファイルを生成する際に、その動画ファイルに対応するＲＡＷファイルを生成する。生成されるＲＡＷファイルは、センサ信号処理部１０３から供給される画像情報を大きく損なわない高画質ファイルであるが、現像処理を必要としない。そのため、４Ｋや８Ｋのように画素数を高めた動画撮影や毎秒１２０コマ（１２０Ｐ）のようにフレームレートを高めた動画撮影の現像処理を、小さい回路規模で、且つ、少ない消費電力で実現することができる。

次に、撮像装置１００が動画再生モードにあるときの処理について説明する。図１０は、撮像装置１００が動画再生モードにあるときの処理のフローチャートである。図１０に示す各処理は、制御部１６１が有するＣＰＵがＲＯＭに格納されているプログラムをＲＡＭに展開し、実行することにより、制御部１６１の制御下で撮像装置１００の各ブロックが所定の動作と処理を実行することにより実現される。

動画再生モードの処理が開始されると、先ず、ステップＳ１００１において、制御部１６１は、撮像装置１００の処理負荷が小さいか否かを判定する。制御部１６１は、処理負荷が小さい場合（Ｓ１００１でＹＥＳ）、撮像装置１００がアイドル状態にあると判定し、処理をステップＳ１０１０へ進めてアイドル状態での処理を実行する。制御部１６１は、処理負荷が小さくない場合（Ｓ１００１でＮＯ）、処理をステップＳ１００２へ進める。例えば、再生指示等のユーザ操作を待っている間は、処理負荷が低いため、処理はステップＳ１０１０へ進められ、ユーザ操作により動画再生が開始された場合や動画再生中の場合には、処理はステップＳ１００２へ進められる。

ステップＳ１００２において、制御部１６１は、再生動画についてユーザから再生の一時停止（ポーズ）の指示を受けているか否かを判定する。制御部１６１は、一時停止指示がない場合（Ｓ１００２でＮＯ）、動画再生を継続するために処理をステップＳ１００３へ進め、一時停止指示があった場合（Ｓ１００２でＹＥＳ）、処理をステップＳ１０２０へ進める。

ステップＳ１００３では、記憶再生部１５１が、記憶媒体１５２等から再生対象の動画ファイルを読み出す。そして、ステップＳ１００４において、動画伸張部１４４が、動画ファイルを１フレームずつ復号して伸張し、こうして生成した動画の再生画像を表示処理部１２２へ出力する。その後のステップＳ１００５では、表示処理部１２２が、動画伸張部１４４から取得した動画の再生画像に所定の処理を施して表示部１２３へ出力し、これにより表示部１２３に動画が再生表示される。

ステップＳ１００２で一時停止指示を受けて処理がステップＳ１０２０へ進められた場合、制御部１６１は、再生中（表示中）の動画を一時停止状態にすると共に、一時停止位置でのフレームを静止画として表示させる。こうして静止画が表示された状態になると、画像が動いているときよりも細部の画質を視認しやすくなる。また、一時停止中には拡大表示の指示を受けやすいと考えられる。そこで、本実施形態では、一時停止の指示があった場合には、簡易現像された動画ファイルのフレームよりも高画質なフレームを表示することとする。

そのために、ステップＳ１０２０において、記憶再生部１５１が、再生中の動画ファイルに対応する動画のＲＡＷファイルの、更に一時停止表示中のフレームに対応するＲＡＷ画像のフレームを読み出す。このとき、記憶再生部１５１は、再生対象となるＲＡＷファイルがバッファ１１５にバッファリングされていれば、バッファ１１５から読み出しを行い、バッファリングされていなければ、記憶媒体１５２等から読み出しを行う。

ステップＳ１０２１において、ＲＡＷ伸張部１１４は、バッファ１１５又は記憶媒体１５２等から読み出した動画のＲＡＷファイルを復号して伸張し、ＲＡＷ画像を復元し、復元したＲＡＷ画像を高画質現像部１１２へ供給する。続くステップＳ１０２２において、高画質現像部１１２は、取得したＲＡＷ画像を高画質に現像処理し、高画質画像情報が生成される。

撮像装置１００では、動画のＲＡＷファイルから高画質に現像された、再生一時停止により表示中のフレームに対応する高画質の静止画を、新たな静止画ファイルとしてキャプチャすることが可能となっている。そこで、ステップＳ１０２３において、制御部１６１は、再生一時停止位置の表示画像を静止画としてキャプチャするユーザ指示を受けつけたか否かを判定する。制御部１６１は、静止画キャプチャの指示を受け付けていない場合（Ｓ１０２３でＮＯ）、処理をステップＳ１００５へ進める。これにより、高画質現像部１１２から高画質画像情報が表示処理部１２２へ供給され、表示処理部１２２は、再生一時停止により表示中のフレームに対応する高画質の静止画を表示部１２３へ出力する。これにより、ステップＳ１００５において、表示部１２３に表示されている簡易現像された動画のフレームは、高画質に現像された静止画に切り替わる。

制御部１６１は、静止画キャプチャの指示を受け付けた場合（Ｓ１０２３でＹＥＳ）、処理をステップＳ１０２４へ進める。その際に、高画質現像部１１２から高画質画像情が報が静止画圧縮部１４１へ供給される。よって、ステップＳ１０２４では、静止画圧縮部１４１が、高画質現像部１１２から取得した高画質画像情を用い、キャプチャ指示を受けた静止画の画像情報に対してＪＰＥＧ等の周知技術を用いて高能率符号化処理（静止画圧縮）を施す。こうして生成された高画質の静止画ファイルは、記憶再生部１５１へ供給される。

ステップＳ１０２５において、記憶再生部１５１は、静止画圧縮部１４１から取得した高画質の静止画ファイルを記憶媒体１５２等に記憶する。その後、制御部１６１は、処理をステップＳ１００５へ進め、これにより、表示部１２３に表示されている簡易現像された動画のフレームは、高画質に現像された静止画に切り替わる。

なお、ステップＳ１０２４で静止画圧縮部１４１によって生成される高画質の静止画ファイルは、図４（ａ）の静止画ファイル４００の同様の構成を成す。そのメタデータ部４０２には、ＲＡＷファイル名４０４として、キャプチャ元となった動画のＲＡＷファイルのファイル名が格納される。また、その撮影メタデータ４０６には、静止画としてキャプチャされたフレームの時刻情報が格納され、動画のＲＡＷファイルの対応するフレーム位置を指し示される。ステップＳ１０２４で高画質の静止画ファイルを生成した際に、動画のＲＡＷファイルの対応するフレームを静止画として抽出して、対となる新たな静止画のＲＡＷファイル４１０を作成するようにしてもよい。静止画のＲＡＷファイルを生成する場合、図２を参照して説明したステップＳ２１０〜Ｓ２１３の処理を用いて、静止画ファイルとＲＡＷファイルとを構成すればよい。

なお、ステップＳ１００５の画像表示は１フレーム毎に行われ、動画再生中は、次のフレームの表示を行うために、処理はステップＳ１００１へ戻される。ステップＳ１００１からステップＳ１０１０へ進んだ場合には、先に説明した図５のフローチャートに従った処理が実行される。

以上の説明の通り、撮像装置１００では、動画再生モードにあるときには、記憶媒体１５２等に記憶された動画ファイルを用いて、遅延なく動画を再生することができる。また、動画再生を一時停止させた状態では、一時停止時の表示画像をＲＡＷファイルから高画質に現像した静止画に差し替えて表示することができ、高画質な静止画を静止画ファイルとしてキャプチャすることができる。これらの機能は、ユーザにとって利便性の高いものとなる。

また、図１０のステップＳ１０２０〜Ｓ１０２５の高画質現像処理は、撮影直後等の、追いかけ現像が実行されていないタイミングで発生することが想定される。本実施形態では、撮影と撮影との合間や再生モードやアイドル状態等のユーザ操作待ちの、撮像装置１００が、比較的、処理負荷が小さい状態のときに動画のＲＡＷファイルの追いかけ現像が徐々に終了する。これにより、簡易現像による動画ファイルが自然に高画質現像による動画ファイルに置き換わる。こうして動画ファイルの置き換えが進むにつれて、ステップＳ１０２０〜Ｓ１０２５の処理が発生するケースが減少するため、速やかに高画質画像を出力することができるようになり、操作性をより一層高めることができる。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。

本発明は以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

１０１ 撮像光学部
１０２ 撮像センサ
１０３ センサ信号処理部
１０４ カメラ制御部
１０５ 評価値算出部
１１０ 現像部
１１１ 簡易現像部
１１２ 高画質現像部
１１５ バッファ
１２２ 表示処理部
１２３ 表示部
１３１ 認識部
１５１ 記憶再生部
１５２ 記憶媒体

Claims (4)

1. 被写体像からＲＡＷ画像を生成する撮像手段を備える撮像装置であって、
   前記ＲＡＷ画像を現像処理する第１の現像手段と、
   前記ＲＡＷ画像を前記第１の現像手段よりも処理にかかる負荷の大きい現像処理で現像処理する第２の現像手段と、
   前記ＲＡＷ画像、前記第１の現像手段により現像された画像および前記第２の現像手段により現像された画像を記憶する記憶手段と、
   前記第１の現像手段により現像処理された画像から被写体情報を抽出する抽出手段と、
   前記被写体情報に基づいて前記記憶手段に記憶されたＲＡＷ画像を前記第２の現像手段で現像処理するための現像優先度を求め、前記現像優先度が高い順に前記記憶手段に記憶されたＲＡＷ画像を前記第２の現像手段で現像処理する制御手段と、
   画像を表示する表示手段と、
   前記表示手段に、１フレームの縮小画像または１フレームの画像を表示する際には前記第１の現像手段により現像処理された画像を表示し、１フレームの画像の一部を拡大して表示する際には前記第２の現像手段により現像処理された画像を表示する表示処理手段と、を備えることを特徴とする撮像装置。
2. 前記ＲＡＷ画像を一時的に記憶するバッファ手段をさらに備え、
   前記制御手段は、前記表示手段に前記１フレームの縮小画像または前記１フレームの画像を表示する際に、表示画像に対応するＲＡＷ画像の前記第２の現像手段による現像処理が終了していない場合には、前記表示画像に対応するＲＡＷ画像を前記記憶手段から読み出して前記バッファ手段に記憶させることを特徴とする請求項１に記載の撮像装置。
3. 撮像装置の制御方法であって、
   撮影時に被写体像からＲＡＷ画像を生成する生成ステップと、
   前記生成ステップで生成されたＲＡＷ画像に対して現像処理を行う第１の現像ステップと、
   前記ＲＡＷ画像と前記第１の現像ステップにより現像された画像とを所定の記憶手段に記憶する第１の記憶ステップと、
   前記第１の現像ステップで現像処理された画像から被写体情報を抽出する抽出ステップと、
   前記ＲＡＷ画像を前記第１の現像ステップよりも処理にかかる負荷の大きい現像処理で現像処理する第２の現像ステップと、
   前記被写体情報に基づいて前記記憶手段に記憶されたＲＡＷ画像を前記第２の現像ステップで現像処理するための現像優先度を求め、前記現像優先度が高い順に前記記憶手段に記憶されたＲＡＷ画像を前記第２の現像ステップで現像処理する制御ステップと、
   前記第１の現像ステップまたは前記第２の現像ステップで現像された画像を表示手段に表示する表示ステップと、を有し、
   前記表示ステップでは、１フレームの縮小画像または１フレームの画像を表示する際には前記第１の現像ステップで現像処理された画像を前記表示手段に表示し、１フレームの画像の一部を拡大して表示する際には前記第２の現像ステップで現像処理された画像を前記表示手段に表示することを特徴とする撮像装置の制御方法。
4. 前記制御ステップでは、前記表示ステップにおいて前記表示手段に前記１フレームの縮小画像または前記１フレームの画像を表示する際に、表示画像に対応するＲＡＷ画像の前記第２の現像ステップによる現像処理が終了していない場合には、前記表示画像に対応するＲＡＷ画像を前記記憶手段から読み出してバッファ手段に一時的に記憶させることを特徴とする請求項３に記載の撮像装置の制御方法。

Images