JP6465613B2 - 画像処理装置、撮像装置、画像処理装置の制御方法、コンピュータプログラム - Google Patents

Description

本発明は、画像処理装置、撮像装置、画像処理装置の制御方法、コンピュータプログラムに関する。

撮像装置は、撮像センサが撮像した生の画像情報（ＲＡＷ画像）を輝度と色差から成る信号に変換する。得られた各信号には、例えばノイズ除去、光学的な歪補正、画像の適正化などの所謂現像処理が行われ、現像処理された輝度信号及び色差信号は圧縮符号化され、記録媒体に記録される。

一方で、ＲＡＷ画像そのものを記録できる撮像装置も存在する。ＲＡＷ画像は記録に必要なデータ量が膨大になるが、オリジナル画像に対する補正や劣化が抑えられ、撮影後に編集できる利点がある。ＲＡＷ画像を記録する装置の構成は特許文献１に開示されている。特許文献１には、ＲＡＷ画像と共に現像パラメータを記録しておき、再生時に当該現像パラメータを用いてＲＡＷ画像の現像及び再生を行う構成が記載されている。

特開２０１１−２４４４２３号公報

近年、撮像センサが進化し、画像１枚あたりの画素数が増加している。また、１秒あたりに連写できる画像の枚数も増える傾向にある。そのため、ＲＡＷ画像に対する例えばデベイヤー処理や、ノイズ除去、光学歪補正など、現像処理の処理量が相乗的に増大し、撮影と並行した現像処理を行うには、膨大な回路や消費電力を費やす場合がある。時には、例えば現像処理による回路の占有や消費電力上の制限などのために、高い撮影パフォーマンスを実行できない場合もある。

一方、前述の特許文献１のように、ＲＡＷ画像を現像せずに記録する構成ならば、撮影時の現像に係る処理量は軽減されるが、再生時にリアルタイムの現像処理を行うためにはやはり膨大な回路が必要となる。よって、撮像装置における高いパフォーマンスを実現するには、高コストの回路を搭載して高出力で駆動できるようにする必要があった。

そこで、本発明は、動画再生時のリアルタイム現像処理を、処理量の少ない簡易現像により小さい回路規模で少ない消費電力において可能としつつ、かつ、所定の条件下で高画質画像の提供を可能とする。

上記課題を解決するための本発明は、画像処理装置であって、
複数のＲＡＷ画像データを含む動画ファイルを記録媒体から読み出す読出手段と、
前記動画ファイルに含まれる複数のＲＡＷ画像データを現像する現像手段と、
前記現像された複数のＲＡＷ画像データを表示部に表示する表示制御手段と、
を備え、
前記現像手段は、
前記複数のＲＡＷ画像データが第１の表示レートで通常再生される場合、第１の現像処理を実行し、
前記複数のＲＡＷ画像データが前記第１の表示レートよりも低い表示レートでスロー再生される場合、前記通常再生される場合よりも高画質であって、かつ、前記スロー再生の表示レートに応じた画質が得られる現像処理を実行する。

本発明によれば、動画再生時のリアルタイム現像処理を、処理量の少ない簡易現像により小さい回路規模で少ない消費電力において可能としつつ、かつ、所定の条件下で高画質画像の提供も可能となる。

発明の実施形態に係る撮像装置の構成例を示すブロック図。 発明の実施形態に係る撮像装置の例示的な状態遷移図。 発明の実施形態に係る静止画ファイル、ＲＡＷファイル、動画ファイルの構成例を示す図。 発明の実施形態に係る静止画再生モードの表示例を示す図。 発明の実施形態に係る動画撮影モード時の処理の一例を示すフローチャート。 発明の実施形態に係る動画再生モード時の処理の一例を示すフローチャート。 画素配列の説明図。 発明の実施形態に係る動画再生モードの表示に係る模式図の一例。 発明の実施形態に係る動画再生モード時の処理の他の一例を示すフローチャート。 発明の実施形態に係るスロー再生表示時の現像処理の切替例を説明するための図。 発明の実施形態に係るスロー再生表示時の現像処理の他の切替例を説明するための図。

以下、図面を参照しながら、本発明の実施の形態を詳細に説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態に係る撮像装置の構成例を示すブロック図である。図１に示した撮像装置１００は、被写体を撮像して得られた画像情報を記録媒体に記録するだけでなく、画像情報を記録媒体から再生し、現像処理して表示する機能や、画像情報を外部の装置やサーバ（クラウド）等と送受信する機能を有する。従って、本発明の実施形態に係る撮像装置は、画像処理装置、記録装置、再生装置、記録再生装置、通信装置等と表現することができる。

なお、撮像装置１００は、デジタルカメラ以外に、例えばパーソナルコンピュータ、携帯電話、スマートフォン、ＰＤＡ、タブレット端末、デジタルビデオカメラなどの任意の情報処理端末或いは撮像装置とすることができる。図１の撮像装置１００において、撮像素子、表示素子、記録媒体、入力デバイスや端子のような物理的デバイスを除き、各ブロックは画像処理装置として専用ロジック回路やメモリを用いてハードウェア的に構成されてもよい。或いは、メモリに記憶されている処理プログラムをＣＰＵ等のコンピュータが実行することにより、当該画像処理装置がソフトウェア的に構成されてもよい。これらの場合、画像処理装置は撮像素子で取得された画像信号に所定の画像処理を施した後、表示素子に表示したり、記録媒体に記録したりするための装置として機能し得る。また、記録媒体に記録された画像情報を読み出して、表示素子に表示させることもできる。

図１において、制御部１６１は、ＣＰＵと、当該ＣＰＵが実行する制御プログラムを格納するメモリを含み、撮像装置１００の全体の処理を制御する。操作部１６２は、ユーザが撮像装置１００に対して指示を与えるために用いるキーやボタン、タッチパネルなどの入力デバイスを含む。操作部１６２からの操作信号は、制御部１６１によって検出され、操作に応じた動作が実行されるよう制御部１６１によって制御される。表示部１２３は、撮像装置１００において、撮影、或いは再生された画像や、メニュー画面、各種情報等を表示するための液晶ディスプレイ（ＬＣＤ）等を含む。

操作部１６２によって撮影動作の開始が指示されると、撮像対象となる被写体の光学像が、撮像光学部１０１を介して入力され、撮像センサ部１０２上に結像する。撮影時、撮像光学部１０１及び撮像センサ部１０２の動作は、評価値算出部１０５により取得される絞り、フォーカス、手ぶれ等の評価値算出結果や、認識部１３１によって抽出される被写体情報に基づいて、カメラ制御部１０４によって制御される。

撮像センサ部１０２は、画素毎に配置される赤、緑、青（ＲＧＢ）のカラーフィルターを透過した光を電気信号に変換する。図７は、撮像センサ部１０２に配置されるカラーフィルターの一例であり、撮像装置１００が扱う画像の画素配列を表している。図７に示すように、赤（Ｒ）、緑（Ｇ）、青（Ｂ）が画素毎にモザイク状に配置されていて、２×２の４画素につき赤１画素、青１画素、緑２画素を１セットにして規則的に並べられた構造となっている。このような画素の配置は、一般にベイヤ―配列と呼ばれる。

撮像センサ部１０２によって変換された電気信号は、センサ信号処理部１０３によって画素の修復処理が施される。修復処理には、撮像センサ部１０２における欠落画素や信頼性の低い画素の値に対し、周辺画素値を用いて修復対象の画素を補間したり、所定のオフセット値を減算したりする処理が含まれる。本実施形態では、センサ信号処理部１０３から出力される画像情報を、生（未現像）の画像を意味するＲＡＷ画像と称す。センサ信号処理部１０３の出力の後、不図示の符号化部によってＲＡＷ画像が画素の情報量を圧縮符号化された状態で後段の現像部１１１に供給されても良い。この場合、圧縮符号化されたＲＡＷ画像を後段の現像部１１１内で復号したものもＲＡＷ画像と称す。

ＲＡＷ画像は、現像部１１０で現像処理される。現像部１１０は、複数の異なる現像処理部を有し、第１の現像部としての簡易現像部１１１と、第２の現像部としての高画質現像部１１２とから成り、それらの出力を選択するスイッチ部１２１を含んで構成される。現像部１１０は、ＲＡＷ画像に対してデベイヤー処理（デモザイク処理）を施し、輝度と色差から成る信号に変換して、各信号に含まれるノイズを除去、光学的な歪を補正し、画像を適正化するなどの所謂現像処理を行う。

特に、高画質現像部１１２は、簡易現像部１１１よりも各々の処理を高精度に行うものである。高精度であるため、簡易現像部１１１よりも高画質な現像画像が得られるが、一方で、処理負荷が大きくなってしまう。そこで、本実施形態の高画質現像部１１２は、撮影と並行したリアルタイムの現像に特化したものではなく、撮影後に時間をかけて分散処理を行うことが可能な構成になっている。このように高画質現像を撮影時ではなく、時間をかけて後から行うようにすることで、回路規模や消費電力の増大（ピーク）を低く抑えることができる。他方、簡易現像部１１１は、高画質現像部１１２よりも、画質は低いものの、撮影中に高速に現像処理を行えるよう、高画質現像よりも現像に係る処理量が少なくなるように構成されている。簡易現像部１１１の処理負荷は小さいので、撮影動作と並行したリアルタイムの現像の際には簡易現像部１１１を用いるようにする。スイッチ部１２１は、操作部１６２によりユーザから指示された操作内容や実行中の動作モードに応じた制御に従って、制御部１６１によって切り替えられる。

なお、本実施形態では、現像部１１０の中に簡易現像部１１１と高画質現像部１１２が独立に存在する構成を示しているが、一つの現像部が動作モードを切り替えて、簡易現像と高画質現像の処理を排他的に行う構成であっても本発明の範疇である。現像部１１０によって現像処理された画像情報は、表示制御部１２２によって所定の表示処理がなされた後、表示部１２３にて表示される。また、現像処理された画像情報は、映像出力端子１２４により、外部に接続された表示機器に出力してもよい。映像出力端子１２４は、例えばＨＤＭＩやＳＤＩのような汎用インタフェースを含む。

現像部１１０によって現像処理された画像情報は、評価値算出部１０５にも供給される。評価値算出部１０５は、画像情報からフォーカス状態や露出状態などの評価値を算出する。

現像部１１０によって現像処理された画像情報は、認識部１３１にも供給される。認識部１３１は、画像情報中の被写体情報を検出及び認識する機能を有する。例えば、画像情報によって表される画面内における顔を検出し、有る場合は顔の位置を示す情報を出力し、さらに顔などの特徴情報に基づいて特定の人物の認証などを行う。

現像部１１０によって現像処理された画像情報は、静止画圧縮部１４１に供給される。画像情報を静止画として圧縮する場合は、静止画圧縮部１４１を用いる。静止画圧縮部１４１は、対象となる画像情報を高能率符号化（圧縮符号化）し、情報量が圧縮された静止画データを生成して、画像ファイル（静止画ファイル）に変換する。静止画圧縮はＪＰＥＧなどを用いることができる。

ＲＡＷ圧縮部１１３は、センサ信号処理部１０３が出力したＲＡＷ画像を、ウエーブレット変換や、差分符号化等の技術を用いて高能率符号化する。そして、圧縮された状態のＲＡＷ画像データに変換して、バッファ部（記憶媒体）１１５に格納する。ＲＡＷ画像データは、バッファ部１１５内に残しておいて再び読み出すことができるが、バッファ部１１５に格納された後、別の記録媒体に移動して記録する（バッファ部１１５から削除する）ようにしても良い。

ＲＡＷ画像データを含むＲＡＷファイルと、現像された静止画データを含む静止画ファイルは、それぞれ記録再生部１５１によって、記録媒体１５２に記録される。記録媒体１５２は、内蔵式の大容量メモリやハードディスク、又は、着脱式のメモリカード等である。記録再生部１５１は、記録媒体１５２から静止画ファイル、ＲＡＷ画像データを読み出すこともできる。

記録再生部１５１は、通信部１５３を介して、外部のストレージやサーバに、各種ファイルを書き込んだり、読み出したりすることができる。通信部１５３は通信端子１５４を用いて、無線通信や有線通信によりインターネットや外部機器にアクセス可能な構成を有する。

再生動作が開始されると、記録再生部１５１は、記録媒体１５２から、又は、通信部１５３を介して、所望のファイルを取得して再生する。再生対象のファイルがＲＡＷファイルであれば、記録再生部１５１は、取得されたＲＡＷファイルに格納されたＲＡＷ画像データをバッファ部１１５に格納する。再生対象のファイルが静止画ファイルであれば、記録再生部１５１は、取得された静止画ファイルに格納された静止画データを静止画伸張部１４３に供給する。

ＲＡＷ伸張部１１４は、バッファ部１１５に格納されているＲＡＷ画像データを読みだして、圧縮された状態のＲＡＷ画像データを復号して伸張する。ＲＡＷ伸張部１１４によって伸張されたＲＡＷ画像データは、現像部１１０に供給される。静止画伸張部１４３は、入力された静止画データを復号して伸張し、静止画の再生画像として表示制御部１２２に供給する。

次に、本実施形態の撮像装置１００の動作モードに関して、図を用いて詳細に説明する。図２は、撮像装置１００における、各動作モードの遷移を示す状態遷移図である。このようなモードの遷移は、操作部１６２からのユーザ操作指示や、制御部１６１の判断に応じて実行され、操作に応じて手動で遷移することもあれば、自動で遷移することもある。図２のように、撮像装置１００は、アイドル状態２００を経由して４つのモード、静止画撮影モード２０１、静止画再生モード２０２、動画撮影モード２０３、動画再生モード２０４に適宜切り替わって動作する。

＜静止画撮影モード２０１＞
まず、静止画撮影モード２０１について説明する。静止画撮影モード２０１では、例えば撮影指示に応答して簡易現像部１１１で現像処理された画像情報が静止画圧縮部１４１に供給され、高能率符号化処理（静止画圧縮）により簡易画像としての静止画ファイルが生成される。静止画圧縮部１４１は、ＪＰＥＧなどの公知の静止画圧縮技術を用いて圧縮処理を行い、記録再生部１５１が静止画ファイルを記録媒体１５２に記録する。また、ＲＡＷ圧縮部１１３は、撮影された静止画に対応するセンサ信号処理部１０３から出力されたＲＡＷ画像データを高能率符号化（ＲＡＷ圧縮）する。ＲＡＷ圧縮により圧縮された状態のＲＡＷ画像データはバッファ部１１５に格納される。ＲＡＷ圧縮部１１３が行う高能率符号化は、ウエーブレット変換や、差分符号化などの公知の技術により処理されるものとするが、非可逆符号化でも可逆符号化でも良い。或いは、ＲＡＷ圧縮部１１３のＲＡＷ圧縮を省略して、ＲＡＷ画像データが非圧縮の状態のままスルー出力されても良い。ＲＡＷ圧縮の有無に関わらず、本実施形態では、センサ信号処理部１０３から供給される画像情報を大きく損なわない、高画質な画像として復元可能なＲＡＷ画像データを生成する。記録再生部１５１はＲＡＷ画像データを含むＲＡＷファイルを記録媒体１５２に記録する。

ここで、本実施形態に係る、静止画ファイルの構造と、ＲＡＷファイルの構造について説明する。図３は、静止画ファイル及びＲＡＷファイルの構成例を示す図である。図３（ａ）に示す静止画ファイル３００は、記録再生部１５１によって、例えば記録媒体１５２の所定の記録エリアに記録されている。静止画ファイル３００は、ヘッダ部３０１、メタデータ部３０２、圧縮データ部３０３から成る。ヘッダ部３０１には、このファイルが静止画ファイルの形式であることを示す識別コードなどが含まれている。圧縮データ部３０３には、高能率符号化された静止画の圧縮データが含まれている。

メタデータ部３０２には、この静止画ファイルに格納された静止画データに対応したＲＡＷ画像データを含むＲＡＷファイルのファイル名の情報３０４が含まれる。また、この静止画ファイルが簡易現像部１１１によって簡易現像された静止画データを含むのか、又は高画質現像部１１２で高画質現像された静止画データを含むのかを示すフラグを含む現像ステータスの情報３０５が含まれる。また、評価値算出部１０５や認識部１３１で検知された評価値や被写体情報、及び、撮像光学部１０１や撮像センサ部１０２からの撮影時の情報（例えば、レンズ種別識別情報、センサ種別識別情報など）を含む撮影メタデータ３０６が含まれる。また、図示していないが、対応するＲＡＷファイルが記録されている記録媒体の識別コードや、記録されているフォルダのパス情報などを更に含んでも良い。

図３（ｂ）に示すＲＡＷファイル３１０は、バッファ部１１５に記憶されているか、または、記録再生部１５１によって、例えば記録媒体１５２の所定の記録エリアに記録されている。なお、バッファ部１１５にＲＡＷ画像データが記憶される場合、必ずしも図３の順にファイルの形式で各データが記憶されていなくてもよい。なお、記録媒体１５２に記録した後も、ＲＡＷ画像データ及びヘッダ部、メタデータ部の情報をバッファ部１１５に保持しておいてもよい。ＲＡＷファイル３１０は、ヘッダ部３１１、メタデータ部３１２、圧縮データ部３１３から成る。ヘッダ部３１１には、このファイルがＲＡＷファイルの形式であることを示す識別コードなどが含まれている。圧縮データ部３１３には、高能率符号化された圧縮された状態のＲＡＷ画像データが含まれている（圧縮されていないＲＡＷ画像データであっても良い）。

メタデータ部３１２には、このＲＡＷファイルに含まれるＲＡＷ画像データを現像処理することにより生成された静止画データを含む静止画ファイルのファイル名の情報３１４が含まれる。また、その静止画ファイルに含まれる静止画データが簡易現像部１１１によって簡易現像されたのか、又は高画質現像部１１２で高画質現像されたのかを示すフラグを含むことを示す現像ステータスの情報３１５が含まれる。また、評価値算出部１０５や認識部１３１で検知された評価値や被写体情報、及び、撮像光学部１０１や撮像センサ部１０２からの撮影時の情報（例えば、レンズ種別識別情報、センサ種別識別情報など）を含む撮影メタデータ３１６が含まれる。

また、図示していないが、ＲＡＷファイルが記録されている記録媒体の識別コードや、記録されているフォルダのパス情報などを更に含んでも良い。対応する静止画ファイルが記録されている記録媒体の識別コードや、記録されているフォルダのパス情報などを更に含んでも良い。或いはまた、静止画ファイルそのものをメタデータ化して、メタデータ部３１２に格納しても良い。上述した本実施形態に係る各種ファイルの構造は一例であり、ＤＣＦやＥＸＩＦなどの標準規格に準じた構成であっても良い。

なお、静止画撮影モードにて現像処理された静止画データは、簡易現像部１１１で簡易現像されているため、画素数が２００万画素以下であったり、現像処理を一部省いていたりするために、画質は限定的な品質である。撮影内容の大まかな確認としては有効であるが、画像の細部を確認したり、プリントアウトしたりする用途には十分ではない場合がある。一方、ＲＡＷ画像データは、センサ信号処理部１０３から供給される画像情報を大きく損なわない高品質を有するが、現像処理前のデータであるため、そのままの状態で表示やプリントアウトを行うのが困難である。表示やプリントアウトのためには現像処理が必要で、現像のための時間を要してしまう。また、一般にＲＡＷ画像データは、メーカ固有の形式であることが多く、ＲＡＷ画像データを扱える再生環境も限定されてしまう。

そこで、撮影動作を終えた後、アイドル状態２００においてバッファ部１１５に保持されたＲＡＷ画像データ又は記録媒体１５２等に記録されたＲＡＷファイルに格納されたＲＡＷ画像データに対し、改めて高画質に現像処理を施し、高画質の表示画像や高画質の静止画データを生成する「追いかけ現像」を行う。追いかけ現像が実行されると、既に記録されているＲＡＷ画像データを読みだして、高画質現像部１１２によって高画質に現像処理を行う。そして、高画質な現像処理を行うことにより得られた静止画データを記録媒体１５２等へ記録する。そして、このような追いかけ現像を、撮影と撮影の合間や、再生モードやスリープ状態などユーザ操作待ちの、比較的、装置の処理負荷が小さい状態において実行させる。そして、撮影時の簡易現像による静止画データを含む静止画ファイルを、高画質現像による静止画データを含む静止画ファイルに置き換えて行く。追いかけ現像は手動に限らず、制御部１６１が自動に実行させるように設計すると良い。このように構成することにより、その後に、細部の確認表示やプリントアウトなど、高画質な再生の要求においても、その都度余計な現像処理が発生せず、また、従来の静止画ファイルと同様の一般的な環境における活用が可能となる。

＜静止画再生モード２０２＞
次に静止画再生モード２０２について説明する。静止画再生モード２０２では、再生される静止画について、ユーザから拡大表示の指示を受けているかを判定する。もし、拡大指示を受けていない場合、静止画伸張部１４３が、静止画ファイルに含まれる静止画データを復号して伸張し、表示制御部１２２が表示画像を表示部１２３へ出力する。一方、拡大指示を受けた場合、静止画ファイルに含まれる静止画データが高画質現像されたものでなければ、追いかけ現像による高画質現像を実行する。高画質現像部１１２が生成される現像処理済みの画像のサイズ（画素数）は、撮像センサ部１０２から読出された全体サイズのまま、或いはユーザから設定されたサイズとなり、２００万画素以下に制限された簡易現像の画像よりも格段に高品質となる。従って、高画質現像部１１２で現像された静止画ならば、拡大表示の要求に対して十分な画質で答えることができる。なお、簡易現像による静止画データを含む静止画ファイルは、高画質現像による静止画データを含む静止画ファイルに順次置き換えられる。

ここで図４を参照して拡大表示を含む表示形態の種類を説明する。図４は、本実施形態の静止画再生モードの表示処理の例を示す図である。図４（ａ）の表示例４００は、４０１に示す６つの画像を縮小して表示部１２３に縮小表示（一覧表示）している例である。図４（ｂ）の表示例４１０は、ある１つの画像７１１の全体を表示部１２３に表示している例であり、この表示の状態を通常表示とする。図４（ｃ）の表示例４２０は、ある１つの画像の一部領域を拡大した画像４２１を表示部１２３に拡大表示している例である。例えば、撮影直後にフォーカスの適否の確認を行うような場合に、表示例４２０のように被写体像の細部を拡大表示する使われ方が一般的である。

＜動画撮影モード２０３＞
次に、撮像装置１００の動画撮影モード２０３における動作について説明する。図５に、本実施形態の動画撮影モードの処理に係るフローチャートを示す。図５のフローチャートは、制御部１６１によって、各処理ブロックを制御し実行される処理手順を図示したものであり、制御部１６１が有するメモリ（ＲＯＭ）に格納されているプログラムをメモリ（ＲＡＭ）に展開し、ＣＰＵが実行することにより実現される。

図５において動画撮影モードの処理が開始されると、Ｓ５０１において制御部１６１が撮像装置１００の処理負荷状況が低いか否かを判定する。負荷状況に応じた頻度で、処理負荷が低い場合はＳ５２０でアイドル状態へ遷移し、それ以外の場合はＳ５０２へ進む。例えば、水平解像度が４０００画素相当（４Ｋ）のように画素数の多い動画や、毎秒１２０コマ（１２０Ｐ）のようにフレームレートの高い動画が設定されているときは処理負荷が高いため、常にＳ５０２へ進む。画素数が所定値より少なかったり、フレームレートが所定の速度より低かったりする動画の撮影を行う設定のときは、動画の隣り合う第１のフレームと第２のフレームの処理の合間に、例えば半分の頻度でＳ５２０へ遷移してもよい。

Ｓ５０２において、カメラ制御部１０４が、好適な条件で動画撮影を行うよう、撮像光学部１０１や撮像センサ部１０２の動作を制御する。例えば、ユーザのズームやフォーカスの指示に従って、撮像光学部１０１に含まれるレンズが移動されたり、撮影画素数の指示に従って撮像センサ部１０２の読み出し領域が設定されたりする。また、後述の評価値算出部１０５や認識部１３１から供給される評価値の情報や被写体情報に基づいて、特定被写体へのフォーカス調整や追尾などの制御が行われる。

Ｓ５０３において、撮像センサ部１０２によって変換された電気信号に対して、センサ信号処理部１０３が画素の修復のための信号処理を施す。ここでは、欠落画素や、信頼性の低い画素の値に対し、周辺画素値を用いて補間したり、所定のオフセット値を減算したりする。本実施形態では、Ｓ５０３の処理を終えて、センサ信号処理部１０３から出力される画像情報をＲＡＷ画像と呼ぶ。

Ｓ５０４において、簡易現像部１１１がＲＡＷ画像を現像処理する。このとき、制御部１６１が現像部１１０内のスイッチ部１２１を切り替えて、簡易現像部１１１で現像処理された画像情報の出力を選択する。簡易現像部１１１は、動画の各フレームを構成するＲＡＷ画像に対してデベイヤー処理（デモザイク処理）し、輝度と色差から成る信号へ変換して、各信号に含まれるノイズを除去、光学的な歪を補正し、画像を適正化するなどの簡易現像処理を行う。簡易現像部１１１は、現像後の画像サイズを例えばＨＤ映像の２００万画素以下に制限したり、ノイズ除去や光学的な歪補正を限定的な処理に留めたり或いは省いたりすることで、現像の高速処理や簡易処理を実現している。簡易現像部１１１が、画像サイズを縮小した上で処理を行ったり、現像処理の機能を一部制限したりすることで、撮像装置１００は、例えばＨＤサイズの動画の現像を、小さい回路規模で少ない消費電力で実現することができる。

簡易現像部１１１で現像処理された画像情報は、評価値算出部１０５に供給される。Ｓ５０５にて評価値算出部１０５は、画像情報に含まれる輝度値やコントラスト値などからフォーカス状態や露出状態などの評価値を算出する。なお、評価値算出部１０５は、現像処理前のＲＡＷ画像を取得して、ＲＡＷ画像から同様に評価値を算出するようにしても良い。

また、簡易現像部１１１で現像処理された画像情報は、認識部１３１に供給される。Ｓ５０６にて認識部１３１は、画像情報から被写体（顔など）の検出を行い、被写体情報を認識する。例えば、画像情報内における顔の有無や、その位置、特定の人物の認証などを行って、その結果を情報として出力する。

また、簡易現像部１１１で現像処理された画像情報は、表示制御部１２２に供給される。Ｓ５０７にて表示制御部１２２は、取得した画像情報から表示画像を形成し、表示部１２３又は外部の表示装置に出力して、表示する。表示部１２３による表示画像は、動画撮影モードにおいて、ユーザが被写体を適切にフレーミングするための確認表示のために用いられる。具体的に、動画撮影特有の使用形態として、撮影された動画の記録開始前（スタンバイ中）だけでなく、動画の記録中（ＲＥＣ中）においても、被写体を適切にフレーミングするためのライブビュー表示のために用いられる。なお、表示画像は、表示制御部１２２から映像出力端子１２４を経由して、外部のテレビジョンなどの他の表示装置にて表示されてもよい。さらに、表示制御部１２２は、評価値算出部１０５や認識部１３１から供給される、評価値情報や被写体情報を活用して、例えば、表示画像上のフォーカスの合焦領域にマーキング表示したり、認識された顔の位置に枠を表示したりすることもできる。

Ｓ５０８において、制御部１６１は、ユーザからの記録の開始指示を受けて撮影された動画を記録中（ＲＥＣ中）であるか否かを判定する。ＲＥＣ中と判定された場合、Ｓ５１０へ進み、ＲＥＣ中ではないと判定された場合（スタンバイ中）は、Ｓ５０１へ戻って、動画の記録開始前の撮影動作とライブビュー表示を繰り返す。これにより、撮影された動画のうち記録開始から記録終了までの記録対象となる期間のＲＡＷ画像データが、センサ信号処理部１０３からＲＡＷ圧縮部１１３に供給される。Ｓ５１０にて、ＲＡＷ圧縮部１１３が供給されたＲＡＷ画像データを高能率符号化（ＲＡＷ圧縮）する。ＲＡＷ圧縮により圧縮された状態のＲＡＷ画像データはバッファ部１１５に格納される。ＲＡＷ圧縮部１１３が行う高能率符号化は、ウエーブレット変換や、差分符号化などの公知の技術により処理されるものとするが、非可逆符号化でも可逆符号化でも良い。或いは、ＲＡＷ圧縮部１１３のＲＡＷ圧縮を省略して、ＲＡＷ画像が非圧縮の状態のままスルー出力されても良い。ＲＡＷ圧縮の有無に関わらず、本実施形態では、センサ信号処理部１０３から供給される画像情報を大きく損なわない、高画質ファイルとして復元可能なＲＡＷファイルを生成する。

Ｓ５１１において、記録再生部１５１がＲＡＷ画像データを含むＲＡＷファイルを記録媒体１５２に記録した後、フローはＳ５０１に遷移する。なお、図面を用いての説明は省略するが、動画の撮影と同時に、不図示のマイクロフォンによって入力された音声情報が取得されている。記録対象となる期間の音声情報はＲＡＷ画像と対応付けられて記録される。また、Ｓ５１１において、記録再生部１５１は、ＲＡＷファイルを、通信部１５３を介して、通信端子１５４から外部のストレージに送って、外部のストレージによって記録するようにしても良い。以上が、本実施形態の動画撮影モードの処理に係るフローの説明である。

ここで、本実施形態に係るＲＡＷファイルの構造について図３（ｃ）を参照して説明する。

図３（ｃ）に示すＲＡＷファイル３２０は、記録再生部１５１によって、例えば記録媒体１５２の所定の記録エリアに記録されている。ＲＡＷファイル３２０は、ヘッダ部３２１、メタデータ部３２２、圧縮データ部３２３から成る。ヘッダ部３２１には、このファイルがＲＡＷファイルの形式であることを示す識別コードなどが含まれている。圧縮データ部３２３には、高能率符号化された動画のＲＡＷ画像データが含まれている（圧縮されていない動画のＲＡＷ画像データであっても良い）。

メタデータ部３２２には、評価値算出部１０５や認識部１３１で検知された評価値や被写体情報、及び、撮像光学部１０１や撮像センサ部１０２からの撮影時の情報（例えば、レンズ種別識別情報、センサ種別識別情報など）を含む撮影メタデータ９１６が含まれる。上述した本実施形態に係る各種ファイルの構造は一例であり、ＤＣＦ、ＡＶＣＨＤ、ＭＸＦなどの標準規格に準じた構成であっても良い。

本実施形態に係る撮像装置１００は、上述のように、動画撮影モードにおける撮影画像表示（ライブビュー表示）や、評価値を生成するための現像処理を、簡易現像部１１１によって行う。簡易現像部１１１は、現像後の画像サイズを２００万画素以下に制限したり、ノイズ除去や光学的な歪補正を限定的な処理に留めたり、或いは省いたりすることで、例えばＨＤサイズの動画の現像処理を、小さい回路規模で少ない消費電力で実現することができる。一方で、本実施形態に係る撮像装置１００は、記録期間に対応するＲＡＷファイルを生成する。ＲＡＷファイルは、センサ信号処理部１０３から供給される画像情報を大きく損なわない高画質ファイルであるが、このファイルの生成に現像処理を必要としない。そのため、４Ｋや８Ｋ（水平解像度が８０００画素相当）のように画像の画素数を高めたり、毎秒１２０コマ（１２０Ｐ）のようにフレームレートを高めたりしても、小規模な回路によって少ない消費電力でＲＡＷファイルを記録することが可能である。

＜動画再生モード２０４＞
次に、撮像装置１００の動画再生モード２０４における動作について説明する。図６に、本実施形態の動画再生モードの処理に係るフローチャートを示す。図６のフローチャートは、制御部１６１によって、各処理ブロックを制御し実行される処理手順を図示したものであり、制御部１６１が有するメモリ（ＲＯＭ）に格納されているプログラムをメモリ（ＲＡＭ）に展開し、ＣＰＵが実行することにより実現される。

図６において動画再生モードの処理が開始されると、Ｓ６０１にて制御部１６１が撮像装置１００の処理負荷状況が低いか否かを判定する。負荷状況に応じた頻度で、処理負荷が低い場合Ｓ６１０でアイドル状態へ遷移し、それ以外の場合Ｓ６０２へ進む。例えば、再生指示などのユーザ操作を待っている間は、処理負荷が低いため、Ｓ６１０へ遷移する。ユーザからの操作に応じて動画の再生が開始されている（再生中の状態を含む）場合はＳ６０２へ進む。

Ｓ６０２において、記録再生部１５１が、記録媒体１５２等から再生対象のＲＡＷファイルを読み出す。そして、Ｓ６０３において、ＲＡＷ伸張部１１４が、ＲＡＷファイルを１フレームずつ復号して伸張する。Ｓ６０４において、制御部１６１が、再生される動画について、ユーザから再生の一時停止（ポーズ）の指示を受けているかを判定する。Ｓ６０４で一時停止指示がなければ動画再生を継続するためにフローはＳ６０５に進む。

Ｓ６０５において、簡易現像部１１１がＲＡＷ画像を現像処理する。このとき、制御部１６１が現像部１１０内のスイッチ部１２１を切り替えて、簡易現像部１１１で現像処理された画像情報の出力を選択する。簡易現像部１１１は、動画の各フレームを構成するＲＡＷ画像に対してデベイヤー処理（デモザイク処理）し、輝度と色差から成る信号へ変換して、各信号に含まれるノイズを除去、光学的な歪を補正し、画像を適正化するなどの簡易現像処理を行う。簡易現像部１１１で現像処理された画像情報は、表示制御部１２２に供給される。Ｓ６０６にて表示制御部１２２は、取得した画像情報から表示画像を形成し、表示部１２３又は外部の表示装置に出力して、表示する。

ここで一例として、ＲＡＷ画像データが３８４０×２１６０画素のフレームが毎秒６０枚のフレームレートで記録され、簡易現像部１１１が回路規模を抑えるために１９２０×１０８０画素のフレームを毎秒６０枚処理可能な場合を想定する。この場合の動画ＲＡＷファイルの再生画像の一例を図８(a)に示す。図８（ａ）中、ｐ１、ｐ２、ｐ３、・・・はＲＡＷ画像データの各フレーム番号を示しているが、簡単のため、全てのフレームに記号を付与していない。１９２０×１０８０画素のフレームは、３８４０×２１６０画素のフレームを縮小して生成してもよいし、３８４０×２１６０画素のフレームの一部分を切り出して生成してもよい。なお、上記簡易現像部１１１の処理能力は、単位時間あたりに処理可能な画素数の上限であり、例えば、３８４０×２１６０画素のフレームを毎秒１５枚処理することが可能である。

図８（ｂ）は、表示画像の解像度は変えずに、フレームの表示レートを低くすることで、簡易現像部１１１で現像して表示した場合を示す。図８（ｂ）では、表示対象のフレームを４フレームおきとし、間のフレームを落としている。また、表示画像におけるフレーム番号は対応するＲＡＷ画像データのフレーム番号を割り当てている。なお、「表示レート」とは表示画像を切替える速度に相当する概念である。通常再生では１秒間に６０枚の画像を切替えるとすると、表示レートが遅くなるにつれ１秒間に表示される画像の枚数が少なくなる。例えば、通常再生の表示レートの１／２では１秒間に３０枚を切替えることとなる。表示レートを低下させていくと、最終的に画像の切替を行わない状態、即ち一時停止状態となる。

このように、表示レートを変更すれば、同じ簡易現像を行う場合であってもフレームサイズを変更しサイズの小さい複数枚数のフレームを現像処理する代わりに大きなサイズのフレームを現像処理することができる。また、以下に説明するように表示レートを変更して一時停止する場合（即ち、毎秒６０枚のＲＡＷ画像データの現像処理が必要だったところ、一時停止時の１枚の画像を現像すればよい場合）には、ＲＡＷ画像データについて行う現像処理を簡易現像処理から高画質現像処理へ切り替えてもよい。

図６の説明に戻り、Ｓ６０４で一時停止指示を受けた場合、制御部１６１が、再生及び表示中の動画を一時停止状態にするともに、一時停止されたときの停止位置のフレームを静止画として表示させるために、Ｓ６２２へフローを遷移させる。一時停止状態では、画像が静止して表示されるので、動いているときよりも細部の画質を視認しやすい状態になる。さらに、一時停止中には拡大表示の指示を受けやすいと考えられる。そこで、簡易現像されている画像よりも高画質な画像の表示を提供するため、復元されたＲＡＷ画像は、高画質現像部１１２で高画質に現像処理される。

撮像装置１００は、このように動画のＲＡＷ画像データから高画質に現像された、一時停止表示中のフレームに対応する高画質の静止画データを、新たにキャプチャすることも可能である。Ｓ６２３において、制御部１６１が、静止位置の表示画像を静止画としてユーザからキャプチャ指示を受けつけたか否かを判定する。Ｓ６２３で静止画キャプチャの指示を受けつけないならば、動画のＲＡＷ画像データから高画質に現像された静止画データは表示制御部１２２に供給され、Ｓ６０６において、表示制御部１２２が高画質に現像された静止画データの表示画像を表示部１２３へ出力する。この処理によって、動画ファイルによる一時停止表示中の画像は、ＲＡＷ画像データから高画質に現像された静止画データの表示画像によって置き換わる。

Ｓ６２３で静止画キャプチャの指示を受けつけたならば、Ｓ６２２で高画質現像部１１２によって現像処理された画像情報が静止画圧縮部１４１に供給される。静止画圧縮部１４１は、Ｓ６２４にてキャプチャによって取得した画像情報に対して高能率符号化処理（静止画圧縮）を実行する。なお、静止画圧縮部１４１は、ＪＰＥＧなどの公知の技術により圧縮処理を行う。

Ｓ６２５において、記録再生部１５１が高画質の静止画データを含む静止画ファイルを記録媒体１５２等に記録したら、フローはＳ６０６に遷移する。動画のＲＡＷファイルに含まれるＲＡＷ画像データから高画質に現像された静止画データは表示制御部１２２に供給され、Ｓ６０６において、表示制御部１２２が高画質に現像された静止画データの表示画像を表示部１２３へ出力する。この処理によって、動画ファイルによる一時停止表示中の画像は、ＲＡＷ画像データから高画質に現像された静止画データの表示画像によって置き換わる。

Ｓ６２４で静止画圧縮部１４１によって生成される高画質の静止画データを含む静止画ファイルは、図４（ａ）の静止画ファイル４００の構成を成す。メタデータ部４０２には、ＲＡＷファイルのファイル名の情報４０４として、キャプチャの元となった動画のＲＡＷファイルのファイル名が格納される。また、撮影メタデータ４０６として、静止画としてキャプチャされたフレームの時刻情報が格納され、動画のＲＡＷファイルの対応するフレーム位置を指し示すことができる。また、動画のＲＡＷファイルの対応するフレームを静止画として抽出して、対となる新たなＲＡＷファイル４１０をこのとき作成しても良い。静止画のＲＡＷファイルの生成に関しては、前述の静止画撮影モードのＳ３１０〜Ｓ３１３で説明したような方法で、静止画ファイルとＲＡＷファイルを構成する。

なお、Ｓ６０６の表示は１フレーム毎に行われ、動画再生中は、次のフレームの表示を行うため、フローはＳ６０１に戻る。Ｓ６０１において、アイドル状態Ｓ６１０に遷移した場合は、例えば上述の追いかけ現像処理が実行される。

このように、本実施形態の撮像装置１００は、簡易現像により、小さい回路規模で少ない消費電力で動画を再生することができ、一時停止状態では、高画質に現像した静止画を差し替えて表示できる。さらに、この高画質な静止画を容易に静止画ファイルとしてキャプチャすることができる。

なお、上記では表示レートの変更方法として一時停止の場合を記載したが、一時停止の後に表示画像を切替えるコマ送りの場合においても、上記と同様に切替えて表示されるべきＲＡＷ画像データを高画質現像して表示しても良い。

（第２の実施形態）
第１の実施形態では、毎秒６０枚のＲＡＷ画像データの現像処理が必要だった通常の再生状態からフレーム画像の表示レートが変更され、一時停止状態で１枚の画像を現像すればよい状態に変化した場合に、ＲＡＷ画像データについて行う現像処理を簡易現像処理から高画質現像処理へ切り替える場合を説明した。しかし、表示レートの変更は一時停止に限定されるものではなく、再生速度を低下させる場合、即ちスロー再生も含まれる。

そこで本第２の実施形態では、動画再生中にスロー再生の指示があった場合について説明する。本実施形態に係る撮像装置の構成は第１の実施形態で説明したものと同様であるので（図１参照）、ここでは、主に第１の実施形態との差異について説明する。

撮像装置１００の動画再生モードにおける動作について説明する。図９に、本実施形態の動画再生モードの処理に係るフローチャートを示す。図９のフローチャートは、制御部１６１によって、各処理ブロックを制御し実行される処理手順を図示したものであり、制御部１６１が有するメモリ（ＲＯＭ）に格納されているプログラムをメモリ（ＲＡＭ）に展開し、ＣＰＵが実行することにより実現される。

図９において動画再生モードの処理が開始されると、Ｓ９０１にて制御部１６１が撮像装置１００の処理負荷状況が低いか否かを判定する。負荷状況に応じた頻度で、処理負荷が低い場合はＳ９１０でアイドル状態へ遷移し、それ以外の場合Ｓ９０２へ進む。例えば、再生指示などのユーザ操作を待っている間は、処理負荷が低いため、Ｓ９１０へ遷移する。ユーザからの操作に応じて動画の再生が開始されている（再生中の状態を含む）場合はＳ９０２へ進む。

Ｓ９０２において、記録再生部１５１が、記録媒体１５２等から再生対象のＲＡＷファイルを読み出す。そして、Ｓ９０３において、ＲＡＷ伸張部１１４が、ＲＡＷファイルを１フレームずつ復号して伸張する。Ｓ９０４において、制御部１６１が、再生される動画について、ユーザからスロー再生の指示を受けているかを判定する。Ｓ９０４でスロー再生の指示がなければ動画再生を継続するためにフローはＳ９０５に進む。

Ｓ９０５において、簡易現像部１１１がＲＡＷ画像を現像処理する。このとき、制御部１６１が現像部１１０内のスイッチ部１２１を切り替えて、簡易現像部１１１で現像処理された画像情報の出力を選択する。簡易現像部１１１で現像処理された画像情報は、表示制御部１２２に供給される。Ｓ９０６にて表示制御部１２２は、取得した画像情報から表示画像を形成し、表示部１２３又は外部の表示装置に出力して、表示する。

Ｓ９０４でスロー再生の指示を受けた場合、Ｓ９２１に進み、制御部１６１がユーザからのスロー再生の表示レートの変更指示が１／８以下かを判定する。スロー再生の状態では、通常再生時よりも表示レートが下がるが、本実施形態では一例として１／２、１／４、１／８のいずれかの表示レートを指定して変更指示を行うことが可能な場合を想定する。この場合、Ｓ９０４では指定可能な表示レートのうち最も遅い表示レートが指定されたかどうかを判定している。仮に、指定可能な表示レートに１／１６やそれ以下のレートが含まれる場合、Ｓ９０４では所定レート以下（１／８以下）の表示レートが指定されたか否かを判定すればよい。なお、所定レートは、現像部１１０における現像処理能力に応じて決定することができる。以上により、画像の更新時間が長く、通常再生のときよりも細部の画質を視認しやすい状態になる。そこで、簡易現像されている画像よりも高画質な画像の表示を提供するようにしている。

Ｓ９２１でスロー再生の表示レートが１／８以下と判定されれば高画質現像を行う時間が十分にあるため、Ｓ９２３に遷移し、復元されたＲＡＷ画像データは、高画質現像部１１２で高画質に現像処理される。表示制御部１２２は、Ｓ９０６にて現像処理された画像情報から表示画像を形成し、表示部１２３又は外部の表示装置に出力して、表示する。

Ｓ９２１でスロー再生の表示レートが１／８よりも高いと判定された場合、Ｓ９２２において、スロー再生の表示レートに応じて、通常再生時の簡易現像と比較して高画質となるような現像処理を行う。例えば、表示レートが１／２の場合、画像の更新期間が通常再生と比較して２倍の時間あることから、現像処理にかける時間を２倍とることができる。そこで、通常再生時は３８４０×２１６０画素のフレームを１９２０×１０８０画素に縮小して現像していたところを、２５６０×１４４０画素にして現像している。また、表示レートが１／４の場合は、現像処理にかける時間を４倍とることができるため、縮小せずにＲＡＷ画像データの元々のフレームサイズと一致する３８４０×２１６０画素のフレームを現像している。

図１０に上記の各種の表示レートに対応した表示フレームについて模式的に示している。図１０（ａ）では、ＲＡＷ画像は３８４０×２１６０画素のフレーム（縦横比１６対９）が毎秒６０枚のフレームレートで記録される場合を示している。図１０（ｂ）では簡易現像部１１１は回路規模を抑えるために１９２０×１０８０画素のフレームを毎秒６０枚処理する場合を示している。なお、簡易現像部１１１の処理能力では、例えば３８４０×２１６０画素のフレームを毎秒１５枚処理することができる。図１０（ｃ）では、１／２スロー再生時の簡易現像により、２５６０×１４４０画素のフレームを毎秒３０枚処理する場合を示している。図１０（ｄ）では、１／４スロー再生時の簡易現像により、３８４０×２１６０画素のフレームを毎秒１５枚処理する場合を示している。図１０（ｅ）では、１／８スロー再生時の高画質現像により、３８４０×２１６０画素のフレームを毎秒７．５枚処理する場合を示している。なお、１／８以下のレートが存在する場合は、同様に高画質現像により、３８４０×２１６０画素のフレームが処理されることとなる。

上記の例では、現像処理に時間がかけられる場合に簡易現像を行いつつ現像するフレームの解像度を高くする例を示した。よって、表示レートが変更される場合、変更後に表示されるフレームサイズを、表示レートを低下させる前のフレームサイズよりも大きくすることができる。これ以外にも、解像度は維持しつつ、ノイズ除去や光学的な歪み補正を行うべく高画質現像を行ってもよい。図１１は、その場合の各種の表示レートに対応した表示フレームについて模式的に示している。

図１１（ａ）、（ｂ）、（ｅ）は図１０（ａ）、（ｂ）、（ｅ）と同様である。図１１（ｃ）では、１／２スロー再生時の高画質現像により、図１０（ｂ）と同じサイズの１９２０×１０８０画素のフレームを毎秒３０枚処理する場合を示している。図１１（ｄ）では、１／４スロー再生時の高画質現像により、２５６０×１４４０画素のフレームを毎秒１５枚処理する場合を示している。このように１枚のフレームに対する処理時間が増加するにつれて、フレームサイズを大きくすることができる。

次にＳ９０６にて表示制御部１２２は、現像処理された画像情報から表示画像を形成し、表示部１２３又は外部の表示装置に出力して、表示する。なお、Ｓ９０６の表示は１フレーム毎に行われ、動画再生中は、次のフレームの表示を行うため、フローはＳ９０１に戻る。Ｓ９０１において、アイドル状態Ｓ９１０に遷移した場合は、上述した図５のフローチャートに従って処理される。

このように、本実施形態の撮像装置１００は、簡易現像により、小さい回路規模で少ない消費電力で動画を再生することができ、スロー再生状態では、通常再生よりも高解像度に現像した画像や、高画質に現像した画像を表示できる。

以上が本実施形態の説明であるが、本発明は、本発明の技術思想の範囲内において、上記実施形態に限定されるものではなく、対象となる回路形態により適時変更されて適応するべきものである。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１ 撮像光学部、１０２ 撮像センサ部、１０３ センサ信号処理部、１０４ カメラ制御部、１０５ 評価値算出部、１１０ 現像部、１１１ 簡易現像部、１１２ 高画質現像部、１１３ ＲＡＷ圧縮部、１１４ ＲＡＷ伸張部、１１５ バッファ部、１２１ スイッチ部、１２２ 表示制御部、１２３ 表示部、１２４ 映像出力端子、１３１ 認識部、１４１ 静止画圧縮部、１４３ 静止画伸張部、１５１ 記録再生部、１５２ 記録媒体、１５３ 通信部、１５４ 通信端子

Claims (12)

1. 複数のＲＡＷ画像データを含む動画ファイルを記録媒体から読み出す読出手段と、
   前記動画ファイルに含まれる複数のＲＡＷ画像データを現像する現像手段と、
   前記現像された複数のＲＡＷ画像データを表示部に表示する表示制御手段と、
   を備え、
   前記現像手段は、
   前記複数のＲＡＷ画像データが第１の表示レートで通常再生される場合、第１の現像処理を実行し、
   前記複数のＲＡＷ画像データが前記第１の表示レートよりも低い表示レートでスロー再生される場合、前記通常再生される場合よりも高画質であって、かつ、前記スロー再生の表示レートに応じた画質が得られる現像処理を実行する
   ことを特徴とする画像処理装置。
2. 前記現像手段は、
   前記複数のＲＡＷ画像データが前記第１の表示レートよりも低く、かつ、所定の表示レートよりも高い表示レートで前記スロー再生される場合、前記通常再生される場合よりも高画質であって、かつ、前記スロー再生の表示レートに応じた画質が得られるように前記第１の現像処理を実行し、
   前記複数のＲＡＷ画像データが前記所定の表示レート以下の表示レートで前記スロー再生される場合、前記第１の現像処理よりも処理負荷の高い第２の現像処理を実行する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記現像手段は、前記複数のＲＡＷ画像データが前記第１の表示レートよりも低い表示レートでスロー再生される場合、前記スロー再生の表示レートに応じた画質が得られるように前記第１の現像処理よりも処理負荷の高い第２の現像処理を実行することを特徴とする請求項１に記載の画像処理装置。
4. 前記現像された複数のＲＡＷ画像データの表示の一時停止に応じて、前記複数のＲＡＷ画像データのうちの１つのＲＡＷ画像データに対して前記現像手段により前記第２の現像処理を実行して静止画データを生成し、生成した静止画データを記録媒体に記録するように制御する記録制御手段を更に備える、ことを特徴とする請求項２または３に記載の画像処理装置。
5. 前記現像手段は、前記スロー再生の表示レートに応じた画質が得られる現像処理を実行する場合、前記スロー再生の表示レートが低くなると現像後のフレームサイズを前記表示レートが低くなる前のフレームサイズよりも大きくすることを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記現像手段は、前記スロー再生の表示レートに応じた画質が得られる現像処理を実行する場合、前記スロー再生の表示レートが低くなるほど現像後のフレームサイズを大きくすることを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
7. 前記複数のＲＡＷ画像データが前記所定の表示レート以下の表示レートで前記スロー再生される場合、現像後のフレームサイズは所定のサイズと一致し、
   前記複数のＲＡＷ画像データが前記第１の表示レートよりも低く、かつ、前記所定の表示レートよりも高い表示レートで前記スロー再生される場合、現像後のフレームサイズには前記所定のサイズよりも小さいフレームサイズが含まれる
   ことを特徴とする請求項２に記載の画像処理装置。
8. 前記現像手段は、前記スロー再生の表示レートが所定の表示レート以下の場合に、現像後のフレームサイズを所定のサイズとすることを特徴とする請求項３に記載の画像処理装置。
9. 前記所定のサイズはＲＡＷ画像データが有するサイズであることを特徴とする請求項７または８に記載の画像処理装置。
10. 撮像手段と、
    前記撮像手段により得られた画像を用いてＲＡＷ画像データを生成する生成手段と、
    複数の前記ＲＡＷ画像データを含む動画ファイルを記録媒体に記録する記録手段と、
    請求項１乃至９のいずれか１項に記載の画像処理装置と
    を備えることを特徴とする撮像装置。
11. 読出手段が、複数のＲＡＷ画像データを含む動画ファイルを記録媒体から読み出す読出工程と、
    現像手段が、前記動画ファイルに含まれる複数のＲＡＷ画像データを現像する現像工程と、
    表示制御手段が、前記現像された複数のＲＡＷ画像データを表示部に表示する表示工程と
    を有し、
    前記現像工程では、
    前記複数のＲＡＷ画像データが第１の表示レートで通常再生される場合、第１の現像処理が実行され、
    前記複数のＲＡＷ画像データが前記第１の表示レートよりも低い表示レートでスロー再生される場合、前記通常再生される場合よりも高画質であって、かつ、前記スロー再生の表示レートに応じた画質が得られる現像処理が実行される
    ことを特徴とする画像処理装置の制御方法。
12. コンピュータを請求項１乃至９のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images