(第1の実施形態)
以下、図面を参照しながら、本発明の実施の形態を詳細に説明する。
図1は、本発明の第1の実施形態に係る画像処理装置の構成例を示すブロック図である。図1では、本実施形態に係る画像処理装置として、撮像装置100を例に示す。撮像装置100は、被写体を撮像して得られた画像情報を記録媒体に記録するだけでなく、画像情報を記録媒体から再生し、現像処理して表示する機能や、画像情報を外部の装置やサーバ(クラウド)等と送受信して編集したりする機能を有する。従って、本実施形態に係る画像処理装置は、撮像装置と表現できるだけでなく、記録装置、再生装置、記録再生装置、通信装置、又は編集装置、或いは画像処理システム又は編集システム等とも表現することができる。
図1において、制御部161は、CPUと、当該CPUが実行する制御プログラムを格納する不図示のメモリを含み、撮像装置100の全体の処理を制御する。操作部162は、ユーザーが撮像装置100に対して指示を与えるために用いるキーやボタン、タッチパネルなどの入力デバイスを含む。操作部162からの操作信号は、制御部161によって検出され、操作に応じた動作が実行されるよう制御部161によって各部が制御される。表示部123は、撮像装置100において、撮影、或いは再生された画像や、メニュー画面、各種情報等を表示するための液晶ディスプレイ(LCD)等を含む。
本実施形態において、撮影又は撮影動作とは、被写体像を撮像し、撮像によって得られた画像を表示部123に表示する動作、又は、さらにその画像をファイルとして所定の記録媒体に記録するまでの動作を意味する。
操作部162によって撮影動作の開始が指示されると、撮像対象となる被写体の光学像が、レンズ群から成る光学部101を介して入力され、撮像センサー部102上に結像される。撮影時、光学部101及び撮像センサー部102の動作は、評価値算出部105によって取得される絞り、フォーカス、手ぶれ等の評価値算出結果や認識部131によって抽出される顔認識結果等の被写体情報に基づいて、カメラ制御部104によって制御される。
撮像センサー部102は、画素毎に配置される赤、緑、青(RGB)のモザイクカラーフィルターを透過した光を電気信号に変換する。撮像センサーの解像度としては、例えば4K(800万画素以上)又は8K(3300万画素以上)に対応する。図11は、撮像センサー部102に配置されるカラーフィルターの一例を示す図であり、撮像装置100が扱う画像の画素配列を表している。図11に示すように、赤(R)、緑(G)、青(B)が画素毎にモザイク状に配置されていて、2×2の4画素につき赤1画素、青1画素、緑2画素を1セットにして規則的に並べられた構造となっている。撮像センサー部102によって変換された電気信号は、赤(R)、緑(G)、青(B)の各成分を含む。なお、緑(G)は、位置毎に異なる2種類の緑(G0、G1)の成分として扱うこともできる。このような画素の配置は、一般にベイヤ―配列と呼ばれる。
撮像センサー部102によって変換された電気信号は、センサー信号処理部103によって画素の修復処理が施される。修復処理には、撮像センサー部102における欠落画素や信頼性の低い画素の値に対し、周辺画素値を用いて修復対象の画素を補間したり、所定のオフセット値を減算したりする処理が含まれる。なお、修復処理の一部又は全部が、この時点で行われずに、後段の現像時に行われるよう変更しても良い。
本実施形態では、センサー信号処理部103から出力される画像情報を、生(未現像)の画像を意味するRAW画像情報(以降、RAW画像)と称す。RAW画像は、効率的に記録するためにRAW圧縮部113に供給されて圧縮を施される。また、RAW画像は表示や再生を効率的に行う目的からRAW縮小部109によってそのサイズが縮小される。RAW縮小部109は、入力されたRAW画像を例えばHDサイズ(200画素相当)にリサイズする。以降、RAW縮小部109によって縮小されたRAW画像を縮小RAW画像と称す。
縮小RAW画像は、現像部110内のライブビュー現像部111へ供給され、撮影時の表示(ライブビュー)に用いるために現像処理が施される。また、縮小RAW画像は、簡易再生或いは編集時のプロキシに用いるためにRAW圧縮部113にも供給される。縮小RAW画像は、RAW画像同様に、効率的に記録するためにRAW圧縮部113によって圧縮を施されてから記録される。さらに、縮小RAW画像は、評価値算出部105にも供給される。
ここで現像部110について詳細に説明する。現像部110は、撮影時にライブビュー用の現像を行うライブビュー現像部111(第1の現像部)と、非撮影時に高画質な現像を行う高画質現像部112(第2の現像部)とを有し、それらの出力を選択するスイッチ部121を含んで構成される。ライブビュー現像部111は、縮小RAW画像を撮影と並行してリアルタイムに現像する能力を備え、高画質現像部112は、縮小RAW画像よりも大きい縮小前のRAW画像を非リアルタイムに高精細に現像する能力を備える。本実施形態では、ライブビュー現像を簡易現像または表示用現像と表現し、高画質現像を要求に応じたタイミングで実行される本現像又は再生用現像と表現することもできる。
高画質現像部112は、RAW画像又は縮小RAW画像に対してデベイヤー処理(デモザイク処理)、即ち色補間処理を施し、輝度と色差(や原色)の信号に変換し、各信号に含まれるノイズを除去、光学的な歪を補正し、画像を適正化する所謂現像処理を行う。また、ライブビュー現像部111は、縮小RAW画像に対してデベイヤー処理(デモザイク処理)、即ち色補間処理を施し、輝度と色差(や原色)の信号に変換し、各信号に含まれるノイズを除去、光学的な歪を補正し、画像を適正化する所謂現像処理を行う。
高画質現像部112は、ライブビュー現像部111よりも各々の処理を高精度に行うものである。高精度であるため、ライブビュー現像部111よりも高画質な現像済画像が得られるが、一方で処理負荷が大きくなってしまう。そこで、本実施形態の高画質現像部112は、再生時に現像処理を行ったり、撮影後のアイドル期間に現像処理を行ったりすることが可能な構成になっている。このように高画質現像を撮影時ではなく、撮影後又は再生時に行うようにすることで、回路規模や消費電力の増大(ピーク)を低く抑えることができる。他方、ライブビュー現像部111は、高画質現像部112よりも画質は低いものの、撮影中に高速に現像処理を行えるよう、高画質現像よりも現像に係る処理量が少なくなるように構成されている。ライブビュー現像部111の処理負荷は小さいので、動画や静止画のライブビュー撮影時に、撮影動作と並行してフレーム毎のリアルタイム現像が行える。
スイッチ部121は、操作部162によりユーザーから指示された操作内容や実行中の動作モードに応じた制御に従って、制御部161によって切り替えられる。また、スイッチ部121の切換に連動して、ライブビュー現像部111と高画質現像部112のうち、信号出力の対象となる一方だけが現像動作を行うようにし、他方に係る動作を停止する構成しても良い。なお、本実施形態では、現像部110の中にライブビュー現像部111と高画質現像部112が独立に存在する構成を示しているが、一つの現像部が動作モードを切り替えて、ライブビュー現像と高画質現像の処理を選択的に行っても良い。
現像部110によって現像処理された画像情報は、表示処理部122によって所定の表示処理がなされた後、表示部123にて表示される。また、現像処理された画像情報は、映像出力端子124により、外部に接続された外部表示機器に出力することもできる。映像出力端子124は、例えばHDMI(登録商標)やSDIのような汎用インタフェースを含む。
撮影時、現像部110によってライブビュー現像された画像情報は、評価値算出部105に供給される。評価値算出部105は、縮小RAW画像又は現像処理された画像情報からフォーカス状態や露出状態などの評価値を算出する。算出された評価値は、カメラ制御部104へ出力される。評価結果を示す表示用情報は表示処理部122に出力される。また、ライブビュー現像処理された画像情報は、認識部131にも供給される。認識部131は、画像情報中の顔や人物等の被写体情報を検出及び認識する機能を有する。例えば、画像情報によって表される画面内における顔を検出し、有る場合は顔の位置を示す情報をカメラ制御部104へ出力し、さらに顔などの特徴情報に基づいて特定の人物の認証などを行う。検出や認識結果を示す表示用情報は表示処理部122に出力される。
現像部110によって高画質現像された画像情報は、静止画圧縮部141又は動画圧縮部142に供給される。画像情報を静止画として圧縮する場合は、静止画圧縮部141を用いる。画像情報を動画として圧縮する場合は、動画圧縮部142を用いる。静止画圧縮部141及び動画圧縮部142は、それぞれ対象となる画像情報を高能率符号化(圧縮符号化)し、情報量が圧縮された画像情報を生成して、高画質現像済ファイル(静止画ファイル、又は、動画ファイル)に変換する。静止画圧縮はJPEGなどを、動画圧縮はMPEG−2、H.264、H.265などの標準符号化技術を用いることができる。
RAW圧縮部113は、センサー信号処理部103からのRAW画像のデータと、RAW縮小部109からの縮小RAW画像のデータを、それぞれウエーブレット変換、量子化、エントロピー符号化(差分符号化等)などの技術を用いて高能率符号化する。RAW圧縮部113によって、高能率符号化により圧縮された状態のRAW画像のファイル(RAWファイル)と縮小RAW画像のファイル(縮小RAWファイル)とが生成される。RAWファイルと縮小RAWファイルは、まずバッファ部115(記憶媒体)に格納される。RAWファイルと縮小RAWファイルは、バッファ部115内に残しておいて再び読み出すことができるが、バッファ部115に格納された後、後述するように別の記録媒体に移動して記録する(バッファ部115から削除する)ようにしても良い。
RAWファイルと縮小RAWファイル、並びに、上述の高画質現像済ファイル(静止画ファイルや動画ファイル)は、記録再生部151によって、記録媒体152に記録される。記録媒体152は、例えば内蔵式の大容量半導体メモリやハードディスク、或いは、着脱式のメモリカード等である。記録再生部151は、記録媒体152から各種ファイルをユーザーの操作に応じて読み出すこともできる。
また、記録再生部151は、通信部153を介してネットワーク接続される外部のストレージやサーバ、或いは、携帯情報端末やパーソナルコンピュータ(PC)等と、各種ファイルや関連情報を送受信することができる。通信部153は通信端子154を用いて、無線通信や有線通信によるインターネット経由や装置間の直接通信により外部装置にアクセス可能な構成を有する。これにより、記録再生部151は、RAWファイルと縮小RAWファイル、並びに、高画質現像済ファイル(静止画ファイルや動画ファイル)を、外部装置に記録させたり、記録させた情報を元に編集情報を生成させたりする指示を行うことができる。
撮像装置100の再生動作時、記録再生部151は、記録媒体152から、又は、通信部153を介して外部装置から、所望のファイルを取得して再生する。再生対象のファイルがRAWファイルや縮小RAWファイルであれば、記録再生部151は、取得されたRAWファイルをバッファ部115に格納する。再生対象のファイルが静止画ファイルであれば、記録再生部151は、取得された静止画ファイルを静止画伸張部143に供給する。再生対象のファイルが動画ファイルであれば、記録再生部151は、取得された動画ファイルを動画伸張部144に供給する。
RAW伸張部114は、バッファ部115に格納されているRAWファイルや縮小RAWファイルを読みだして、圧縮時の逆変換を行い、圧縮された状態を伸張する。RAW伸張部114によって伸張されたRAW画像や縮小RAW画像は、高画質現像部112に供給されて、上述したように高画質現像処理を施される。
静止画伸張部143は、入力された静止画ファイルを復号して伸張し、静止画の再生画像として表示処理部122に供給する。動画伸張部144は、入力された動画ファイルを復号して伸張し、動画の再生画像として表示処理部122に供給する。
次に、本実施形態の撮像装置100の動作モードに関して、図を用いて詳細に説明する。図2は、本実施形態に係る状態(モード)遷移図である。このようなモードの遷移は、操作部162からのユーザー操作指示や、制御部161の判断に応じて実行され、操作に応じて手動で遷移することもあれば、自動で遷移することもある。図2のように、撮像装置100は、アイドル状態(200)を経由して5つのモード、静止画撮影モード(201)、静止画再生モード(202)、動画撮影モード(203)、動画再生モード(204)、編集モード(205)に適宜切り替わって動作する。
次に、撮像装置100の静止画撮影モード及び動画撮影モードに係る動作について説明する。図3に、本実施形態の撮影処理に係るフローチャートを示す。図3のフローチャートは、制御部161によって、各処理ブロックを制御し実行される処理手順を図示したものであり、制御部161が有するメモリ(ROM)に格納されているプログラムをメモリ(RAM)に展開し、CPUが実行することにより実現される。
図3において、静止画又は動画の撮影処理が開始されると、S301において、制御部161が停止の要否を判定し、撮影処理を停止するときはアイドル状態へ遷移し、そうでなければS302へ進む。なお、撮影モードであっても、所定時間操作入力の受付が無い場合や、次の撮影までに合間がある様な場合は、アイドル状態へ遷移(そして所定条件で復帰)するように制御しても良い。
S302において、カメラ制御部104が、好適な条件で撮影を行うよう、光学部101や撮像センサー部102の動作を制御する。例えば、ユーザーのズームやフォーカスの指示に従って、光学部101に含まれるレンズが移動されたり、撮影画素数の指示に従って撮像センサー部102の読み出し領域が設定されたりする。また、後述の評価値算出部105や認識部131から供給される評価値の情報や被写体情報に基づいて、特定被写体へのフォーカス調整や追尾などの制御が行われる。さらにS302において、撮像センサー部102によって変換された電気信号に対して、センサー信号処理部103が画素の修復のための信号処理を施す。すなわち、センサー信号処理部103が、欠落画素や、信頼性の低い画素の値に対し、周辺画素値を用いて補間したり、所定のオフセット値を減算したりする。本実施形態では、S302の処理を終えて、センサー信号処理部103から出力される画像情報を、生(未現像)の画像を意味するRAW画像と称している。
S303において、RAW縮小部109が、上述したRAW画像から、縮小RAW画像を生成する。S304において、ライブビュー現像部111が、縮小RAW画像を現像処理(ライブビュー現像)する。このとき、制御部161が現像部110内のスイッチ部121を切り替えて、ライブビュー現像部111により現像処理された画像情報の出力を選択する。
ライブビュー現像部111は、縮小RAW画像に対してデベイヤー処理(デモザイク処理)、即ち色補間処理を施し、輝度と色差(や原色)から成る信号へ変換して各信号に含まれるノイズを除去、光学的な歪を補正し、画像を適正化するなどの現像処理を行う。ここで、ライブビュー現像部111が行う現像処理(簡易現像)について説明する。ライブビュー現像部111は、ノイズ除去や光学的な歪補正を限定的な処理に留めたり或いは省いたりすることで、現像の高速処理や簡易処理を実現している。ライブビュー現像部111が、縮小RAW画像を扱ったり、現像処理の機能を一部制限したりすることで、撮像装置100は、例えば200万画素の毎秒60コマというパフォーマンスの撮影を、小さい回路規模で少ない消費電力で実現することができる。
ライブビュー現像部111で現像処理された画像情報は、評価値算出部105に供給される。S305において、評価値算出部105は、画像情報に含まれる輝度値やコントラスト値などからフォーカス状態や露出状態などの評価値を演算によって取得する。なお、評価値算出部105は、ライブビュー現像前の縮小RAW画像を取得して、縮小RAW画像からも何らかの評価値を算出するようにしても良い。
また、ライブビュー現像部111で現像処理された画像情報は、認識部131に供給される。S306において、認識部131は、画像情報から被写体(顔など)の検出を行い、被写体情報を認識する。例えば、画像情報内における顔の有無や、その位置、特定の人物の認証などを行って、その結果を情報として出力する。
また、ライブビュー現像部111で現像処理された画像情報は、表示処理部122に供給される。S307において、表示処理部122は、取得した画像情報から表示画像を形成し、表示部123又は外部の表示装置に出力して、表示する。表示部123による表示画像は、ユーザーが被写体を適切にフレーミングする行為を支援するためのライブビュー表示(撮影スルー画像の表示)に利用される。なお、表示画像は、表示処理部122から映像出力端子124を経由して、外部のテレビジョンなどの他の表示装置にて表示されてもよい。さらに、表示処理部122は、評価値算出部105や認識部131から出力された評価値情報や被写体情報を活用して、例えば、表示される画像上のフォーカスの合焦領域にマーキングしたり、認識された顔の位置に枠を表示したりすることもできる。
S308において、制御部161は、ユーザーからの撮影指示(動画の場合は記録指示)の受信を判定し、指示があった場合は、S310へ進む。S308で指示が無い場合は、S301へ戻って、撮影(記録)の準備動作とライブビュー表示を繰り返す。
S310において、上述した撮影指示に応答して、RAW圧縮部113が、撮影対象となった画像(動画の場合は連続した複数フレーム)に対応する縮小RAW画像の高能率符号化(縮小RAW圧縮)を行い、縮小RAWファイルを生成する。さらに、S311において、上述した撮影指示に応答して、RAW圧縮部113が、撮影対象となった画像(動画の場合は連続した複数フレーム)に対応するRAW画像の高能率符号化(RAW圧縮)を行い、RAWファイルを生成する。RAW圧縮部113が行う高能率符号化は、ウエーブレット変換や、エントロピー符号化などの公知の技術により処理されるものとするが、非可逆符号化でも可逆符号化でも良い。本実施形態では、RAWの圧縮を施しても、原画のRAW画像の品質を大きく損なわない、高画質ファイルとして復元可能なRAWファイルを生成する。
S312において、縮小RAWファイルがバッファ部115に記録される。また、S313において、RAWファイルがバッファ部115に記録される。いずれのファイルもバッファ部115に記録された後、記録再生部151によって後段の記録媒体に記録されるタイミングは、その時であっても、それ以降であっても良い。縮小RAWファイルとRAWファイルの少なくともバッファ部115への記録が完了すると、フローはS301に戻る。
このように、本実施形態に係る撮像装置100は、撮影時、静止画や動画の撮影指示(記録指示)に応答して、RAWファイルを生成する。撮影時のそれ以外の期間では、ライブビュー現像された画像の表示による撮影スタンバイとなる。RAWファイルは、センサー信号処理部103から供給される画像情報を大きく損なわない高画質ファイルであるが、このファイルの生成に現像処理を必要としない。そのため、撮影時に画像の画素数や連写のスピードを高めながらも、小規模な回路によって少ない消費電力でRAWファイルを記録することが可能である。
次に、本実施形態に係る各種ファイルの構造について説明する。図4は、本実施形態において記録される各ファイルの構成例を示す図である。図4(a)は縮小RAWファイル、図4(b)はRAWファイル、図4(c)は、高画質現像済ファイルを示す。
図4(a)に示す縮小RAWファイル400は、記録再生部151によって、例えば記録媒体152の所定の記録エリアに記録される。縮小RAWファイル400は、ヘッダ部401、メタデータ部402、圧縮データ部403から成る。ヘッダ部401には、このファイルが縮小RAWファイルの形式であることを示す識別コードなどが含まれている。圧縮データ部403には、高能率符号化された縮小RAW画像の圧縮データが含まれている。なお、動画の縮小RAWファイルの場合は、音声の圧縮データも含まれている。
メタデータ部402には、この縮小RAWファイルと同時に生成された、対応するRAWファイルのファイル名等の識別情報404が含まれる。また、対応するRAWファイルから高画質現像されて得られた高画質現像済ファイルがある場合は、その識別情報407が格納される。また、この縮小RAW画像が既に現像されている場合は、その現像ステータスの情報405が含まれる。また、撮影時に評価値算出部105や認識部131で検知された評価値や被写体情報、及び、光学部101や撮像センサー部102からの撮影時の情報(例えば、レンズ種別識別情報、センサー種別識別情報など)を含む撮影メタデータ406が含まれる。また、図示していないが、同時に生成されたRAWファイルが記録されている記録媒体の識別コードや、記録されているフォルダのパス情報、当該画像のサムネイルなどを更に含んでも良い。
図4(b)に示すRAWファイル410は、記録再生部151によって、例えば記録媒体152の所定の記録エリアに記録される。RAWファイル410は、ヘッダ部411、メタデータ部412、圧縮データ部413から成る。ヘッダ部411には、このファイルがRAWファイルの形式であることを示す識別コードなどが含まれている。圧縮データ部413には、高能率符号化されたRAW画像の圧縮データが含まれている。なお、動画のRAWファイルの場合は、音声の圧縮データも含まれている。
メタデータ部412には、このRAWファイルと同時に生成された、対応する縮小RAWファイルのファイル名等の識別情報414が含まれる。また、このRAW画像から高画質現像されて得られた高画質現像済ファイルがある場合は、その識別情報417が格納される。また、その高画質現像における現像ステータスの情報415が含まれる。また、撮影時に評価値算出部105や認識部131で検知された評価値や被写体情報、及び、光学部101や撮像センサー部102からの撮影時の情報(例えば、レンズ種別識別情報、センサー種別識別情報など)を含む撮影メタデータ416が含まれる。また、図示していないが、同時に生成された縮小RAWファイルが記録されている記録媒体の識別コードや、記録されているフォルダのパス情報、当該画像のサムネイルなどを更に含んでも良い。或いはまた、当該RAWファイルと同時に生成された縮小RAWファイルの実データそのものをメタデータ化して、メタデータ部412に格納しても良い。さらに、当該RAWファイルに対応する高画質現像済ファイルの実データそのものをメタデータ化して、メタデータ部412に格納しても良い。
図4(c)に示す高画質現像済ファイル420は、記録再生部151によって、例えば記録媒体152の所定の記録エリアに記録される。高画質現像済ファイル420は、ヘッダ部421、メタデータ部422、圧縮データ部423から成る。ヘッダ部421には、このファイルが高画質現像済ファイルの形式であることを示す識別コードなどが含まれている。圧縮データ部423には、高画質現像済ファイルの静止画部分や動画部分の圧縮データが含まれている。なお、動画の場合は、音声の圧縮データも含まれている。
メタデータ部422には、当該高画質現像済ファイルに対応する縮小RAWファイルのファイル名等の識別情報424が含まれる。また、当該高画質現像済ファイルに対応するRAWファイルのファイル名等の識別情報427が含まれる。また、当該高画質現像済ファイルの高画質現像時の現像ステータスの情報425が含まれる。また、撮影時に評価値算出部105や認識部131で検知された評価値や被写体情報、及び、光学部101や撮像センサー部102からの撮影時の情報(例えば、レンズ種別識別情報、センサー種別識別情報など)を含む撮影メタデータ426が含まれる。また、図示していないが、対応するRAWファイルや縮小RAWファイルが記録されている記録媒体の識別コードや、記録されているフォルダのパス情報、当該画像のサムネイルなどを更に含んでも良い。
上述した本実施形態に係る各種ファイルの構造は一例であり、DCFやEXIFなどの標準規格と共通性を有する構成であっても良い。なお、DCFとは、Design rule for Camera File systemの意味であり、EXIFとは、Exchangeable Image File formatの意味である。或いは、AVCHD、MXFなどの標準規格と共通性を有する構成であっても良い。なお、AVCHDとは、Advanced Video Codec High Definitionの意味であり、MXFとは、Material eXchange Formatの意味である。
次に、撮像装置100の高画質現像処理の一例について説明する。図5は、本実施形態の現像処理に係るフローチャートである。図5のフローチャートは、制御部161によって、各処理ブロックを制御し実行される処理手順を図示したものであり、制御部161が有するメモリ(ROM)に格納されているプログラムをメモリ(RAM)に展開し、CPUが実行することにより実現される。
図5において、アイドル状態のときに、制御部161が、ユーザーの設定により「追いかけ現像」を行うか否かを判定し(S501)、追いかけ現像を行わない場合はそのままフローは終了(リターン)となり、追いかけ現像を行う場合はS520に遷移する。
本実施形態に係る「追いかけ現像」とは、撮影動作を終えた後、バッファ部115又は記録媒体152等に記録されたRAWファイルを読出して、そのRAW画像に高画質現像を施し、高画質現像済画像ファイルを生成する処理を意味する。先行して記録されたRAWファイルを追いかけるように現像処理するので追いかけ現像と呼ぶ。本実施形態に係る追いかけ現像の対象となるRAWファイルは、静止画と動画の両方を対象として良いが、以下では静止画を例に説明する。
上述したように、記録されたRAWファイルは、センサー信号処理部103から供給される画像情報を大きく損なわない高品質を有するが、現像前のデータであるため、再生表示や印刷に即時対応できず、要求時にRAW現像のための時間を要してしまう。また、RAWはJPEGなどのように広く普及したファイルではないため、RAWファイルを扱える再生環境も限定されてしまう。そこで、本実施形態の追いかけ現像が有効な機能となる。本実施形態では、追いかけ現像が実行されると、既に記録されているRAWファイルを読出して、高画質現像部112によって高画質に現像処理を行い、生成される高画質現像済の静止画ファイルを記録媒体152等へ記録する。そして、このような追いかけ現像を、撮影と撮影の合間や、再生モードの待機中や、スリープ状態などユーザー操作待ちの、比較的、装置の処理負荷が小さい状態(アイドル中)において実行させる。追いかけ現像は手動で発動させても良いが、制御部161が自動的に所定状態のバックグラウンドで実行させるように設計すると良い。このように構成することにより、その後に画像の細部の確認表示や印刷など、高画質な画像の再生の要求が生じたとしても、その都度現像処理(再生出力)による遅れが発生せず、また、従来の静止画ファイルと同様の一般的な操作環境における使用が可能となる。
図5のS520において、制御部161が、対象となるRAWファイルについて追いかけ現像が処理済みか未処理かを判定する。判定の方法は、例えば高画質現像済ファイルを作成済かどうか、RAWファイル410内の識別情報などから判断することが考えられる。或いはRAWファイル410の中の現像ステータスの情報415を参照し、同様に判定しても良い。或いは、一連のRAWファイルに対して、現像処理の実施状態を示すテーブルファイルを別に用意して判定しても良い。
制御部161によって、対象となる全てのRAWファイルについて追いかけ現像が処理済みと判断されれば、そのままフローは終了(リターン)となり、撮像装置100はアイドル状態に復帰する。追いかけ現像が未処理のRAWファイルがあれば、S521に遷移する。S521において、追いかけ現像が未処理のRAWファイルが、バッファ部115にバッファリングされていればS523に進み、バッファリングされていなければ、S522として、対応するRAWファイルを記録媒体152等から読み出す。記録媒体152等から読み出されたRAWファイルは、バッファ部115によって一時保持される。
バッファ部115は、撮影された順番が新しい画像から優先的に保持されるように、データが更新される。すなわち、過去に撮影された画像から順にバッファから取り除かれる。こうすることにより、直近に撮影された画像は常にバッファに保持されているので、S522をスキップし、高速に処理できる。さらに、直前に撮影された画像から時刻を遡って、追いかけ現像を実行するようにすれば、バッファに保持されている画像から優先的に処理が完了できるため、処理の効率化が図れる。
S523において、RAW伸張部114が、バッファ部115又は記録媒体152から読み出されバッファリングされたRAWファイルを伸張処理し、RAW画像を復元する。S524において、高画質現像部112が、復元されたRAW画像に対して高画質現像処理を実施し、スイッチ部121を経由して表示処理部122や静止画圧縮部141に高画質現像済画像を出力する。このとき、撮像装置100が、後から現像された画像を表示できる状態であれば、表示部123によって表示画像を表示しても良い。
高画質現像部112は、RAW画像をデベイヤー処理(デモザイク処理)、即ち色補間処理を施し、輝度と色差(や原色)から成る信号へ変換して、各信号に含まれるノイズを除去、光学的な歪を補正し、画像を適正化するなどの現像処理を行う。高画質現像部112で生成される現像処理済みの画像のサイズ(画素数)は、撮像センサー部102から読出されたフルサイズのまま、或いはユーザー設定されたサイズとなるので、200万画素程度を扱うライブビュー現像の画像よりも格段に高品質となる。高画質現像部112はライブビュー現像部111よりも各々の処理が高精度であるため、より高画質な現像画像が得られるが、一方で、処理負荷が大きくなってしまう。本実施形態の高画質現像部112は、撮影と並行したリアルタイムの現像処理を避け、時間をかけて現像処理可能としたことで、回路規模や消費電力の増大を抑える構成となっている。
高画質現像部112で現像処理された画像情報は、静止画圧縮部141又は動画圧縮部142に供給される。静止画の場合は、静止画圧縮部141が圧縮を担当する。S525において、静止画圧縮部141が、取得した高画質現像済画像に対して高能率符号化処理(静止画圧縮)を実施し、高画質現像済ファイル(静止画ファイル)を生成する。なお、静止画圧縮部141は、JPEGなどの公知の技術により圧縮処理を行う。S526において、記録再生部151が高画質現像済ファイルを記録媒体152等に記録する。
S527において、制御部161が、フローの途中でアイドル状態ではなくなったと判断したら、中断処理に移行し、そうでなければフローはS520に戻る。S520以降、追いかけ現像が未処理のRAW画像がある場合、その画像毎に同様の処理を繰り返して実行可能である。一方、S528において、追いかけ現像を中断するときには、制御部161が中断した時点の情報(中断対象RAWファイルや、現像完了又は未完了の識別情報など)を復帰用情報としてメモリや記録媒体152に格納しておく(中断処理)。そして、次回の追いかけ現像の際に、制御部161が上記復帰用情報を参照して、中断により途中となったRAWファイルから再開できるようにする。中断処理が終えたら、撮像装置100はアイドル状態に復帰する。
S526で記録される高画質現像済ファイルは、図4(c)に示すようなファイル構造である。メタデータ部422には、この高画質現像済ファイルの元となったRAWファイルのファイル名の情報などが書き込まれる。また、この高画質現像済ファイルが高画質現像部112によって高画質現像されたこととその現像内容を示す現像ステータスの情報425も記述される。また、元のRAWファイルのメタデータから抽出された、評価値算出部105や認識部131で検知された評価値や被写体情報、及び、光学部101や撮像センサー部102からの撮影時の情報を含む撮影メタデータ426がコピーされる。さらに、記録再生部151は、追いかけ現像の元となったRAWファイルとその縮小RAWファイルについても、それぞれのメタデータ部の各情報を、生成された高画質現像済ファイルに関する最新情報にて更新する。
記録再生部151は、高画質現像を経て、S526で記録される新たな高画質現像済ファイルには、元となったRAWファイルと類似又は関連付けられたファイル名を与えて記録すると識別が容易になる。例えば、ファイル名はほぼ同じでファイル名の一部(例えば拡張子や末尾の文字)のみを変更したファイルとして記録すると良い。
このように、本実施形態の撮像装置100は、撮影と撮影の合間や、再生モードの待機中や、スリープ状態などユーザー操作待ちの、比較的、装置の処理負荷が小さい状態(アイドル中)のときに追いかけ現像を実行する。そして順次RAWファイルから高画質現像済ファイルを作成していく。こうすることにより、画像の細部の確認表示や印刷など、高画質な画像の再生の要求が与えられた場合であっても、その都度現像処理(再生出力)による遅れが発生せず、また、従来の静止画ファイルと同様の一般的な操作環境における使用が可能となる。
次に、撮像装置100の静止画再生モード及び動画再生モードに係る動作について説明する。図6に、本実施形態の再生処理に係るフローチャートを示す。図6のフローチャートは、制御部161によって、各処理ブロックを制御し実行される処理手順を図示したものであり、制御部161が有するメモリ(ROM)に格納されているプログラムをメモリ(RAM)に展開し、CPUが実行することにより実現される。
図6のS601において、制御部161が再生処理の停止の要否を判断する。再生処理を停止する場合、撮像装置100はアイドル状態に復帰する。再生処理を継続する場合は、フローはS602に遷移する。
S602において、制御部161は、再生処理の対象として縮小RAW画像ファイルを読みだして、縮小RAW画像を再生するか判断する。上述したように、RAWファイルは高解像度のため現像に時間を要し、高画質現像済ファイルは未生成の可能性があるので、制御部161は、再生時、RAW画像を他よりも優先的に再生するようにする。縮小RAW画像は画素数が200万程度あるので、ライブビュー現像のときと同様に高速処理ができ、再生時の急な要求に応じて即時に現像が可能であり、速やかな応答速度で再生画像の出画を実現できる。但し、縮小RAW画像は縮小処理を受けているために限定的な品質である。画像の大まかな確認としては有効であるが、画像の細部を確認したり、印刷したりする用途には十分ではない場合がある。そこで、撮像装置100では、以降記述するように用途に応じて更に他の画像の再生処理も実施される。
縮小RAW画像を再生する場合、S620において、制御部161が、バッファ部115又は記録媒体152等から再生対象となる縮小RAWファイルを再生させる。そして、S621において、RAW伸張部114が再生された縮小RAWファイルから得られる圧縮された縮小RAW画像を伸張する。さらに、S622において、高画質現像部112が、伸張された縮小RAW画像を現像して再生画像を生成して、表示処理部122に供給する。なお、S622の縮小RAW画像の現像は、高画質現像部112が行うとしたが、ライブビュー現像部111が行っても良い。
縮小RAW画像を再生しない場合、S603において、制御部161は、高画質現像済画像を再生するか判断する。高画質現像済画像を再生できるのは、上述の追いかけ現像が実施されているか、ユーザーの要求に応答して既にRAWファイルの再生による高画質現像が終えていることが条件となる。高画質現像済画像を再生する場合、S630において、制御部161が、記録媒体152等から再生対象となる高画質現像済ファイルを再生させる。そして、S631において、静止画伸張部143又は動画伸張部144が、再生された高画質現像済ファイルから得られる圧縮された高画質現像済画像を伸張して再生画像(静止画又は動画)を生成して、表示処理部122に供給する。
縮小RAW画像が再生されず、高画質現像済画像も再生されない場合、RAWファイルが再生される。ここで、本実施形態でRAWファイルが再生される使用環境の例を、図7を用いて説明する。図7は、本実施形態の表示処理の例を示す図である。図7(a)、(b)、(c)は、それぞれ別のタイミングでの画像表示の例である。
図7(a)の表示例700は、701に示す6つの画像を縮小して表示部123に縮小表示している例であり、この表示の状態を一覧表示とする。図7(b)の表示例710は、ある1つの画像711の全体を表示部123に表示している例であり、この表示の状態を通常表示とする。図7(c)の表示例720は、ある1つの画像の一部領域を拡大した画像721を表示部123に表示している例であり、この表示の状態を拡大表示とする。例えば、撮影した画像の詳細表示や部分抽出(トリミング)、或いはフォーカスの適否のチェックといった確認を行うような場合に、表示例720のように被写体像の一部を拡大表示する使われ方が想定される。
表示例700や710の状態のときは、縮小RAW画像から得られた再生画像の表示で解像度的に十分である。しかし、表示例720のように拡大表示する場合、縮小RAW画像の解像度では不足する(解像感の低下を招いてしまう)ので、高解像度を有するRAWファイルを再生して表示すると良い。例えば、このように再生画像の拡大表示を行うときに、フローはS604以降のRAWファイルの再生に遷移する。
RAW画像を再生する場合、S604において、制御部161は、再生対象のRAWファイルがバッファ部115にバッファリングされているか判定する。RAWファイルがバッファリングされていればフローはS606に進み、バッファリングされていなければフローはS605に進む。S605において、制御部161が、記録媒体152等から再生対象となるRAWファイルを読み出させて、バッファ部115にバッファリングさせる。
バッファ部115は、撮影モードで撮影された、新しい画像から優先的に保持されるように、データが更新される。すなわち、過去に撮影された画像から順にバッファから取り除かれる。こうすることにより、直前に撮影された画像は常にバッファに保持されているので、S605をスキップし、高速に表示に至れるようになる。
そして、S606において、RAW伸張部114が、バッファリングされているRAWファイルを取得して、当該RAWファイルから得られる圧縮されたRAW画像を伸張する。さらに、S607において、高画質現像部112が、伸張されたRAW画像を高画質現像して再生画像を生成して、表示処理部122に供給する。なお、撮像装置100は、S607の高画質現像によって、再生対象となったRAWファイルに対応する高画質現像ファイルも新たに作成可能である。
S608において、表示処理部122が、再生対象に応じた何れかの再生画像を表示部123に出力して表示する。表示形態は、図7の各図に示すような形態となる。なお、表示処理部122が、映像出力端子124から表示画像を外部装置に出力することもできる。S608の表示が行われると、フローはS601に戻る。
なお、図6のS604以降のRAWファイルの再生は、まだ追いかけ現像が実行されていないタイミングで発生することが想定される。言い換えれば、高画質を要求される拡大表示の場合でも、高画質現像済ファイルが作成済であれば、RAWファイルを新たに現像しなくとも、高画質現像済画像を提供することができる。本実施形態では、撮影と撮影の合間や、再生モードの待機中や、スリープ状態などユーザー操作待ちの、比較的、装置の処理負荷が小さい状態(アイドル中)のときに追いかけ現像が実行される。また、ユーザー指示によるRAWファイルの再生時にも高画質現像済ファイルが作成可能である。そして順次RAWファイルから高画質現像済ファイルが作成される。そのようにして、前もって高画質現像が実施される程、拡大表示の要求時点での高画質現像は発生する頻度が減少するので、拡大表示に対してより速やかに高画質画像を出力できるようになり、操作性が一層高まっていくと期待される。
また、バッファ部115にRAWファイルがバッファリングされている場合には、S605をスキップできるため、より速く画像を表示できるようになると上述した。そこで、バッファ部115になるべくRAWファイルが保持された状態になるよう、図7の表示例700や710を行う際に、拡大表示に備え、画像701や画像711に対応するRAWファイルを予め記録媒体から読出してバッファ部115へ移動すると良い。拡大表示の指示よりも先行して、記録再生部151が記録媒体152等から該当するRAWファイルを読みだしてバッファリングすることで、表示例720のような拡大表示の指示がなされたときに、一層速い応答速度で表示することができる。
次に、撮像装置100の編集モードに係る動作について説明する。図8に編集処理を行う編集装置(外部装置)の構成例を示すブロック図を、図9に本実施形態の編集処理及び編集実行に係るフローチャートを示す。図9の各フローチャートは、制御部161によって、各処理ブロックを制御し実行される処理手順を図示したものであり、制御部161が有するメモリ(ROM)に格納されているプログラムをメモリ(RAM)に展開し、CPUが実行することにより実現される。
図8において、編集装置800は撮像装置100の外部装置であり、具体的には、外部のストレージやサーバ、或いは、携帯情報端末(タブレットやスマートフォン等)やパーソナルコンピュータ(PC)等である。編集装置800は、各種ファイルや関連情報を撮像装置100と送受信することができる。通信部802は通信端子801を用いて、無線通信や有線通信によるインターネット経由や装置間の直接通信により撮像装置100にアクセス可能な構成を有する。
編集処理時、或いは前もって、編集装置800は、通信部802を介してネットワーク接続された外部の撮像装置100から縮小RAWファイルを取得する。受信された縮小RAWファイルは、内部バス811を介して、記録媒体803に保存される。内部バス811は編集装置800内の各部と接続され、データバスやシステムバスとして利用される。
編集処理は、縮小RAWファイルを伸張し、現像して得られる画像情報を用いて行われる。RAW伸張部804が、記録媒体803に保存された所望の縮小RAWファイルを読み出して、圧縮された状態の縮小RAW画像を伸張する。そして、RAW現像部805が、伸張された縮小RAW画像を現像処理する。縮小RAW画像から現像処理された画像は、表示部809によって表示される。
制御部808は、CPUと、当該CPUが実行するアプリケーションプログラムや制御プログラムを格納する不図示のメモリを含み、編集処理を制御する。編集処理は、制御部808によって実行される編集アプリケーションプログラムの制御下において、表示部809に表示された画像をユーザーによってモニタリングされて、編集指示を受けつけることによって実行される。ユーザーからの編集指示は、ユーザインタフェース部807から入力される。ユーザインタフェース部807は、例えばタッチパネルを用いた操作部、マウス、キーボード、専用又は汎用コンソール等と、編集用アプリケーションによる表示情報とを利用する。
ユーザインタフェース部807からの編集指示に従って、表示される縮小RAW画像に対して、トリミングや合成、動画の場合は、カットイン/カットアウトの指定などによる任意のシーン選択や、エフェクトの付加などが適用される。編集内容を受けて、編集情報生成部806が編集情報を生成する。編集情報は、縮小RAW画像から得られた画像に対して施された編集内容をデータ化したものであり、静止画又は動画の場合フレーム毎の編集適用の有無や編集内容が記述される。さらに当該編集情報に、編集処理が施された縮小RAW画像の実データを含んでも良い。このような編集情報は記録媒体803に記録されるとともに、撮像装置100からの要求に応じて撮像装置100に送信される。
次に、撮像装置100における編集処理、編集実行のフローについて、図9を用いて説明する。図9(a)は編集処理のフロー、(b)は編集実行のフローである。編集処理が開始されると、図9(a)のS901において、制御部161が編集処理の停止の要否を判断する。編集処理を停止する場合、撮像装置100はアイドル状態に復帰する。編集処理を継続する場合は、フローはS902に遷移する。
S902において、制御部161は、編集対象となるRAWファイルに対応する縮小RAWファイルを編集用データとして外部装置である編集装置800に送信する。そして、S903において、制御部161は、編集装置800に対して編集命令を発行する。編集命令は制御部808に送られ、編集装置800にとっての編集情報の生成指示となる。なお、本フローはS903の後、S901に戻る。
上述の編集命令を受けて、編集装置800は、上述のとおり編集処理を行い、編集情報を生成する。編集装置800において編集情報の生成が終えていることを条件として、ユーザーの指示に応じて、制御部161は図9(b)の編集実行フローが開始可能となる。
編集の実行が開始されると、図9(b)のS911において、制御部161が編集実行の停止の要否を判断する。編集実行を停止する場合、撮像装置100はアイドル状態に復帰する。編集実行を継続する場合は、フローはS912に遷移する。
S912において、制御部161は、通信部153を用いて編集装置800から編集対象のRAWファイルに対応する編集情報を受信する。当該編集情報を参照して、S913として、制御部161は、受信した編集情報に記述された内容に従った編集又は再生を撮像装置100内のRAWファイル又は縮小RAWファイルに対して適用する。すなわち、編集装置800で行われた縮小RAW画像に対する編集内容が、撮像装置100内において、オリジナルのRAW画像又は縮小RAW画像に再現される。なお、本フローはS913の後、S911に戻る。このように編集実行されたRAW画像は、元のファイルを更新する形でファイル化して保存してもよいが、オリジナル画像と編集情報とをそれぞれ保存しておくことで、再生の都度オリジナルに対して編集情報を反映させて再生(編集)するようにしてもよい。
このように縮小RAW画像を編集用データとして或いはRAW画像のプロキシとして利用して、外部装置を用いて編集を実施する構成としたことで編集の合理化や高性能化が図れるだけでなく、システム全体として編集処理にかかる負荷を軽減することもできる。
(第2の実施形態)
図2は、本発明の第2の実施形態に係る画像処理装置の構成例を示すブロック図である。図2では、本実施形態に係る画像処理装置として、撮像装置1000を例に示す。撮像装置1000は、被写体を撮像して得られた画像情報を記録媒体に記録するだけでなく、画像情報を記録媒体から再生し、現像処理して表示する機能や、画像情報を外部の装置やサーバ(クラウド)等と送受信して編集したりする機能を有する。従って、本実施形態に係る画像処理装置は、撮像装置と表現できるだけでなく、記録装置、再生装置、記録再生装置、通信装置、又は編集装置、或いは画像処理システム又は編集システム等とも表現することができる。
本実施形態に係る撮像装置1000において、上述した第1の実施形態に係る撮像装置100と同じ構成については、同じ符号を付して、その説明は省略する。
図10において、撮像装置1000は、撮影部を成す撮像モジュール170と画像処理部を成す画像処理モジュール180を有し、撮像モジュール170と画像処理モジュール180とがバス107によって接続される。撮像モジュール170内での撮像によって得られたRAWデータ等は、バス107を通って画像処理モジュール180に供給される。撮像モジュール170は、撮像センサー部102、センサー信号処理部103、カメラ制御部104及び符号化部106を有する。画像処理モジュール180は、復号化部108、RAW縮小部109、現像部110、ライブビュー現像部111、高画質現像部112、スイッチ部121、RAW圧縮部113、RAW伸張部114及びバッファ部115を有する。さらに、画像処理モジュール180は、評価値算出部105、認識部131、表示処理部122、静止画圧縮部141、動画圧縮部142、静止画伸張部143、動画伸張部144、記録再生部151及び制御部161を有する。撮像装置1000は、その他、光学部101、表示部123、映像出力端子124、通信部153、通信端子154、及び、内蔵式或いは着脱式の記録媒体152を有する。
本実施形態に係る撮像装置1000に関して、上述した第1の実施形態に係る撮像装置100と異なる構成について詳細に説明する。撮像モジュール170は内部に符号化部106を備える。これは、RAWデータが膨大なデータなため、バス107にて伝送する際に通信帯域を圧迫してしまうのを軽減するために、RAWデータを圧縮する目的によって存在する。符号化部106における符号化処理(圧縮処理)としては、例えば、DPCM(Differential Pulse Code Modulation)とゴロム(Golomb)符号化を用いる圧縮方法が適用できる。この方法は、DPCM処理された画素データについて、その画素データ同士の差分値をゴロム符号化して画素の情報量を削減する方法である。或いは、1次元DCT(Discrete Cosine Transform)を用いて画素データの不必要な高域成分を削除する圧縮方法でも良い。いずれも圧縮率は固定で動作させれば良いが、ユーザー指示や撮影モード等に応じて調整できるように設計しても良い。
撮影時、撮像センサー部102によって被写体像から変換された画素データは、センサー信号処理部103によって画素の修復処理が施される。修復処理には、撮像センサー部102における欠落画素や信頼性の低い画素の値に対し、周辺画素値を用いて修復対象の画素を補間したり、所定のオフセット値を減算したりする処理が含まれる。なお、修復処理の一部又は全部が、この時点で行われずに、後段の現像時に行われるよう変更しても良い。
符号化部106が、センサー信号処理部103から供給された画素データを上述の方法によって符号化処理する。そして符号化処理によって圧縮された状態の画素データがバス107を介して画像処理モジュール180に伝送される。圧縮された画素データは、画像処理モジュール180内の入力部分に配置される復号化部108によって復号される。復号化部108は、前段の符号化部106の逆変換を行って圧縮された画素データを復号する。
本実施形態では、符号化部106によって圧縮され、さらに復号化部108によって復号化された後の画素データを、生(未現像)の画像を意味するRAW画像と称す。一度圧縮を施されたRAW画像であっても、第1の実施形態と同様に高品位なRAW画像として扱うことができる。
その後RAW画像は、効率的に記録するために、RAW圧縮部113に供給されて再び圧縮を施される。また、RAW画像は表示や再生を効率的に行う目的からRAW縮小部109によってそのサイズが縮小される。RAW縮小部109は、入力されたRAW画像を例えばHDサイズ(200画素相当)にリサイズして縮小RAW画像を生成する。その後のRAW画像や縮小RAW画像の処理は、第1の実施形態と同様である。
なお、画像処理モジュール180内で、圧縮されたRAW画像の伸張/復号化を行う点で共通する復号化部108とRAW伸張部114は、その一部又は全部の処理回路を共通の構成又は一体化された回路によって実現されても良い。
本実施形態に係る撮像装置1000についての撮影処理、現像処理、再生処理、編集処理、編集実行の各処理手順、及び、作成される各種ファイルの構成は第1の実施形態と同様である。
このように本実施形態によれば、第1の実施形態と同様の機能を実現できるとともに、撮像装置1000内部でのRAWデータの伝送効率を向上させることができる。
以上が第1及び第2の実施形態の説明であるが、本発明は、本発明の技術思想の範囲内において、上記実施形態に限定されるものではなく、対象となる回路形態により適時変更されて適応するべきものである。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。