JP2018182550A - 画像処理装置 - Google Patents

Abstract

【課題】映画等の撮影現場において、画角の確認と同時に編集作業時と同等の画質確認を実現する。【解決手段】画像データ中の注目領域を設定する注目領域設定手段と、前記注目領域に対してユーザの所望する画質を実現するための画像処理を行う第一の画像処理手段と、前記画像データ全体に対して前記第一の画像処理手段と略一致する画質を高速に実現するための画像処理を行う第二の画像処理手段と、前記第一の画像処理手段で生成された画像データと前記第二の画像処理手段で生成された画像データを合成するための画像合成手段と、を備えることを特徴とする。【選択図】図１

Description

本発明は、静止画あるいは動画を表示する画像表示に関する。

現在の映画製作における撮影は、ＲＡＷデータでのデジタル撮影が一般的になりつつあり、解像度も従来の２Ｋから４Ｋへと向上している。また、必ずと言っていいほど撮影後に編集作業（例えばＲＡＷ現像処理、カット編集、グレーディング、ＣＧ合成等）が行われる。そのため、編集に適した動画を撮影するためには、撮影現場で編集時と同じ現像パラメータでＲＡＷ現像処理を行い、カメラの設定や照明等の撮影条件を調整できることが望ましい。これを効率的に行うためには、４Ｋ解像度のＲＡＷデータをキャプチャしながら実時間で編集作業時と同等の現像処理を行う必要がある。

しかしながら、編集作業時に４Ｋ解像度のＲＡＷデータに適用する現像処理は、偽色緩和処理、ノイズリダクション処理、レンズ収差補正処理等の高画質化処理が含まれているため非常に処理負荷が高い。よって、これをそのまま撮影現場で適用することは難しい。

そこで、ＲＡＷ現像処理を高速化するための技術が従来技術として知られている（特許文献１）。これは、拡大表示時には光学系の補正処理を行い、ＦＩＴ表示時は光学系の補正処理を行わないように現像パラメータを変更することで処理負荷を軽減させるものであった。

特開２０１２−１０１９０号公報

しかしながら、従来技術は、拡大表示を前提とした処理であるため、編集時の画質と画角の両方を同時に確認しながらカメラ設定や照明等の撮影条件を決定したいというユーザの要望には対応できないという課題があった。

そこで本発明では、映画等の撮影現場において、画角の確認と同時に編集作業時と同等の画質確認を実現することを目的とする。

上記の目的を達成するために、本発明に係る画像処理装置は、
画像データ中の注目領域を設定する注目領域設定手段と、前記注目領域に対してユーザの所望する画質を実現するための画像処理を行う第一の画像処理手段と、前記画像データ全体に対して前記第一の画像処理手段と略一致する画質を高速に実現するための画像処理を行う第二の画像処理手段と、前記第一の画像処理手段で生成された画像データと前記第二の画像処理手段で生成された画像データを合成するための画像合成手段と、を備えることを特徴とする。

本発明に係る画像処理装置によれば、デジタルシネマ製作ワークフローにおいて画質問題に起因する再撮影のリスクを減少し、さらに撮影時の撮影条件決定作業を効率化するという効果を奏する。

画像処理装置のシステム構成図である。 実施例１における画像処理装置の論理構成を示すブロック図である。 実施例１における画像処理の流れを示すフローチャートである。 高画質ＲＡＷ現像処理の流れを示すフローチャートである。 高速ＲＡＷ現像処理の流れを示すフローチャートである。 注目領域を示す図である。 実施例１における表示画像の表示方法を示す図である。 実施例１におけるＧＵＩによる注目領域設定方法を示す図である。 実施例２における画像処理の流れを示すフローチャートである。 実施例２における表示画像の表示方法を示す図である。 実施例３における画像処理の流れを示すフローチャートである。 実施例３における処理タイミングと表示画像を示す図である。 実施例２における画像処理装置の論理構成を示すブロック図である。 画質評価処理の流れを示すフローチャートである。 実施例３における画像処理装置の論理構成を示すブロック図である。

以下、本発明を実施するための形態について、図面を参照しながら説明する。

図１は、本実施例における画像処理装置のシステム構成を示す図である。

画像処理装置は、ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、ＨＤＤ１０４、入力インタフェース（Ｉ／Ｆ）１０５、表示インタフェース（Ｉ／Ｆ）１０７、撮像インタフェース（Ｉ／Ｆ）１０９、システムバス１１１で構成される。入力Ｉ／Ｆ１０５は、例えばＵＳＢやＩＥＥＥ１３９４等のシリアルバスインタフェイスである。入力Ｉ／Ｆ１０５は、ユーザが各種操作指示を行うためのキーボードやマウスなどの入力装置１０６を接続する。出力Ｉ／Ｆ１０７は、例えばＤＶＩやＨＤＭＩ（登録商標）等の画像出力インタフェースであり、液晶ディスプレイなどの表示装置１０８を接続する。撮像Ｉ／Ｆ１０９は、例えば、３Ｇ／ＨＤ−ＳＤＩやＨＤＭＩ等の画像入力インタフェースであり、デジタルカメラやデジタルビデオカメラ、デジタルシネマカメラなどの撮像装置１１０を接続する。

以下では、ＣＰＵ１０１がＨＤＤ１０４に格納された各種ソフトウェア（コンピュータプログラム）を動作させることで実現する各種処理について述べる。

まず、ＣＰＵ１０１はＨＤＤ１０４に格納されている画像処理アプリケーションを起動し、ＲＡＭ１０２に展開するとともに、表示装置１０８にユーザインタフェース（ＵＩ）を表示する。続いて、ＨＤＤ１０４に格納されている各種データ、撮像装置１１０で撮像された画像、入力装置１０６からの指示などがＲＡＭ１０２に転送される。さらに、画像処理アプリケーション内の処理に従って、ＲＡＭ１０２に格納されているデータはＣＰＵ１０１からの指令に基づき各種演算を行う。そして、演算結果を表示装置１０８に表示したり、ＨＤＤ１０４に記憶したりする。

次に、本発明による画像処理アプリケーションについて述べる。冒頭でも述べたように、例えば映画等の撮影現場では、編集作業時に実行されるＲＡＷ現像処理と同じ処理を適用して画質を確認したいという要求がある。そこで、本実施例では、ＲＡＷ動画データ上の注目領域に対してはユーザが所望する画質（編集作業時の画質）を実現するためのＲＡＷ現像処理を行い、画像全体に対しては高速処理を実行可能な高速ＲＡＷ現像処理を行う。そして、これら２つの現像結果を合成して出力することで、画角の確認と編集作業時と同等の画質確認の２つを同時に実現する。なお、本実施例では、ＲＡＷ動画データを一般的なベイヤー配列で構成されたフレーム画像データの集合であるとして以降の説明を行う。

＜画像処理装置の論理構成＞
図２は、本実施例における画像処理装置の論理構成を示すブロック図である。

画像データ取得部２０１は、ＣＰＵ１０１からの指示に基づき、撮像装置１１０あるいはＨＤＤ１０４からＲＡＷ動画データを取得する。注目領域情報取得部２０２は、ＣＰＵ１０１からの指示に基づき、注目領域情報をＨＤＤ１０４あるいは入力装置１０６から取得する。高画質ＲＡＷ現像処理部２０３は、ＣＰＵ１０１からの指示に基づき、ＲＡＷ動画データ中の処理対象フレーム画像データの注目領域に対して高画質ＲＡＷ現像処理を行い、高画質ＲＡＷ現像済画像データを生成する。生成した画像データはＲＡＭ１０２に記憶される。高速ＲＡＷ現像処理部２０４は、ＣＰＵ１０１からの指示に基づき、ＲＡＷ動画データ中の処理対象フレーム画像データ全体に対して高速ＲＡＷ現像処理を行い、高速ＲＡＷ現像済画像データを生成する。生成した画像データはＲＡＭ１０２に記憶される。画像データ出力部２０５は、ＣＰＵ１０１からの指示に基づき、高画質ＲＡＷ現像済画像データと高速ＲＡＷ現像済画像データを表示装置１０８やＨＤＤ１０４などに出力する。

＜メイン処理フロー＞
以下では、図２で説明した画像処理装置の論理構成における各処理の詳細について、図３のフローチャートを用いて説明する。

ステップＳ３０１において、画像データ取得部２０１は、入力画像データとして幅Ｗ、高さＨの解像度のＲＡＷ動画データを取得する。

ステップＳ３０２において、注目領域情報取得部２０２は、予め設定された注目領域情報を取得する。注目領域情報とは、少なくとも領域の位置と大きさを含む情報であり、例えば本実施例では図６に示すように、領域の中央座標（Ｘ_ｒｏｉ，Ｙ_ｒｏｉ）と領域の幅Ｗ_ｒｏｉと高さＨ_ｒｏｉで構成される。なお、注目領域の大きさは、画像処理装置の性能に合わせて高画質ＲＡＷ現像処理を実時間で実行可能なサイズに設定されているものとする。

ステップＳ３０３において、高画質ＲＡＷ現像処理部２０３は、ステップＳ３０１で取得したＲＡＷ動画データ中の処理対象フレーム画像データの注目領域に対して高画質ＲＡＷ現像処理を行い、幅Ｗ_ｒｏｉ、高さＨ_ｒｏｉの解像度の高画質ＲＡＷ現像済画像データを生成する。高画質ＲＡＷ現像処理の詳細は後述する。

ステップＳ３０４において、高速ＲＡＷ現像処理部２０４は、ステップＳ３０１で取得したＲＡＷ動画データ中の処理対象フレーム画像データ全体に対して高速ＲＡＷ現像処理を行い、幅Ｗ、高さＨの解像度の高速ＲＡＷ現像済画像データを生成する。高速ＲＡＷ現像処理の詳細は後述する。

ステップＳ３０５において、画像データ出力部２０５は、ステップＳ３０３で生成した高画質ＲＡＷ現像済画像データとステップＳ３０４で生成した高速ＲＡＷ現像済画像データを合成して表示画像データを生成し、出力する。本実施例における表示画像データを図７に示す。注目領域については高画質ＲＡＷ現像済画像データが表示され、注目領域以外は高速ＲＡＷ現像済画像が表示されるように、それぞれの画像を合成した画像データとなっている。

＜高画質ＲＡＷ現像処理＞
以下では、図３のステップＳ３０３における高画質ＲＡＷ現像処理の詳細について、図４のフローチャートを用いて説明する。

ステップＳ４０１において、ステップＳ３０２で取得した注目領域情報に基づき、ステップＳ３０１で取得したＲＡＷ動画データ中の処理対象フレーム画像データから、注目領域に対応する画像データを取得する。つまり、幅Ｗ_ｒｏｉ、高さＨ_ｒｏｉの解像度のベイヤー配列で構成された画像データを得る。なお、後述する各種フィルタ処理のアルゴリズムによっては処理対象画素の周辺画素の情報を必要とする場合があるため、注目領域の上下左右に数画素のマージンを持たせて取得するようにしてもよい。

ステップＳ４０２において、ステップＳ４０１で取得した注目領域の画像データに対して公知のホワイトバランス処理を行う。

ステップＳ４０３において、ステップＳ４０２で得られるホワイトバランス処理後の画像データに対してデベイヤー処理を行う。デベイヤー処理とは、ベイヤー配列の画像データから各画素に対してＲＧＢの全ての色成分の揃った画像データに変換する処理である。ベイヤー配列の状態では、各画素はＲ、Ｇ、Ｂのどれか１つの色成分しか保持していないため、それ以外の色成分については周囲の画素から補間処理によって埋める必要がある。この補間処理には、バイリニア法やバイキュービック法などの基本的な補間手法を用いてもよいし、例えば色の相関を用いて高画質化を図る手法などを用いてもよい。様々なデベイヤーアルゴリズムが適用可能である。また、偽解像緩和処理や偽色処理などを同時に適用するようにしてもよい。

ステップＳ４０４において、ステップＳ４０３で得られるデベイヤー処理後の画像データに対して、エッジ保存型平滑化フィルタであるバイラテラルフィルタを用いてノイズリダクション処理を行う。なお、ノイズリダクション処理には、様々な公知のノイズリダクションアルゴリズムを適用可能である。例えば、基本的な平滑化フィルタやメディアンフィルタを用いてもよい。

ステップＳ４０５において、ステップＳ４０４で得られるノイズリダクション処理後の画像データに対して、ＩＣＣプロファイルを用いて撮像装置のデバイスＲＧＢからｓＲＧＢなどの規定の色空間への色変換処理を行う。なお、この色変換処理にはＩＣＣプロファイルを用いる方法以外にも、例えばＬＵＴやマトリクスを用いる方法など様々な色変換処理が適用可能である。

ステップＳ４０６において、ステップＳ４０５で得られる変換処理後の画像データに対してガンマ補正処理を行う。

ステップＳ４０７において、ステップＳ４０６で得られるガンマ補正処理後の画像データに対してアンシャープマスク法によりエッジ強調処理を行う。なお、エッジ強調処理には、アンシャープマスク法以外にも公知の様々なエッジ強調アルゴリズムが適用可能である。

＜高速ＲＡＷ現像処理＞
以下では、図３のステップＳ３０４における高速ＲＡＷ現像処理の詳細について、図５のフローチャートを用いて説明する。

ステップＳ５０１において、ステップＳ３０１で取得したＲＡＷ動画データ中の処理対象フレーム画像データを取得する。つまり、幅Ｗ、高さＨの解像度のベイヤー配列で構成された画像データが得られることになる。

ステップＳ５０２において、ステップＳ５０１で取得した画像データに対してホワイトバランス処理を行う。ステップＳ４０２と同様な処理であるため詳細な説明は省略する。

ステップＳ５０３において、ステップＳ５０２で得られるホワイトバランス処理後の画像データに対してデベイヤー処理を行う。ステップＳ４０３と同様な処理であるため詳細な説明は省略する。

ステップＳ５０４において、ステップＳ５０３で得られるデベイヤー処理後の画像データに対して色変換処理を行う。ステップＳ４０５と同様な処理であるため詳細な説明は省略する。

ステップＳ５０５において、ステップＳ５０４で得られる色変換処理後の画像データに対してガンマ処理を行う。

以上の処理により、注目領域に対しては編集作業時と同等の高画質なＲＡＷ現像処理を適用し、それ以外の領域に対しては高速なＲＡＷ現像処理を適用することで、ユーザの所望する画質の確認と画角の確認の両方を同時に実現することができる。

なお、本実施例では、注目領域をＨＤＤ等から取得する例について説明したが、この代わりに注目領域情報をユーザに設定させてもよい。図８に注目領域設定ＵＩの例を示す。ユーザは、注目領域の中央座標（Ｘ_ｒｏｉ，Ｙ_ｒｏｉ）と領域の幅Ｗ_ｒｏｉ、高さＨ_ｒｏｉの情報をエディットボックスを通して入力する。この際、設定された注目領域に対して、高画質ＲＡＷ現像処理を実時間で実行可能かどうかを判定し、実時間で実行できない場合には実時間で処理できない旨の警告を、画面表示あるいは音声等でユーザに提示する。なお、判定処理は、例えば１フレームの画像データに対して実際に処理を行うことで実行する。あるいは、予め実時間で処理可能な注目領域の大きさの最大値を決めておき、これに基づきユーザからの入力を制限するようにしてもよい。なお、本実施例では、エディットボックスによる領域設定方法について示したが、ユーザによる領域設定方法はこれに限るものではない。例えば、マウスや視線入力デバイス等を使用して座標と大きさを設定するようにしてもよいことは言うまでもない。

また、高画質ＲＡＷ現像処理および高速ＲＡＷ現像処理の処理内容や処理順は、本実施例で説明した処理に限るものではない。つまり、注目領域にはユーザが所望する画質を実現するための高画質ＲＡＷ現像処理を適用し、それ以外の領域には広範囲に実時間処理を実現するための高速ＲＡＷ現像処理を適用するようなものであれば、どのような処理、および処理順であってもかまわない。例えば、注目領域に対しては、高画質ＲＡＷ現像処理に偽色緩和処理やレンズ収差補正処理等のその他の高画質化処理が含まれていてもよい。また、高速ＲＡＷ現像処理についても、デベイヤー処理をより高速に行うために縦横それぞれの解像度を半分に落とした処理にするなど、あらゆる高速化処理を適用可能である。さらに、高速ＲＡＷ現像処理全体を高画質ＲＡＷ現像処理全体よりも前に実行してもよいし、あるいはこれらを並列に実行してもよいことは言うまでもない。

なお、本実施例で説明した処理を実行するかどうかをユーザに選択させる表示モード設定手段を設け、ユーザによる実行意思があるときにだけ本実施例で説明した処理を適用するようにしてもかまわない。例えば、画像全体を同一のパラメータでＲＡＷ現像して表示するプレビューモードと、本実施例で説明した処理を適用することでユーザの所望する画質を確認するための表示モードを設け、後者のモードが選択されたときにだけ、本実施例で説明した処理を適用するようにしてもよい。

実施例１では、画像処理アプリケーションにＲＡＷ動画データを入力し、画像全体と注目領域のそれぞれに対して異なる現像パラメータで現像処理を行うことで画像データを生成し、これを出力する処理について説明した。本実施例では、注目領域の現像処理後の画像データに対して、さらに画質評価処理を行い、この画質評価値を画像データとともに出力する処理について説明する。

図１３は、本実施例における画像処理装置の論理構成を示すブロック図である。図２で説明した実施例１における画像処理装置の論理構成を示すブロック図に画質評価処理部１３０１が付加された構成となっている。

画質評価処理部１３０１は、ＣＰＵ１０１からの指示に基づき、高画質ＲＡＷ現像済画像に対して画質評価処理を行い、画質評価値を導出する。なお、実施例１との重複部分については説明は省略する。

以下では、図１３で説明した画像処理装置の論理構成における各処理の詳細について、図９のフローチャートを用いて説明する。

ステップＳ９０１において、画像データ取得部２０１は、入力画像データとして幅Ｗ、高さＨの解像度のＲＡＷ動画データを取得する。

ステップＳ９０２において、注目領域情報取得部２０２は、予め設定された注目領域情報を取得する。注目領域情報とは、少なくとも領域の位置と大きさを含む情報であり、例えば図６に示すように、領域の中央座標（Ｘ_ｒｏｉ，Ｙ_ｒｏｉ）と領域の幅Ｗ_ｒｏｉと高さＨ_ｒｏｉで構成される。なお、注目領域の大きさは、画像処理装置の性能に合わせて高画質ＲＡＷ現像処理を実時間で実行可能なサイズに設定されている必要ものとする。

ステップＳ９０３において、高画質ＲＡＷ現像処理部２０３は、ステップＳ９０１で取得したＲＡＷ動画データ中の処理対象フレーム画像データの注目領域に対して高画質ＲＡＷ現像処理を行い、幅Ｗ_ｒｏｉ、高さＨ_ｒｏｉの解像度の高画質ＲＡＷ現像済画像データを生成する。高画質ＲＡＷ現像処理の詳細は、実施例１と同様であるため説明は省略する。

ステップＳ９０４において、画質評価処理部１３０１は、ステップＳ９０３で生成された高画質ＲＡＷ現像済画像データに対して画質評価処理を行い、画質評価値を算出する。画質評価処理の詳細は後述する。

ステップＳ９０５において、高速ＲＡＷ現像処理部２０４は、ステップＳ９０１で取得したＲＡＷ動画データ中の処理対象フレーム画像データ全体に対して高速ＲＡＷ現像処理を行い、幅Ｗ、高さＨの解像度の高速ＲＡＷ現像済画像データを生成する。高速ＲＡＷ現像処理の詳細は、実施例１と同様であるため説明は省略する。

ステップＳ９０６において、画像データ出力部２０５は、ステップＳ９０３で生成した高画質ＲＡＷ現像済画像データとステップＳ９０５で生成した高速ＲＡＷ現像済画像データを合成して表示画像データを生成し、ステップＳ９０４で算出した画質評価値とともに出力する。本実施例における表示画像の表示方法の例を図１０に示す。例えば、注目領域については高画質ＲＡＷ現像済画像データを表示し、注目領域以外は高速ＲＡＷ現像済画像を表示する。さらに注目領域の画質評価値を画像の上に重畳表示する（図１０（ａ））。一方、画像全体に対して高速ＲＡＷ現像処理済画像を表示し、これに注目領域の画質評価値を重畳表示することも考えられる（図１０（ｂ））。例えば、本実施例では、図１０（ａ）の方法で情報を提示する。

＜画質評価処理＞
本実施例では、ノイズを評価対象の画質項目として説明を行う。画像に対する画質評価値としてノイズ量を算出する方法について、図１４のフローチャートを用いて説明する。

ステップＳ１４０１において、高画質ＲＡＷ現像済画像データ中の各画素のＲＧＢ値を取得する。
ステップＳ１４０２において、各画素のＲＧＢ値に対してＲＧＢ値から３刺激値であるＸＹＺ値への変換処理を行う。変換はｓＲＧＢ、ＡｄｏｂｅＲＧＢなど規定の方法で行う。

α、β、γ、ａ１１〜ａ３３は規定の係数である。

ステップＳ１４０３において、各画素のＸＹＺ値をＣＩＥで規定されている変換式を用いてＬａｂ値に変換する。

ステップＳ１４０４において、各画素のＬａｂを用いて標準偏差σ_Ｌ、σ_ａ、σ_ｂを計算する。

ステップＳ１４０５において、評価値Ｐとして各標準偏差を重みづけした和を計算する。

なお、重み係数Ａ、Ｂ、Ｃは任意の係数であり、明度Ｌと色成分ａｂで知覚されるノイズ量と一致するように予めＡ、Ｂ、Ｃの値を決定しておけば、知覚に一致したノイズ量Ｐを計算することができる。なお、算出方法は これに限らず、たとえば、ウィーナースペクトルやＲＭＳ粒状度などでもよいが、算出したノイズ量と知覚されるノイズ強度が一致していることが望ましい。また、複数フレーム間の画像を解析して動画のノイズ量を計算してもよい。

なお、本実施例ではノイズ量を画質評価処理の対象として説明したが、ノイズ以外にも階調性、コントラスト、フォーカス、ジャギー、ジャーキネス、色再現性など他の画質項目を画質評価処理の対象として設定してもよい。また、これらを複数組み合わせて画質評価処理を実行してもかまわない。

以上説明した処理により、ユーザの所望する画質と画角の両方を同時に確認可能にし、さらに画質評価値を算出して表示することで画質の定量的な確認を実現する。

なお、実施例１と同様に、高速ＲＡＷ現像処理を高画質ＲＡＷ現像処理よりも前に実行してもよいことは言うまでもない。

本実施例では、実施例１で説明した各処理を実行する画像処理装置の処理能力が低い場合に、注目領域に対する処理を優先的に実行することで画質確認の精度を保つ方法について説明する。

画角の確認とユーザの所望する画質の確認を適切に行うためには、実施例１で説明した各処理が実時間で終わっている必要がある。例えば、２４ｆｐｓの動画を処理する場合は、１／２４秒以内に、全ての処理が終わっている必要がある。しかし、これらの処理を実行する画像処理装置の処理能力が低い場合、全ての処理が実時間に間に合わない可能性がある。もし、これらの処理が実時間に終わらない場合、表示にコマ落ちが発生してしまう。つまり、２４ｆｐｓの動画が例えば１コマ置きの１２ｆｐｓで表示されるような状態が発生し、これにより動画の画質確認を適切に行うことは難しくなる。例えば、映画等の撮影現場では、画像処理装置として性能のそれほど高くないノートＰＣを利用することが多々あり、このようなケースでは前述の問題が発生する可能性が高い。

本実施例では、注目領域に対する処理を優先的に実行し、残りの時間で注目領域以外に対する処理を実行することで注目領域のコマ落ちを抑制する。注目領域以外については優先度を落として処理を行うために、場合によってはコマ落ちが発生することになるが、画角を大きく変化させている場合を除き、画角の確認は必ずしもフルフレームで表示されていなくても十分可能であり、これが大きな弊害とはならない。

次に、本実施例における画像処理装置の論理構成と各処理の詳細について説明する。図１５は、本実施例における画像処理装置の論理構成を示すブロック図である。図２で説明した実施例１における画像処理装置の論理構成を示すブロック図に処理順制御部１５０１が付加された構成となっている。処理順制御部１５０１は、ＣＰＵ１０１からの指示に基づき、高画質ＲＡＷ現像処理を優先的に行うように処理順を制御する。なお、実施例１との重複部分については説明は省略する。

以下、図２で説明した画像処理装置の論理構成における本実施例での各処理の詳細について、図１１のフローチャートを用いて説明する。

ステップＳ１１０１において、処理順制御部１５０１は、高画質ＲＡＷ現像処理および高速ＲＡＷ現像処理においてそれぞれの処理対象となるフレーム画像データのフレーム番号と、それぞれの現像処理における処理ステートを取得する。処理ステートはフレーム画像データに対して現像処理がどこまで終了したかを示す情報である。例えば、本実施例における処理ステートは、次の処理の開始位置を示すｘ方向、ｙ方向の画素位置、現像処理のフロー中のどの処理まで終了したかを示すフラグ等を含む。

ステップＳ１１０２において、画像データ取得部２０１は、入力画像データとして幅Ｗ、高さＨの解像度のＲＡＷ動画データを取得する。なお、このＲＡＷ動画データは、ステップＳ１１０１で取得した処理対象のフレーム番号に対応するデータを含む。

ステップＳ１１０３において、注目領域情報取得部２０２は、予め設定された注目領域情報を取得する。注目領域情報とは、少なくとも領域の位置と大きさを含む情報であり、例えば図６に示すように、領域の中央座標（Ｘ_ｒｏｉ，Ｙ_ｒｏｉ）と領域の幅Ｗ_ｒｏｉと高さＨ_ｒｏｉで構成される。なお、注目領域の大きさは、画像処理装置の性能に合わせて高画質ＲＡＷ現像処理がリアルタイムに実行可能なサイズに設定されている必要がある。

ステップＳ１１０４において、高画質ＲＡＷ現像処理部２０３は、ステップＳ１１０２で取得したＲＡＷ動画データからステップＳ１１０１で取得した処理対象のフレーム番号に対応するフレーム画像データを処理対象フレーム画像データとして取得する。そして、この処理対象フレーム画像データの注目領域に対して高画質ＲＡＷ現像処理を行い、幅Ｗ_ｒｏｉ、高さＨ_ｒｏｉの解像度の高画質ＲＡＷ現像済画像データを生成する。高画質ＲＡＷ現像処理の詳細は、実施例１と同様であるため説明は省略する。

ステップＳ１１０５において、高速ＲＡＷ現像処理部２０４は、ステップＳ１１０２で取得したＲＡＷ動画データからステップＳ１１０１で取得した処理対象のフレーム番号に対応するフレーム画像データを処理対象フレーム画像データとして取得する。そして、この処理対象フレーム画像データ全体に対して高速ＲＡＷ現像処理を行い、幅Ｗ、高さＨの解像度の高速ＲＡＷ現像済画像データを生成する。高速ＲＡＷ現像処理の詳細は、実施例１と同様であるため説明は省略する。

ステップＳ１１０６において、処理順制御部１５０１は、高画質ＲＡＷ現像処理および高速ＲＡＷ現像処理のそれぞれの現像処理において、処理対象のフレーム画像データに対して現像処理フローの全ての処理が終了していれば、フレーム番号を次に処理すべきフレーム番号に更新する。もし、全ての処理が終了していない場合はフレーム番号を更新しない。さらに、それぞれの現像処理において、次の処理の開始位置を示すｘ方向、ｙ方向の画素位置や、処理フローのどの処理まで終了したかを示すフラグを処理ステートとして記憶する。

ステップＳ１１０７において、画像データ出力部２０５は、ステップＳ１１０４で生成した高画質ＲＡＷ現像済画像データとステップＳ１１０５で生成した高速ＲＡＷ現像済画像データを合成して表示画像データを生成して出力する。この際、処理ステートを参照して全ての処理が終了しているフレームのうち最も新しいフレーム画像を使用する。

次に、本実施例におけるそれぞれの現像処理の処理タイミングと表示画像データの一例を図１２に示す。図１２では、横軸に時間ｔをとっており、２４ｆｐｓのＲＡＷ動画データを処理して表示する例について示している。

時間ｔ_ｎ−１からｔ_ｎまでの１／２４秒間の処理に着目すると、まず、フレーム番号ｆ_ｎの画像データの注目領域に対する高画質ＲＡＷ現像処理を最優先で実行し、残りの時間でフレーム番号ｆ_ｎの画像データ全体に対する高速ＲＡＷ現像処理を行っている。この１／２４秒間では、注目領域に対する処理は１００％、画像全体に対する処理は５０％終了しており、それぞれの現像処理に対してこの状態を示す処理ステートが記憶される。具体的には、注目領域に対しては処理対象フレーム番号を１だけ更新してｆ_ｎ＋１とし、画像全体に対しては処理対象フレーム番号はｆ_ｎのままとする。また、注目領域に対しては処理が完了しており、画像全体に対しては処理が５０％しか終了していないという情報も併せて記憶する。この時点で画面に表示される画像は、注目領域についてはフレーム番号ｆ_ｎの画像データとなり、それ以外の領域についてはフレーム番号ｆ_ｎに対する処理が完了していないため、すでに処理が完了しているフレーム番号ｆ_ｎ−２の画像データが表示画像として画面に表示される。

次に、時間ｔ_ｎからｔ_ｎ＋１までの１／２４秒間の処理に着目すると、まず、フレーム番号ｆ_ｎ＋１の画像データの注目領域に対する高画質ＲＡＷ現像処理を最優先で実行し、残りの時間でフレーム番号ｆ_ｎの画像データの画像全体に対する高速ＲＡＷ現像処理を行っている。後者の高速ＲＡＷ現像処理は、前の１／２４秒間の処理において５０％まで処理が終わっているという処理ステートが記憶されており、この１／２４秒間ではこの続きから処理を行う。この１／２４秒間では、注目領域に対する処理はフレーム番号ｆ_ｎ＋１の画像データに対して１００％、画像全体に対する処理はフレーム番号ｆ_ｎの画像データに対して１００％終了しており、それぞれの現像処理に対してこの状態を示す処理ステートが記憶される。具体的には、注目領域に対しては処理対象フレーム番号を１だけ更新してｆ_ｎ＋２とし、画像全体に対しては注目領域に合わせて処理対象フレーム番号をｆ_ｎ＋２に更新する。また、注目領域と画像全体のそれぞれに対して処理が完了しているという情報も併せて記憶する。この時点で画面に表示される画像は、注目領域についてはフレーム番号ｆ_ｎ＋１の画像データとなり、それ以外の領域についてはフレーム番号ｆ_ｎの画像データとなる。

以降同様に処理を繰り返していくことによって、注目領域に対しては実時間で処理が行われるため２４ｆｐｓで表示が更新され、それ以外の領域に対しては１２ｆｐｓで表示が更新される。

以上の処理により、注目領域に対する処理を優先的に実行して注目領域のコマ落ちを抑制することで、ノートＰＣ等の処理能力のそれほど高くない画像処理装置を用いる撮影現場において、画質確認の質を落とさずに画角確認と編集時の画質確認の両方を同時に実現することができる。

なお、本実施例で説明した処理は、実施例２で説明した画像評価処理を同時に行う場合についても適用可能である。この場合、高画質ＲＡＷ現像処理に加え画像評価処理も優先的に実行するようにして、これらの処理が終わり次第残りの時間を使って高速ＲＡＷ現像処理を行うようにすればよい。

１０１ ＣＰＵ、１０２ ＲＡＭ、１０３ ＲＯＭ、１０４ ＨＤＤ、
１０５ 入力インタフェース（Ｉ／Ｆ）、１０７ 表示インタフェース（Ｉ／Ｆ）、
１０９ 撮像インタフェース（Ｉ／Ｆ）、１１１ システムバス

Claims (6)

1. 画像データ中の注目領域を設定する注目領域設定手段と、
   前記注目領域に対してユーザの所望する画質を実現するための画像処理を行う第一の画像処理手段と、
   前記画像データ全体に対して前記第一の画像処理手段と一致する画質を高速に実現するための画像処理を行う第二の画像処理手段と、
   前記第一の画像処理手段で生成された画像データと前記第二の画像処理手段で生成された画像データを合成するための画像合成手段と、を備える
   ことを特徴とする画像処理装置。
2. 前記合成手段により合成された画像データを表示するための画像表示手段をさらに備えることを特徴とする請求項１に記載の画像処理装置。
3. 前記注目領域設定手段は前記注目領域の位置と大きさをユーザに設定させることを特徴とする請求項１又は請求項２に記載の画像処理装置。
4. 前記注目領域設定手段は前記第一の画像処理手段により画像処理を行った結果から前記注目領域の大きさの上限値を導出することを特徴とする請求項１乃至請求項３の何れか一項に記載の画像処理装置。
5. 前記注目領域設定手段は設定された注目領域の大きさが前記注目領域の大きさの上限値を超える場合は警告を発することを特徴とする請求項４に記載の画像処理装置。
6. 前記注目領域設定手段は設定可能な注目領域の大きさを前記注目領域の大きさの上限値に限定することを特徴とする請求項４に記載の画像処理装置。