JP6049425B2 - 撮像装置、画像処理装置、及び制御方法 - Google Patents

Description

本発明は、撮像装置、画像処理装置、及び制御方法に関するものであり、特に、撮影中もしくは撮影記録後の画像に対してカラーグレーディングなどの画像処理を行う撮像装置、画像処理装置、及び制御方法に関するものである。

従来、人物等の被写体を撮像して動画像として記録するデジタルカメラ等の撮像装置が存在する。また、デジタルシネマなどの制作現場においては、カット編集とともに、撮影した画像を所望の見た目に補正するカラーグレーディング処理を施すことが一般的である。このカラーグレーディング処理は、撮影記録後に編集スタジオなどにおいてカラーグレーディング機材を用いて行われる。一方で、撮影現場において、撮影時に大まかなカラーグレーディングを行っておき、撮影記録後には細かなカラーグレーディングのみを行うことも行われている。このように撮影時にカラーグレーディングしておくことで、撮影記録後に行うカラーグレーディングの負荷を減らすことができる。

撮影時にカラーグレーディングを行う場合、デジタルカメラは、画像を記録すると共に、ＨＤ−ＳＤＩケーブル等を通じて外部のカラーグレーディング装置に対して画像を出力する。カラーグレーディング装置は入力した画像に対してカラーグレーディング処理を施し、カラーグレーディングのパラメータのみを記録しておく（例えば、特許文献１参照）。これにより、撮影記録後のカラーグレーディング工程において、撮影画像に対して撮影時に記録しておいたカラーグレーディングのパラメータで処理を施すことで、撮影時のカラーグレーディング結果を再現することが可能である。その結果、前述の通り、撮影記録後のカラーグレーディング作業の負荷を低減させることができる。

特開２００９−２１８２７号公報

一方、撮影時において、デジタルカメラで記録する画像はＲＡＷデータなどできるだけ情報量の多いフォーマットで記録しておき、外部のカラーグレーディング装置に対しては、所定の現像パラメータに基づき現像処理した画像を出力することも多い。しかしながら、このように、カメラが記録する画像とカラーグレーディング装置に対して出力する画像が異なる場合、撮影記録後のカラーグレーディングにおいて撮影時と同じカラーグレーディングのパラメータで処理しても処理結果が異なってしまう場合があった。

一例として、カメラはＲＡＷ形式で記録し、撮影時のカラーグレーディング装置に対してはある現像パラメータＡで現像処理を行った画像を出力する場合について説明する。撮影時のカラーグレーディング装置は現像パラメータＡで現像された画像に対しカラーグレーディング処理を施し、カラーグレーディング用のパラメータを記録しておく。撮影記録後に最終的なカラーグレーディングをする際に、カラーグレーディング装置では、撮影されたＲＡＷデータを現像したデータを受け取り（もしくは、カラーグレーディング装置で現像し）、記録したカラーグレーディングのパラメータに従って処理を行う。

このように、撮影記録後のカラーグレーディング装置の現像処理のパラメータが撮影時の現像処理パラメータＡと異なっていた場合、同じカラーグレーディングのパラメータで処理したとしても撮影時のカラーグレーディング結果と一致する画像を得ることができない。

なお、上記では撮影時にカメラの外部でカラーグレーディングをする場合を例に説明したが、カメラ内でカラーグレーディングに相当する処理をする場合にも、同様の課題が生じる。

本発明は上記問題点を鑑みてなされたものであり、カメラで記録する画像とカラーグレーディングする画像の状態が異なる場合でも、撮影時のカラーグレーディング処理の内容を、撮影記録後のカラーグレーディング処理で再現できるようにすることを目的とする。

上記目的を達成するために、本発明の撮像装置は、撮影を行って画像データを出力する撮像手段と、ユーザからの指示に基づく第１の処理情報に応じて、前記画像データに画像処理を行う処理手段と、前記第１の処理情報と、前記画像データを予め決められた基準状態に変換するための第２の処理情報との差分情報を取得する取得手段と、前記取得手段により得られた差分情報を、前記画像データに関連付けて記録する記録手段と、を有し、前記記録手段は、ユーザからの指示に基づいて前記第１の処理情報に変更が生じるまでは、変更前の第１の処理情報に対応する差分情報を変更前に撮影された画像群の画像データに共通して関連付けて１つの画像ファイルとして記録し、ユーザからの指示に基づいて前記第１の処理情報に変更が生じると、変更後の第１の処理情報に対応する差分情報を変更後に撮影された画像の画像データに関連付けて新たな１つの画像ファイルとして記録する。

本発明によれば、カメラで記録する画像とカラーグレーディングする画像の状態が異なる場合でも、撮影時のカラーグレーディング処理の内容を、撮影記録後のカラーグレーディング処理で再現することできる。

本発明の実施の形態における画像処理システムの構成を示す図。 実施の形態におけるデジタルカメラの構成を示すブロック図。 実施の形態における画像処理部の構成を示すブロック図。 第１の実施形態におけるカラーグレーディング用のパラメータを生成する処理を示すフローチャート。 第１の実施形態における画像データの記録処理を示すフローチャート。 第１の実施形態における画像ファイルの構造の一例を示す図。 実施の形態におけるカラーグレーディング装置の構成を示すブロック図。 第１の実施形態におけるカラーグレーディング装置でのＬＭＴファイル設定処理を示すフローチャート。 第１の実施形態におけるＬＭＴファイルの例を示す図。 本発明の実施の形態におけるカラーグレーディング装置の画像処理部の構成を示すブロック図。 第２の実施形態における画像データの記録処理を示すフローチャート。 第２の実施形態における画像ファイルの構造の一例を示す図。 第２の実施形態におけるカラーグレーディング装置でのＬＭＴファイル設定処理を示すフローチャート。

以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。まず、図１〜図３を参照して、撮影時にカメラでカラーグレーディングに相当する画像処理を行い、カラーグレーディングのパラメータを記録する、本発明の実施形態における撮像装置及び画像処理システムの構成について説明する。

＜第１の実施形態＞
図１は本発明の第１の実施形態における画像処理システムの構成を示す構成図である。図１に示すように、画像処理システムは、撮像装置であるデジタルカメラ１００、画像を表示するモニタ２００、画像に対して色・輝度の補正などの画像加工処理を施すカラーグレーディング装置３００（画像処理装置）を含む。

カメラ１００は、被写体を撮影し、撮影した画像の画像データを記録媒体に記録するとともに、撮影中の撮影画像をモニタ２００に出力する。撮影完了後にカラーグレーディング装置３００は、記録媒体に記録された画像データを読み込み、読み込んだ画像に対してカラーグレーディング処理を行う。また、カラーグレーディング装置３００は、カラーグレーディング結果の画像等をモニタ２００へ出力する。なお、カメラ１００に接続されるモニタ２００とカラーグレーディング装置３００に接続されるモニタ２００は、それぞれ異なるモニタであっても、または同一のモニタを用いても構わない。

図２はデジタルカメラ１００の構成を示すブロック図である。図２を参照して、デジタルカメラ１００における被写体撮影時の基本的な処理の流れについて説明する。撮像部１０３は、光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成され、ズームレンズ、フォーカスレンズを含むレンズ群１０１及びシャッター１０２を介して入射した光を光電変換し、入力画像信号としてＡ／Ｄ変換器１０４へ出力する。Ａ／Ｄ変換器１０４は撮像部１０３から出力されるアナログ画像信号をデジタル画像信号に変換し、画像処理部１０５に出力する。

画像処理部１０５は、Ａ／Ｄ変換器１０４からの画像データ、または、メモリ制御部１０７を介して画像メモリ１０６から読み出した画像データに対し、ホワイトバランス処理などの色変換処理、γ処理、色補正処理などの各種画像処理を行う。なお、画像処理部１０５で行われる処理の詳細については後述する。また、画像処理部１０５では、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御部５０が露光制御、合焦制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理などを行う。また、画像処理部１０５は上述したホワイトバランス処理として、撮像した画像データを用いて後述する処理により光源を推定し、推定した光源に基づくＡＷＢ（オートホワイトバランス）処理を行う。

画像処理部１０５から出力された画像データは、メモリ制御部１０７を介して画像メモリ１０６に書き込まれる。画像メモリ１０６は、撮像部１０３から出力された画像データや、表示部１０９に表示するための画像データを格納する。

Ｄ／Ａ変換器１０８は、画像メモリ１０６に格納されている表示用の画像データをアナログ信号に変換して表示部１０９に供給し、表示部１０９はＬＣＤ等の表示器上に、Ｄ／Ａ変換器１０８からのアナログ信号に応じた表示を行う。また、画像メモリ１０６に格納されている画像データは外部出力インタフェース（Ｉ／Ｆ）１１３を介して、外部のモニタ２００にも出力することができる。

コーデック部１１０は、画像メモリ１０６に記憶された画像データをＭＰＥＧなどの規格に基づきそれぞれ圧縮符号化する。システム制御部５０は符号化した画像データもしくは、非圧縮の画像データを、インタフェース（Ｉ／Ｆ）１１１を介して、メモリカードやハードディスク等の記録媒体１１２に格納する。また、コーデック部１１０は、記録媒体１１２から読み出した画像データが圧縮されていた場合に、復号化して画像メモリ１０６に格納する。

上記の基本動作以外に、システム制御部５０は、不揮発性メモリ１２４に記録されたプログラムを実行することで、後述する第１の実施形態の各処理を実現する。なお、不揮発性メモリ１２４は電気的に消去・記録可能であって、例えばＥＥＰＲＯＭ等が用いられる。また、ここでいうプログラムとは、第１の実施形態で後述する各種フローチャートを実行するためのプログラムのことである。この際、システム制御部５０の動作用の定数、変数、不揮発性メモリ１２４から読み出したプログラム等をシステムメモリ１２６に展開する。

また、図２に示すようにカメラ１００は、各種の操作指示を入力するための操作部１２０、電源スイッチ１２１、電池の装着の有無、電池の種類、電池残量など、電源部１２３の状態を検出する電源制御部１２２を含む。更に、各種制御に用いる時間や、内蔵された時計の時間を計測するシステムタイマ１２５を有する。

図３は、画像処理部１０５の構成を示すブロック図である。図３を参照して、画像処理部１０５で行われる本第１の実施形態における処理について説明する。図３に示すように、図２のＡ／Ｄ変換器１０４から画像信号が画像処理部１０５に入力される。画像処理部１０５に入力された画像信号は、ベイヤー配列のＲＧＢ画像データで、色信号生成部１０５１に入力される。一方で、ベイヤーＲＧＢ形式（ＲＡＷ形式）のまま画像を記録する場合、画像処理部１０５は入力した画像信号をそのまま出力する。出力された画像信号はＩ／Ｆ１１１を介して記録媒体１１２に記録することができる。色信号生成部１０５１は入力されたベイヤー配列のＲＧＢ画像データから、全画素それぞれについてＲ、Ｇ、Ｂの色信号を生成する。色信号生成部１０５１は、生成した色信号Ｒ、Ｇ、ＢをＷＢ増幅部１０５２へ出力する。

ＷＢ増幅部１０５２は、システム制御部５０が算出するホワイトバランスゲイン値に基づき、色信号Ｒ、Ｇ、Ｂにそれぞれゲインをかけ、ホワイトバランスを調整する。色補正処理部１０５３では、ホワイトバランス処理された色信号Ｒ、Ｇ、Ｂに対して、３×３のマトリクス処理や３次元のＬＵＴ（Ｌｏｏｋ Ｕｐ Ｔａｂｌｅ）処理を行い、色調を補正する。更に、ガンマ処理部１０５４では、Ｒｅｃ．７０９などの規格に沿ったガンマやログ形式のガンマを掛けるなどのガンマ補正を行い、輝度・色差信号生成部１０５５では、色信号Ｒ、Ｇ、Ｂから輝度信号Ｙ、色差信号Ｒ−Ｙ、Ｂ−Ｙを生成する。輝度・色差信号生成部１０５５は、生成した輝度信号Ｙ、色差信号Ｒ−Ｙ、Ｂ−ＹをＩ／Ｆ１１１へ出力する。出力された輝度・色差信号は、Ｉ／Ｆ１１１を介して記録媒体１１２に記録することができる。

一方、ＷＢ増幅部１０５２はホワイトバランス処理後の色信号Ｒ、Ｇ、Ｂを色空間変換部１０５６にも出力する。色空間変換部１０５６は入力された色信号Ｒ、Ｇ、Ｂを所定の規格のＲＧＢ値に変換する。本第１の実施形態では、映画芸術科学アカデミー（ＡＭＰＡＳ）が提案しているＡＣＥＳ（Ａｃａｄｅｍｙ Ｃｏｌｏｒ Ｅｎｃｏｄｅ Ｓｐｅｃｉｆｉｃａｔｉｏｎ）規格の色空間へ変換するものとするが、本発明はこの規格に限られるものではない。ＡＣＥＳ色空間への変換は、色信号Ｒ、Ｇ、Ｂに対して３×３のマトリクス演算（Ｍ１）を行うことで可能である。ただし、ＡＣＥＳ空間は浮動小数点で表現されるが、ここでは、例えば値を１０００倍するなどして、整数値で処理する。色空間変換部１０５６は変換後のＲＧＢ値（ＡＣＥＳ＿ＲＧＢ信号）を色補正部１０５７へ出力する。色補正部１０５７は、ＡＣＥＳ＿ＲＧＢ信号に対して、３×３のマトリクス処理を行う。ここでは、色補正部１０５７でかける３×３のマトリクスをＭ２と表す。このマトリクスＭ２は、後述するユーザ操作によって行われるカラーグレーディング処理によって決定される。更に、ガンマ処理部１０５８は、設定したガンマパラメータγ１に従って、ガンマ変換処理をＲＧＢ信号に対して行い、ガンマ変換後の画像信号を外部出力Ｉ／Ｆ１１３を介してモニタ２００へ出力する。なお、ここで行われるガンマ処理の特性は、後述するユーザ操作によって行われるカラーグレーディング処理によって決定される。

次に、システム制御部５０が、撮影画像の記録前に、画像処理部１０５のパラメータを設定する際の処理について図４のフローチャートを用いて説明する。まずＳ４００では、操作部１２０に対するユーザからの操作入力情報を受信する。受信した情報に従って、色補正部１０５７のマトリクスＭ２及びガンマ処理部１０５８のパラメータγ１を決定する。ユーザは、モニタ２００に表示された映像を見ながら操作部１２０を操作し、所望の画質となるようにマトリクスＭ２及びガンマγ１を設定する。このとき、操作部１２０は、直接、マトリクスＭ２及びガンマγ１の数値入力を受け付けることも可能であるし、予め用意されたマトリクスＭ２及びガンマγ１を表示し、ユーザからの選択を受け付けることも可能である。

Ｓ４０１では、ユーザ入力によって設定されたパラメータ（第１の処理情報）を各処理部に設定する。具体的には、色補正部１０５７に対してユーザ入力操作によって指定されたマトリクスＭ２のパラメータを設定する。また、ガンマ処理部１０５８に対してユーザ入力操作によって指定されたγ１のパラメータを設定する。

Ｓ４０２では、Ｓ４０１で設定したマトリクスＭ２及びγ１が基準となるマトリクスと差があるか否かを判定する。具体的には、マトリクスＭ２が基準となる所定のマトリクスＭ３（ここでは、Ｍ３はＡＣＥＳで定める目標値に合わせるマトリクス）と差があるかを判定する。また、ガンマに関してもγ１が基準となる所定のガンマγ２（ここではγ２＝０．４５）と比較して差があるのかを判定する。差がある場合は、Ｓ４０３に進み、差がない場合は処理を終了する。

Ｓ４０３では、外部出力Ｉ／Ｆ１１３からモニタ２００の接続情報を得、Ｓ４０４では、Ｓ４０３で取得したモニタ接続情報を判定する。モニタ２００と接続されている場合はＳ４０５に進み、接続されていない場合は処理を終了する。

Ｓ４０５では、撮影記録後にカラーグレーディング装置３００で利用するカラーグレーディング用のパラメータを生成する。この処理では、色補正部１０５７及びガンマ処理部１０５８に設定したパラメータからカラーグレーディング用のパラメータを生成する。具体的には、基準となるパラメータ（マトリクスＭ３及びγ２）（第２の処理情報）と、ユーザが指定したパラメータ（マトリクスＭ２及びγ１）の差分情報を生成し、これをカラーグレーディング用のパラメータとする。

まず、マトリクスについて説明すると、ユーザが指定したマトリクスＭ２は以下の式で表現できるものとする。
Ｍ２ ＝ Ｍ３ × Ｍ４

これは、色補正部１０５７に設定されたマトリクスＭ２は、ＡＣＥＳで定める目標値への変換処理マトリクスＭ３と、ＡＣＥＳの目標値からユーザが所望とする色への変換処理マトリクスＭ４から構成されることを示している。このように、ユーザ操作によって指定されたマトリクスＭ２からマトリクスＭ４を生成する。つまり、Ｍ３の逆マトリクスをＭ２にかけることでマトリクスＭ４を得る。
ガンマ処理部１０５８も同様に、設定したガンマγ１ではなく、ガンマのかかっていないリニアな状態からガンマγ１を用いて処理した後の状態への変換を示すガンマγ３を算出し、γ３のパラメータをカラーグレーディング用のパラメータとする。具体的には、ユーザによって設定されたγ１に対して、基準ガンマγ２（例えば、０．４５）の逆ガンマをガンマγ１にかけることでγ３を得る。以上のようにして、カラーグレーディング用のパラメータ（Ｍ４及びγ３）を生成する。

次に、カメラ１００において上記のようにしてユーザ設定に基いて生成したカラーグレーディング用のパラメータ（Ｍ４及びγ３）を、撮影時に撮影画像のメタデータとして画像データに関連付けて記録する処理について説明する。図５は撮影時のシステム制御部５０の処理フローを示している。

ユーザによる操作部１２０への操作により画像記録開始が指示されると、Ｓ５００では、撮影画像と共に記録するメタデータを生成する。ここでは、撮影しているカメラのメーカー名や撮影日時、画像サイズなどをメタデータとして生成する。また、図５に示した処理で生成したカラーグレーディング用のパラメータもメタデータとして生成する。

ここで、メタデータを含む画像ファイルの例を図６に示す。図６はカメラ１００で記録するファイル構成を示している。画像ファイル６００は、メタデータ６０１及び各フレームの画像データ６１０を含んでいる。図６に示すように本第１の実施形態では、画像ファイル６００のヘッダ部にメタデータ６０１を記録し、メタデータ６０１の中には、カラーグレーディング用のパラメータ６０２が含まれている。

Ｓ５０１では画像データを記録メディアに記録する。その際、図６に示すような画像ファイル６００を生成し、そのヘッダ部にメタデータ６０１を記録する。そして、ヘッダ部に続いて、撮影した画像の画像データ６１０を１フレーム毎に記録する。

Ｓ５０２では、ユーザによる操作部１２０への操作情報に基づき、画像記録終了が指示されたか否かを判定する。画像記録終了が指示がされた場合はＳ５０３へ進み、生成中のファイル６００をクローズし、１つのファイルとして記録媒体１１２への記録を終了する。

一方、画像記録終了が指示がされていない場合はＳ５０４へ進み、ユーザによる操作部１２０への操作情報に基づき、画像処理部１０５に対するパラメータ（Ｍ２及びγ１）に変更があったか否かを判定する。変更があった場合はＳ５０５に進み、変更がない場合はＳ５０１へ戻る。

Ｓ５０５では生成中の画像ファイル６００をクローズし、１つのファイルとして記録媒体１１２への記録を終了する。Ｓ５０６では、カラーグレーディング用のパラメータを再度生成する。即ち、図４のＳ４０５で説明した処理と同様の処理を行い、ユーザ操作によって変更されたマトリクスＭ２及びガンマγ１に基づきカラーグレーディング用のパラメータ（Ｍ４、γ３）を生成する。カラーグレーディング用のパラメータを生成した後はＳ５００に戻り、変更後のメタデータ６０１を含む新たな画像ファイル６００を生成する。

以上のように記録制御することで、カラーグレーディング用のパラメータに変更がない限りは、１ショットの記録に対して１つの画像ファイルが生成される。また、カラーグレーディング用のパラメータに変更があった場合は、画像ファイル６００を新たに生成する。即ち、カラーグレーディング用のパラメータは各画像ファイル６００において共通のものとなる。

次に、撮影時に上記のようにカメラ１００で記録された画像データを、撮影記録後にカラーグレーディング装置３００でカラーグレーディング処理する場合について説明する。図７はカラーグレーディング装置３００の構成を示すブロック図である。まず、図７を参照して、カラーグレーディング装置３００における画像処理の基本的な処理の流れについて説明する。ここでは、カメラ１００で記録媒体１１２に記録した画像データを読み込み、画像処理する流れを説明する。

システム制御部３５０は、ユーザによりマウスやキーボード、タッチパネルなどから構成される操作部３２０の操作によって、記録媒体１１２からの画像読み込みを受け付ける。これに応じて、記録インタフェース（Ｉ／Ｆ）３０２を介して、カラーグレーディング装置３００に着脱可能な記録媒体１１２に記録された画像データを画像メモリ３０３へ読み込む。また、システム制御部３５０は、記録媒体１１２から読み込んだ画像データが圧縮符号化されたデータの場合は、画像メモリ３０３の画像データをコーデック部３０４へ渡す。コーデック部３０４は、圧縮符号化された画像データを復号し、復号した画像データを画像メモリ３０３へ出力する。システム制御部３５０は画像メモリ３０３に蓄積した復号後の画像データ、もしくは、ベイヤーＲＧＢ形式（ＲＡＷ形式）など非圧縮の画像データを画像処理部３０５へ出力する。

システム制御部３５０は、後述する処理によって画像処理部３０５で用いるパラメータを決定し、画像処理部３０５へパラメータを設定する。画像処理部３０５は、設定されたパラメータに従って画像処理を行い、画像処理結果を画像メモリ３０３に格納する。また、システム制御部３５０は、画像処理後の画像を画像メモリ３０３から読み出し、外部モニタインタフェース（Ｉ／Ｆ）３０６を介して、モニタ２００へ出力する。

なお、図７に示すように、カラーグレーディング装置３００は電源スイッチ３２１、電源部３２２、電気的に消去・記録可能な不揮発性メモリ３２３、各種制御に用いる時間や、内蔵された時計の時間を計測するシステムタイマ３２４を含む。更に、システム制御部３５０の動作用の定数、変数、不揮発性メモリ３２３から読みだしたプログラム等を展開するシステムメモリ３２５を有する。

次に、システム制御部３５０において、画像処理部３０５のパラメータを決定する際の第１の実施形態における処理の流れを図８のフローチャートを用いて説明する。Ｓ８０１において、記録媒体１１２から読み出した画像ファイル６００を画像メモリ３０３に書き込み、Ｓ８０２において画像ファイル６００のヘッダに記録されたメタデータ６０１を抽出する。

Ｓ８０３ではメタデータ６０１を解析し、カラーグレーディング用のパラメータ６０２（Ｍ４及びγ３）が記録されているか否かを判定する。カラーグレーディング用のパラメータ６０２が記載されている場合はＳ８０４に進み、記載されていない場合は、処理を終了する。

Ｓ８０４では、カラーグレーディング用のパラメータ６０２に従ってＬＭＴ（Ｌｏｏｋ Ｍｏｄｉｆｉｃａｔｉｏｎ Ｔｒａｎｓｆｏｒｍ）ファイルを生成する。ＬＭＴファイルとは、画像処理の内容を記載したファイルであり、第１の実施形態では、映画芸術科学アカデミー（ＡＭＰＡＳ）が提案している記述言語であるＣＴＬ（Ｃｏｌｏｒ Ｔｒａｎｓｆｏｒｍ Ｌａｎｇｕａｇｅ）形式でＬＭＴファイルを生成する。ここで、生成したＬＭＴファイルの例を図９に示す。ＣＴＬはインタプリタ型の言語であり、記載の命令に従った画像処理を入力画像ファイルに対してかけることが可能である。

図８に戻り、Ｓ８０５ではＬＭＴファイルを画像処理部３０５に設定する。画像処理部３０５は、後述のとおり、設定されたＬＭＴファイルに記述された画像処理を実行する。

次に、カラーグレーディング装置３００の画像処理部３０５で行われる本第１の実施形態における処理について説明する。図１０は画像処理部３０５の詳細を示すブロック図である。ここでは、画像処理部３０５への入力画像がベイヤーＲＧＢ形式（ＲＡＷ形式）の画像データである場合を例に説明する。

図１０に示すように、ベイヤーＲＧＢ形式（ＲＡＷ形式）の画像データは、システム制御部３５０の制御によって、ＲＧＢ信号生成部１００１に入力される。ＲＧＢ信号生成部１００１はベイヤーＲＧＢ形式（ＲＡＷ形式）の画像データに対してディベイヤー処理を行い、ＲＧＢ信号を生成する。そして、生成したＲＧＢ信号をＩＤＴ（Ｉｎｐｕｔ Ｄｅｖｉｃｅ Ｔｒａｎｓｆｏｒｍ）処理部１００２に出力する。ＩＤＴ処理部１００２は入力されたＲＧＢ信号をＡＣＥＳ規格のＡＣＥＳ_ＲＧＢ色空間信号に変換する処理と、ＡＣＥＳ規格が定める色目標値に補正する処理の２つを行う。ここで、ＡＣＥＳ規格のＡＣＥＳ_ＲＧＢ色空間信号に変換する処理とは、上述した図３の色空間変換部１０５６のマトリクス演算（Ｍ１）と等価なものである。ただし、マトリクス演算Ｍ１は整数演算だが、ここでは、ＡＣＥＳ規格に基づいた浮動小数点の演算を行う。また、ＡＣＥＳ規格が定める色目標値に補正する処理とは、基準となるパラメータであるマトリクスＭ３と等価なものである。即ち、ＩＤＴ処理部１００２は、マトリクスＭ１とＭ３の処理を行い、入力ＲＧＢ値をＡＣＥＳ規格のＲＧＢ値に変換する。このようにして生成したＡＣＥＳ＿ＲＧＢデータをＬＭＴ処理部１００３へ出力する。

ＬＭＴ処理部１００３では、設定されたＬＭＴファイルに従った画像処理を行う。ＬＭＴファイルが設定されていない場合は、何も処理を行わずに画像データを出力する。ＬＭＴファイルが設定されている場合は、ＬＭＴファイルを解釈し、記載内容に従った処理を行う。例えば図９に示すＬＭＴファイルの場合は、３×３のマトリクスＭ４の処理及びガンマγ３の処理を行う。ＬＭＴ処理部１００３は画像処理後のＡＣＥＳ＿ＲＧＢ画像データを基準ガンマ処理部１００４へ出力する。基準ガンマ処理部１００４は、モニタ２００の規格に応じたガンマ処理を施す。例えば、モニタ２００がＲｅｃ．７０９準拠のモニタの場合は、モニタガンマの逆数（１／２．２もしくは１／２．４）のガンマ処理を行い、ガンマ処理後のＲＧＢ値を整数化する。そして、基準ガンマ処理部１００４はＲＧＢ値を外部モニタＩ／Ｆ３０６を介してモニタ２００へ出力する。

以上説明したとおり、本第１の実施形態では、カメラ１００において基準状態（ＡＣＥＳの色空間及び色目標値）に対するカラーグレーディング用のパラメータ（マトリクスＭ４，ガンマγ３）を生成する。そして、生成したカラーグレーディング用のパラメータを、画像データに関連付けて記録する構成とした。

また、カラーグレーディング装置３００では、読み込んだ画像をＩＤＴ処理部１００２で一度、基準状態（ＡＣＥＳ規格の色空間及び色目標値）に変換する。そして、基準状態に対するカラーグレーディング用のパラメータ（Ｍ４、γ３）処理を行う構成とした。このように、基準状態に対するカラーグレーディングのパラメータを受け渡しすることで、記録された画像と、撮影時の画像の状態が異なっていても、撮影時のカラーグレーディングを、撮影記録後に再現することが可能となる。

なお、第１の実施形態では図３に示すように、色空間変換部１０５６と色補正部１０５７とを分けて記載したが、実際のマトリクス演算は１つの回路で行ってもよい。この場合、回路に設定するマトリクスは、Ｍ１×Ｍ２となるが、カラーグレーディング用のマトリクスパラメータとしては前述と同様にＭ４を生成し、メタデータとして記録する。

また、第１の実施形態では、カラーグレーディング用のパラメータとして、３×３マトリクス及びガンマ特性を用いる場合を例に説明したが、画像処理のパラメータであればこれら以外のパラメータを利用してもかまわない。例えば、１次元や３次元のルックアップテーブルをパラメータとして使用してもよいし、ＲＧＢ値に対するゲイン値や、オフセット値をパラメータとして使用する構成をとってもよい。

また、第１の実施形態では、カメラ１００からモニタ２００に出力する際に、ガンマ処理部１０５８の出力画像をモニタ２００に出力する構成をとっているが、本発明はこれに限定されるものではない。例えば、ガンマ処理部１０５８の後段に、映画芸術科学アカデミー（ＡＭＰＡＳ）が提案しているＲＲＴ処理、ＯＤＴ処理を行った後のデータを出力してもよい。ここで、ＲＲＴ（Ｒｅｆｅｒｅｎｃｅ Ｒｅｎｄｅｒｉｎｇ Ｔｒａｎｓｆｏｒｍ）処理とは、基準となるフィルム調の画作りを行う処理である。また、ＯＤＴ（Ｏｕｔｐｕｔ Ｄｅｖｉｃｅ Ｔｒａｎｓｆｏｒｍ）処理とは、出力デバイスに応じたガンマ及び色空間変換を行う処理である。この場合、カラーグレーディング装置３００においても図１０の基準ガンマ処理部１００４による処理の代わりにＲＲＴ処理及びＯＤＴ処理を行う構成とする。

また、第１の実施形態では、基準状態としてＡＣＥＳ規格を例に説明したが、ある基準状態における変換もしくはカラーグレーディング用のパラメータを生成する形態であればＡＣＥＳ以外のどのような状態を利用してもかまわない。例えば色空間がＡｄｏｂｅＲＧＢで、被写体に忠実な色再現におけるカラーグレーディング用のパラメータを生成し、それをメタデータとして記録してもよい。

また、第１の実施形態では、カラーグレーディング装置３００がベイヤーＲＧＢ形式（ＲＡＷ形式）の画像データを読み込んだ場合を例に説明したが、それ以外の画像フォーマットで記録されたデータに対しても対応が可能である。例として、図３に示すカメラ１００の輝度・色差信号生成部１０５５から出力した輝度・色差データ（Ｙ、Ｒ−Ｙ、Ｂ−Ｙ）を入力とした場合について図１０を参照して説明する。輝度・色差データは、カラーグレーディング装置３００の画像処理部３０５のＲＧＢ変換処理部１００５に入力される。ＲＧＢ変換処理部１００５で輝度・色差データをＲＧＢデータに変換し、デガンマ処理部１００６に出力する。

デガンマ処理部１００６は、カメラ１００のガンマ処理部１０５４で掛けられたガンマ処理の逆のガンマ処理を施す。デガンマ処理部１００６はＲＧＢデータをＩＤＴ処理部１００２へ出力する。ＩＤＴ処理部の処理は前述と同様であり、ＡＣＥＳの色空間へ変換する処理及びＡＣＥＳの目標値へ変換する処理となる。ここで、ＡＣＥＳの目標値へ変換する処理は、前述のベイヤーＲＧＢ形式（ＲＡＷ形式）の画像データの場合とは異なる値を用いる。

＜第２の実施形態＞
次に、本発明の第２の実施形態を説明する。第２の実施形態では、画像記録時にＬＭＴファイルを生成する場合の例について説明する。なお、第２の実施形態におけるシステム構成及び各装置の構成は第１の実施形態で図１、図２、図３、図７、図１０を参照して説明したものと同様であるため、ここでは説明を省略する。また、図４に示すように、撮影開始前に設定したパラメータに基づきカラーグレーディング用のパラメータを生成する点も第１の実施形態で図４を参照して説明した処理と同様である。

第２の実施形態は、撮影画像の記録時におけるカメラ１００のシステム制御部５０の動作及びカラーグレーディング装置３００での処理が第１の実施形態と異なる。具体的には、カメラ１００において、図１１のフローチャートに示す処理が、第１の実施形態で図５を参照して説明した処理の代わりに行われるとともに、図６に示す画像ファイルの代わりに、図１２に示すものが記録される。更に、カラーグレーディング装置３００において、図８に示す処理の代わりに、図１３に示す処理が行われる。従って、以下、これらの相違点について説明する。

Ｓ１１００ではＬＭＴファイルを生成する。ここでは、生成されたカラーグレーディング用のパラメータ（M４、γ３）に基づき、図９に示すようなＬＭＴファイル形式で記述したファイルを生成する。この場合、予めＬＭＴファイルのテンプレートを保持しておき、パラメータ部分（図９の９０１）のみを上書きするようにする。また、生成したＬＭＴファイル（第３の処理情報）には固有のＩＤ（リンク情報）（図９の９０２）を割り振る。

ここで、ＬＭＴファイルのＩＤを含む画像ファイルの例を図１２に示す。図１２に示すように、画像ファイル１２００は、ファイルヘッダ１２０１及び各フレームの画像データ１２１０を含み、画像データ１２１０は、生成したＬＭＴファイルのＩＤをメタデータとして付加したフレームヘッダ１２１１を含む。図１２では、フレームＮｏ．０〜フレームＮｏ．５５９９のフレームにＩＤが０００００１１２のＬＭＴファイルを関連付けた例を示している。

Ｓ１１０１では、画像データをＩ／Ｆ１１１を介して、記録媒体１１２に記録する。その際、図１２に示すような画像ファイル１２００を生成し、各フレームの画像データ１２１０を記録する際に、そのフレームヘッダ１２１１に生成したＬＭＴファイルのＩＤをメタデータとして付加する。

Ｓ１１０２では、ユーザによる操作部１２０への操作情報に基づき、画像記録終了が指示されたか否かを判定する。画像記録終了が指示がされた場合はＳ１１０３へ進み、生成中のファイル１２００をクローズし、１つのファイルとして記録媒体１１２への記録を終了する。

一方、画像記録終了が指示されていない場合はＳ１１０４へ進み、ユーザによる操作部１２０への操作情報に基づき、画像処理部１０５に対するパラメータに変更があったか否かを判定する。変更があった場合はＳ１１０５に進み、変更がない場合は、Ｓ１１０１に戻り、次のフレームの画像データの記録処理を行う。

Ｓ１１０５ではカラーグレーディング用のパラメータを再度生成する。ここでは、第１の実施形態で図４のＳ４０５で説明した処理と同様の処理を行う。即ち、画像処理部１０５に設定された画像処理のパラメータからカラーグレーディング用のパラメータを生成する。カラーグレーディング用のパラメータを生成した後はＳ１１００に戻り、変更後のカラーグレーディング用のパラメータに基づきＬＭＴファイルを生成する。そして新たに生成したＬＭＴファイルに新たなＩＤを付与する。

図１２は、画像フレームＮｏ．５６００からカラーグレーディング用のパラメータが変更された例を示している。この例では、画像フレームＮｏ．５６００〜画像フレームＮｏ．ＮまでのフレームにＩＤが０００００１１３のＬＭＴファイルを関連付けた例を示している。

次に、撮影時に上記のようにカメラ１００で記録された画像データを、撮影記録後にカラーグレーディング装置３００でカラーグレーディング処理する場合に、画像処理部３０５のパラメータを決定する際の第２の実施形態における処理の流れを説明する。ここでは図１３のフローチャートに示す処理を行うが、この図１３に示す処理は、第１の実施形態で図８を参照して説明した処理の代わりに行われる。

Ｓ１３０１において、記録媒体１１２から、画像ファイル１２００に含まれる１フレーム分の画像データ１２１０を画像メモリ３０３に書き込み、Ｓ１３０２において、画像データ１２１０のフレームヘッダ１２１１を抽出する。

Ｓ１３０３では、フレームヘッダ１２１１にＬＭＴファイルのＩＤが記載されているか判定する。ＬＭＴファイルのＩＤが記載されている場合はＳ１３０４に進み、記載されていない場合はＳ１３０５に進む。Ｓ１３０４では、記載されたＬＭＴのＩＤに対応したＬＭＴファイルを読み込み、読み込んだＬＭＴファイルを画像処理部３０５に設定する。

Ｓ１３０５では、現在処理中の画像データ１２１０で画像ファイルが終了するか否かを判定する。ファイル終了の場合は、処理も終了する。一方、ファイルが終了しない場合は、次のフレームの画像データ１２１０を読み込み、新たな画像データ１２１０に対してＳ１３０２以降の処理を行う。

なお、設定されたＬＭＴファイルに従い、画像処理部３０５が行う処理に関しては、第１の実施形態と同様であるため説明は省略する。

上記の通り本第２の実施形態によれば、ＬＭＴファイルをカメラ１００で生成し、そのＬＭＴファイルを指定する情報を画像データに記録する構成とした。これにより、カラーグレーディング装置でＬＭＴファイルを生成する必要がなくなり、ＬＭＴを生成することができないカラーグレーディング装置でも、撮影時のカラーグレーディングを再現することが容易となる。また、ＬＭＴファイルを生成することで、カラーグレーディングの処理内容と処理パラメータだけでなく、処理の順序を規定することが可能となる。

なお、本第２の実施形態では、生成したＬＭＴファイルのＩＤ情報を全てのフレームヘッダに記載する構成としたが、画像データとＬＭＴファイルが関連付けられているのであればどのような形態をとっても構わない。例えば、生成したＬＭＴファイルをファイルヘッダに埋め込む構成をとっても構わない。この場合、ＬＭＴファイルが複数ある場合は、複数のＬＭＴファイルをファイルヘッダに埋め込む。このようにＬＭＴファイルを画像ファイルヘッダに埋め込むことで、ユーザがＬＭＴファイルだけを紛失してしまい、撮影時のカラーグレーディングを再現できないということを低減させることが可能である。

＜他の実施形態＞
上述した第１の実施形態では、カラーグレーディング用のパラメータを撮影画像のメタデータとして記録する場合を例に説明したが、撮影画像に関連付けられるのであればどのような形態でカラーグレーディング用のパラメータを記録してもかまわない。例えば、カメラ１００でカラーグレーディング用のパラメータをＬＭＴファイルとして生成し、ＬＭＴファイルへのリンク情報を画像ファイルのメタデータとして記録しておいてもよい。具体的には、ＬＭＴファイルを生成する際に固有のＩＤ番号を振り、そのＩＤ番号を撮影画像のメタデータとして記録する方法をとることが可能である。もしくは、カメラ１００が図示しない通信部を介して、ＬＭＴファイルを外部のサーバに送信し、送信先のサーバのＵＲＬ情報などを記録画像のメタデータとして記録する構成をとってもよい。また、ＬＭＴファイルそのものをメタデータとして画像ファイルに記録してもよい。

また、上述した第２の実施形態では、生成したＬＭＴファイルのＩＤ情報を全てのフレームヘッダに記載する構成としたが、カラーグレーディング用のパラメータを全てのフレームヘッダに記録するようにしてもよい。その場合、カラーグレーディング装置は各フレームの画像データのフレームヘッダに含まれるカラーグレーディング用のパラメータを読み出し、それに基づいて第１の実施形態で説明したようにしてＬＭＴファイルを生成すれば良い。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (7)

1. 撮影を行って画像データを出力する撮像手段と、
   ユーザからの指示に基づく第１の処理情報に応じて、前記画像データに画像処理を行う処理手段と、
   前記第１の処理情報と、前記画像データを予め決められた基準状態に変換するための第２の処理情報との差分情報を取得する取得手段と、
   前記取得手段により得られた差分情報を、前記画像データに関連付けて記録する記録手段と、を有し、
   前記記録手段は、ユーザからの指示に基づいて前記第１の処理情報に変更が生じるまでは、変更前の第１の処理情報に対応する差分情報を変更前に撮影された画像群の画像データに共通して関連付けて１つの画像ファイルとして記録し、ユーザからの指示に基づいて前記第１の処理情報に変更が生じると、変更後の第１の処理情報に対応する差分情報を変更後に撮影された画像の画像データに関連付けて新たな１つの画像ファイルとして記録することを特徴とする撮像装置。
2. 前記記録手段は、前記撮像手段による撮影中に、前記記録を行うことを特徴とする請求項１に記載の撮像装置。
3. 前記処理手段により前記第１の処理情報に基づいて前記画像処理された画像データを表示装置に出力する出力手段を更に有することを特徴とする請求項１に記載の撮像装置。
4. 前記記録手段は、前記処理手段により前記画像データに前記第２の処理情報に基づく前記画像処理を行った画像データを、前記差分情報と関連づけて記録することを特徴とする請求項１に記載の撮像装置。
5. 前記取得手段により前記差分情報が得られなかった場合に、前記記録手段は差分情報を記録しないことを特徴とする請求項１に記載の撮像装置。
6. 前記第２の処理情報は、前記画像データを規格で定められた所定の色空間に変換することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 撮影を行って画像データを出力する撮像手段を有する撮像装置の制御方法であって、
   処理手段が、ユーザからの指示に基づく第１の処理情報に応じて、前記画像データに画像処理を行う処理工程と、
   取得手段が、前記第１の処理情報と、前記画像データを予め決められた基準状態に変換するための第２の処理情報との差分情報を取得する取得工程と、
   記録手段が、前記取得工程で得られた差分情報を、前記画像データに関連付けて記録する記録工程と、を有し、
   前記記録工程では、ユーザからの指示に基づいて前記第１の処理情報に変更が生じるまでは、変更前の第１の処理情報に対応する差分情報を変更前に撮影された画像群の画像データに共通して関連付けて１つの画像ファイルとして記録し、ユーザからの指示に基づいて前記第１の処理情報に変更が生じると、変更後の第１の処理情報に対応する差分情報を変更後に撮影された画像の画像データに関連付けて新たな１つの画像ファイルとして記録することを特徴とする撮像装置の制御方法。

Images