JP2010273012A - 画像処理装置、撮像装置およびプログラム - Google Patents

画像処理装置、撮像装置およびプログラム Download PDF

Info

Publication number
JP2010273012A
JP2010273012A JP2009121814A JP2009121814A JP2010273012A JP 2010273012 A JP2010273012 A JP 2010273012A JP 2009121814 A JP2009121814 A JP 2009121814A JP 2009121814 A JP2009121814 A JP 2009121814A JP 2010273012 A JP2010273012 A JP 2010273012A
Authority
JP
Japan
Prior art keywords
color conversion
color
image
pixel
pixel value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2009121814A
Other languages
English (en)
Inventor
Hideyasu Kuniba
英康 国場
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2009121814A priority Critical patent/JP2010273012A/ja
Publication of JP2010273012A publication Critical patent/JP2010273012A/ja
Withdrawn legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Abstract

【課題】 比較的簡易な構成でRAW画像のデータの色変換をより高い精度で行うための手段を提供する。
【解決手段】 画像処理装置は、RAW画像と、RAW画像を撮影した撮像装置の各色の画素の画素値と複数種類の色変換マトリクスとの対応関係を示した色再現特性情報とを取得する取得部と、所定の色空間を規定する1組の変数群から選択される2種類の変数を用いて、RAW画像の処理対象画素の画素値の座標と、複数の参照画素の画素値の座標とを共通の2次元平面に写像する写像処理部と、2次元平面での前記処理対象画素の画素値の座標と各々の参照画素の画素値の座標との位置関係から色再現特性情報のうちから選択された、複数の色変換マトリクスを演算して、RAW画像の色変換処理で適用する現像用色変換マトリクスを求めるマトリクス演算部と、を備える。
【選択図】 図1

Description

本発明は、画像処理装置、撮像装置およびプログラムに関する。
従来から、撮像されたRAW画像のデータをデバイスに依存しない色空間へ色変換する手段として、例えば特許文献1に示すように、3×3の行列演算による色変換や色変換テーブルを使用した色変換が知られている。
特許第3679488号公報
ところで、3×3の行列演算で色変換を行う場合、イメージセンサの分光感度が等色関数の一次結合で表されるとき(Luther条件を満足する場合)には、RAW画像のデータを行列演算でデバイスに依存しない色空間に正確に色変換できる。しかし、通常のイメージセンサはLuther条件を満たさないので、それらのイメージセンサにおいてより精度の高い色変換を行うため、3次元の色変換テーブルを適用すれば、上記の行列演算よりも精度の高い色変換を行うことができるが、テーブルのデータ量が膨大になるとともに、色変換時の演算負荷も増える点で問題があった。
そこで、本発明の目的は、比較的簡易な構成でRAW画像のデータの色変換をより高い精度で行うための手段を提供することにある。
第1の態様の画像処理装置は、RAW画像と、RAW画像を撮影した撮像装置の各色の画素の画素値と複数種類の色変換マトリクスとの対応関係を示した色再現特性情報とを取得する取得部と、所定の色空間を規定する1組の変数群から選択される2種類の変数を用いて、RAW画像の処理対象画素の画素値の座標と、複数の参照画素の画素値の座標とを共通の2次元平面に写像する写像処理部と、2次元平面での前記処理対象画素の画素値の座標と各々の参照画素の画素値の座標との位置関係から色再現特性情報のうちから選択された、複数の色変換マトリクスを演算して、RAW画像の色変換処理で適用する現像用色変換マトリクスを求めるマトリクス演算部と、を備える。
上記の第1の態様において、マトリクス演算部は、2次元平面での注目画素値の座標と各々の参照画素値の座標との距離に応じて、各々の参照画素値に対応する色変換マトリクスを加重平均して現像用色変換マトリクスを求めてもよい。
上記の第1の態様において、各々の参照画素値の座標は、2次元平面で格子状の配列をしていてもよい。
第2の態様の画像処理装置は、RAW画像と、RAW画像を撮影した撮像装置の各色の画素の画素値と被写体の測色値との対応関係を示した色再現特性情報とを取得する取得部と、所定の色空間を規定する1組の変数群から選択される2種類の変数を用いて、RAW画像の処理対象画素の画素値の座標と、複数の参照画素の画素値の座標とを共通の2次元平面に写像する写像処理部と、2次元平面での処理対象画素の画素値の座標と各々の参照画素の画素値の座標との位置関係から色再現特性情報のうちから選択された、複数の参照画素値にそれぞれ対応する複数の測色値を演算して、RAW画像の色変換処理で適用する現像用色変換マトリクスを求めるマトリクス演算部と、を備える。
第3の態様の画像処理装置は、RAW画像と、RAW画像を撮影した撮像装置の各色の画素の画素値と複数種類の色変換マトリクスとの対応関係を示した色再現特性情報とを取得する取得部と、所定の色空間を規定する1組の変数群から選択される2種類の変数を用いて、RAW画像の処理対象画素の画素値の座標と、複数の参照画素の画素値の座標とを共通の2次元平面に写像する写像処理部と、2次元平面での前記処理対象画素の画素値の座標と各々の参照画素の画素値の座標との位置関係から、色再現特性情報のうちからRAW画像の色変換処理で適用する現像用色変換マトリクスを求めるマトリクス演算部と、を備える。
上記の第3の態様において、写像処理部は、RAW画像の平均色に対応する画素値を処理対象画素の画素値として設定してもよい。
上記の第3の態様において、色再現特性情報に含まれる色変換マトリクスには優先順位が設定されていてもよい。また、マトリクス演算部は、優先順位に基づいて現像用色変換マトリクスを求めてもよい。
上記の第1から第3の態様の画像処理装置は、現像用色変換マトリクスを用いてRAW画像の現像処理を行う画像処理部をさらに備えていてもよい。
上記の第1から第3の態様の画像処理装置は、画像ファイルを生成するファイル生成部をさらに備えていてもよい。上記の画像ファイルには、RAW画像の情報に現像用色変換マトリクスの情報を対応付けて記録される。
なお、上記の各態様の画像処理装置を備えた撮像装置や、コンピュータを上記の各態様の画像処理装置として動作させるプログラムや、このプログラムを記憶した記憶媒体や、上記の各態様における画像処理装置の動作を方法のカテゴリで表現したものも、本発明の具体的態様として有効である。
上記の各態様によれば、比較的簡易な構成でRAW画像のデータの色変換をより高い精度で行うことができる。
一の実施形態に係る画像処理装置の構成例を示すブロック図 一の実施形態に係る画像処理装置の動作例を示す流れ図 第1の演算処理例のサブルーチンを示す流れ図 S204におけるrg平面への写像例を示す図 rg平面の領域分割の一例を示す図 図5の各分割領域の代表点の位置を示す図 第2の演算処理例のサブルーチンを示す流れ図 S305での演算例を示す概要図 第3の演算処理例での色再現特性情報の内容を模式的に示す図 第3の演算処理例のサブルーチンを示す流れ図 第3の演算処理例での色再現特性情報の内容を模式的に示す図 他の実施形態における電子カメラの構成例を示すブロック図 他の実施形態における電子カメラの動作例を示す流れ図
<一の実施形態の説明>
図1は、一の実施形態に係る画像処理装置の構成例を示すブロック図である。一の実施形態の画像処理装置は、画像処理プログラムがインストールされたパーソナルコンピュータである。この画像処理装置を構成するコンピュータ11は、電子カメラなどの撮像装置で生成されたRAW形式のカラー画像(RAW画像)の画像ファイルを外部から読み込むとともに、RAW画像のデジタル現像処理を実行する。
ここで、上記のRAW画像は、ベイヤ配列構造のモザイク状の画像であってもよく、あるいは色補間処理が施された状態の画像であってもよい。また、上記のデジタル現像処理は、RAW画像を写真に相当する画像に変換するための画像処理である。一例として、デジタル現像処理には、階調変換処理、ホワイトバランス調整処理、ノイズ除去処理、輪郭強調処理、色変換処理などが含まれる。
また、RAW画像の画像ファイルは、例えばTIFF/EP規格に準拠したファイル形式で生成される。そして、上記のRAW画像の画像ファイルは、RAW画像の情報と、RAW画像を撮像した撮像装置の色再現特性情報とを含んでいる。色再現特性情報は、デジタル現像処理で適用される現像用色変換マトリクスを求めるための付帯情報であって、RAW画像を撮像した撮像装置(電子カメラ)によって画像ファイルに付与される。
上記の色再現特性情報は、複数の被写体(例えばカラーチャートなど)を撮像装置で撮像したときの画像での色再現特性を示している。色再現特性情報は、撮像装置の機種や撮像時の光源の種類に応じて、それぞれ異なる情報が画像ファイルに付与される。なお、色再現特性情報の内容は、撮像装置の製造者によって予め生成されるものとする。
一例として、色再現特性情報は、撮像装置で撮像した画像での各被写体の参照画素値と、各被写体を実測して得た測色値との対応関係をそれぞれ示す情報であってもよい。また、色再現特性情報は、撮像装置で撮像した画像での各被写体の参照画素値と、複数種類の色変換マトリクスとの対応関係をそれぞれ示す情報であってもよい。
図1に示すコンピュータ11は、データ読込部12、記憶装置13、CPU14、メモリ15および入出力I/F16、バス17を有している。データ読込部12、記憶装置13、CPU14、メモリ15および入出力I/F16は、バス17を介して相互に接続されている。さらに、コンピュータ11には、入出力I/F16を介して、入力デバイス18(キーボード、ポインティングデバイスなど)とモニタ19とがそれぞれ接続されている。なお、入出力I/F16は、入力デバイス18からの各種入力を受け付けるとともに、モニタ19に対して表示用のデータを出力する。
データ読込部12は、上記のRAW画像の画像ファイルや、画像処理プログラムを外部から読み込むときに用いられる。例えば、データ読込部12は、着脱可能な記憶媒体からデータを取得する読込デバイス(光ディスク、磁気ディスク、光磁気ディスクの読込装置など)や、公知の通信規格に準拠して外部の装置と通信を行う通信デバイス(USBインターフェース、LANモジュール、無線LANモジュールなど)で構成される。
記憶装置13は、例えば、ハードディスクや、不揮発性の半導体メモリなどの記憶媒体で構成される。この記憶装置13には、上記の画像処理プログラムと、プログラムの実行に必要となる各種のデータ(一例として、上記の色再現特性情報のデータベースなど)とが記録されている。なお、記憶装置13には、データ読込部12から読み込んだ画像ファイルを記憶しておくこともできる。
CPU14は、コンピュータ11の各部を統括的に制御するプロセッサである。このCPU14は、画像処理プログラムの実行によって、画像処理部20、写像処理部21、マトリクス演算部22として動作する。
画像処理部20は、RAW画像に対して、上記のデジタル現像処理や公知の圧縮処理を施す。また、写像処理部21およびマトリクス演算部22は、上記の色再現特性情報を用いて、デジタル現像処理で適用される現像用色変換マトリクスを求める(なお、写像処理部21およびマトリクス演算部22の動作については後述する)。
メモリ15は、画像処理プログラムの演算結果などを一時的に記憶する。このメモリ15は、例えば揮発性のSDRAMなどで構成される。
次に、図2の流れ図を参照しつつ、一の実施形態における画像処理装置の動作例を説明する。なお、図2の処理は、ユーザによるプログラム実行指示に応じて、CPU14が画像処理プログラムを実行することで開始される。
ステップS101:CPU14は、データ読込部12を介してRAW画像の画像ファイルを外部から取得する。S101で取得された画像ファイルは、CPU14の制御によって、記憶装置13またはメモリ15に記録される。なお、画像ファイルが予め記憶装置13に記憶されている場合には、CPU14はS101の処理を省略してもよい。
ステップS102:CPU14の写像処理部21およびマトリクス演算部22は、色再現特性情報に基づいて現像用色変換マトリクスを求める。ここで、S102でのCPU14は、画像ファイルから色再現特性情報を読み込んで取得してもよい。また、S102でのCPU14は、画像ファイルに記録されている引数を用いて、記憶装置13に構築されたデータベースから色再現特性情報を読み込んで取得してもよい。なお、S102での現像用色変換マトリクスの演算処理については後述する。
ステップS103:CPU14の画像処理部20は、RAW画像のデジタル現像処理を実行する。このとき、画像処理部20は、現像用色変換マトリクス(S102)を用いてRAW画像の色変換を実行する。以上で、図2の処理の説明を終了する。
<現像用色変換マトリクスの演算処理の説明>
次に、S102での現像用色変換マトリクスの演算処理例について説明する。S102でのCPU14は、以下に示すいずれかの処理により、現像用色変換マトリクスを求めればよい。
(現像用色変換マトリクスの第1の演算処理例)
第1の演算処理例は、複数の測色値に基づいて、CPU14が現像用色変換マトリクスを求める例である。なお、第1の演算処理例の前提として、色再現特性情報は以下のように構成される。
まず、撮像装置で複数の被写体(n)を撮像してカラー画像での参照画素値(R,G,B)、(R,G,B)、・・・、(R,G,B)をそれぞれ調べる。そして、以下の式(1)により、(R,G,B)から(R,G,B)に対応する(r,g,T)をそれぞれ求める。なお、i=1,2,・・・,nである。
Figure 2010273012
次に、上記の各被写体を計測器で実測し、測色値としてのXYZ値(X,Y,Z)、(X,Y,Z)、・・・、(X,Y,Z)をそれぞれ取得する。そして、以下の式(2)により、各々の(r,g,T)の値に対応する(x’,y’,z’)の値をそれぞれ求める。
Figure 2010273012
そして、複数組の(r,g,T)および(x’,y’,z’)の対応関係を示す情報が、第1の演算処理例での色再現特性情報となる。
次に、図3の流れ図を参照しつつ、第1の演算処理例のサブルーチンを説明する。
ステップS201:画像処理部20は、RAW画像の色補間処理を行う。これにより、各画素がそれぞれRGBの情報をもつカラー画像を得ることができる。なお、予め色補間された画像をRAW画像として記録している場合や、1画素につきRGBの情報を得られる撮像装置でRAW画像を撮像した場合には、CPU14はS201の処理を省略してもよい。
ステップS202:CPU14は、色補間後のカラー画像(S201)に含まれる複数の画素のうちから、処理対象となる注目画素(処理対象画素)の位置を指定する。一例として、S202でのCPU1414は、カラー画像の全ての画素を注目画素として順次指定するものとして説明を行う。
ステップS203:CPU14は、注目画素(S202)でのRGB画素値(R,G,B)を用いて、以下の式(3)により、注目画素の画素値に対応する(r,g,T)を求める。
Figure 2010273012
ステップS204:写像処理部21は、所定の色空間を規定する1組の変数群(r,g,T)から選択される2種類の変数(r,g)を用いて、注目画素の画素値(注目画素値)に対応する(r,g,T)の座標と、複数の参照画素値に対応する(r,g,T)の座標とをそれぞれ2次元平面に写像する。
一例として、S204での写像処理部21は、r成分を横軸とし、g成分を縦軸とする2次元平面(rg平面)に、上記の(r,g,T)に対応する座標と(r,g,T)に対応する座標とをそれぞれ写像する。図4は、S204におけるrg平面への写像例を示す図である。図4では、注目画素値(r,g,T)の座標を「(r,g)」と表記する。また、図4では、参照画素値(r,g,T)にそれぞれ対応する7つの座標を「(r,g)」から「(r,g)」と表記する。
ステップS205:マトリクス演算部22は、2次元平面での注目画素値の座標と各々の参照画素値の座標との位置関係に基づいて、色再現特性情報のうちから演算に適用する3つ以上の参照画素値を決定する。
一例として、S205でのマトリクス演算部22は、rg平面での(r,g)の座標を基準として、rg平面で(r,g,T)に対応する複数の座標のうちから距離が近いものを3点選択する。そして、マトリクス演算部22は、選択された3つの座標に対応する参照画素値の情報(x’,y’,z’)を、マトリクス演算に適用する情報として決定する。
図4の例であれば、マトリクス演算部22は、rg平面において(r,g)の座標の近傍にある「(r,g)、(r,g)、(r,g)」の3つの座標を選択する。そして、マトリクス演算部22は、色再現特性情報を参照し、「(r,g)、(r,g)、(r,g)」に対応する「(x’,y’,z’)、(x’,y’,z’)、(x’,y’,z’)」の情報を、マトリクス演算に適用する情報として決定する。
ステップS206:マトリクス演算部22は、S205で決定したマトリクス演算に適用する情報を用いて、注目画素に対応する現像用色変換マトリクスを求める。
上記のS205の例によれば、マトリクス演算部22は、「(r,g)、(r,g)、(r,g)」と「(x’,y’,z’)、(x’,y’,z’)、(x’,y’,z’)」とを用いて、現像用色変換マトリクスMを以下の式(4)、式(5)により求めることができる。
Figure 2010273012
なお、後段の色変換処理において、上記の現像用色変換マトリクスMを用いて(r,g,T)の値をXYZ値に変換する場合、画像処理部20は、以下の式(6)の演算をすればよい。
Figure 2010273012
また、後段の色変換処理において、上記の現像用色変換マトリクスMを用いて直接(R,G,B)の値をXYZ値に変換する場合、画像処理部20は、以下の式(7)の演算をすればよい。
Figure 2010273012
ステップS207:CPU14は、カラー画像の全ての画素が注目画素として指定されたか否かを判定する。上記要件を満たす場合(YES側)、CPU14は図3の処理を終了する。一方、上記要件を満たさない場合(NO側)には、CPU14はS202に戻って、注目画素の位置を変更して上記動作を繰り返す。上記のS202からS207のループにより、カラー画像の各画素について、現像用色変換マトリクスがそれぞれ演算されることとなる。以上で、図3の流れ図の説明を終了する。
上記の第1の演算処理例では、マトリクス演算部22は、rg平面での注目画素値の座標を基準として、rg平面で距離が近い参照画素値の3つの座標を選択する(S205)。そして、マトリクス演算部22は、選択された3つの座標に対応する3つの参照画素値の情報を用いて、現像用色変換マトリクスを求める(S206)。これにより、注目画素の画素値と、撮像装置固有の色再現特性とを考慮して適切な現像用色変換マトリクスが求まるため、RAW画像のデジタル現像処理における色再現の精度をより高めることができる。
また、上記の第1の演算処理例では、rg平面に写像された座標の2次元的な位置関係に基づいて現像用色変換マトリクスの演算を行う。したがって、3次元の色変換テーブルを適用する場合と比べて、予めメモリ等に記憶させておく情報の量を抑制できる。
(第1の演算処理例の変形例)
上記の第1の演算処理例では、rg平面で距離が近い3つの参照画素値の情報を用いて現像用色変換マトリクスを求める例を説明した。しかし、マトリクス演算部22は、3つ以上の参照画素値の情報を用いて現像用色変換マトリクスを求めてもよい。この場合、マトリクス演算部22は、式(4)の代わりに以下の式(8)で演算を行えばよい。なお、kは他の参照画素値に対応する変数である。
Figure 2010273012
そして、マトリクス演算部22は、上記の式(8)で求めたM’から、疑似逆行列の関数(pseudo-inverse)を用いて最終的な現像用色変換マトリクスMを求めればよい。あるいは、マトリクス演算部22は、上記のM’から色差が最小化するように現像用色変換マトリクスMを求めてもよい。
この変形例によれば、より多くの参照画素値の情報を用いて現像用色変換マトリクスMが演算される。よって、rg平面での(r,g)の座標がrg平面の3座標で定義される三角形の境界近傍に位置し、上記の境界を跨ぐと色変換マトリクスの特性が極端に変化するケースにおいても、疑似輪郭を生じさせるおそれの低い現像用色変換マトリクスMを求めることができる。
(現像用色変換マトリクスの第2の演算処理例)
第2の演算処理例は、複数の色変換マトリクスを加重平均することで、CPU14が現像用色変換マトリクスを求める例である。なお、第2の演算処理例の前提として、色再現特性情報は以下のように構成される。
第2の演算処理例における色再現特性情報を生成するときには、まず、各参照画素値の(r,g,T)の座標をrg平面にそれぞれ写像する。次に、参照画素値を写像した3つの座標を結ぶことで、rg平面を複数の三角形で分割する。なお、rg平面の領域分割の一例を図5に示す。この図5の例では、rg平面に6つの分割領域が設定される。
そして、各々の分割領域において、3つの参照画素値に対応する測色値を用いて色変換マトリクスを求めておく。なお、各分割領域に対応する色変換マトリクスの演算は、第1の演算処理例と同様の手法で行えばよい。図5では、6つの分割領域に色変換マトリクスの符号(M1−M6)をそれぞれ対応付けて表記する。
また、各分割領域の代表点として、rg平面での各分割領域の重心位置をそれぞれ求めておく。そして、rg平面での参照画素値の座標から求まる各分割領域の代表点と、各分割領域における色変換マトリクスとの対応関係を示す情報が、第2の演算処理例での色再現特性情報となる。一例として、図6では、図5における各分割領域M1−M6の代表点の位置を×印で示す。
次に、図7の流れ図を参照しつつ、第2の演算処理例のサブルーチンを説明する。なお、図7におけるS301からS303の処理は、上記のS201からS203の処理にそれぞれ対応するので、いずれも重複説明は省略する。
ステップS304:写像処理部21は、所定の色空間を規定する1組の変数群(r,g,T)から選択される2種類の変数(r,g)を用いて、注目画素値に対応する(r,g,T)の座標を2次元平面(rg平面)に写像する。また、写像処理部21は、上記の色再現特性情報を参照して、rg平面での各分割領域の代表点の位置を取得する。
ステップS305:マトリクス演算部22は、注目画素に対応する現像用色変換マトリクスMを求める。このとき、マトリクス演算部22は、rg平面での注目画素値に対応する座標(r,g)と各分割領域の代表点との距離に応じて、各分割領域に対応する色変換マトリクスを加重平均して現像用色変換マトリクスMを演算する。
以下、図8を参照しつつ、S305での演算例を説明する。まず、マトリクス演算部22は、座標(r,g)を基準として、演算に使用する分割領域を決定する。そして、マトリクス演算部22は、演算に使用する各分割領域の代表点と座標(r,g)との距離(d)をrg平面上でそれぞれ求める。図8の例では、6つの分割領域(M1−M6)のすべてを演算に使用するものとする。そして、マトリクス演算部22は、分割領域M1−M6の代表点と座標(r,g)との距離d−dを、それぞれrg平面上で求める。
そして、マトリクス演算部22は、以下の式(9)により、各分割領域の色変換マトリクス(M)と上記の距離(d)とを用いて現像用色変換マトリクスMを求める。
Figure 2010273012
ここで、上記の式(9)において、「w(d)」は距離dに対して単調減少する重み付け関数を意味する。一例として、w(d)=α/dやw(d)=exp(−d/β)が該当する(上記のα,βは任意の変数である)。
また、第2の演算処理例において、色変換マトリクスMを予め光源別に用意し、マトリクス演算部22は光源の種類に応じて色変換マトリクスMを使い分けるようにしてもよい。また、第2の演算処理例において、マトリクス演算部22は、RAW画像の撮影時のホワイトバランスゲインを加味して光源毎の色変換マトリクスMの加重平均を行ってもよい。
なお、現像用色変換マトリクスMを用いて、(r,g,T)の値や(R,G,B)の値をXYZ値に変換する場合は、上記の式(6)、式(7)の演算を行えばよい。
ステップS306:CPU14は、カラー画像の全ての画素が注目画素として指定されたか否かを判定する。上記要件を満たす場合(YES側)、CPU14は図7の処理を終了する。一方、上記要件を満たさない場合(NO側)には、CPU14はS302に戻って、注目画素の位置を変更して上記動作を繰り返す。上記のS302からS306のループにより、カラー画像の各画素について、現像用色変換マトリクスがそれぞれ演算されることとなる。以上で、図7の流れ図の説明を終了する。
上記の第2の演算処理例の構成によっても、上記の第1の演算処理例とほぼ同様の効果を得ることができる。
(現像用色変換マトリクスの第3の演算処理例)
第3の演算処理例では、上記のrg平面において代表点を格子状に配列し、各代表点にそれぞれ色変換マトリクスを対応付けて色再現特性情報を構成する。
図9は、第3の演算処理例での色再現特性情報の内容を模式的に示す図である。図9の例では、rg平面上に25個の代表点が5×5の格子状に等間隔で配列されている。図9では、r,gの値はそれぞれ8bit(0−255)で表現されており、r=0およびr=255を横方向の両端とし、g=0およびg=255を縦方向の両端として各代表点が配列されている。
なお、第3の演算処理例で各格子点の色変換マトリクスを求める方法としては、上記の第2演算処理例の方法を適用してもよく、あるいは、格子点近傍の座標に対応する測色値を用いて補間演算等で求めてもよい。
次に、図10の流れ図を参照しつつ、第3の演算処理例のサブルーチンを説明する。
ステップS401:画像処理部20は、RAW画像の色補間処理を行う。このS401の処理は、上記のS201の処理に対応するので重複説明は省略する。なお、第3の演算処理例では、カラー画像でのRGBの各階調は12bit(0−4095)で表現されているものとする。
ステップS402:CPU14は、色補間後のカラー画像(S401)に含まれる複数の画素のうちから、処理対象となる注目画素の位置を指定する。一例として、S402でのCPU1414は、カラー画像の全ての画素を注目画素として順次指定するものとして説明を行う。
ステップS403:CPU14は、注目画素(S402)でのRGB画素値(R,G,B)を用いて、以下の式(10)により、注目画素の画素値に対応する(r~,g~,T~)をそれぞれ求める。
Figure 2010273012
上記の式(10)の「C」は定数(例えばC=4095)である。式(10)におけるT~の演算では、R,G,Bがいずれも0値の場合であっても、定数Cの加算によって色度点rgが不定(0/0)となることはない。また、r~,g~の値はそれぞれ8bit(0−255)で表現されるものとする。
ステップS404:写像処理部21は、所定の色空間を規定する1組の変数群(r,g,T)から選択される2種類の変数(r,g)を用いて、注目画素値に対応する(r~,g~,T~)の座標を2次元平面(rg平面)に写像する。
ここで、図11を参照しつつ、S404での処理を説明する。図11の例では、横軸(r)および縦軸(g)がそれぞれ5つの代表点により4つの区間に等分割される。これらの4つの区間は、各階調値の上位2bitで表現できる。したがって、写像処理部21は、r~,g~の値の上位2bitに注目することで、rg平面における(r~,g~)の座標の属する領域を簡単に求めることができる。
例えば、(r~,g~)=(160,30)の場合を考える。上記の値をそれぞれ2進数に変換すると、r~=160=(10100000)となり、g~=30=(00011110)となる。r~の上位2bitは「10」であり、g~の上位2bitは「00」である。よって、写像処理部21は、r=(10)の区間で、かつg=(00)の区間に該当する領域を指定すればよい。
ステップS405:マトリクス演算部22は、rg平面での注目画素値の座標の位置に基づいて、色再現特性情報のうちから演算に適用する複数の色変換マトリクスを決定する。
一例として、マトリクス演算部22は、rg平面における(r~,g~)の座標近傍にある4つの代表点の色変換マトリクスを適用する。図9、図11に示す配列によれば、上記の4つの代表点も、r~,g~の値の上位2bitに注目することで容易に求めることができる。
図11の例で考えると、(r~,g~)の値は((10),(00))=(2,0)であるので、rg平面での矩形領域の左下の代表点(色変換マトリクス)はM’20となる。また、矩形領域の左上の代表点(色変換マトリクス)は、上記(2,0)のgに1を加えてM’21となる。また、矩形領域の右上の代表点(色変換マトリクス)は、上記(2,0)のr,gにそれぞれ1を加えてM’31となる。また、矩形領域の右下の代表点(色変換マトリクス)は、上記(2,0)のrに1を加えてM’30となる。
ステップS406:マトリクス演算部22は、S405で決定した複数の色変換マトリクスを用いて、注目画素に対応する現像用色変換マトリクスM~を求める。
例えば、S405で決定された4つの色変換マトリクス(M’20,M’21,M’30,M’31)で現像用色変換マトリクスM~を求める場合、マトリクス演算部22は以下の式(11)の演算を行えばよい。なお、式(11)の演算は、分母が4であってビットシフトによる処理が可能となるので、CPU14の演算負荷を軽減できる。
Figure 2010273012
また、マトリクス演算部22は、より多くの代表点の色変換マトリクスを用いてS406での演算を行ってもよい。一例として、(r~,g~)=(160,30)のときに、16の色変換マトリクスで現像用色変換マトリクスM~を求める場合、マトリクス演算部22は以下の式(12)の演算を行えばよい。
Figure 2010273012
上記の式(12)の演算によれば、領域の境界を跨ぐと色変換マトリクスの特性が極端に変化するケースにおいても、疑似輪郭を生じさせるおそれの低い現像用色変換マトリクスM~を求めることが可能となる。
ここで、後段の色変換処理において、上記の現像用色変換マトリクスM~を用いて(r~,g~,T~)の値をXYZ値に変換する場合、画像処理部20は以下の演算をすればよい。
T~=R+G+B+Cのとき、
Figure 2010273012
であるので、色変換はRGBからXYZへの現像用色変換マトリクスM~が
Figure 2010273012
と表されるとき、
Figure 2010273012
であるので、
Figure 2010273012
となる。
色度点からの変換は、上記の式(16)の両辺をT~で割って、
Figure 2010273012
より、
Figure 2010273012
となる。
ステップS407:CPU14は、カラー画像の全ての画素が注目画素として指定されたか否かを判定する。上記要件を満たす場合(YES側)、CPU14は図10の処理を終了する。一方、上記要件を満たさない場合(NO側)には、CPU14はS402に戻って、注目画素の位置を変更して上記動作を繰り返す。上記のS402からS407のループにより、カラー画像の各画素について、現像用色変換マトリクスがそれぞれ演算されることとなる。以上で、図10の流れ図の説明を終了する。
上記の第3の演算処理例の構成によっても、上記の第1の演算処理例とほぼ同様の効果を得ることができる。また、上記の第3の演算処理例の構成によれば、上記の第2の演算処理例と比べて現像用色変換マトリクスの演算負荷をより軽減できる。
(現像用色変換マトリクスの第4の演算処理例)
第4の演算処理例は、1画像に対して1つの現像用色変換マトリクスを求める例である。なお、第4の演算処理例での色再現特性情報は、第2の演算処理例または第3の演算処理例と同様に構成されるものとする。なお、第4の演算処理例では、色再現特性情報の色変換マトリクスに優先順位が設定されていてもよい。
第4の演算処理例での写像処理部21は、一例として、以下の式(19)によって、カラー画像全体の平均色の画素値から、rg平面での座標(r,g)を求める。このとき、写像処理部21は、画像の中央部や撮像時のフォーカスポイントに重み付けして上記の平均色を求めてもよい。
Figure 2010273012
そして、マトリクス演算部22は、rg平面での座標(r,g)を基準として、色再現特性情報に含まれる複数の代表点のうち、rg平面での距離が最も近いものを選択する。そして、マトリクス演算部22は、選択された代表点の色変換マトリクスを、現像用色変換マトリクスとして決定する。
また、第4の演算処理例でのマトリクス演算部22は、色再現特性情報で予め設定されている色変換マトリクスの優先順位を加味して上記の決定を行ってもよい。一例として、マトリクス演算部22は、rg平面において座標(r,g)から一定範囲内にある複数の代表点を候補として抽出する。そして、マトリクス演算部22は、上記の候補のうちから優先順位が最も高く設定されている色変換マトリクス(例えば、肌色に近い色に対応する色変換マトリクス)を現像用色変換マトリクスとして決定してもよい。
また、上記の優先順位は、RAW画像の撮像時における撮影モードの設定に応じて変化させてもよい。例えば、撮影モードがポートレートモードであれば、肌色に近い色に対応する色変換マトリクスの優先順位を高く設定すればよい。同様に、撮影モードが風景モードであれば、空の青に近い色や樹木の緑に近い色に対応した色変換マトリクスの優先順位を高く設定すればよい。なお、RAW画像の現像処理時にユーザが指定した色の優先順位を、CPU14が高く設定してもよい。
上記の第4の演算処理例の構成によれば、色再現特性情報に含まれる複数の色変換マトリクスのうちから、画像全体での色調を考慮して適切な現像用色変換マトリクスが決定される。そのため、比較的少ない演算量で、RAW画像のデジタル現像処理における色再現の精度を確保できる。
<他の実施形態の構成例>
図12は、他の実施形態における電子カメラの構成例を示すブロック図である。他の実施形態の電子カメラは、撮像画像を未加工のRAW形式で記録する第1記録モードと、撮像画像をJPEG形式やTIFF形式などで記録する第2記録モードとを有している。
電子カメラ30は、撮像光学系31と、撮像素子32と、AFE33と、制御部34と、メディアI/F35と、第1メモリ36および第2メモリ37と、操作部38とを有している。ここで、AFE33、メディアI/F35、第1メモリ36および第2メモリ37、操作部38は、それぞれ制御部34に接続されている。
撮像素子32は、撮像光学系31を通過した光束による被写体の結像を撮像し、カラー画像の画像信号を生成する。この撮像素子32の受光面には、複数の受光素子がマトリックス状に配列されている。また、撮像素子32の各受光素子には、赤色(R)、緑色(G)、青色(B)のカラーフィルタが公知のベイヤ配列にしたがって配置されている。そのため、撮像素子32の各受光素子は、カラーフィルタでの色分解によってそれぞれの色に対応する画像信号を出力する。なお、撮像素子32の出力はAFE33に接続されている。
AFE33は、撮像素子32の出力に対してアナログ信号処理を施すアナログフロントエンド回路である。このAFE33では、相関二重サンプリング(CDS)や、画像信号のゲインの調整や、画像信号のA/D変換が行われる。
制御部34は、電子カメラ30の各部を統括的に制御するプロセッサである。例えば、制御部34は、撮像時のホワイトバランス演算における光源推定や、第1記録モードおよび第2記録モードの切換制御などを実行する。
また、制御部34は、プログラムの実行により、画像処理部20、写像処理部21、マトリクス演算部22、ファイル生成部23としてそれぞれ機能する。ここで、画像処理部20は、A/D変換後のRAW形式のカラー画像(RAW画像)に、デジタル現像処理およびJPEG圧縮処理を施して記録用の静止画像を生成する。
また、ファイル生成部23は、撮像画像の情報を後述の記憶媒体39などに記録するときに、所定のファイル形式に準拠した画像ファイルを生成する。例えば、ファイル生成部23は、撮影条件や画像処理の内容などを示すヘッダを生成するとともに、このヘッダの情報と、撮像画像の情報とを対応付けて画像ファイルを生成する。なお、写像処理部21およびマトリクス演算部22の構成は、一の実施形態と同様であるので重複説明は省略する。
メディアI/F35には、不揮発性の記憶媒体39を着脱可能に接続できる。そして、メデイアI/Fは、記憶媒体39に対して上記の画像ファイルの情報の書き込み/読み込みを実行する。上記の記憶媒体39は、ハードディスクや、半導体メモリを内蔵したメモリカードなどで構成される。なお、図1では記憶媒体39の一例としてメモリカードを図示する。
第1メモリ36は、画像処理部20による画像処理の前後で画像のデータを一時的に記憶するバッファメモリである。また、第2メモリ37は、制御部34によって実行される各種のプログラムや、一の実施形態で説明した色再現特性情報のデータベースなどを記憶する不揮発性のメモリである。
操作部38は、例えば、第1記録モードおよび第2記録モードの切換入力や、記録用画像(本画像)の撮像指示入力などをユーザから受け付ける。
次に、図13の流れ図を参照しつつ、他の実施形態における電子カメラ30の動作例を説明する。なお、図13の処理は、本画像の撮像指示入力(例えばレリーズ釦の押圧)をトリガとして、制御部34が実行する。
ステップS501:制御部34は、記録用画像の撮像指示入力に応じて、撮像素子32を駆動させて本画像の撮像処理を実行する。本画像のデータは、AFE33をパイプライン式に通過して第1メモリ36にバッファリングされる。なお、S501の段階では、第1メモリ36にはRAW形式で本画像のデータが記録される。
ステップS502:制御部34の写像処理部21およびマトリクス演算部22は、色再現特性情報に基づいて現像用色変換マトリクスを求める。ここで、S502での写像処理部21およびマトリクス演算部22は、一の実施形態と同様に、上記の第1の演算処理例から第4の演算処理例のいずれかの処理により現像用色変換マトリクスを求めればよい。なお、S502での制御部34は、第2メモリ37から色再現特性情報を読み込んで取得するものとする。
ステップS503:制御部34は、現在の記録モードが第1記録モードと第2記録モードとのいずれであるかを判定する。現在の記録モードが第1記録モードの場合には、S504に処理が移行する。一方、現在の記録モードが第2記録モードの場合には、S505に処理が移行する。
ステップS504:制御部34のファイル生成部23は、RAW画像の画像ファイルを生成する。具体的には、ファイル生成部23は、RAW画像のデータ(S501)と、現像用色変換マトリクス(S502)を含むヘッダデータとが対応付けされた画像ファイルを生成する。なお、上記の画像ファイルのヘッダには、色再現特性情報がさらに記録されてもよい。そして、制御部34は、RAW画像の画像ファイルを記憶媒体39に記録してから、一連の処理を終了する。
S504で生成されたRAW画像の画像ファイルには、RAW画像の色変換に適した現像用色変換マトリクスがヘッダデータとして予め付与されている。よって、後処理工程で上記のRAW画像のデジタル現像処理を行う場合には、画像ファイルに付与された現像用色変換マトリクスを用いることで、RAW画像の色変換を精度よく行うことができる。
ステップS505:制御部34の画像処理部20は、RAW画像(S501)にデジタル現像処理を施して、所定のフォーマットに準拠した本画像の画像ファイルを生成する。そして、制御部34は、上記の画像ファイルを記憶媒体39に記録してから、一連の処理を終了する。
ここで、S505での画像処理部20は、デジタル現像処理において、S502で求めた現像用色変換マトリクスを適用して色変換処理を実行する。よって、S505の画像ファイルに含まれる本画像は、現像用色変換マトリクスによって被写体の色が精度よく再現される。以上で、図13の流れ図の説明を終了する。
<実施形態の補足事項>
(1)上記の各実施形態では、画像処理部20、写像処理部21、マトリクス演算部22、ファイル生成部23などの機能をプログラムによってソフトウエア的に実現する例を説明したが、ASICを用いて上記の各部をハードウエア的に実現しても勿論かまわない。
(2)上記の第1の演算処理例から第3の演算処理例では、処理対象の画像の各画素でそれぞれ現像用色変換マトリクスを求める例を説明した。しかし、本発明では、例えば、画像の複数の画素をグループ化するとともに、このグループ単位でそれぞれ現像用色変換マトリクスを求めるようにしてもよい。
(3)上記の実施形態において、画像処理部20はXYZ色空間への色変換に限定されることなく、XYZ色空間からの変換が定義されている他の色空間(例えばsRGB、opRGB、Adobe RGB、ROMM RGB、RIMM RGB)への色変換を行うようにしてもよい。なお、これらの色空間への変換では、マトリクスによる変換後に階調変換も行われる。
以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図するものである。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物によることも可能である。
11…コンピュータ、12…データ読込部、13…記憶装置、14…CPU、15…メモリ、20…画像処理部、21…写像処理部、22…マトリクス演算部、23…ファイル生成部、30…電子カメラ、32…撮像素子、34…制御部、36…第1メモリ、37…第2メモリ

Claims (11)

  1. RAW画像と、前記RAW画像を撮影した撮像装置の各色の画素の画素値と複数種類の色変換マトリクスとの対応関係を示した色再現特性情報とを取得する取得部と、
    所定の色空間を規定する1組の変数群から選択される2種類の変数を用いて、前記RAW画像の処理対象画素の画素値の座標と、複数の参照画素の画素値の座標とを共通の2次元平面に写像する写像処理部と、
    前記2次元平面での前記処理対象画素の画素値の座標と各々の前記参照画素の画素値の座標との位置関係から前記色再現特性情報のうちから選択された、複数の色変換マトリクスを演算して、前記RAW画像の色変換処理で適用する現像用色変換マトリクスを求めるマトリクス演算部と、
    を備える画像処理装置。
  2. 請求項1に記載の画像処理装置において、
    前記マトリクス演算部は、前記2次元平面での前記処理対象画素の画素値の座標と各々の前記参照画素の画素値の座標との距離に応じて、各々の前記参照画素の画素値に対応する前記色変換マトリクスを加重平均して前記現像用色変換マトリクスを求める画像処理装置。
  3. 請求項1または請求項2に記載の画像処理装置において、
    各々の前記参照画素の画素値の座標は、前記2次元平面で格子状の配列をしている画像処理装置。
  4. RAW画像と、前記RAW画像を撮影した撮像装置の各色の画素の画素値と被写体の測色値との対応関係を示した色再現特性情報とを取得する取得部と、
    所定の色空間を規定する1組の変数群から選択される2種類の変数を用いて、前記RAW画像の処理対象画素の画素値の座標と、複数の参照画素の画素値の座標とを共通の2次元平面に写像する写像処理部と、
    前記2次元平面での前記処理対象画素の画素値の座標と各々の前記参照画素の画素値の座標との位置関係から前記色再現特性情報のうちから選択された、複数の前記参照画素値にそれぞれ対応する複数の前記測色値を演算して、前記RAW画像の色変換処理で適用する現像用色変換マトリクスを求めるマトリクス演算部と、
    を備える画像処理装置。
  5. RAW画像と、前記RAW画像を撮影した撮像装置の各色の画素の画素値と複数種類の色変換マトリクスとの対応関係を示した色再現特性情報とを取得する取得部と、
    所定の色空間を規定する1組の変数群から選択される2種類の変数を用いて、前記RAW画像の処理対象画素の画素値の座標と、複数の参照画素の画素値の座標とを共通の2次元平面に写像する写像処理部と、
    前記2次元平面での前記処理対象画素の画素値の座標と各々の前記参照画素の画素値の座標との位置関係から、前記色再現特性情報のうちから前記RAW画像の色変換処理で適用する現像用色変換マトリクスを求めるマトリクス演算部と、
    を備える画像処理装置。
  6. 請求項5に記載の画像処理装置において、
    前記写像処理部は、前記RAW画像の平均色に対応する画素値を前記処理対象画素の画素値として設定する画像処理装置。
  7. 請求項4または請求項5に記載の画像処理装置において、
    前記色再現特性情報に含まれる前記色変換マトリクスには優先順位が設定されており、
    前記マトリクス演算部は、前記優先順位に基づいて前記現像用色変換マトリクスを求める画像処理装置。
  8. 請求項1から請求項7のいずれか1項に記載の画像処理装置において、
    前記現像用色変換マトリクスを用いて前記RAW画像の現像処理を行う画像処理部をさらに備える画像処理装置。
  9. 請求項1から請求項7のいずれか1項に記載の画像処理装置において、
    前記RAW画像に前記現像用色変換マトリクスの情報を対応付けて記録した画像ファイルを生成するファイル生成部をさらに備える画像処理装置。
  10. 請求項1から請求項9のいずれか1項に記載の画像処理装置を備える撮像装置。
  11. コンピュータを、請求項1から請求項9のいずれか1項に記載の画像処理装置として動作させることを特徴とするプログラム。
JP2009121814A 2009-05-20 2009-05-20 画像処理装置、撮像装置およびプログラム Withdrawn JP2010273012A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009121814A JP2010273012A (ja) 2009-05-20 2009-05-20 画像処理装置、撮像装置およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009121814A JP2010273012A (ja) 2009-05-20 2009-05-20 画像処理装置、撮像装置およびプログラム

Publications (1)

Publication Number Publication Date
JP2010273012A true JP2010273012A (ja) 2010-12-02

Family

ID=43420708

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009121814A Withdrawn JP2010273012A (ja) 2009-05-20 2009-05-20 画像処理装置、撮像装置およびプログラム

Country Status (1)

Country Link
JP (1) JP2010273012A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013225802A (ja) * 2012-04-23 2013-10-31 Nikon Corp デジタルカメラ、色変換情報生成プログラム、色変換プログラムおよび記録制御プログラム
CN113538308A (zh) * 2021-06-29 2021-10-22 上海联影医疗科技股份有限公司 图像数据处理方法、装置、计算机设备和存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013225802A (ja) * 2012-04-23 2013-10-31 Nikon Corp デジタルカメラ、色変換情報生成プログラム、色変換プログラムおよび記録制御プログラム
CN113538308A (zh) * 2021-06-29 2021-10-22 上海联影医疗科技股份有限公司 图像数据处理方法、装置、计算机设备和存储介质

Similar Documents

Publication Publication Date Title
JP2008236726A (ja) 撮像装置、撮像システム、撮像方法及び画像処理装置
JP2007066138A (ja) 画像処理装置および画像処理プログラム
JP2013219705A (ja) 画像処理装置、および画像処理方法、並びにプログラム
CN102422628B (zh) 图像处理方法和图像处理设备
JP5163392B2 (ja) 画像処理装置およびプログラム
JP5546166B2 (ja) 撮像装置、信号処理方法、及びプログラム
JP4329542B2 (ja) 画素の類似度判定を行う画像処理装置、および画像処理プログラム
JP6376767B2 (ja) 画像処理装置及び画像処理方法
JP3793121B2 (ja) 撮像装置及び画像信号処理方法及びプログラム及び記憶媒体
JP2008205829A (ja) ノイズ特性測定装置及びノイズ特性測定方法
JP6153318B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム、および、記憶媒体
US10122939B2 (en) Image processing device for processing image data and map data with regard to depth distribution of a subject, image processing system, imaging apparatus, image processing method, and recording medium
JP2010273012A (ja) 画像処理装置、撮像装置およびプログラム
JP4940086B2 (ja) 色処理装置およびその方法
JP4595801B2 (ja) 画像処理装置
JP5605067B2 (ja) 情報処理装置およびプログラム
JP5055587B2 (ja) 画像処理装置および画像処理方法
JP2010170326A (ja) 画像処理装置およびプログラム
JP5228929B2 (ja) 画像処理装置、撮像装置及び画像処理プログラム
JP2009239772A (ja) 撮像装置、画像処理装置、および画像処理方法、並びにプログラム
JP2015041856A (ja) 画像処理装置、撮像装置およびプログラム
JP2006203571A (ja) 撮像装置、画像処理装置及び画像記録装置
JP5157464B2 (ja) 画像処理装置
WO2019012647A1 (ja) 画像処理装置、画像処理方法およびプログラム記憶媒体
JP2018137580A (ja) 画像処理装置、画像処理方法、及び、プログラム

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20120807