JP5018052B2

JP5018052B2 - 画像の色を補正する画像処理装置、および画像処理プログラム

Info

Publication number: JP5018052B2
Application number: JP2006331736A
Authority: JP
Inventors: 暁彦宇津木
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2006-12-08
Filing date: 2006-12-08
Publication date: 2012-09-05
Anticipated expiration: 2026-12-08
Also published as: US20100073523A1; JP2008147915A; US8736720B2; WO2008068889A1

Description

本発明は、画像の色を補正する画像処理装置、および画像処理プログラムに関する。

一般に、電子カメラでは、撮影レンズの倍率色収差によって撮像画像に色ズレが生じる。また、３板式の撮像装置では、撮像素子の位置合わせの誤差（レジストレーション誤差）によって、撮像画像に色ズレを生じることが知られている。
この種の色ズレを、画像処理によって修正する技術が提案されている。例えば、特許文献１の従来装置は、まず、画像のエッジ部分について色ズレを検出し、その色ズレを修正する画像処理を実施する。
また、特許文献２の従来装置は、画像の色コンポーネントごとに倍率調整を行い、色コンポーネント間の差分の最小点を探すことで、画像の倍率色収差を修正する。
特開２０００−２９９８７４号公報特開２００２−３４４９７８号公報

通常、電子カメラ内では、撮像素子の画像出力に対して、彩度を強調する処理が一般的に行われる。この彩度強調処理では、画像の色成分間の信号レベル差が拡大される。そのため、色ズレを含む画像に対して彩度強調処理を実施すると、一方の色成分（例えばＲ）が、位置のずれた他の色成分（例えばＧ）の影響を受け、色の構造自体が変質してしまう。
そのため、彩度強調後の画像に対して、画像解析による色ズレ検出（例えば特許文献１）を実施した場合、色ズレを正確に検出できない。また、彩度強調後の画像に対して、色ズレの位置修正を行った場合、変質した色の構造を完全に合わせることができず、色ズレを正確に補正できない。
そこで、本発明では、彩度強調を実施済みの入力画像の色ズレを適切に検出あるいは補正することを目的とする。

《１》本発明の画像処理装置は、入力画像の色ズレを検出する画像処理装置であって、彩度低減部、および色ズレ検出部を備える。
彩度低減部は、入力画像の彩度を低減し、彩度低減画像を生成する。
色ズレ検出部は、彩度低減画像の色ズレを検出する。
《２》なお好ましくは、逆変換部を備える。逆変換部は、入力画像に実施済みの彩度強調を情報取得し、彩度強調の逆変換を算出する。彩度低減部は、この逆変換部を入力画像に施して、彩度低減画像を生成する。
《３》また好ましくは、逆変換部は、彩度強調の逆変換を近似により算出する。
《４》なお好ましくは、色ズレ補正部を備える。この色ズレ補正部は、色ズレ検出部により検出した色ズレに基づいて、彩度低減部で生成される彩度低減画像に色ズレ補正を施し、色ズレ補正画像を生成する。
《５》また好ましくは、彩度強調部を備える。この彩度強調部は、色ズレ補正部によって生成される色ズレ補正画像に彩度強調を行う。
《６》なお好ましくは、彩度強調部は、彩度低減部による彩度低減の逆変換を、色ズレ補正画像に施す。
《７》本発明の別の画像処理装置は、入力画像の色ズレを補正する画像処理装置であって、彩度低減部、および色ズレ補正部を備える。
彩度低減部は、入力画像の彩度を低減し、彩度低減画像を生成する。
色ズレ補正部は、彩度低減画像に色ズレ補正を施し、色ズレ補正画像を生成する。
《８》本発明の画像処理プログラムは、コンピュータを、《１》〜《７》のいずれか１項に記載の画像処理装置として機能させるためのプログラムである。

本発明では、入力画像の彩度を低減することで、入力画像に予め生じている色構造の変質を抑制する。この彩度低減後の画像から色ズレを検出または補正することにより、色ズレをより適切に検出あるいは補正することが可能になる。

《第１実施形態》
（画像処理装置の構成説明）
図１は、画像処理装置１１の構成を示すブロック図である。図１において、画像取得部１２は、処理対象である入力画像を内部メモリ上に記憶する。逆変換部１３は、入力画像に予め実施された彩度強調を情報取得し、その彩度強調の逆変換を算出する。彩度低減部１４は、この逆変換を入力画像に施し、彩度低減画像を求める。色ズレ検出部１５は、この彩度低減画像について色成分間のズレを検出する。色ズレ補正部１６は、この色ズレの情報に従って彩度低減画像に色ズレ補正を施す。彩度強調部１７は、この色ズレ補正後の画像に対して、入力画像と同程度の彩度強調を改めて施す。
なお、この画像処理装置１１は、コンピュータおよび画像処理プログラムによって、ソフトウェア的に実現してもよい。また、この画像処理装置１１を、電子カメラやスキャナー装置などの撮像装置に内蔵させ、撮像装置内の画像処理に使用してもよい。

（第１実施形態の動作説明）
図２は、第１実施形態の動作を示す流れ図である。以下、図２に示すステップ番号の順に、この動作を説明する。

ステップＳ１：画像取得部１２は、通信媒体や記録媒体を介して、電子カメラなどで生成される入力画像Ｕを読み込む。例えば、この入力画像Ｕは、ＲＧＢ色成分の信号値(RU,GU,BU)に変換された後、内部メモリ上に記憶される。

ステップＳ２：逆変換部１３は、入力画像のファイル内からタグ情報（EXIF情報など）を読み出す。このタグ情報には、入力画像に事前に実施されている彩度強調に関する情報が格納される。
例えば、入力画像Ｕの色成分(RU,GU,BU)には、電子カメラ内の信号処理において、下記の彩度強調が事前に施される。

式中のＭは、電子カメラ内で実施される彩度強調の変換行列である。この変換行列Ｍの各要素の数値が、タグ情報内に格納される。また、式中の(RS,GS,BS)は、この彩度強調の実施前の色成分である。この種の色成分(RS,GS,BS)は、電子カメラをＪＰＥＧ記録モードに設定している場合、外部に出力されないために直接に取得することはできない。

ステップＳ３：逆変換部１３は、ステップＳ２で情報取得した彩度強調について、逆変換を算出する。
例えば、上述した彩度強調変換行列Ｍの逆変換Ｍ^-1は、周知の逆行列演算により、

となる。

ステップＳ４：彩度低減部１４は、逆変換部１３から彩度強調の逆変換を情報取得する。彩度低減部１４は、入力画像Ｕにこの逆変換を施して彩度を低減し、彩度低減画像を生成する。
例えば、上記の逆変換Ｍ^-1を用いて、彩度低減画像の色成分(RD,GD,BD)は、

となる。

ステップＳ５：色ズレ検出部１５は、彩度低減画像の色成分(RD,GD,BD)を画像解析し、色ズレを検出する。
例えば、色成分(RD,GD,BD)ごとにエッジ抽出を行い、その色エッジ間の位置ズレを検出することにより、色ズレの方向およびズレ幅を検出することができる。

ステップＳ６：色ズレ補正部１６は、ステップＳ５で得た色ズレの情報に基づいて、彩度低減画像の色ズレを補正し、色ズレ補正画像を得る。
例えば、彩度低減画像の色成分GDの画素位置を基準に色成分RD,BDの位置を色ズレ分だけ元に戻し、色成分RD,BDの修正位置を求める。この色成分RD,BDの修正位置を補間することにより、色成分GDの画素位置における色ズレ補正済みの色成分RD',BD'を求める。この色ズレ補正済みの色成分RD',BD'と、入力画像の色成分GDとをコンポーネント化することで色ズレ補正画像の色成分(RD',GD,BD')を得ることができる。

ステップＳ７：色ズレ補正画像は、ステップＳ４において彩度低減されているため、入力画像に比べて、彩度が全般的に不足気味となる。そこで、彩度強調部１７は、色ズレ補正画像に彩度強調を施し、彩度不足を補った出力画像を得る。
例えば、色ズレ補正画像Ｄに対して、ステップＳ２で情報取得した彩度強調変換行列Ｍを作用させることによって、出力画像Ｚの色成分(RZ,GZ,BZ)を得る。

（第１実施形態の効果など）
図３は、彩度強調の前段階における色成分(RS,GS,BS)の色ズレ状態を示す図である。ここでは説明を簡明にするため、画像のＸ座標方向に色構造がずれた場合を示している。色ズレ箇所には、本来存在しない偽の色差成分(RS-GS)が発生する。

図４は、この色成分(RS,GS,BS)に彩度強調を施した状態を示す図である。この彩度強調後の色成分(RU,GU,BU)が、電子カメラなどから取得可能な入力画像Ｕに相当する。この彩度強調では、色ズレ箇所の偽の色差成分(RS-GS)が拡大増幅される。そのため、色成分(RU,GU,BU)の色ズレ箇所には、図４に示すように偽の色構造（オーバーシュートなど）が発生する。
この偽の色構造によって、色構造の微細なうねり（盛り上がりなど）が生じ、色境界の位置が変位する。そのため、この色成分(RU,GU,BU)をそのまま画像解析しても、色ズレを正確に検出できない。

図５は、入力画像に対し、従来通りの色ズレ補正を実施した結果を示す図である。この場合、色ズレと彩度強調によって複合的に生じた偽の色構造のために、色ズレ補正だけでは、色成分(RU,GU,BU)の構造的なズレを除去することができない。そのため、色ズレ補正後に偽の色輪郭が残存するなどの問題が従来は生じていた。

図６は、入力画像に対し、ステップＳ４の彩度低減処理を施した結果を示す図である。この彩度低減によって色差成分(RU-GU)が抑制されることにより、電子カメラ内の彩度強調によって生じた偽の色構造が抑制される。
特に、図６に示す彩度低減画像は、電子カメラ内の彩度強調の逆変換を求め、その逆変換を入力画像に施したものである。この場合、彩度低減画像の色成分(RD,GD,BD)は、電子カメラ内における彩度強調の前段階の色成分(RS,GS,BS)とほぼ一致する。したがって、偽の色構造をほぼ完全に除去することができる。
このように偽の色構造が抑制されることにより、色成分それぞれの色境界が本来の位置に近づく。したがって、この色成分(RD,GD,BD)を画像解析することにより、色ズレをより正確に検出することが可能になる。

図７は、彩度低減画像に対し、色ズレ補正を実施した結果を示す図である。この場合、偽の色構造が抑制されているため、色成分(RD',GD,BD')が構造的に良く一致する。そのため、色ズレ補正後に偽の色輪郭が残存するなどの不具合は生じない。
特に、図７に示す色ズレ補正画像は、彩度強調の逆変換を実施しているため、色成分(RD',GD,BD')の色ズレがほぼ完全に除去される。そのため、色ズレ補正後に生じる偽の色輪郭をほぼ完全に防ぐことができる。

図８は、色ズレ補正画像に対して、改めて彩度強調を実施した結果を示す図である。この場合、色ズレ補正画像では、偽の色差成分が十分に抑制されるため、色差成分の増幅によって、偽の色構造（オーバーシュートなど）は発生しない。したがって、色ズレ、偽色、および偽色輪郭が少なく、かつ被写体本来の色構造に忠実な高品質画像を得ることが可能になる。

《第２実施形態》
図９は、第２実施形態の動作を説明する図である。なお、第２実施形態の装置構成は、第１実施形態の構成（図１）と同じため、ここでの説明を省略する。
一般に、電子カメラの内部処理では、図９に示すように、撮像画像に対して複数回に分けて彩度強調を施すケースがある。ここでは、下記の順番で彩度強調が実施される。

（１）彩度強調変換行列Ｍ１による１回目の彩度強調
（２）ガンマ変換Ｇ（ｘ）による色成分別の階調変換
（３）彩度強調変換行列Ｍ２による２回目の彩度強調

逆変換部１３は、入力画像のファイル内からタグ情報（EXIF情報など）を読み出す。このタグ情報には、上述した画像処理の情報（Ｍ１，Ｇ（ｘ），Ｍ２）が格納される。
逆変換部１３は、画像処理の個々の情報ごとに、逆変換を算出する。
例えば、彩度強調変換行列Ｍ１，Ｍ２については、周知の逆行列演算を行い、逆変換Ｍ１^-1，Ｍ２^-1を求める。
また例えば、ガンマ変換ｙ＝Ｇ（ｘ）については、逆関数ｘ＝Ｇ^-1（ｙ）を求める。この逆関数については、逆関数の数式を導出することにより求めてもよいし、ｙ＝Ｇ（ｘ）のデータテーブルをｙ値により逆参照して求めてもよいし、［ｙ−Ｇ（ｘ）］をエラーとしてフィードバックさせる収束演算によって求めてもよい。

彩度低減部１４は、電子カメラ内の画像処理とは逆の順番で、入力画像に逆変換を施す。すなわち、彩度低減部１４は、下式に従って、２回目の彩度強調の逆変換を実施する。

次に、彩度低減部１４は、下式に従って、ガンマ変換の逆変換を実施する。
ＲＤｂ＝Ｇ^-1（ＲＤａ）
ＧＤｂ＝Ｇ^-1（ＧＤａ）
ＢＤｂ＝Ｇ^-1（ＢＤａ）
続いて、彩度低減部１４は、下式に従って、１回目の彩度強調の逆変換を実施する。

以上の処理により、彩度低減画像の色成分(RDc,GDc,BDc)が得られる。色ズレ検出部１５および色ズレ補正部１６は、この彩度低減画像の色成分(RDc,GDc,BDc)に対して、色ズレ検出および色ズレ補正の処理を実施する（第１実施形態のステップＳ５，Ｓ６参照）。その結果、色ズレ補正後の色成分(RDc',GDc,BDc')が得られる。

彩度強調部１７は、この色ズレ補正後の色成分(RDc',GDc,BDc')に対して、電子カメラ内の画像処理と同じ順番で、画像処理を施す。
すなわち、彩度強調部１７は、下式に従って、１回目の彩度強調を実施する。

次に、彩度強調部１７は、下式に従って、ガンマ変換を実施する。
ＲＤｅ＝Ｇ（ＲＤｄ）
ＧＤｅ＝Ｇ（ＧＤｄ）
ＢＤｅ＝Ｇ（ＢＤｄ）
続いて、彩度強調部１７は、下式に従って、２回目の彩度強調を実施する。

以上の処理により、出力画像の色成分(RDf,GDf,BDf)が得られる。

（第２実施形態の効果など）
第２実施形態では、第１実施形態と同様の効果を得ることができる。
さらに、第２実施形態では、複数回に分けて実施される彩度強調を、逆に辿って段階的に逆変換する。そのため、彩度強調による偽の色構造を、より正確に除去することが可能になる。その結果、色ズレ、偽色、および偽色輪郭が極めて少なく、被写体本来の色構造を忠実に再現した高品質画像を得ることが可能になる。

《第３実施形態》
図１０は、第３実施形態の動作を説明する図である。
第３実施形態では、彩度強調の逆変換を近似的に決定するケースについて説明する。なお、第３実施形態の装置構成は、第１実施形態の構成（図１）と同じため、ここでの説明を省略する。

まず、複数の色成分Si=(RSi,GSi,BSi)が予め定められる。例えば、色成分RSi,GSi,BSiをそれぞれ８通りに変化させることにより、８³＝５１２通りの色成分Si=(RSi,GSi,BSi)を定めることができる。例えば、色成分が１２ビット階調の場合、８通りの色成分は［0,512,1024,1536,2048,2560,3072,3584］の値に設定される。

これらの色成分Ｓｉについて、電子カメラ側では、下記の二種類の画像処理を試行する。
(1)電子カメラ内で実施される画像処理（彩度強調を含む）
(2)彩度強調を含まない画像処理（画像処理(1)で彩度強調をキャンセルしたもの）
複数の色成分Ｓｉを、彩度強調を含む画像処理(1)で処理することにより、例えば５１２通りの色成分Ui=(RUi,GUi,BUi)が得られる。
また、規定の色成分Ｓｉを、彩度強調を含まない画像処理(2)で処理することにより、例えば５１２通りの色成分Di=(RDi,GDi,BDi)が得られる。

逆変換部１３は、これらの試行結果Ui，Diを、入力画像Ｕの彩度強調情報として情報取得する。
例えば、これらの試行結果Ui，Diは、電子カメラのプロファイルデータとしてメーカーなどから予め公開される。この場合、逆変換部１３は、このプロファイルデータを、インターネットなどの通信媒体や記録媒体を経由して情報取得することができる。

また例えば、電子カメラが、これらの試行結果Ui，Diを、画像ファイル内のタグ情報に格納してもよい。この場合、逆変換部１３は、画像ファイル内のタグ情報から試行結果Ui，Diを情報取得することができる。

また例えば、画像処理装置１１側が、電子カメラを有線または無線で制御する機能（カメラコントロール機能）を有してもよい。この場合、カメラコントロール機能を使用して、電子カメラ側に試行結果Ui，Diを作成させることができる。逆変換部１３は、この試行結果Ui，Diを、電子カメラ側から有線または無線を経由して情報取得すればよい。

逆変換部１３は、この試行結果Ui，Diに基づいて、彩度強調の逆行列Ｍ^-1を求める。まず、彩度強調の変換行列Ｍおよびその逆行列Ｍ^-1には、変換前後において彩度以外の画像変化を抑制するため、下記のような制約条件が課せられる。
g1(Q11,Q12,Q13)=Q11+Q12+Q13-1=0
g2(Q21,Q22,Q23)=Q21+Q22+Q23-1=0
g3(Q31,Q32,Q33)=Q31+Q32+Q33-1=0
なお、上式中のQmnは、逆行列Ｍ^-1のｍ行ｎ列目の要素である。

逆変換部１３は、この制約条件の元で、下記の式［９］の評価値Ｅを最小化する行列Ｍ^-1を、彩度強調の逆変換行列として近似的に算出する。

例えば、このような計算は、制約条件を満たす行列Ｍ^-1の複数候補について式［９］の計算を実行し、その計算値Ｅが最小値を示す行列Ｍ^-1を選択すればよい。

また例えば、ラグランジェの未定乗数λ1，λ2，λ3を導入して、

を定義する。逆変換部１３は、このE(Q11,・・・,Q33,λ1,λ2,λ3)の極値を数値計算で算出することにより、制約条件の元で式［９］を最小化するＭ^-1を算出することができる。例えば、E(Q11,・・・,Q33,λ1,λ2,λ3)の全ての偏微分の値をゼロとする連立方程式を立て、その連立方程式の解法に従ってＭ^-1を算出することができる。

彩度低減部１４は、以上のように算出された行列Ｍ^-1を用いて入力画像Ｕの彩度を低減し、彩度低減画像を得る。

色ズレ検出部１５および色ズレ補正部１６は、この彩度低減画像について、色ズレ検出および色ズレ補正の処理を実施する（第１実施形態のステップＳ５，Ｓ６参照）。その結果、色ズレ補正画像が生成される。

彩度強調部１７は、逆変換行列Ｍ^-1の逆行列、すなわち彩度強調の変換行列Ｍを求める。彩度強調部１７は、この変換行列Ｍを用いて色ズレ補正画像の彩度を強調し、出力画像を得る。

（第３実施形態の効果など）
第３実施形態では、第１実施形態と同様の効果を得ることができる。
さらに、第３実施形態では、彩度強調の試行データを用いて、彩度強調の逆変換を近似的に算出する。このような処理では、複雑な彩度強調であっても、比較的単純な計算処理で、その彩度強調の逆変換を求めることができる。
その結果、彩度強調による偽の色構造を、入力画像から迅速かつ適切に除去することが可能になる。その結果、色ズレ、偽色、および偽色輪郭が少なく、被写体本来の色構造に忠実な高品質画像を得ることが可能になる。

《実施形態の補足事項》
なお、上述した実施形態では、色ズレ補正後に彩度強調を改めて実施する。しかしながら、本発明はこれに限定されるものではない。例えば、画像加工用途など、画像の素材性が重視される用途では、色ズレと彩度強調の双方が除去された色ズレ補正画像をそのまま出力することが好ましい。

また、上述した実施形態では、入力画像に実施された彩度強調を情報取得し、その彩度強調の逆変換を求めている。しかしながら、本発明はこれに限定されるものではない。例えば、標準的な彩度低減行列（例えば、式［２］）を用いて、入力画像の彩度を低減してもよい。この場合、入力画像に含まれる偽の色構造を完全に除去することはできない。しかし、偽の色構造を抑制できるため、色ズレ検出や色ズレ補正の効果を高めることができる。

なお、上述した実施形態では、彩度低減画像について色ズレ検出を実施している。しかしながら、これに限定されるものではない。例えば、入力画像のタグ情報から、光学系の倍率色収差に関する情報を取得し、その倍率色収差の情報から色ズレを求めてもよい。このような場合でも、彩度低減画像に対して色ズレ補正を実施することにより、各色成分の構造がより良く一致する。そのため、このような処理においても良好な色ズレ補正効果を得ることができる。

また、上述した第３実施形態では、試行結果Ui，Diに基づいて逆行列Ｍ^-1を直に求めている。しかしながら、本発明はこれに限定されるものではない。例えば、上記の計算手順において、試行結果Ui，Diを入れ替えることにより、彩度強調の変換行列Ｍをまず先に求めてもよい。この場合、この変換行列Ｍの逆行列を計算することで、逆行列Ｍ^-1を求めることが可能になる。

以上説明したように、本発明は、画像処理装置や画像処理プログラムなどに利用可能な技術である。

画像処理装置１１の構成を示すブロック図である。第１実施形態の動作を示す流れ図である。彩度強調前の色成分(RS,GS,BS)の色ズレ状態を示す図である。色成分(RS,GS,BS)に彩度強調を施した状態を示す図である。従来の色ズレ補正結果を示す図である。彩度低減画像の色構造を示す図である。彩度低減画像の色ズレ補正結果を示す図である。色ズレ補正画像を彩度強調した結果を示す図である。第２実施形態の動作を説明する図である。第３実施形態の動作を説明する図である。

符号の説明

１１…画像処理装置，１２…画像取得部，１３…逆変換部，１４…彩度低減部，１５…色ズレ検出部，１６…色ズレ補正部，１７…彩度強調部

Claims

入力画像の色ズレを検出する画像処理装置であって、
前記入力画像の彩度を低減し、彩度低減画像を生成する彩度低減部と、
前記彩度低減画像の色ズレを検出する色ズレ検出部と
を備えたことを特徴とする画像処理装置。
請求項１に記載の画像処理装置において、
前記入力画像に実施済みの彩度強調について情報を取得し、前記彩度強調の逆変換を算出する逆変換部を備え、
前記彩度低減部は、前記逆変換部で算出された前記逆変換を前記入力画像に施して、前記彩度低減画像を生成する
ことを特徴とする画像処理装置。
請求項２に記載の画像処理装置において、
前記逆変換部は、前記彩度強調の逆変換を近似により算出する
ことを特徴とする画像処理装置。
請求項１ないし請求項３のいずれか１項に記載の画像処理装置において、
前記色ズレ検出部により検出した色ズレに基づいて、前記彩度低減部で生成される前記彩度低減画像に色ズレ補正を施し、色ズレ補正画像を生成する色ズレ補正部を備えた
ことを特徴とする画像処理装置。
請求項４に記載の画像処理装置において、
前記色ズレ補正部によって生成される前記色ズレ補正画像の彩度を強調する彩度強調部を備えた
ことを特徴とする画像処理装置。
請求項５に記載の画像処理装置において、
前記彩度強調部は、前記彩度低減部による前記彩度低減の逆変換を、前記色ズレ補正画像に施す
ことを特徴とする画像処理装置。
入力画像の色ズレを補正する画像処理装置であって、
前記入力画像の彩度を低減し、彩度低減画像を生成する彩度低減部と、
前記彩度低減画像に色ズレ補正を施し、色ズレ補正画像を生成する色ズレ補正部と
を備えたことを特徴とする画像処理装置。
コンピュータを、請求項１ないし請求項７のいずれか１項に記載の画像処理装置として機能させるための画像処理プログラム。