JP4952251B2

JP4952251B2 - 画像処理方法、画像処理プログラム、記録媒体、および画像処理装置

Info

Publication number: JP4952251B2
Application number: JP2006548938A
Authority: JP
Inventors: 健一石賀
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2004-12-17
Filing date: 2005-12-16
Publication date: 2012-06-13
Anticipated expiration: 2025-12-16
Also published as: US7940983B2; EP1833264B1; EP1833264A4; JPWO2006064913A1; WO2006064913A1; EP1833264A1; US20080095431A1; EP2464125A1; EP2464125B1

Description

本発明は、画像のノイズ除去および色の再現に適した色空間へ変換する画像処理方法に関する。

従来、信号強度に対して平方根で増えるショットノイズを平方根階調変換することにより、信号強度に対して一定のノイズとなる均等ノイズ空間の概念を利用した画像処理方法が開示されている（特許文献１）。この場合、ノイズのゆらぎ幅、すなわち標準偏差が階調に依らず１つの代表値で表されるため、ノイズをプロファイル化する上で都合がよい。

例えば、標準偏差σの定数倍以内に画素値差分値が収まる画素値間で平均をとってノイズ除去するσフィルタ（非特許文献１）や、空間的なガウスぼかしと共に、標準偏差σに対する画素値差分値の比率を引数としたガウスぼかしを行ってノイズ除去するBilateral Filter（非特許文献２）を使用する場合、均等ノイズ空間でフィルタリングすると標準偏差値が輝度に依らないため、画像構造に適した精度のよいノイズ除去が可能となる。もしこのような均等ノイズ空間を用いなければ、特許文献２に開示されるように、輝度レベル毎に標準偏差を調べてノイズプロファイルを生成する苦労が必要となる。

一方、画像処理を行う場合、視覚系を考慮した輝度・色差表現の色空間を用いることが多い。一般にL*a*b*に代表されるような均等色空間が用いられることが多い。これは均等色空間のほうが、色信号を人間の視覚系知覚量に近い形をより正確に表現しており、色再現性等の観点から優れていると考えられるからである。

特開平７−９２５８８号公報米国特許第５，９２３，７７５号明細書 J. S. Lee, "Digital Image Smoothing and the Sigma Fileter," Computer Vision, Graphics, and Image Processing Vol.24, pp.255-269, 1983. C. Tomasi et al., "Bilateral Filtering for Gray and Color Images," Proceedings of the 1998 IEEE international Conference onf Computer Vision, Bombay, India.

しかし、従来提案されている均等ノイズ空間では、色の均等性について考慮されていないという問題があった。また、従来提案されている均等色空間では、色の均等性は考慮されていてもノイズの均等性は考慮されていないという問題があった。そのため、一方の考慮された側の要因しか十分な性能が引き出せないという問題が生じていた。

請求項１の発明は、線形階調を有するカラー画像データを入力し、前記入力されたカラー画像データに対して、非線形階調変換により均等ノイズ空間への変換を行うとともに、所定の変換式により均等色空間への変換を行う画像処理方法であって、前記カラー画像データをＸＹＺ刺激値によるＸＹＺ空間へ変換し、前記ＸＹＺ空間から前記均等色空間への変換を行なうときに、平方根階調変換を使用することにより前記均等ノイズ空間への変換を行なうことを特徴とする。
請求項２の発明は、線形階調を有するカラー画像データを入力し、前記入力されたカラー画像データに対して、非線形階調変換により均等ノイズ空間への変換を行うとともに、所定の変換式により均等色空間への変換を行う画像処理方法であって、前記入力されたカラー画像データに対してオフセット信号を加えて、前記非線形階調変換により均等ノイズ空間への変換を行い、前記カラー画像データの各々に対してオフセット信号を加えるとき、前記入力されたカラー画像データの撮像感度に応じて、加えるオフセット信号の値を変えることを特徴とする。
請求項３の発明は、請求項２に記載の画像処理方法において、前記オフセット信号は、零ないし正のオフセット信号であることを特徴とする。
請求項４の発明は、請求項３に記載の画像処理方法において、前記オフセット信号の値は、前記撮像感度が高いほど増加させることを特徴とする。
請求項５の発明は、請求項２に記載の画像処理方法において、前記均等色及び均等ノイズ空間へ変換されたカラー画像データに対して所定の画像処理を行ない、前記画像処理後のカラー画像データに対して、前記均等色及び均等ノイズ空間への変換と逆の色空間変換を行なって、線形階調のカラー画像データを出力することを特徴とする。
請求項６の発明は、請求項２に記載の画像処理方法において、前記入力されたカラー画像データを、前記均等色及び均等ノイズを満たす空間の色信号に変換し、前記変換後の色信号の一定幅を前記入力された画像データが有するノイズ特性の代表値とすることを特徴とする。
請求項７の発明は、請求項６に記載の画像処理方法において、前記変換後の信号の一定幅は、一様面を撮影した画像データを前記均等色及び均等ノイズを満たす空間の色信号に変換し、変換後の一様面の画像データの標準偏差を求めることによって求めることを特徴とする。
請求項８の発明は、請求項６から７のいずれかに記載の画像処理方法において、前記均等色及び均等ノイズを満たす色空間において、前記ノイズ特性の代表値を利用してノイズ除去処理を行なうことを特徴とする。
請求項９に記載の画像処理プログラムは、請求項１から８のいずれかに記載の画像処理方法をコンピュータまたは画像処理装置に実行させることを特徴とする。
請求項１０に記載の記録媒体は、請求項９の画像処理プログラムを記録したものである。
請求項１１に記載の画像処理装置は、請求項１から８のいずれかに記載の画像処理方法を実行する制御装置を有することを特徴とする。

本発明は、以上説明したように構成しているので、次のような効果を奏する。ノイズの均等性と色の均等性を実現する空間を生成しているので、ノイズと色が非常に扱いやすくなり、種々の高性能な画像処理の実現が容易となる。さらに、ノイズ除去処理を色差成分に適用した場合に、色ノイズ抑制と色再現性の両立を図ることができる。

（第１の実施の形態）
図１は、本発明の一実施の形態である画像処理装置を示す図である。画像処理装置は、パーソナルコンピュータ１で実現される。パーソナルコンピュータ１は、デジタルカメラ２、ＣＤ−ＲＯＭなどの記録媒体３、他のコンピュータ４などと接続され、各種の画像データの提供を受ける。パーソナルコンピュータ１は、提供された画像データに対して、以下に説明する画像処理を行う。コンピュータ４は、インターネットやその他の電気通信回線５を経由して接続される。

パーソナルコンピュータ１が画像処理のために実行するプログラムは、図１の構成と同様に、ＣＤ−ＲＯＭなどの記録媒体や、インターネットやその他の電気通信回線を経由した他のコンピュータから提供され、パーソナルコンピュータ１内にインストールされる。パーソナルコンピュータ１は、ＣＰＵ（不図示）およびその周辺回路（不図示）から構成され、ＣＰＵがインストールされたプログラムを実行する。

プログラムがインターネットやその他の電気通信回線を経由して提供される場合は、プログラムは、電気通信回線、すなわち、伝送媒体を搬送する搬送波上の信号に変換して送信される。このように、プログラムは、記録媒体や搬送波などの種々の形態のコンピュータ読み込み可能なコンピュータプログラム製品として供給される。

以下、パーソナルコンピュータ１が実行する画像処理について説明する。図２は、パーソナルコンピュータ１が処理する第１の実施の形態の画像処理のフローチャートを示す図である。ステップＳ１では、線形RGB画像データを入力する。ステップＳ２では、均等ノイズ・擬似均等色空間に変換する。ステップＳ３では、ノイズ除去処理をする。ステップＳ４では、色空間を逆変換する。ステップＳ５では、処理が終了した画像データを出力する。以下、各ステップの処理の詳細について説明する。

１）画像データ入力
ステップＳ１で入力される線形RGB画像データは、線形階調で表されたRGB表色系データである。RGB表色系データは、例えばベイア配列の色フィルタを備えたCCDなどの撮像素子で撮像され、各種の補間処理がなされ、画素ごとにR成分,G成分,B成分の色情報を有するデータである。線形階調のデータとは、光強度に線形な階調のデータであり、受光量に比例した色情報の値を持つデータである。ガンマ補正が掛かっているようなデータは事前に線形階調へ戻しておくものとする。このような画像データは、デジタルカメラ２やその他の撮像装置で撮像される。

２）色空間変換
ステップＳ２では、線形階調の３刺激値R,G,Bから均等ノイズ・擬似均等色空間を実現する色空間へ変換する。本実施の形態で定義する空間は、従来のいわゆる均等色空間L*a*b*に対し、均等ノイズ性を考慮して変形を加えたものであり、便宜的にL^a^b^と名付ける。

まず最初に、均等色空間を定義するとき通例用いられるXYZ表色系へ変換する。入力撮像素子に用いられているカラーフィルタの分光感度分布特性によってこの変換式はそれぞれ異なってくる。ここで、原刺激を単一スペクトルのR(700.0nm), G(546.1nm), B(435.8nm)としたCIE RGB表色系からCIE XYZ表色系への変換式の例を示すと、次の変換式の通りである。
X=2.7689R+1.7517G+1.1320B ...(1)
Y=1.0000R+4.5907G+0.0601B ...(2)
Z= +0.0565G+5.5943B ...(3)

もう一つ別の例を挙げておく。最終的にsRGB色空間で表現されたカラー画像を扱う場合、線形階調に戻されたRGB値からXYZ値への変換は以下の式を利用する。
X=0.4124R+0.3576G+0.1805B ...(4)
Y=0.2126R+0.7152G+0.0722B ...(5)
Z=0.0193R+0.1192G+0.9505B ...(6)

次に、線形階調のXYZ空間から擬似的に均等色配分された知覚的な属性を表す非線形階調のL^a^b^空間へ次式により変換する。
L^=100*f(Y/Y0) ...(7)
a^=500*[f(X/X0)-f(Y/Y0)] ...(8)
b^=200*[f(Y/Y0)-f(Z/Z0)] ...(9)

ここに、X0,Y0,Z0は照明光によって定まる値であり、例えば、標準光D65下で2度視野の場合、X0=95.045、Y0=100.00、Z0=108.892のような値をとる。また、非線形階調変換関数f()は以下の式(10)で定義する。ただし、変数tはｔ=(Y/Y0),t=(X/X0),t=(Z/Z0)であり、0≦(Y/Y0)≦1,0≦(X/X0)≦1,0≦(Z/Z0)≦1となるようにXYZ値の階調数の最大値で規格化された値をとる。なお、本実施の形態で、√Aのように記載する場合は、Aの平方根すなわちルートAであることを意味する。

なお、原点と飽和点を規格化する必要がある場合は、以下の式を用いる。

εは線形階調の信号に対して加えるオフセット信号で、零ないし正の値をとり、撮像感度が高くなるに従い大きな値をとる。εの値は、センサーの暗時ノイズの量によって決まるが、例えばISO100程度のときはほぼ0に近い値を、ISO6400程度のときは0.05程度の値をとる。オフセット信号は、非線形階調変換時に加えても、XYZ値の状態で加えても、RGB値の状態で加えても同じ結果である。

上記式(7)(8)(9)は、XYZ空間から均等色空間CIE L*a*b*に変換する変換式と類似の変換式である。異なる点は、均等色空間CIE L*a*b*に変換する変換式では1/3乗の冪関数になっているところ、上記式(7)(8)(9)では1/2乗の冪関数になっている点である。また、均等色空間CIE L*a*b*に変換する変換式では特に考慮されていないが、上記式(7)(8)(9)ではオフセット信号εが考慮されている点である。

参考に、XYZ空間から均等色空間CIE L*a*b*に変換する変換式の例を以下に記載する。
L*=116*(Y/Y0)^1/3-16 ...(12)
a*=500*[(X/X0)^1/3-(Y/Y0)^1/3] ...(13)
b*=200*[(Y/Y0)^1/3-(Z/Z0)^1/3] ...(14)

ここで、上記変換式(7)(8)(9)により均等ノイズ・擬似均等色空間がなぜ実現できるのか説明を加える。均等色空間は従来のCIE L*a*b*の定義からそれほど大きな変更を加えていないことから、擬似的に均等色空間を実現していることが判る。すなわち、色度図におけるマックアダムの偏差楕円による弁別メッシュの均等色配分比率は、階調特性の大きく変わる暗い部分を除いて大きな変化を生じせずに保持される。図１０（ａ）は、従来のCIE L*a*b*色空間のL*=50の色度図におけるマックアダムの偏差楕円を示す図であり、図１０（ｂ）は従来のCIE L*u*v*色空間のL*=50の色度図におけるマックアダムの偏差楕円を示す図である。図中に示された小さな複数のマックアダムの偏差楕円が略一様性を呈し、CIE L*a*b*空間およびCIE L*u*v*色空間が、均等色空間であることが分かる。本実施の形態による均等ノイズ・擬似均等色空間も、図１０（ａ）や図１０（ｂ）と同様に、マックアダムの偏差楕円の一様性が実現されている。

一方のノイズの均等性について更に詳しく述べる。元の線形階調RGB信号は、信号の平方根に比例するショットノイズと信号に依存しない撮像素子・回路系の暗時ノイズ（ダークノイズ）の2つの要素からなるランダムノイズを持っている。R信号のショットノイズを√R、暗時ノイズを√ε（定数）のように表せば、R,G,Bの各トータルノイズ量δR、δG、δBは以下のように書ける。ただし、定数倍項は省略して表記している。εは定数であるので、便宜上√をつけた記載とした。なお、ショットノイズと暗時ノイズを含む場合において、平方根階調変換する前に暗時ノイズ量に応じたオフセット信号を加えることにより均等ノイズ空間が実現できることが特願2004-200890号（本願発明者と同一発明者による出願）において示されている。

更に、RGB表色系からXYZ表色系への変換は、大ざっぱに近似すれば下式のようになる。
X=(R+G)/2 ...(18)
Y=G ...(19)
Z=B ...(20)

したがって、誤差伝播則によりX,Y,Z信号のノイズ量、δX、δY、δZは以下のように書ける。

非線形変換部のみを取り出して、式(24)(25)(26)のように定義すると、式(27)(28)(29)より、各々のノイズ量δX'、δY'、δZ'は階調に対して一定になるのが判る。すなわち、式(24)(25)(26)の階調変換関数のオフセット量を暗時ノイズにあわせたεにとると、階調変換によるノイズの伸縮操作と元のノイズ量の明るさ依存性が相殺し合ってX'、Y'、Z'の明るさに対して一定なノイズに変換することができる。
X'=f(X/X0) ...(24)
Y'=f(Y/Y0) ...(25)
Z'=f(Z/Z0) ...(26)

したがって、均等ノイズ化されたX',Y',Z'の線形変換で定義される輝度・色差表現のL^,a^,b^も均等ノイズ空間となる。すなわち、式(30)(31)(32)のL^,a^,b^に対する誤差δL^,δa^,δb^は式(33)(34)(35)となり一定の値となる。すなわち、均等ノイズ化された均等色空間が実現できる。
L^=100Y' ...(30)
a^=500(X'-Y') ...(31)
b^=200(Y'-Z') ...(32)

３）ノイズ除去処理
図２のステップＳ３では、均等ノイズ化された均等色空間L^a^b^の各面に対し、ノイズ量を１つのプロファイル化したような指標を参照するノイズフィルタによりノイズ除去処理を行う。その１つに、従来から知られたBilateral Filter（非特許文献２）がある。しかし、本実施の形態では、上記のBilateral Filter（非特許文献２）とは異なる更に高性能な次式によるBilateral Filterを用いる。すなわち、ノイズ程度の幅でゆらぐ信号成分同士を、所定の範囲内で、信号差分量と距離比が相互に影響を及ぼし合いながら平滑化する処理を行う。

（１）輝度成分L^

（２）色差成分a^,b^

従来のBilateral Filter（非特許文献２）では、引数（変数、パラメータ）として空間的な距離及び画素値間差分の両方を考慮した適応的フィルタが提案されている。2つの引数をとることからBilateral Filterと呼ばれている。このフィルタでは、フィルタの加重係数が画素値差分(V'-V)のみを引数としたphotometric項の加重係数w_photo[V'-V]と距離(r'-r)のみを引数としたgeometric項の加重係数w_geometric[r'-r]の積で表される。

しかし、このような従来のBilateral Filterでは、2つの引数に対してそれぞれ加重係数を分離した形でしか扱っていないために、エッジ部や色境界部で突出点状のノイズ、偽色が残るという問題があった。すなわち、一方の引数の要因のみに左右されやすいためにうまくノイズ除去ができない状況が発生していた。例えば、色境界部では画素値差分|V'-V|が急激に大きくなると考えられるが、これによってw_photometric[V'-V]は急激に小さい値となってしまい、いくらw_geometric[r'-r]が1に近い値を採っていても無視されてしまい、本来色境界部上に載っているノイズを除去したくても除去できなくなる状況が発生していた。

本実施の形態では、ノイズ除去フィルタとして、従来のような加重係数がphotometric項とgeometric項に分離できる分離加重型Bilateral Filterではなく、加重係数がphotometric項とgeometric項に分離できない非分離加重型Bilateral Filterを用いる。すなわち、従来のBilateral Filterでは、２つの引数をそれぞれ指数とする２つの指数関数の積で表される加重係数のフィルタを使用していた。しかし、本実施の形態のフィルタでは、２つの引数の積で表される値を１つの指数とする１つの指数関数であらされる加重係数のフィルタを使用している。積分範囲はrthの2倍程度にとると、演算規模を抑えながら十分ガウシアンの裾部分も考慮した演算を行うことができる。

このフィルタリング処理をL^面、a^面、b^毎に単独で行う。ノイズ成分は短周期から長周期まであらゆる周波数成分を含む。長周期の色斑ノイズにまで対応するには、rth=20程度、すなわちフィルタリングサイズとしては80x80画素程度にとる必要がある。このように広範囲にフィルタリングしても、画素値差分と空間的距離の両因子を考慮しているので、画像構造の破壊なくノイズ除去が可能である。

更に、このように画素値差分と距離の2つの引数同士で積をとってから加重係数を算出している。従って、色境界部等の信号面内の急勾配部で偽色等の突出点状ノイズがあっても、従来の分離型加重フィルタならphotometirc項の加重係数の落ち込みに支配されてノイズ除去が行われなくなっていたのに対し、本方式の非分離型加重フィルタなら空間距離の引数が画素値差分の引数に有効に作用して、最終的に有限の加重係数を生み出して実効あるノイズ除去が可能となる。

また、長周期に渡る色斑ノイズに対しても従来の分離型加重フィルタは距離が離れるとフィルタリング強度が急速にが弱まって偽色が残りやすかったのに比べ、本方式の非分離型加重フィルタなら長距離間でもノイズゆらぎ程度に収まる画素間ではフィルタリング強度が維持されるので、きれいなノイズ除去が可能となる。

式(36)(37)(38)において、σthの値は、一様面を撮影して、前述の均等ノイズ・擬似均等色空間で計測した標準偏差の√2倍にとるとよい。均等ノイズ空間では、明るさに依らず標準偏差が一定値をとる。従って、この標準偏差を使用して入力された画像データのノイズ特性を１つの代表値としてプロファイル化することができる。すなわち、一様面の画像データの均等ノイズ空間で計測した標準偏差を、入力される画像が有するノイズ特性の代表値として評価するために使用することができる。上述のフィルタは、この代表値を使用して処理が行われる。均等色空間は、上述のフィルタを使用するのに非常に都合が良い。センサーによっても値が異なるが、256階調に対してISO100程度ではσth=1程度、ISO6400程度ではσth=10〜15程度の値をとる。

このようにして、輝度成分に対するノイズ除去は、エッジやテキスチャの画像構造を保持しながらザラザラ感を減らす。色差成分に対するノイズ除去は、色構造や色再現を保持しながら色斑ノイズや色モアレを除去する。輝度成分に対するノイズ除去は、鮮明感の維持とザラザラ感の抑制とのトレードオフの関係で人によって好き嫌いがあるので、省いたり、弱めにしたりしてもよい。

なお、Bilateral Filterに限らず、σフィルタをL^a^b^各面に対し掛けるノイズ除去を行ってもよい。また、引数を画素値間差分のみとするようなUnilateral Filterであってもよい。

４）逆色空間変換
図２のステップＳ４では、L^a^b^色空間から線形階調のRGB色空間へ戻す。逆変換は、上記式(1)(2)(3)、式(7)(8)(9)などを逆にたどるような処理をすればよい。

５）画像出力
図２のステップＳ５では、ノイズ除去された画像データを出力する。ここでsRGB色空間等の表示系に適した標準色空間へ変換するなどの処理を行ってもよい。

このようにして、線形階調のRGB色空間の画像データが、いったん、均等ノイズ化された均等色空間の画像データへ変換され、ノイズ除去のフィルタリングが行なわれる。その後、ノイズ除去が行われた画像データを逆変換し、元の線形階調のRGB色空間の画像データに戻し出力する。

以上説明した本実施の形態の効果について説明する。従来の色空間では、画像の構造に応じた如何に優れた適応フィルタを用いて画像構造破壊の少ないノイズ除去を行っても、色斑ノイズ等の広範囲に及ぶノイズに対応すると、量子力学の不確定性原理により色ノイズ除去と色再現性の両立が図れなくなる。均等ノイズ空間では偽色除去能力は高いものの色再現性が悪くなる問題がある。一方、均等色空間を用いると色再現性は高いものの、ノイズが均等化されないためその扱いの難しさゆえにノイズ除去能力が低い。

例えば、ISO3200やISO6400のような高感度で撮影された画像では、暗時ノイズが多く含まれている。これを均等色空間のL*a*b*で処理すると、「赤地の平坦部」のようなところはこのオフセットのない1/3ガンマ特性の影響で暗時ノイズのゆらぎ幅を強調してしまい、ノイズ除去が強力にかかる目標幅内に収まらないので、ザラザラ感が残るといった現象がみられる。また、同様な理由によって色斑ノイズ除去能力も低い。

しかし、本実施の形態の均等ノイズ・擬似均等色空間と呼べる色空間を用いると偽色などの色ノイズ除去と色再現の適度な両立を図ることができる。

本実施の形態の均等ノイズ・擬似均等色空間と従来のL*a*b*との違いは、RGB刺激値の状態でオフセット信号が加わったことと、非線形階調変換が1/3乗の冪関数から1/2乗の冪関数に変わったことである。オフセット信号は、暗い部分で平方根の立ち上がりを弱めることにより暗時ノイズを強調しない効果がある。

なお、オフセット信号は、従来の1/3乗の冪関数に対しても同様の効果がある。したがって、完全な均等ノイズ空間にはならなくても、従来定義のL*a*b*に対し、RGB刺激値ないしはXYZ刺激値の状態でオフセット信号を加えるだけでも、ノイズ均等化の大きな役割を果たせる。

CIE等で定義される従来の均等色空間は、ノイズ除去処理を必要とするような高感度撮影データで、且つ、相当な量の暗時ノイズを含むような画像信号は基本的に想定していなかったのではないかと考えられる。このように、ほとんど真の信号がノイズに埋もれるような部分の色信号を引き伸ばすような非線形階調変換をしても正しい均等色表示をしているとは思われず、高感度撮影データに対してはもう少し色が正確に認知できるような明るい部分にやや色の知覚比重を移すことが望ましい。上記実施の形態のオフセット処理がその役割を果たすことになる。このように画像中に含まれるノイズ量を考慮した均等色空間を使えば、人間の知覚量に近いものとなり、画像処理結果にも好影響を及ぼすと考えられる。

図３〜図８を使用して、均等ノイズ空間についてさらに説明する。図３は、撮像素子の信号特性を説明する図である。両対数スケールで表された図３において、横軸は撮像面照度を、縦軸は信号の電子数をそれぞれ表す。直線１１は光信号を表し、入射光量に比例して光信号（電子数）が増加することを示している。直線１２は光ショットノイズを表し、入射光量の１／２乗に比例してノイズ（電子数）が増加することを示している。直線１３は暗時ノイズ（ダークノイズ）を表し、入射光量にかかわらずノイズ（電子数）が存在することを示している。

図４〜図６は、均等ノイズ空間を模式的に説明する図である。図４は、線形階調のグラフを示す。横軸は、撮像素子に対する光の入力量ｘを示し、縦軸は、撮像素子からの信号の出力ｙを示す。光の入力量に応じて出力がｙ＝ｘの線形で変化している様子が示されている。δｙは、ショットノイズと暗時ノイズを合わせたランダムノイズの揺らぎ幅を示し、入力ｘに対し暗時ノイズの一定分を除けば平方根で増加している。

図５は、線形階調ｙ＝ｘのグラフを非線形階調変換（平方根階調変換）した様子を示す図である。また、前述したオフセットεが考慮されている。図５から分かるように、オフセット付きの平方根階調変換すると、ショットノイズと暗時ノイズの合計ランダムノイズδｙは、入力値にかかわらず一定の値を示していることがわかる。これにより、オフセット付きの平方根階調変換により、ショットノイズと暗時ノイズの合計ランダムノイズの均等ノイズ空間が実現されることが分かる。なお、図６は、従来の均等色空間CIE L*a*b*に変換における３乗根階調変換の様子を示す図である。図６から分かるように、従来の均等色空間CIE L*a*b*では、入力値の増加に伴いショットノイズと暗時ノイズの合計ランダムノイズδｙは小さくなっており一定ではない。すなわち、従来の均等色空間CIE L*a*b*では、ランダムノイズの均等ノイズ空間は実現されていない。

図７は、線形階調空間、平方根階調空間、およびオフセット付き平方根階調空間におけるそれぞれの入出力特性を示す図である。図７において、横軸は線形階調信号入力値ｘを、縦軸は出力値ｙをそれぞれ表す。直線２１は線形変換時の入出力特性を、曲線２２は平方根空間へ変換した入出力特性を、曲線２３はオフセット付き平方根空間へ変換した入出力特性をそれぞれ示す。曲線２３は、前述した式(10)によるものである。

曲線２２によれば、暗時ノイズ（ダークノイズ）が支配的となる線形入力値が小さい領域（たとえば、０＜ｘ＜０．１）、すなわち、低輝度領域において傾きが急峻になる。このため、入力値にノイズによる揺らぎが生じると、入力側で生じた揺らぎより大きく増幅された揺らぎが出力される。これに対して、前述した本実施の形態のオフセット付き平方根階調空間（曲線２３）では、暗時ノイズ（ダークノイズ）が支配的となる領域（たとえば、０＜ｘ＜０．１）でも傾きが急峻にならない。

図８は、線形階調空間、平方根階調空間、および式(11)による階調空間におけるそれぞれの入出力特性を示す図である。直線２１および曲線２２は図７と同一であり、それぞれ線形変換時の入出力特性、および平方根空間への入出力特性を示す。曲線３１は式(11)により、原点と飽和点を規格化した場合の曲線である。

（第２の実施の形態）
第１の実施の形態では、式(7)(8)(9)で示すように、線形階調のXYZ空間から均等ノイズかつ均等色配分された知覚的な属性を表す非線形階調のL^a^b^空間へ変換する例を示した。第２の実施の形態では、線形入力されてきたRGB刺激値に対し、まず最初に非線形変換を行って均等ノイズ化してから、その後、線形変換により均等色空間を実現しようとするものである。すなわち、まず、RGBの段階でオフセット付き平方根により均等ノイズ化し、後はXYZへの線形変換と視覚系特性への線形変換のみで定義する。均等ノイズ空間を用いた高精細な補間処理を行う場合、補間処理との接続性はこちらの方がとりやすい。

第２の実施の形態の画像処理装置の構成は、第１の実施の形態と同様であるので、図１を参照し、その説明を省略する。図９は、パーソナルコンピュータ１が処理する第２の実施の形態の画像処理のフローチャートを示す図である。

ステップＳ１１では、線形RGB画像データを入力する。例えば、ベイア配列のカラーフィルタの撮像素子で撮像された画像データを入力する。この段階では、まだ補間処理がなされておらず、画素単位にR成分,G成分,B成分のいずれかの色情報を有するデータである。ステップＳ１２では、均等ノイズ空間に変換する。ステップＳ１３では、補間処理を行う。ステップＳ１４では、擬似均等色空間へ線形変換することにより均等ノイズ・擬似均等色空間を実現する。ステップＳ１５では、ノイズ除去処理をする。ステップＳ１６では、色空間を逆変換する。ステップＳ１７では、処理が終了した画像データを出力する。以下、各ステップの処理の詳細について説明する。

１）画像入力
ステップＳ１１で入力される線形RGB画像データは、線形階調で表されたRGB表色系データである。RGB表色系データは、例えばベイア配列の色フィルタを備えたCCDなどの撮像素子で撮像され、画素ごとにR成分,G成分,B成分のいずれかの色情報を有するデータである。補間処理はまだなされていない。

２）均等ノイズ空間変換
ステップＳ１２では、均等ノイズ空間へ変換する。ショットノイズとセンサー・回路系の暗時ノイズを含むノイズを均等化するには、R,G,B線形階調にオフセット信号を加えて平方根階調特性に変換すればよい。オフセット信号をεとして、次の式により、線形RGB画像データから非線形R'G'B'画像データに変換する。

εの値は、第１の実施の形態と同程度にとる。

３）補間処理
ステップＳ１３では、均等ノイズ空間に変換された画像データを補間処理する。ベイア画像データなどは、前述したように、画素ごとにR成分,G成分,B成分のいずれかの色情報しか有しない。そこで、各画素において欠落する色成分の色情報を補間処理で生成する。補間処理については各種の手法が提案されているので、本実施の形態において最適なものを使用すればよい。ただし、補間処理においてもノイズが均等化されている方が高精細な結果を得やすい。

４）均等ノイズ・擬似均等色空間変換
補間処理後の非線形R',G',B'から、次式により非線形定義のX',Y',Z'空間へ線形変換する。
X'=2.7689R'+1.7517G'+1.1320B' ...(42)
Y'=1.0000R'+4.5907G'+0.0601B' ...(43)
Z'= +0.0565G'+5.5943B' ...(44)

ここでは、線形階調で定義されるCIE RGB表色系からCIE XYZ表色系への変換と同じマトリックス係数を用いた。しかし、上記式は非線形階調の間で定義されるので、もう少し補正されたマトリックス行列を使用するようにしてもよい。

非線形X',Y',Z'を、さらに次式により、知覚的均等色を擬似的に実現する空間への変換を行う。便宜的にL#a#b#空間と名付ける。
L#=100Y' ...(45)
a#=500(X'-Y') ...(46)
b#=200(Y'-Z') ...(47)

このようにして均等ノイズ・擬似均等色空間が実現される。先のR',G',B'の段階で、ノイズが階調に依存しない均等ノイズ化されているので、それらを線形変換したX',Y',Z'及びL#,a#,b#も階調に依存しない均等ノイズ空間となる。

５）ノイズ除去処理
第１の実施の形態と同じようにノイズ除去処理を行う。

６）逆色空間変換
ステップＳ１６では、L#a#b#色空間から線形階調のRGB色空間へ戻す。逆変換は前述した定義式を逆にたどるような処理を行えばよい。また、ここで他の任意の色空間へ変換するようにしてもよい。

７）画像出力
ステップＳ１７では、ノイズ除去された画像データを出力する。本実施の形態では、通常の線形階調定義のXYZを介さずに、代わりに模擬的な非線形階調定義のX'Y'Z'を介した均等色空間への変換である。従って、撮像素子出力から連続的に補間処理やノイズ除去処理を行う場合、補間処理の均等ノイズ空間の階調を線形階調に戻して、さらにノイズ除去処理の均等ノイズ・均等色空間への非線形階調変換をする必要もなく、直接均等ノイズ空間から均等ノイズ・均等色空間への移行が図られるため、色空間変換の演算回数が少なくて済み、より補間処理との接続性が良くなる。

なお、上記実施の形態では、オフセット信号を加えながら平方根階調変換をすることによって均等ノイズ空間を実現する例を説明した。しかし、暗時ノイズが少ない場合は、平方根階調変換のみでも均等ノイズ空間が達成できる。逆に、平方根階調特性とは異なる非線形階調変換であっても、RGB刺激値ないしはXYZ刺激値に対するオフセット操作のみでも近似的に撮像素子・回路系の暗時ノイズを考慮したノイズの均等化の主要な目的を達成することが可能である。

従って、L*u*v*、Hunter Lab、LABHNUや、最近のCIECAM97、CIECAM02、iCAM等でも基本的にXYZ表色系と線形変換可能で且つ、線形階調から非線形階調への変換を伴って定義される色空間であるため、これらへの応用も可能である。

上記実施の形態では、本発明の色空間を擬似均等色空間という表現をした。この「擬似」とは、均等色空間として知られているいわゆるL*a*b*に近い空間を生成しているので「擬似」とした。しかし、本願の色空間は、撮像感度に応じて異なる均等色空間を実現している。このことは、従来の均等色空間よりより正確な均等色空間を実現しているとも言える。

上記実施の形態では、フィルタを式(36)から(38)のように表したが、必ずしもこの内容に限定する必要はない。画素値の差分が、プロファイル化された代表値σあるいは２σ等より大きいかどうかにより加重係数を０（大きい場合）あるいは１（小さい場合）とし、加重係数が１とされたものの画素値について平均値を計算するような処理にしてもよい。

上記実施の形態では、パーソナルコンピュータ１で処理を行う例を示したが、必ずしもこの内容に限定する必要はない。カメラなどの撮像装置の中で処理を行う場合であってもよい。また、他の装置であってもよい。すなわち、本発明は、画像データを扱うあらゆる装置に適用することができる。

上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。

次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
日本国特許出願２００４年第３６５８８１号（２００４年１２月１７日出願）

本発明の一実施の形態である画像処理装置を示す図である。第１の実施の形態の画像処理のフローチャートを示す図である。撮像素子の信号特性を説明する図である。線形階調のグラフを示す図である。線形階調ｙ＝ｘのグラフを非線形階調（平方根階調）変換した様子を示す図である。従来の均等色空間CIE L*a*b*に変換における３乗根階調変換の様子を示す図である。線形階調空間、平方根階調空間、およびオフセット付き平方根階調空間におけるそれぞれの入出力特性を示す図である。線形階調空間、平方根階調空間、および式(11)による階調空間におけるそれぞれの入出力特性を示す図である。第２の実施の形態の画像処理のフローチャートを示す図である。従来のCIE L*a*b*色空間およびCIE L*u*v*色空間の色度図におけるマックアダムの偏差楕円を示す図である。

Claims

線形階調を有するカラー画像データを入力し、
前記入力されたカラー画像データに対して、非線形階調変換により均等ノイズ空間への変換を行うとともに、所定の変換式により均等色空間への変換を行う画像処理方法であって、
前記カラー画像データをＸＹＺ刺激値によるＸＹＺ空間へ変換し、
前記ＸＹＺ空間から前記均等色空間への変換を行なうときに、平方根階調変換を使用することにより前記均等ノイズ空間への変換を行なうことを特徴とする画像処理方法。
線形階調を有するカラー画像データを入力し、
前記入力されたカラー画像データに対して、非線形階調変換により均等ノイズ空間への変換を行うとともに、所定の変換式により均等色空間への変換を行う画像処理方法であって、
前記入力されたカラー画像データに対してオフセット信号を加えて、前記非線形階調変換により均等ノイズ空間への変換を行い、
前記カラー画像データの各々に対してオフセット信号を加えるとき、前記入力されたカラー画像データの撮像感度に応じて、加えるオフセット信号の値を変えることを特徴とする画像処理方法。
請求項２に記載の画像処理方法において、
前記オフセット信号は、零ないし正のオフセット信号であることを特徴とする画像処理方法。
請求項３に記載の画像処理方法において、
前記オフセット信号の値は、前記撮像感度が高いほど増加させることを特徴とする画像処理方法。
請求項２に記載の画像処理方法において、
前記均等色及び均等ノイズ空間へ変換されたカラー画像データに対して所定の画像処理を行ない、
前記画像処理後のカラー画像データに対して、前記均等色及び均等ノイズ空間への変換と逆の色空間変換を行なって、線形階調のカラー画像データを出力することを特徴とする画像処理方法。
請求項２に記載の画像処理方法において、
前記入力されたカラー画像データを、前記均等色及び均等ノイズを満たす空間の色信号に変換し、
前記変換後の色信号の一定幅を前記入力された画像データが有するノイズ特性の代表値とすることを特徴とする画像処理方法。
請求項６に記載の画像処理方法において、
前記変換後の信号の一定幅は、一様面を撮影した画像データを前記均等色及び均等ノイズを満たす空間の色信号に変換し、変換後の一様面の画像データの標準偏差を求めることによって求めることを特徴とする画像処理方法。
請求項６から７のいずれかに記載の画像処理方法において、
前記均等色及び均等ノイズを満たす色空間において、前記ノイズ特性の代表値を利用してノイズ除去処理を行なうことを特徴とする画像処理方法。
請求項１から８のいずれかに記載の画像処理方法をコンピュータまたは画像処理装置に実行させる画像処理プログラム。
請求項９の画像処理プログラムを記録したコンピュータ読みとり可能な記録媒体。
請求項１から８のいずれかに記載の画像処理方法を実行する制御装置を有することを特徴とする画像処理装置。