JP5034003B2 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
JP5034003B2
JP5034003B2 JP2007166369A JP2007166369A JP5034003B2 JP 5034003 B2 JP5034003 B2 JP 5034003B2 JP 2007166369 A JP2007166369 A JP 2007166369A JP 2007166369 A JP2007166369 A JP 2007166369A JP 5034003 B2 JP5034003 B2 JP 5034003B2
Authority
JP
Japan
Prior art keywords
component
signal
gradation conversion
color
noise reduction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007166369A
Other languages
English (en)
Other versions
JP2009005252A5 (ja
JP2009005252A (ja
Inventor
英哉 新垣
▲隆▼弘 齊▲藤▼
勇樹 石井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kanagawa University
Olympus Corp
Original Assignee
Kanagawa University
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kanagawa University, Olympus Corp filed Critical Kanagawa University
Priority to JP2007166369A priority Critical patent/JP5034003B2/ja
Priority to PCT/JP2008/061804 priority patent/WO2009001955A1/ja
Publication of JP2009005252A publication Critical patent/JP2009005252A/ja
Priority to US12/644,533 priority patent/US8768054B2/en
Publication of JP2009005252A5 publication Critical patent/JP2009005252A5/ja
Application granted granted Critical
Publication of JP5034003B2 publication Critical patent/JP5034003B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/407—Control or modification of tonal gradation or of extreme levels, e.g. background level
    • H04N1/4072—Control or modification of tonal gradation or of extreme levels, e.g. background level dependent on the contents of the original
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/409—Edge or detail enhancement; Noise or error suppression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/58—Edge or detail enhancement; Noise or error suppression, e.g. colour misregistration correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Description

本発明は、画像信号を階調変換する画像処理装置に関し、特に階調変換によって信号レベルに依存するノイズが増幅されるのを抑制する技術に関する。
現在のデジタルスチルカメラやビデオカメラなどでは、デジタル信号処理の桁落ちによる画質劣化を防止するため、最終的な出力信号の階調幅(通常8bit)に対して入力および処理系における信号の階調幅（10〜12bit程度）をより広く設定している。この場合、出力系の階調幅に合致するよう階調変換を行う必要がある。
従来の階調変換処理では、標準的なシーンに対する固定的な階調特性や、映像信号中の主要被写体に合わせた階調特性に基づいた変換処理が行われていた。また、映像信号中の領域別に階調特性を求め、適用的に変換する手法も提案されている。
いずれの手法においても、階調変換処理によるノイズ成分の増幅といった副作用を伴う場合が多い。このため、特許文献１では映像信号中の領域毎に適応的な階調変換処理を行う際に、領域毎に独立に階調特性に対する制限を設定することで、ノイズの増幅を抑制する手法が提案されている。また、特許文献２では映像信号をノイズ成分と信号成分を分離し、信号成分に対して階調変換を行うことで、ノイズ成分を目立たせずにコントラストを改善する手法が提案されている。
特開2005−318063公報 特開平10−210323号公報 Jean-Francois Aujol, Guy Gilboa, Tony Chan & Stanley Osher, Structure-Texture Image Decomposition--Modeling, Algorithms, and Parameter Selection, International Journal of Computer Vision, Volume 67, Issue 1 (April 2006) Pages: 111 - 136 Year of Publication: 2006
しかしながら、特許文献１では、映像信号中の注目画素毎にノイズ量を推定し、ノイズ量に基づき階調特性に制限を課しているため階調変換処理の自由度が低く、ノイズ量によっては必要な階調が得られない場合がある。また、階調変換に際しては、ノイズ成分に対しても階調変換処理が影響するので、ノイズ成分が増幅されるという課題がある。
また、特許文献２では、ノイズ成分分離の際に、ハイパスフィルタにより高周波成分としてノイズ成分の抽出を行っているが、撮像素子の信号レベルに基づき動的に変化するランダムノイズ特性や高周波成分に含まれるテクスチャ、エッジ成分を考慮しておらず、ノイズ成分の抽出精度が低いという課題がある。また原信号と高周波成分の差分を信号成分としているため、ハイパスフィルタの影響でエッジが劣化した信号成分に対し階調変換を行う場合、エッジ部において視覚的に不自然な印象を受けることが多い。
本発明は、このような従来技術の技術的課題を鑑みてなされたもので、信号レベルに依存するノイズ成分の増幅を抑え、より効果的に高画質な階調変換処理を行えるようにすることを目的とする。
本発明によれば、画像処理装置であって、原画像信号を、骨格成分である第１成分と、前記原画像信号に対する前記第１成分の残差から得られる第２成分と、を含む複数の成分に分離する成分分離手段と、前記第１成分または前記原画像信号の信号レベルを取得する階調変換用信号レベル取得手段と、前記第１成分または前記原画像信号の信号レベルに基づき階調変換に適用する階調変換係数を設定する階調変換係数設定手段と、前記第１成分に対して前記階調変換係数を用いて階調変換処理を行う階調変換手段と、前記第１成分の信号レベルを取得するノイズ低減用信号レベル取得手段と、前記第１成分の信号レベルに基づきノイズ低減処理パラメータを設定するパラメータ設定手段と、前記ノイズ低減処理パラメータと前記階調変換係数を用いて前記第２成分のノイズを低減するノイズ低減処理手段と、を備えた画像処理装置が提供される。
本発明によれば、原画像信号が骨格成分である第１成分と、原画像信号に対する第１成分の残差から得られる第２成分とを含む複数の成分に分離され、ノイズを含まない第１成分に対して階調変換処理が行われるので、階調変換処理によってノイズが増幅されるのを抑制することができ、高品質な階調変換処理を提供することができる。
以下、添付図面を参照しながら本発明の実施形態について説明する。
＜第１の実施形態＞
図１は本発明の第１の実施形態に係る撮像装置のシステム構成図である。図１において、実線はデータ信号線、破線は制御信号線を表しており、各々の処理部は、システムコントローラー1000で制御される。
原画像は、レンズ1001を通してCCD、CMOS等の固体撮像素子1002で電気信号に変換され、撮像信号処理部1003においてCDS(Correlated Double Sampling)/差動サンプリング、アナログゲインの調整等が行われる。その後、A/D変換部1004でデジタル信号に変換され、デジタル信号処理部1005で所定の階調の画像信号（原画像信号I）に変換される。第１の実施形態においては、固体撮像素子1002はモノクロ用撮像素子、原画像信号Iはモノクロ信号である。
成分分離部3001では、原画像信号Iを第１成分Uと第２成分Vに分離する。第１成分Uは、平坦成分（緩やかに変化する成分）とエッジ成分を含む原画像信号Iの骨格成分（幾何学的画像構造）であり、第２成分Vは、テクスチャの様な細かい構造成分とノイズを含む、原画像信号Iに対する第１成分Uの残差成分である。原画像信号Iがモノクロ信号であるので、原画像信号Iから分離される各成分U、Vはいずれも輝度成分となる。
なお、ここでは、説明を簡単にするために、原画像信号Iを２成分に分離する場合について説明するが、３成分以上に分離することも可能である。また、成分分離の方法には加算型分離と乗算型分離があり、その詳細については後述する。
階調変換係数算出部6000は第１成分Uから注目画素を中心とする所定サイズの局所領域を抽出し、局所領域内において、信号レベルに基づきヒストグラムを算出する。算出されたヒストグラムに基づき階調変換曲線を設定し、変換曲線に基づく階調変換処理において各画素にかかる階調変換係数を算出し、これを成分合成・階調変換処理部3005、ノイズ低減処理部3002へ伝送する。階調変換係数算出の詳細については後述する。
ノイズ低減処理パラメータ設定部3004では、図２に示す信号レベル−ノイズ分散モデルまたはその近似データを参照して第１成分Uの信号レベルに対応するノイズの分散σ（ノイズ量）を取得する。第１成分Uは原画像信号Iの骨格成分であるので、第１成分Uの信号レベルから得られるノイズの分散σは、原画像信号Iに含まれていたノイズの分散σにほぼ等しい。そして、ノイズの分散σに応じたノイズ低減処理パラメータT1、T2を設定し、ノイズ低減処理部3002に伝送する。
ノイズ低減処理パラメータT1、T2は、例えば、式(1)：
Figure 0005034003
 により、それぞれノイズの分散σに比例する値に設定される。kは係数で、例えば1/2である。信号レベル−ノイズ分散モデルの詳細については後述する。
ノイズ低減処理部3002では、第２成分Vに対してノイズ低減処理パラメータT1、T2、および階調変換係数を用いた軟判定閾値処理（コアリング処理）を行う。第２成分Vは原画像信号Iに含まれていたノイズと同等のノイズを含むので、この処理によれば、第２成分Vに含まれるノイズを効果的に低減することができる。そして、得られた値を補正第２成分V'として成分合成・階調変換処理部3005に伝送する。軟判定閾値処理の詳細については後述する。
成分合成・階調変換処理部3005では、第１成分Uに対し階調変換係数算出部6000で算出した階調変換係数を乗算した後、補正第２成分V'と所定の比率、例えば1:1の比率で合成し、原画像信号Iに対してノイズが低減された合成成分I'を得る。合成成分I'は、LCD等の表示部2001に伝送されるとともに、圧縮回路2002を介して、フラッシュメモリ等で構成される記憶メディア2003に伝送される。
図３は、成分分離部3001から成分合成・階調変換処理部3005までの処理をソフトウェア処理により実現する場合のフローを示している。ソフトウェアはコンピュータのＲＯＭ、ＲＡＭ等の記憶装置に格納され、コンピュータのＣＰＵによって実行される。図中参考のため原画像信号Iを３成分に分離する場合の処理を破線で表しているが、ここでは２成分に分離する場合について説明する。
ステップＳ１１では、原画像信号Iを第１成分Uと第２成分Vに分離する。
ステップＳ１２では、第１成分Uの信号レベルに基づき、図２に示した信号レベル−ノイズ分散モデルまたはその近似データを参照してノイズの分散σを取得する。そして、ノイズ低減処理パラメータT1、T2をノイズの分散σに応じて設定する。
ステップＳ１００では、第１成分Uから注目画素を中心とする所定サイズの局所領域を抽出し、局所領域内において、信号レベルに基づきヒストグラムを算出する。算出されたヒストグラムに基づき階調変換曲線を設定し、変換曲線に基づく階調変換処理において各画素にかかる階調変換係数を算出する。
ステップＳ１３では、第２成分Vに対してノイズ低減処理パラメータT1、T2、および階調変換係数を用いた軟判定閾値処理を行い、第２成分Vに含まれているノイズを低減し、補正第２成分V'を得る。
ステップＳ１０１では第１成分に対して階調変換係数を乗算することにより階調変換処理を行い、ステップＳ１４では、階調変換処理後の第１成分Uと補正第２成分V'を合成し、原画像信号Iに対してノイズが低減され階調変換がなされた合成成分I'を得る。
続いて、成分分離部3001において行う原画像信号Iの成分分離の詳細について説明する。原画像信号Iから第１成分Uを抽出するとき、その基準として、平坦成分（緩やかに変化する成分）やエッジ成分を含む原画像信号Iの骨格成分が保持されるような処理を用いる。成分分離の手法には、上記の通り、加算型分離と乗算型分離があり、以下各手法について順に説明する。
加算型分離
加算型分離では、原画像信号Iが式(2)で示すように、第１成分Uと第２成分Vの和として表される。
Figure 0005034003
 ここでは、まず、有界変動関数とノルムを用いた分離方法を説明する。
分離を行うために、非特許文献１に記載のA2BC変分モデル(Aujol-Aubert-Blanc-Feraud-Chambolle model)を用いる。最適解として求められる第１成分Uの性質としては、不連続境界によって区分された複数の“滑らかな輝度変化の小部分領域”から構成された有界変動関数空間BV(Bounded Variation Function Space)としてモデル化され、第１成分Uのエネルギーは式(3)のTV(Total Variation)ノルムJ(U)で定義される。
Figure 0005034003
 一方、式(2)中の第２成分Vの関数空間は振動関数空間Gとモデル化される。振動関数空間Gは、振動母関数g1、g2によって式(4)のように表現された関数の空間であり、そのエネルギーは式(5)のGノルム‖V‖Gとして定義される。
Figure 0005034003
Figure 0005034003
 原画像信号Iの分離問題は、エネルギー汎関数を最小化する式(6)の変分問題として定式化される。この変分問題は、ChambolleのProjection法によって解くことができる。
Figure 0005034003
 これにより原画像信号Iから分離される第２成分Vはノイズの影響を受けるが、第１成分Uはノイズの影響をほとんど受けず、エッジを鈍らせることなく骨格成分（幾何学的画像構造）が抽出される。
その他の加算型分離方法の例としては、線形フィルタによる低域分離、メジアンフィルタ、モホロジフィルタ等による適応的平滑化を行うようにしてもよい。以下、有界変動関数によらない加算型分離の方法の例を示す。
例１：第１成分Uを原画像信号Iに対する直交基底展開の低次の成分とし、第２成分Vを原画像信号Iに対する第１成分Uの残差とする方法
例２：第１成分Uを原画像信号Iにメジアンフィルタ処理した結果とし、第２成分Vを原画像信号Iに対する第１成分Uの残差とする方法
例３：第１成分Uを原画像信号Iに多値モホロジフィルタを掛けた結果とし、第２成分Vを原画像信号Iに対する第１成分Uの残差とする方法
例４： 第１成分Uを原画像信号Iに縮小処理を施し、さらに拡大処理を施した結果とし、第２成分Vを原画像信号Iに対する第１成分Uの残差とする方法
例５：第１成分Uを原画像信号IにBilateral Filterを施した結果とし、第２成分Vを原画像信号Iに対する第１成分Uの残差とする方法
乗算型分離
続いて乗算型分離の方法について説明する。乗算型分離では、原画像信号Iが第１成分Uと第２成分Vの積によって表されるが、原画像信号Iを対数変換した対数原画像信号をfとすると、式(7)のように加算型分離問題に変換することができる。
Figure 0005034003
 ここでは、前述と同様に有界変動関数とノルムを用いた分離方法を説明する。乗算型分離問題は対数領域において加算型分離と同様にA2BC変分モデルを用いて解くことができる。以下では、乗算型分離を前提として、対数領域におけるA2BC変分モデルについて簡単に述べる。
式(7)中の対数第１成分uの関数空間は、前述の加算型分離モデルの第１成分Uと同様に不連続境界によって区分された複数の“滑らかな輝度変化の小部分領域”から構成された有界変動関数空間BV(Bounded Variation Function Space)としてモデル化され、対数第１成分uのエネルギーは式(8)のTV(Total Variation)ノルムJ(u)で定義される。
Figure 0005034003
 一方、式(7)中の対数第２成分vの関数空間は、振動関数空間Gとモデル化される。振動関数空間Gは、振動母関数g1、g2によって式(9)のように表現された関数の空間であり、そのエネルギーは式(10)のGノルム‖v‖Gとして定義される。
Figure 0005034003
Figure 0005034003
 したがって、対数原画像信号fの分離問題は、エネルギー汎関数を最小化する式(11)の変分問題として定式化される。
Figure 0005034003
 これにより原画像信号Iから分離される第２成分Vはノイズの影響を受けているが、第１成分Uはノイズの影響をほとんど受けず、エッジを鈍らせることなく骨格成分（幾何学的画像構造）が抽出される。
続いて、ノイズ低減処理パラメータ設定部3004で参照する信号レベル−ノイズ分散モデルについて説明する。
原画像信号Iに含まれるノイズをガウスノイズとすると、ノイズの分散σ（ノイズ量）は、A/D変換直後の信号レベルL0に対して２次曲線的に増加する。これを特開2005-175718公報に開示されているように信号レベル−ノイズ分散モデルを２次関数で表すと、式(12)が得られる。
Figure 0005034003
 ここで、α、β、γは定数項である。しかしながら、ノイズの分散σは信号レベルだけではなく、素子の温度やゲインによっても変化する。図４は、一例として、ある温度tにおけるゲインに関連する３種類のISO感度（ゲイン）100、200、400に対するノイズの分散σをプロットしている。個々の曲線は式(12)に示される形態をしているが、その係数はゲインに関連するISO感度により異なる。温度をt、ゲインをgiとし、上記を考慮した形で信号レベル−ノイズ分散モデルの定式化を行うと、
Figure 0005034003
 となる。ここで、αgt、βgt、γgtは温度t、ゲインgiに応じて決まる定数項である。フルカラーの場合、このノイズモデルは各色独立に適用することができる。
しかしながら、第１の実施形態では、デジタル信号処理部1005の後段で成分分離、ノイズ低減処理を行うので、上記モデルをそのまま用いることはできない。そこで、上記信号レベル−ノイズ分散モデルの特性に加え、デジタル信号処理部1005の特性を考慮し、デジタル信号処理後の信号レベルについて信号レベル−ノイズ分散モデルを得る。
例えば、デジタル信号処理部1005が、12bitの入力信号を8bit出力信号に階調変換するKnee処理又はγ変換である場合、デジタル信号処理部1005は図５の様な入出力信号特性を有している。図中、L(12)はA/D変換直後の信号レベル、L(8)はデジタル信号処理後の信号レベルを表す。
したがって、式(12)あるいは(13)のA/D変換直後の信号レベル−ノイズ分散の特性と、図５の様なデジタル信号処理部1005の特性を考慮すると、デジタル信号処理後の信号レベルY(8)とノイズの分散σは、図２に示した単峰の曲線の関係（信号レベル−ノイズ分散モデル）となる。
ノイズ低減処理パラメータ設定部3004では、図２に示した信号レベル−ノイズ分散モデルを参照してノイズの分散σを取得し、これに応じたノイズ低減処理パラメータT1、T2を設定している。なお、簡略化のために、図２に代えて、図２を折れ線で近似したデータを参照するようにしてもよい。
続いて階調変換係数算出処理について説明する。
図６は階調変換係数算出部6000の構成の一例を示すもので、階調変換係数算出部6000は、局所領域抽出部6003、バッファ6004、ヒストグラム作成部6005、累積正規化部6006、係数算出部6007からなる。成分分離部3001は局所領域抽出部6003へ、局所領域抽出部6003はバッファ6004へ接続している。バッファ6004はヒストグラム作成部6005、係数算出部6007へ接続しており、ヒストグラム作成部6005は累積正規化部6006へ、累積正規化部6006は係数算出部6007へ接続している。係数算出部6007は、成分合成・階調変換処理部3005、ノイズ低減処理部3002へ接続している。
局所領域抽出部6003は成分分離部3001で分離された第１成分Uに対し、注目画素を中心とする所定サイズの矩形領域、本例では例えば16×16画素単位の局所領域を抽出する。局所領域抽出部6003により抽出された局所領域の信号はバッファ6004へ保存される。
ヒストグラム作成部6005は，バッファ6004内の信号に基づき、局所領域ごとにヒストグラムを作成し、累積正規化部6006へ転送する。累積正規化部6006は、ヒストグラムを累積することで累積ヒストグラムを作成し、これを階調幅にあわせて正規化することで階調変換曲線を生成する。本実施形態ではデジタル信号処理部1005から出力される画像信号の階調幅を8bitと仮定するため、上記階調変換曲線は8bit入力8bit出力になる。上記階調変換曲線は係数算出部6007へ転送される。
係数算出部6007では累積正規化部6006からの階調変換曲線に基づく領域の信号レベルに対する階調変換係数を算出する。
いま、階調変換曲線をt()、入力信号レベルをAVc、階調変換係数をgとすると、gは式(14)で与えられる。
Figure 0005034003
 階調変換係数gは成分合成・階調変換処理部3005、ノイズ低減処理部3002へ転送され、後段の階調変換処理、およびノイズ低減処理に用いられる。
なお、上記例では局所領域ごとにヒストグラムに基づく階調変換曲線を算出しているが、このような構成に限定される必要はない。例えば、図７に示されるように標準的な階調変換曲線を固定的に使用する構成（別構成1）も可能である。
図７は、図６に示す階調変換係数算出部6000の構成からヒストグラム作成部6005、累積正規化部6006を除去し、標準階調曲線設定部6008を追加した構成になっている。基本構成は図６に示す階調変換係数算出部6000と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみ説明する。
バッファ6004は係数算出部6007へ接続している。標準階調曲線設定部6008は、係数算出部6007へ接続している。
本構成では、係数算出部6007では標準階調曲線設定部6008から標準的な階調変換曲線を読み込んだ後、階調変換曲線に基づく領域の信号レベルに対する階調変換係数を算出する。この場合、明暗比の大きいシーンでは改善効果が低下するが、処理速度を高速化することができる。
また、図８に示されるように原画像信号Iを適用的に領域分割し、領域毎に階調変換係数を算出する構成（別構成２）も可能である。
図８は、図６に示す階調変換係数算出部6000の構成から局所領域抽出部6003を除去し、適用分割部6009を追加した構成になっている。基本構成は図６に示す階調変換係数算出部6000と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみ説明する。
成分分離部3001は適用分割部6009に接続している。適用分割部6009はバッファ6004へ接続している。
適用分割部6009では原画像信号Iから所定サイズの矩形領域、たとえば本例では8×8画素単位の矩形領域を順次読み、領域内で所定の特徴量、たとえばテクスチャ解析のための同時生起行列からの統計量に基づくモーメント、エントロピーや、輝度値等に基づき均一な領域への分割、ラベリング処理を行う。これは、公知のラベリング技術を用い、例えばテクスチャ、輝度が同一である場合に同一のラベルを付加するなどで行われる。上記ラベリングが終了後に、同一のラベルが付けられた矩形領域を一つの領域として抽出しバッファ6004へ転送する。
なお、上記例ではテクスチャ、輝度情報に基づき領域の分割を行ったが、このような構成に限定される必要はない。例えば、テクスチャのみにして処理の高速化を図るなども可能である。上記構成により、テクスチャ、輝度などによる高精度な領域分割が可能となり、階調変換処理をより効果的に行うことができる。
また、図９に示されるように原画像信号Iを適用的に領域分割し、領域毎に標準的な階調変換曲線を固定的に使用する構成（別構成３）も可能である。
図９は、図７に示す階調変換係数算出部6000の構成から局所領域抽出部6003を除去し、適用分割部6009を追加した構成になっている。基本構成は図７に示す階調変換係数算出部6000と同等であり、同一の構成には同一の名称と番号を割り当てている。以下、異なる部分のみ説明する。
成分分離部3001は適用分割部6009に接続している。適用分割部6009はバッファ6004へ接続している。
適用分割部6009では原画像信号Iから所定サイズの矩形領域、たとえば本例では8×8画素単位の矩形領域を順次読み、領域内で所定の特徴量、テクスチャ解析のための同時生起行列からの統計量に基づくモーメント、エントロピーや、輝度値等に基づき均一な領域への分割、ラベリング処理を行う。
上記構成により、テクスチャ、輝度などによる高精度な領域分割が可能となり、階調変換処理をより効果的に行うことができる。
続いて、ノイズ低減処理パラメータT1、T2を用いた軟判定閾値処理について説明する。
原画像信号Iから分離された第２成分Vは上記の通りノイズを含むので、ノイズ低減処理部3002では、以下に説明する軟判定閾値処理（コアリング処理）により第２成分Vに含まれるノイズを低減する。
軟判定閾値処理は、基準値をB、上限閾値をC1=B+T1 (T1>0)、下限閾値をC2=B+T2 (T2<0)とし、処理前の信号値Aと処理後の信号値Dの関係が式(15)、および図１０のグラフで表される信号処理である。
Figure 0005034003
 図１１（ａ）（ｂ）は軟判定閾値処理が行われる様子を示しており、図１１（ａ）に示す１次元の信号値Aに対して軟判定閾値処理を行うと、図１１（ｂ）に示す信号値Dが得られる。このとき基準値Bには信号値Aの移動平均を用いている。
さらに、式(16)、および図１２のグラフで表されるように入力信号の特徴によっては、A＞C1、A＜C2の範囲において傾きS1（<1）、S2（<1）を設定し、この範囲においては基準値Bとの差に応じてより強くノイズ低減を行うことも可能である。
Figure 0005034003
 さらに、式(17)、および図１３のグラフで表されるように入力信号の特徴によっては、上限閾値をC1' = B + (G1×T1) (T1>0)、下限閾値をC2' = B + (G2×T2) (T2<0)と設定し、閾値の範囲を調整することにより、ノイズ低減効果を調整することが可能である。ここでG1、G2は閾値範囲調整用のパラメータである。例えばG1<1、G2<1と設定した場合、閾値の範囲が狭くなるため、ノイズ低減効果が弱まり、G1>1、G2>1と設定した場合は閾値の範囲が広くなるため、より強くノイズ低減を行うことが可能である。
Figure 0005034003
 さらに、式(18)、および図１４のグラフで表されるように入力信号の特徴によっては、上限閾値をC1' = B + (G1×T1) (T1>0)、下限閾値をC2' = B + (G2×T2) (T2<0)を設定し、A＞C1'、A＜C2'の範囲において傾きS1（<1）、S2（<1）を設定することにより、ノイズ低減効果を調整することが可能である。ここでG1、G2は閾値範囲調整用のパラメータである。例えばG1<1、G2<1と設定した場合、閾値の範囲が狭くなるため、ノイズ低減効果が弱まり、G1>1、G2>1と設定した場合は閾値の範囲が広くなるため、より強くノイズ低減を行うことが可能である。
また、A＞(G1×T1)、A＜(G2×T2)の範囲においては基準値Bとの差に応じてより強くノイズ低減を行うことが可能である。
Figure 0005034003
 なお、式(7)に示す乗算型分離など、成分分離の手法によっては、第１成分Uに対し、直接前述の階調変換係数gを乗算することで階調変換処理を行う場合でも、第２成分Vに対して階調変換処理の影響が及ぶケースがある。このとき、第２成分Vに対するノイズ低減処理で落としきれない残留ノイズ成分が、後段の階調変換処理（階調変換係数の乗算）により増幅することで画質劣化がおきるため、ノイズ低減処理において階調変換係数に応じてノイズ低減効果が調整されるよう処理が行われることが望ましい。
例えば、乗算分離において階調変換係数の乗算を行う場合は、式(19)に従い階調変換係数gを乗算することで、第２成分Vに対する階調変換係数gの影響を抑えることができる。
Figure 0005034003
 第１の実施形態では、第２成分Vに対する階調変換の影響を考慮し、原画像信号Iから分離された第２成分Vに対して式(18)および図１４に示す、軟判定閾値処理を行う。ここで、傾きS1、S2を式(20)、閾値範囲設定用パラメータG1、G2を式(21)に示すように階調変換係数と連動させることで、階調変換による増幅が大きい場合は、より強くノイズが抑えることができる。
Figure 0005034003
Figure 0005034003
 gは階調変換係数、Cks、Ckgは所定の重み係数である。
第２成分Vは、原画像信号Iから骨格成分である第１成分Uを除いたものであるので、基準値Bは0と考えて良い。
図１５は、上記成分分離、ノイズ低減処理により原画像信号Iのノイズが低減され、階調変換処理によるノイズ増幅が抑えられる様子を示している。
図１５（ａ）は、１次元で表した原画像信号Iを示しており、ノイズを含んでいる。
図１５（ｂ）は、成分分離部3001によって原画像信号Iから分離された第１成分Uを示している。第１成分Uは平坦成分とエッジ成分を含む骨格成分であり、ノイズを殆ど含んでいない。
図１５（ｃ）は、成分分離部3001によって得られた第２成分Vを示している。第２成分Vは原画像信号Iに対する第１成分Uの残差成分であり、原画像信号Iに含まれていたノイズと同等のノイズを含んでいる。
図１５（ｄ）は、第２成分Vに対して軟判定閾値処理を行った結果である。補正第２成分V'は第２成分Vに比べてノイズが低減されている。信号レベル−ノイズ分散モデルを参照してノイズの分散σを取得するためには、通常、ノイズの無い原信号を推定する必要があるが、第１の実施形態では、これに代えて骨格成分である第１成分Uの信号レベルを用いてノイズの分散σを取得するようにしている。なお、ここでは、簡単のために、図２に示した信号レベル−ノイズ分散モデルを折れ線で近似したデータを参照してノイズの分散σを取得した。
図１５（ｅ）は、成分合成・階調変換処理部3005で図１５（ｂ）の第１成分Uに対し前述の階調変換係数gを乗算した後、図１５（ｄ）の補正第２成分V'とを1：1で合成した結果である。図１５の（ａ）と（ｅ）を比較するとわかるように、合成成分I'は原画像信号Iに対してエッジ成分を保存しつつ、ノイズが低減された上でノイズの増幅のない階調変換処理がなされている。なお、合成時の混合比は任意に設定することができる。
続いて第１の実施形態の作用効果について説明する。
原画像信号Iに含まれる信号レベル依存のノイズを信号レベルから推定する場合、ノイズのない原画像信号Iを推定する必要があるが、骨格成分である第１成分Uの信号レベルを用いれば原画像信号Iに含まれるノイズを精度良く推定することができる。その一方で、原画像信号Iに対する第１成分Uの残差成分である第２成分Vには、原画像信号Iに含まれていたノイズと同等のノイズが分離される。
したがって、第１成分Uの信号レベルに基づき、第２成分Vのノイズを低減するためのノイズ低減処理パラメータT1、T2を設定し、これを用いて第２成分Vのノイズを低減するようにすれば、第２成分Vのノイズを効果的に低減することができ、高画質なノイズ低減処理を提供することができる。エッジ成分は骨格成分である第１成分に含まれるので、ノイズ低減処理によってエッジが劣化することはない。
また、階調変換処理において、骨格成分である第１成分Uまたは原画像信号Iの信号レベルを用いて階調変換係数gを算出し、これを第１成分Uに対して乗算し、第２成分Vと合成するようにしたことにより、第２成分Vに含まれるノイズに対して階調変換処理が影響を与えることがなく、ノイズの増幅を抑えた高品質な階調変換処理を提供することができる。
なお、ノイズ低減処理の方法としては、信号レベル依存の信号処理であれば何れの方法でもよく、例えば、上記の通り、ノイズ低減処理パラメータT1、T2に応じた閾値と第２成分Vを比較した比較結果、および階調変換係数に応じて第２成分Vを補正する軟判定閾値処理を利用することができる。階調変換係数に基づいて軟判定閾値を設定し、ノイズ低減効果を制御するようにすれば、階調変換処理による第２成分に含まれるノイズの増幅を抑制した高精度なノイズ低減処理が可能になる。
また、第２成分Vに含まれる細かい構造成分に関し、第１成分Uに対する階調変換処理とは異なる第２階調変換処理等を施した後、第１成分Uと合成することで、細部のコントラスト強調等、細部構造に関する画質のコントロールを行うようにしてもよい。第１成分U、第２成分Vいずれに対しても階調変換処理を行うことでより自然な画像が得られる。
第２階調変換処理は、例えば、第２成分Vまたはノイズ低減処理後の第２成分V'に対し、所定のゲインを乗算する、または所定の重み付け等の調整処理を行った階調変換係数g'を乗算する等の処理である。第２階調変換処理をノイズ低減処理後の第２成分V'に対して行えば第２成分Vに含まれるノイズの増幅を抑えることができる。第２階調変換処理をノイズ低減処理前の第２成分Vに対して行う場合は、第２成分Vに含まれるノイズの増大を抑える必要がある。例えば、所定のゲインを用いる場合はゲインを十分に小さくし、階調変換係数g'を用いる場合は、階調変換係数gと反対の傾向を有するように、すなわち、階調変換係数gが大きくなれば小さくなるように階調変換係数g'を設定する。
なお、階調変換係数算出部6000は、成分分離部3001ではなく、デジタル信号処理部1005に直接接続し、入力が第１成分Uの場合と同様の方法により原画像信号Iから階調変換係数を算出するようにしてもよい。この構成によれば、成分分離と、階調変換係数算出が並列な処理構成となり、処理速度を向上させることが可能となる。
また、成分分離の手法は、上記した加算型分離、乗算型分離の何れを用いても良く、また、２成分への分離のみならず、３成分以上に分離するようにしても構わない。また第２〜第Ｎ成分に対するノイズ低減処理は、上記軟判定閾値処理に限定されず、信号レベルに基づきノイズを低減する処理であれば、何れの方法でもよい。
＜第２の実施形態＞
第２の実施形態以降の実施形態はフルカラーに対応した実施形態である。第１の実施形態と共通の構成については同じ参照符号を付して説明を省略する。
図１６は第２の実施形態に係る撮像装置のシステム構成図であり、固体撮像素子1012は色フィルタアレイを前面に配置したフルカラー用撮像素子である。固体撮像素子1012は、単板方式、複数板方式のいずれでも良い。
成分分離部3001はY/C分離部3018、色成分分離部3006、色成分分離部3009に接続されている。Y/C分離部3018は階調変換係数算出部6000に接続されている。
色成分分離部3006はノイズ低減処理パラメータ設定部3004に接続されている。
色成分分離部3009はノイズ低減処理部3002に接続されている。
成分分離部3001から転送された第１成分UはY/C分離部3018において、輝度成分Yと色差成分Cb、Crに分離される。第１成分Uを構成するR成分、G成分、B成分から輝度成分Y、色差成分Cb、Crへの変換は、式(22)により行われる。
Figure 0005034003
 分離された輝度成分Yは階調変換係数算出部6000へ転送され、輝度信号Yの信号レベルに基づき、第１の実施形態と同様の方法で階調変換係数を算出する。
色成分分離部3006では第１成分Uを各色成分（R成分、G成分、B成分）に分離し、ノイズ低減処理パラメータ設定部3004へ転送する。
ノイズ低減処理パラメータ設定部3004では、各色成分の信号レベルに基づき、図２に示した信号レベル−ノイズ分散モデルあるいはその近似データを参照し、ノイズの分散σを色成分毎に取得する。そして、各色成分のノイズ低減処理パラメータT1、T2を、対応する色成分のノイズの分散σに応じた値、例えば、ノイズの分散σに比例した値に設定する。
色成分分離部3009では、成分分離部3001で得られた第２成分Vを各色成分に分離し、ノイズ低減処理部3002へ転送する。
ノイズ低減処理部3002では、第２成分Vの各色成分に対して、第１の実施形態で説明した軟判定閾値処理を色成分毎に独立に行い、各色成分に含まれるノイズを低減する。
成分合成・階調変換処理部3005では、第１成分Uの各色成分に対し階調変換係数算出部6000で算出した階調変換係数を乗算した後、補正第２成分V'の対応する色成分と合成する。
図１７は成分分離部3001から成分合成・階調変換処理部3005までの処理をソフトウェア処理により実現する場合のフローを示している。ソフトウェアはコンピュータのＲＯＭ、ＲＡＭ等の記憶装置に格納され、コンピュータのＣＰＵによって実行される。参考のため３成分に分離する場合の処理を破線で表しているが、ここでは２成分に分離する場合について説明する。
ステップＳ２１では、原画像信号Iを第１成分Uと第２成分Vに分離する。
ステップＳ２２では、第１成分Uを各色成分に分離し、各色成分の信号レベルを得る。
ステップＳ２３では、各色成分の信号レベルに基づき、図２に示した信号レベル−ノイズ分散モデルあるいはその近似データを参照してノイズの分散σを色成分毎に取得する。そして各色成分のノイズの分散σに応じて第２成分Vの各色成分に対するノイズ低減処理パラメータT1、T2を設定する。
ステップＳ３２では、第１成分Uの各色信号を、輝度信号Y、色差信号Cr,Cbに変換する。
ステップＳ１００では、第１成分Uの輝度信号Yから注目画素を中心とする所定サイズの局所領域を抽出し、局所領域内において、信号レベルに基づきヒストグラムを算出する。算出されたヒストグラムに基づき階調変換曲線を設定し、変換曲線に基づく階調変換処理において各画素にかかる階調変換係数を算出する。
ステップＳ２４では、第２成分Vを各色成分に分離する。
ステップＳ２５では、第２成分Vの各色成分に対して、対応する色成分のノイズ低減処理パラメータT1、T2、階調変換係数を用いた軟判定閾値処理を色成分毎に独立に行い、軟判定閾値処理後の値を補正第２成分V'とする。
ステップＳ１０１では第１成分Uの各色信号に対して階調変換係数を乗算することにより階調変換処理を行う。
ステップＳ２６では、階調変換後の第１成分Uと補正第２成分V'とを合成し、原画像信号Iに対してノイズが低減された合成成分I'を得る。
この第２の実施形態によれば、原画像信号Iが複数の色成分を含む場合であっても、第１の実施形態と同様にエッジ成分の劣化を抑えつつ、高画質なノイズ低減処理、および階調変換処理を行うことができる。
なお、成分分離の手法は加算型分離、乗算型分離の何れを用いても良い。また、第２成分Vのノイズを低減する処理の手法は軟判定閾値処理に限定されず、信号レベル依存の信号処理であれば、何れの方法も適用できる。
また、第１の実施形態と同様に、第２成分Vまたは補正第２成分V'に対して第１成分Uに対する階調変換処理とは異なる第２階調変換処理を行うようにしてもよい。第２成分Vまたは補正第２成分V'に対しても階調変換処理を行うことでより自然な画像が得られる。
＜第３の実施形態＞
図１８は第３の実施形態に係る撮像装置のシステム構成図である。先の実施形態と共通の構成については同じ参照符号を付して説明を省略する。
第３の実施形態では色成分分離部3006が削除される。Y/C分離部3018では、第１成分Uを輝度成分Yと色差成分Cb、Crに分離する。第１成分Uを構成するR成分、G成分、B成分から輝度成分Y、色差成分Cb、Crへの変換は、式(22)により行われる。
ノイズ低減処理パラメータ設定部3004では、図２に示した信号レベル−ノイズ分散モデルまたはその近似データを参照し、輝度成分Yの信号レベルに応じた各色成分のノイズの分散σを取得する。ここで分散モデル、または近似データは、予めR,G,B信号毎に輝度成分Yに対するノイズ量を計測し、モデル化してある。
そして、各色成分のノイズ低減処理パラメータT1、T2を、対応する色成分のノイズの分散σに応じた値、例えば、ノイズの分散σに比例した値に設定する。
色成分分離部3009では、成分分離部3001で得られた第２成分Vを各色成分に分離する。ノイズ低減処理部3002は上記軟判定閾値処理を色成分毎に独立に行い、各色成分に含まれるノイズを低減する。
図１９は成分分離部3001から成分合成・階調変換処理部3005までの処理をソフトウェア処理により実現する場合のフローを示している。ソフトウェアはコンピュータのＲＯＭ、ＲＡＭ等の記憶装置に格納され、コンピュータのＣＰＵによって実行される。参考のため３成分に分離する場合の処理を破線で表しているが、ここでは２成分に分離する場合について説明する。
ステップＳ３１では、原画像信号Iを第１成分Uと第２成分Vに分離する。
ステップＳ３２では、第１成分Uの各色信号を、輝度信号Y、色差信号Cr,Cbに変換する。
ステップＳ３３では、第１成分Uの輝度成分Yの信号レベルに応じ、図２に示した信号レベル−ノイズ分散モデルまたはその近似データを参照してノイズの分散σを取得し、これに応じた第２成分Vの各色成分に対するノイズ低減処理パラメータT1、T2をそれぞれ設定する。
ステップＳ３４では、第２成分Vを各色成分に分離する。
ステップＳ１００では、第１成分Uの輝度信号Yから注目画素を中心とする所定サイズの局所領域を抽出し、局所領域内において、信号レベルに基づきヒストグラムを算出する。算出されたヒストグラムに基づき階調変換曲線を設定し、変換曲線に基づく階調変換処理において各画素にかかる階調変換係数を算出する。
ステップＳ３５では、第２成分Vの各色成分に対して、ノイズ低減処理パラメータT1、T2、階調変換係数を用いた軟判定閾値処理を色成分毎に独立に行い、補正第２成分V'を得る。
ステップＳ１０１では第１成分の各色信号に対して階調変換係数を乗算することにより階調変換処理を行う。
ステップＳ３６では、階調変換処理後の第１成分Uと補正第２成分V'とを合成し、原画像信号Iに対してノイズが低減された合成成分I'を得る。
この第３の実施形態によれば、原画像信号Iが複数の色成分を含む場合であっても、第１の実施形態と同様にエッジ成分の劣化を抑えつつ、高画質なノイズ低減処理、および階調変換処理を行うことができる。
なお、成分分離の手法は加算型分離、乗算型分離の何れを用いても良い。また、第２成分Vのノイズを低減する処理の手法は軟判定閾値処理に限定されず、信号レベル依存の信号処理であれば、何れの方法も適用できる。
また、この実施形態においては、第１成分Uから輝度成分Yを分離し、輝度成分Yの信号レベルに応じてノイズ低減処理パラメータT1、T2、および階調変換係数を設定、算出するようにしているが、輝度成分Yの信号レベルに代えて、輝度成分Yを最も反映しているG成分を補間して得られる信号の信号レベルを用いるようにしても構わない。
また、第１の実施形態と同様に、第２成分Vまたは補正第２成分V'に対して第１成分Uに対する階調変換処理とは異なる第２階調変換処理を行うようにしてもよい。第２成分Vまたは補正第２成分V'に対しても階調変換処理を行うことでより自然な画像が得られる。
＜第４の実施形態＞
図２０は第４の実施形態に係る撮像装置のシステム構成図である。先の実施形態と共通の構成については同じ参照符号を付して説明を省略する。
第１の実施形態では、デジタル信号処理部1005の後段に、成分分離部3001〜成分合成・階調変換処理部3005を配置しているが、第４の実施形態では、図２０に示すように、デジタル信号処理部1005の前段にこれらの要素を配置し、A/D変換直後の信号（デジタル信号処理を行う前の信号）に対して成分分離、ノイズ低減処理を行う。この場合、成分分離を前提として、一旦フルカラー信号（原画像信号I）を得るために、補間処理部4000で、色フィルタアレイを通して得られた信号をデモザイキングする。
そして、第４の実施形態では、第２の実施形態と同様に、各色成分の信号レベルに基づき、信号レベル−ノイズ分散モデルを用いてノイズ低減処理パラメータT1、T2を色成分毎に設定する。第４の実施形態では、デジタル信号処理の前段で信号分離、ノイズ低減処理を行うので、信号レベル−ノイズ分散モデルとして、図２に示したモデルではなく、図２１あるいは式(12)、(13)で表されるモデルを参照してノイズの分散σを取得する。
その後の、軟判定閾値処理による第２成分Vのノイズ低減処理、第１成分Uと補正第２成分V'の合成処理に関しては、第２の実施形態と同様である。
この第４の実施形態によれば、原画像信号Iが複数の色成分を含む場合に適応し、第１の実施形態と同様にエッジ成分の劣化を抑えつつ、高画質なノイズ低減処理、および階調変換処理を行うことができる。また、デジタル画像処理部の前段において成分分離、ノイズ低減処理を行うので、成分分離部3001における骨格成分とノイズ成分の分離能力が向上する。
なお、成分分離の手法は加算型分離、乗算型分離の何れを用いても良い。また、第２成分Vのノイズを低減する処理の手法は軟判定閾値処理に限定されず、信号レベル依存の信号処理であれば、何れの方法も適用できる。
また、この第４の実施形態では各色成分の信号レベルに基づきノイズの分散σを取得し、これに応じてノイズ低減処理パラメータT1、T2および階調変換係数を設定、算出するようにしているが、各色成分の信号レベルに代えて、A/D変換直後の全色成分を変換して得られる輝度成分Yの信号レベル、あるいは、輝度成分Yを最も反映しているG成分を補間して得られる信号の信号レベルを用いるようにしてもよい。
また、第１の実施形態と同様に、第２成分Vまたは補正第２成分V'に対して第１成分Uに対する階調変換処理とは異なる第２階調変換処理を行うようにしてもよい。第２成分Vまたは補正第２成分V'に対しても階調変換処理を行うことでより自然な画像が得られる。
＜第５の実施形態＞
ノイズを含まないカラー画像において、3×3の近傍領域で評価した局所色間相互相関係数（以下、「相関係数」という。）は1に近い正値を示す一方で、ノイズを含むカラー画像では、相関係数が低下する画素を含むため、近傍領域で評価した相関係数は低下する。このことから、相関係数の値が小さいほど画像信号に含まれるノイズが多いといえる。
そこで、第５の実施形態では、色成分間の相関に応じて軟判定閾値処理のノイズ低減処理パラメータT1、T2を補正する。これにより、相関が高い領域では軟判定閾値処理での幅が狭まり、原画像信号Iを保持する様に作用する一方で、相関の低い領域では軟判定閾値処理での幅が広がって、原画像信号Iを平坦化することができ、より高精度のノイズ低減処理が実現できる。
図２２は第５の実施形態に係る撮像装置のシステム構成図である。先の実施形態と共通の構成については同じ参照符号を付して説明を省略する。
第５の実施形態では、第２の実施形態に示した成分分離後の軟判定閾値処理と、色成分間の相関に応じたノイズ低減処理パラメータT1、T2の補正を実施する。
色成分間の相関演算は原画像信号Iから分離された第２成分Vに対して行う。
原画像信号Iから分離された第１成分Uは色成分分離部3006に送られ、色成分分離部3006では各色成分の信号レベルを取得する。
ノイズ低減処理パラメータ設定部3004では、第２の実施形態と同様に、各色成分の信号レベルに基づき、信号レベル−ノイズ分散のモデルを参照してノイズの分散σを色成分毎に取得する。そして、各色成分のノイズ低減処理パラメータT1、T2を、対応する色成分のノイズの分散σに応じた値、例えば、ノイズの分散σに比例した値に設定する。
原画像信号Iから分離された第２成分Vは、色成分分離部3009で各色成分に分離された後、相関演算処理部3010に伝送され、
相関演算処理部3010では、後述する様に、注目画素位置を含む近傍領域での各色成分の相関係数を演算し、その最小値である最小相関係数rを出力する。
パラメータ補正部3007では、最小相関係数rに基づきノイズ低減処理パラメータT1、T2の補正係数Cを演算し、これを各色成分のノイズ低減処理パラメータT1、T2に掛けて各色成分のノイズ低減処理パラメータT1、T2を補正する。
ノイズ低減処理部3002では、第２成分Vの各色成分に対して、補正したノイズ低減処理パラメータT1、T2、階調変換係数を用いた軟判定閾値処理を色成分毎に独立に行い、各色成分に含まれるノイズを低減する。そして、得られた信号を補正第２成分V'として出力する。
成分合成・階調変換処理部3005では、第１成分Uに対し、階調変換係数算出部6000で算出した階調変換係数を乗算した後、補正第２成分V'と所定の比率、例えば１：１の比率で合成し、原画像信号Iに対してノイズ低減、および階調変換処理がなされた合成成分I'を得る。
相関演算処理とノイズ低減処理パラメータT1、T2の補正色成分間の相関に応じたノイズ低減処理パラメータT1、T2の補正の内容を、具体例を挙げて説明する。ここでは、説明を簡単にするために第２成分Vが１次元であるとして説明する。第２成分Vがテクスチャの様な細かい構造成分とノイズを含む、原画像信号Iに対する第１成分Uの残差成分であるので、第２成分Vはゼロを中心として変動する成分である。
図２３、図２４は第２成分Vの画素位置と各色成分の信号レベルとの関係を示している。
図２３に示す例では、色成分間に相関がなく、各画素位置の各色成分の信号レベルは、
画素位置 R G B
1 -5 7 2
2 4 -2 2
3 -2 4 4
4 1 -5 5
5 6 -1 2
である。R-G間、G-B間、B-R間の各相関係数を求めると、
R-G G-B B-R
相関係数 -0.75148 -0.36622 -0.19914
となり、最小相関係数rは、-0.75148となる。
一方、図２４の例では、色成分間に相関があり、各画素位置の各色成分の信号レベルは、
画素位置 R G B
1 1 0 -1
2 4 3 3
3 5 3 4
4 -2 -1 0
5 -1 0 -1
である。R-G間、G-B間、B-R間の各相関係数を求めると、
R-G G-B B-R
相関係数 0.964023 0.911685 0.873891
となり、最小相関係数rは、0.873891となる。
以上のようにして最小相関係数rを算出したら、最小相関係数rを用いてノイズ低減処理パラメータT1、T2をそれぞれ、式(23)により補正する。
Figure 0005034003
 ノイズ低減処理パラメータT1、T2は、式(23)によりそれぞれ補正される。c=1とすると、ノイズ低減処理パラメータT1、T2の補正係数Cは(1-r)2となり、補正係数Cは、図２３の場合で3.0677、図２４の場合で0.01590となる。
したがって、図２３の様に色成分間に相関がない場合は、軟判定閾値の上限閾値と下限閾値との幅が大きくなる様に補正され、その結果、信号をより平滑化するように作用する。一方で、図２４の様に色成分間に相関がある場合は、軟判定閾値の上限閾値と下限閾値との幅が小さくなる様に補正され、より信号を保存するような僅かな補正が行われる。
このように、第５の実施形態によれば、色成分間の相関に応じて軟判定閾値処理のノイズ低減処理パラメータT1、T2を補正するようにしたことで、原画像信号Iに含まれる変動成分のうち、ノイズに起因する成分と、テクスチャのような画像本来の構造に起因する成分を判別することができ、ノイズ低減処理によって後者の成分が劣化するのを抑えることができる。また、ノイズ低減後の画像信号に対し階調変換を行うことで、階調変換に伴うノイズの増幅を抑制することができる。
なお、ここでは代表信号レベルからノイズの分散σを求め、これに応じたノイズ低減処理パラメータT1、T2を設定するようにしているが、代表信号レベルに代えて、全色成分を変換して得られる輝度成分Yの信号レベル、あるいは、輝度成分Yを最も反映しているG成分を補間して得られる信号の信号レベルを用いてもよい。
図２５は、成分分離部3001から成分合成・階調変換処理部3005までの処理をソフトウェア処理により実現する場合のフローを示している。ソフトウェアはコンピュータのＲＯＭ、ＲＡＭ等の記憶装置に格納され、コンピュータのＣＰＵによって実行される。参考のため原画像信号Iを３成分に分離する場合の処理を破線で表しているが、ここでは２成分に分離する場合について説明する。
ステップＳ７１では、原画像信号Iを第１成分Uと第２成分Vに分離する。
ステップＳ７２では、第１成分Uを各色成分に分離し、各色成分の信号レベルを得る。
ステップＳ７３では、各色成分の信号レベルに基づき、図２に示した信号レベル−ノイズ分散モデルまたはその近似データを参照してノイズの分散σを取得し、これに応じて、色成分毎にノイズ低減処理パラメータT1、T2を設定する。
ステップＳ７４では、第２成分Vを各色成分に分離する。
ステップＳ７５では、第２成分Vの各色成分の相関を演算し、最小相関係数rを算出する。
ステップＳ７６では、最小相関係数rに基づき、ステップＳ７３で得られた各色信号のノイズ低減処理パラメータT1、T2の補正係数Cを算出する。
ステップＳ３２では、第１成分Uの各色信号を、輝度信号Y、色差信号Cr,Cbに変換する。
ステップＳ１００では、第１成分Uの輝度信号Yから注目画素を中心とする所定サイズの局所領域を抽出し、局所領域内において、信号レベルに基づきヒストグラムを算出する。算出されたヒストグラムに基づき階調変換曲線を設定し、変換曲線に基づく階調変換処理において各画素にかかる階調変換係数を算出する。
ステップＳ７７では、ノイズ低減処理パラメータT1、T2に補正係数Cを掛けてノイズ低減処理パラメータT1、T2を補正する。そして、第２成分Vの各色成分に対して補正後のノイズ低減処理パラメータT1、T2を用いた軟判定閾値処理を行い、補正第２成分V'を得る。
ステップＳ１０１では第１成分に対して階調変換係数を乗算することにより階調変換処理を行う。
ステップＳ７８では、階調変換後の第１成分Uと補正第２成分V'を合成して、原画像信号Iに対して合成成分I'を得る。
第５の実施形態によれば、原画像信号Iが複数の色成分を含む場合であっても、第１の実施形態と同様にエッジ成分の劣化を抑えつつ、高画質なノイズ低減、および階調変換処理を行うことができる。
また、色成分間の相関に応じて軟判定閾値処理のノイズ低減処理パラメータT1、T2を補正するようにしたことにより、第２成分Vに含まれる変動成分のうちノイズに起因する成分と、テクスチャのような画像本来の構造に起因する成分を判別することができ、ノイズ低減処理によって後者の成分が劣化するのを抑えることができる。
なお、成分分離の手法は加算型分離、乗算型分離の何れを用いても良い。また、第２成分Vのノイズを低減する処理の手法は軟判定閾値処理に限定されず、信号レベル依存の信号処理であれば、何れの方法も適用できる。
なお、ここでは第１成分Uの各色信号の信号レベルに基づきノイズの分散σを取得し、これに応じたノイズ低減処理パラメータT1、T2を設定するようにしているが、第１成分Uの各色信号の信号レベルに代えて、第１成分Uから分離した輝度成分Yの信号レベル、あるいは、輝度成分Yを最も反映しているG成分を補間して得られる信号の信号レベルを用いてもよい。
なお、ここでは第１成分Uの輝度成分Yの信号レベルに基づき階調変換係数を算出するようにしているが、第１成分Uの輝度成分Yの信号レベルに代えて、輝度成分Yを最も反映しているG成分を補間して得られる信号の信号レベルを用いてもよい。
また、第１の実施形態と同様に、第２成分Vまたは補正第２成分V'に対して第１成分Uに対する階調変換処理とは異なる第２階調変換処理を行うようにしてもよい。第２成分Vまたは補正第２成分V'に対しても階調変換処理を行うことでより自然な画像が得られる。
＜第６の実施形態＞
図２６は第６の実施形態に係る撮像装置のシステム構成図である。先の実施形態と共通の構成については同じ参照符号を付して説明を省略する。
第６の実施形態では、第４の実施形態と同様に、A/D変換直後の信号（デジタル信号処理を行う前の信号）に対して成分分離、ノイズ低減処理を行う。この場合、成分分離を前提として、一旦フルカラー信号（原画像信号I）を得るために、補間処理部4000で、色フィルタアレイを通して得られた信号をデモザイキングする。
また、デジタル信号処理を施す前に成分分離、ノイズ低減処理を行うので、ノイズ低減処理パラメータ設定部3004は、各色成分の信号レベル−ノイズ分散のモデルとして、図２に示したモデルではなく、図２１あるいは式(12)、(13)で表されるモデルを用いてノイズの分散σを色成分毎に取得する。そして、各色成分のノイズ低減処理パラメータT1、T2を、対応する色成分のノイズの分散σに応じた値、例えば、ノイズの分散σに比例した値に設定する。
その後の軟判定閾値処理によるノイズ低減処理は他の実施形態と同様である。また、色成分間の相関によるノイズ低減処理パラメータT1、T2の補正は最小相関係数rに応じて式(23)によりノイズ低減処理パラメータT1、T2が補正される。
ノイズ低減処理部3002から出力される補正第２成分V'は、成分合成・階調変換処理部3005で第１成分Uと合成され、色フィルタアレイ信号抽出部5000へ伝送される。色フィルタアレイ信号抽出部5000では、合成成分I'から色フィルタアレイの配列に対応する位置の信号を取り出し、デジタル信号処理部1005に画像信号を伝送する。
この第６の実施形態によれば、原画像信号Iが複数の色成分を含む場合であっても、第１の実施形態と同様にエッジ成分の劣化を抑えつつ、高画質なノイズ低減、および階調変換処理を行うことができる。
また、色成分間の相関に応じて軟判定閾値処理のノイズ低減処理パラメータT1、T2を補正するようにしたことにより、第２成分Vに含まれる変動成分のうち、ノイズに起因する成分と、テクスチャのような画像本来の構造に起因する成分を判別することができ、ノイズ低減処理によって後者の成分が劣化するのを抑えることができる。
また、デジタル信号処理部1005の前段において成分分離、ノイズ低減処理を行うので、成分分離部3001における骨格成分とノイズ成分の分離能力が向上する。
なお、成分分離の手法は加算型分離、乗算型分離の何れを用いても良い。また、第２成分Vのノイズを低減する処理の手法は軟判定閾値処理に限定されず、信号レベル依存の信号処理であれば、何れの方法も適用できる。
また、ここでは第１成分Uの各色信号の信号レベルに基づきノイズの分散σを取得し、これに応じたノイズ低減処理パラメータT1、T2を設定するようにしているが、第１成分Uの各色信号の信号レベルに代えて、A/D変換直後の全色成分を変換して得られる輝度成分Yの信号レベル、あるいは、輝度成分Yを最も反映しているG成分を補間して得られる信号の信号レベルを用いてもよい。
また、ここでは第１成分Uの輝度成分Yの信号レベルに基づき階調変換係数を算出するようにしているが、第１成分Uの輝度成分Yの信号レベルに代えて、輝度成分Yを最も反映しているG成分を補間して得られる信号の信号レベルを用いてもよい。
また、第１の実施形態と同様に、第２成分Vまたは補正第２成分V'に対して第１成分Uに対する階調変換処理とは異なる第２階調変換処理を行うようにしてもよい。第２成分Vまたは補正第２成分V'に対しても階調変換処理を行うことでより自然な画像が得られる。
＜第７の実施形態＞
図２７は第７の実施形態に係る撮像装置のシステム構成図である。先の実施形態と共通の構成については同じ参照符号を付して説明を省略する。
デジタル信号処理部1005はY/C分離部を介して成分分離部3001に接続されている。成分分離部3001は階調変換係数算出部6000、ノイズ低減処理パラメータ設定部6001、成分合成・階調変換処理部6002、ノイズ低減処理部3002に接続されている。階調変換係数算出部6000は成分合成・階調変換処理部6002、ノイズ低減処理部3002に接続されている。ノイズ低減処理パラメータ設定部6001はノイズ低減処理部3002に接続されている。ノイズ低減処理部3002は成分合成・階調変換処理部6002へ接続されている。成分合成・階調変換処理部6002はY/C合成部6003へ接続されている。Y/C合成部6003は表示部2001、圧縮回路2002へ接続されている。
次に、図２７の撮像装置における信号の流れについて説明する。
デジタル信号処理部1005により生成した画像データはY/C分離部3018へ伝送され、所定の色空間の信号へ変換される。本実施形態においては、色空間としてYCbCr色空間を想定しており、RGB信号からYCbCr色空間への変換は、式(22)に基づいて行われる。分離後の輝度信号、色差信号を、それぞれYorg、Cborg、Crorgとする。
Y/C分離部3018からの輝度信号Yorg、色差信号Cborg、Crorgを含む画像信号Iorgは、成分分離部3001へ伝送される。
成分分離部3001では、画像信号Iorgに含まれる各信号のそれぞれに対し、第１成分Uと第２成分Vに分離する。分離後の輝度信号の第１成分U_Yorgを、階調変換係数算出部6000、ノイズ低減処理パラメータ設定部6001に伝送する。また、輝度信号、色差信号の第１成分、U_Yorg、U_Cborg、U_Crorgを、成分合成・階調変換処理部6002に伝送し、輝度信号、色差信号の第２成分、V#Yorg、V_Cborg、V_Crorgを、ノイズ低減処理部3002へ伝送する。
階調変換係数算出部6000は輝度信号の第１成分U_Yorgから注目画素を中心とする所定サイズの局所領域を抽出し、局所領域内において、信号レベルに基づきヒストグラムを算出する。算出されたヒストグラムに基づき階調変換曲線を設定し、変換曲線に基づく階調変換処理において各画素にかかる階調変換係数を算出し、これを成分合成・階調変換処理部6002、ノイズ低減処理部3002へ伝送する。
ノイズ低減処理パラメータ設定部6001では、図２８に示すような、信号レベル−ノイズ分散のモデルまたはその近似データを参照して輝度信号Yの信号レベルに応じた輝度信号Yおよび色差信号Cb,Crの第２成分に対するノイズの分散σを取得する。
そして、各信号のそれぞれに対応するノイズ低減処理パラメータT1、T2を設定し、ノイズ低減処理部3002へ伝送する。ノイズ低減処理パラメータT1、T2は、対応する信号（輝度信号Yまたは色差信号Cb,Cr）のノイズの分散σに応じた値、例えば、ノイズの分散σに比例した値に設定する。
ノイズ低減処理部3002では、第２成分V_Yorg、V_Cborg、V_Crorgに対して、信号毎のノイズ低減処理パラメータT1、T2、および階調変換係数を用いた軟判定閾値処理（コアリング処理）を行う。この処理により第２成分V_Yorg、V_Cborg、V_Crorgに含まれるノイズを効果的に低減することができる。そして、得られた値を輝度信号、色差信号の補正第２成分V'_Yorg、V'_Cborg、V'_Crorgとして成分合成・階調変換処理部6002に伝送する。成分合成・階調変換処理部6002では、第１成分U_Yorgに対し階調変換係数算出部6000で算出した階調変換係数を乗算する。また、色差信号の第１成分V_Cborg、V_Crorgに対し、階調変換係数に基づく所定の係数を乗算することで彩度の調整を行う構成とすることも可能である。階調変換後の第１成分U'_Yorg、およびU_Cborg、U_Crorgと、補正第２成分V'_Yorg、V'_Cborg、V'_Crorgとを、所定の比率、例えば1:1の比率で合成し、原画像信号Iに対してノイズが低減された輝度信号、色差信号の各合成成分Ytra、Cbtra、Crtraを得る。成分合成・階調変換処理部6002は変換後の合成成分Ytra、Cbtra、CrtraをY/C合成部6003へ伝送する。Y/C合成部6003は、合成成分Ytra、Cbtra、Crtraに基づいて、RGB信号を式(24)に従い算出した後、表示部2001、圧縮回路2002へ伝送する。
Figure 0005034003
 図２９はY/C分離部3018からY/C合成部6003までの処理をソフトウェア処理により実現する場合のフローを示している。ソフトウェアはコンピュータのＲＯＭ、ＲＡＭ等の記憶装置に格納され、コンピュータのＣＰＵによって実行される。参考のため３成分に分離する場合の処理を破線で表しているが、ここでは２成分に分離する場合について説明する。
ステップＳ３２では、原画像信号Iを輝度信号Y、色差信号Cb、Crに分離する。
ステップＳ３１では、輝度信号Y、色差信号Cb、Crのそれぞれの信号を、第１成分Uと第２成分Vに分離する。
ステップＳ１１０では、第１成分Uの輝度成分Yの信号レベルに応じ、図２８に示した信号レベル−ノイズ分散モデルまたはその近似データを参照してノイズの分散σを取得し、これに応じて、輝度信号Y、色差信号Cb、Crの第２成分Vに対するノイズ低減処理パラメータT1、T2をそれぞれ設定する。
ステップＳ１００では、輝度信号Yの第１成分Uから注目画素を中心とする所定サイズの局所領域を抽出し、局所領域内において、信号レベルに基づきヒストグラムを算出する。算出されたヒストグラムに基づき階調変換曲線を設定し、変換曲線に基づく階調変換処理において各画素にかかる階調変換係数を算出する。
ステップＳ３５では、輝度信号Y、色差信号Cb、Crのそれぞれの第２成分Vに対して、ステップＳ１１０で設定したノイズ低減処理パラメータT1、T2、およびステップＳ１００で算出した階調変換係数を用いた軟判定閾値処理を各信号に対して独立に行い、輝度信号Y、色差信号Cb、Crのそれぞれについて補正第２成分V'を得る。
ステップＳ１１１では輝度信号Yの第１成分に対して階調変換係数を乗算することにより階調変換処理を行う。
ステップＳ３６では、階調変換処理後の第１成分Uと補正第２成分V'とを合成し、階調変換処理、およびノイズ低減処理がなされた輝度信号Y、色差信号Cb、Crのそれぞれについて合成成分を得る。
ステップＳ１１２では、輝度信号Y、色差信号Cb、Crそれぞれの合成成分から、式(24)に基づき、RGB信号を生成する。
この第７の実施形態によれば、輝度信号のみを色差信号とは独立に操作することで、色の色相や彩度等、色の表現に不自然さを生じさせないような絵作り処理、補正処理を行うことができる。また、クラスタ上に形成された色ノイズ等、エッジ構造との識別が困難な場合に誤って第１成分Uへ分離された色ノイズに対して、輝度信号のみを操作することで、階調変換処理の影響による色ノイズの増幅を抑制することが可能となり、高品質なノイズ低減処理が可能となる。
なお、ここでは色空間としてYCbCr色空間を用いたが、これに限定されるものでもなく、CIE Lab色空間や、HSL色空間等、輝度信号を定義することができるその他の任意の色空間を用いることが可能である。
例えば、CIE Lab色空間を用いる場合は、輝度信号は明度指数Lで定義され、HSL色空間を用いる場合は、輝度信号は輝度Lを用いて定義される。
なお、成分分離の手法は加算型分離、乗算型分離の何れを用いても良い。また、第２成分Vのノイズを低減する処理の手法は軟判定閾値処理に限定されず、信号レベル依存の信号処理であれば、何れの方法も適用できる。
また、第１の実施形態と同様に、第２成分Vまたは補正第２成分V'に対して第１成分Uに対する階調変換処理とは異なる第２階調変換処理を行うようにしてもよい。第２成分Vまたは補正第２成分V'に対しても階調変換処理を行うことでより自然な画像が得られる。
＜第８の実施形態＞
図３０は第８の実施形態に係る撮像装置のシステム構成図である。先の実施形態と共通の構成については同じ参照符号を付して説明を省略する。
デジタル信号処理部1005は色変換部6004を介して成分分離部3001に接続されている。成分分離部3001は階調変換係数算出部6000、ノイズ低減処理パラメータ設定部6005、成分合成・階調変換処理部6002、ノイズ低減処理部3002に接続されている。階調変換係数算出部6000は成分合成・階調変換処理部6002、ノイズ低減処理部3002に接続されている。ノイズ低減処理パラメータ設定部6005はノイズ低減処理部3002に接続されている。ノイズ低減処理部3002は成分合成・階調変換処理部6002へ接続されている。成分合成・階調変換処理部6002は最大彩度算出部6006、彩度補正部6007、色逆変換部6008へ接続されている。最大彩度算出部6006は彩度補正部6007へ接続されている。彩度補正部6008は色逆変換部へ接続されている。色逆変換部6008は表示部2001、圧縮回路2002へ接続されている。
次に、図３０に示したような撮像装置における信号の流れについて説明する。
デジタル信号処理部1005により生成した画像データは色変換部6004へ伝送され、所定の色空間の信号へ変換される。本実施形態においては、色空間としてYCbCr色空間を想定しており、RGB信号からYCbCr色空間への変換は、式(22)に基づいて行われる。さらに、色変換部6004は、YCbCr色空間における輝度信号V'、色相信号H、彩度信号Cを、次の式(25)に基づいてそれぞれ算出する。
Figure 0005034003
 ここに、記号「＾」はべき乗を示し、tan＾(-1)はtanの逆関数を示している。
この式(25)に示すように、輝度信号V'はYCbCr色空間のYと等価であるために、以下では輝度信号をYにより示すことにする。色変換部6004により変換された輝度信号、色相信号、彩度信号を、それぞれYorg、Horg、Corgとする。
色変換部6004からの輝度信号Yorg、色相信号Horg、彩度信号Corgを含む画像信号Iorgは、成分分離部3001へ伝送される。成分分離部3001では、画像信号Iorgに含まれる各信号に対し、それぞれ第１成分Uと第２成分Vに分離する。分離処理の後、輝度信号の第１成分U#Yorgを、階調変換係数算出部6000、ノイズ低減処理パラメータ設定部6005に伝送する。また、輝度信号、色相信号、彩度信号の第１成分、U_Yorg、U_Horg、U_Corgを、成分合成・階調変換処理部6002へ伝送し、輝度信号、色相信号、彩度信号の第２成分、V_Yorg、V_Horg、V_Corgを、ノイズ低減処理部3002へ伝送する。
階調変換係数算出部6000は輝度信号の第１成分U_Yorgから注目画素を中心とする所定サイズの局所領域を抽出し、局所領域内において、信号レベルに基づきヒストグラムを算出する。算出されたヒストグラムに基づき階調変換曲線を設定し、変換曲線に基づく階調変換処理において各画素にかかる階調変換係数を算出し、これを成分合成・階調変換処理部6002、ノイズ低減処理部3002へ伝送する。
ノイズ低減処理パラメータ設定部6005では、図３１に示すような、信号レベル−ノイズ分散のモデルまたはその近似データを参照して輝度信号Yの信号レベルに応じた輝度信号、色相信号、彩度信号の第２成分に対するノイズの分散σを取得する。そして、各信号のそれぞれに対応するノイズ低減処理パラメータT1、T2を設定し、ノイズ低減処理部3002へ伝送する。ノイズ低減処理パラメータT1、T2は、各信号に対応するノイズの分散σに応じた値、例えば、ノイズの分散σに比例した値に設定する。
ノイズ低減処理部3002では、第２成分V_Yorg、V_Horg、V_Corgに対して、信号毎のノイズ低減処理パラメータT1、T2、および階調変換係数を用いた軟判定閾値処理（コアリング処理）を行う。この処理により第２成分V_Yorg、V_Horg、V_Corgに含まれるノイズを効果的に低減することができる。そして、得られた値を輝度信号、色相信号、彩度信号の補正第２成分V'_Yorg、V'_Horg、V'_Corgとして成分合成・階調変換処理部6002に伝送する。
成分合成・階調変換処理部6002では、第１成分U#Yorgに対し階調変換係数算出部6000で算出した階調変換係数を乗算する。また、彩度信号の第１成分U_Corgに対し、階調変換係数で重み付けした所定の係数を乗算することで彩度の調整を行うことも可能である。階調変換後の第１成分U'_Yorg、およびU_Horg、U_Corgと、補正第２成分V'_Yorg、V'_Horg、V'_Corgとを、所定の比率、例えば1:1の比率で合成し、原画像信号Iに対してノイズが低減された輝度信号、色相信号、彩度信号の各合成成分Ytra、Htra、Ctraを得る。成分合成・階調変換処理部6002は輝度信号、色相信号の各合成成分Ytra、Htraを色逆変換部6008、最大彩度算出部6006へ伝送し、彩度信号Ctraを彩度補正部6007へ伝送する。さらに、成分合成・階調変換処理部6002では階調変換前の輝度信号YorgがV_Yorg、U_Yorgの加算により算出され、算出された輝度信号Yorgは最大彩度算出部6006へ伝送される。
最大彩度算出部6006では、輝度信号Yorgと色相信号Htraに対する彩度信号の第１の最大彩度値maxCorgと、輝度信号Ytraと色相信号Htraに対する彩度信号の第２の最大彩度値maxCtraを算出する。算出方法の詳細は後述する。最大彩度算出部6006により算出された第１の最大彩度値maxCorgおよび第２の最大彩度値maxCtraは、彩度補正部6007へ伝送される。彩度補正部6007は、第１の最大彩度値maxCorgと第２の最大彩度値maxCtraとを用いて、彩度信号Ctraへの補正係数Kcを、式(26)に示すように算出する。
Figure 0005034003
 彩度補正部6007は、このように算出した補正係数Kcを成分合成・階調変換処理部6002から伝送された彩度信号Ctraに乗算することにより、補正された彩度信号Ctra'を算出する。この補正された彩度信号Ctra'は、さらに前記第２の最大彩度値maxCtraを逸脱しないように上限が課せられた後に、色逆変換部6008へ伝送される。色逆変換部6008は、成分合成・階調変換処理部6002からのYtra、Htra、および彩度補正部6007からのCtra'に基づいて、YCbCr信号を式(27)に示すように算出する。
Figure 0005034003
 色逆変換部6008は、さらに式(24)を用いて、YCbCr信号をRGB信号に変換した後、表示部2001、圧縮回路2002へ伝送する。
次に、図３４を参照して、YCbCr色空間の外観形状と、式(26)に示した補正係数Kcについて説明する。
YCbCr色空間における輝度および色相が定まる（図示の例では、入力信号の輝度信号Yorgおよび色相信号Horgとして与えられ、このときの該入力信号の彩度信号はCorgとなっている。）と、該輝度信号Yorg、および色相信号Horgの範囲内で取り得る最大彩度値maxCorgが定まる。この最大彩度値maxCorgは、（Y, H, C）=（Yorg, 0, 0）の第１の点と、（Y, H, C）=（Yorg, Horg, Corg ）の第２の点とを結んで得られる線分を、該第２の点の方向へ延長して得られる半直線と、YCbCr色空間の輪郭外形と、が交わる点のCの値となる。色相が一定で輝度信号のみがYorgからYtraへ変換された場合の彩度信号Ctraは、最大彩度値に対する比率が一定となるように補正されると、自然な色再現が得られる。すなわち、輝度信号Ytra、色相信号Horgが与えられると、上述したように、このときの最大彩度値maxCtraが定まる。従って、自然な色再現を得るための彩度信号Ctra は、次式(28)の関係を満たすようにすると良い。
Figure 0005034003
 すなわち、
Figure 0005034003
 こうして、式(29)に示すように、補正係数Kcを彩度信号Corgへ乗算することにより、輝度信号の変更に伴う補正を行うことができる。
続いて、図３２を参照して、前記最大彩度算出部6006のより詳細な構成の一例について説明する。
この最大彩度算出部6006は、成分合成・階調変換処理部6002からの色相信号Htraに隣接する２個の色相を後述する関数記録用ROM3112から探索する探索手段たる隣接色相面探索部3110と、この隣接色相面探索部3110からの２個の色相に対応する関数のパラメータ等を後述する関数記録用ROM3112から読み出す抽出手段たる関数抽出部3111と、YCbCr空間内における複数の色相面の最大彩度値をモデル化する関数のパラメータが予め記憶されている記録手段たる前記関数記録用ROM3112と、前記成分合成・階調変換処理部6002からの輝度信号Yorg, Ytra と前記関数抽出部3111からのパラメータとに基づいて前記２個の色相に関する最大彩度値を算出する算出手段たる彩度算出部3113と、前記彩度算出部3113により算出された２個の色相に関する最大彩度値を用いて成分合成・階調変換処理部6002からの色相信号Horgに対する最大彩度値を補間して求め、彩度補正部6007へ伝送する補間手段たる彩度補間部3114と、を有して構成されている。
ここで、図３５を参照して、前記関数記録用ROM3112に記録されているYCbCr色空間の最大彩度値maxCに関する関数情報について説明する。
図３５(B)から図３５(F)は、YCbCr色空間における赤(R)、マゼンタ(Ma)、青(B)、シアン(Cy)、緑(G) 、黄(Ye)の各色相面における彩度信号Cと輝度信号Yの断面をそれぞれ示す図、図３５(G)はCｂ Cｒ 平面上における各色相面の配置を示す図、図３５(H)は補間による最大彩度値maxCの算出を説明するための図である。
図３５(A)は前記各色相面における最大彩度値を説明するための図であり、各色相面における最大の彩度値に対応する輝度Ti（ i = R、Ma、B、Cy、G、Ye ）（図中の添え字部分等において、MaをM、CyをC、YeをYなどと適宜省略している。）を閾値として、最大彩度値maxCiを、輝度Yが輝度Ti以上となる部分について高輝度用関数でモデル化するとともに、輝度Yが輝度Ti以下となる部分について低輝度用関数でモデル化している。なお、高輝度用関数と低輝度用関数とは、輝度Tiにおいて同一の最大彩度値maxCiを取るようになっている。このとき、該最大彩度値maxCに対する関数として、YCbCr色空間では次の式(30)に示すような１次関数を用いる。
Figure 0005034003
 前記関数記録用ROM3112には、色相Hiと、閾値である輝度Tiと、高輝度用関数のパラメータαhi、βhiと、低輝度用関数のパラメータαli、βliと、がそれぞれ予め記憶されている。
次に、前記図３２に示したような最大彩度算出部6006の作用について説明する。
前記隣接色相面探索部3110は、前記関数記録用ROM3112に記録されている色相信号Hiを読み出して、読み出した色相信号Hiを成分合成・階調変換処理部6002からの色相信号Horgと比較する。そして、該隣接色相面探索部3110は、図３５(H)に示すように、該色相信号Horgを挟み込むように隣接する最近傍の２個の色相信号Hj, Hk (j,k = R, Ma, B, Cy, G, Ye j ≠ k)を探索して、これら２個の色相を関数抽出部3111へ伝送する。関数抽出部3111は、関数記録用ROM3112から前記２個の色相に対応する輝度Tj, Tkと、高輝度用関数のパラメータαhj、βhj、αhk、βhkと、低輝度用関数のパラメータαlj、βlj、αlk、βlkと、を抽出して、前記彩度算出部3113へ伝送する。彩度算出部3113は、関数抽出部3111からの前記パラメータ等と、前記色変換部6004からの輝度信号Yorgまたは前記成分合成・階調変換処理部6002からの輝度信号Ytraに基づいて、２個の色相信号Hj, Hkに関する最大彩度値maxCorg_j、maxCorg_k、またはmaxCtra_j、maxCtra_kを算出する。以降の処理は、輝度信号Yorgと、Ytraとの何れに対しても共通であるために、２個の最大彩度値をmaxCj、maｘCkとして示すこととする。この彩度算出部3113により算出された最大彩度値maxCj, maxCkは、彩度補間部3114へ伝送される。彩度補間部3114は、前記最大彩度値maxCj, maxCkを用いて、成分合成・階調変換処理部6002からの色相信号Horgに対する最大彩度値maxCを、式(31)に従って、図３５(H)に示すように、補間により算出する。
Figure 0005034003
 なお、色相は、Hj＞Horg＞Hk の関係にあるものとする。
式(31)による最大彩度値の算出は、成分合成・階調変換処理部6002からの輝度信号Yorg、おびび Ytraに対して行われるために、合計２回行われることになり、これによって第１の最大彩度値maxCorgと第２の最大彩度値maxCtraとが算出される。こうして算出された第１の最大彩度値maxCorgと第２の最大彩度値maxCtraは、該彩度補間部3114から前記彩度補正部6007へ伝送される。
次に、図３３を参照して、前記彩度補正部6007のより詳細な構成の一例について説明する。前記彩度補正部6007は、前記最大彩度算出部6006から伝送された第１の最大彩度値maxCorgと第２の最大彩度値maxCtraとに基づき式(26)に示したように補正係数Kcを算出する比率算出手段たる比率算出部3120と、この比率算出部3120により算出された補正係数Kcを前記成分合成・階調変換処理部6002からの彩度信号Ctraに乗算することにより補正された彩度信号Ctra'を算出する乗算手段たる乗算部3121と、この乗算部3121により算出された彩度信号Ctra'が前記最大彩度算出部6006により算出された第２の最大彩度値maxCtraを越えることのないように制限してこの制限された彩度信号Ctra'を前記色逆変換部6008へ伝送する制限手段、置換手段、非線形圧縮手段を兼ねた制限部3122と、を有して構成されている。
ここに、前記制限部3122は、前記乗算部3121により補正係数Kcを乗算された彩度信号Ctra'が前記第２の最大彩度値maxCtraを逸脱した場合に、該彩度信号Ctra'を前記第２の最大彩度値maxCtraに置き換える置換手段を有して構成されている。
なお、前記制限部3122は、前記乗算部3121により補正係数Kcを乗算された彩度信号Ctra'が前記第２の最大彩度値maxCtra未満の所定の閾値を超えた場合に、該彩度信号Ctra'を前記第２の最大彩度値maxCtraと前記閾値との間の値に変換する非線形圧縮手段を有して構成されていても良い。
図３６は色変換部6004から色逆変換部6008までの処理をソフトウェア処理により実現する場合のフローを示している。ソフトウェアはコンピュータのＲＯＭ、ＲＡＭ等の記憶装置に格納され、コンピュータのＣＰＵによって実行される。参考のため３成分に分離する場合の処理を破線で表しているが、ここでは２成分に分離する場合について説明する。
ステップＳ２００では、原画像信号Iを輝度信号V'(以下、Y)、色相信号H、彩度信号Cに分離する。
ステップＳ３１では、輝度信号Y、色相信号H、彩度信号Cのそれぞれの信号を第１成分Uと第２成分Vに分離する。
ステップＳ２０１では、第１成分Uの輝度成分Yの信号レベルに応じ、図３１に示した信号レベル−ノイズ分散モデルまたはその近似データを参照してノイズの分散σを取得し、これに応じて輝度信号Y、色相信号H、彩度信号Cの第２成分Vに対するノイズ低減処理パラメータT1、T2をそれぞれ設定する。
ステップＳ１００では、輝度信号Yの第１成分Uから注目画素を中心とする所定サイズの局所領域を抽出し、局所領域内において、信号レベルに基づきヒストグラムを算出する。算出されたヒストグラムに基づき階調変換曲線を設定し、階調変換曲線に基づく階調変換処理において各画素にかかる階調変換係数を算出する。
ステップＳ３５では、輝度信号Y、色相信号H、彩度信号Cのそれぞれの第２成分Vに対して、ステップＳ２０１で設定したノイズ低減処理パラメータT1、T2、およびステップＳ１００で算出した階調変換係数を用いた軟判定閾値処理を各信号に対して独立に行い、輝度信号Y、色相信号H、彩度信号Cのそれぞれについて補正第２成分V'を得る。
ステップＳ１１１では輝度信号Yの第１成分に対して階調変換係数を乗算することにより階調変換処理を行う。
ステップＳ３６では、階調変換処理後の第１成分Uと補正第２成分V'とを合成し、階調変換処理、およびノイズ低減処理がなされた輝度信号Y、色相信号H、彩度信号Cのそれぞれについて合成成分を得る。
ステップＳ２０２では、階調変換前後の輝度信号Yと、色相信号Cに基づき、最大彩度値を算出する。
ステップＳ２０３では、Ｓ２０２で算出した最大彩度値に基づき、彩度信号Cを補正する。
ステップＳ２０４では、輝度信号Y、色相信号H、彩度信号Cのそれぞれの合成成分から、式(24)に基づき、RGB信号を生成する。
この第８の実施形態によれば、輝度信号のみを彩度信号等とは独立に操作することで、色信号に不自然さを生じさせないような絵作り処理、補正処理を行うことができる。また、クラスタ上に形成された色ノイズ等、エッジ構造との識別が困難な場合に誤って第１成分Uへ分離された色ノイズに対して、輝度信号のみを操作することで、階調変換処理の影響による色ノイズの増幅を抑制することが可能となり、高品質なノイズ低減処理が可能となる。
なお、前記関数記録用ROM3112に記録される最大彩度値の関数として１次関数を用いたが、これに限定されるものではなく、必要となる精度に応じて、多項式関数、べき乗関数、スプライン関数などの任意の関数を使用することも可能である。
このとき、関数化する色相面として、赤(R)、マゼンタ(Ma)、青(B)、シアン(Cy)、緑(G)、黄(Ye)の６つの色相面を使用したが、これに限るものでないのは勿論である。例えば、低コスト化を優先するために、赤(R) 、青(B) 、緑(G)の３つの色相面を使用することも可能であるし、あるいは高精度化を優先させるために、前記６つ色相面の中間の色相面を加えた１ ２ の色相面を使用することも可能であるし、用途や目的などに応じて任意の構成をとることができる。
また、色空間の変換において関数を用いる代わりに、テーブルを用いる構成とすることも可能である。
また、ここでは色空間としてYCbCr色空間を用いたが、これに限定されるものでもなく、CIE Lab色空間や、HSL色空間等、輝度信号、彩度信号、色相信号を定義することができるその他の任意の色空間を用いることが可能である。
例えば、CIE Lab色空間を用いる場合は、式(32)に従って、輝度信号Vは明度指数Lで定義され、色相信号H、彩度信号Cを知覚色度a,bを用いて定義される。
Figure 0005034003
 ここで、記号「＾」はべき乗を示し、tan＾(-1)はtanの逆関数を示している。
HSL色空間を用いる場合は、輝度信号Vは輝度L、色相信号Hは色相H、彩度信号Cは彩度Sを用いて定義される。
なお、成分分離の手法は加算型分離、乗算型分離の何れを用いても良い。また、第２成分Vのノイズを低減する処理の手法は軟判定閾値処理に限定されず、信号レベル依存の信号処理であれば、何れの方法も適用できる。
また、第１の実施形態と同様に、第２成分Vまたは補正第２成分V'に対して第１成分Uに対する階調変換処理とは異なる第２階調変換処理を行うようにしてもよい。第２成分Vまたは補正第２成分V'に対しても階調変換処理を行うことでより自然な画像が得られる。
＜第９の実施形態＞
図３７は第９の実施形態に係る撮像装置のシステム構成図である。
先の実施形態と共通の構成については同じ参照符号を付して説明を省略する。
第９の実施形態では、第５の実施形態に示した色成分間の相関に応じたノイズ低減処理パラメータT1,T2の補正、および軟判定閾値処理を兼備するが、第５の実施形態とは異なり、第１成分Uの輝度信号Yに対して階調変換を行う。
Y/C分離部3018は階調変換係数算出部6000、階調変換部6009、Y/C合成部6003へ接続されている。階調変換部6009はY/C合成部6003へ接続されている。Y/C合成部6003は成分合成部6010へ接続されている。成分合成部6010は表示部2001、圧縮回路2002へ接続されている。
次に、図３７に示したような撮像装置における信号の流れについて説明する。
成分分離部3001により原画像信号Iから分離された第１成分UはY/C分離部3018、色成分分離部3006に伝送される。
Y/C分離部3018では伝送された信号を、所定の色空間の信号へ変換する。本実施形態においては、色空間としてYCbCr色空間を想定しており、RGB信号からYCbCr色空間への変換は、式(22)に基づいて行われる。
Y/C分離部3018から出力される輝度信号をU_Yorg、色差信号をU_Cborg、U_Crorgとして示す。
輝度信号U_Yorgは階調変換係数算出部6000、階調変換部6009へ伝送され、色差信号U_Cborg、U_CrorgはY/C合成部6003へ伝送される。
階調変換係数算出部6000は輝度信号U_Yorgから注目画素を中心とする所定サイズの局所領域を抽出し、局所領域内において、信号レベルに基づきヒストグラムを算出する。算出されたヒストグラムに基づき階調変換曲線を設定し、変換曲線に基づく階調変換処理において各画素にかかる階調変換係数を算出し、これを階調変換部6009、ノイズ低減処理部3002へ転送する。
階調変換部6009では、第１成分の輝度信号U_Yorgに対し、階調変換係数算出部6000で算出した階調変換係数を乗算することで、階調変換処理を行う。階調変換処理後の輝度信号U#YorgはY/C合成部6003へ伝送される。
Y/C合成部6003は、階調変換部からの輝度信号U_Yorgと、Y/C分離部からの色差信号U_Cborg、U_Crorgに基づいて、RGB信号を式(24)に示すように算出した後、成分合成部6010へ伝送する。
色成分分離部3006では各色成分の信号レベルを取得する。ノイズ低減処理パラメータ設定部3004では、各色成分の信号レベルに基づき、信号レベル−ノイズ分散のモデルを参照してノイズの分散σを色成分毎に取得する。そして、各色成分のノイズ低減処理パラメータT1、T2を、対応する色成分のノイズの分散σに応じた値、例えば、ノイズの分散σに比例した値に設定する。
原画像信号Iから分離された第２成分Vは、色成分分離部3009で各色成分に分離された後、相関演算処理部3010に伝送され、相関演算処理部3010では、第２成分Vに対して第５の実施形態と同様に各色信号の相関演算処理を行い、最小相関係数rを算出する。
パラメータ補正部3007では、最小相関係数rに基づきノイズ低減処理パラメータT1、T2の補正係数Cを演算し、これを各色成分のノイズ低減処理パラメータT1、T2に掛けて各色成分のノイズ低減処理パラメータT1、T2を補正する。
ノイズ低減処理部3002では、色成分分離部3009から伝送された第２成分Vの各色成分に対して、補正したノイズ低減処理パラメータT1、T2、階調変換係数を用いた軟判定閾値処理を色成分毎に独立に行い、各色成分に含まれるノイズを低減する。そして、得られた信号を補正第２成分V'として成分合成部6010へ出力する。
成分合成部6010では、階調変換された第１成分Uと、補正第２成分V'とを所定の比率、例えば１：１の比率で合成し、原画像信号Iに対してノイズ低減、および階調変換処理がなされた合成成分I'を得る。
図３８は、成分分離部3001から成分合成部6010までの処理をソフトウェア処理により実現する場合のフローを示している。ソフトウェアはコンピュータのＲＯＭ、ＲＡＭ等の記憶装置に格納され、コンピュータのＣＰＵによって実行される。参考のため原画像信号Iを３成分に分離する場合の処理を破線で表しているが、ここでは２成分に分離する場合について説明する。
ステップＳ７１では、原画像信号Iを第１成分Uと第２成分Vに分離する。
ステップＳ７２では、第１成分Uを各色成分に分離し、各色成分の信号レベルを得る。
ステップＳ７３では、各色成分の信号レベルに基づき、図２に示した信号レベル−ノイズ分散モデルまたはその近似データを参照してノイズの分散σを取得し、これに応じて、色成分毎にノイズ低減処理パラメータT1、T2を設定する。
ステップＳ７４では、第２成分Vを各色成分に分離する。
ステップＳ７５では、第２成分Vの各色成分の相関を演算し、最小相関係数rを算出する。
ステップＳ７６では、最小相関係数rに基づき、ステップＳ７３で得られた各色信号のノイズ低減処理パラメータT1、T2の補正係数Cを算出する。
ステップＳ３２では、第１成分Uを輝度信号U_Yorg、色差信号U_Cborg、U_Crorgに分離する。
ステップＳ１００では、第１成分Uの輝度信号U_Yorgから注目画素を中心とする所定サイズの局所領域を抽出し、局所領域内において、信号レベルに基づきヒストグラムを算出する。算出されたヒストグラムに基づき階調変換曲線を設定し、変換曲線に基づく階調変換処理において各画素にかかる階調変換係数を算出する。
ステップＳ７７では、ノイズ低減処理パラメータT1、T2に補正係数Cを掛けてノイズ低減処理パラメータT1、T2を補正する。そして、第２成分Vの各色成分に対して補正後のノイズ低減処理パラメータT1、T2を用いた軟判定閾値処理を行い、補正第２成分V'を得る。
ステップＳ１１１では第１成分Uの輝度信号U_Yorgに対して階調変換係数を乗算することにより階調変換処理を行う。
ステップＳ１１２では、第１成分Uの階調変換後の輝度信号U_Yorg、色差信号U_Cborg、U#Crorgから、式(24)に基づき、第１成分UのRGB信号を生成する。
ステップＳ７８では、階調変換後の第１成分Uと補正第２成分V'を合成して、原画像信号Iに対して合成成分I'を得る。
この第９の実施形態によれば、第１成分Uの輝度信号のみを彩度信号等とは独立に操作することで、色信号に不自然さを生じさせないような絵作り処理、補正処理を行うことができる。また、クラスタ上に形成された色ノイズ等、エッジ構造との識別が困難な場合に誤って第１成分Uへ分離された色ノイズに対して、輝度信号のみを操作することで、階調変換処理の影響による色ノイズの増幅を抑制することが可能となり、高品質なノイズ低減処理が可能となる。
なお、成分分離の手法は加算型分離、乗算型分離の何れを用いても良い。また、第２成分Vのノイズを低減する処理の手法は軟判定閾値処理に限定されず、信号レベル依存の信号処理であれば、何れの方法も適用できる。
なお、ここでは第１成分Uの各色信号の信号レベルに基づきノイズの分散σを取得し、これに応じたノイズ低減処理パラメータT1、T2を設定するようにしているが、第１成分Uの各色信号の信号レベルに代えて、第１成分Uから分離した輝度成分Yの信号レベル、あるいは、輝度成分Yを最も反映しているG成分を補間して得られる信号の信号レベルを用いてもよい。
なお、ここでは第１成分Uの輝度成分Yの信号レベルに基づき階調変換係数を算出するようにしているが、第１成分Uの輝度成分Yの信号レベルに代えて、輝度成分Yを最も反映しているG成分を補間して得られる信号の信号レベルを用いてもよい。
なお、ここでは色空間としてYCbCr色空間を用いたが、これに限定されるものでもなく、CIE Lab色空間や、HSL色空間等、輝度信号を定義することができるその他の任意の色空間を用いることが可能である。
例えば、CIE Lab色空間を用いる場合は、輝度信号は明度指数Lで定義され、HSL色空間を用いる場合は、輝度信号は輝度Lを用いて定義される。
また、第１の実施形態と同様に、第２成分Vまたは補正第２成分V'に対して第１成分Uに対する階調変換処理とは異なる第２階調変換処理を行うようにしてもよい。第２成分Vまたは補正第２成分V'に対しても階調変換処理を行うことでより自然な画像が得られる。
＜第１０の実施形態＞
図３９は第１０の実施形態に係る撮像装置のシステム構成図である。
先の実施形態と共通の構成については同じ参照符号を付して説明を省略する。
第１０の実施形態では、第５の実施形態に示した色成分間の相関に応じたノイズ低減処理パラメータT1,T2の補正、および軟判定閾値処理を兼備するが、第５の実施形態とは異なり、第１成分Uの輝度成分Yに対して階調変換を行う。
成分分離部3001は色変換部6004、色成分分離部3006、色成分分離部3009に接続されている。色変換部6004は階調変換係数算出部6000、階調変換部6009、最大彩度算出部6006、彩度補正部6007、色逆変換部6008に接続されている。階調変換部6009は最大彩度算出部6006、色逆変換部6008に接続されている。最大彩度算出部6006は彩度補正部6007に接続されている。彩度補正部6007は色逆変換部6008に接続されている。色逆変換部6008、ノイズ低減処理部3002は成分合成部6010へ接続されている。成分合成部6010は表示部2001、圧縮回路2002へ接続されている。
次に、図３９に示したような撮像装置における信号の流れについて説明する。
成分分離部3001において原画像信号Iから分離された第１成分Uは色変換部6004、色成分分離部3006、色成分分離部3009に伝送される。
色変換部6004では、所定の色空間の信号へ変換される。
本実施形態においては、色空間としてYCbCr色空間を想定しており、RGB信号からYCbCr色空間への変換は、式(22)に基づいて行われる。さらに、色変換部6004は、YCbCr色空間における輝度信号V、色相信号H、彩度信号Cを、式(25)に基づいてそれぞれ算出する。式(25)における記号「＾」はべき乗を示し、tan＾(-1)はtanの逆関数を示している。
式(25)に示すように、輝度信号VはYCbCr色空間のYと等価であるために、以下では輝度信号をYにより示すことにする。分離後の輝度信号、色相信号、彩度信号を、それぞれU_Yorg、U_Horg、U_Corgとして示す。
輝度信号U_Yorgは階調変換係数算出部6000、階調変換部6009、色逆変換部6008へ伝送され、色相信号U_Horgは最大彩度算出部6006、色逆変換部6008へ伝送され、彩度信号U_Corgは最大彩度算出部6006、彩度補正部6007へ伝送される。
階調変換係数算出部6000は輝度信号の第１成分U_Yorgから注目画素を中心とする所定サイズの局所領域を抽出し、局所領域内において、信号レベルに基づきヒストグラムを算出する。算出されたヒストグラムに基づき階調変換曲線を設定し、変換曲線に基づく階調変換処理において各画素にかかる階調変換係数を算出し、これを階調変換部6009、ノイズ低減処理部3002へ伝送する。
階調変換部6009では、第１成分の輝度信号U_Yorgに対し、階調変換係数算出部6000で算出した階調変換係数を乗算することで、階調変換処理を行う。階調変換処理後の輝度信号U#Ytraは最大彩度算出部6006、色逆変換部6008へ伝送される。
最大彩度算出部6006では、第１成分の輝度信号U_Yorgと色相信号U_Horgに対する彩度信号の第１の最大彩度値maxCorgと、階調変換後の輝度信号U#Ytraと色相信号U_Horgに対する彩度信号の第２の最大彩度値maxCtraを算出する。
最大彩度算出部6006により算出された第１の最大彩度値maxCorgおよび第２の最大彩度値maxCtraは、彩度補正部6007へ伝送される。彩度補正部6007は、第１の最大彩度値maxCorgと第２の最大彩度値maxCtraとを用いて、彩度信号U_Corgへの補正係数Kcを、式(26)に示すように算出する。
彩度補正部6007は、このように算出した補正係数Kcを色変換部6004から伝送された彩度信号U_Corgに乗算することにより、補正された彩度信号U_Ctraを算出する。この補正された彩度信号U_Ctraは、さらに前記第２の最大彩度値maxCtraを逸脱しないように上限が課せられた後に、色逆変換部6008へ伝送される。
色逆変換部6008は、色変換部6004からのU_Horg、階調変換部6009からのU_Ytra、および彩度補正部6007からのU_Ctraに基づいて、YCbCr信号を式(27)に基づき算出する。
色逆変換部6008は、さらに、式(24)を用いて、YCbCr信号をRGB信号に変換した後、RGB信号を成分合成部6010へ伝送する。
色成分分離部3006では各色成分の信号レベルを取得する。ノイズ低減処理パラメータ設定部3004では、第５の実施形態と同様に、各色成分の信号レベルに基づき、信号レベル−ノイズ分散のモデルを参照してノイズの分散σを色成分毎に取得する。そして、各色成分のノイズ低減処理パラメータT1、T2を、対応する色成分のノイズの分散σに応じた値、例えば、ノイズの分散σに比例した値に設定する。
原画像信号Iから分離された第２成分Vは、色成分分離部3009で各色成分に分離された後、相関演算処理部3010に伝送され、相関演算処理部3010では、第２成分Vに対して第５の実施形態と同様に各色信号の相関演算処理を行い、最小相関係数rを算出する。
パラメータ補正部3007では、最小相関係数rに基づきノイズ低減処理パラメータT1、T2の補正係数Cを演算し、これを各色成分のノイズ低減処理パラメータT1、T2に掛けて各色成分のノイズ低減処理パラメータT1、T2を補正する。
ノイズ低減処理部3002では、色成分分離部3009からの第２成分Vの各色成分に対して、補正したノイズ低減処理パラメータT1、T2、階調変換係数を用いた軟判定閾値処理を色成分毎に独立に行い、各色成分に含まれるノイズを低減する。そして、得られた信号を補正第２成分V'として成分合成部6010へ出力する。
成分合成部6010では、階調変換された第１成分Uと、補正第２成分V'とを所定の比率、例えば１：１の比率で合成し、原画像信号Iに対してノイズ低減、および階調変換処理がなされた合成成分I'を得る。
図４０は、成分分離部3001から成分合成部6010までの処理をソフトウェア処理により実現する場合のフローを示している。ソフトウェアはコンピュータのＲＯＭ、ＲＡＭ等の記憶装置に格納され、コンピュータのＣＰＵによって実行される。参考のため原画像信号Iを３成分に分離する場合の処理を破線で表しているが、ここでは２成分に分離する場合について説明する。
ステップＳ７１では、原画像信号Iを第１成分Uと第２成分Vに分離する。
ステップＳ７２では、第１成分Uを各色成分に分離し、各色成分の信号レベルを得る。
ステップＳ７３では、各色成分の信号レベルに基づき、図２に示した信号レベル−ノイズ分散モデルまたはその近似データを参照してノイズの分散σを取得し、これに応じて、色成分毎にノイズ低減処理パラメータT1、T2を設定する。
ステップＳ７４では、第２成分Vを各色成分に分離する。
ステップＳ７５では、第２成分Vの各色成分の相関を演算し、最小相関係数rを算出する。
ステップＳ７６では、最小相関係数rに基づき、ステップＳ７３で得られた各色信号のノイズ低減処理パラメータT1、T2の補正係数Cを算出する。
ステップＳ２００では、第１成分Uを輝度信号U_Yorg、色相信号U_Horg、彩度信号U_Corgに分離する。
ステップＳ１００では、第１成分Uの輝度信号U_Yorgから注目画素を中心とする所定サイズの局所領域を抽出し、局所領域内において、信号レベルに基づきヒストグラムを算出する。算出されたヒストグラムに基づき階調変換曲線を設定し、変換曲線に基づく階調変換処理において各画素にかかる階調変換係数を算出する。
ステップＳ７７では、ノイズ低減処理パラメータT1、T2に補正係数Cを掛けてノイズ低減処理パラメータT1、T2を補正する。そして、第２成分Vの各色成分に対して補正後のノイズ低減処理パラメータT1、T2を用いた軟判定閾値処理を行い、補正第２成分V'を得る。
ステップＳ１１１では第１成分Uの輝度信号U_Yorgに対して階調変換係数を乗算することにより階調変換処理を行う。
ステップＳ２０２では、階調変換前後の輝度信号Yと、色相信号Cに基づき、最大彩度値を算出する。
ステップＳ２０３では、Ｓ２０２で算出した最大彩度値に基づき、彩度信号U_Corgを補正し、彩度信号U_Ctraを生成する。
ステップＳ２０４では、輝度信号U_Ytra、色相信号U_Horg、彩度信号U_Ctraから、式(24)に基づき、RGB信号を生成する。
ステップＳ７８では、階調変換後の第１成分Uと補正第２成分V'を合成して、原画像信号Iに対して合成成分I'を得る。
この第１０の実施形態によれば、第１成分Uの輝度信号のみを彩度信号等とは独立に操作することで、色信号に不自然さを生じさせないような絵作り処理、補正処理を行うことができる。また、クラスタ上に形成された色ノイズ等、エッジ構造との識別が困難な場合に誤って第１成分Uへ分離された色ノイズに対して、輝度信号のみを操作することで、階調変換処理の影響による色ノイズの増幅を抑制することが可能となり、高品質なノイズ低減処理が可能となる。
なお、成分分離の手法は加算型分離、乗算型分離の何れを用いても良い。また、第２成分Vのノイズを低減する処理の手法は軟判定閾値処理に限定されず、信号レベル依存の信号処理であれば、何れの方法も適用できる。
また、ここでは第１成分Uの各色信号の信号レベルに基づきノイズの分散σを取得し、これに応じたノイズ低減処理パラメータT1、T2を設定するようにしているが、第１成分Uの各色信号の信号レベルに代えて、第１成分Uから分離した輝度成分Yの信号レベル、あるいは、輝度成分Yを最も反映しているG成分を補間して得られる信号の信号レベルを用いてもよい。
また、ここでは第１成分Uの輝度成分Yの信号レベルに基づき階調変換係数を算出するようにしているが、第１成分Uの輝度成分Yの信号レベルに代えて、輝度成分Yを最も反映しているG成分を補間して得られる信号の信号レベルを用いてもよい。
また、ここでは色空間としてYCbCr色空間を用いたが、これに限定されるものでもなく、CIE Lab色空間や、HSL色空間等、輝度信号、彩度信号、色相信号を定義することができるその他の任意の色空間を用いることが可能である。
例えば、CIE Lab色空間を用いる場合は、式(32)に従って、輝度信号Vは明度指数Lで定義され、色相信号H、彩度信号Cを知覚色度a,bを用いて定義される。
HSL色空間を用いる場合は、輝度信号Vは輝度L、色相信号Hは色相H、彩度信号Cは彩度Sを用いて定義される。
また、第１の実施形態と同様に、第２成分Vまたは補正第２成分V'に対して第１成分Uに対する階調変換処理とは異なる第２階調変換処理を行うようにしてもよい。第２成分Vまたは補正第２成分V'に対しても階調変換処理を行うことでより自然な画像が得られる。
以上、本発明の実施形態について説明したが、上記実施形態は本発明の適用例の一部を示したに過ぎず、本発明の技術的範囲を上記実施形態の具体的構成に限定する趣旨ではない。
第１の実施形態に係る撮像装置のシステム構成図である。 デジタル信号処理後の信号レベル−ノイズ分散モデルである。 第１の実施形態における、成分分離部から成分合成処理部までの処理に対応するフローチャートである。 A/D変換直後の信号レベルとノイズの分散の関係を示した特性図である。 デジタル信号処理部の入出力特性を示す特性図である。 階調変換係数算出部の構成図である。 階調変換係数算出部の別構成１の構成図である。 階調変換係数算出部の別構成２の構成図である。 階調変換係数算出部の別構成３の構成図である。 軟判定閾値処理を説明するための図である。 軟判定閾値処理を説明するための図である。 軟判定閾値処理を説明するための図である。 軟判定閾値処理を説明するための図である。 軟判定閾値処理を説明するための図である。 ノイズ低減処理によりノイズが低減される様子を示した図である。 第２の実施形態に係る撮像装置のシステム構成図である。 第２の実施形態における、成分分離部から成分合成・階調変換処理部までの処理に対応するフローチャートである。 第３の実施形態に係る撮像装置のシステム構成図である。 第３の実施形態における、成分分離部から成分合成・階調変換処理部までの処理に対応するフローチャートである。 第４の実施形態に係る撮像装置のシステム構成図である。 デジタル信号処理前の信号レベル−ノイズ分散モデルである。 第５の実施形態に係る撮像装置のシステム構成図である。 色成分間に相関のない１次元の画像信号の例を示した図である。 色成分間に相関のある１次元の画像信号の例を示した図である。 第５の実施形態における、成分分離部から成分合成・階調変換処理部までの処理に対応するフローチャートである。 第６の実施形態に係る撮像装置のシステム構成図である。 第７の実施形態に係る撮像装置のシステム構成図である。 輝度信号Yの信号レベルに対する、輝度信号Y,色差信号Cb、Crのノイズ分散モデルである。 第７の実施形態における、Y/C分離部からY/C合成部までの処理に対応するフローチャートである。 第８の実施形態に係る撮像装置のシステム構成図である。 輝度信号Yの信号レベルに対する、輝度信号V,色相信号H,彩度信号Cのノイズ分散モデルである。 最大彩度算出部6006の構成図である。 彩度補正部6007の構成図である。 YCbCr色空間における彩度信号の補正を説明するための図である。 YCbCr色空間における最大彩度値のモデル化を説明するための図である。 第８の実施形態における、色変換部から色逆変換部までの処理に対応するフローチャートである。 第９の実施形態に係る撮像装置のシステム構成図である。 第９の実施形態における、成分分離部から成分合成部までの処理に対応するフローチャートである。 第１０の実施形態に係る撮像装置のシステム構成図である。 第１０の実施形態における、成分分離部から成分合成部までの処理に対応するフローチャートである。
符号の説明
3001 成分分離部
3004 ノイズ低減処理パラメータ設定部
3005 成分合成・階調変換処理部
6000 階調変換係数算出部

Claims (23)

  1. 画像処理装置であって、
    原画像信号を、骨格成分である第１成分と、前記原画像信号に対する前記第１成分の残差から得られる第２成分と、を含む複数の成分に分離する成分分離手段と、
    前記第１成分または前記原画像信号の信号レベルを取得する階調変換用信号レベル取得手段と、
    前記第１成分または前記原画像信号の信号レベルに基づき階調変換に適用する階調変換係数を設定する階調変換係数設定手段と、
    前記第１成分に対して前記階調変換係数を用いて階調変換処理を行う階調変換手段と、
    前記第１成分の信号レベルを取得するノイズ低減用信号レベル取得手段と、
    前記第１成分の信号レベルに基づきノイズ低減処理パラメータを設定するパラメータ設定手段と、
    前記ノイズ低減処理パラメータと前記階調変換係数を用いて前記第２成分のノイズを低減するノイズ低減処理手段と、
    を備えたことを特徴とする画像処理装置。
  2. 請求項１に記載の画像処理装置であって、
    前記ノイズ低減処理手段は、前記ノイズ低減処理パラメータに応じて設定される閾値と前記第２成分との比較結果、及び前記階調変換係数に基づき前記第２成分のノイズを低減する、ことを特徴とする画像処理装置。
  3. 請求項１に記載の画像処理装置であって、
    前記ノイズ低減処理手段は、前記ノイズ低減処理パラメータと前記階調変換係数に応じて設定される閾値と前記第２成分との比較結果に基づき前記第２成分のノイズを低減する、ことを特徴とする画像処理装置。
  4. 請求項１から３のいずれか一つに記載の画像処理装置であって、
    前記原画像信号はモノクロであり、前記第１成分及び前記第２成分はそれぞれ輝度成分である、ことを特徴とする画像処理装置。
  5. 請求項１から３のいずれか一つに記載の画像処理装置であって、
    前記原画像信号は複数の色成分から構成され、
    前記ノイズ低減用信号レベル取得手段は、前記第１成分の各色成分の信号レベルを取得し、
    前記パラメータ設定手段は、前記第１成分の各色成分の信号レベルに基づき、前記第２成分の各色成分に対応するノイズ低減処理パラメータを設定し、
    前記ノイズ低減処理手段は、前記第２成分の各色成分のノイズを、対応する色成分のノイズ低減処理パラメータを用いて低減する、
    ことを特徴とする画像処理装置。
  6. 請求項１から３のいずれか一つに記載の画像処理装置であって、
    前記原画像信号は複数の色成分から構成され、
    前記ノイズ低減用信号レベル取得手段は、前記第１成分の輝度成分の信号レベルあるいはG成分を補間して得られる信号の信号レベルを取得し、
    前記パラメータ設定手段は、前記第１成分の輝度成分の信号レベルあるいはG成分を補間して得られる信号の信号レベルに基づき、前記第２成分の各色成分に対応するノイズ低減処理パラメータを設定し、
    前記ノイズ低減処理手段は、前記第２成分の各色成分のノイズを、対応する色成分のノイズ低減処理パラメータを用いて低減する、
    ことを特徴とする画像処理装置。
  7. 請求項１から３のいずれか一つに記載の画像処理装置であって、
    前記原画像信号は複数の色成分から構成され、
    前記第１成分の各色成分を輝度信号と色信号から構成される色空間の信号へ変換する色空間変換手段を備え、
    前記階調変換用信号レベル取得手段は、前記第１成分の輝度信号の信号レベルを取得し、
    前記階調変換係数設定手段は、前記第１成分の輝度信号の信号レベルに基づき階調変換係数を設定し、
    前記階調変換手段は、前記階調変換係数に基づき、前記第１成分の輝度信号に対して階調変換を行い、
    前記ノイズ低減用信号レベル取得手段は、前記第１成分の輝度信号の信号レベルを取得し、
    前記パラメータ設定手段は、前記第１成分の輝度信号の信号レベルに基づき、前記第２成分の各色成分に対応するノイズ低減処理パラメータを設定し、
    前記ノイズ低減処理手段は、前記第２成分の各色成分のノイズを、対応する色成分のノイズ低減処理パラメータを用いて低減する、
    ことを特徴とする画像処理装置。
  8. 請求項１から３のいずれか一つに記載の画像処理装置であって、
    前記原画像信号は複数の色成分から構成され、
    前記原画像信号の各色成分を輝度信号と、色信号から構成される色空間の信号へ変換する色空間変換手段を備え、
    前記成分分離手段は前記輝度信号、色信号に対して、輝度信号の第１成分および第２成分、色信号の第１成分および第２成分に分離し、
    前記階調変換用信号レベル取得手段は、前記輝度信号の第１成分の信号レベルを取得し、
    前記階調変換係数設定手段は、前記輝度信号の第１成分の信号レベルに基づき階調変換係数を設定し、
    前記階調変換手段は、前記階調変換係数に基づき、前記輝度信号の第１成分に対して階調変換を行い、
    前記ノイズ低減用信号レベル取得手段は、前記輝度信号の第１成分の信号レベルを取得し、
    前記パラメータ設定手段は、前記輝度信号の第１成分の信号レベルに基づき、前記輝度信号の第２成分および前記色信号の第２成分に対応するノイズ低減処理パラメータを設定し、
    前記ノイズ低減処理手段は、前記輝度信号の第２成分および前記色信号の第２成分のノイズを、対応するノイズ低減処理パラメータを用いて低減する、
    ことを特徴とする画像処理装置。
  9. 請求項５から７のいずれか一つに記載の画像処理装置であって、
    前記第２成分に対して注目画素を含む近傍領域での色成分間の相関係数を演算する相関演算処理手段と、
    前記相関係数に基づき前記ノイズ低減処理パラメータを補正するパラメータ補正手段と、
    を備えたことを特徴とする画像処理装置。
  10. 請求項９に記載の画像処理装置であって、
    前記パラメータ補正手段は、前記注目画素を含む近傍領域での色成分間の相関係数に対して負の相関を持つ補正係数を算出し、前記ノイズ低減処理パラメータに前記補正係数を掛けて前記ノイズ低減処理パラメータを補正する、ことを特徴とする画像処理装置。
  11. 請求項１０に記載の画像処理装置であって、
    前記パラメータ補正手段は、前記補正係数を次式：
    C = (1-r) 2
    r: 注目画素を含む近傍領域での色成分間の相関係数
    により算出する、ことを特徴とする画像処理装置。
  12. 請求項９から１１のいずれか一つに記載の画像処理装置であって、
    前記相関演算処理手段は、前記相関係数として複数の色成分間の相関係数のうち最小値を選択する、ことを特徴とする画像処理装置。
  13. 請求項１から１２のいずれか一つに記載の画像処理装置であって、
    前記ノイズ低減処理後の前記第２成分に対して前記階調変換処理とは異なる第２階調変換処理を行う第２階調変換手段を備えたことを特徴とする画像処理装置。
  14. 請求項１から１３のいずれか一つに記載の画像処理装置であって、
    前記階調変換係数設定手段は、前記原画像信号または前記第１成分に対して注目画素を含む近傍領域毎にヒストグラムを算出するヒストグラム算出手段と、
    前記ヒストグラムに基づき階調変換曲線を設定する階調変換曲線設定手段と、
    前記階調変換曲線に基づき前記階調変換係数を算出する階調変換係数算出手段と、
    を備えたことを特徴とする画像処理装置。
  15. 請求項１から１３のいずれか一つに記載の画像処理装置であって、
    前記階調変換係数設定手段は、前記原画像信号または前記第１成分を少なくとも１つ以上の領域に分割する分割手段と、
    前記原画像信号または前記第１成分に対して前記領域毎にヒストグラムを算出するヒストグラム算出手段と、
    前記ヒストグラムに基づき前記領域毎に階調変換曲線を設定する階調変換曲線設定手段と、
    前記階調変換曲線に基づき前記領域毎に前記階調変換係数を算出する階調変換係数算出手段と、
    を備えたことを特徴とする画像処理装置。
  16. 請求項１から１３のいずれか一つに記載の画像処理装置であって、
    前記階調変換係数設定手段は、前記原画像信号または前記第１成分に対して画素毎に所定の階調変換曲線を設定する階調変換曲線設定手段と、
    前記階調変換曲線に基づき画素毎に前記階調変換係数を算出する階調変換係数算出手段と、
    を備えたことを特徴とする画像処理装置。
  17. 請求項１から１３のいずれか一つに記載の画像処理装置であって、
    前記階調変換係数設定手段は、前記原画像信号または前記第１成分を少なくとも１つ以上の領域に分割する分割手段と、
    前記原画像信号または前記第１成分に対して前記領域毎に所定の階調変換曲線を設定する階調変換曲線設定手段と、
    前記階調変換曲線に基づき前記領域毎に前記階調変換係数を算出する階調変換係数算出手段と、
    を備えたことを特徴とする画像処理装置。
  18. 請求項１から１７のいずれか一つに記載の画像処理装置であって、
    前記階調変換手段は、前記第１成分に対して画素毎または前記領域毎に階調変換係数を乗算する乗算手段を備えたことを特徴とする画像処理装置。
  19. 請求項１から１８のいずれか一つに記載の画像処理装置であって、
    前記階調変換処理後の前記第１成分と、前記ノイズ低減処理後の前記第２成分との合成を行う合成手段を備えたことを特徴とする画像処理装置。
  20. 請求項１から１９のいずれか一つに記載の画像処理装置であって、
    前記第１成分は、原画像の平坦成分、及びエッジ成分を含む成分である、ことを特徴とする画像処理装置。
  21. 請求項７または８に記載の画像処理装置であって、
    前記色空間変換手段は、色空間として、YCbCr色空間、CIE Lab色空間、HSL色空間のうちの１つを用いる、ことを特徴とする画像処理装置。
  22. 画像処理方法であって、
    原画像信号を、骨格成分である第１成分と、前記原画像信号に対する前記第１成分の残差から得られる第２成分と、を含む複数の成分に分離する成分分離手順と、
    前記第１成分または前記原画像信号の信号レベルを取得する階調変換用信号レベル取得手順と、
    前記第１成分または前記原画像信号の信号レベルに基づき階調変換に適用する階調変換係数を設定する階調変換係数設定手順と、
    前記第１成分に対して前記階調変換係数を用いて階調変換処理を行う階調変換手順と、
    前記第１成分の信号レベルを取得するノイズ低減用信号レベル取得手順と、
    前記第１成分の信号レベルに基づきノイズ低減処理パラメータを設定するパラメータ設定手順と、
    前記ノイズ低減処理パラメータと前記階調変換係数を用いて前記第２成分のノイズを低減するノイズ低減処理手順と、
    を備えたことを特徴とする画像処理方法。
  23. 画像処理プログラムであって、
    原画像信号を、骨格成分である第１成分と、前記原画像信号に対する前記第１成分の残差から得られる第２成分と、を含む複数の成分に分離する成分分離手順と、
    前記第１成分または前記原画像信号の信号レベルを取得する階調変換用信号レベル取得手順と、
    前記第１成分または前記原画像信号の信号レベルに基づき階調変換に適用する階調変換係数を設定する階調変換係数設定手順と、
    前記第１成分に対して前記階調変換係数を用いて階調変換処理を行う階調変換手順と、
    前記第１成分の信号レベルを取得するノイズ低減用信号レベル取得手順と、
    前記第１成分の信号レベルに基づきノイズ低減処理パラメータを設定するパラメータ設定手順と、
    前記ノイズ低減処理パラメータと前記階調変換係数を用いて前記第２成分のノイズを低減するノイズ低減処理手順と、
    をコンピュータに実行させることを特徴とする画像処理プログラム。
JP2007166369A 2007-06-25 2007-06-25 画像処理装置 Expired - Fee Related JP5034003B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2007166369A JP5034003B2 (ja) 2007-06-25 2007-06-25 画像処理装置
PCT/JP2008/061804 WO2009001955A1 (ja) 2007-06-25 2008-06-24 画像処理装置、画像処理方法及び画像処理プログラム
US12/644,533 US8768054B2 (en) 2007-06-25 2009-12-22 Image processing device, image processing method, and computer-readable storage medium storing image processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007166369A JP5034003B2 (ja) 2007-06-25 2007-06-25 画像処理装置

Publications (3)

Publication Number Publication Date
JP2009005252A JP2009005252A (ja) 2009-01-08
JP2009005252A5 JP2009005252A5 (ja) 2010-08-05
JP5034003B2 true JP5034003B2 (ja) 2012-09-26

Family

ID=40185761

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007166369A Expired - Fee Related JP5034003B2 (ja) 2007-06-25 2007-06-25 画像処理装置

Country Status (3)

Country Link
US (1) US8768054B2 (ja)
JP (1) JP5034003B2 (ja)
WO (1) WO2009001955A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4916341B2 (ja) * 2007-02-28 2012-04-11 オリンパス株式会社 画像処理装置及び画像処理プログラム
WO2010067488A1 (ja) * 2008-12-10 2010-06-17 パナソニック株式会社 色補正装置および色補正方法
EP2690860B1 (en) * 2011-03-24 2016-04-20 Mitsubishi Electric Corporation Image processing device and method
JP5881350B2 (ja) * 2011-09-21 2016-03-09 オリンパス株式会社 画像処理装置、画像処理方法、および画像処理プログラム
JP6121368B2 (ja) * 2014-06-27 2017-04-26 富士フイルム株式会社 医用画像処理装置及びその作動方法並びに内視鏡システム
US9525804B2 (en) 2014-08-30 2016-12-20 Apple Inc. Multi-band YCbCr noise modeling and noise reduction based on scene metadata
US9667842B2 (en) 2014-08-30 2017-05-30 Apple Inc. Multi-band YCbCr locally-adaptive noise modeling and noise reduction based on scene metadata
JP6078038B2 (ja) * 2014-10-31 2017-02-08 株式会社Pfu 画像処理装置、画像処理方法、および、プログラム
JP6320278B2 (ja) * 2014-11-21 2018-05-09 キヤノン株式会社 色処理装置およびその方法
US9641820B2 (en) 2015-09-04 2017-05-02 Apple Inc. Advanced multi-band noise reduction
JP6383829B2 (ja) * 2017-03-29 2018-08-29 富士フイルム株式会社 医用画像処理装置及びその作動方法並びに内視鏡システム
KR102415312B1 (ko) * 2017-10-30 2022-07-01 삼성디스플레이 주식회사 색 변환 장치, 이를 포함하는 표시 장치, 및 색 변환 방법
CN111161177B (zh) * 2019-12-25 2023-09-26 Tcl华星光电技术有限公司 图像自适应降噪方法和装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3424060B2 (ja) 1997-01-27 2003-07-07 松下電器産業株式会社 階調補正装置ならびにそれを用いた映像信号処理装置
US6804408B1 (en) * 1999-12-22 2004-10-12 Eastman Kodak Company Method for enhancing a digital image with noise-dependent control of texture
JP4174656B2 (ja) * 2002-05-23 2008-11-05 ソニー株式会社 画像表示装置および画像処理装置、並びに画像処理方法
US7158686B2 (en) * 2002-09-19 2007-01-02 Eastman Kodak Company Enhancing the tonal characteristics of digital images using inflection points in a tone scale function
JP2004266757A (ja) * 2003-03-04 2004-09-24 Sony Corp 画像処理装置および方法
JP4139760B2 (ja) * 2003-10-10 2008-08-27 富士フイルム株式会社 画像処理方法および装置ならびに画像処理プログラム
JP3934597B2 (ja) * 2003-12-09 2007-06-20 オリンパス株式会社 撮像システムおよび画像処理プログラム
JP4468734B2 (ja) * 2004-04-27 2010-05-26 オリンパス株式会社 映像信号処理装置と映像信号処理プログラム
WO2006010276A1 (en) * 2004-07-30 2006-02-02 Algolith Inc Apparatus and method for adaptive 3d artifact reducing for encoded image signal
JP4547223B2 (ja) * 2004-09-28 2010-09-22 オリンパス株式会社 撮像システム、ノイズ低減処理装置及び撮像処理プログラム
JP4767525B2 (ja) * 2004-11-16 2011-09-07 オリンパス株式会社 撮像システム及び撮像処理プログラム
JP2006179975A (ja) * 2004-12-20 2006-07-06 Toshiba Corp 映像信号処理装置、映像信号処理方法及びテレビ放送受信装置
JP4696812B2 (ja) * 2005-09-22 2011-06-08 コニカミノルタホールディングス株式会社 撮像装置
JP4523008B2 (ja) * 2007-01-10 2010-08-11 学校法人神奈川大学 画像処理装置および撮像装置

Also Published As

Publication number Publication date
US20100111414A1 (en) 2010-05-06
JP2009005252A (ja) 2009-01-08
US8768054B2 (en) 2014-07-01
WO2009001955A1 (ja) 2008-12-31

Similar Documents

Publication Publication Date Title
JP5034003B2 (ja) 画像処理装置
JP3914168B2 (ja) 撮像システム、画像処理プログラム
JP4523008B2 (ja) 画像処理装置および撮像装置
US8184924B2 (en) Image processing apparatus and image processing program
US8736723B2 (en) Image processing system, method and program, including a correction coefficient calculation section for gradation correction
US8199227B2 (en) Image-signal processing apparatus for performing space-variant image-signal processing
US8035853B2 (en) Image processing apparatus which calculates a correction coefficient with respect to a pixel of interest and uses the correction coefficient to apply tone correction to the pixel of interest
JP4465002B2 (ja) ノイズ低減システム、ノイズ低減プログラム及び撮像システム。
US8115833B2 (en) Image-acquisition apparatus
US7755670B2 (en) Tone-conversion device for image, program, electronic camera, and tone-conversion method
EP1764738A1 (en) Signal processing system and signal processing program
JP2012165204A (ja) 信号処理装置、信号処理方法、撮像装置及び撮像処理方法
JP2006196992A (ja) 履歴付加装置、電子カメラ、および画像処理プログラム
JP2009027619A (ja) 映像処理装置および映像処理プログラム
JP2005354372A (ja) 画像記録装置、画像記録方法、画像処理装置、画像処理方法、及び画像処理システム
JP2014033273A (ja) 色域変換装置、デジタルカメラ、色域変換プログラムおよび色域変換方法
WO2009093294A1 (ja) 画像信号処理装置及び画像信号処理プログラム
JP4767525B2 (ja) 撮像システム及び撮像処理プログラム
JP2006333113A (ja) 撮像装置
JP5277388B2 (ja) 画像処理装置および撮像装置
JP6318497B2 (ja) 画像処理装置、撮像装置およびプログラム
JP2012100215A (ja) 画像処理装置、撮像装置および画像処理プログラム
KR101009367B1 (ko) 영상의 색상 신호 처리 시스템 및 방법

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100618

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100618

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120417

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120516

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150713

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5034003

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees