JP2015062270A - 画像処理装置 - Google Patents

Abstract

【課題】画像に含まれる色ノイズを低減する際において発生し得る色抜けや色滲み等の発生を抑制する画像処理装置を提供する。【解決手段】画像処理装置は、画像データを輝度信号と色差信号に分離する分離部（２２７）と、画像データに含まれる注目画素に対して参照される参照画素を決定する決定部（２２８）と、画像データの輝度信号に対して輝度ノイズを除去する輝度ノイズ除去部（２２１）と、注目画素を含む第１の領域と参照画素を含む第２の領域の間の、輝度ノイズ除去部でノイズ除去された輝度信号に含まれる輝度の類似度（Sy）に基づき、当該参照画素の重み(W)を算出する重み算出部（２２４）と、参照画素の重みを用いて注目画素の色差信号から色ノイズを除去する色ノイズ除去部（２２５、２２６）とを備える。【選択図】図２

Description

本開示は、撮像素子で撮像された画像データに対して画像に含まれる色ノイズを低減する画像処理装置に関する。

特許文献１は、注目画素から空間的にランダムに軸を設定し、その軸上の画素に関して平滑化処理を行うフィルタリング方法を開示する。このフィルタリング方法により、画像処理後のノイズの周波数が低周波数成分に偏ることを低減している。

特開平０９−１３８８４９号公報

本開示は、画像に含まれる色ノイズを低減する際において発生し得る色抜けや色滲み等の発生を抑制する画像処理装置を提供する。

本開示における画像処理装置は、画像データを輝度信号と色差信号に分離する分離部と、画像データに含まれる注目画素に対して参照される参照画素を決定する決定部と、画像データの輝度信号に対して輝度ノイズを除去する輝度ノイズ除去部と、注目画素を含む第１の領域と参照画素を含む第２の領域の間の、輝度ノイズ除去部でノイズ除去された輝度信号に含まれる輝度の類似度に基づき、当該参照画素の重みを算出する重み算出部と、参照画素の重みを用いて注目画素の色差信号から色ノイズを除去する色ノイズ除去部とを備える。

本開示における画像処理装置は、画像に含まれる色ノイズを低減する際において発生し得る色抜けや色滲み等の発生を抑制できる。

実施の形態１における画像処理装置９００の構成を示すブロック図 実施の形態１におけるＬＳＩの画像調整部２２０の構成を示すブロック図 参照画素の輝度情報(Y)及び色差情報(C)を用いた注目画素のノイズリダクションを説明するための図 実施の形態１における画素配置の関係を説明するための図

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、発明者（ら）は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。

（実施の形態１）
以下、図１〜３を用いて、実施の形態１を説明する。

［１．画像処理装置の構成（図１）］
図１は、画像処理装置の構成を示すブロック図である。画像処理装置９００は、例えば、デジタルスチルカメラやビデオカメラなどの撮像素子を有する撮像装置に適用されるものである。

画像処理装置９００は、撮像センサ１００と、ＬＳＩ２００と、記憶媒体２３０と、モニタ２４０と、で構成されている。

撮像センサ１００は、例えば、ＣＣＤやＭＯＳセンサを用いることができる。撮像センサ１００は、光学系で結像された被写体像を撮像して、画像データを出力する。撮像センサ１００から得られる画像データは、例えば、ベイヤー配列のＲＧＢ信号である。

記憶媒体２３０は例えば半導体記憶装置（フラッシュメモリ、ＳＳＤ(Solid State Drive)、メモリカード）やハードディスクで構成される。モニタ２４０は例えば液晶ディスプレイや有機ＥＬディスプレイで構成される。

ＬＳＩ２００は半導体チップで構成される。ＬＳＩ２００の機能は、ハードウェア（電子回路）のみで実現されてもよいし、ハードウェアとソフトウェアの協働により実現されてもよい。ＬＳＩ２００は、画像データを入力する。ＬＳＩ２００は、入力した画像データに対して、ＹＣ変換部２１０、画像調整部２２０等により所定の画像処理を施す。ＬＳＩ２００は、所定の画像処理が施された画像データを記憶媒体２３０又はモニタ２４０に出力する。

［２．画像調整部の構成（図２）］
図２は、ＬＳＩ２００における画像調整部２２０の機能ブロックを示した図である。

画像調整部２２０は、分離部２２７と、輝度ノイズ除去部２２１と、輝度重み算出部２２２と、色差重み算出部２２３と、重み係数算出部２２４と、Ｃｂノイズ除去部２２５と、Ｃｒノイズ除去部２２６と、乱数割振り部２２８とを備えている。

画像調整部２２０は、ＹＣ変換部２１０でＹＣ変換された画像データ（ＹＣデータ）ＹＣを入力し、色ノイズ除去等の画像調整を施して、最終的に色ノイズ除去後の画像データ（ＹＣデータ）Ｙ’Ｃ’を出力する。

分離部２２７は、ＹＣ変換部２１０から入力した画像データ（ＹＣデータ）ＹＣを、輝度に関するＹデータと色差に関するＣデータとに分離する。ＣデータはＣｒデータとＣｂデータから構成される。

輝度ノイズ除去部２２１は、Ｙデータを入力し、入力したＹデータに対してノイズリダクション（ＮＲ）を行い、ノイズが除去された輝度信号Ｙ’を生成する。

輝度重み算出部２２２は、輝度ノイズ除去部２２１で処理されてノイズが除去されたＹデータから重み係数Gyを求める（後述の数１、数２参照）。

色差重み算出部２２３は、入力したＣデータから彩度(SAT)と色相(PHA)に関する重み係数Gs,Gpを求める（後述の数３参照）。

重み係数算出部２２４は、輝度重み算出部２２２から輝度に関する重み係数Gyを、色差重み算出部２２３から彩度に関する重み係数Gsと色相に関する重み係数Gpをそれぞれ入力し、ＹＣ混合重み係数Ｗを求める。

Ｃｂノイズ除去部２２５は、入力Ｃｂデータと、重み係数算出部２２４で算出したＹＣ混合重み係数Ｗとに基づき、色ノイズが除去された色差データＣｂ’を生成する。Ｃｒノイズ除去部２２６は、入力Ｃｒデータと、重み係数算出部２２４で算出したＹＣ混合重み係数Ｗとに基づき、色ノイズが除去された色差データＣｒ’を生成する。

以上のように生成された輝度データＹ’、色差データＣｒ’、Ｃｂ’が、色ノイズ除去後の画像データＹ’Ｃ’として画像調整部２２０から出力される。

［３．画像調整部の色ノイズリダクション動作］

本実施形態の画像調整部２２０は、図３に示すように、１つの注目画素に対して、その周辺の画素の中からランダムに参照画素を決定し、決定した参照画素の輝度情報(Y)、色差情報(C)（より具体的には、色差情報から算出される彩度情報、色相情報）を用いて注目画素のノイズリダクションを行う。

参照画素をランダムに決定するため、乱数割振り部２２８は、注目画素の周囲にある周辺画素に対して画素毎に乱数を割振る。画素毎の乱数はｆで示す。例えば、位置（ｘ＋ｕ，ｙ＋ｖ）にある周辺画素に対する乱数は、ｆ（ｘ＋ｕ，ｙ＋ｖ）で表される。本実施形態では、乱数割振り部２２８は、期待値ｅ＝０または１となる２値の乱数を周辺画素に対して割り振る。すなわち、乱数「１」が割り振られた周辺画素が参照画素として選択され、乱数「０」が割り振られた周辺画素が非参照画素として選択されたことを意味する。

ここで、注目画素と参照画素との対比は、注目画素と参照画素をそれぞれ中心に含む所定の領域間で対比を行うことで行う。図４を用いてこの所定の領域を説明する。図４は、本実施の形態のＬＳＩ２００の画像調整部２２０が処理する画像データの画素配置を説明した図である。図４では、縦１１×横１１画素の画像データを例に示している。中央の画素２０を注目画素とする。注目画素２０は座標（ｘ，ｙ）の位置にあるとする。

図４において、注目画素２０を中心に含む、破線で囲まれる９×９画素の領域２４を、第１領域とし、Ｊ（ｘ，ｙ）で表す。また、参照画素２１を中心に含む実線で囲まれる９×９画素の領域２５を第２領域とし、Ｊ（ｘ＋ｕ，ｙ＋ｖ）で表す。このように設定された第１領域２４と第２領域２５が注目画素２０と参照画素２１との対比において使用される。

以下、画像調整部２２０における色ノイズリダクションについての動作を具体的に説明する。

輝度重み算出部２２２は、下記数１に基づき、輝度ノイズ除去部２２１から入力した輝度ノイズ除去後のＹデータから、輝度に関する重み係数Gyを求める。

ここで、Ｇｙ（ｘ，ｕ，ｙ，ｖ）は、位置（ｘ，ｙ）の画素に対する、位置（ｘ＋ｕ，ｙ＋ｖ）の画素の重み係数（乗算係数）を示す。Ｓｙ（ｘ，ｕ，ｙ，ｖ）は、位置（ｘ，ｙ）にある画素と、位置（ｘ＋ｕ，ｙ＋ｖ）にある画素との間の輝度の類似度を示し、値が小さいほど両画素が類似していることを示す。ｗは単調減少関数である。関数ｗとして、例えば、ガウス関数、指数関数、線形関数、区分線形関数等を用いることができる。また、画像中のノイズ強度に応じて関数形状を変化させたり、切り替えたりしても良い。画素間の輝度の類似度Ｓｙ（ｘ，ｕ，ｙ，ｖ）は下記式で求められる。

Ｊｙ（ｘ，ｙ）は、図４に示すように、位置（ｘ，ｙ）にある注目画素２０を中心に設定された第１領域２４を示し、Ｊｙ（ｘ＋ｕ，ｙ＋ｖ）は、位置（ｘ＋ｕ，ｙ＋ｖ）にある参照画素２１を中心に設定された第２領域２５を示す。第１領域２４と第２領域２５の形状は同一とする。関数Ｄは、第１領域２４と第２領域２５の画素値（数２では、輝度値）の差を表す関数である。関数Ｄとして、例えば、領域２４，２５内の対応する位置にある画素間の、画素値（数２では、輝度値）の差分の絶対値を、領域内の全画素について合計した値を求める関数であっても良い。または、関数Ｄは、領域２４，２５内の対応する位置にある画素間の画素値（数２では、輝度値）の差分の２乗の総和を求める関数であっても良い。

一方、色差重み算出部２２３は、色差に関するデータ（Ｃデータ）を入力し、入力したＣデータを、彩度(SAT)と色相(PHA)に関するデータに変換する（数３参照）。色差（Cr,Cb）データから、彩度(SAT)及び色相(PHA)のデータへは公知の技術を用いて変換できる。

さらに、色差重み算出部２２３は、変換した彩度データSATと色相データPHAそれぞれに対して、重み係数Gs,Gpを求める（下記数４〜７参照）。下記数４〜７において、関数ｗs及びｗｐ、関数Ｄｓ及びＤｐ等はそれぞれ前述の関数ｗ，Ｄ等と同様の機能を有する。なお、関数ｗs及びｗｐは互いに同一である必要はなく、また、関数Ｄs及びＤｐは互いに同一である必要はない。

数６、７における、Ss,Spは、彩度と色相に関する画素(x,y),(x+u,y+v)間の類似度である。数４〜７における、彩度と色相に関する重み係数（Gs,Gp）と類似度（Ss,Sp）は、数１〜２を用いて説明した輝度に関しての重み係数（Gy）と類似度（Sy）の場合と同様の方法で算出できる。

重み係数算出部２２４は、輝度重み算出部２２２と色差重み算出部２２３により算出された輝度の重み係数Gyと、彩度の重み係数Gsと、色相の重み係数Gpとを用いて、下記数８に基づき、ＹＣ混合重み係数Ｗを求める。

関数minは引数の中の最小値を出力する関数である。数８に示すように、ＹＣ混合重み係数Ｗにおいて輝度の重みGyが反映されている。数８では、輝度の重みGyが小さい場合（すなわち、注目画素と参照画素の輝度の類似度Syが低い場合）、Ｗの値が小さくなり、その参照画素によるノイズリダクションの程度が軽減される。その結果、輝度の類似度Syが低い画素の影響が少なくなり、画像データにおけるエッジ部の色抜けや色滲みを抑制するノイズ除去を実現できる。

数８において、β、γは、ノイズリダクション処理の調整方法によって異なる値をとる係数である。本実施の形態では、係数β、γは、β＞γとなるように設定する。このように係数を設定することによって、数８において色相の重み係数（γGp）をより選ばれ易くしている。結果として、数８において、輝度＞色相＞彩度の順に、重みWに対する影響度を高くしている。

Ｃｒノイズ除去部２２６はＣｒデータのノイズリダクションを行う。すなわち、Ｃｒノイズ除去部２２６は、入力Ｃｒデータと、重み係数算出部２２４で算出したＹＣ混合重み係数Ｗとを用いて、数９に基づきノイズリダクション処理を行う。

Ｃｂノイズ除去部２２５は、Ｃｂデータのノイズリダクションを行う。すなわち、Ｃｂノイズ除去部２２５は、入力Ｃｂデータと、重み係数算出部２２４で算出したＹＣ混合重み係数Ｗとを用いて、数１０に基づきノイズリダクション処理を行う。
なお、数９〜１０において、関数W(x,u,y,v)は、画素(x,y)と(x+u,y+v)の２つの画素間のYC混合重係数Ｗを算出する関数である。

数９で、Ｃｒ（ｘ＋ｕ，ｙ＋ｖ）は入力画像データを表し、Ｃｒ’（ｘ，ｙ）は出力画像データを表す。数１０で、Ｃｂ（ｘ＋ｕ，ｙ＋ｖ）は入力画像データを表し、Ｃｂ’（ｘ，ｙ）は出力画像データを表す。また、Ｒ１は、画像中における注目画素（ｘ，ｙの位置）の周辺領域（例えば、注目画素を中心として所定サイズの領域、例えば第１領域２４）、または画像全体の領域を示す。乱数ｆ（ｘ，ｕ，ｙ，ｖ）は、０から一定値（例えば１）までの乱数が設定される。なお、乱数ｆは２値又は多値の値でよく、期待値ｅが一定もしくは一定に近い数値を用いる。乱数ｆは逐次発生もしくは、あらかじめ生成した乱数を読み出すことで設定する。

［４．効果等］
以上のように、本実施形態の画像処理装置９００の画像調整部２２０は、画像データを輝度信号(Y)と色差信号(C)に分離する分離部２２７と、画像データに含まれる注目画素に対して参照される参照画素を決定する乱数割振り部２２８と、画像データの輝度信号に対して輝度ノイズを除去する輝度ノイズ除去部２２１と、注目画素を含む第１領域２４と参照画素を含む第２領域２５の間の、輝度ノイズ除去部２２１でノイズ除去された輝度信号に含まれる輝度の類似度(Sy)に基づき、当該参照画素の重み(W)を算出する重み係数算出部２２４と、参照画素の重み(W)を用いて注目画素の色差信号から色ノイズを除去するＣｂノイズ除去部２２５およびＣｒノイズ除去部２２６と、を備える。

このように、本実施形態の画像調整部２２０は、輝度(Y)を考慮して算出した重み係数Wを用いて色ノイズリダクションを実施する。これにより、従来の色ノイズリダクションよりも、色抜けを防止し、色にじみを抑圧するノイズリダクションを実現する。

また、β＞γを満たす関係になるように重み係数Ｗを設定することで、輝度レベルが一定で色相が異なる箇所についても誤って加算することがないので、色ノイズリダクション時において色相が不適切な方向へ変化を少なくできる。

加えて、輝度の重み係数Gyを求めるとき事前に輝度のノイズリダクションを行うことで、画像データの平坦部とエッジ部をより正確にわけることができ、ノイズリダクションの性能を向上できる。ここで、輝度のノイズリダクションを事前に行わない場合、本来平坦な箇所の類似度がノイズにより低下してしまう。その結果、平坦な箇所の参照の度合いが減り、色ノイズリダクションの性能低下になる可能性がある。このようなことを防ぐために、本実施形態では、輝度の重み係数Gyを求めるとき事前に輝度のノイズリダクションを行っている。

つまり、本実施形態では、輝度を考慮（より重要視）して色ノイズリダクションに用いる重み係数Ｗを算出しているので、輝度の差が大きい箇所での参照画素の足し込みを防ぐことができ、色にじみや色ぬけを軽減できる。

また、本実施形態では、重み係数算出部２２４は、さらに、第１領域２４と第２領域２５の間の、色差信号に含まれる色相の類似度(Gp)に基づいて当該参照画素の重み(W)を算出する。このように、色相をも考慮したので、輝度レベルがあまり変わらない箇所で誤って参照画素の足し込みと行ってしまい、本来と異なる色相になるといった、色相の変化を軽減している。

このように、ＬＳＩ２００は重み係数の算出において、輝度の重みを色相よりも考慮しているため、精度の良い色ノイズリダクション処理を実現できる。これは画像データのエッジ部において、特に効果が高い。

（他の実施の形態）
以上のように、本出願において開示する技術の例示として、上記の実施の形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。

そこで、以下、他の実施の形態を例示する。
本実施の形態では、輝度重み算出部２２２及び色差重み算出部２２３において、画素毎の乱数を用いてランダムに参照画素を選択するようにした。しかし、他の実施の形態では、これに限られない。たとえば、他の実施の形態では、所定の範囲（Ｍ×Ｎ画素の範囲（Ｍ，Ｎは任意の数））内の画素をすべて参照画素として選択してもよい。また、他の実施の形態では、所定の範囲（Ｍ×Ｎ画素の範囲（Ｍ，Ｎは任意の数））内の画素から所定の画素を間引くようにして参照画素を選択してもよい。

以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。

したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

本開示は、デジタルスチルカメラのような、輝度情報と色差情報を含む画像データを処理する画像処理装置に適用可能である。

１００ 撮像センサ
２００ ＬＳＩ
２３０ 記憶媒体
２４０ モニタ
２１０ ＹＣ変換部
２２０ 画像調整部
２２１ 輝度ノイズ除去部
２２２ 輝度重み算出部
２２３ 色差重み算出部
２２４ 重み係数算出部
２２５ Ｃｂノイズ除去部
２２６ Ｃｒノイズ除去部
９００ 画像処理装置

Claims (4)

1. 画像データを輝度信号と色差信号に分離する分離部と、
   前記画像データに含まれる注目画素に対して参照される参照画素を決定する決定部と、
   前記画像データの輝度信号に対して輝度ノイズを除去する輝度ノイズ除去部と、
   前記注目画素を含む第１の領域と前記参照画素を含む第２の領域の間の、前記輝度ノイズ除去部でノイズ除去された輝度信号に含まれる輝度の類似度に基づき、当該参照画素の重みを算出する重み算出部と、
   前記参照画素の重みを用いて前記注目画素の色差信号から色ノイズを除去する色ノイズ除去部と、
   を備える画像処理装置。
2. 前記重み算出部は、さらに、前記第１の領域と前記第２の領域の間の、色差信号に含まれる色相の類似度に基づいて当該参照画素の重みを算出する、
   請求項１に記載の画像処理装置。
3. 前記重み算出部は、さらに、前記第１の領域と前記第２の領域との間の、色差信号に含まれる色相と彩度に関する類似度に基づいて当該参照画素の重みを算出する、
   請求項１に記載の画像処理装置。
4. 前記重み算出部は、色相の類似度及び彩度の類似度にそれぞれ所定の係数を乗算して前記重みを算出し、
   色相及び彩度に対する前記所定の係数は、彩度の類似度より色相の類似度の方がより前記重みに影響するように設定される、
   請求項３に記載の画像処理装置。

Images