JP5454156B2 - Image processing apparatus, imaging apparatus, and image processing program - Google Patents
Image processing apparatus, imaging apparatus, and image processing program Download PDFInfo
- Publication number
- JP5454156B2 JP5454156B2 JP2010005677A JP2010005677A JP5454156B2 JP 5454156 B2 JP5454156 B2 JP 5454156B2 JP 2010005677 A JP2010005677 A JP 2010005677A JP 2010005677 A JP2010005677 A JP 2010005677A JP 5454156 B2 JP5454156 B2 JP 5454156B2
- Authority
- JP
- Japan
- Prior art keywords
- color
- image
- image processing
- noise
- component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 46
- 230000003595 spectral effect Effects 0.000 claims description 22
- 230000035945 sensitivity Effects 0.000 claims description 21
- 230000005540 biological transmission Effects 0.000 claims description 5
- 238000000034 method Methods 0.000 description 17
- 230000003321 amplification Effects 0.000 description 12
- 238000003199 nucleic acid amplification method Methods 0.000 description 12
- 230000006835 compression Effects 0.000 description 6
- 238000007906 compression Methods 0.000 description 6
- 238000004088 simulation Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 238000009499 grossing Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 239000003086 colorant Substances 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 241001428800 Cell fusing agent virus Species 0.000 description 1
- 241000579895 Chlorostilbon Species 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 229910052876 emerald Inorganic materials 0.000 description 1
- 239000010976 emerald Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 208000036971 interstitial lung disease 2 Diseases 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
Images
Landscapes
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
Description
本発明は、画像処理装置、撮像装置及び画像処理プログラムに関するものである。 The present invention relates to an image processing device, an imaging device, and an image processing program.
従来、デジタルカメラでは単板イメージセンサーでカラー情報を取得するためにイメージセンサーに、例えばベイヤーパターンによるカラーフィルターアレイを配置し複数の色成分を検出している(例えば、特許文献1参照)。 Conventionally, in a digital camera, in order to acquire color information with a single-plate image sensor, for example, a color filter array based on a Bayer pattern is arranged on the image sensor to detect a plurality of color components (see, for example, Patent Document 1).
ところで、カラーフィルターアレイを使った単板カラーイメージセンサーでは各画素毎には一つの色成分しか検出できないため、各画素でRGBの情報を有するカラー画像を作成するために補間処理が必要になる。また、得られる信号にはノイズ成分が含まれ、特に高感度撮影時にはノイズの影響が大きくなる。 By the way, since a single-plate color image sensor using a color filter array can detect only one color component for each pixel, an interpolation process is required to create a color image having RGB information at each pixel. In addition, the obtained signal includes a noise component, and the influence of noise becomes large particularly in high-sensitivity shooting.
本発明の目的は、ノイズの影響を受けたカラーフィルターアレイ画像の補間処理を高精度に行うことができる画像処理装置、撮像装置及び画像処理プログラムを提供することである。 An object of the present invention is to provide an image processing apparatus, an imaging apparatus, and an image processing program capable of performing interpolation processing of a color filter array image affected by noise with high accuracy.
本発明の画像処理装置は、イメージセンサーの前面に複数の異なる透過特性を有するカラーフィルターを配置したカラーイメージセンサーにより各画素において複数の色成分のうちの一つの色成分を検出することにより得られたカラーフィルター画像のデータ補間を行う画像処理装置において、前記カラーイメージセンサーにおける撮影条件を取得する撮影条件取得手段と、前記撮影条件に応じて周波数帯域の分割を変更する帯域分割設定手段と、前記カラーフィルター画像の周波数帯域を分割して輝度及び複数の色差成分を抽出する抽出手段と、前記輝度及び前記複数の色差成分を用いて所定の色成分に色変換する色変換手段とを備えること特徴とする。 The image processing apparatus of the present invention is obtained by detecting one color component of a plurality of color components in each pixel by a color image sensor in which a plurality of color filters having different transmission characteristics are arranged on the front surface of the image sensor. In the image processing apparatus for performing data interpolation of the color filter image, photographing condition acquisition means for obtaining photographing conditions in the color image sensor, band division setting means for changing frequency band division according to the photographing conditions, An extraction unit that extracts a luminance and a plurality of color difference components by dividing a frequency band of a color filter image; and a color conversion unit that performs color conversion to a predetermined color component using the luminance and the plurality of color difference components. And
また、本発明の撮像装置は、本発明の画像処理装置を備えることを特徴とする。 Further, an imaging apparatus according to the present invention includes the image processing apparatus according to the present invention.
また、本発明の画像処理プログラムは、イメージセンサーの前面に複数の異なる透過特性を有するカラーフィルターを配置したカラーイメージセンサーにより各画素において複数の色成分のうちの一つの色成分を検出することにより得られたカラーフィルター画像のデータ補間を行う画像処理装置に適用される画像処理プログラムであって、前記カラーイメージセンサーにおける撮影条件を取得するステップと、前記撮影条件に応じて周波数帯域の分割を変更するステップと、前記カラーフィルター画像の周波数帯域を分割して輝度及び複数の色差成分を抽出するステップと、前記輝度及び前記複数の色差成分を用いて所定の色成分に色変換するステップとを含むことを特徴とする。 The image processing program of the present invention detects one color component of a plurality of color components in each pixel by a color image sensor in which a plurality of color filters having different transmission characteristics are arranged on the front surface of the image sensor. An image processing program applied to an image processing apparatus that performs data interpolation of an obtained color filter image, the step of acquiring shooting conditions in the color image sensor, and changing a frequency band division according to the shooting conditions A step of dividing the frequency band of the color filter image to extract luminance and a plurality of color difference components, and a step of performing color conversion to a predetermined color component using the luminance and the plurality of color difference components. It is characterized by that.
本発明の画像処理装置、撮像装置及び画像処理プログラムによれば、ノイズの影響を受けたカラーフィルターアレイ画像の補間処理を高精度に行うことができる。 According to the image processing device, the imaging device, and the image processing program of the present invention, it is possible to perform interpolation processing of a color filter array image affected by noise with high accuracy.
以下、図面を参照して本発明の第1の実施の形態に係る画像処理装置(撮像装置)としてのデジタルカメラについて説明する。図1は、第1の実施の形態に係るデジタルカメラの構成を示すブロック図である。デジタルカメラ1は、撮影レンズ2を介して入射した被写体光によって、入射面にカラーフィルターアレイ4を有するイメージセンサー6上に被写体像を結像させ、この被写体像をイメージセンサー6で電気信号に変換する。ここでカラーフィルターアレイ4及びイメージセンサー6は、カラーイメージセンサーを構成する。カラーフィルターアレイ4は、例えば図2(a)に示すように、4つの画素の中の左上及びその対角である右下の画素に対して緑色(G)のカラーフィルター、右上の画素に対して赤色(R)のカラーフィルター、左下の画素に対して青色(B)のカラーフィルターをアレイ状に配列したベイヤーカラーフィルターアレイ(BayerCFA)である。なお、この実施の形態では、カラーフィルターアレイ4の代わりに例えば図2(b)に示すような、4つの画素の中の左上の画素に対して緑色(G)のカラーフィルター、右上の画素に対して赤色(R)のカラーフィルター、左下の画素に対して青色(B)のカラーフィルター、右下の画素に対してエメラルド色(E)のカラーフィルターをアレイ状に配列した4色カラーフィルターアレイを備えたカラーイメージセンサーを用いる場合もある。詳細は後述する。
A digital camera as an image processing apparatus (imaging apparatus) according to a first embodiment of the present invention will be described below with reference to the drawings. FIG. 1 is a block diagram showing the configuration of the digital camera according to the first embodiment. The
イメージセンサー6から出力された電気信号は、画像処理部8に入力される。また、画像処理部8には、撮影条件取得部9において取得したイメージセンサー6における撮影条件、例えば画像のノイズ量、撮影レンズ2の解像度、画像の合焦情報、画像の彩度、イメージセンサー6の分光感度等が入力される。画像処理部8においては、図示しないメモリ等から読み込まれた画像処理プログラムが実行されることにより、撮影条件取得部9から入力された撮影条件に基づいて選択された後述のパラメータを用いて補間等の画像処理が行われる。画像処理部8において画像処理された画像は記録部10に記録される。
The electrical signal output from the
図3は、第1の実施の形態に係る画像処理部8の構成を示すブロック図である。画像処理部8は、ホワイトバランス処理部12、第1階調処理部14、補間処理部16、第1色変換処理部18、第2階調処理部20、第2色変換処理部22、エッジ強調処理部24及び圧縮処理部26を備えている。
FIG. 3 is a block diagram illustrating a configuration of the
ホワイトバランス処理部12においては、無彩色の被写体を撮影した時にカラーイメージセンサー上の各色チャンネルの出力が概ね同じになるようにホワイトバランス処理を行う。この処理は、例えば画像中の最も明るい領域が無彩色だとの仮定の元、その領域のRGBの値が同じになるようなゲインとしても良いし、予めユーザーが撮影光源を設定しその光源に応じたゲインを設定しても良い。また撮影シーンの判定を行い人物の顔領域が肌色になるようなゲインを設定しても良い。ホワイトバランス処理部12では各画素のRGBにホワイトバランス係数を掛ける。
The white
次に、第1階調処理部14においては、ガンマ処理と呼ばれる入力画素値xに対して出力画素値yが
次に、補間処理部16においては、CFA(Color Filter Array)画像を補間し、各画素にRGBの揃ったカラー画像を生成する。補間の方法としてEric Dubois, “Frequency-Domain Methods for Demosaicking of Bayer-Sampled Color Images,” IEEE Signal Process. Lett., vol.12, pp.847,2005やKeigo Hirakawa and Patrick J. Wolfe, “Spatio-Spectral Color Filter Array Design for Optimal Image Recovery,” IEEE Tras. Image Process., vol. 17, pp. 1876, 2008記載の方法のようにCFA画像を周波数帯域で分割して輝度信号L,色差信号C1,C2成分の抽出を行う。ここで、BayerCFAで得られた画像をフーリエ変換した場合に、周波数解析を行うと低周波領域にL、高周波領域にC1,C2の成分が現れる。ここで、L,C1,C2はそれぞれ、
L=(2G+B+R)/4
C1=(2G−B−R)/4
C2=(B−R)/4
で表される。
Next, the
L = (2G + B + R) / 4
C 1 = (2G−B−R) / 4
C 2 = (BR) / 4
It is represented by
ここで輝度成分LはBayerCFA画像において低周波成分として現れ、色差成分C1は(−1/2,−1/2)を中心とする周波数域に変調され、色差成分C2は(0,−1/2)、(−1/2,0)を中心とする周波数域に変調されて分布する。このL,C1,C2成分をローパスフィルター、またはバンドパスフィルターを用いて抽出し、BayerCFA画像の補間を行うことにより画素毎にRGBの揃ったカラー画像を得ることができる。なお、この実施の形態では、ローパスフィルターを用いてL,C1,C2成分を抽出するローパスフィルター処理(LPF処理)を例に挙げて説明する。 Here, the luminance component L appears as a low frequency component in the Bayer CFA image, the color difference component C 1 is modulated in a frequency range centered on (−1/2, −1/2), and the color difference component C 2 is (0, − 1/2) and (−1/2, 0) are modulated and distributed in a frequency range centered on (−1/2, 0). The L, C 1 , and C 2 components are extracted using a low-pass filter or a band-pass filter, and a Bayer CFA image is interpolated to obtain a color image with RGB for each pixel. In this embodiment, a low-pass filter process (LPF process) that extracts L, C 1 , and C 2 components using a low-pass filter will be described as an example.
まず、BayerCFA画像を周波数解析した時の(−1/2,−1/2)の周波数を中心に分布する色差C1成分を抽出する。そのためにBayerCFA画像の座標(x,y)の位置の画素値に(−1)x+yを掛けて(−1/2,−1/2)の周波数を中心に分布する成分を(0,0)の周波数を中心に分布するように変調する。そしてLPF処理を行って低域成分を抽出しC1(x,y)成分とする。 First, the color difference C 1 component distributed around the (−1/2, −1/2) frequency when the Bayer CFA image is subjected to frequency analysis is extracted. For this purpose, the pixel value at the position of the coordinates (x, y) of the Bayer CFA image is multiplied by (−1) x + y, and the component distributed around the frequency of (−1/2, −1/2) is (0, 0). Is modulated so as to be distributed around the center frequency. Then, LPF processing is performed to extract a low-frequency component to obtain a C 1 (x, y) component.
次にBayerCFA画像を周波数解析した時の(−1/2,0)の周波数を中心に分布する色差C2a成分を抽出する。そのためにBayerCFA画像の座標(x,y)の位置の画素値に(−1)xを掛けて(−1/2,0)の周波数を中心に分布する成分を(0,0)の周波数を中心に分布するように変調する。そしてLPF処理を行って低域成分を抽出しC2a(x,y)成分とする。 Next, a color difference C 2a component distributed around the frequency (−1/2, 0) when the Bayer CFA image is subjected to frequency analysis is extracted. Therefore, the pixel value at the position of the coordinates (x, y) of the Bayer CFA image is multiplied by (−1) x, and the component distributed around the frequency of (−1/2, 0) is set as the frequency of (0, 0). Modulate to distribute in the center. Then, LPF processing is performed to extract a low frequency component and set it as a C 2a (x, y) component.
次にBayerCFA画像を周波数解析した時の(0,−1/2)の周波数を中心に分布する色差C2b成分を抽出する。そのためにBayerCFA画像の座標(x,y)の位置の画素値に(−1)yを掛けて(0,−1/2)の周波数を中心に分布する成分を(0,0)の周波数を中心に分布するように変調する。そしてLPF処理を行って低域成分を抽出しC2b(x,y)成分とする。 Next, the color difference C 2b component distributed around the frequency (0, −1/2) when the Bayer CFA image is subjected to frequency analysis is extracted. For this purpose, the pixel value at the position of the coordinates (x, y) of the Bayer CFA image is multiplied by (−1) y, and the component distributed around the frequency of (0, −1/2) is set as the frequency of (0, 0). Modulate to distribute in the center. Then, LPF processing is performed to extract the low-frequency component to obtain a C 2b (x, y) component.
次にBayerCFA画像を周波数解析した時の輝度L成分を抽出する。C1成分の座標(x,y)の位置の画素値に(−1)x+yを掛けて(−1/2,−1/2)の周波数を中心に分布する成分に戻し、C’1(x,y)成分とする。また、C2a成分の座標(x,y)の位置の画素値に(−1)xを掛けて(−1/2,0)の周波数を中心に分布する成分に戻し、C’2a(x,y)成分とする。また、C2b成分の座標(x,y)の位置の画素値に(−1)yを掛けて(0,−1/2)の周波数を中心に分布する成分に戻し、C’2b(x,y)成分とする。 Next, a luminance L component when the Bayer CFA image is subjected to frequency analysis is extracted. The pixel value at the position of the coordinate (x, y) of the C 1 component is multiplied by (−1) x + y to return to a component distributed around the frequency of (−1/2, −1/2), and C ′ 1 ( x, y) component. Also, the pixel value at the position of the coordinates (x, y) of the C 2a component is multiplied by (−1) x to return to a component distributed around the frequency of (−1/2, 0), and C ′ 2a (x , Y) component. Also, the pixel value at the position of the coordinates (x, y) of the C 2b component is multiplied by (−1) y to return to the component distributed around the frequency (0, −1/2), and C ′ 2b (x , Y) component.
次に、BayerCFA画像からC’1,C’2a,C’2bを引いてL成分を抽出する(次式参照)。
L(x,y)= CFA(x,y)−C’1(x,y)−C’2a(x,y)−C’2b(x,y)
Next, C ′ 1 , C ′ 2a , and C ′ 2b are subtracted from the Bayer CFA image to extract the L component (see the following equation).
L (x, y) = CFA (x, y) −C ′ 1 (x, y) −C ′ 2a (x, y) −C ′ 2b (x, y)
なお、L成分はCFA画像に直接LPFを掛けて抽出しても良い。この場合、色差と輝度は周波数帯域で分離したそれぞれの領域から抽出されているのではなく、一部分重なっている領域が色差と輝度の両方に抽出されることもある。また、LPFは線形フィルターでなくてもよく、ε-フィルター、σ-フィルターやbilateralフィルターのような画素値の差に依存する非線形フィルターを用いて抽出してもよい。この場合、帯域の違いだけでなく、振幅の違いでも輝度や色差の抽出を行うことができる。 The L component may be extracted by directly applying an LPF to the CFA image. In this case, the color difference and the luminance are not extracted from the respective regions separated in the frequency band, but a partially overlapping region may be extracted for both the color difference and the luminance. The LPF may not be a linear filter, and may be extracted using a non-linear filter that depends on a difference in pixel values, such as an ε-filter, a σ-filter, or a bilateral filter. In this case, it is possible to extract luminance and color difference not only by the difference in band but also by the difference in amplitude.
次に、C2aとC2bよりC2を求める(数2参照)。
これは輝度成分のパワースペクトルの分布、即ち縦のエッジがある領域か横のエッジがある領域かや、色差成分の分布に応じて例えば
次に、補完処理部16により求められた各画素のL,C1,C2の成分を用いて、第1色変換処理部18において、数4より各画素のRGBの値を求める。
なお、ここではCFA画像を変調し、LPF処理によって色差成分を抽出しているが、CFA画像にバンドパスフィルター処理、ハイパスフィルター処理を施して色差成分を抽出し、その後抽出した成分を変調して低周波成分にしてもよい。フィルターの通過帯域は、L,C1,C2a,C2bの成分ごとに変えてもよい。また数4の色変換後のRGBのそれぞれの成分に適したフィルターの通過帯域は異なることがあるので、色変換後のRGBのそれぞれを求めるフィルターの通過帯域を設定してもよい。この場合には、3回補完処理が必要になる。また、ここではBayerCFAの補間処理を示しているが、CFA画像を周波数帯域で分割して輝度色差成分を抽出する方法はBayerCFAに限らずあらゆるCFA画像に適用できる。異なるCFAでは色差成分の分布する周波数帯域が異なり、輝度色差成分をRGB成分に変換する変換マトリクスが異なる。また、ここでの補間はLPF処理のみを行っているが、CFA画像をフーリエ変換やDCT変換して輝度色差の帯域を抽出しても良いし、ウェーブレット変換して局所的な空間情報も考慮して輝度色差帯域を抽出しても良い。
Here, the CFA image is modulated and the color difference component is extracted by LPF processing. However, the CFA image is subjected to band pass filter processing and high pass filter processing to extract the color difference component, and then the extracted component is modulated. It may be a low frequency component. The pass band of the filter may be changed for each component of L, C 1 , C 2a , and C 2b . Further, since the passbands of the filters suitable for the respective RGB components after the color conversion of
次に、第2階調処理部20において、第1階調処理部14において行った階調処理の逆変換を行う。即ち、入力画素値xに対して出力画素値yが
次に、第2色変換処理部22において、カラーイメージセンサーのRGBデータを出力色空間のRGBデータR0,G0,B0に変換する(数6参照)。
なお、cijはイメージセンサー6の分光感度、光源、出力色空間より定められる定数である。出力色空間の規格としては例えばIEC 61966-2-1 sRGBが挙げられる。そしてさらに出力色空間の定義に従い階調処理が行われる。例えばIEC 61966-2-1 sRGBでは入力画素値xに対して出力画素値yが
さらにエッジ強調、圧縮処理のためにRGBからYCbCrへ色変換を行っても良い。この色変換は入力がR'G'B'とすると
次に、エッジ強調処理部24により輝度成分Yにエッジ強調処理を行う。また、圧縮処理部26によりJPEG、JPEG2000、JPEG XR等の圧縮方式で圧縮する。
Next, the edge
ここで補間処理部16において、C1,C2a,C2bを抽出するのに用いるローパスフィルター(以下、LPFという。) は撮影被写体や撮影条件、カラーイメージセンサーの特性によって最適化することで高品質な補間画像が得られる。そこで、図4に示す画像処理を考える。即ち、人間の目で見えている被写体の情報に対して撮像素子(カラーイメージセンサ)の分光感度による誤差及び色変換による誤差を加えた画像を画像1、画像1に補間による誤差を加えた画像を画像2、画像2にノイズによる誤差を加えた画像を画像3とし、これらの比較を行うことで最適な補間パラメータを決定することができる。
Here, the
この実施の形態では、5種類のカラーイメージセンサーTypeC 3ch(以下、C3chという。)、TypeN 3ch(以下、N3chという。)、TypeC 4ch(以下、C4chという。)、TypeN 4ch(以下、N4chという。)、TypeN2 4ch(以下、N24chという。)を用いる。C3ch及びN3chは、図2(a)に示すようなBayerCFAを備えたカラーイメージセンサーであり、図5(a)はC3ch、図5(b)はN3chの分光量子効率を示すグラフである。また、C4ch、N4ch及びN24chは、図2(b)に示すような4色CFAを備えたカラーイメージセンサーであり、図6(a)はC4ch、図6(b)はN4ch、図7はN24chの分光量子効率を示すグラフである。
In this embodiment, five types of color image sensors TypeC 3ch (hereinafter referred to as C3ch), TypeN 3ch (hereinafter referred to as N3ch), TypeC 4ch (hereinafter referred to as C4ch), TypeN 4ch (hereinafter referred to as N4ch). ), TypeN2 4ch (hereinafter, referred to as
また、図4に示す被写体として、千葉大学三宅研究室標準分光画像(三宅洋一編「分光画像処理入門」東京大学出版会2006年)である画像P4 Standard Image(以下、画像P4という。)を用い、画像P4の補間をLPFのパラメータを変更しつつ行う。図8は、LPFのパラメータftn0(=1〜31)各次のフィルター特性を示すグラフである。LPFがftn0=1のとき、図8のグラフAに示すように、LPFは、約0から約0.2までの周波数帯域を抽出する。同様に、LPFがftn0=31のとき、図8のグラフBに示すように、LPFは、約0から約0.5までの周波数帯域を抽出する。なお、グラフCはftn0=3のとき、グラフDはftn0=5のとき、グラフEはftn0=7のとき、グラフFはftn0=9のとき、グラフGはftn0=11のとき、グラフHはftn0=13のとき、グラフIはftn0=15のときのフィルター特性を示している。 In addition, as a subject shown in FIG. 4, an image P4 Standard Image (hereinafter referred to as an image P4), which is a standard spectral image of the Miyake Laboratory of Chiba University (Yoichi Miyake, “Introduction to Spectral Image Processing”, University of Tokyo Press 2006), is used. The interpolation of the image P4 is performed while changing the LPF parameters. FIG. 8 is a graph showing the filter characteristics of each order of the LPF parameter ftn0 (= 1 to 31). When the LPF is ftn0 = 1, the LPF extracts a frequency band from about 0 to about 0.2 as shown in graph A of FIG. Similarly, when the LPF is ftn0 = 31, the LPF extracts a frequency band from about 0 to about 0.5 as shown in the graph B of FIG. Graph C is ftn0 = 3, Graph D is ftn0 = 5, Graph E is ftn0 = 7, Graph F is ftn0 = 9, Graph G is ftn0 = 11, and Graph H is When ftn0 = 13, the graph I shows the filter characteristics when ftn0 = 15.
まず、Rawデータの各色成分の補間精度について検討する。具体的には、撮像素子を介し補間処理されたRawデータ(色変換処理がされていない画像データ)と、補間処理及び色変換処理されず、撮像素子を介したのみのRawデータ(補間処理及び色変換処理がされていない画像データ)との差、即ち図4に示す色変換による誤差を考慮しない補間誤差を比較する。図9は、カラーイメージセンサーC3chにおけるRawデータのRGB各色の補間誤差(PSNR)を示すグラフである。なお、C3ch以外のカラーイメージセンサーにおけるRawデータのRGB各色の補間誤差についてもC3chと同様の傾向を示す。また、表1は、緑(G)の補間誤差が最も小さくなるftn0、及びその時の補間誤差(PSNR)を示している。
表1に示すように、カラーイメージセンサーの特性により最適なLPF特性は異なる。具体的には、他のカラーイメージセンサーと比較してカラーイメージセンサーC3chにおけるGの補間誤差が最も小さい。これは、図5(a)に示すように、C3chの分光量子効率の各色間の重なりが大きいため相関が強く、色差が小さくなるためである。なお、分光量子効率でなく、分光感度においても同様に各色間の重なりが大きいと色差が小さくなる。したがって、カラーイメージセンサーTypeCは、TypeNと比較してftn0が小さく色差の帯域が狭い所で最も補間精度が高くなる。 As shown in Table 1, the optimum LPF characteristics vary depending on the characteristics of the color image sensor. Specifically, the G interpolation error in the color image sensor C3ch is the smallest compared to other color image sensors. This is because, as shown in FIG. 5A, since the overlap between the C3ch spectral quantum efficiency colors is large, the correlation is strong and the color difference is small. Similarly, not only in spectral quantum efficiency but also in spectral sensitivity, if the overlap between the colors is large, the color difference becomes small. Therefore, the color image sensor TypeC has the highest interpolation accuracy where ftn0 is small and the color difference band is narrow compared to TypeN.
次に、Rawデータを色変換した後の各カラーイメージセンサーの補間精度について検討する。例えば、撮像素子を介し色変換処理された画像データ(図4で示す画像1)と、撮像素子を介し補間処理及び色変換処理された画像データ(図4で示す画像2)との差(図4で示す色差CIE941−2)を比較する。同様に、図4に示す撮像素子を介さない「人間の目で見えている被写体の情報」と、図4で示す画像1との差(図4で示す色差CIE940−1)を比較する。図10は、カラーイメージセンサーN3chの、色差CIE94(ΔE* 94)による補間精度を示すグラフである。図10に示すグラフの縦軸である色差CIE94(ΔE* 94) は、その値が小さい程、補間誤差が小さい(補間精度が高い)。なお、N3ch以外のカラーイメージセンサーの、色差CIE941−2(ΔE* 94)による補間精度についてもN3chと同様の傾向を示す。また、表2は、各カラーイメージセンサーにおいて、色差による補間精度が最大となるftn0、及びその時の色差CIE941−2を示している。
表2に示すように、カラーイメージセンサーの特性により最適なLPF特性は異なる。表1ではC3chが最も良い補間精度を有することを示していたが、表2ではN3chが最も良い補間精度を有することを示している。これは、色変換処理により誤差が増幅され、この増幅度合がカラーイメージセンサー毎に異なり、TypeNが増幅度合の低い特性を有しているためである。なお、デジタル画像は、 Rawデータの補間誤差(PSNR)より色差(CIE94)で評価する方が適切であるため、以下、色差により補間精度を評価する。 As shown in Table 2, the optimum LPF characteristics vary depending on the characteristics of the color image sensor. Table 1 shows that C3ch has the best interpolation accuracy, but Table 2 shows that N3ch has the best interpolation accuracy. This is because the error is amplified by the color conversion process, the amplification degree differs for each color image sensor, and Type N has a characteristic with a low amplification degree. In addition, since it is more appropriate to evaluate a digital image by a color difference (CIE94) than an interpolation error (PSNR) of Raw data, hereinafter, interpolation accuracy is evaluated by the color difference.
次に、ノイズの影響(図4に示すノイズによる誤差)を考慮した各カラーイメージセンサーの補間精度について検討する。具体的には、光源にCIE D65、ピクセルピッチ4μm、ベースラインノイズ0を仮定し、H. Kuniba and R. S. Berns, Journal of Electronic Imaging, vol. 18 (2), 023002 (2009) のモデルを用いて画像(以下、画像Pという。)を作成し、図4に示す4種の画像処理を行い、それぞれを比較する。即ち、図4で示す画像1と画像2との差(図4で示す色差CIE941−2)、図4で示す画像2と画像3との差(図4で示す色差CIE942−3)、図4で示す画像1と画像3との差(図4で示す色差CIE941−3)、図4に示す撮像素子を介さない「人間の目で見えている被写体の情報」と画像1との差(図4で示す式差CIE940−1)を比較する。
Next, the interpolation accuracy of each color image sensor considering the influence of noise (error due to noise shown in FIG. 4) will be examined. Specifically, assuming that the light source is CIE D65, the pixel pitch is 4 μm, and the baseline noise is 0, the model of H. Kuniba and RS Berns, Journal of Electronic Imaging, vol. 18 (2), 023002 (2009) is used. An image (hereinafter referred to as an image P) is created, and four types of image processing shown in FIG. 4 are performed, and each is compared. That is, the difference between the
図11は、カラーイメージセンサーN3chを用い、ISO感度100でのノイズによる影響を含む補間精度(色差CIE94による)を示すグラフである。なお、N3ch以外のカラーイメージセンサーにおいてもN3chと同様の傾向を示す。また、表3は、各カラーイメージセンサーにおいて、ノイズなし、ISO感度25,100,400,1600でのノイズの影響を受けた場合における補間精度が最大となるftn0、及びその時の色差CIE941−3を示している。
表3に示すように、カラーイメージセンサーの特性により最適なLPF特性は異なる。ノイズの影響を含まない色差CIE941−2は、ftn0 が大きすぎても小さすぎても大きくなるが、ノイズの影響を含むCIE942−3は、ftn0が大きくなると単調に大きくなり、補間誤差とノイズの影響との両方を考慮した画像の誤差を最小にするftn0の値は、ノイズの大きさ(ISO感度) によって異なる。即ち、ISO感度が高くなる程、画像の誤差を最小にするftn0の値は小さくなる。これは、ノイズが色差に与える影響が大きく、画像の誤差を最小にするftn0の値を小さくして色差の帯域を狭くすることにより色差が平滑化されノイズの振幅が小さくなるためである。また、画像のノイズ量は、ISO感度の大きさにより増加するだけでなく、露光時間の増加により暗電流ノイズが増加するため、増加する場合がある。また、シーン照度の低下によりノイズ量が増加する場合もある。 As shown in Table 3, the optimum LPF characteristics vary depending on the characteristics of the color image sensor. Chrominance CIE94 1-2 containing no influence of noise, Ftn0 but also increases too large or too small, CIE94 2-3 including the influence of noise becomes monotonously increases as Ftn0 increases, the interpolation error The value of ftn0 that minimizes the image error considering both the influence of noise differs depending on the magnitude of noise (ISO sensitivity). That is, the higher the ISO sensitivity, the smaller the value of ftn0 that minimizes the image error. This is because noise has a great influence on the color difference, and by reducing the value of ftn0 that minimizes the image error and narrowing the color difference band, the color difference is smoothed and the noise amplitude is reduced. Further, the amount of noise in the image not only increases due to the magnitude of ISO sensitivity, but may increase because dark current noise increases due to an increase in exposure time. Also, the amount of noise may increase due to a decrease in scene illuminance.
同様の評価を異なる画像(千葉大学三宅研究室標準分光画像(三宅洋一編「分光画像処理入門」東京大学出版会2006年)記載の画像P5 Fruit)に対して行った。各カラーイメージセンサーにおいて、ノイズなし、ISO感度25,100,400,1600でのノイズの影響を受けた場合における補間精度が最大となるftn0、及びその時の色差CIE941−3を表4に示す。
画像P5は、合焦している領域が狭く、ftn0の値を大きくし、輝度の帯域を狭くしても補間誤差が大きくならない。したがって、画像Pのときのftn0の値(表3参照)と比較して、画像P5のときのftn0の値は大きくなっている。このように、撮影する被写体によってLPFのパラメータftn0を変更することが望ましい。また、被写界深度が浅い場合にはftn0の値を大きくし(即ち、色差成分の帯域を広くし)、輝度の帯域を狭くすることが望ましい。なお、被写界深度は、撮影レンズ2の解像度に応じて変化し、例えば撮影レンズ2の焦点距離が長い程、撮影時のF値が小さい程、被写体距離が近い程浅くなる。また、被写体に対して合焦している領域にはftn0の値を小さくし、輝度の帯域を広くし、被写体に対して合焦していない領域にはftn0の値を大きくし、輝度の帯域を狭くすることが望ましい。被写体に対して合焦しているか否かは、オートフォーカスセンサーからの情報や、画素値の標準偏差等に基づいて判別される。また、撮影レンズ2の解像度が低い場合にはftn0の値を大きくし、輝度の帯域を広くすることが望ましい。また、CFAを配置した単版カラーイメージセンサーの前面には通常光学ローパスフィルターが配置され、モアレの発生を抑制するようになっているが、この光学ローパスフィルターの特性によってftn0の値を変化させてもよい。例えば、光学ローパスフィルターを使わない場合には解像度の高い画像が得られるので、光学ローパスフィルターを使用した場合より輝度の帯域を広げるとよい。
In the image P5, the focused area is narrow, the value of ftn0 is increased, and the interpolation error does not increase even if the luminance band is narrowed. Therefore, compared with the value of ftn0 for the image P (see Table 3), the value of ftn0 for the image P5 is larger. Thus, it is desirable to change the LPF parameter ftn0 depending on the subject to be photographed. Further, when the depth of field is shallow, it is desirable to increase the value of ftn0 (that is, widen the band of color difference components) and narrow the band of luminance. Note that the depth of field changes according to the resolution of the
更に、同様の評価を異なる画像(千葉大学三宅研究室標準分光画像(三宅洋一編「分光画像処理入門」東京大学出版会2006年)記載の画像P1 Chart)に対して行った。各カラーイメージセンサーにおいて、ノイズなし、ISO感度25,100,400,1600でのノイズの影響を受けた場合における補間精度が最大となるftn0、及びその時の色差CIE941−3を表5に示す。
画像P1は、モノクロの領域が多く、色差の情報が少ないため、画像Pのときのftn0の値(表3参照)と比較して、画像P1のときのftn0の値は小さくなっている。即ち、輝度の帯域が広くなっている。このように、被写体が無彩色に近い場合等、画像の彩度が低い場合には、ftn0の値を小さくし、輝度の帯域を広くすることが望ましい。また、画像を複数の領域に分割し、領域毎に領域内の被写体が無彩色に近いか否かを判別し、輝度の帯域を変化させるようにしてもよい。 Since the image P1 has many monochrome areas and little color difference information, the value of ftn0 for the image P1 is smaller than the value of ftn0 for the image P (see Table 3). That is, the luminance band is widened. Thus, when the saturation of the image is low, such as when the subject is close to an achromatic color, it is desirable to reduce the value of ftn0 and widen the luminance band. Alternatively, the image may be divided into a plurality of regions, and for each region, it may be determined whether or not the subject in the region is close to an achromatic color, and the luminance band may be changed.
第1の実施の形態に係るデジタルカメラによれば、ノイズの影響を受けたCFA画像の補間処理を高精度に行うことができる。 According to the digital camera according to the first embodiment, interpolation processing of a CFA image affected by noise can be performed with high accuracy.
次に、図面を参照して本発明の第2の実施の形態に係る画像処理装置(撮像装置)としてのデジタルカメラについて説明する。第2の実施の形態に係るデジタルカメラの構成及び画像処理は、第1の実施の形態に係るデジタルカメラ1の構成及び画像処理と同一であるため、説明を省略する。なお、この実施の形態では、図2(a)に示すようなカラーフィルターをアレイ状に配列したカラーフィルターアレイ4の代わりに、例えば図12(a)に示すような、4つの画素の中の左上及び右下の画素に対して青色(B)のカラーフィルター、右上の画素に対して赤色(R)のカラーフィルター、左下の画素に対して緑色(G)のカラーフィルターをアレイ状に配列したBベイヤーカラーフィルターアレイ(B−BayerCFA)を備えたカラーイメージセンサーを用いる場合もある。なお、B−BayerCFAで得られた画像をフーリエ変換した場合に、L,C1,C2はそれぞれ、
L=(2B+G+R)/4
C1=(2B−G−R)/4
C2=(G−R)/4
で表される。
Next, a digital camera as an image processing apparatus (imaging apparatus) according to a second embodiment of the present invention will be described with reference to the drawings. Since the configuration and image processing of the digital camera according to the second embodiment are the same as the configuration and image processing of the
L = (2B + G + R) / 4
C 1 = (2B−G−R) / 4
C 2 = (G−R) / 4
It is represented by
また、例えば図12(b)に示すような、4つの画素の中の左上及び右下の画素に対して赤色(R)のカラーフィルター、右上の画素に対して緑色(G)のカラーフィルター、左下の画素に対して青色(B)のカラーフィルターをアレイ状に配列したRベイヤーカラーフィルターアレイ(R−BayerCFA)を備えたカラーイメージセンサーを用いる場合もある。なお、R−BayerCFAで得られた画像をフーリエ変換した場合に、L,C1,C2はそれぞれ、
L=(2R+G+B)/4
C1=(2R−G−B)/4
C2=(B−G)/4
で表される。
For example, as shown in FIG. 12B, a red (R) color filter for the upper left and lower right pixels of the four pixels, and a green (G) color filter for the upper right pixels, A color image sensor including an R Bayer color filter array (R-Bayer CFA) in which blue (B) color filters are arranged in an array with respect to the lower left pixel may be used. In addition, when the image obtained by R-Bayer CFA is Fourier-transformed, L, C 1 and C 2 are respectively
L = (2R + G + B) / 4
C 1 = (2R-GB) / 4
C 2 = (B−G) / 4
It is represented by
この実施の形態では、図2(a)のグラフに示すような分光量子効率を有するカラーイメージセンサーC3chと、図2(b)のグラフに示すような分光量子効率を有するN3chとを用いる。また、カラーイメージセンサーC3ch及びN3chが備えるカラーフィルターアレイとして、BayerCFAであるカラーフィルターアレイ4、B−BayerCFA及びR−BayerCFAを入れ替えて使用する。また、図4に示す被写体として画像P4、光源にCIE D65を使用し、画像P4の補間をLPFのパラメータftn0の値を変更しつつ行う。具体的には、C1の帯域に対するftn0の値、C2の帯域に対するftn0の値をそれぞれ独立して変更しつつ画像P4の補間を行う。
In this embodiment, a color image sensor C3ch having a spectral quantum efficiency as shown in the graph of FIG. 2A and an N3ch having a spectral quantum efficiency as shown in the graph of FIG. 2B are used. Further, as the color filter array provided in the color image sensors C3ch and N3ch, the
まず、Rawデータを色変換した後の各カラーイメージセンサーの補間精度について検討する。例えば、撮像素子(カラーイメージセンサー)を介し色変換処理された画像データ(図4で示す画像1)と、撮像素子を介し補間処理及び色変換処理された画像データ(図4で示す画像2)との差(図4で示す色差CIE941−2)を比較する。同様に、図4に示す撮像素子を介さない「人間の目で見えている被写体の情報」と、図4で示す画像1との差(図4で示す色差CIE940−1)を比較する。図13は、BayerCFAを備えたカラーイメージセンサーN3chにおける補間精度を色差の次元で評価した結果を示すグラフである。なお、図13に示すE1はΔE* 94=1.6、E2はΔE* 94=1.8、E3はΔE* 94=2.0、E4はΔE* 94=2.2、E5はΔE* 94=2.4のときのグラフである。また、BayerCFAを備えたカラーイメージセンサーC3chにおいてもN3chと同様の傾向を示す。また、表6は、カラーイメージセンサーC3ch及びN3chのそれぞれがBayerCFA、B−BayerCFA及びR−BayerCFAのそれぞれを備えた場合において、補間精度が最大となるC1のftn0の値とC2のftn0の値、及びその時の色差CIE941−2を示している。
図13及び表6に示すように、最適なC1のftn0の値は、最適なC2のftn0の値より大きい。即ち、C1の帯域をC2の帯域より広くすることが望ましい。これは、BayerCFAのC1、B−BayerCFAのC1、R−BayerCFAのC1のそれぞれが密度高くサンプリングされている色成分(BayerCFAではG,B−BayerCFAではB,R−BayerCFAではR)、即ち高周波成分を含むのに対し、BayerCFAのC2、B−BayerCFAのC2、R−BayerCFAのC2のそれぞれが密度高くサンプリングされている色成分を含まないため、C1の帯域をC2の帯域より広くすることが望ましい。
As shown in FIG. 13 and Table 6, the optimal C 1 ftn0 value is greater than the optimal C 2 ftn0 value. That is, it is desirable to make the band of C 1 wider than the band of C 2 . This, C 1 to BayerCFA, B-
また、表6に示すように、カラーイメージセンサーの特性により最適なLPF特性は異なる。色変換処理される前のRawデータの補間精度はTypeNよりTypeCの方が高いが、表6ではTypeNが最も良い補間精度を有することを示している。これは、色変換処理により誤差が増幅され、この増幅率はTypeCの方がTypeNより大きいためである。ここで、カラーイメージセンサーの出力(R,G,B)は色変換マトリクスを使って、
表7に示すように、B−BayerCFAのTypeCは、 R−BayerCFAの TypeCより補間精度がB,Gで良く、Rでやや落ちる。TypeCでは色変換での誤差の増幅の観点からa*の精度が重要である。つまりXとYの精度が重要で、これはRとG の精度に関係する。一方、B−BayerCFAのTypeNは、R−BayerCFAのTypeNに比べ、補間精度がBで良く、Gでやや悪く、Rで悪い。TypeNでは色変換での誤差の増幅の観点からa*とb*の精度はほぼ同じ程度重要である。これはR,G,B全ての精度に関係する。このRGBの補間精度と、色変換での誤差の増幅のバランスによって総合的な補間誤差が決定すると考えられる。
As shown in Table 7, Type C of B-Bayer CFA has better interpolation accuracy than Type C of R-Bayer CFA. In Type C, the accuracy of a * is important from the viewpoint of error amplification in color conversion. That is, the accuracy of X and Y is important, and this is related to the accuracy of R and
次に、Rawデータにセンサーノイズ (フォトンショットノイズ) が含まれる場合における補間後の画像についてそのノイズの影響を調べた。即ち、ノイズを含まないシミュレーションでの補間後画像と、ノイズを含むシミュレーションでの補間後画像との差を色差で評価した。また、各画素でRGBすべてのチャンネルを取得した場合における画像とノイズを含むシミュレーションでの補間後画像との差も色差で評価した。後者は補間誤差とノイズの両方を評価する事になる。シミュレーションパラメータとして、ピクセルピッチ4μm、カラーイメージセンサーはC3ch及びN3h、ベースラインノイズ0で、ISO感度25,100,400,1600を用いる。
Next, the influence of the noise on the interpolated image when the sensor data (photon shot noise) is included in the Raw data was examined. That is, the difference between the image after interpolation in the simulation not including noise and the image after interpolation in the simulation including noise was evaluated by color difference. In addition, the difference between the image when all the RGB channels were acquired for each pixel and the image after interpolation in the simulation including noise was also evaluated by the color difference. The latter will evaluate both interpolation error and noise. As simulation parameters, the pixel pitch is 4 μm, the color image sensor uses C3ch and N3h, baseline noise is 0, and
補間によって変調されたセンサーノイズはftn0が大きくなると増加する。ftn0が大きくなると補間時の色差成分の帯域が大きくなるため、色差の高周波成分まで復元する。輝度成分より色差成分がセンサーノイズの影響を大きく受け、高周波成分が主である。したがって、補間での色差の帯域を大きくするとセンサーノイズの影響をよりうけやすくなると考えられる。色差の帯域を狭める(ftn0を小さくする)と色差が平滑化され、ノイズ低減効果があると思われる。 Sensor noise modulated by interpolation increases as ftn0 increases. When ftn0 is increased, the band of the color difference component at the time of interpolation is increased, so that the high frequency component of the color difference is restored. The color difference component is more affected by the sensor noise than the luminance component, and the high frequency component is mainly used. Therefore, it is considered that the influence of sensor noise is more easily affected by increasing the color difference band in the interpolation. Narrowing the color difference band (decreasing ftn0) smoothes the color difference and seems to have a noise reduction effect.
Macbeth ColorCheckerの平均のL*a*b*色空間でのノイズ揺らぎは、ISO1600の場合、
図14は、BayerCFAを備えたカラーイメージセンサーN3chの、ISO感度100での色差(CIE942−3)でみた補間後のノイズを示すグラフである。なお、図14に示すE10はΔE* 94=1.2、E11はΔE* 94=1.4、E12はΔE* 94=1.6、E13はΔE* 94=1.8のときのグラフである。図14に示すように、C1のftn0を大きくする(C1の帯域を広げる、即ちC1の平滑化を弱める) と、急激にノイズが大きくなる。一方、B−BayerCFAでは、C2=(−R+G)/4のため、C2のftn0を大きくする(C2の帯域を広げる、即ちC2の平滑化を弱める) と、急激にノイズが大きくなる。R−BayerCFAでは、ノイズ量のC1 とC2の帯域の非対称性はあまり強くない。
FIG. 14 is a graph showing noise after interpolation in the color image sensor N3ch provided with the Bayer CFA, as viewed from the color difference (CIE94 2-3 ) at an ISO sensitivity of 100. Incidentally, E 10 shown in FIG. 14 ΔE * 94 = 1.2, E 11 is ΔE * 94 = 1.4, E 12 is ΔE * 94 = 1.6, E 13 is a ΔE * 94 = 1.8 It is a graph of time. As shown in FIG. 14, (widen the band of C 1, namely weaken the smoothing of C 1) which ftn0 the increasing of C 1 and abruptly noise increases. On the other hand, the B-BayerCFA,
ノイズを含むシミュレーションでの補間後画像においては、ISO感度が高い程ノイズの影響を強く受けるため、ISO感度が高くなるに従い、ftn0が小さい方が補間後画像の色差が小さくなる。特に、BayerCFAでC1のftn0が小さいとイメージセンサーのred−greenノイズを平滑化する効果が大きい。図15は、BayerCFAを備えたカラーイメージセンサーN3chの、ISO感度100での色差(CIE941−3)でみた補間誤差を示すグラフである。なお、図15に示すE20はΔE* 94=2.4、E21はΔE* 94=2.6、E22はΔE* 94=2.8、E23はΔE* 94=3.0、E24はΔE* 94=3.2、E25はΔE* 94=3.4のときのグラフである。表8はBayerCFA、表9はR−BayerCFA、表10はB−BayerCFAでのノイズを考慮した最小誤差ΔE* 94 を与えるftn0の値とその際のΔE* 94を示している。
ISO感度が高くなる程ftn0は小さくなり、色差の解像度を低下させた方がよく、TypeNの方がTypeCよりΔE* 94が小さい。しかしながら、ISO1600では、TypeCの方がTypeNよりCIE941−3が小さい。 The higher the ISO sensitivity is, the smaller ftn0 is, and it is better to reduce the resolution of the color difference, and Type N has ΔE * 94 smaller than Type C. However, in ISO 1600, Type C is smaller in CIE94 1-3 than Type N.
第2の実施の形態に係るデジタルカメラによれば、ノイズの影響を受けたCFA画像の補間処理を高精度に行うことができる。 According to the digital camera according to the second embodiment, interpolation processing of a CFA image affected by noise can be performed with high accuracy.
なお、上述の各実施の形態においては、画像処理装置としてデジタルカメラを例に挙げて説明したが、パーソナルコンピュータ等の画像処理を行うことができる他の画像処理装置においても本発明を適用することができる。 In each of the above-described embodiments, a digital camera has been described as an example of an image processing apparatus. However, the present invention is also applied to other image processing apparatuses that can perform image processing, such as a personal computer. Can do.
また、上述の各実施の形態においては、BayerCFAを用いた補間処理について説明しているが、補色フィルター、RGBEの四色フィルター、上述のHirakawa and Wolfe (2008) に挙げられている様々なCFAを用いた補間処理についても本発明を適用することができる。 In each of the above-described embodiments, interpolation processing using Bayer CFA is described. However, complementary CFA, four-color RGBE filters, and various CFA listed in the above-mentioned Hirakawa and Wolfe (2008). The present invention can also be applied to the interpolation processing used.
また、上述の各実施の形態においては、図示しないメモリ等からデジタルカメラ1に画像処理を実行させる画像処理プログラムを読み込んで実行している。即ち、上述の各実施の形態で用いられている画像処理プログラムは、イメージセンサー6の前面に複数の異なる透過特性を有するカラーフィルターアレイ4を配置したカラーイメージセンサーにより各画素において複数の色成分のうちの一つの色成分を検出することにより得られたカラーフィルター画像のデータ補間を行う画像処理装置としてのデジタルカメラ1に適用される画像処理プログラムであって、カラーイメージセンサーにおける撮影条件を取得するステップと、撮影条件に応じて周波数帯域の分割を変更するステップと、カラーフィルター画像の周波数帯域を分割して輝度及び複数の色差成分を抽出するステップと、輝度及び複数の色差成分を用いて所定の色成分に色変換するステップとを実行させている。したがって、上述の各実施の形態で用いられている画像処理プログラムによれば、ノイズの影響を受けたCFA画像の補間処理を高精度に行うことができる。
In each of the above-described embodiments, an image processing program for causing the
第2の実施の形態に係るデジタルカメラを用いて画像P4を使ってシミュレーション画像を作成した。低感度の画像を見ると、TypeNの方が補間による偽色の色が薄い。高感度の画像では補間による偽色よりもノイズの影響の方が大きい。また、Kodak Gray ScaleのYやCの丸の周りに色づきが見られる。これは、補間パラメータの C1のftn0とC2のftn0が異なることにより、C1とC2のぼかし量が異なって色バランスがずれて色が付いていると考えられる。C1のftn0とC2のftn0を独立に設定すると全体的な輝度色差の分離は良くなるが、部分的に見ると偽色発生の原因となる。補間の観点からはチャンネル間の相関を考慮して分光感度を設定して補間パラメータのC1のftn0とC2のftn0が同じになるようにできればよい。 A simulation image was created using the image P4 using the digital camera according to the second embodiment. Looking at low-sensitivity images, Type N has a lighter false color due to interpolation. In high-sensitivity images, the influence of noise is greater than the false color resulting from interpolation. In addition, coloring is seen around Y and C circles of Kodak Gray Scale. This is because the ftn0 of ftn0 and C 2 of C 1 interpolation parameters are different, considered blurring amount of C 1 and C 2 are colored shifted color balance differently. If C 1 ftn0 and C 2 ftn0 are set independently, the separation of the overall luminance and color difference is improved, but when viewed partially, it may cause false colors. From the viewpoint of interpolation, it is only necessary to set the spectral sensitivity in consideration of the correlation between the channels so that the interpolation parameters C 1 ftn0 and C 2 ftn0 are the same.
上述したように、CFA画像を入力から出力までの全ての課程を考慮したend−to−endの系で評価した。評価指標は色差の次元、即ちapproximately perceptually uniform color spaceで評価した。そして、Rawデータでの評価は、色変換を考慮していないので適切でないことを示した。また、センサーノイズを含めた評価を行い、再現画質を向上させるためには、ノイズが多くなるに従い、補間時に色差成分の周波数帯域を狭くしていくことが良いことを示した。今回評価したイメージセンサセンサーBayerCFAを備えたtypeC及びTypeN、R−BayerCFAを備えたTypeC及びTypeN、B−BayerCFAを備えたTypeC及びTypeNのなかで補間画質が優れているイメージセンサーは、BayerCFAを備えたTypeNであると言える。これは、補間誤差、ノイズの色変換での増幅が大きな影響を与えていると考えられる。しかしながら、BayerCFAでISO感度が高くなると、最適補間パラメータにおける理想画像からの色差は 、TypeNの方が大きくなった。また、緑(G)を赤(R)や青(B)より多くサンプルした方が色差で見た補間誤差は小さくなる。緑(G)をより高精度で補間することにはL*a*b* のいずれにもよい効果を与える。 As described above, the CFA image was evaluated by an end-to-end system in consideration of all processes from input to output. The evaluation index was evaluated based on the color difference dimension, that is, approximately perceptually uniform color space. The evaluation with the Raw data indicated that the color conversion was not taken into consideration and therefore it was not appropriate. In addition, in order to perform evaluation including sensor noise and improve the reproduction image quality, it was shown that it is better to narrow the frequency band of the color difference component during interpolation as the noise increases. Among the image sensors that were evaluated this time, type C and Type N with Bayer CFA, Type C and Type N with R-Bayer CFA, Type C and Type N with B-Bayer CFA, the image sensor with excellent interpolation image quality has Bayer CFA. It can be said that it is TypeN. This is considered that the interpolation error and the amplification by noise color conversion have a great influence. However, when the ISO sensitivity is increased with Bayer CFA, the color difference from the ideal image in the optimum interpolation parameter is larger in Type N. Also, if green (G) is sampled more than red (R) or blue (B), the interpolation error viewed from the color difference becomes smaller. Interpolating green (G) with higher accuracy has a good effect on any of L * a * b * .
更に、総合的な画質としては、各イメージセンサーの色再現誤差を考慮しなければならない。また補間における色差の平滑化は色差ノイズ振幅の低減と低周波成分化の両方の影響があるので、総合的な画質はそれらのバランスによって決まる。 Furthermore, as the overall image quality, the color reproduction error of each image sensor must be considered. In addition, since the smoothing of the color difference in the interpolation is affected by both the reduction of the color difference noise amplitude and the low frequency component, the overall image quality is determined by the balance between them.
実施例1によれば、C1とC2の帯域を独立して設定することにより全体的により高い補間精度を得ることができることがわかった。この際、C1の方がC2より帯域を広く設定するとよいことがわかった。しかしながら、C1とC2の帯域が異なるとそれぞれの色差解像度のミスマッチにより色のエッジの周りに偽色が生じる。 According to Example 1, it has been found that higher interpolation accuracy can be obtained as a whole by setting the bands of C 1 and C 2 independently. At this time, it was found that C 1 should have a wider band than C 2 . However, if the bands of C 1 and C 2 are different, a false color is generated around the edge of the color due to a mismatch of the respective color difference resolutions.
また、色差で評価した場合には、色変換でノイズ増幅の小さいTypeNの方がTypeCより補間誤差が小さくなることがわかった。また、フォトンショットノイズを考慮したとき、色差の高周波成分にノイズが多くなるため、C1とC2の帯域を狭く設定することによりノイズ成分が抑制されて画質が良くなることがわかった。また、red−green成分にノイズが多く含まれる(特に、TypeCの場合) ため、BayerCFAの場合C1の帯域を狭く設定することによりノイズを効果的に抑制することができることがわかった。また、どの色差成分の帯域を狭く設定することにより画質を向上させることができるかについては、CFAにより決まる色差の成分によることがわかった。特に、ノイズが多くなると、TypeNの方が補間誤差及びノイズ誤差が多くなった。TypeNでは、色ノイズは少ないが、輝度ノイズはTypeCより多い。したがって、TypeNでは、輝度ノイズを大きくしないためにC1、C2の帯域をTypeCほどに狭く設定しないほうがよく、これが色差ノイズの低減を妨げているのかもしれない。 In addition, when evaluated by color difference, it was found that Type N, which has a small noise amplification in color conversion, has a smaller interpolation error than Type C. Also, when considering the photon shot noise, noise is increased in the high-frequency components of the color difference, the noise component has been found that the image quality is suppressed is improved by setting a narrow band of C 1 and C 2. In addition, since a lot of noise is included in the red-green component (particularly in the case of Type C), it has been found that in the case of Bayer CFA, the noise can be effectively suppressed by setting the C 1 band narrow. Further, it was found that the color difference component determined by CFA determines which color difference component band can be set narrower to improve the image quality. In particular, when noise increases, Type N has more interpolation errors and noise errors. Type N has less color noise but more luminance noise than Type C. Therefore, in Type N, it is better not to set the C 1 and C 2 bands as narrow as Type C in order not to increase luminance noise, which may hinder the reduction of color difference noise.
以上より、チャンネル間の相関が高いと補間精度は良いが、補間誤差の色変換での増幅が大きくなるので、チャンネル間の相関はあまり大きくないイメージセンサーを用いた方がよいことがわかった。また、色差の帯域はそれが含む色成分のサンプリング密度によって異なる。したがって、BayerCFAでは、Gを含むC1の帯域を広く設定することにより補間精度が高くなる。しかし、C1とC2の帯域が異なると色境界周りに偽色が生じた。 From the above, it was found that it is better to use an image sensor in which the correlation between channels is high, but the interpolation accuracy is good, but the amplification in the color conversion of the interpolation error is large, so the correlation between channels is not so large. In addition, the color difference band varies depending on the sampling density of the color components included in the band. Therefore, in Bayer CFA, interpolation accuracy increases by setting a wide band of C 1 including G. However, if the bands of C 1 and C 2 are different, a false color is generated around the color boundary.
また、高感度撮影時には、色差の帯域を狭く設定することにより画質が良くなる。ノイズは概ね赤−緑成分が大きく、BayerCFAでは、C1のノイズの方がC2のノイズより大きくなる。しかし、BayerCFAの色差成分としては、C1の帯域がC2より広い。したがって、所定量以上のノイズを含む場合には、C1とC2の帯域をほぼ同じになるように設定するとよい。また、R−BayerCFAとB−BayerCFAは偏りがちであり、BayerCFAが最も優れていることがわかった。 In high-sensitivity shooting, the image quality is improved by narrowing the color difference band. Noise generally has a large red-green component, and in Bayer CFA, C 1 noise is larger than C 2 noise. However, as the color difference components of BayerCFA, band C 1 is larger than C 2. Therefore, when noise of a predetermined amount or more is included, it is preferable to set the bands of C 1 and C 2 to be substantially the same. Further, it was found that R-Bayer CFA and B-Bayer CFA tend to be biased, and Bayer CFA is most excellent.
例えば色温度の低い電球のような光源では短波長のエネルギーが小さいため、CFA画像で取得されるRGB成分のうちB成分のノイズが多くなる。この場合には、BayerCFAではC2のノイズが多くなることが予想される。従って、撮影光源に応じてフィルターの通過帯域を設定してもよい。 For example, a light source such as a light bulb having a low color temperature has a short wavelength energy, so that noise of the B component among RGB components acquired from the CFA image increases. In this case, it is expected that C 2 of the noise in BayerCFA increases. Therefore, the pass band of the filter may be set according to the photographing light source.
1…デジタルカメラ、2…撮影レンズ、4…カラーフィルター、6…イメージセンサー、8…画像処理部、9…撮影条件取得部、10…記録部、12…ホワイトバランス処理部、14…第1階調処理部、16…補間処理部、18…第1色変換処理部、20…第2階調処理部、22…第2色変換処理部、24…エッジ強調処理部、26…圧縮処理部。
DESCRIPTION OF
Claims (14)
前記カラーイメージセンサーにおける撮影条件を取得する撮影条件取得手段と、
前記撮影条件に応じて周波数帯域の分割を変更する帯域分割設定手段と、
前記カラーフィルター画像の周波数帯域を分割して輝度及び複数の色差成分を抽出する抽出手段と、
前記輝度及び前記複数の色差成分を用いて所定の色成分に色変換する色変換手段と、
を備えること特徴とする画像処理装置。 Data interpolation of the color filter image obtained by detecting one color component of a plurality of color components at each pixel by a color image sensor in which a plurality of color filters having different transmission characteristics are arranged in front of the image sensor. In the image processing apparatus to perform,
Shooting condition acquisition means for acquiring shooting conditions in the color image sensor;
Band division setting means for changing the frequency band division according to the photographing conditions;
Extracting means for dividing the frequency band of the color filter image to extract luminance and a plurality of color difference components;
Color conversion means for performing color conversion into a predetermined color component using the luminance and the plurality of color difference components;
An image processing apparatus comprising:
前記帯域分割設定手段は、前記ノイズ量が多い程、前記色差成分を抽出する前記周波数帯域を狭く設定することを特徴とする請求項1記載の画像処理装置。 The shooting condition is a noise amount of an image,
The image processing apparatus according to claim 1, wherein the band division setting unit sets the frequency band from which the color difference component is extracted narrower as the amount of noise increases.
前記帯域分割設定手段は、前記解像度が低い程、前記色差成分を抽出する前記周波数帯域を広く設定することを特徴とする請求項1記載の画像処理装置。 The photographing condition is a resolution of the photographing lens,
The image processing apparatus according to claim 1, wherein the band division setting unit sets the frequency band for extracting the color difference component wider as the resolution is lower.
前記帯域分割設定手段は、前記画像が合焦している程、前記色差成分を抽出する前記周波数帯域を狭く設定することを特徴とする請求項1記載の画像処理装置。 The shooting condition is focusing information of an image,
The image processing apparatus according to claim 1, wherein the band division setting unit sets the frequency band for extracting the color difference component to be narrower as the image is in focus.
前記帯域分割設定手段は、前記彩度が低い程、前記色差成分を抽出する前記周波数帯域を狭く設定することを特徴とする請求項1記載の画像処理装置。 The shooting condition is image saturation,
The image processing apparatus according to claim 1, wherein the band division setting unit sets the frequency band for extracting the color difference component to be narrower as the saturation is lower.
前記帯域分割設定手段は、前記分光感度のチャンネル間の重なりが大きい程、前記色差成分を抽出する前記周波数帯域を狭くすることを特徴とする請求項1記載の画像処理装置。 The photographing condition is a spectral sensitivity of the image sensor,
The image processing apparatus according to claim 1, wherein the band division setting unit narrows the frequency band for extracting the color difference component as the overlap between the spectral sensitivity channels increases.
前記帯域分割設定手段は、より多く検出される前記色成分の情報を含む前記色差成分を抽出する前記周波数帯域を広く設定することを特徴とする請求項1記載の画像処理装置。 The photographing condition is information of each color component in each pixel detected by the color image sensor,
The image processing apparatus according to claim 1, wherein the band division setting unit sets a wide frequency band for extracting the color difference component including information of the color component detected more frequently.
前記帯域分割設定手段は、より多く検出される前記色成分の情報を含む前記色差成分を抽出する前記周波数帯域を広く、前記ノイズ量がより多い前記色差成分を抽出する前記周波数帯域を狭く設定することを特徴とする請求項1記載の画像処理装置。 The shooting condition is information of each color component and the amount of noise of an image in each pixel detected by the color image sensor,
The band division setting means sets the frequency band for extracting the color difference component including the information of the color component detected more frequently, and sets the frequency band for extracting the color difference component having a larger amount of noise narrower. The image processing apparatus according to claim 1.
前記カラーイメージセンサーにおける撮影条件を取得するステップと、
前記撮影条件に応じて周波数帯域の分割を変更するステップと、
前記カラーフィルター画像の周波数帯域を分割して輝度及び複数の色差成分を抽出するステップと、
前記輝度及び前記複数の色差成分を用いて所定の色成分に色変換するステップと、
を含むことを特徴とする画像処理プログラム。 Data interpolation of the color filter image obtained by detecting one color component of a plurality of color components at each pixel by a color image sensor in which a plurality of color filters having different transmission characteristics are arranged in front of the image sensor. An image processing program applied to an image processing apparatus to perform,
Acquiring shooting conditions in the color image sensor;
Changing the division of the frequency band according to the shooting conditions;
Dividing the frequency band of the color filter image to extract luminance and a plurality of color difference components;
Performing color conversion to a predetermined color component using the luminance and the plurality of color difference components;
An image processing program comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010005677A JP5454156B2 (en) | 2010-01-14 | 2010-01-14 | Image processing apparatus, imaging apparatus, and image processing program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010005677A JP5454156B2 (en) | 2010-01-14 | 2010-01-14 | Image processing apparatus, imaging apparatus, and image processing program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011146893A JP2011146893A (en) | 2011-07-28 |
JP5454156B2 true JP5454156B2 (en) | 2014-03-26 |
Family
ID=44461363
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010005677A Active JP5454156B2 (en) | 2010-01-14 | 2010-01-14 | Image processing apparatus, imaging apparatus, and image processing program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5454156B2 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013031081A1 (en) * | 2011-08-30 | 2013-03-07 | シャープ株式会社 | Signal processing device, signal processing method, solid-state imaging device, electronic information device, signal processing program, and computer readable recording medium |
JP6842691B2 (en) * | 2017-01-20 | 2021-03-17 | 学校法人成蹊学園 | Color image sensor, color image imager, and color image imager |
JP7022544B2 (en) * | 2017-09-13 | 2022-02-18 | キヤノン株式会社 | Image processing equipment and methods, and imaging equipment |
CN116391202B (en) * | 2022-08-11 | 2024-03-08 | 上海玄戒技术有限公司 | Image noise reduction method, device and chip |
-
2010
- 2010-01-14 JP JP2010005677A patent/JP5454156B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2011146893A (en) | 2011-07-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9160935B2 (en) | Sensor arrangement for transforming color space representation in a digital color image | |
JP5206796B2 (en) | Image input device | |
US8467088B2 (en) | Image signal processing apparatus, imaging apparatus, image signal processing method and computer program | |
US7400332B2 (en) | Hexagonal color pixel structure with white pixels | |
US8736723B2 (en) | Image processing system, method and program, including a correction coefficient calculation section for gradation correction | |
US8081239B2 (en) | Image processing apparatus and image processing method | |
JP5672776B2 (en) | Image processing apparatus, image processing method, and program | |
US9055178B2 (en) | Single-shot high dynamic range imaging | |
KR20040066051A (en) | Weighted gradient based and color corrected interpolation | |
CN104756488B (en) | Signal processing device and signal processing method | |
JP4936686B2 (en) | Image processing | |
US10237519B2 (en) | Imaging apparatus, imaging system, image generation apparatus, and color filter | |
Zhang et al. | Estimation of saturated pixel values in digital color imaging | |
JP5454156B2 (en) | Image processing apparatus, imaging apparatus, and image processing program | |
GB2456492A (en) | Image processing method | |
WO2015133130A1 (en) | Video capturing device, signal separation device, and video capturing method | |
US9401006B2 (en) | Image processing apparatus, image processing method, and storage medium | |
JP7278096B2 (en) | Image processing device, image processing method, and program | |
Alleysson et al. | Influence of spectral sensitivity functions on color demosaicing | |
JP5494249B2 (en) | Image processing apparatus, imaging apparatus, and image processing program | |
US20060092440A1 (en) | Human visual system based design of color signal transformation in a color imaging system | |
JP2012065069A (en) | Defect detection and compensation apparatus, program and storage medium | |
JP2009284010A (en) | Image processor, imaging device, and image processing method | |
JP6842691B2 (en) | Color image sensor, color image imager, and color image imager | |
JP2011055280A (en) | Image processing apparatus, image processing method and electronic camera |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130110 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131108 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131210 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131223 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5454156 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |