JP2009290599A - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP2009290599A JP2009290599A JP2008141456A JP2008141456A JP2009290599A JP 2009290599 A JP2009290599 A JP 2009290599A JP 2008141456 A JP2008141456 A JP 2008141456A JP 2008141456 A JP2008141456 A JP 2008141456A JP 2009290599 A JP2009290599 A JP 2009290599A
- Authority
- JP
- Japan
- Prior art keywords
- color
- signal
- color conversion
- pixel
- interpolation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims description 17
- 238000006243 chemical reaction Methods 0.000 claims abstract description 198
- 238000000034 method Methods 0.000 claims description 63
- 230000008569 process Effects 0.000 claims description 58
- 239000003086 colorant Substances 0.000 claims description 23
- 238000003672 processing method Methods 0.000 claims description 4
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims 1
- 239000011159 matrix material Substances 0.000 abstract description 13
- 230000002542 deteriorative effect Effects 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 15
- 230000003595 spectral effect Effects 0.000 description 5
- 230000014509 gene expression Effects 0.000 description 4
- 238000009826 distribution Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 101710171187 30S ribosomal protein S10 Proteins 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2209/00—Details of colour television systems
- H04N2209/04—Picture signal generators
- H04N2209/041—Picture signal generators using solid-state devices
- H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
- H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
- H04N2209/046—Colour interpolation to calculate the missing colour values
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Spectroscopy & Molecular Physics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
【課題】色変換処理において、解像度を低下させることなく偽色を抑える。
【解決手段】CCD14から読み出される色信号を、色変換処理部20において色変換処理し、単色の色変換信号を画素ごとに生成する。そして、補間処理部22では、相関補間処理によって、色要素R,G,Bに応じた色変換信号を画素ごとに生成する。色変換処理のとき、対象画素の欠落する色信号を隣接画素の色信号によって補間し、sRGB空間に基づいたマトリクス係数を、自身の色信号および補間による色信号にそれぞれ乗じる。
【選択図】図1
【解決手段】CCD14から読み出される色信号を、色変換処理部20において色変換処理し、単色の色変換信号を画素ごとに生成する。そして、補間処理部22では、相関補間処理によって、色要素R,G,Bに応じた色変換信号を画素ごとに生成する。色変換処理のとき、対象画素の欠落する色信号を隣接画素の色信号によって補間し、sRGB空間に基づいたマトリクス係数を、自身の色信号および補間による色信号にそれぞれ乗じる。
【選択図】図1
Description
本発明は、撮像素子から読み出される画素信号に基いてカラー画像を生成する撮像装置に関し、特に、単板式撮像素子の使用時に行われる色の補間処理に関する。
単板式撮像素子を備えたデジタルカメラなどでは、カラーフィルタが撮像素子の受光面に配置されている。例えば、ベイヤー型カラーフィルタの場合、R,G,Bの色要素がモザイク状に配列され、各画素(受光素子)は、R,G,Bいずれかの色要素を通過した光を受光する。各画素には単色の色情報しか存在しないため、デモゼイシング(demosaicing)と言われる色補間処理を行い、欠落した色情報を周辺画素から補う。
色補間方法としては、単純に隣接画素の色信号の平均値を算出する方法、隣接画素の中で相関関係の強い画素を使って補間処理する方法など、様々な色補間方法が提案されている(特許文献1〜3参照)。そこでは、偽色を低減するとともに、画像の鮮明度(解像度)を維持するように、色補間処理が行われる。
特開2006−135919号公報
特開2006−191607号公報
特開2002−223451号公報
一般に、偽色の発生と画像の鮮明度はトレードオフ関係にある。隣接画素の平均値算出といった色補間処理では、偽色が抑えられる反面、ローパスフィルタリングによってコントラスト、解像度が低下する。一方、対象画素から離れた画素を利用する複雑な補間処理では、解像度が向上する反面、偽色が生じやすい。
また、sRGBなどの色空間に基づくカラーバランスのとれた画像信号を得るため、補間処理によって得られた色信号は、カラーマトリクスによって色変換処理される。このとき、補間処理によって得られた色信号を色変換するため、色変換処理を行うときにローパスフィルタリングの機能が働き、解像度がさらに低下する。また、偽色の発生する画素が、マトリクス変換によって広がっていく。
本発明の撮像装置は、偽色の抑制と解像度の向上を両方実現可能な撮像装置である。撮像装置は、3もしくは4色の色要素をモザイク状に配列させたカラーフィルタを有する撮像素子を備える。例えば撮像素子は、カラーフィルタが、赤(R),緑(G),青(B)の色要素によって構成され、あるいは、カラーフィルタが、赤(R),青(B),そして緑(G)に応じた2色の色要素(Y、C)によって構成される。4色の場合、スペクトル分布がおよそ等間隔に並ぶような4つの色要素によって構成すればよい。被写体像が撮像素子に形成されると、一連の画素信号が読み出される(以下、各色要素の種類に従う画素信号を色信号という)。
本発明の撮像装置は、各画素の色信号に対して色変換処理を施し、単色の色変換信号を生成する色変換処理手段と、各画素の欠落する色変換信号を、周辺画素の色変換信号によって補間する色補間処理手段とを備える。そして、色変換処理手段は、対象画素の欠落する色信号を近傍画素の色信号に基づいて補間し、対象画素の色信号および補間した色信号に対して色変換係数を乗じることにより、単色の色変換信号を生成する。ここでの色変換係数は、色空間に基づいて定められる。
ここでの周辺画素は、近傍画素よりも範囲の広い領域にある画素を表す。また、近傍画素は、上下左右、あるいは斜め方向に隣接する画素、あるいはそれ以上の一定距離範囲内にある画素を表す。色変換処理手段は、色空間に従ってカラーバランス調整された色変換信号を生成する。色空間としては、測色学的に規格化された色空間、例えばXYZ系、L*a*b*空間、L*u*v*空間、sRGB空間などが適用される。例えば色変換処理手段は、色変換処理によって、R,G,Bなど3つ種類の中でいずれかの色変換信号を画素毎に生成する。
本発明では、色変換処理によって単色の色変換信号を生成し、その後、欠落する色変換信号、すなわち対象画素の色要素では得られない色変換信号を補間する。対応する色要素の色信号しか色変換処理を行わないため、補間した色信号の色変換処理による偽色の広がりが防止される。また、色変換処理において暫定的に色信号を補間生成しているが、近傍画素による補間であるため、偽色の発生が抑えられる。そして、カラーバランス調整された色変換信号に対して周辺画素を用いた高度な補間処理を行うことによって、高解像度の画像が復元される。また、単色の色変換信号しか生成しないため、メモリへ一時的に格納する信号データが抑えられる。
補間する色信号に起因して偽色が顕著にならないようにするため、色変換処理手段が、隣接画素の色信号に基づく補間処理によって色信号を補間するのがよい。例えば色変換処理手段は、隣接画素の色信号平均を算出する。
一方、高解像度の画像を復元するため、色補間処理手段は、近傍画素の中で相関関係の相対的に強い画素の色変換信号に基づいて補間処理するのが望ましい。例えば、色補間処理手段は、隣接画素の中で相関関係の相対的に強い画素の色差信号を、その隣接画素の色変換信号および該隣接画素の近傍画素の色変換信号によって算出し、対象画素の色変換信号および算出した色差信号Cb、Crによって欠落する色変換信号を補間する。あるいは、色補間処理手段が、隣接画素の色変換信号平均を算出してもよい。
本発明の色変換処理装置は、3もしくは4色の色要素をモザイク状に配列させたカラーフィルタを有する撮像素子用の色変換処理装置であって、対象画素の欠落する色信号を近傍画素の色信号に基づいて補間する暫定色信号生成手段と、各画素の色信号および補間した色信号に対して色変換処理を施し、単色の色変換信号を画素ごとに生成する色変換処理手段とを備え、色変換処理手段が、対象画素の色信号および補間した色信号に対して色変換係数を乗じることにより、単色の色変換信号を生成することを特徴とする。
本発明の色変換処理方法は、3もしくは4色の色要素をモザイク状に配列させたカラーフィルタを有する撮像素子を使用する時の色変換処理方法であって、対象画素の欠落する色信号を近傍画素の色信号に基づいて補間し、各画素の色信号および補間した色信号に対して色変換処理を施し、単色の色変換信号を画素ごとに生成する方法であって、色変換処理手段が、対象画素の色信号および補間した色信号に対して色変換係数を乗じることにより、単色の色変換信号を生成する。
本発明によれば、色変換処理において、解像度を低下させることなく偽色を抑えることができる。
以下では、図面を参照して、本発明の実施形態であるデジタルスチルカメラについて説明する。
図1は、第1の実施形態におけるデジタルカメラのブロック図である。図2は、カラーフィルタ配列を示した図である。
デジタルカメラ10は、撮影光学系12およびCCD14を備え、コントローラ16がカメラの動作を制御する。レリーズボタン(図示せず)が操作されると、以下に示す撮影動作が実行される。
被写体からの光は、撮影光学系12、シャッタ(図示せず)を通ってCCD14に到達し、これにより被写体像がCCD14の受光面に形成される。撮像方式として単板同時式が適用され、CCD14の受光面には、R,G,Bの色要素をモザイク状に配列させたカラーフィルタ13が設けられている。
図2に示すように、カラーフィルタ13は、3つの色要素R,G,Bをベイヤー配列させたフィルタであり、CCD14の各画素の上にR,G,Bいずれかの色要素が配置されている。また、カラーフィルタ13は、互いに隣接する4つの色要素R,G,B,GをブロックBとして構成される基本ベイヤー型であり、奇数ラインではR,G、偶数ラインではB,Gが交互に並び、RとBが対角線方向に沿って交互に並ぶ。例えば色要素Rに応じた画素Pijの上下左右には、色要素Gに応じた画素が隣接し、対角線方向には色要素Bに応じた画素が隣接する。
CCD14では、カラーフィルタ13の各色要素に応じてアナログ画素信号が発生し、コントローラ16からの駆動信号に従って1フレーム分の画素信号が読み出される(以下では、各画素において生成される画素信号を色信号という)。読み出された一連の色信号(RAWデータ)は、初期回路18においてデジタル信号に変換され、DSP(Digital Signal Processor)によって構成された画像信号処理回路19の色変換処理部20へ送られる。
色変換処理部20では、各画素の色信号に対して色変換処理が行われる。ここでは、後述するように、対象画素に隣接する画素の色信号によって欠落する色信号(暫定色信号)を補間した上で、単色の色変換信号を生成する。画素毎に生成された単色の色変換信号(Rc、Gc、もしくはBc)は、補間処理部22へ送られる。
補間処理部22では、一時的にメモリ(図示せず)に格納されたRc、Gc、Bc色変換信号に対し、色補間処理が実行される。これにより、欠落していた色変換信号も含め、Rs、Gs、Bs、3つの色変換信号が画素ごとに出力される。
後段信号処理回路24では、Rs、Gs、Bsの色変換信号に対し、ホワイトバランス(ゲイン)処理、γ補正、輪郭強調、階調変換などの処理が施される。その結果、カラー画像データが生成され、メモリカード28へ記憶される。CPU、ROM、RAMを含むコントローラ16は、レリーズボタンに対する操作を検出し、CCD14、画像信号処理回路19などの回路へ制御信号を出力する。
図3は、色変換処理および色補間処理のフローを示した図である。以下では、色変換処理、補間処理のフローを説明する。
色変換処理部20では、各画素の色信号を、色空間に基づいてカラーバランス調整する(S101)。このとき、カラーバランス調整の演算を行うため、対象画素に欠落している色信号を隣接画素の色信号によって暫定的に補間し、色要素R,G,Bに応じた3つの色信号に対するカラーマトリクス演算を行うことによって、単色の色変換信号を算出する。
例えば、色変換対象画素に対応する色要素がRの場合、上下左右に隣接する4つの画素のG信号の平均値をGの色信号(暫定色信号)として補間し、対角線方向に隣接する4つの画素のB信号平均値をBの色信号として補間する(以下、このような隣接画素の平均を算出する補間処理を、単純補間処理という)。そして、色空間に基づいたマトリクス係数(色変換係数)をR,G,B色信号に乗じる。
図4は、CCD14から読み出される色信号を5×5の画素配列に合わせて示した図である。図4には、画素P1〜P25から得られる色要素R、G、もしくはBに応じた色信号を、配列順の番号を付けて表している。例えば、次式に示すように、画素P13の色信号R13に対する色変換処理によって、色変換信号Rc13が求められる。次式に示す1×3マトリクスの各マトリクス係数の値は、sRGB空間に基づいて定められている。
(1)式のG’13は、上下左右に隣接する画素(P8、P12、P14、P18)のG信号(G8、G12、G14、G18)の平均値によって表される。また、B’13は、斜め方向に隣接する画素(P7、P9、P17、P19)のB信号(B7、B9、B17、B19)の平均値をもつ。
一方、色変換対象画素が色要素Gの画素である場合、上下および左右に隣接する色要素Rの画素、色要素Bの画素に基づいて単純補間処理を行い、R,Bの暫定色信号を定める。そして、Gの色信号およびR,Bの暫定色信号に対してカラーマトリクス演算が行われる。例えば、画素P14の場合、次式によって色変換信号Gc14が算出される。
また、色変換対象画素が色要素Bの画素の場合、上下左右に隣接する4つの画素のG信号に基づいて単純補間処理を行い、対角線方向に隣接する4つの画素のR信号に対して単純補間処理を行う。そして、自身の色要素Bの色信号および色要素R,Gの暫定色信号に対してカラーマトリクス演算が行われる。例えば、画素P19の場合、次式によって色変換信号Bc19が算出される。
(1)〜(3)式の各マトリクスは、同じ色要素の画素に対する色変換処理にも使用される。
図5は、色変換信号を5×5の画素配列に合わせて示した図である。各画素には、色要素R,G,Bいずれか1つに応じた色変換信号だけが算出されている。例えば、画素P13の場合、色変換信号Rc13しか存在しない。補間処理部22では、各画素の色変換信号に対して補間処理が行われ、色要素R,G,Bに応じた3つの色変換信号が生成される。ここでは、近傍画素の中で相関関係の相対的に強い画素の色変換信号に基づいた補間処理(以下、相関補間処理という)を行う。
図6は、画素P13に対するGの補間処理に使用される色変換信号を画素配列に合わせて示した図である。図7は、画素P13に対するBの補間処理に使用される色変換信号を画素配列に合わせて示した図である。図6、7を用いて、画素P13に対する相関補間処理について説明する。
画素P13の場合、色要素Rの色変換信号Rc13がそのまま出力される色変換信号Rs13として設定される一方、色要素B、Gに応じた色変換信号Rs13、Rs13が相関補間処理によって生成される(図3のS102、S103)。
まず、上下左右方向に隣接する4つの画素(P8、P12、P14、P18)の色変換信号Gc8、Gc12、Gc14、Gc18に基づいて、対象画素P13に対する上下方向、左右方向(2方向)の相関関係を比較する。具体的には、上下方向に沿った色変換信号Gc8、Gc18の差ΔGv(=|Gc8−Gc18|)と、左右方向に沿った色変換信号Gc12、Gc14の差ΔGh(=|Gc12−Gc14|)とが比較される。
そして、相関関係に基づき、新たな色変換信号Gs13が以下の式によって求められる。すなわち、ΔGv<ΔGhの場合、上下方向に沿って相関関係が強いと判断され、上下方向の色変換信号Gc8、Gc18の平均を、新たな色変換信号Gs13として定める。一方、左右方向に沿って相関関係が強い場合(ΔGv≧ΔGh)、色変換信号Gc12、Gc14の平均を色変換信号Gs13とする。
色要素Gに応じた色変換信号Gs13を算出すると、今度は、色要素Bに応じた色変換信号Bs13を新たに算出する。色要素Bに応じた隣接画素P7、P9、P17、P19は、画素P13に対して対角線方向にある。ここでは、画素P13を中心とした上方向、下方向、左方向、右方向(4方向)の相関関係を、色情報が多いGの色変換信号を使って比較する(図7参照)。その後、輝度、色差信号(Y、Cb、Cr)とR,G,B信号との色空間に基づく関係式によって、色変換信号Bs13を算出する。
まず、(4)式によって算出された色変換信号Gs13と、上下左右方向に沿った隣接画素の色変換信号Gc8、Gc12、Gc14、Gc18との差を、以下の式によってそれぞれ求める。ΔGvu、ΔGvb、ΔGhl、ΔGhrは、それぞれ上、下、左、右の隣接画素の色変換信号との差を表す。
算出された差ΔGvu、ΔGvb、ΔGhl、ΔGhrの大きさを比較することによって、相関関係の最も強い方向(隣接画素)を判断する。すなわち、差を最小にする隣接画素が、補間処理に用いる画素として選ばれる。
例えば、差ΔGhlが最小、すなわち左隣の画素P12の色変換信号Gc12が最も相関関係の強い場合、以下の式によって新たな色変換信号Bs13が求められる。
(6)式は、sRGB空間の色域によって求められる輝度、色差信号(Y、Cb、Cr)とR,G,B信号との関係式に基づく。そこでは、隣接画素P12における色差信号Cb(=(B−Y)/1.772)、Cr(=(R−Y)/1.402)を求め、新たな色変換信号Bs13を、色変換信号Rs13、および色差信号Cb、Crによって算出する。
(6)式に示すように、隣接画素P7、P17の色変換信号Bc7、Bc17および隣接画素P11、P13の色変換信号Rc11、Rc13による補間処理によって、画素P12の欠落する色変換信号R’c12、B’c12を生成する。
一方、右隣、上隣、下隣に関する差ΔGhr、ΔGvu、ΔGvbいずれかかが最小である場合、それぞれ以下の式によって色変換信号Rs13が算出される。
図6、図7では、色要素Rの画素P13に対する色補間処理を例示したが、色要素Bに応じた画素(P7など)についても、同様な補間処理が行われる。すなわち、初めに上下方向、もしくは左右方向に沿った相関関係の強い色要素Gの隣接画素によって、色変換信号Gsを求めるための補間処理を行う。次に、色要素Gに関して相関関係の強い上、下、左、又は右隣の画素の暫定色変換信号R’c、B’cと、輝度、色差信号Cb、Crに基づいて、色変換信号Rsを算出する。一方、色要素Gに応じた画素を補間対象とする場合、上下、左右にR,Bに応じた画素が隣接することから、その平均値を色変換信号Rs、Bsとして定める。
このような色補間処理が各画素に対して実行されることによって、画像全体の色変換信号Rs、Gs、Bsが生成される。
このように第1の実施形態によれば、CCD14から読み出される色信号は、色変換処理部20において色変換処理され、単色の色変換信号が画素ごとに生成される。そして、補間処理部22では、相関補間処理によって、色要素R,G,Bに応じた色変換信号が画素ごとに生成される。色変換処理のとき、対象画素の欠落する色信号が隣接画素の色信号によって補間され、sRGB空間に基づいたマトリクス係数が、自身の色信号および補間された色信号にそれぞれ乗じられる。
色変換処理において、隣接画素の色信号から暫定的色信号を補間し、その後色変換処理を行っているため、偽色が発生しにくい。これにより、色変換処理後に偽色の画素が広がるのを抑えることができる。一方、カラーバランス調整された色変換信号に対しては、補間処理ではなく、CCD14から読み出された色信号による色変換信号を使って相関補間処理を行う。そのため、偽色を抑えながらジッパーノイズなど解像度を低下させる現象を抑えることができ、鮮明度の高い高解像度画像を得ることができる。
従来の補間処理と本実施形態による補間処理とを比較するため、偽色の発生および解像度性能を確かめた。以下、図8、図9を用いて比較結果を説明する。
図8は、CZPチャートを使った偽色発生の程度を示したグラフである。CZPチャートを使って現れるイメージをL*a*b*空間の色に変換し、その像における色差a*、b*のヒストグラム表示した後、色差a*、b*の標準偏差as、bsの平均値を算出している。
ここでは、比較のために3種類の色変換・補間処理(A)、(B)、(C)行っている。色変換・補間処理(A)、(B)では、本実施形態と異なり、補間処理を最初に実行し、その後に色変換処理を行う。特に、色変換・補間処理(A)では、単純補間処理を実行し、色変換・補間処理(B)では、相関補間処理を実行する。色変換・補間処理(C)では、上述したように、色変換処理を最初に行い、その後相関補間処理を行う。
色差a*、b*の標準偏差as、bsは、チャートの像に出現する色のバラツキの程度を表す。赤〜緑色が多く出現する場合、標準偏差asの値が大きくなり、青〜黄色が多く出現する場合、標準偏差bsの値が大きくなる。ここでは、色のバラツキの程度を偽色の評価値と定め、標準偏差as、bsの平均値が小さいほど、偽色が少ないとみなす。
図8に示すように、従来の色変換・補間処理(A)、(B)による標準偏差as、bsの平均値に比べ、本実施形態による標準偏差as、bsの平均値の方が小さい。このことは、本実施形態による色変換・補間処理の方が偽色の発生が抑えられることを示している。
図9は、くさびチャートを用いた解像度性能のグラフを示した図である。くさびチャートは、ISO12233に基づいた解像度チャートであり、評価画像は、縦480画素、横640画素である。図9では、解像度の限界本数(ライン数)が色変換・補間処理(A)〜(C)ごとに表されている。本実施形態による色変換・補間処理(C)は、従来の色変換・補間処理(A)、(B)に比べて解像度が高い。
このような比較から明らかなように、本実施形態による色変換・補間処理は、偽色の発生を抑制するとともに、解像度の高い画像を復元することができる。
なお、色補間処理では、相関補間処理ではなく、単純補間処理を実行してもよい。例えば、画素P13の場合、以下の式によって色変換信号Rs13、Gs13、Bs13が求められる。
次に、図10〜図13を用いて、第2の実施形態であるデジタルカメラについて説明する。第2の実施形態では、4色の色要素から成るカラーフィルタが用いられる。それ以外の構成については、第1の実施形態と実質的に同じである。
図10は、第2の実施形態であるデジタルカメラのブロック図である。図11は、カラーフィルタの配列を示した図である。図12は、カラーフィルタの分光透過特性を示した図である。
デジタルカメラ10’は、4色のカラーフィルタ13’を配置させたCCD14’を備える。図11に示すように、カラーフィルタ13’は、4種類の色要素R、Y、C、Bをモザイク状に配列させたフィルタであり、各色要素のスペクトルは、ほぼ等間隔で分布する(図12参照)。色要素Cは、色要素Gと色要素Bとのほぼ中間をピークとするスペクトル分布をもち、色要素Yは、色要素Rと色要素Gとのほぼ中間をピークとするスペクトル分布をもつ。
デジタルカメラ10’は、色変換処理部20’と、補間処理部22’とを備える。色変換処理部20’では、第1の実施形態と同様に、対象画素の欠落する色信号を隣接画素の色信号に基づいて補間し、カラーマトリクス演算を行う。この結果、Y,CはGの信号として算出される。
図13は、CCD14’から読み出される色信号を5×5画素配列に合わせて示した図である。例えば、画素P13の場合、色変換信号Rc13は、以下の式によって求められる。
また、画素P14の色変換信号Gc14、画素P18の色変換信号Gc18、画素P19の色変換信号Bc19は、それぞれ以下の式によって求められる。
補間処理部22’では、第1の実施形態と同様の補間処理が施される。すなわち、相関補間処理によって、色要素R,G,Bに応じた色変換信号を生成する。ただし、色信号Y、色信号CをG信号に対応する同色信号とみなす。そして、3色の色変換信号を生成する。なお、相関補間処理の代わりに、(10)式で示すような単純補間処理を行ってもよい。
図14は、CZPチャートによる偽色の発生程度を示すグラフである。図15は、くさびチャートによる解像度を示したグラフである。
第1の実施形態と同様、3つの色変換・補間処理(D)〜(F)について、L*a*b*色空間の標準偏差as、bsの平均と、限界解像度を比較した。色変換・補間処理(D)は、単純補間処理を最初に行い、その後色変換処理を行うものである。色変換・補間処理(E)は、第2の実施形態における色変換・補間処理であって、補間処理部22’において単純補間処理を行う。色変換・補間処理(F)も、第2の実施形態における色変換・補間処理であるが、第2の補間処理部22’では相関補間処理を行う。
図14、図15から明らかなように、色変換・補間処理(E)、(F)は、従来の色変換・補間処理に比べて標準偏差の平均が小さく、限界解像度本数が多い。また、相関補間処理を行う色変換・補間処理(F)の方が偽色の発生を抑え、高解像度を維持することができる。
色変換・補間処理としては、上述した単純補間処理、相関補間処理以外の補間処理を適用してもよい。この場合、色変換処理20’においてカラーマトリクス演算のため補間する(暫定の)色信号については、できるだけ偽色の発生を抑えるように隣接画素あるいは近傍画素を用いて補間処理を行うのがよい。一方、補間処理部22’では、高解像度の画像を復元するように、隣接画素だけでなく周辺画素を利用して補間処理を行うのがよい。
色空間としては、sRGB空間の代わりに、YUV空間など他の色空間を適用してもよい。カラーフィルタは、R,G,B原色フィルタに限定されず、補色フィルタを用いてもよい。
補間処理については、プログラムによるソフトウェアによって実行するように構成してもよい。また、携帯電話や内視鏡など、デジタルカメラ以外の撮像装置に適用してもよい。
10 デジタルカメラ
13 カラーフィルタ
14 CCD(撮像素子)
20 色変換処理部
22 補間処理部
13 カラーフィルタ
14 CCD(撮像素子)
20 色変換処理部
22 補間処理部
Claims (11)
- 3もしくは4色の色要素をモザイク状に配列させたカラーフィルタを有する撮像素子と、
各画素の色信号に対して色変換処理を施し、単色の色変換信号を生成する色変換処理手段と、
各画素の欠落する色変換信号を、周辺画素の色変換信号によって補間する色補間処理手段とを備え、
前記色変換処理手段が、対象画素の欠落する色信号を近傍画素の色信号に基づいて補間し、対象画素の色信号および補間した色信号に対して色変換係数を乗じることにより、前記単色の色変換信号を生成することを特徴とする撮像装置。 - 前記色変換処理手段が、隣接画素の色信号に基づく補間処理によって色信号を補間することを生成することを特徴とする請求項1に記載の撮像装置。
- 前記色変換処理手段が、隣接画素の色信号平均を算出することを特徴とする請求項2に記載の撮像装置。
- 前記色補間処理手段が、近傍画素の中で相関関係の相対的に強い画素の色変換信号に基づいて補間処理することを特徴とする請求項1に記載の撮像装置。
- 前記色補間処理手段が、隣接画素の中で相関関係の相対的に強い画素の色差信号を、その隣接画素の色変換信号および該隣接画素の近傍画素の色変換信号によって算出し、対象画素の色変換信号および算出した色差信号Cb、Crによって欠落する色変換信号を補間することを特徴とする請求項4に記載の撮像装置。
- 前記色補間処理手段が、隣接画素の色変換信号平均を算出することを特徴とする請求項1に記載の撮像装置。
- 前記カラーフィルタが、赤(R),緑(G), 青(B)の色要素によって構成されることを特徴とする請求項1乃至6に記載の撮像装置。
- 前記カラーフィルタが、赤(R),青(B), そして緑(G)に応じた2色の色要素(Y、C)によって構成されることを特徴とする請求項1乃至6に記載の撮像装置。
- 前記色変換処理手段が、画素毎に3つの種類のいずれかの色変換信号を生成することを特徴とする請求項1乃至8のいずれかに記載の撮像装置。
- 3もしくは4色の色要素をモザイク状に配列させたカラーフィルタを有する撮像素子用の色変換処理装置であって、
対象画素の欠落する色信号を近傍画素の色信号に基づいて補間する暫定色信号生成手段と、
各画素の色信号および補間した色信号に対して色変換処理を施し、単色の色変換信号を画素ごとに生成する色変換処理手段とを備え、
前記色変換処理手段が、対象画素の色信号および補間した色信号に対して色変換係数を乗じることにより、前記単色の色変換信号を生成することを特徴とする色変換処理装置。 - 3もしくは4色の色要素をモザイク状に配列させたカラーフィルタを有する撮像素子を使用する時の色変換処理方法であって、
対象画素の欠落する色信号を近傍画素の色信号に基づいて補間し、
各画素の色信号および補間した色信号に対して色変換処理を施し、単色の色変換信号を画素ごとに生成する方法であって、
前記色変換処理手段が、対象画素の色信号および補間した色信号に対して色変換係数を乗じることにより、前記単色の色変換信号を生成することを特徴とする色変換処理方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008141456A JP2009290599A (ja) | 2008-05-29 | 2008-05-29 | 撮像装置 |
US12/472,607 US20090295939A1 (en) | 2008-05-29 | 2009-05-27 | Imaging device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008141456A JP2009290599A (ja) | 2008-05-29 | 2008-05-29 | 撮像装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009290599A true JP2009290599A (ja) | 2009-12-10 |
Family
ID=41379300
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008141456A Pending JP2009290599A (ja) | 2008-05-29 | 2008-05-29 | 撮像装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20090295939A1 (ja) |
JP (1) | JP2009290599A (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8698885B2 (en) * | 2011-02-14 | 2014-04-15 | Intuitive Surgical Operations, Inc. | Methods and apparatus for demosaicing images with highly correlated color channels |
JP6008812B2 (ja) * | 2013-09-27 | 2016-10-19 | 富士フイルム株式会社 | 内視鏡システム及びその作動方法 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6243133B1 (en) * | 1997-03-07 | 2001-06-05 | Eastman Kodak Company | Method for automatic scene balance of digital images |
US6563538B1 (en) * | 1997-09-26 | 2003-05-13 | Nikon Corporation | Interpolation device, process and recording medium on which interpolation processing program is recorded |
US6392699B1 (en) * | 1998-03-04 | 2002-05-21 | Intel Corporation | Integrated color interpolation and color space conversion algorithm from 8-bit bayer pattern RGB color space to 12-bit YCrCb color space |
JP3914633B2 (ja) * | 1998-04-16 | 2007-05-16 | 日本電気株式会社 | 色信号処理装置および色信号処理方法 |
US6836572B2 (en) * | 1998-06-01 | 2004-12-28 | Nikon Corporation | Interpolation processing apparatus and recording medium having interpolation processing program recorded therein |
US6809765B1 (en) * | 1999-10-05 | 2004-10-26 | Sony Corporation | Demosaicing for digital imaging device using perceptually uniform color space |
JP3706789B2 (ja) * | 2000-05-12 | 2005-10-19 | キヤノン株式会社 | 信号処理装置及び信号処理方法 |
US7046277B2 (en) * | 2001-01-26 | 2006-05-16 | Pentax Corporation | Image interpolating device, including interpolation and modification processors |
JP2003284084A (ja) * | 2002-03-20 | 2003-10-03 | Sony Corp | 画像処理装置および方法、並びに画像処理装置の製造方法 |
JP4584544B2 (ja) * | 2003-04-11 | 2010-11-24 | 富士フイルム株式会社 | 画像再生装置および固体撮像装置 |
JP2005223897A (ja) * | 2004-01-07 | 2005-08-18 | Pentax Corp | 撮像装置および撮像機能を備えた電子機器 |
US7508431B2 (en) * | 2004-06-17 | 2009-03-24 | Hoya Corporation | Solid state imaging device |
JP5049460B2 (ja) * | 2004-11-09 | 2012-10-17 | イーストマン コダック カンパニー | カラー撮像画像データの補間方法およびプログラム |
KR100721338B1 (ko) * | 2004-12-30 | 2007-05-28 | 엘지전자 주식회사 | 디지털 촬영장치의 색상 보간법 |
US7864235B2 (en) * | 2005-03-30 | 2011-01-04 | Hoya Corporation | Imaging device and imaging method including generation of primary color signals |
JP4874752B2 (ja) * | 2006-09-27 | 2012-02-15 | Hoya株式会社 | デジタルカメラ |
JP5000428B2 (ja) * | 2007-08-22 | 2012-08-15 | Hoya株式会社 | 撮像装置 |
-
2008
- 2008-05-29 JP JP2008141456A patent/JP2009290599A/ja active Pending
-
2009
- 2009-05-27 US US12/472,607 patent/US20090295939A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
US20090295939A1 (en) | 2009-12-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9288454B2 (en) | Color imaging apparatus having color imaging element | |
JP5106870B2 (ja) | 固体撮像素子 | |
US8605164B2 (en) | Image processing apparatus, control method therefor, and storage medium | |
KR101460688B1 (ko) | 화상처리장치 및 그 제어 방법 | |
US8508625B2 (en) | Image processing apparatus | |
US20040141072A1 (en) | Weighted gradient based and color corrected interpolation | |
KR20060052484A (ko) | 화상처리장치 및 화상처리방법과 컴퓨터·프로그램 | |
US8320714B2 (en) | Image processing apparatus, computer-readable recording medium for recording image processing program, and image processing method | |
JP2009290607A (ja) | 撮像装置 | |
JP2011199786A (ja) | 画像処理装置及び画像処理方法並びにプログラム | |
US8773556B2 (en) | Signal processing device, imaging device, and signal processing method for color interpolation | |
JP2010016814A (ja) | 画像処理装置、画像処理方法およびコンピューター読み取り可能な媒体 | |
US8471936B2 (en) | Imaging device and signal processing method | |
JP6282123B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6415093B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2009044676A (ja) | 画像処理装置、画像処理方法及びプログラム | |
US6747698B2 (en) | Image interpolating device | |
JP2009290599A (ja) | 撮像装置 | |
JP2009290568A (ja) | 撮像装置 | |
KR101137037B1 (ko) | 주변의 화소를 이용하여 포화 화소를 보상하는 장치 및 방법 | |
JP2009147762A (ja) | 画像処理装置、画像処理方法、プログラム | |
JP4334150B2 (ja) | 画像補間装置 | |
JP5139350B2 (ja) | 画像処理装置、画像処理方法、撮像装置 | |
JP6862272B2 (ja) | 信号処理装置、信号処理方法およびプログラム | |
JP2013219466A (ja) | 画像処理装置、画像処理方法及びプログラム |