JP2005175830A - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP2005175830A JP2005175830A JP2003412408A JP2003412408A JP2005175830A JP 2005175830 A JP2005175830 A JP 2005175830A JP 2003412408 A JP2003412408 A JP 2003412408A JP 2003412408 A JP2003412408 A JP 2003412408A JP 2005175830 A JP2005175830 A JP 2005175830A
- Authority
- JP
- Japan
- Prior art keywords
- color
- pixel
- interpolation
- color interpolation
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Color Television Image Signal Generators (AREA)
Abstract
【解決手段】CCDセンサ11は、ベイヤ配列の色フィルタの配列パターンに応じて光電変換し、R,G,B各色の色モザイク画像を生成し、画像処理部14は、生成された色モザイク画像の各画素に対して補間処理をする際に、補正処理により1の画素が周囲に生成する色ベクトルの大きさである補間ベクトル量CVを各画素に対して演算し、補間ベクトル量CVの小さい各画素(注目画素)に対して、注目画素の周囲の一定範囲における平均補間ベクトル量と比較し、その差が所定の偽色判定閾値以上の場合には、補間ベクトル量CVを注目画素の周囲の画素の平均補間ベクトル量とするように構成した。
【選択図】図1
Description
この撮像により得られる画像は、各画素が単一の色成分しか有していないため、色に関しては、色フィルタのパターンに応じたモザイク状(市松パターン)の画像(色モザイク画像)となる。色モザイク画像の各画素に対して、当該画素が有していない他の色成分を、周囲の画素を用いて補間することにより、すべての画素がすべての色成分(R,G,B)を有している画像、すなわち、カラー画像を生成するようにしている。
すなわち、従来の補間処理方法においては、補間処理の際に、注目する画素に隣接する画素の信号値のみしか考慮されないので、適切な補間処理を行うことができず、その結果、画素の信号値が大きく変化する境界において、偽色が発生する。
以下、本発明に係る撮像装置の実施形態について、添付図面に関連付けて説明する。
図1は、本実施形態における撮像装置1の全体構成を例示する図である。当該撮像装置1は、大別して光学系、信号処理系、記録系、表示系、および制御系から構成される。
レンズ光学系10は、被写体に対向するレンズを含み、当該レンズにより被写体の光学像を集光して、CCDセンサ11上に被写体の像を結像する。
CCDセンサ11は、RGBのベイヤ配列等のカラーフィルタが設けられた単板式CCDイメージセンサから構成される。なお、カラーフィルタのパターンについては、RGBのベイヤ配列以外であってもよい。
Sampling)であるCDS12と、CDS12が出力するアナログ信号をディジタル信号に変換するA/D変換器13と、A/D変換器13が出力するディジタル信号に対して、後述する所定の画像処理を行う画像処理部14とから構成される。
画像処理部14に入力されるディジタル信号は、上述したCCDセンサ11のカラーフィルタのパターンに応じたRGBの各色毎のモザイク状(市松パターン)の画像データである。
通常の状態では、タイミングジェネレータ17による信号処理系に対する制御により、画像処理部14が内蔵する画像メモリには、一定のフレームレートで絶えず画像信号が上書きされるようになされている。画像処理部14が内蔵する画像メモリの画像信号は、D/A変換器18によってアナログ信号に変換され、対応する画像が表示部19に表示される。
そして、画像処理部14の画像メモリに保持された画像データは、所定の方式により圧縮されてメモリ15に記録される。以上のような撮像装置1の動作によって、1枚の画像データの取り込みが終了する。
補間処理部141は、CCDセンサ11により得られるRGB各色のモザイク状の画像データに基づいて、各画素が有していない色成分を、周囲の画素の色成分を用いて補間する処理を行うことにより、すべての画素がすべての色成分(R,G,B)を有しているカラー画像を生成する。
補間ベクトル量算出部142は、補間処理部141の補間処理により生成された色成分に基づいて、各画素毎に補間ベクトル量CVを生成する。補間ベクトル量CVについては、後述する。
補間ベクトル量調整部143は、補間ベクトル量算出部142により算出された各画素毎の補間ベクトル量CVに基づいて、補間処理部141の補間処理結果を調整し、偽色が除去されたカラー画像を生成する。
以下、画像処理部14において実行される各処理について説明する。
補間処理部141では、CCDセンサ11により得られるRGB各色のモザイク状の画像データに基づいて、各画素がRGBの各色成分を有するカラー画像を生成するための補間処理である。図3は、補間処理部141の補間処理の一例を図示したものであり、(a)はR成分の補間処理を、(b)はG成分の補間処理を、(c)はB成分の補間処理を示す。
補間演算には、たとえば、算出したい画素(G)に隣接する4個の画素(G)の信号値のうち、最大値と最小値を除いた2個の画素の信号値の平均をとる方法(メディアン補間)や、隣接する4個の画素(G)の信号値の平均をとる方法(平均補間)等がある。その他、上記4個の画素(G)と算出したい画素(G)に近接する画素(R,B)に応じた関数により、演算する方法などが知られている。
かかる補間演算により、すべての画素に対するGの信号値が算出される(ステップST3b)。
次に、図3(a)のステップST2aにおいて、ステップST2aにCrを表示していない画素に対して、ステップST2aにCrを表示する画素に基づいて、補間演算を実行することにより、ステップST3aとする。補間演算としては、上述したメディアン補間や平均補間等を適用することができる。
ステップST3aにより、すべての画素に対して色差信号Crが算出されると、補間されたGの信号値(ステップST2b)に基づいて、すべての画素のRの信号値が算出される(ステップST4a)。
次に、図3(c)のステップST2cにおいて、ステップST2cにCbを表示していない画素に対して、ステップST2cにCbを表示する画素に基づいて、補間演算を実行することにより、ステップST3cとする。補間演算としては、上述したメディアン補間や平均補間等を適用することができる。
ステップST3cにより、すべての画素に対して色差信号Cbが算出されると、補間されたGの信号値(ステップST2b)に基づいて、すべての画素のRの信号値が算出される(ステップST4c)。
なお、上述した補間処理は一例であって、その他の公知の補間処理を適用させることができる。たとえば、ステップST2bにおいて、Gの信号値だけでなく、補間対象画素のR,Bの信号値に応じて補間する値を変化させる方法を用いてもよい。
補間ベクトル量CVは、補間処理部141の補正処理により1の画素が周囲に生成する色ベクトルの大きさ(絶対値)であり、補間ベクトル量算出部142は、各画素毎に、補間ベクトル量CVを算出する。具体的には、補間ベクトル量CVを算出する対象の画素(対象画素)に対して、補間処理により隣接する画素に生成する色成分の色差信号Cb(=Y−B),Cr(=Y−R)を、各方向(4方向)毎に算出する。
図4においては、補間ベクトル量CVの演算の対象となる画素を原点として、当該画素に隣接する画素に対して、補間処理により生成する色成分の色差信号Cb,Crを、各方向(4方向)毎に算出された状態を示す(色ベクトルV1〜V4)。
物体の境界の画像など、色の信号値の変化が大きく偽色が発生しやすい領域では、図4に示すように、たとえば、色ベクトルV2と色ベクトルV4は、互いに逆向きであり、かつ、ほぼ同じ大きさとなる。したがって、この場合には、図4に示す円C1の半径Rが補間ベクトル量CVとなる(半径R=max(|V1|, |V2|, |V3|, |V4|) 。
補間ベクトル量調整部143においては、偽色の除去を以下のステップにより行う。
なお、以下の説明では、G成分の色モザイク画像の場合を例として説明するが、他の色成分の色モザイク画像についても同様である。
通常、被写体である物体の境界が画素を縦断する場合等に偽色が発生しやすく、発生する偽色の補間ベクトル量CVの値は小さいものとなる。したがって、偽色の可能性が高い画素のみに対して、以下のステップの処理を行うため、所定の閾値以下の補間ベクトル量CVである画素のみを以下の処理の対象とする。
すなわち、本ステップにおいて、以下の処理のための対象画素を特定する。
ステップ1の処理により特定されたGの画素に対して、その画素の周囲の補間ベクトル量CVの平均値を算出する。
図5は、補間ベクトル量CVの平均値の算出方法を説明するための図である。
図5に示すように、ステップ1の処理により特定されたGの画素のうち、1つの画素を注目画素として、その注目画素の所定の領域(領域n×n)内の同色(図5ではG)の画素に着目する。なお、図5に示す例では、配列の左上を図示のとおり原点にとると、注目画素は、G(54)であり、n=5である。
注目画素の周囲の補間ベクトル量CVの平均値は、下記(1)式で示す通りである。
CV_M=CV_T/N … (1)
但し、
CV_M:領域n×nに含まれるGの画素の補間ベクトル量CVの平均値
CV_T:領域n×nに含まれるGの画素の補間ベクトル量CVの合計値
N:領域n×nに含まれるGの画素の個数
なお、Nの大きさ(注目画素に対する範囲)は、撮像対象等に応じて任意に設定することが可能である。
偽色判定は、注目画素に対して、下記(2)式を判別することにより行う。すなわち、下記(2)式を満足する場合には偽色であると判断し、満足しない場合には偽色ではないと判断する。
CV_A−CV_M≦TH1 … (2)
但し、
CV_A:注目画素の補間ベクトル量CV
TH1:偽色判定閾値
である。
なお、上記偽色判定を、ステップ1において処理の対象とされたすべての画素に対して、注目画素を変更して順次実行する。
たとえば、図6(a)に示すように、物体の輪郭線Aが注目画素と離れている場合には、注目画素の補間ベクトル量CVと、所定の範囲内(領域n×n)に占める色モザイク画像(G)の各画素の補間ベクトル量CVの平均値との差が小さく、領域A1においては、色の変化がなだらかであると考えられるので、この場合には、後述する偽色除去の処理は行わない。
たとえば、図6(b)に示すように、物体の輪郭線Bが注目画素を縦断する場合には、注目画素の補間ベクトル量CVと、所定の範囲内(領域n×n)に占める色モザイク画像(G)の各画素の補間ベクトル量CVの平均値との差が大きく、注目画素周辺の色については高周波の変化があると考えられるので、この場合には、後述する偽色除去の処理を行う。
ステップ3において偽色であると判断した画素に対して、偽色除去の処理を行う。
具体的には、注目画素に対する補間ベクトル量CVを0にする。すなわち、偽色除去の対象画素に対しては、補間処理部141において実行した補間処理をキャンセルするように調整する。これにより、対象画素に対して色消し処理が施されるので、偽色が除去される。
すなわち、注目画素の補間ベクトル量CVと、その注目画素の周囲の補間ベクトル量CVの平均値の差が所定の偽色判定閾値以下の場合には、偽色除去の処理を行わないので、すべての画素に対して偽色除去を行うことにより全体の色調が変化(シフト)してしまうことを防止することができる。
10…レンズ光学系
11…CCDセンサ
12…CDS
13…A/D変換器
14…画像処理部
141…補間処理部
142…補間ベクトル量算出部
143…補間ベクトル量調整部
15…メモリ
16…制御部
17…タイミングジェネレータ
18…D/A変換器
19…表示部
20…操作入力部
Claims (2)
- 単板式撮像素子により撮像され、複数の色成分毎にそれぞれモザイク状に配列される複数の色モザイク画像に基づいて、各画素が前記複数の色成分を有するカラー画像を生成する撮像装置であって、
一の画素に隣接し、前記一の画素に対応する色モザイク画像の色成分と異なる色成分を有する隣接画素に対し、前記一の画素の色成分を補間する色補間量を算出する処理を、各画素に対して行う色補間量算出手段と、
前記色補間量算出手段が算出する色補間量が所定の第1の閾値以下である注目画素が有する色成分の色モザイク画像に対応する画素のうち、前記注目画像から所定範囲内の複数の画素に対して、前記色補間量算出手段が算出する色補間量の平均値を算出する色補間量平均算出手段と
前記色補間量算出手段が算出する各画素毎の色補間量に基づいて、各画素毎に色補間処理を行う色補間処理手段と、
を具備し、
前記色補間量平均算出手段が算出する色補間量の平均値と、前記注目画素の色補間量との差分の絶対値が所定の第2の閾値以上である場合には、前記色補間処理手段は、前記注目画素に基づいて色補間処理を行わないこと
を特徴とする撮像装置。 - 前記色補間量平均算出手段が算出する色補間量の平均値と、前記注目画素の色補間量との差分の絶対値が所定の第2の閾値以上である場合には、前記色補間処理手段は、前記注目画素の色補間量を、前記色補間量平均算出手段が算出する色補間量の平均値とすること を特徴とする請求項1記載の撮像装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003412408A JP4309237B2 (ja) | 2003-12-10 | 2003-12-10 | 撮像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003412408A JP4309237B2 (ja) | 2003-12-10 | 2003-12-10 | 撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005175830A true JP2005175830A (ja) | 2005-06-30 |
JP4309237B2 JP4309237B2 (ja) | 2009-08-05 |
Family
ID=34732860
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003412408A Expired - Fee Related JP4309237B2 (ja) | 2003-12-10 | 2003-12-10 | 撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4309237B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101867830A (zh) * | 2009-04-20 | 2010-10-20 | 佳能株式会社 | 图像处理设备及其控制方法 |
-
2003
- 2003-12-10 JP JP2003412408A patent/JP4309237B2/ja not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101867830A (zh) * | 2009-04-20 | 2010-10-20 | 佳能株式会社 | 图像处理设备及其控制方法 |
Also Published As
Publication number | Publication date |
---|---|
JP4309237B2 (ja) | 2009-08-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5108172B2 (ja) | 画像データサイズ変換処理装置、電子スチルカメラ、および画像データサイズ変換処理用記録媒体 | |
JP6141587B2 (ja) | レンズシェーディング補正ファクタの算出方法及びそれを用いたレンズシェーディング補正方法及び装置 | |
US8018520B2 (en) | Imaging device, imaging method, display control device, display control method, and program | |
JP5298638B2 (ja) | 画像処理装置、撮像装置、補正係数算出方法及び画像処理プログラム | |
JP2004088149A (ja) | 撮像システムおよび画像処理プログラム | |
JP5984493B2 (ja) | 画像処理装置、画像処理方法、撮像装置およびプログラム | |
GB2479229A (en) | Aberration correction in image processing apparatus | |
JP2009303194A (ja) | 画像処理装置、撮像装置及び画像処理プログラム | |
US8922681B2 (en) | Image processing device that performs image processing to correct target pixels in a region surrounding a defective pixel | |
JP5541205B2 (ja) | 画像処理装置、撮像装置、画像処理プログラムおよび画像処理方法 | |
CN102224524A (zh) | 图像处理装置以及图像处理方法 | |
JP4497233B2 (ja) | 画素補間回路、およびプログラム | |
JP4182566B2 (ja) | デジタルカメラおよびコンピュータ読み取り可能な記録媒体 | |
JP2004282686A (ja) | 撮像装置 | |
US20080012964A1 (en) | Image processing apparatus, image restoration method and program | |
JP2004229055A (ja) | 画像処理装置 | |
JP2010141661A (ja) | 画像処理装置 | |
JP4309237B2 (ja) | 撮像装置 | |
JP2015177528A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP3730063B2 (ja) | 色成分生成装置および色成分生成方法並びにこれを用いた多色画像撮像装置 | |
JP2007180893A (ja) | 画像処理装置および撮像装置 | |
JP7183015B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP5228929B2 (ja) | 画像処理装置、撮像装置及び画像処理プログラム | |
JP4105942B2 (ja) | 画像処理装置 | |
JP3965556B2 (ja) | 画像処理装置および方法、記録媒体、並びにプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061117 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090316 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090407 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090507 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120515 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130515 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140515 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |