JP4691309B2 - 信号処理方法及びその装置 - Google Patents
信号処理方法及びその装置 Download PDFInfo
- Publication number
- JP4691309B2 JP4691309B2 JP2002251012A JP2002251012A JP4691309B2 JP 4691309 B2 JP4691309 B2 JP 4691309B2 JP 2002251012 A JP2002251012 A JP 2002251012A JP 2002251012 A JP2002251012 A JP 2002251012A JP 4691309 B2 JP4691309 B2 JP 4691309B2
- Authority
- JP
- Japan
- Prior art keywords
- pixels
- signal
- luminance
- signal processing
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003672 processing method Methods 0.000 title claims description 9
- 238000003384 imaging method Methods 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 6
- 239000003086 colorant Substances 0.000 claims description 4
- 238000000034 method Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims 2
- 238000010586 diagram Methods 0.000 description 16
- 230000004075 alteration Effects 0.000 description 11
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000009467 reduction Effects 0.000 description 3
- 230000006866 deterioration Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Images
Landscapes
- Color Television Image Signal Generators (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
- Image Processing (AREA)
Description
【発明の属する技術分野】
本発明はデジタルカメラの信号処理方法及びその装置に係り、特に、レンズの色収差によって画像輪郭部分にギザギザが生じることのない信号処理方法及びその装置に関する。
【0002】
【従来の技術】
デジタルカメラに搭載される単板式のCCDやCMOS等の固体撮像素子は、原色系であれば、R(赤),G(緑),B(青)の各画素が所定規則にて配置される。図8は、例えば特開平10―136391号公報に記載されている固体撮像素子の画素配置図であり、所謂、市松状に実画素R,G,Bを配置しており、R画素とB画素が交互に並ぶ行と、G画素のみが一列に並ぶ行とが1/2ピッチずれながら交互に配列されている。
【0003】
また、図9は、ベイヤー方式のCCDの画素配置図である。ベイヤー方式では、B画素とG画素が交互に並ぶ行と、G画素とR画素とが交互に並ぶ行とが、交互に配列されている。
【0004】
【発明が解決しようとする課題】
この様な固体撮像素子で、例えば図10に示す様に白領域と黒領域とが垂直線で仕切られた画像を撮像すると、この垂直線が直線とはならずに、ギザギザ状に撮像されてしまう。
【0005】
これは、図11に示す様に、明暗を分ける輝度Yの変化位置に対して、R,G,Bの各色の光線がレンズを通るときに屈折する屈折角が異なる色収差に起因し、各色R,G,Bから求めた輝度信号が直線にならないことが原因である。
【0006】
本発明の目的は、レンズの色収差に起因する画像輪郭部分の劣化を回避する信号処理方法及びその装置を提供することにある。
【0007】
【課題を解決するための手段】
上記目的は、異なる色を検出する画素が交互に配列された撮像素子により撮影レンズを通した被写体画像を撮像し得られた画像信号を処理する信号処理方法において、前記被写体画像の輪郭線上の画素(以下、対象画素という。)の輝度信号Aと、該対象画素の前記輪郭線上で隣接する前後の画素の輝度信号B,CとをD=(B+2A+C)/4の演算式でフィルタ処理して得られた輝度値Dを前記対象画素の輝度値とすることで、達成される。
【0008】
この構成により、前記交互の色配置の方向と前記被写体画像の輝度輪郭とが直交し、撮影レンズの色収差によって、輝度輪郭部分の色信号が色によって輝度輪郭からずれ、輝度輪郭にギザギザ状のノイズが発生しても、このノイズを低減することが可能となる。
【0009】
【発明の実施の形態】
以下、本発明の一実施形態を図面を参照して説明する。
【0010】
図1は、本発明の一実施形態に係る信号処理方法を適用したデジタルスチルカメラの構成図である。このデジタルスチルカメラは、撮影レンズ10と、固体撮像素子11と、この両者の間に設けられた絞り12と、赤外線カットフィルタ13と、光学ローパスフィルタ14とを備える。デジタルスチルカメラの全体を制御するCPU15は、フラッシュ用の発光部16及び受光部17を制御し、また、レンズ駆動部18を制御して撮影レンズ10の位置をフォーカス位置に調整し、絞り駆動部19を介し絞り12の開口量を制御して露光量が適正露光量となるように調整する。
【0011】
また、CPU15は、撮像素子駆動部20を介して固体撮像素子11を駆動し、撮影レンズ10を通して撮像した被写体画像を色信号として出力させる。また、CPU15には、操作部21を通してユーザの指示信号が入力され、CPU15はこの指示に従って各種制御を行う。固体撮像素子11は、市松状に画素配置をしたCCDやベイヤー方式のCCD、あるいはCMOSセンサである。
【0012】
デジタルスチルカメラの電気制御系は、固体撮像素子11の出力に接続されたアナログ信号処理部22と、このアナログ信号処理部22から出力されたRGBの色信号をデジタル信号に変換するA/D変換回路23とを備え、これらはCPU15によって制御される。
【0013】
更に、このデジタルスチルカメラの電気制御系は、メインメモリ24に接続されたメモリ制御部25と、詳細は後述するデジタル信号処理部26と、撮像画像をJPEG画像に圧縮したり圧縮画像を伸張したりする圧縮伸張処理部27と、固体撮像素子11から出力されデジタルデータに変換された画像データをR,G,B毎に積算してホワイトバランスゲイン等を求める積算部28と、着脱自在の記録媒体29が接続される外部メモリ制御部30と、カメラ背面等に搭載された液晶表示部31が接続される表示制御部32とを備え、これらは、制御バス33及びデータバス34によって相互に接続され、CPU15からの指令によって制御される。
【0014】
図1に示すデジタル信号処理部26や、アナログ信号処理部22,A/D変換回路23等は、これを夫々別回路としてデジタルスチルカメラに搭載することもできるが、これらを固体撮像素子11と同一半導体基板上にLSI製造技術を用いて製造し、1つの固体撮像装置とするのがよい。
【0015】
図2は、図1に示すデジタル信号処理部26の詳細構成図である。このデジタル信号処理部26は、ハードウェア回路で構成しても、ソフトウェアにて構成することも可能である。
【0016】
図示する例のデジタル信号処理部26は、A/D変換回路23から出力されるR,G,Bの各色の画像信号を取り込んでオフセット処理を行うオフセット補正回路41と、オフセット補正回路41の出力信号を取り込んでホワイトバランス調整を行うゲイン補正回路42と、ゲイン補正回路42から出力される信号に対して所定のγ値を用いガンマ補正を行うガンマ補正回路43とを備える。
【0017】
デジタル信号処理部26は更に、ガンマ補正回路43から出力されるRGBの色信号を補間演算して各画素位置におけるRGB3色の信号を求めるRGB補間演算部44と、RGB補間演算後のRGB信号から輝度信号Yと色差信号Cr,Cbとを求めるRGB/YC変換回路45と、輝度信号Yと色差信号Cr,Cbからノイズを低減するノイズフィルタ46と、ノイズ低減後の輝度信号Yに対して輪郭補正を行う輪郭補正回路47と、ノイズ低減後の色差信号Cr,Cbに対して色差マトリクスを乗算して色調補正を行う色差マトリクス回路48とを備える。
【0018】
RGB補間演算部44は、固体撮像素子11が3板式の撮像素子であれば不要であるが、本実施形態で使用する固体撮像素子11は単板式の固体撮像素子であり、各画素からは、R,G,Bのうちの一色の信号しか出力されないため、出力しない色、即ち、Rを出力する画素では、この画素位置においてG,Bの色信号がどの程度になるかを、周りの画素のG,B信号から補間演算により求めるものである。
【0019】
本実施形態の特徴である信号処理すなわち輝度信号のノイズ低減処理は、ノイズフィルタ46で実行される。このノイズフィルタ46では、次の様な処理を行うことで、レンズ10の色収差に起因する画像輪郭ノイズの低減を図る。
【0020】
図3は、市松状に画素配置した固体撮像素子で得られた画像信号の一例を示す模式図である。R画素とB画素とが交互に配置された行に対して直角方向k1に黒領域と白領域の輪郭を持つ模様を撮像したとき、図示する例では、レンズ10の色収差によってR画素5には赤色の光は当たらず、方向k1にあるB画素6には青色の光が当たり、更に方向k1にあるR画素7には赤色の光が当たらないため、B画素6での黒白の境界はk2位置となり、R画素5,7での黒白の境界はk1位置となり、このR,G,B信号から求めた輝度信号は、図4に示す様に、境界k1においてギザギザ状のノイズとなって現れる。
【0021】
そこで、本実施形態では、R,G,B信号から求めた輝度信号Yに対して、交互に配置された色画素間隔のレスポンスが“0”となるフィルタ処理を施す。例えば、m行n列の画素であって輪郭線上の画素の画素の輝度値を、Y’mn=(Y(m-2)n+2・Ymn+Y(m+2)n)/4なる演算式により求める。図4の例では、Yb’=(Yr13+2・Yb33+Yr53)/4とし、これをYb33の代わりに使用する。このように、輪郭線k1位置に存在する画素の輝度値を上記演算式で計算することで、図5に示す様に、輪郭線k1位置におけるギザギザ状のノイズは消失する。
【0022】
上述した実施形態では、市松状に配置された実画素から得られた色信号から輝度信号を求め、この輝度信号のギザギザ状ノイズを消去したが、市松状に配置された実画素間の無画素位置のR,G,B信号を求めて画像信号を正方配列に変換し、図4のY22とY24の間にあるべきY23や、Y42とY44との間にあるべきY43が求められている場合には、Y’33=(Y23+Y43)/2として求めても、即ちY’mn=(Y(m-1)n+Y(m+1)n)/2として輝度信号を求めても、輪郭線上のギザギザ状ノイズを同様に消去することができる。
【0023】
ベイヤー方式の画素配置にも本実施形態を適用可能である。図9に示す画素配置において、レンズ10の色収差によって輝度信号の状態が図6に示す様になったとする。この場合にも、Y’mn=(Y(m-1)n+2・Ymn+Y(m+1)n)/4の演算処理を施すことで、輪郭線上のギザギザ状ノイズを消去することができる。具体的には、図6の場合、Yb’33=(Yg23+2・Yb33+Yg43)/4として計算し、これをYb33の代わりに使用する。これにより、図7に示す様に、輪郭線上の輝度値のギザギザはなくなる。
【0024】
【発明の効果】
本発明によれば、レンズの色収差に起因する輝度信号のギザギザ状ノイズを低減でき、画質劣化を抑制することが可能となる。
【図面の簡単な説明】
【図1】本発明の一実施形態に係る信号処理方法を適用したデジタルスチルカメラのブロック構成図である。
【図2】図1に示すデジタル信号処理部の詳細構成図である。
【図3】市松状に画素配置したときのレンズ色収差による色信号の模式図である。
【図4】図3に示す色信号から求めた輝度信号の模式図である。
【図5】図4に示す輝度信号のギザギザ状ノイズを消去した例を示す図である。
【図6】ベイヤー方式の画素配置のレンズ色収差による輝度信号の模式図である。
【図7】図6に示す輝度信号のギザギザ状ノイズを消去した例を示す図である。
【図8】市松状に画素配置した例を示す図である。
【図9】ベイヤー方式の画素配置を示す図である。
【図10】白領域と黒領域とが直線で仕切られた模様を示す図である。
【図11】レンズの色収差によるギザギザ状ノイズの発生を説明する図である。
【符号の説明】
R,G,B 画素配置位置
10 撮影レンズ
11 固体撮像素子
26 デジタル信号処理部
46 ノイズフィルタ
Claims (2)
- 異なる色を検出する画素が交互に配列された撮像素子により撮影レンズを通した被写体画像を撮像し得られた画像信号を処理する信号処理方法において、前記被写体画像の輪郭線上の画素(以下、対象画素という。)の輝度信号Aと、該対象画素の前記輪郭線上で隣接する前後の画素の輝度信号B,CとをD=(B+2A+C)/4の演算式でフィルタ処理して得られた輝度値Dを前記対象画素の輝度値とすることを特徴とする信号処理方法。
- 異なる色を検出する画素が交互に配列された撮像素子により撮影レンズを通した被写体画像を撮像し得られた画像信号を処理する信号処理装置において、前記被写体画像の輪郭線上の画素(以下、対象画素という。)の輝度信号Aと該対象画素の前記輪郭線上で隣接する前後の画素の輝度信号B,CとをD=(B+2A+C)/4の演算式でフィルタ処理して得られた輝度値Dを前記対象画素の輝度値とするノイズフィルタを備えることを特徴とする信号処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002251012A JP4691309B2 (ja) | 2002-08-29 | 2002-08-29 | 信号処理方法及びその装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002251012A JP4691309B2 (ja) | 2002-08-29 | 2002-08-29 | 信号処理方法及びその装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008329279A Division JP4911479B2 (ja) | 2008-12-25 | 2008-12-25 | 信号処理方法及びその装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004096175A JP2004096175A (ja) | 2004-03-25 |
JP4691309B2 true JP4691309B2 (ja) | 2011-06-01 |
Family
ID=32057704
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002251012A Expired - Fee Related JP4691309B2 (ja) | 2002-08-29 | 2002-08-29 | 信号処理方法及びその装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4691309B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008039868A (ja) * | 2006-08-02 | 2008-02-21 | Victor Co Of Japan Ltd | 液晶表示装置 |
-
2002
- 2002-08-29 JP JP2002251012A patent/JP4691309B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2004096175A (ja) | 2004-03-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7626619B2 (en) | Digital camera | |
US9729805B2 (en) | Imaging device and defective pixel correction method | |
KR100580911B1 (ko) | 화상합성방법 및 촬상장치 | |
US8368775B2 (en) | Imaging apparatus and live-view image display method thereof | |
US20060050956A1 (en) | Signal processing apparatus, signal processing method, and signal processing program | |
JP4433883B2 (ja) | ホワイトバランス補正装置及びホワイトバランス補正方法、プログラム、電子カメラ装置 | |
JPH10336686A (ja) | 撮像装置 | |
US20090167917A1 (en) | Imaging device | |
JP5033711B2 (ja) | 撮像装置及び撮像装置の駆動方法 | |
JP2007274504A (ja) | デジタルカメラ | |
JP4121493B2 (ja) | デジタルカメラとその信号処理方法及び信号処理装置 | |
JP2004320128A (ja) | 欠陥画素補正装置 | |
JP2008141658A (ja) | 電子カメラおよび画像処理装置 | |
JP4993670B2 (ja) | 撮像装置及びその制御方法 | |
US20070269133A1 (en) | Image-data noise reduction apparatus and method of controlling same | |
JP4581633B2 (ja) | 色信号補正方法、装置及びプログラム | |
JP4691309B2 (ja) | 信号処理方法及びその装置 | |
JP4235408B2 (ja) | ノイズ低減回路及び撮像装置 | |
JP4911479B2 (ja) | 信号処理方法及びその装置 | |
JP5090899B2 (ja) | 撮像装置 | |
JP2006279389A (ja) | 固体撮像装置およびその信号処理方法 | |
JP5008122B2 (ja) | 固体撮像素子の欠陥画素補正方法および欠陥画素補正装置 | |
JP2004247873A (ja) | 画像表示プログラム | |
JP4105556B2 (ja) | デジタルカメラと撮像画像データ記録方法 | |
JP2000253412A (ja) | 撮像素子及び撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050511 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060424 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20060621 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061124 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070608 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071010 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20071108 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20071115 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071119 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20071122 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20081105 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081225 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20090119 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20090403 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110221 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140225 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |