JP4580791B2 - 画素補完方法 - Google Patents

画素補完方法 Download PDF

Info

Publication number
JP4580791B2
JP4580791B2 JP2005077667A JP2005077667A JP4580791B2 JP 4580791 B2 JP4580791 B2 JP 4580791B2 JP 2005077667 A JP2005077667 A JP 2005077667A JP 2005077667 A JP2005077667 A JP 2005077667A JP 4580791 B2 JP4580791 B2 JP 4580791B2
Authority
JP
Japan
Prior art keywords
pixel
image data
rows
columns
crm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005077667A
Other languages
English (en)
Other versions
JP2006262167A (ja
Inventor
喜子 田中
Original Assignee
ユニデン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ユニデン株式会社 filed Critical ユニデン株式会社
Priority to JP2005077667A priority Critical patent/JP4580791B2/ja
Priority to US11/176,630 priority patent/US7453503B2/en
Publication of JP2006262167A publication Critical patent/JP2006262167A/ja
Application granted granted Critical
Publication of JP4580791B2 publication Critical patent/JP4580791B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00Details of colour television systems
    • H04N2209/04Picture signal generators
    • H04N2209/041Picture signal generators using solid-state devices
    • H04N2209/042Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H04N2209/046Colour interpolation to calculate the missing colour values

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)

Description

本発明はベイヤー配列を有する電子撮像装置で撮像された画像データの画素補完方法に関する。
従来、ベイヤー配列の画素配列を有するCCDセンサで撮像した撮像データをA/D変換して得られる画像データを画素補完する方法として、例えば、単純平均による画素補完方法、欠陥のあるラインのみに係数を掛けて画素値を補正する方法、或いは米国特許6,741,754、米国特許5,652,621、米国特許5,629,734等で提案されている方法等が知られている。例えば、図5は、CCDセンサの欠陥によりベイヤー配列の一列の画素全体からの撮像データが得られず、縦方向に傷が入っている例を示している。図4は、ベイヤー配列を有する画素配列を示している。図中のRは赤画素の画素データを、Gは緑画素の画素データを、Bは青画素の画素データを、Xは補完画素の画素データを、それぞれ示している。単純平均による画素補完方法によれば、X23=(B21+B25)、X33=(G31+G35)となる。
米国特許6,741,754 米国特許5,652,621 米国特許5,629,734
しかし、単純平均による画素補完方法を用いて、図5の縦キズを補完すると、白と黒の単なる平均値をとることになるので、図6に示すように、補完画素がグレーになってしまうという不都合が生じる。また、欠陥のあるラインのみに係数を掛けて画素値を補正する方法では、温度等のCCDセンサの使用条件が変化すると、予め求めた一つの係数では奇麗に補正できなくなる可能性がある。
そこで、本発明はこのような問題を解決し、ベイヤー配列を有する電子撮像装置で撮像された画像データを奇麗に補完する方法を提案することを課題とする。
上記の課題を解決するため、本発明の画素補完方法は、ベイヤー配列を有する電子撮像装置で撮像された緑画素の画像データを補完するための画素補完方法であって、M行N列に配置された赤画素の画像データをRMN、M行N列に配置された緑画素の画像データをGMN、M行N列に配置された青画素の画像データをBMN、M行N列に配置された補完画素の画像データをXMNとしたときに、ave=(G(M−1)(N−1)+G(M−1)(N+1)+G(M+1)(N−1)+G(M+1)(N+1))/4により、aveを演算するステップと、horiz=median(GM(N−2),(G(M−1)(N−1)+G(M+1)(N−1))/2,(G(M−1)(N+1)+G(M+1)(N+1))/2,GM(N+2))により、horizを演算するステップと、Slash=median(G(M−2)(N+2),G(M−1)(N+1),G(M+1)(N−1),G(M+2)(N−2))により、Slashを演算するステップと、Bslash=median(G(M−2)(N−2),G(M−1)(N−1),G(M+1)(N+1),G(M+2)(N+2))により、Bslashを演算するステップと、前記horiz、前記Slash、前記Bslashの中から前記aveとの差分が最も小さい値を前記補完画素XMNの画素データとするステップと、を備える。電子撮像装置として、例えば、CCDセンサ等が好適である。
また、本発明の画素補完方法は、ベイヤー配列を有する電子撮像装置で撮像された青画素又は赤画素のうち何れか一方の画像データを補完するための画素補完方法であって、M行N列に配置された赤画素の画像データをRMN、M行N列に配置された緑画素の画像データをGMN、M行N列に配置された青画素の画像データをBMN、M行N列に配置された補完画素の画像データをXMNとしたときに、GM(N−2)=(G(M−1)(N−2)+G(M+1)(N−2))/2により、GM(N−2)を演算するステップと、CrM(N−2)=RM(N−2)−GM(N−2)により、CrM(N−2)を演算するステップと、GM(N+2)=(G(M−1)(N+2)+G(M+1)(N+2))/2により、GM(N+2)を演算するステップと、CrM(N+2)=RM(N+2)−GM(N+2)により、CrM(N+2)を演算するステップと、GMN=(G(M−1)N+GM(N−1)+GM(N+1)+G(M+1)N)/4により、GMNを演算するステップと、XMN=(CrM(N−2)+CrM(N+2))/2+GMNにより、XMNを演算するステップと、を備える。
本発明によれば、ベイヤー配列を有する電子撮像装置で撮像された画像データを奇麗に補完することができる。
図1は本実施形態のデジタルカメラのシステム構成を示している。デジタルカメラ10は、CCDセンサ21を含む光学系20と、CCDセンサ21が撮像した撮像データをA/D変換し、デジタル画像データを出力するA/D変換器22と、デジタル画像データを一時的に格納するイメージバッファ23と、イメージバッファ23に格納されたデジタル画像データを補完する補完処理部24と、補完処理されたデジタル画像データを記憶するメモリカード25と、上述した各部を制御するプロセッサ26を備える。補完処理部24が行う補完方法について、以下、詳細に説明する。
(ベイヤー配列の緑画素の補完方法)
図2に示すベイヤー配列において、補完画素X33(緑画素)を補完するには、まず、(1)式により補完画素X33の周辺に位置する周辺画素の平均値を求め、更に、(2)式〜(4)式により、補完画素X33を含む横方向、斜め方向、逆斜め方向にある緑画素の中央値をそれぞれ求め、そして、これらの中央値の中から平均値との差分が最も小さい値を、X33の位置にある緑画素の画素データとする。
ave=(G22+G24+G42+G44)/4 …(1)
horiz=median(G31,(G22+G42)/2,(G24+G44)/2,G35) …(2)
Slash=median(G15,G24,G42,G51) …(3)
Bslash=median(G11,G22,G44,G55) …(4)
尚、上記の例では、3行3列目にあるX33の画素を補完する例を示したが、M行N列に配置された赤画素の画像データをRMN、M行N列に配置された緑画素の画像データをGMN、M行N列に配置された青画素の画像データをBMN、M行N列に配置された補完画素の画像データをXMNとすると、(1)式〜(4)式は、それぞれ(5)式〜(8)式に書き換えることができる。但し、M,Nは自然数とする。
ave=(G(M−1)(N−1)+G(M−1)(N+1)+G(M+1)(N−1)+G(M+1)(N+1))/4 …(5)
horiz=median(GM(N−2),(G(M−1)(N−1)+G(M+1)(N−1))/2,(G(M−1)(N+1)+G(M+1)(N+1))/2,GM(N+2)) …(6)
Slash=median(G(M−2)(N+2),G(M−1)(N+1),G(M+1)(N−1),G(M+2)(N−2)) …(7)
Bslash=median(G(M−2)(N−2),G(M−1)(N−1),G(M+1)(N+1),G(M+2)(N+2)) …(8)
(ベイヤー配列の赤画素・青画素の補完方法)
図3に示すベイヤー配列において、補完画素X33(赤画素)を補完するには、まず、上述の方法により、緑画素のG23,G43を補完する。次いで、(9)式〜(14)式を用いて、X33の位置にある赤画素の画素データを演算する。
G31=(G21+G41)/2 …(9)
Cr31=R31−G31 …(10)
G35=(G25+G45)/2 …(11)
Cr35=R35−G35 …(12)
G33=(G23+G32+G34+G43)/4 …(13)
X33=(Cr31+Cr35)/2+G33 …(14)
尚、上記の例では、3行3列目にあるX33の画素を補完する例を示したが、M行N列に配置された赤画素の画像データをRMN、M行N列に配置された緑画素の画像データをGMN、M行N列に配置された青画素の画像データをBMN、M行N列に配置された補完画素の画像データをXMNとすると、(9)式〜(14)式は、それぞれ(15)式〜(20)式に書き換えることができる。
GM(N−2)=(G(M−1)(N−2)+G(M+1)(N−2))/2 …(15)
CrM(N−2)=RM(N−2)−GM(N−2) …(16)
GM(N+2)=(G(M−1)(N+2)+G(M+1)(N+2))/2 …(17)
CrM(N+2)=RM(N+2)−GM(N+2) …(18)
GMN=(G(M−1)N+GM(N−1)+GM(N+1)+G(M+1)N)/4…(19)
XMN=(CrM(N−2)+CrM(N+2))/2+GMN …(20)
本実施形態の画素補完方法を用いれば、図5の縦キズは、図7に示すように奇麗に補完できる。
本実施形態のデジタルカメラのシステム構成図である。 ベイヤー配列を有する画素データの説明図である。 ベイヤー配列を有する画素データの説明図である。 ベイヤー配列を有する画素データの説明図である。 縦キズが入った画像データの説明図である。 従来の方法による補完後の画像データの説明図である。 本実施形態の方法による補完後の画像データの説明図である。
符号の説明
10…デジタルカメラ 20…光学系 21…CCDセンサ 22…A/D変換器 23…イメージバッファ 24…補完処理部 25…メモリカード

Claims (2)

  1. ベイヤー配列を有する電子撮像装置で撮像された緑画素の画像データを補完するための画素補完方法であって、M行N列に配置された赤画素の画像データをRMN、M行N列に配置された緑画素の画像データをGMN、M行N列に配置された青画素の画像データをBMN、M行N列に配置された補完画素の画像データをXMNとしたときに、
    ave=(G(M−1)(N−1)+G(M−1)(N+1)+G(M+1)(N−1)+G(M+1)(N+1))/4により、aveを演算するステップと、
    horiz=median(GM(N−2),(G(M−1)(N−1)+G(M+1)(N−1))/2,(G(M−1)(N+1)+G(M+1)(N+1))/2,GM(N+2))により、horizを演算するステップと、
    Slash=median(G(M−2)(N+2),G(M−1)(N+1),G(M+1)(N−1),G(M+2)(N−2))により、Slashを演算するステップと、
    Bslash=median(G(M−2)(N−2),G(M−1)(N−1),G(M+1)(N+1),G(M+2)(N+2))により、Bslashを演算するステップと、
    前記horiz、前記Slash、前記Bslashの中から前記aveとの差分が最も小さい値を前記補完画素XMNの画素データとするステップと、
    を備える、画素補完方法。
  2. ベイヤー配列を有する電子撮像装置で撮像された青画素又は赤画素のうち何れか一方の画像データを補完するための画素補完方法であって、M行N列に配置された赤画素の画像データをRMN、M行N列に配置された緑画素の画像データをGMN、M行N列に配置された青画素の画像データをBMN、M行N列に配置された補完画素の画像データをXMNとしたときに、
    GM(N−2)=(G(M−1)(N−2)+G(M+1)(N−2))/2により、GM(N−2)を演算するステップと、
    CrM(N−2)=RM(N−2)−GM(N−2)により、CrM(N−2)を演算するステップと、
    GM(N+2)=(G(M−1)(N+2)+G(M+1)(N+2))/2により、GM(N+2)を演算するステップと、
    CrM(N+2)=RM(N+2)−GM(N+2)により、CrM(N+2)を演算するステップと、
    GMN=(G(M−1)N+GM(N−1)+GM(N+1)+G(M+1)N)/4により、GMNを演算するステップと、
    XMN=(CrM(N−2)+CrM(N+2))/2+GMNにより、XMNを演算するステップと、
    を備える、画素補完方法。
JP2005077667A 2005-03-17 2005-03-17 画素補完方法 Expired - Fee Related JP4580791B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2005077667A JP4580791B2 (ja) 2005-03-17 2005-03-17 画素補完方法
US11/176,630 US7453503B2 (en) 2005-03-17 2005-07-07 Pixel interpolation method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005077667A JP4580791B2 (ja) 2005-03-17 2005-03-17 画素補完方法

Publications (2)

Publication Number Publication Date
JP2006262167A JP2006262167A (ja) 2006-09-28
JP4580791B2 true JP4580791B2 (ja) 2010-11-17

Family

ID=37009900

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005077667A Expired - Fee Related JP4580791B2 (ja) 2005-03-17 2005-03-17 画素補完方法

Country Status (2)

Country Link
US (1) US7453503B2 (ja)
JP (1) JP4580791B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2396623C2 (ru) * 2005-05-04 2010-08-10 Кива Спол. С.Р.О. Устройство защиты от перенапряжения
US7755682B2 (en) * 2006-03-29 2010-07-13 Ite Tech. Inc. Color interpolation method for Bayer filter array images
US7830428B2 (en) * 2007-04-12 2010-11-09 Aptina Imaging Corporation Method, apparatus and system providing green-green imbalance compensation
JP5631769B2 (ja) 2011-02-17 2014-11-26 株式会社東芝 画像処理装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10164371A (ja) * 1996-11-26 1998-06-19 Minolta Co Ltd 画像データ処理装置及びその画像データ処理方法
JP2000308082A (ja) * 1999-04-23 2000-11-02 Nippon Telegr & Teleph Corp <Ntt> 画像欠陥補正方法およびこの方法を記録した記録媒体
JP2004140495A (ja) * 2002-10-16 2004-05-13 Tadashi Sugiki カラー固体撮像装置
JP2006186472A (ja) * 2004-12-27 2006-07-13 Canon Inc 画像処理装置および画像処理方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3125124B2 (ja) * 1994-06-06 2001-01-15 松下電器産業株式会社 欠陥画素傷補正回路
US5629734A (en) 1995-03-17 1997-05-13 Eastman Kodak Company Adaptive color plan interpolation in single sensor color electronic camera
US5652621A (en) 1996-02-23 1997-07-29 Eastman Kodak Company Adaptive color plane interpolation in single sensor color electronic camera
JP4097815B2 (ja) * 1998-11-24 2008-06-11 株式会社リコー 画像処理装置および画像処理方法
US7053944B1 (en) * 1999-10-01 2006-05-30 Intel Corporation Method of using hue to interpolate color pixel signals
JP4599672B2 (ja) * 1999-12-21 2010-12-15 株式会社ニコン 補間処理装置および補間処理プログラムを記録した記録媒体
US6681054B1 (en) * 2000-05-01 2004-01-20 Eastman Kodak Company Noise reduction method utilizing probabilistic weighting, apparatus, and program for digital image processing
US6741754B2 (en) 2001-02-19 2004-05-25 Eastman Kodak Company Correcting for defects in a digital image taken by an image sensor caused by pre-existing defects in two pixels in adjacent columns of an image sensor
US6900836B2 (en) * 2001-02-19 2005-05-31 Eastman Kodak Company Correcting defects in a digital image caused by a pre-existing defect in a pixel of an image sensor
US6985180B2 (en) * 2001-06-19 2006-01-10 Ess Technology, Inc. Intelligent blemish control algorithm and apparatus
JP2003078821A (ja) * 2001-08-31 2003-03-14 Hitachi Kokusai Electric Inc 撮像装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10164371A (ja) * 1996-11-26 1998-06-19 Minolta Co Ltd 画像データ処理装置及びその画像データ処理方法
JP2000308082A (ja) * 1999-04-23 2000-11-02 Nippon Telegr & Teleph Corp <Ntt> 画像欠陥補正方法およびこの方法を記録した記録媒体
JP2004140495A (ja) * 2002-10-16 2004-05-13 Tadashi Sugiki カラー固体撮像装置
JP2006186472A (ja) * 2004-12-27 2006-07-13 Canon Inc 画像処理装置および画像処理方法

Also Published As

Publication number Publication date
US7453503B2 (en) 2008-11-18
JP2006262167A (ja) 2006-09-28
US20060209199A1 (en) 2006-09-21

Similar Documents

Publication Publication Date Title
JP4388909B2 (ja) 画素欠陥補正装置
JP4374488B2 (ja) デモザイク処理及び不良ピクセル補正を組み合わせるためのディジタル画像システム及び方法
US7916191B2 (en) Image processing apparatus, method, program, and recording medium
USRE44717E1 (en) Edge detecting method
EP1986443B1 (en) Method for realizing color interpolation of value correction of exceptional points
JP5298638B2 (ja) 画像処理装置、撮像装置、補正係数算出方法及び画像処理プログラム
JP4863505B2 (ja) 画像処理装置
CN108171657B (zh) 图像插值方法及装置
JP5133766B2 (ja) 撮像装置
JP4333997B2 (ja) 画像処理装置、撮影装置、画像処理方法、画像処理プログラムおよび記録媒体
JP4580791B2 (ja) 画素補完方法
JP4104495B2 (ja) データ処理装置、画像処理装置およびカメラ
JP2009055281A (ja) 画像処理装置
JP2004320128A (ja) 欠陥画素補正装置
JP2010141661A (ja) 画像処理装置
JP4977541B2 (ja) ディジタル・カメラおよびその動作制御方法
US7656441B2 (en) Hue correction for electronic imagers
US8810680B1 (en) Method and apparatus for color data synthesis in digital image and video capture systems
KR100776379B1 (ko) 색차 신호를 이용한 불량 화소 보간 장치 및 그 방법
JP2006135564A (ja) 画素補間装置、画素補間方法
JP4998069B2 (ja) 補間処理装置、撮像装置、及び、補間処理方法
JP5186937B2 (ja) 画像処理装置および電子カメラ、並びに許容値設定方法
JP2010104019A (ja) 画素補間方法
JP5008122B2 (ja) 固体撮像素子の欠陥画素補正方法および欠陥画素補正装置
JP2007228269A (ja) 画像信号処理装置及び方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080306

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100409

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100506

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100705

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100817

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100830

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130903

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees