JP2014131256A - イメージセンサーのカラーフィルターアレイ上のカラー画素の画素情報を補正する方法 - Google Patents

イメージセンサーのカラーフィルターアレイ上のカラー画素の画素情報を補正する方法 Download PDF

Info

Publication number
JP2014131256A
JP2014131256A JP2013186449A JP2013186449A JP2014131256A JP 2014131256 A JP2014131256 A JP 2014131256A JP 2013186449 A JP2013186449 A JP 2013186449A JP 2013186449 A JP2013186449 A JP 2013186449A JP 2014131256 A JP2014131256 A JP 2014131256A
Authority
JP
Japan
Prior art keywords
pixels
pixel
distance
red
average
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013186449A
Other languages
English (en)
Other versions
JP5658338B2 (ja
Inventor
Zong-Ru Tu
宗儒 塗
Wu-Cheng Kuo
武政 郭
Chin-Chuan Hsieh
錦全 謝
Yu-Kun Hsiao
玉焜 蕭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
VisEra Technologies Co Ltd
Original Assignee
VisEra Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by VisEra Technologies Co Ltd filed Critical VisEra Technologies Co Ltd
Publication of JP2014131256A publication Critical patent/JP2014131256A/ja
Application granted granted Critical
Publication of JP5658338B2 publication Critical patent/JP5658338B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00Details of colour television systems
    • H04N2209/04Picture signal generators
    • H04N2209/041Picture signal generators using solid-state devices
    • H04N2209/042Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H04N2209/046Colour interpolation to calculate the missing colour values

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

【課題】画像解像度を犠牲とすることなくより高い画像感度を実現できるイメージセンサーを提供する。
【解決手段】イメージセンサーのカラーフィルターアレイ上のカラー画素の画素情報を補正する方法であって、M×M距離係数表を確立する工程と、カラーフィルターアレイのM×M画素を選択する工程と、選択されたM×M画素における赤色/緑色/青色画素からターゲット画素への赤色/緑色/青色の寄与度を計算する工程と、ターゲット画素の赤色/青色/緑色画素性能を計算する工程と、赤色/青色/緑色補正係数を計算する工程と、赤色/緑色/青色補正係数を赤色/緑色/青色画素のそれぞれの測定された画素情報に適用することにより、赤色/緑色/青色画素のそれぞれの補正された画素情報を得る。
【選択図】図3

Description

本発明はイメージセンサーのカラーフィルターアレイに関し、より詳細にはイメージセンサーのカラーフィルターアレイ上のカラー画素の画素情報を補正する方法に関する。
CMOSイメージセンサー(CIS)は、デジタル写真撮影機器において電子フィルムの役目を果たす撮像素子(imaging
device)である。CISは、デジタルカメラ、カメラ付き携帯電話、ウェブカメラ、ノートブックセキュリティデバイス、自動車、および医療の用途で用いられる小型撮像デバイスを含む幅広い分野で利用されている。画像感知(image
sensing)の質を高めるためには、CISに広いダイナミックレンジおよび高感度を与えることが必要である。
CISはカラーフィルターアレイ、マイクロレンズアレイおよび画素センサー(例えばフォトダイオード)を含む。カラーフィルターアレイは、イメージセンサーの画素センサー上方に配置されてカラー情報を取り込む小さなカラーフィルターのモザイク(mosaic)である。ベイヤーフィルター(Bayer
filter)アレイは、フォトダイオードの正方格子上にRGB(赤、緑、青)カラーフィルターを配置させる標準的なカラーフィルターアレイである。
CISの画像感度(image sensibility)を高めるため、WRGB(白、赤、緑、青)配列を有する複数の可能なカラーフィルターアレイが提案されている。例えば、Toshibaは、複数の画素アレイを有する1/4WRGBカラーフィルターアレイを提案した。図1Aに示されるように、各画素アレイは4個の(4)2×2画素ユニットからなり、各2×2画素ユニットは1個の(1)白色画素、1個の(1)赤色画素、1個の(1)緑色画素および1個の(1)青色画素を有している。
TSBが1/4WRGBカラーフィルターアレイを提案した後、Eastman Kodak社は、複数の画素アレイを有する2/4WRGBカラーフィルターアレイを提案した。図1Bに示されるように、各画素アレイは4個の(4)2×2画素ユニットからなり、各2×2画素ユニットは2個の(2)白色画素および2個の(2)同じ色のカラー画素を有している。
1/4WRGBカラーフィルターアレイは、カラーフィルターアレイの各画素ユニット中に1個の(1)白色画素を有するため、1/4WRGBカラーフィルターアレイの画像感度は標準的なベイヤーフィルターアレイよりも高い。同じように、2/4WRGBカラーフィルターアレイは、カラーフィルターアレイの各画素ユニット中に2個の(2)白色画素を有するため、2/4WRGBカラーフィルターアレイの画像感度は、標準的なベイヤーフィルターアレイおよび1/4WRGBカラーフィルターアレイよりも高い。しかしながら、2/4WRGBカラーフィルターアレイ中の白色画素の数が増加したために、2/4WRGBカラーフィルターアレイを有するCISの画像解像度が低下することにもなる。よって、カラーフィルターアレイにおける白色画素の数が多くなるほど、CISの画像感度は高まり、またCISの画像解像度は低くなる。
以上を考慮すると、その画像解像度を犠牲とすることなくより高い画像感度を実現できるイメージセンサーを如何にして提供するのかが、重要な問題となる。
上述した目的を達成するため、イメージセンサーのカラーフィルターアレイ上のカラー画素の画素情報を補正する方法を提供する。カラーフィルターアレイは複数の画素アレイを含む。各画素アレイは4個の(4)N×N画素ユニットからなり、Nは2以上の整数であり、各N×N画素ユニットは複数の白色画素および少なくとも1個のカラー画素を有し、少なくとも1個のカラー画素は1個以上の赤色画素、1個以上の緑色画素、1個以上の青色画素、またはこれらの任意の組み合わせを含み、4個の(4)N×N画素ユニットのそれぞれにおける少なくとも1個のカラー画素の数は同じであり、かつ4個の(4)N×N画素ユニットのそれぞれにおける少なくとも1個のカラー画素の数は、4個の(4)N×N画素ユニットのそれぞれにおける複数の白色画素の数よりも小さい。当該方法は、M×M距離係数(dfij)を有するM×M距離係数表を確立する工程と、カラーフィルターアレイのM×M画素を選択する工程であって、カラーフィルターアレイのM×M画素は少なくとも2個の赤色画素、少なくとも2個の緑色画素、少なくとも2個の青色画素、およびターゲット画素をカバーするもので、かつターゲット画素はカラーフィルターアレイのM×M画素の中心の画素である、カラーフィルターアレイのM×M画素を選択する工程と、カラーフィルターアレイのM×M画素における少なくとも2個の赤色画素からターゲット画素への赤色の寄与度(Raverage)を、M×M距離係数表の距離係数および少なくとも2個の赤色画素のそれぞれの測定された画素情報(Rij)を用いて計算する工程と、カラーフィルターアレイのM×M画素における少なくとも2個の緑色画素からターゲット画素への緑色の寄与度(Gaverage)を、M×M距離係数表の距離係数および少なくとも2個の緑色画素のそれぞれの測定された画素情報(Gij)を用いて計算する工程と、カラーフィルターアレイのM×M画素における少なくとも2個の青色画素からターゲット画素への青色の寄与度(Baverage)を、M×M距離係数表の距離係数および少なくとも2個の青色画素のそれぞれの測定された画素情報(Bij)を用いて計算する工程と、ターゲット画素の赤色画素性能(fRij)、ターゲット画素の緑色画素性能(fGij)およびターゲット画素の青色画素性能(fBij)のうちの少なくとも1個を、赤色の寄与度(Raverage)、緑色の寄与度(Gaverage)および青色の寄与度(Baverage)、ならびにターゲット画素の測定された画素情報(W)に基づいて計算する工程と、赤色画素性能(fRij)の赤色の寄与度(Raverage)に対する比である赤色補正係数(T)、緑色画素性能(fGij)の緑色の寄与度(Gaverage)に対する比である緑色補正係数(T)、および青色画素性能(fBij)の青色の寄与度(Baverage)に対する比である青色補正係数(T)のうちの少なくとも1個を計算する工程と、赤色補正係数(T)を少なくとも2個の赤色画素のそれぞれの測定された画素情報(Rij)に適用することにより少なくとも2個の赤色画素のそれぞれの補正された画素情報(Rfinal)を得ること、緑色補正係数(T)を少なくとも2個の緑色画素のそれぞれの測定された画素情報(Gij)に適用することにより少なくとも2個の緑色画素のそれぞれの補正された画素情報(Gfinal)を得ること、および青色補正係数(T)を少なくとも2個の青色画素のそれぞれの測定された画素情報(Bij)に適用することにより少なくとも2個の青色画素のそれぞれの補正された画素情報(Bfinal)を得ること、のうち少なくとも1つを実行する工程と、を含む。
本発明のさらなる利用可能性の範囲は、以下に記載される詳細な説明から明らかとなるであろう。しかしながら、この詳細な記載から当業者には本発明の精神および範囲内における様々な変更および修飾が明らかとなるであろうことより、本発明の好ましい実施形態を示すが、詳細な説明および特定の例は単に説明の目的で記載されるに過ぎないということが理解されなければならない。
本発明によれば、画像解像度を犠牲にすることなく、より高い画像感度を実現するイメージセンサーを提供することができる。
後述の詳細な説明、および説明のためのみに示され、故に本発明を限定するのではない添付の図面から、本発明がより十分に理解されるであろう。
図1Aは、 従来の1/4WRGBカラーフィルターアレイの画素アレイを示している。 図1Bは、従来の2/4WRGBカラーフィルターアレイの画素アレイを示している。 図2は、本発明の実施形態による数個の3/4WRGBカラーフィルターアレイの画素アレイを示している。 図3は、本発明の1実施形態によるイメージセンサーのカラーフィルターアレイ上のカラー画素の画素情報を補正する工程を示すフローチャートである。 図4は、本発明の1実施形態による3/4WRGBカラーフィルターアレイに用いる7×7距離係数表である。 図5A〜5Cは、本発明の1実施形態によるカラーフィルターアレイの選択された7×7画素の領域を有する3/4WRGBカラーフィルターアレイを示している。 図6A〜6Pは、本発明の1実施形態により、3/4WRGBカラーフィルターアレイにおける赤色の寄与度(Raverage)、緑色の寄与度(Gaverage)および青色の寄与度(Baverage)がどのように計算されるかを示している。 図7A〜7Cは、本発明の別の実施形態により、3/4WRGBカラーフィルターアレイにおける赤色の寄与度(Raverage)、緑色の寄与度(Gaverage)および青色の寄与度(Baverage)がどのように計算されるかを示している。
以下に、添付の図面を参照して本発明を詳細に説明する。これら図面において、いくつかの図を通し、同じ参照数字が同じまたは類似の要素を特定するのに用いられる。図面は、参照数字の向きの方向で見る必要があるという点に注意すべきである。
本発明において具体化されるように、イメージセンサーのカラーフィルターアレイは複数の画素アレイを含む。各画素アレイは4個の(4)N×N画素ユニットからなり、Nは2以上の整数である。各N×N画素ユニットは複数の白色画素および少なくとも1個のカラー画素を有し、少なくとも1個のカラー画素には1個以上の赤色画素、1個以上の緑色画素、1個以上の青色画素、またはそれらの任意の組み合わせが含まれる。4個の(4)N×N画素ユニットのそれぞれにおける少なくとも1個のカラー画素の数は同じである。4個の(4)N×N画素ユニットのそれぞれにおける少なくとも1個のカラー画素の数は、4個の(4)N×N画素ユニットのそれぞれにおける複数の白色画素の数よりも小さい。
図2は、本発明の実施形態による数個の3/4WRGBカラーフィルターアレイの画素アレイを示している。3/4WRGBカラーフィルターアレイのそれぞれは複数の画素アレイを有している。図2に示されるように、各画素アレイは4個の(4) 2×2画素ユニットからなり、かつ各2×2画素ユニットは、3個の(3)白色画素および1個の(1)カラー(赤色、緑色または青色)画素を有している。
別の実施形態において、カラーフィルターアレイは、5/9WRGBカラーフィルターアレイ、6/9WRGBカラーフィルターアレイ、7/9WRGBカラーフィルターアレイ、8/9WRGBカラーフィルターアレイなどであってよい。例えば、5/9WRGBカラーフィルターアレイは複数の画素アレイを有していてよく、各画素アレイは4個の(4)3×3画素ユニットからなり、各3×3画素ユニットは5個の(5)白色画素および4個の(4)カラー(赤色、緑色および/または青色の組み合わせ)画素を有する。詳細に言うと、各画素アレイ(4個の(4)3×3画素ユニットからなる)は、4個の(4)赤色画素、8個の(8)緑色画素、4個の(4)青色画素および20個の(20)白色画素からなる。本発明は、2×2画素ユニットおよび3×3画素ユニットよりも大きいN×N画素ユニットを有するその他のWRGBカラーフィルターアレイにも適用できるということに留意すべきである。
6/9WRGBカラーフィルターアレイは複数の画素アレイを有していてよく、各画素アレイは4個の(4)3×3画素ユニットからなり、各3×3画素ユニットは6個の(6)白色画素および3個の(3)カラー(赤色、緑色および/または青色の組み合わせ)画素を有する。詳細に言うと、各画素アレイ(4個の(4)3×3画素ユニットからなる)は、4個の(4)赤色画素、4個の(4)緑色画素、4個の(4)青色画素および24個の(24)白色画素からなる、または3個の(3)赤色画素、6個の(6)緑色画素、3個の(3)青色画素および24個の(24)白色画素からなる。
7/9WRGBカラーフィルターアレイは複数の画素アレイを有していてよく、各画素アレイは4個の(4)3×3画素ユニットからなり、各3×3画素ユニットは7個の(7)白色画素および2個の(2)カラー(赤色、緑色および/または青色の組み合わせ)画素を有する。詳細に言うと、各画素アレイ(4個の(4)3×3画素ユニットからなる)は、2個の(2)赤色画素、4個の(4)緑色画素、2個の(2)青色画素および28個の(28)白色画素からなる。
8/9WRGBカラーフィルターアレイは複数の画素アレイを有していてよく、各画素アレイは4個の(4)3×3画素ユニットからなり、各3×3画素ユニットは8個の(8)白色画素および1個の(1)カラー(赤色、緑色または青色)画素を有する。詳細に言うと、各画素アレイ(4個の(4)3×3画素ユニットからなる)は、1個の(1)赤色画素、2個の(2)緑色画素、1個の(1)青色画素および32個の(32)白色画素からなる。
すでに述べたように、カラーフィルターアレイにおける白色画素の数が多くなるほど、イメージセンサーの画像感度は高くなり、またイメージセンサーの画像解像度は低くなる。図3は、本発明の1実施形態によるイメージセンサーのカラーフィルターアレイ上のカラー画素の画素情報を補正する工程を示すフローチャートであり、これによれば、その画像解像度を犠牲とすることなくより高い画像感度を実現できるイメージセンサーが提供される。
図3にて具体化されるように、本発明の1実施形態によるイメージセンサーのカラーフィルターアレイ上のカラー画素の画素情報を補正する方法は、以下の工程を含む。
M×M距離係数(dfij)を有するM×M距離係数表を確立する工程(工程S1)と、
カラーフィルターアレイのM×M画素を選択する工程であって、このうち、カラーフィルターアレイのM×M画素は、少なくとも2個の赤色画素、少なくとも2個の緑色画素、少なくとも2個の青色画素、およびターゲット画素をカバーし、かつターゲット画素はカラーフィルターアレイのM×M画素の中心の画素である、カラーフィルターアレイのM×M画素を選択する工程(工程S2)と、
カラーフィルターアレイのM×M画素における少なくとも2個の赤色画素からターゲット画素への赤色の寄与度(Raverage)を、M×M距離係数表の距離係数および少なくとも2個の赤色画素のそれぞれの測定された画素情報(Rij)を用いて計算する工程(工程S3)と、
カラーフィルターアレイのM×M画素における少なくとも2個の緑色画素からターゲット画素への緑色の寄与度(Gaverage)を、M×M距離係数表の距離係数および少なくとも2個の緑色画素のそれぞれの測定された画素情報(Gij)を用いて計算する工程(工程S3)と、
カラーフィルターアレイのM×M画素における少なくとも2個の青色画素からターゲット画素への青色の寄与度(Baverage)を、M×M距離係数表の距離係数および少なくとも2個の青色画素のそれぞれの測定された画素情報(Bij)を用いて計算する工程(工程S3)と、
ターゲット画素の赤色画素性能(fRij)、ターゲット画素の緑色画素性能(fGij)、およびターゲット画素の青色画素性能(fBij)のうちの少なくとも1個を、赤色の寄与度(Raverage)、緑色の寄与度(Gaverage)および青色の寄与度(Baverage)、ならびにターゲット画素の測定された画素情報(W)に基づいて計算する工程(工程S4)と、
赤色画素性能(fRij)の赤色の寄与度(Raverage)に対する比である赤色補正係数(T)、緑色画素性能(fGij)の緑色の寄与度(Gaverage)に対する比である緑色補正係数(T)、および青色画素性能(fBij)の青色の寄与度(Baverage)に対する比である青色補正係数(T)のうちの少なくとも1個を計算する工程(工程S5)と、
赤色補正係数(T)を少なくとも2個の赤色画素のそれぞれの測定された画素情報(Rij)に適用することにより、少なくとも2個の赤色画素のそれぞれの補正された画素情報(Rfinal)を得ること、緑色補正係数(T)を少なくとも2個の緑色画素のそれぞれの測定された画素情報(Gij)に適用することにより、少なくとも2個の緑色画素のそれぞれの補正された画素情報(Gfinal)を得ること、および青色補正係数(T)を少なくとも2個の青色画素のそれぞれの測定された画素情報(Bij)に適用することにより、少なくとも2個の青色画素のそれぞれの補正された画素情報(Bfinal)を得ること、のうち少なくとも1つを実行する工程(工程S6)。
詳細には、図3の工程S1に示されるように、M×M距離係数を有するM×M距離係数表が確立される。M×M距離係数(dfij)のそれぞれは、カラーフィルターアレイのM×M画素のうちの1個に対応している。表の第i行目および第j列目の交差するところに位置する距離係数dfijはdij/dcである。
図4は、本発明の1実施形態による3/4WRGBカラーフィルターアレイに用いる7×7(M×M)距離係数表である。7×7距離係数表は7×7距離係数を有しており、7×7距離係数(dfij)のそれぞれは、カラーフィルターアレイの7×7画素のうちの1個に対応する。
本発明の1実施形態では、中心距離(central distance)係数dfcは、M×M距離係数表中の距離係数のうちで最も高い値を有し、M×M距離係数表における距離係数が中心距離係数からより遠くに位置するほど、M×M距離係数表におけるその距離係数の値はより低くなる。
例えば、図4において具体化されるように、7×7距離係数表における中心距離係数dfc(つまりdf44)は、dc/dc(つまりd44/d44)=16/16=1であり、かつ距離係数df26=d26/dc=4/16(つまり、表の第2行目と第6列目の交差するところに位置する距離係数)である。
近くのカラー画素がどのようにターゲット画素に寄与するかを決定するため、カラーフィルターアレイのM×M画素の領域が選択される。このうち、カラーフィルターアレイのM×M画素は、少なくとも2個の赤色画素、少なくとも2個の緑色画素、少なくとも2個の青色画素、およびターゲット画素をカバーし、ターゲット画素はカラーフィルターアレイのM×M画素の中心の画素である。
3/4WRGBカラーフィルターアレイ(図5A〜5Cに示されるように、複数の画素アレイを有し、各画素アレイが4個の(4)2×2画素ユニットからなり、各2×2画素ユニットが3個の(3)白色画素および1個の(1)カラー(赤色、緑色または青色)画素を有する)を例にとる。図5A〜5Cは、カラーフィルターアレイの7×7画素の領域が選択されていることを示している(つまり、点線で囲んだ四角形)。カラーフィルターアレイの選択された7×7画素は、4個の(4)赤色画素、8個の(8)緑色画素、4個の(4)青色画素、および33個の(33)白色画素をカバーしている。ターゲット(白色)画素TPは、カラーフィルターアレイの選択されたM×M画素の中心の画素である。なお、カラーフィルターアレイにおける各カラー画素は R、G、またはBと表示されており、表示されていない画素は全て白色画素であることに留意すべきである。
M×M距離係数表が確立され、かつ少なくとも2個の赤色画素、少なくとも2個の緑色画素、少なくとも2個の青色画素、およびターゲット画素をカバーするカラーフィルターアレイのM×M画素の領域が選択された後、カラーフィルターアレイのM×M画素における少なくとも2個の赤色画素からターゲット画素への赤色の寄与度(Raverage)が、M×M距離係数表の距離係数および少なくとも2個の赤色画素のそれぞれの測定された画素情報(Rij)を用いて計算され、カラーフィルターアレイのM×M画素における少なくとも2個の緑色画素からターゲット画素への緑色の寄与度(Gaverage)が、M×M距離係数表の距離係数および少なくとも2個の緑色画素のそれぞれの測定された画素情報(Gij)を用いて計算され、カラーフィルターアレイのM×M画素における少なくとも2個の青色画素からターゲット画素への青色の寄与度(Baverage)が、M×M距離係数表の距離係数および少なくとも2個の青色画素のそれぞれの測定された画素情報(Bij)を用いて計算される。
図5Aにおいて具体化されるように、4個の(4)赤色画素の測定された画素情報(Rij)は次のとおりである。R54=200lux、R94=220lux、R58=210lux、およびR98=230lux。また、図5Bにおいて具体化されるように、8個の(8)緑色画素の測定された画素情報(Gij)は次のとおりである。G44=235lux、G48=235lux、G55=235lux、G59=235lux、G84=235lux、G88=215lux、G95=235lux、およびG99=215lux。さらに、図5Cにおいて具体化されるように、4個の(4)青色画素の測定された画素情報(Bij)は次のとおりである。B45=210lux、B49=190lux、B85=210lux、およびB89=190lux。加えて、ターゲット画素TPの測定された画素情報(WTP)は800luxである。図5A〜5Cに示されるカラー画素およびターゲット画素の測定された画素情報は単に、選択されたM×M画素中のカラー画素からターゲット画素への色の寄与度(color contribution)をどのように計算するのかを説明するために用いられているに過ぎず、いかなる場合も本発明の範囲を限定することはないという点に留意すべきである。また、画素情報がどのように測定されるかについて当該分野では既知であるため、画素情報がどのように測定されるかについてはさらに詳細な説明はしない。
本発明の1実施形態において、少なくとも2個の赤色画素からターゲット画素への赤色の寄与度(Raverage)を計算する工程は、次の工程を含む。
(a)M×M距離係数表をカラーフィルターアレイの第2のM×M画素に割り当てる工程であって、このうち少なくとも2個の赤色画素のうちの1個はM×M距離係数表の中心に位置する中心距離係数に対応し、かつターゲット画素は、少なくとも2個の赤色画素のうちの1個に対するターゲット画素の相対的な位置に基づいてM×M距離係数表中の距離係数に対応する、M×M距離係数表をカラーフィルターアレイの第2のM×M画素に割り当てる工程、
(b)少なくとも2個の赤色画素のうちの1個の測定された画素情報(Rij)にターゲット画素に対応する距離係数を乗じる工程、
少なくとも2個の赤色画素のそれぞれに対して工程(a)および(b)を繰り返す工程、ならびに
少なくとも2個の赤色画素からターゲット画素への赤色の寄与度(Raverage)をAのBに対する比として計算する工程であって、ここでAは少なくとも2個の赤色画素のそれぞれに対する工程(b)の合計であり、Bは繰り返された工程(a)のそれぞれにおけるターゲット画素の距離係数(dfij)の合計である、少なくとも2個の赤色画素からターゲット画素への赤色の寄与度(Raverage)をAのBに対する比として計算する工程。
図5Aに示される3/4WRGBカラーフィルターアレイを例にとり、図4に示される7×7距離係数表を適用する。図6A〜6Dは、本発明の1実施形態により、3/4WRGBカラーフィルターアレイの7×7画素における4個の(4)赤色画素からターゲット(白色)画素TPへの赤色の寄与度(Raverage)がどのように計算されるかを示している。
図6Aに示されるように、7×7距離係数表が3/4WRGBカラーフィルターアレイの7×7画素に割り当てられ(工程(a))、このうち、4個の(4)赤色画素のうちの1個(つまり図6Aで“16”と表示されている画素)は7×7距離係数表の中心に位置する中心距離係数(dfc=d/d=16/16)に対応しており、かつターゲット画素は、4個の(4)赤色画素のうちの1個に対するターゲット画素の相対的な位置に基づいて、7×7距離係数表中の距離係数(df13=d13/d=3/16)に対応している。
次に、4個の(4)赤色画素のうちの1個(つまり図6Aで“16”と表示されている画素)の測定された画素情報(R98:230lux)に、ターゲット画素に対応する距離係数(つまり、3/16)が乗じられ(工程(b))、これはR98×dfTP=230lux×3/16と表すことができ、ここでdfTPはdf13である。
図6A〜6Dにおいて具体化されるように、上記の工程(a)および(b)が4個の(4)赤色画素のそれぞれについて繰り返されて、次の情報が得られる。
98×df13=230lux×3/16(図6A参照)、
94×df17=220lux×1/16(図6B参照)、
54×df57=200lux×3/16(図6C参照)、および
58×df53=210lux×9/16(図6D参照)。
上記の工程が4個の(4)赤色画素のそれぞれについて繰り返された後、4個の(4)赤色画素からターゲット画素TPへの赤色の寄与度(Raverage)が、AのBに対する比として計算され、ここで、Aは4個の(4)赤色画素のそれぞれに対する工程(b)の合計であり、Bは繰り返された工程(a)のそれぞれにおけるターゲット画素の距離係数(dfij)の合計である。よって、赤色の寄与度(Raverage)は次のように表すことができる。
average=ΣRij×d/Σd=(R98×df13+R94×df17+R54× df57+R58×df53)/(df13+df17+df57+df53)=(230lux ×3/16+220lux×1/16+200lux×3/16+210lux×9/16)/(3/16+1/16+3/16+9/16)=212.5lux。
同様に、緑色の寄与度(Gaverage)および青色の寄与度(Baverage)が、赤色の寄与度(Raverage)と同じ方法で計算され得る(図6E〜6Lおよび6M〜6Pを参照)。
図5A〜5Cにおける測定された情報を用いると、赤色の寄与度(Raverage)、緑色の寄与度(Gaverage)および青色の寄与度(Baverage)はそれぞれ212.5lux、230luxおよび200luxとなる。詳細には、Gaverage=ΣGij×d/Σd=(G44×df67+G48×df63+G55×df56+G59×df52+G84×df27+G88×df23+G95×df16+G99×df12)/(df67+df63+df56+df52+df27+df23+df16+df12)=(235lux×2/16+235lux×6/16+235lux×6/16+235lux×6/16+235lux×2/16+215lux×6/16+235lux×2/16+215lux×2/16)/(2/16+6/16+6/16+6/16+2/16+6/16+2/16+2/16)=230lux(図6E〜6Lを参照)、Baverage=ΣBij×d/Σd=(B45×df66+B49×df62+B85×df26 +B89×df22)/(df66+df62+df26+df22)=(210lux×4/16+190lux×4/16+210lux×4/16+190lux×4/16)/(4/16+4/16+4/16+4/16)=200luxとなる(図6M〜6Pを参照)。
本発明の別の実施形態では、少なくとも2個の赤色画素からターゲット画素への赤色の寄与度(Raverage)を計算する工程は、次の工程を含む。
(a’)M×M距離係数表をカラーフィルターアレイのM×M画素に割り当てる工程であって、このうち、ターゲット画素はM×M距離係数表の中心に位置する中心距離係数に対応し、かつ少なくとも2個の赤色画素は、ターゲット画素に対する少なくとも2個の赤色画素の相対的な位置に基づいてM×M距離係数表中の2個の距離係数にそれぞれ対応する、M×M距離係数表をカラーフィルターアレイのM×M画素に割り当てる工程、
(b’)少なくとも2個の赤色画素のそれぞれの測定された画素情報(Rij) にM×M距離係数表中の2個の距離係数のうちの対応する1個を乗じる工程、および
少なくとも2個の赤色画素からターゲット画素への赤色の寄与度(Raverage)をAのBに対する比として計算する工程であって、ここでAは少なくとも2個の赤色画素のそれぞれに対する工程(b’)の合計であり、Bは少なくとも2個の赤色画素のそれぞれの距離係数(dfij)の合計である、少なくとも2個の赤色画素からターゲット画素への赤色の寄与度(Raverage)をAのBに対する比として計算する工程。
図5A〜5Cに示される3/4WRGBカラーフィルターアレイを例にとり、かつ図4に示される7×7距離係数表を適用する。図7Aは、本発明のこの実施形態により、3/4WRGBカラーフィルターアレイの7×7画素における4個の(4)赤色画素からターゲット(白色)画素TPへの赤色の寄与度(Raverage)がどのように計算されるかを示している。
図7Aに示されるように、7×7距離係数表がカラーフィルターアレイの選択された7×7画素に割り当てられ、このうち、ターゲット画素は7×7距離係数表の中心に位置する中心距離係数に対応しており、かつ4個の(4)赤色画素は、ターゲット画素TPに対する4個の(4)赤色画素の相対的な位置に基づいて、7×7距離係数表中の4個の(4)距離係数(つまり、df75、df71、df31、df35)にそれぞれ対応している。
次に、4個の(4)赤色画素のそれぞれの測定された画素情報(Rij、つまりR98、R94、R54、R58)に、7×7距離係数表中の4個の(4)距離係数(つまり、df75、df71、df31、df35)のうちの対応する1個が乗じられ、これによって次の情報が得られる。
98×df75=230lux×3/16、
94×df71=220lux×1/16、
54×df31=200lux×3/16、および
58×df35=210lux×9/16。
次に、AのBに対する比として4個の(4)赤色画素からターゲット画素TPへの赤色の寄与度(Raverage)が計算され、ここでAは4個の(4)赤色画素のそれぞれに対する工程(b’)の合計であり、Bは4個の(4)赤色画素のそれぞれの距離係数(dfij)の合計である。よって、赤色の寄与度(Raverage)は次のように表すことができる。
average=ΣRij×d/Σd=(R98×df75+R94×df71+R54×df31+R58×df35)/(df75+df71+df31+df35)=(230lux×3/16+220lux×1/16+200lux×3/16+210lux×9/16)/(3/16+1/16+3/16+9/16)=212.5lux
同様に、緑色の寄与度(Gaverage)および青色の寄与度(Baverage)が、赤色の寄与度(Raverage)と同じ方法で計算され得る(図7Bおよび7Cを参照)。
図5A〜5Cにおける測定された情報を用いると、赤色の寄与度(Raverage)、緑色の寄与度(Gaverage)および青色の寄与度(Baverage)はそれぞれ212.5lux、230luxおよび200luxとなる。詳細には、Gaverage =ΣGij×d/Σd=(G44×df21+G48×df25+G55×df32+G59 ×df36+G84×df61+G88×df65+G95×df72+G99×df76)/(df21+df25+df32+df36+df61+df65+df72+df76)=(235lux×2/16+235lux×6/16+235lux×6/16+235lux ×6/16+235lux×2/16+215lux×6/16+235lux ×2/16+215lux×2/16)/(2/16+6/16+6/16+6/16+2/16+6/16+2/16+2/16)=230lux(図7Bを参照)、Baverage=ΣBij×d/Σd=(B45×df22+B49×df26+B85×df62+ B89×df66)/(df22+df26+df62+df66)=(210lux×4/16+190lux×4/16+210lux×4/16+190lux×4/16)/(4/16+4/16+4/16+4/16)=200lux(図7Cを参照)となる。
赤色の寄与度(Raverage)、緑色の寄与度(Gaverage)および青色の寄与度(Baverage)が計算されたら、ターゲット画素の赤色画素性能(fRij)が、赤色の寄与度(Raverage)、緑色の寄与度(Gaverage)および青色の寄与度(Baverage)、ならびにターゲット画素の測定された画素情報(W)に基づいて計算される。
1実施形態において、ターゲット画素の赤色画素性能(fRij)は、fRij=W・Raverage/(Raverage+Gaverage+Baverage)となる。図5A〜5Cにおける測定された情報、ならびに計算された赤色の寄与度(Raverage)、計算された緑色の寄与度(Gaverage)および計算された青色の寄与度(Baverage)を用いると、ターゲット画素の赤色画素性能(fRij)=800×212.5/(212.5+230+200)=264.59となる。
同様に、ターゲット画素の緑色画素性能(fGij)が、赤色の寄与度(Raverage)、緑色の寄与度(Gaverage)および青色の寄与度(Baverage)、ならびにターゲット画素の測定された画素情報(W)に基づいて計算される。
1実施形態において、ターゲット画素の緑色画素性能(fGij)は、fGij=W・Gaverage/(Raverage+Gaverage+Baverage)となる。図5A〜5Cにおける測定された情報、ならびに計算された赤色の寄与度(Raverage)、計算された緑色の寄与度(Gaverage)および計算された青色の寄与度(Baverage)を用いると、ターゲット画素の緑色画素性能(fGij)=800×230/(212.5+230+200)=286.38となる。
同様に、ターゲット画素の青色画素性能(fBij)が、赤色の寄与度(Raverage)、緑色の寄与度(Gaverage)および青色の寄与度(Baverage)、ならびにターゲット画素の測定された画素情報(W)に基づいて計算される。
1実施形態において、ターゲット画素の青色画素性能(fBij)は、fBij=W・Baverage/(Raverage+Gaverage+Baverage)となる。図5A〜5Cにおける測定された情報、ならびに計算された赤色の寄与度(Raverage)、計算された緑色の寄与度(Gaverage)および計算された青色の寄与度(Baverage)を用いると、ターゲット画素の青色画素性能(fBij)=800×200/(212.5+230+200)=249.03となる。
ターゲット画素の赤色画素性能(fRij)が得られたら、赤色補正係数(T)が、赤色画素性能(fRij)の赤色の寄与度(Raverage)に対する比として計算され得る。つまりT=fRij/Raverageとなる。上述の例を用いると、赤色補正係数(T)は264.59/212.5=1.245である。
同様に、ターゲット画素の緑色画素性能(fGij)が得られたら、緑色補正係数(T)が、緑色画素性能(fGij)の緑色の寄与度(Gaverage)に対する比として計算され得る。つまりT=fGij/Gaverageとなる。上述の例を用いると、緑色補正係数(T)は286.38/230=1.245である。
同様に、ターゲット画素の青色画素性能(fBij)が得られたら、青色補正係数(T)が、青色画素性能(fBij)の青色の寄与度(Baverage)に対する比として計算され得る。つまりT=fBij/Baverageとなる。上述の例を用いると、青色補正係数(T)は249.03/200=1.245である。
赤色補正係数(T)が得られたら、赤色補正係数(T)を少なくとも2個の赤色画素のそれぞれの測定された赤色画素情報(Rij)に適用することにより、少なくとも2個の赤色画素のそれぞれの補正された画素情報(Rfinal)が得られる。
1実施形態において、補正された画素情報(Rfinal)は、少なくとも2個の赤色画素のそれぞれの測定された赤色画素情報(Rij)と赤色補正係数(T)との乗算(multiplication)である。つまり、Rij(final)=Rij(measured)×Tである。
図5A〜5Cの例を用いると、4個の(4)赤色画素のそれぞれの補正された画素情報(Rfinal)は次のとおりとなる。
54(final)=R54(measured)×T=200lux×1.245=249 lux、
94(final)=R94(measured)×T=220lux×1.245=273.9lux、
58(final)=R54(measured)×T=210lux×1.245=261.45lux、および
98(final)=R54(measured)×T=230lux×1.245=286.35lux。
同様に、緑色補正係数(T)が得られたら、緑色補正係数(T)を少なくとも2個の緑色画素のそれぞれの測定された画素情報(Gij)に適用することにより、少なくとも2個の緑色画素のそれぞれの補正された画素情報(Gfinal)が得られる。
1実施形態において、補正された画素情報(Gfinal)は、少なくとも2個の緑色画素のそれぞれの測定された画素情報(Gij)と緑色補正係数(T)との乗算である。つまり、Gij(final)=Gij(measured)×Tとなる。
図5A〜5Cの例を用いると、8個の(8)緑色画素のそれぞれの補正された画素情報(Gfinal)は次のとおりとなる。
44(final)=G44(measured)×T=235lux×1.245=292.575lux、
48(final)=G48(measured)×T=235lux×1.245=292.575lux、
55(final)=G55(measured)×T=235lux×1.245=292.575lux、
59(final)=G59(measured)×T=235lux×1.245=292.575lux、
84(final)=G84(measured)×T=235lux×1.245=292.575lux、
88(final)=G88(measured)×T=215lux×1.245=267.675lux、
95(final)=G95(measured)×T=235lux×1.245=292.575lux、および
99(final)=G99(measured)×T=215lux×1.245=267.675lux。
同様に、青色補正係数(T)が得られたら、青色補正係数(T)を少なくとも2個の青色画素のそれぞれの測定された画素情報(Bij)に適用することにより、少なくとも2個の青色画素のそれぞれの補正された画素情報(Bfinal)が得られる。
1実施形態において、補正された画素情報(Bfinal)は、少なくとも2個の青色画素のそれぞれの測定された画素情報(Bij)と青色補正係数(T)との乗算である。つまり、Bij(final)=Bij(measured)×Tとなる。
図5A〜5Cの例を用いると、4個の(4)青色画素のそれぞれの補正された画素情報(Bfinal) は次のとおりとなる。
45(final)=B45(measured)×T=210lux×1.245=261.45lux、
49(final)=B49(measured)×T=190lux×1.245=236.55lux、
85(final)=B85(measured)×T=210lux×1.245=261.45lux、および
89(final)=B89(measured)×T=190lux×1.245=236.55lux。
赤色/緑色/青色補正係数(T/T/T)を、選択されたM×M画素における少なくとも2個の赤色/緑色/青色画素のそれぞれの測定された画素情報(Rij/Gij/Bij)に適用することにより、カラー画素の最終的な画素情報がより正確なものとなる。カラーフィルターアレイにおける白色画素の数の増加のために、この色補正係数は、測定された画素情報を補償することができる。よって、(測定された画素情報を補償することにより)イメージセンサーの画像解像度を犠牲にすることなく、(カラーフィルターアレイにおける白色画素の数を増やすことにより)より高い画像感度を提供することができる。
さらに、7×7距離係数表が示された実施形態において用いられ、かつ7×7画素の領域が、示された実施形態における示された3/4WRGBカラーフィルターアレイ中に選択されているが、M×M画素が少なくとも2個の赤色画素、少なくとも2個の緑色画素および少なくとも2個の青色画素をカバーできるものでありさえすれば、7×7距離係数表よりも大きいM×M距離係数表、および7×7画素よりも大きいM×M画素の領域を選択することもできる。
また、5/9WRGBカラーフィルターアレイでは、5×5画素またはそれより大きい領域が、少なくとも2個の赤色画素、少なくとも2個の緑色画素および少なくとも2個の青色画素をカバーできるものでありさえすれば、5×5またはそれより大きい距離係数表を用いることができ、かつ5×5画素またはそれより大きい領域を選択することができる。6/9WRGBカラーフィルターアレイ、7/9WRGBカラーフィルターアレイ、または8/9WRGBカラーフィルターアレイでは、同じ原則(つまり、M×M画素が少なくとも2個の赤色画素、少なくとも2個の緑色画素および少なくとも2個の青色画素をカバーできるものでありさえすれば、M×Mまたはそれより大きい距離係数表およびM×M画素またはそれより大きい領域を選択することができる)を適用する。
本発明を上述のように説明したが、本発明が様々な形に変化し得るということは明らかであろう。このような変化は本発明の精神および範囲からの逸脱と見なされるものではなく、当業者には明らかであるようなかかる変更の全ては、以下の特許請求の範囲に含まれることが意図されている。
TP ターゲット画素
R、G、B カラー画素

Claims (10)

  1. イメージセンサーのカラーフィルターアレイ上のカラー画素の画素情報を補正する方法であって、前記カラーフィルターアレイは複数の画素アレイを含み、各画素アレイは4個の(4)N×N画素ユニットからなり、Nは2以上の整数であり、各N×N画素ユニットは複数の白色画素および少なくとも1個のカラー画素を有し、前記少なくとも1個のカラー画素には1個以上の赤色画素、1個以上の緑色画素、1個以上の青色画素、またはこれらの任意の組み合わせが含まれ、前記4個の(4)N×N画素ユニットのそれぞれにおける前記少なくとも1個のカラー画素の数は同じであり、前記4個の(4)N×N画素ユニットのそれぞれにおける前記少なくとも1個のカラー画素の数は前記4個の(4)N×N画素ユニットのそれぞれにおける前記複数の白色画素の数よりも小さく、前記方法が、
    M×M距離係数(dfij)を有するM×M距離係数表を確立する工程と、
    前記カラーフィルターアレイのM×M画素を選択する工程であって、前記カラーフィルターアレイの前記M×M画素は少なくとも2個の赤色画素、少なくとも2個の緑色画素、少なくとも2個の青色画素、およびターゲット画素をカバーし、かつ前記ターゲット画素は前記カラーフィルターアレイの前記M×M画素の中心の画素である、前記カラーフィルターアレイのM×M画素を選択する工程と、
    前記カラーフィルターアレイの前記M×M画素における前記少なくとも2個の赤色画素から前記ターゲット画素への赤色の寄与度(Raverage)を、前記M×M距離係数表の前記距離係数および前記少なくとも2個の赤色画素のそれぞれの測定された画素情報(Rij)を用いて計算する工程と、
    前記カラーフィルターアレイの前記M×M画素における前記少なくとも2個の緑色画素から前記ターゲット画素への緑色の寄与度(Gaverage)を、前記M×M距離係数表の前記距離係数および前記少なくとも2個の緑色画素のそれぞれの測定された画素情報(Gij)を用いて計算する工程と、
    前記カラーフィルターアレイの前記M×M画素における前記少なくとも2個の青色画素から前記ターゲット画素への青色の寄与度(Baverage)を、前記M×M距離係数表の前記距離係数および前記少なくとも2個の青色画素のそれぞれの測定された画素情報(Bij)を用いて計算する工程と、
    前記ターゲット画素の赤色画素性能(fRij)、前記ターゲット画素の緑色画素性能(fGij)および前記ターゲット画素の青色画素性能(fBij)のうちの少なくとも1個を、前記赤色の寄与度(Raverage)、前記緑色の寄与度(Gaverage)および前記青色の寄与度(Baverage)、ならびに前記ターゲット画素の測定された画素情報(W)に基づいて計算する工程と、
    前記赤色画素性能(fRij)の前記赤色の寄与度(Raverage)に対する比である赤色補正係数(T)、前記緑色画素性能(fGij)の前記緑色の寄与度(Gaverage)に対する比である緑色補正係数(T)、および前記青色画素性能(fBij)の前記青色の寄与度(Baverage)に対する比である青色補正係数(T)のうちの少なくとも1個を計算する工程と、
    前記赤色補正係数(T)を前記少なくとも2個の赤色画素のそれぞれの前記測定された画素情報(Rij)に適用することにより前記少なくとも2個の赤色画素のそれぞれの補正された画素情報(Rfinal)を得ること、前記緑色補正係数(T)を前記少なくとも2個の緑色画素のそれぞれの前記測定された画素情報(Gij)に適用することにより前記少なくとも2個の緑色画素のそれぞれの補正された画素情報(Gfinal)を得ること、および前記青色補正係数(T)を前記少なくとも2個の青色画素のそれぞれの前記測定された画素情報(Bij)に適用することにより前記少なくとも2個の青色画素のそれぞれの補正された画素情報(Bfinal)を得ること、のうち少なくとも1つを実行する工程と、
    を含むことを特徴とするイメージセンサーのカラーフィルターアレイ上のカラー画素の画素情報を補正する方法。
  2. 前記少なくとも2個の赤色画素から前記ターゲット画素への前記赤色の寄与度(Raverage)を計算する前記工程が、
    (a)前記M×M距離係数表を前記カラーフィルターアレイの第2のM×M画素に割り当てる工程であって、前記少なくとも2個の赤色画素のうちの1個は前記M×M距離係数表の中心に位置する中心距離係数に対応し、かつ前記ターゲット画素は、前記少なくとも2個の赤色画素のうちの前記1個に対する前記ターゲット画素の相対的な位置に基づいて前記M×M距離係数表における距離係数に対応する、前記M×M距離係数表を前記カラーフィルターアレイの第2のM×M画素に割り当てる工程と、
    (b)前記少なくとも2個の赤色画素のうちの前記1個の前記測定された画素情報(Rij)に前記ターゲット画素に対応する前記距離係数を乗じる工程と、
    前記少なくとも2個の赤色画素のそれぞれに対して前記工程(a)および(b)を繰り返す工程と、
    前記少なくとも2個の赤色画素から前記ターゲット画素への前記赤色の寄与度(Raverage)をAのBに対する比として計算する工程であって、ここでAは前記少なくとも2個の赤色画素のそれぞれに対する前記工程(b)の合計であり、Bは繰り返された前記工程(a)のそれぞれにおける前記ターゲット画素の前記距離係数(dfij)の合計である、前記少なくとも2個の赤色画素から前記ターゲット画素への前記赤色の寄与度(Raverage)をAのBに対する比として計算する工程と、
    を含み、
    前記中心距離係数が前記M×M距離係数表中の前記距離係数のうちで最も高い値を有し、かつ前記M×M距離係数表における距離係数が前記中心距離係数からより遠くに位置するほど、前記M×M距離係数表におけるその距離係数の値はより低くなることを特徴とする請求項1に記載のイメージセンサーのカラーフィルターアレイ上のカラー画素の画素情報を補正する方法。
  3. 前記少なくとも2個の赤色画素から前記ターゲット画素への前記赤色の寄与度(Raverage)を計算する前記工程が、
    (a)前記M×M距離係数表を前記カラーフィルターアレイの前記M×M画素に割り当てる工程であって、前記ターゲット画素は前記M×M距離係数表の中心に位置する中心距離係数に対応し、かつ前記少なくとも2個の赤色画素は、前記ターゲット画素に対する前記少なくとも2個の赤色画素の相対的な位置に基づいて前記M×M距離係数表中の2個の距離係数にそれぞれ対応する、前記M×M距離係数表を前記カラーフィルターアレイの前記M×M画素に割り当てる工程と、
    (b)前記少なくとも2個の赤色画素のそれぞれの前記測定された画素情報(Rij)に前記M×M距離係数表中の前記2個の距離係数のうちの対応する1個を乗じる工程と、
    前記少なくとも2個の赤色画素から前記ターゲット画素への前記赤色の寄与度(Raverage)をAのBに対する比として計算する工程であって、ここでAは前記少なくとも2個の赤色画素のそれぞれに対する前記工程(b)の合計であり、Bは前記少なくとも2個の赤色画素のそれぞれの前記距離係数(dfij)の合計である、前記少なくとも2個の赤色画素から前記ターゲット画素への前記赤色の寄与度(Raverage)をAのBに対する比として計算する工程と、
    を含み、
    前記中心距離係数が前記M×M距離係数表中の前記距離係数のうちで最も高い値を有し、かつ前記M×M距離係数表における距離係数が前記中心距離係数からより遠くに位置するほど、前記M×M距離係数表におけるその距離係数の値はより低くなることを特徴とする請求項1に記載のイメージセンサーのカラーフィルターアレイ上のカラー画素の画素情報を補正する方法。
  4. 前記少なくとも2個の緑色画素から前記ターゲット画素への前記緑色の寄与度(Gaverage)を計算する前記工程が、
    (a)前記M×M距離係数表を前記カラーフィルターアレイの第2のM×M画素に割り当てる工程であって、前記少なくとも2個の緑色画素のうちの1個は前記M×M距離係数表の中心に位置する中心距離係数に対応し、かつ前記ターゲット画素は、前記少なくとも2個の緑色画素のうちの前記1個に対する前記ターゲット画素の相対的な位置に基づいて前記M×M距離係数表における距離係数に対応する、前記M×M距離係数表を前記カラーフィルターアレイの第2のM×M画素に割り当てる工程と、
    (b)前記少なくとも2個の緑色画素のうちの前記1個の前記測定された画素情報(Gij)に前記ターゲット画素に対応する前記距離係数を乗じる工程と、
    前記少なくとも2個の緑色画素のそれぞれに対して前記工程(a)および(b)を繰り返す工程と、
    前記少なくとも2個の緑色画素から前記ターゲット画素への前記緑色の寄与度(Gaverage)をAのBに対する比として計算する工程であって、ここでAは前記少なくとも2個の緑色画素のそれぞれに対する前記工程(b)の合計であり、Bは繰り返された前記工程(a)のそれぞれにおける前記ターゲット画素の前記距離係数(dfij)の合計である、前記少なくとも2個の緑色画素から前記ターゲット画素への前記緑色の寄与度(Gaverage)をAのBに対する比として計算する工程と、
    を含み、
    前記中心距離係数が前記M×M距離係数表中の前記距離係数のうちで最も高い値を有し、かつ前記M×M距離係数表における距離係数が前記中心距離係数からより遠くに位置するほど、前記M×M距離係数表におけるその距離係数の値はより低くなることを特徴とする請求項1に記載のイメージセンサーのカラーフィルターアレイ上のカラー画素の画素情報を補正する方法。
  5. 前記少なくとも2個の緑色画素から前記ターゲット画素への前記緑色の寄与度(Gaverage)を計算する前記工程が、
    (a)前記M×M距離係数表を前記カラーフィルターアレイの前記M×M画素に割り当てる工程であって、前記ターゲット画素は前記M×M距離係数表の中心に位置する中心距離係数に対応し、かつ前記少なくとも2個の緑色画素は、前記ターゲット画素に対する前記少なくとも2個の緑色画素の相対的な位置に基づいて前記M×M距離係数表中の2個の距離係数にそれぞれ対応する、前記M×M距離係数表を前記カラーフィルターアレイの前記M×M画素に割り当てる工程と、
    (b)前記少なくとも2個の緑色画素のそれぞれの前記測定された画素情報(Gij)に前記M×M距離係数表中の前記2個の距離係数のうちの対応する1個を乗じる工程と、
    前記少なくとも2個の緑色画素から前記ターゲット画素への前記緑色の寄与度(Gaverage)をAのBに対する比として計算する工程であって、ここでAは前記少なくとも2個の緑色画素のそれぞれに対する前記工程(b)の合計であり、Bは前記少なくとも2個の緑色画素のそれぞれの前記距離係数(dfij)の合計である、前記少なくとも2個の緑色画素から前記ターゲット画素への前記緑色の寄与度(Gaverage)をAのBに対する比として計算する工程と、
    を含み、
    前記中心距離係数が前記M×M距離係数表中の前記距離係数のうちで最も高い値を有し、かつ前記M×M距離係数表における距離係数が前記中心距離係数からより遠くに位置するほど、前記M×M距離係数表におけるその距離係数の値はより低くなることを特徴とする請求項1に記載のイメージセンサーのカラーフィルターアレイ上のカラー画素の画素情報を補正する方法。
  6. 前記少なくとも2個の青色画素から前記ターゲット画素への前記青色の寄与度(Baverage)を計算する前記工程が、
    (a)前記M×M距離係数表を前記カラーフィルターアレイの第2のM×M画素に割り当てる工程であって、前記少なくとも2個の青色画素のうちの1個は前記M×M距離係数表の中心に位置する中心距離係数に対応し、かつ前記ターゲット画素は、前記少なくとも2個の青色画素のうちの前記1個に対する前記ターゲット画素の相対的な位置に基づいて前記M×M距離係数表における距離係数に対応する、前記M×M距離係数表を前記カラーフィルターアレイの第2のM×M画素に割り当てる工程と、
    (b)前記少なくとも2個の青色画素のうちの前記1個の前記測定された画素情報 (Bij) に前記ターゲット画素に対応する前記距離係数を乗じる工程と、
    前記少なくとも2個の青色画素のそれぞれに対して前記工程(a)および(b)を繰り返す工程と、
    前記少なくとも2個の青色画素から前記ターゲット画素への前記青色の寄与度(Baverage)をAのBに対する比として計算する工程であって、ここでAは前記少なくとも2個の青色画素のそれぞれに対する前記工程(b)の合計であり、Bは繰り返された前記工程(a)のそれぞれにおける前記ターゲット画素の前記距離係数(dfij)の合計である、前記少なくとも2個の青色画素から前記ターゲット画素への前記青色の寄与度(Baverage)をAのBに対する比として計算する工程と、
    を含み、
    前記中心距離係数が前記M×M距離係数表中の前記距離係数のうちで最も高い値を有し、かつ前記M×M距離係数表における距離係数が前記中心距離係数からより遠くに位置するほど、前記M×M距離係数表におけるその距離係数の値はより低くなることを特徴とする請求項1に記載のイメージセンサーのカラーフィルターアレイ上のカラー画素の画素情報を補正する方法。
  7. 前記少なくとも2個の青色画素から前記ターゲット画素への前記青色の寄与度(Baverage)を計算する前記工程が、
    (a)前記M×M距離係数表を前記カラーフィルターアレイの前記M×M画素に割り当てる工程であって、前記ターゲット画素は前記M×M距離係数表の中心に位置する中心距離係数に対応し、かつ前記少なくとも2個の青色画素は、前記ターゲット画素に対する前記少なくとも2個の青色画素の相対的な位置に基づいて前記M×M距離係数表中の2個の距離係数にそれぞれ対応する、前記M×M距離係数表を前記カラーフィルターアレイの前記M×M画素に割り当てる工程と、
    (b)前記少なくとも2個の青色画素のそれぞれの前記測定された画素情報(Bij)に前記M×M距離係数表中の前記2個の距離係数のうちの対応する1個を乗じる工程と、
    前記少なくとも2個の青色画素から前記ターゲット画素への前記青色の寄与度(Baverage)をAのBに対する比として計算する工程であって、ここでAは前記少なくとも2個の青色画素のそれぞれに対する前記工程(b)の合計であり、Bは前記少なくとも2個の青色画素のそれぞれの前記距離係数(dfij)の合計である、前記少なくとも2個の青色画素から前記ターゲット画素への前記青色の寄与度(Baverage)をAのBに対する比として計算する工程と、
    を含み、
    前記中心距離係数が前記M×M距離係数表中の前記距離係数のうちで最も高い値を有し、かつ前記M×M距離係数表における距離係数が前記中心距離係数からより遠くに位置するほど、前記M×M距離係数表におけるその距離係数の値はより低くなることを特徴とする請求項1に記載のイメージセンサーのカラーフィルターアレイ上のカラー画素の画素情報を補正する方法。
  8. 前記ターゲット画素の前記赤色画素性能(fRij)がfRij=W・Raverage/(Raverage+Gaverage+Baverage)であり、前記ターゲット画素の前記緑色画素性能(fGij)がfGij=W・Gaverage/(Raverage+Gaverage+Baverage)であり、前記ターゲット画素の前記青色画素性能(fBij)がfBij=W・Baverage/(Raverage+Gaverage+Baverage)であることを特徴とする請求項1に記載のイメージセンサーのカラーフィルターアレイ上のカラー画素の画素情報を補正する方法。
  9. 前記少なくとも2個の赤色画素のそれぞれの前記補正された画素情報(Rfinal)が、前記少なくとも2個の赤色画素のそれぞれの前記測定された画素情報(Rij)と前記赤色補正係数(T)との乗算(multiplication)であることを特徴とする請求項1に記載のイメージセンサーのカラーフィルターアレイ上のカラー画素の画素情報を補正する方法。
  10. 前記少なくとも2個の緑色画素のそれぞれの前記補正された画素情報(Gfinal)が、前記少なくとも2個の緑色画素のそれぞれの前記測定された画素情報(Gij)と前記緑色補正係数(T)との乗算であり、前記少なくとも2個の青色画素のそれぞれの前記補正された画素情報(Bfinal)が、前記少なくとも2個の青色画素のそれぞれの前記測定された画素情報(Bij)と前記青色補正係数(T)との乗算であることを特徴とする請求項1に記載のイメージセンサーのカラーフィルターアレイ上のカラー画素の画素情報を補正する方法。
JP2013186449A 2012-12-28 2013-09-09 イメージセンサーのカラーフィルターアレイ上のカラー画素の画素情報を補正する方法 Active JP5658338B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/730,475 2012-12-28
US13/730,475 US8866944B2 (en) 2012-12-28 2012-12-28 Method for correcting pixel information of color pixels on a color filter array of an image sensor

Publications (2)

Publication Number Publication Date
JP2014131256A true JP2014131256A (ja) 2014-07-10
JP5658338B2 JP5658338B2 (ja) 2015-01-21

Family

ID=51016798

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013186449A Active JP5658338B2 (ja) 2012-12-28 2013-09-09 イメージセンサーのカラーフィルターアレイ上のカラー画素の画素情報を補正する方法

Country Status (4)

Country Link
US (2) US8866944B2 (ja)
JP (1) JP5658338B2 (ja)
CN (1) CN103916645B (ja)
TW (1) TWI489864B (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9361678B1 (en) * 2015-04-17 2016-06-07 National Taiwan University Compensation method of spectral mismatch
KR102348760B1 (ko) * 2015-07-24 2022-01-07 삼성전자주식회사 이미지 센서 및 그에 따른 신호 처리 방법
CN105979233B (zh) * 2016-06-30 2018-10-19 北京奇艺世纪科技有限公司 去马赛克方法、图像处理器及图像传感器
US10079255B1 (en) * 2017-08-04 2018-09-18 GM Global Technology Operations LLC Color filter array apparatus
US10841488B2 (en) * 2018-08-03 2020-11-17 Qualcomm Incorporated Combined monochrome and chromatic camera sensor
CN109348204A (zh) * 2018-10-30 2019-02-15 德淮半导体有限公司 图像传感器及生成图像的方法
EP4033535A4 (en) * 2019-09-30 2023-03-01 Guangdong Oppo Mobile Telecommunications Corp., Ltd. IMAGE SENSOR, CAMERA ASSEMBLY AND MOBILE TERMINAL
KR102230609B1 (ko) * 2019-11-26 2021-03-19 가천대학교 산학협력단 딥 러닝 기반 희소 컬러 센서 이미지 처리장치, 이미지 처리방법 및 컴퓨터-판독가능 매체
KR20210156553A (ko) * 2020-06-18 2021-12-27 에스케이하이닉스 주식회사 이미지 센싱 장치 및 그의 동작 방법
KR20220132069A (ko) 2021-03-22 2022-09-30 삼성전자주식회사 이미지 센서
CN116132812A (zh) * 2021-11-12 2023-05-16 三星电子株式会社 图像传感器和图像传感器的操作方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006165975A (ja) * 2004-12-07 2006-06-22 Konica Minolta Photo Imaging Inc 撮像素子、撮像装置、画像処理方法
JP2008219598A (ja) * 2007-03-06 2008-09-18 Sony Corp 固体撮像装置、撮像装置
JP2009538563A (ja) * 2006-05-22 2009-11-05 イーストマン コダック カンパニー 光感度が改善されたイメージ・センサー
WO2011048870A1 (ja) * 2009-10-20 2011-04-28 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4449936B2 (ja) * 2006-03-31 2010-04-14 ソニー株式会社 撮像装置、カメラシステムおよびその駆動方法
JP5106870B2 (ja) * 2006-06-14 2012-12-26 株式会社東芝 固体撮像素子
JP2008306379A (ja) * 2007-06-06 2008-12-18 Toshiba Corp 固体撮像素子
US20090147098A1 (en) * 2007-12-10 2009-06-11 Omnivision Technologies, Inc. Image sensor apparatus and method for color correction with an illuminant-dependent color correction matrix
US8619163B2 (en) * 2009-09-18 2013-12-31 Canon Kabushiki Kaisha Solid state imaging using a correction parameter for correcting a cross talk between adjacent pixels
CN103404152B (zh) * 2011-12-26 2016-11-23 松下电器(美国)知识产权公司 固体摄像元件、摄像装置、以及信号处理方法
JP5789542B2 (ja) * 2012-02-29 2015-10-07 日立マクセル株式会社 撮像装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006165975A (ja) * 2004-12-07 2006-06-22 Konica Minolta Photo Imaging Inc 撮像素子、撮像装置、画像処理方法
JP2009538563A (ja) * 2006-05-22 2009-11-05 イーストマン コダック カンパニー 光感度が改善されたイメージ・センサー
JP2008219598A (ja) * 2007-03-06 2008-09-18 Sony Corp 固体撮像装置、撮像装置
WO2011048870A1 (ja) * 2009-10-20 2011-04-28 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム

Also Published As

Publication number Publication date
TWI489864B (zh) 2015-06-21
US9219893B2 (en) 2015-12-22
US8866944B2 (en) 2014-10-21
JP5658338B2 (ja) 2015-01-21
US20140362250A1 (en) 2014-12-11
CN103916645B (zh) 2016-01-13
US20140184863A1 (en) 2014-07-03
CN103916645A (zh) 2014-07-09
TW201427415A (zh) 2014-07-01

Similar Documents

Publication Publication Date Title
JP5658338B2 (ja) イメージセンサーのカラーフィルターアレイ上のカラー画素の画素情報を補正する方法
CN102124744B (zh) 图像处理装置、图像处理方法和成像设备
US8817141B2 (en) Image processing device and method, recording medium, and imaging device
TWI422234B (zh) An image signal correcting means, an image capturing means, an image signal correcting means, and an image signal correcting processing means
US8780239B2 (en) Image pickup apparatus and signal value correction method
JP2011521591A (ja) カメラセンサの補正
US20190215473A1 (en) Imaging apparatus, imaging device, and image processing apparatus
US8988591B2 (en) Solid-state imaging device, camera module, and focus adjustment method of camera module
JP5591851B2 (ja) 固体撮像装置および携帯情報端末
JP2008070853A (ja) 画像配列データの補償方法
TWI638149B (zh) 輝度測定方法、輝度測定裝置及使用前述方法與裝置之畫質調整技術
CN103517004B (zh) 修正图像***的渐晕的方法及装置
JP5414691B2 (ja) 画像処理装置及び画像処理方法
JP2010199650A (ja) 画像処理装置および画像処理方法
TWI338511B (ja)
US8279308B1 (en) Optimized log encoding of image data
JP2009219123A (ja) 色収差を補正する方法
JPWO2006059365A1 (ja) 画像処理装置、非撮像色信号算出装置及び画像処理方法
KR102346622B1 (ko) 이미지 센서 및 이를 포함하는 촬상 장치
US10937230B2 (en) Image processing
JP2012156882A (ja) 固体撮像装置
JP5896603B2 (ja) 撮像装置及び画像処理装置
WO2012176580A1 (ja) 撮像装置
JP4334484B2 (ja) 画素信号処理装置及び方法
TW201445976A (zh) 基於查表的綠色失衡校正系統及方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141006

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141028

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141125

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141127

R150 Certificate of patent or registration of utility model

Ref document number: 5658338

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250