JP6134879B2 - 透明フィルタピクセルを備えるイメージングシステム - Google Patents
透明フィルタピクセルを備えるイメージングシステム Download PDFInfo
- Publication number
- JP6134879B2 JP6134879B2 JP2013057224A JP2013057224A JP6134879B2 JP 6134879 B2 JP6134879 B2 JP 6134879B2 JP 2013057224 A JP2013057224 A JP 2013057224A JP 2013057224 A JP2013057224 A JP 2013057224A JP 6134879 B2 JP6134879 B2 JP 6134879B2
- Authority
- JP
- Japan
- Prior art keywords
- image signals
- image
- image sensor
- red
- blue
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 title claims description 35
- 238000012545 processing Methods 0.000 claims description 119
- 230000004044 response Effects 0.000 claims description 67
- 238000001914 filtration Methods 0.000 claims description 34
- 238000000034 method Methods 0.000 claims description 29
- 238000012937 correction Methods 0.000 claims description 12
- 230000014624 response to red light Effects 0.000 claims description 12
- 230000009471 action Effects 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 9
- 230000032554 response to blue light Effects 0.000 claims description 8
- 239000003086 colorant Substances 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 230000003595 spectral effect Effects 0.000 description 27
- 230000003321 amplification Effects 0.000 description 8
- 238000003199 nucleic acid amplification method Methods 0.000 description 8
- 230000000875 corresponding effect Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000003491 array Methods 0.000 description 5
- 238000001228 spectrum Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 239000006096 absorbing agent Substances 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000000975 dye Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/10—Image enhancement or restoration using non-spatial domain filtering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/85—Camera processing pipelines; Components thereof for processing colour signals for matrixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/618—Noise processing, e.g. detecting, correcting, reducing or removing noise for random or high-frequency noise
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/63—Generation or supply of power specially adapted for television receivers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/67—Circuits for processing colour signals for matrixing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2209/00—Details of colour television systems
- H04N2209/04—Picture signal generators
- H04N2209/041—Picture signal generators using solid-state devices
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Color Television Image Signal Generators (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Description
意の所望の色の画像センサピクセル(例えば、任意の色の光に反応する画像センサピクセ
ル)を含んでもよい。例えば、画像センサピクセルのアレイは、第一の色の光に反応する
画像センサピクセルの第一のグループと、第二の色の光に反応する画像センサピクセルの
第二のグループと、第三の色の光(例えば、赤、青、および白色光)に反応する画像セン
サピクセルの第三のグループと、を含んでもよい。第一の画像信号は第一のスペクトル応
答レベル(例えば、画像センサピクセルの第一のグループによって受信される光の周波数
の関数として積分された信号電力レベル)を有し、第二の画像信号は第二のスペクトル応
答レベル(例えば、画像センサピクセルの第二のグループによって受信される光の周波数の関数として積分された信号電力レベル)を有し、第三の画像信号は、第三のスペクトル
応答レベル(例えば、画像センサピクセルの第三のグループによって受信される光の周波
数の関数として積分された信号電力レベル)を有してもよい。第三の画像信号は、第一お
よび第二のスペクトル応答レベルよりも大きいスペクトル応答レベルを有してもよい(例
えば、第三のスペクトル応答レベルは、第一および第二のスペクトル応答レベルの和の7
5%よりも大きい可能性がある)。換言すると、第三の画像信号は、第一および第二の画
像信号よりも広範な範囲の光周波数に応じて捕捉されてもよい。
対してCCMを適用する前に、強いノイズ除去(例えば、クロマノイズ除去)を実施する
ことによって低減されてもよい。クロマノイズ除去は、画素190によって集められた画
像信号に対してクロマフィルタを適用することによって、処理回路18(図1)によって
実施されてもよい。クロマフィルタは、異なる色の画素からの画像信号(例えば、赤、白および青色の画像信号)間のノイズ相関を増大させるのに役立つ可能性がある。異なる色
の画素からの画像信号間のノイズ相関を増大させることによって、CCMによるノイズ増
幅を低減させ、それによって、最終的な画像品質を改善することにつながる。別の配置に
おいては、CCMによって増幅されたノイズは、捕捉された画像信号に対して、いわゆる
“ポイントフィルタ”を適用することによって補償される可能性がある。ポイントフィル
タは、CCMを利用して生成された赤、緑および青色画像信号の品質を高めるために、高
適合度の白色画像信号を使用してもよい。所望の場合には、画像センサ16は、最終的な
画像における改善された輝度特性をもたらすために、CCMによるノイズ増幅を低減させ
るため、クロマノイズ除去とポイントフィルタの双方を実施してもよい。
画像センサ16によって捕捉された画像信号は、白色ピクセルで集められた光に応じて生成される白色画像信号を含んでもよい。所望の場合には、画像信号は、使用される画素の構成に依存して(例えば、図3のユニットセル192が使用される場合には、画像信号は赤、白および青色画像信号を含み、図4のユニットセル194が使用される場合には、画像信号は赤、白および緑色画像信号を含むなど)、一つ以上の赤色画像信号、青色画像信号もしくは緑色画像信号を含んでもよい。図6の実施例においては、赤(R’)、白(W’)および青(B’)色画像信号が捕捉されてもよい。赤色画像信号は、第一のスペクトル応答値(赤色画像センサピクセルによって受信される光の周波数の関数として積分された信号電力レベル)を有し、青色画像信号は第二のスペクトル応答値を有し、白色画像信号(例えば、標準CIE光源Eで可視光スペクトルにわたって等しいエネルギー放射体に対して広範な感度を有する白色画像信号)は、例えば、第一および第二のスペクトル応答値の和のうちの75%より大きな第三のスペクトル応答値を有してもよい。画像信号は、各画素190によって捕捉された光に対応する画像値を有してもよい(例えば、赤色画像信号は、赤色画像値を含み、青色画像信号は青色画像値を含んでもよい、など)。捕捉された画像信号は、画像処理用に処理回路18へと伝送されてもよい。
る場合には、赤および青色画像信号由来のごくわずかなノイズが、クロマフィルタ処理後
(例えば、ステップ114の実施後)に赤および青色差値に残存する可能性がある。例え
ば、カーネルが15ピクセル×15ピクセル以上のサイズを有する場合には、クロマフィ
ルタ処理は、クロマフィルタ処理された赤および青色差値におけるノイズを無視できるレ
ベルまで低減する可能性がある。所望の場合には、画素190のカーネルは、複数の画素
アレイ200に位置する画素、複数の画像センサ16に位置する画素、および/もしくは
、(例えば、一時的なノイズ除去を考慮するために)複数のタイムフレーム間に使用され
る画素を含んでもよい。白色画像値がクロマフィルタ処理された差値に加算されるとき、
白色画像値におけるノイズは、差値におけるノイズにおいて優位を占める可能性がある。
本方法においては、ステップ118で生成された赤および青色画像データにおけるノイズ
は、白色画像データにおけるノイズと実施的に等しい可能性がある。赤および青色画像デ
ータにおけるノイズは、したがって、高い相関を有し、結果としてCCMによるノイズ増
幅を低減させる。本プロセスは、Bayerパターンが画素アレイ200に対して使用さ
れる場合よりも、CCMによるノイズ増幅をより小さくする可能性がある。
処理回路18は、最も単純な場合においては、包含された輝度信号によって元の輝度信号を除算することによって、スケーリング値(例えば、色補正された画像値に対して適用されるスケーリング値)を生成してもよい。所望の場合には、スケーリングファクタは、分子および分母を含んでもよい。スケーリング値の分子および/もしくは分母は、元の輝度信号および包含された輝度信号の重み付け和を含んでもよい。スケーリング値は、ポイントフィルタの強さを調整するために変化することが可能な調整可能な重み付けパラメータを含んでもよい(例えば、重み付けパラメータは、ポイントフィルタの強さをゼロから最大の強さまで調整するために連続的に変化してもよい)。sRGBデータ(例えば、標準赤、緑および青色画像データ)に対してポイントフィルタを適用するために、処理回路18は、補正sRGBデータを生成するためにスケーリング値でsRGBデータを乗算してもよい。例えば、処理回路18は、スケーリング値で標準赤色画像データを乗算し、スケーリング値で標準緑色画像データを乗算するなどしてもよい。所望の場合には、補正sRGBデータは、(例えば、補正sRGBデータをLCH空間へと変換することで)ポイントフィルタ適用前にほぼ保存された色相およびクロマチャネルを有してもよい。補正sRGBデータは、白色画像信号の継承された適合度によって、改善されたノイズおよび/もしくは鮮明さを有する可能性がある。
別の実施形態に従い、処理回路は、赤色画像信号、青色画像信号および白色画像信号に関連付けられるノイズ相関を、赤色画像信号、青色画像信号および白色画像信号に関連付けられる全ノイズのうちの70%よりも大きく増大させるように構成される。
別の実施形態に従い、白色画像信号を使用して、第三の色の第三の画像信号を生成するステップは、色補正マトリクスを使用して、白色画像信号から第三の画像信号を抽出するステップを含む。
ことを特徴とする請求項33に記載のイメージングシステム。
Claims (14)
- 複数の画像センサピクセルのアレイを有する画像センサであって、複数の画像センサピクセルの前記アレイは、赤色光に応じて複数の赤色画像信号を生成するように構成された複数の赤色画像センサピクセルと、青色光に応じて複数の青色画像信号を生成するように構成された複数の青色画像センサピクセルと、少なくとも赤色光、緑色光および青色光に応じて、複数の白色画像信号を生成するように構成された複数の透明画像センサピクセルと、を含む、画像センサと、
前記複数の赤色画像信号、前記複数の青色画像信号および前記複数の白色画像信号に、前記複数の赤色画像信号、前記複数の青色画像信号および前記複数の白色画像信号に関連付けられた複数のノイズ相関を増大させるよう、複数のフィルタ処理作用を実施するように構成された処理回路と、を含み、
前記処理回路は、前記複数の赤色画像信号および前記複数の白色画像信号から赤色差値を生成し、
前記複数の青色画像信号および前記複数の白色画像信号から青色差値を生成し、
クロマフィルタを前記青色差値および前記赤色差値に適用して、フィルタ処理された差値を生成し、
前記複数の白色画像信号を、前記フィルタ処理された差値に加算するものである、ことを特徴とするイメージングシステム。 - 前記処理回路は、少なくとも25個の画像センサピクセルによって生成される複数の画像信号の重み付け和を生成することによって、任意の色の各画像センサピクセルに対して、前記複数のフィルタ処理作用を実施するように構成される、ことを特徴とする請求項1に記載のイメージングシステム。
- 前記処理回路は、前記複数の赤色画像信号、前記複数の青色画像信号および前記複数の白色画像信号に、複数の白色バランス作用を実施するように構成される、ことを特徴とする請求項1に記載のイメージングシステム。
- 前記処理回路は、前記白色画像信号に色補正マトリクスを適用するように構成され、前記色補正マトリクスは、各白色画像信号から緑色画像信号を抽出する、ことを特徴とする請求項3に記載のイメージングシステム。
- 前記画像センサは、複数の画像センサピクセルのさらなるアレイをさらに含む、ことを特徴とする請求項1に記載のイメージングシステム。
- 前記イメージングシステムは、複数の画像センサピクセルの少なくとも一つのアレイを有するさらなる画像センサをさらに含む、ことを特徴とする請求項1に記載のイメージングシステム。
- 画像センサを使用して、複数の画像信号を処理する方法であって、前記画像センサは複数の画像センサピクセルのアレイと処理回路とを含み、前記複数の画像センサピクセルは、複数の赤色画像センサピクセル、複数の青色画像センサピクセルおよび複数の透明画像センサピクセルを含み、前記方法は、
前記複数の赤色画像センサピクセルによって、赤色光に応じて複数の赤色画像信号を生成するステップと、
前記複数の青色画像センサピクセルによって、青色光に応じて複数の青色画像信号を生成するステップと、
前記複数の透明画像センサピクセルによって、少なくとも赤色光、緑色光、および青色光に応じて複数の白色画像信号を生成するステップと、
前記処理回路によって、前記複数の赤色画像信号、前記複数の青色画像信号および前記複数の白色画像信号に、前記複数の赤色画像信号、前記複数の青色画像信号および前記複数の白色画像信号に関連付けられた複数のノイズ相関を増大させるよう複数のフィルタ処理作用を実施するステップと、
を含み、
前記複数のフィルタ処理作用を実施するステップは、前記複数の赤色画像信号および前記複数の白色画像信号から赤色差値を生成し、
前記複数の青色画像信号および前記複数の白色画像信号から青色差値を生成し、
クロマフィルタを前記青色差値および前記赤色差値に適用して、フィルタ処理された差値を生成し、
前記複数の白色画像信号を、前記フィルタ処理された差値に加算する、各ステップを含む、ことを特徴とする方法。 - 前記複数のフィルタ処理作用を実施するステップは、
任意の色の各画像センサピクセルに対して、少なくとも25個の画像センサピクセルによって生成された複数の画像信号の重み付け和を生成するステップを含む、
ことを特徴とする請求項7に記載の方法。 - 複数の画像センサピクセルのアレイと処理回路とを有する画像センサを使用して、複数の画像信号を処理する方法であって、複数の画像センサピクセルの前記アレイは、第一の色の光に反応する画像センサピクセルの第一のグループと、第二の色の光に反応する画像センサピクセルの第二のグループと、第三の色の光に反応する画像センサピクセルの第三のグループとを含み、前記方法は、
画像センサピクセルの前記第一のグループによって、前記第一の色の光に応じて、第一の複数の画像信号を生成するステップと、
画像センサピクセルの前記第二のグループによって、前記第二の色の光に応じて、第二の複数の画像信号を生成するステップと、
画像センサピクセルの前記第三のグループによって、少なくとも前記第一および第二の色の光に応じて、第三の複数の画像信号を生成するステップと、
前記処理回路によって、前記第一の複数の画像信号、前記第二の複数の画像信号および前記第三の複数の画像信号に、前記第一の複数の画像信号、前記第二の複数の画像信号および前記第三の複数の画像信号に関連付けて複数のノイズ相関を増大させる複数のフィルタ処理作用を実施するステップと、を含み、
前記フィルタ処理作用は、前記第一の複数の画像信号および前記第三の複数の画像信号から第一の差値を生成し、
前記複数の第二の画像信号および前記複数の第三の画像信号から第二の差値を生成し、
クロマフィルタを前記第一の差値および前記第二の差値に適用して、フィルタ処理された差値を生成し、
前記複数の第三の画像信号を、前記フィルタ処理された差値に加算する、各処理を含む、ことを特徴とする方法。 - 前記第一の複数の画像信号を生成するステップは、赤色光に応じて複数の赤色画像信号を生成するステップを含み、前記第二の複数の画像信号を生成するステップは、青色光に応じて複数の青色画像信号を生成するステップを含み、前記第三の複数の画像信号を生成するステップは、少なくとも赤色および青色光に応じて複数の白色画像信号を生成するステップを含む、
ことを特徴とする請求項9に記載の方法。 - 前記第一の複数の画像信号、前記第二の複数の画像信号および前記第三の複数の画像信号に複数のフィルタ処理作用を実施するステップは、
前記第一の複数の画像信号、前記第二の複数の画像信号および前記第三の複数の画像信号に、無限インパルス応答フィルタを実施するステップを含む、
ことを特徴とする請求項9に記載の方法。 - 複数の画像センサピクセルのアレイを有する画像センサであって、複数の画像センサピクセルの前記アレイは、第一の色の光に応じて第一の複数の画像信号を生成するように構成された画像センサピクセルの第一のグループと、第二の色の光に応じて第二の複数の画像信号を生成するように構成された画像センサピクセルの第二のグループと、少なくとも前記第一および第二の色の光に応じて第三の複数の画像信号を生成するように構成された画像センサピクセルの第三のグループとを含む、画像センサと、
前記第一の複数の画像信号、前記第二の複数の画像信号および前記第三の複数の画像信号に、前記第一の複数の画像信号、前記第二の複数の画像信号および前記第三の複数の画像信号に関連付けられて複数のノイズ相関を増大させる、複数のフィルタ処理作用を実施するように構成された処理回路と、
を含み、
前記フィルタ処理作用は、前記第一の複数の画像信号および前記第三の複数の画像信号から第一の差値を生成し、
前記複数の第二の画像信号および前記複数の第三の画像信号から第二の差値を生成し、
クロマフィルタを前記第一の差値および前記第二の差値に適用して、フィルタ処理された差値を生成し、
前記複数の第三の画像信号に、前記フィルタ処理された差値を加算する、各処理を含む、ことを特徴とするイメージングシステム。 - 画像センサピクセルの前記第一のグループは、赤色光に応じて複数の赤色画像信号を生成するように構成された複数の赤色画像センサピクセルを含み、画像センサピクセルの前記第二のグループは、青色光に応じて複数の青色画像信号を生成するように構成された複数の青色画像センサピクセルを含み、画像センサピクセルの前記第三のグループは、少なくとも赤色光および青色光に応じて複数の白色画像信号を生成するように構成された複数の透明画像センサピクセルを含む、
ことを特徴とする請求項12に記載のイメージングシステム。 - 画像センサピクセルの前記第一のグループは、赤色光に応じて複数の赤色画像信号を生成するように構成された複数の赤色画像センサピクセルを含み、画像センサピクセルの前記第二のグループは、緑色光に応じて複数の緑色画像信号を生成するように構成された複数の緑色画像センサピクセルを含み、画像センサピクセルの前記第三のグループは、少なくとも赤色光および緑色光に応じて複数の白色画像信号を生成するように構成された複数の透明画像センサピクセルを含む、
ことを特徴とする請求項12に記載のイメージングシステム。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201261612819P | 2012-03-19 | 2012-03-19 | |
US61/612,819 | 2012-03-19 | ||
US13/736,768 US9191635B2 (en) | 2012-03-19 | 2013-01-08 | Imaging systems with clear filter pixels |
US13/736,768 | 2013-01-08 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015105093A Division JP6096243B2 (ja) | 2012-03-19 | 2015-05-25 | 画像データの処理方法およびシステム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013198160A JP2013198160A (ja) | 2013-09-30 |
JP6134879B2 true JP6134879B2 (ja) | 2017-05-31 |
Family
ID=48128065
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013057224A Expired - Fee Related JP6134879B2 (ja) | 2012-03-19 | 2013-03-19 | 透明フィルタピクセルを備えるイメージングシステム |
JP2015105093A Expired - Fee Related JP6096243B2 (ja) | 2012-03-19 | 2015-05-25 | 画像データの処理方法およびシステム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015105093A Expired - Fee Related JP6096243B2 (ja) | 2012-03-19 | 2015-05-25 | 画像データの処理方法およびシステム |
Country Status (6)
Country | Link |
---|---|
US (4) | US9191635B2 (ja) |
EP (2) | EP3054675B1 (ja) |
JP (2) | JP6134879B2 (ja) |
KR (2) | KR101446419B1 (ja) |
CN (3) | CN105847772B (ja) |
HK (2) | HK1189731A1 (ja) |
Families Citing this family (63)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9270876B2 (en) | 2013-01-05 | 2016-02-23 | The Lightco Inc. | Methods and apparatus for using multiple optical chains in parallel with multiple different exposure times |
CN105144683B (zh) | 2013-02-28 | 2019-08-09 | 株式会社尼康 | 电子设备 |
FR3004882B1 (fr) * | 2013-04-17 | 2015-05-15 | Photonis France | Dispositif d'acquisition d'images bimode |
US9197816B2 (en) | 2013-10-18 | 2015-11-24 | The Lightco Inc. | Zoom related methods and apparatus |
US9374514B2 (en) | 2013-10-18 | 2016-06-21 | The Lightco Inc. | Methods and apparatus relating to a camera including multiple optical chains |
US9557519B2 (en) | 2013-10-18 | 2017-01-31 | Light Labs Inc. | Methods and apparatus for implementing a camera device supporting a number of different focal lengths |
US9736365B2 (en) | 2013-10-26 | 2017-08-15 | Light Labs Inc. | Zoom related methods and apparatus |
US9467627B2 (en) | 2013-10-26 | 2016-10-11 | The Lightco Inc. | Methods and apparatus for use with multiple optical chains |
US9426365B2 (en) | 2013-11-01 | 2016-08-23 | The Lightco Inc. | Image stabilization related methods and apparatus |
US9554031B2 (en) | 2013-12-31 | 2017-01-24 | Light Labs Inc. | Camera focusing related methods and apparatus |
US9462170B2 (en) | 2014-02-21 | 2016-10-04 | The Lightco Inc. | Lighting methods and apparatus |
US9979878B2 (en) | 2014-02-21 | 2018-05-22 | Light Labs Inc. | Intuitive camera user interface methods and apparatus |
US9548336B2 (en) | 2014-04-24 | 2017-01-17 | Samsung Electronics Co., Ltd. | Image sensors and electronic devices including the same |
US9531976B2 (en) | 2014-05-29 | 2016-12-27 | Semiconductor Components Industries, Llc | Systems and methods for operating image sensor pixels having different sensitivities and shared charge storage regions |
US9888198B2 (en) | 2014-06-03 | 2018-02-06 | Semiconductor Components Industries, Llc | Imaging systems having image sensor pixel arrays with sub-pixel resolution capabilities |
US10191356B2 (en) | 2014-07-04 | 2019-01-29 | Light Labs Inc. | Methods and apparatus relating to detection and/or indicating a dirty lens condition |
US10110794B2 (en) | 2014-07-09 | 2018-10-23 | Light Labs Inc. | Camera device including multiple optical chains and related methods |
US9912864B2 (en) | 2014-10-17 | 2018-03-06 | Light Labs Inc. | Methods and apparatus for using a camera device to support multiple modes of operation |
KR102219784B1 (ko) | 2014-12-15 | 2021-02-24 | 에스케이하이닉스 주식회사 | 컬러 필터 어레이 및 이를 구비한 이미지 센서 |
CN107211099A (zh) | 2014-12-17 | 2017-09-26 | 光实验室股份有限公司 | 用于实施并使用摄像机装置的方法及设备 |
US9544503B2 (en) | 2014-12-30 | 2017-01-10 | Light Labs Inc. | Exposure control methods and apparatus |
CN104700353B (zh) | 2015-02-11 | 2017-12-05 | 小米科技有限责任公司 | 图像滤镜生成方法及装置 |
US9467633B2 (en) | 2015-02-27 | 2016-10-11 | Semiconductor Components Industries, Llc | High dynamic range imaging systems having differential photodiode exposures |
US9793306B2 (en) | 2015-04-08 | 2017-10-17 | Semiconductor Components Industries, Llc | Imaging systems with stacked photodiodes and chroma-luma de-noising |
US9824427B2 (en) | 2015-04-15 | 2017-11-21 | Light Labs Inc. | Methods and apparatus for generating a sharp image |
US9857584B2 (en) | 2015-04-17 | 2018-01-02 | Light Labs Inc. | Camera device methods, apparatus and components |
US10075651B2 (en) | 2015-04-17 | 2018-09-11 | Light Labs Inc. | Methods and apparatus for capturing images using multiple camera modules in an efficient manner |
US9967535B2 (en) | 2015-04-17 | 2018-05-08 | Light Labs Inc. | Methods and apparatus for reducing noise in images |
US10091447B2 (en) | 2015-04-17 | 2018-10-02 | Light Labs Inc. | Methods and apparatus for synchronizing readout of multiple image sensors |
US9930233B2 (en) | 2015-04-22 | 2018-03-27 | Light Labs Inc. | Filter mounting methods and apparatus and related camera apparatus |
US9686486B2 (en) | 2015-05-27 | 2017-06-20 | Semiconductor Components Industries, Llc | Multi-resolution pixel architecture with shared floating diffusion nodes |
US10129483B2 (en) | 2015-06-23 | 2018-11-13 | Light Labs Inc. | Methods and apparatus for implementing zoom using one or more moveable camera modules |
US9467665B1 (en) * | 2015-06-29 | 2016-10-11 | Omnivision Technologies, Inc. | Color filter array patterns for reduction of color aliasing |
US10491806B2 (en) | 2015-08-03 | 2019-11-26 | Light Labs Inc. | Camera device control related methods and apparatus |
US9712792B2 (en) | 2015-08-10 | 2017-07-18 | Samsung Electronics Co., Ltd. | RGB-RWB dual images by multi-layer sensors towards better image quality |
US10365480B2 (en) | 2015-08-27 | 2019-07-30 | Light Labs Inc. | Methods and apparatus for implementing and/or using camera devices with one or more light redirection devices |
US9749549B2 (en) | 2015-10-06 | 2017-08-29 | Light Labs Inc. | Methods and apparatus for facilitating selective blurring of one or more image portions |
US10148926B2 (en) | 2015-12-07 | 2018-12-04 | Samsung Electronics Co., Ltd. | Imaging apparatus and image processing method of thereof |
CN105516697B (zh) | 2015-12-18 | 2018-04-17 | 广东欧珀移动通信有限公司 | 图像传感器、成像装置、移动终端及成像方法 |
US10225445B2 (en) | 2015-12-18 | 2019-03-05 | Light Labs Inc. | Methods and apparatus for providing a camera lens or viewing point indicator |
US10003738B2 (en) | 2015-12-18 | 2018-06-19 | Light Labs Inc. | Methods and apparatus for detecting and/or indicating a blocked sensor or camera module |
CN105430359B (zh) * | 2015-12-18 | 2018-07-10 | 广东欧珀移动通信有限公司 | 成像方法、图像传感器、成像装置及电子装置 |
CN106934317A (zh) * | 2015-12-29 | 2017-07-07 | 我查查信息技术(上海)有限公司 | 条码扫描识别方法及装置 |
US10600213B2 (en) * | 2016-02-27 | 2020-03-24 | Focal Sharp, Inc. | Method and apparatus for color-preserving spectrum reshape |
US10306218B2 (en) | 2016-03-22 | 2019-05-28 | Light Labs Inc. | Camera calibration apparatus and methods |
CN108781278A (zh) * | 2016-03-30 | 2018-11-09 | Lg 电子株式会社 | 图像处理装置和移动终端 |
US10033949B2 (en) | 2016-06-16 | 2018-07-24 | Semiconductor Components Industries, Llc | Imaging systems with high dynamic range and phase detection pixels |
US9948832B2 (en) | 2016-06-22 | 2018-04-17 | Light Labs Inc. | Methods and apparatus for synchronized image capture in a device including optical chains with different orientations |
TW201822709A (zh) * | 2016-12-30 | 2018-07-01 | 曦威科技股份有限公司 | 即時心跳偵測方法及即時心跳偵測系統 |
US10262399B2 (en) * | 2017-01-09 | 2019-04-16 | Samsung Electronics Co., Ltd. | Image denoising with color-edge contrast preserving |
US10960237B2 (en) * | 2017-07-19 | 2021-03-30 | Honeywell International Inc. | Powered air-purifying respirator (PAPR) with eccentric venturi air flow rate determination |
EP3625761B1 (en) * | 2017-07-28 | 2023-08-02 | Zhejiang Dahua Technology Co., Ltd. | Systems and methods for image processing |
US10616536B2 (en) * | 2018-01-12 | 2020-04-07 | Semiconductor Components Industries, Llc | Imaging systems having broadband monochromatic and chromatic image sensors |
CN108769635B (zh) * | 2018-05-30 | 2020-01-21 | Oppo(重庆)智能科技有限公司 | 拍摄装置、电子设备及图像获取方法 |
KR102386672B1 (ko) * | 2018-06-07 | 2022-04-14 | 모빌아이 비젼 테크놀로지스 엘티디. | 고분해능 자동차 렌즈 및 센서 |
CN110493583B (zh) * | 2018-08-03 | 2021-12-17 | 杭州海康威视数字技术股份有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
CN111835977B (zh) * | 2019-04-18 | 2021-11-02 | 北京小米移动软件有限公司 | 图像传感器、图像生成方法及装置、电子设备、存储介质 |
KR20210017460A (ko) * | 2019-08-08 | 2021-02-17 | 에스케이하이닉스 주식회사 | 이미지 센서, 이미지 신호 프로세서 및 이들을 포함하는 이미지 처리 시스템 |
KR102476968B1 (ko) * | 2019-09-09 | 2022-12-12 | 광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드 | 이미지 센서, 카메라 모듈, 모바일 단말 및 이미지 수집 방법 |
KR102230609B1 (ko) * | 2019-11-26 | 2021-03-19 | 가천대학교 산학협력단 | 딥 러닝 기반 희소 컬러 센서 이미지 처리장치, 이미지 처리방법 및 컴퓨터-판독가능 매체 |
KR20220010285A (ko) * | 2020-07-17 | 2022-01-25 | 에스케이하이닉스 주식회사 | 디모자익 동작 회로, 이미지 센싱 장치 및 그 동작방법 |
KR20220081532A (ko) * | 2020-12-09 | 2022-06-16 | 에스케이하이닉스 주식회사 | 이미지 시그널 프로세서 및 이미지 처리 시스템 |
KR20230024063A (ko) | 2021-08-11 | 2023-02-20 | 에스케이하이닉스 주식회사 | 전자 장치 및 그 동작 방법 |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5018006A (en) * | 1985-10-31 | 1991-05-21 | Canon Kabushiki Kaisha | Multi-plate type image pickup apparatus having picture elements for producing color and luminance signals |
JP3450374B2 (ja) | 1993-05-28 | 2003-09-22 | キヤノン株式会社 | カラー撮像装置 |
US6330029B1 (en) | 1998-03-17 | 2001-12-11 | Eastman Kodak Company | Particular pattern of pixels for a color filter array which is used to derive luminance and chrominance values |
JP4011861B2 (ja) * | 2001-03-29 | 2007-11-21 | キヤノン株式会社 | 信号処理装置及び方法 |
WO2005072370A2 (en) | 2004-01-26 | 2005-08-11 | Digital Optics Corporation | Thin camera having sub-pixel resolution |
US7688368B2 (en) | 2006-01-27 | 2010-03-30 | Eastman Kodak Company | Image sensor with improved light sensitivity |
JP4144630B2 (ja) * | 2006-04-14 | 2008-09-03 | ソニー株式会社 | 撮像装置 |
KR100818987B1 (ko) * | 2006-09-19 | 2008-04-04 | 삼성전자주식회사 | 이미지 촬상 장치 및 상기 이미지 촬상 장치의 동작 방법 |
JP2008078922A (ja) | 2006-09-20 | 2008-04-03 | Toshiba Corp | 固体撮像装置 |
US7876956B2 (en) | 2006-11-10 | 2011-01-25 | Eastman Kodak Company | Noise reduction of panchromatic and color image |
CN101193319B (zh) * | 2006-11-29 | 2011-04-27 | 帆宣***科技股份有限公司 | 显示装置的灰度级白平衡的增益决定方法及装置 |
JP4846608B2 (ja) | 2007-01-26 | 2011-12-28 | 株式会社東芝 | 固体撮像装置 |
JP2009005262A (ja) * | 2007-06-25 | 2009-01-08 | Olympus Imaging Corp | 半導体装置および撮像装置 |
JP5045421B2 (ja) | 2007-12-21 | 2012-10-10 | ソニー株式会社 | 撮像装置、色ノイズ低減方法および色ノイズ低減プログラム |
US8111307B2 (en) * | 2008-10-25 | 2012-02-07 | Omnivision Technologies, Inc. | Defective color and panchromatic CFA image |
US8224082B2 (en) * | 2009-03-10 | 2012-07-17 | Omnivision Technologies, Inc. | CFA image with synthetic panchromatic image |
US8203633B2 (en) | 2009-05-27 | 2012-06-19 | Omnivision Technologies, Inc. | Four-channel color filter array pattern |
JP5326943B2 (ja) | 2009-08-31 | 2013-10-30 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
US8295631B2 (en) | 2010-01-29 | 2012-10-23 | Eastman Kodak Company | Iteratively denoising color filter array images |
US8345130B2 (en) | 2010-01-29 | 2013-01-01 | Eastman Kodak Company | Denoising CFA images using weighted pixel differences |
-
2013
- 2013-01-08 US US13/736,768 patent/US9191635B2/en active Active
- 2013-03-19 CN CN201610353124.7A patent/CN105847772B/zh active Active
- 2013-03-19 EP EP16161249.4A patent/EP3054675B1/en active Active
- 2013-03-19 EP EP13160041.3A patent/EP2642757B1/en active Active
- 2013-03-19 CN CN201310088517.6A patent/CN103327342B/zh active Active
- 2013-03-19 JP JP2013057224A patent/JP6134879B2/ja not_active Expired - Fee Related
- 2013-03-19 CN CN201810843965.5A patent/CN108650497B/zh active Active
- 2013-03-19 KR KR1020130029422A patent/KR101446419B1/ko active IP Right Grant
-
2014
- 2014-03-13 HK HK14102526.3A patent/HK1189731A1/zh not_active IP Right Cessation
- 2014-03-13 HK HK16111094.4A patent/HK1222962A1/zh not_active IP Right Cessation
- 2014-05-16 KR KR20140059151A patent/KR101490653B1/ko active IP Right Grant
-
2015
- 2015-05-25 JP JP2015105093A patent/JP6096243B2/ja not_active Expired - Fee Related
- 2015-09-30 US US14/871,520 patent/US9521380B2/en active Active
-
2016
- 2016-11-04 US US15/343,425 patent/US9942527B2/en active Active
-
2018
- 2018-02-28 US US15/908,319 patent/US10070104B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
KR20130106328A (ko) | 2013-09-27 |
KR101446419B1 (ko) | 2014-10-01 |
KR101490653B1 (ko) | 2015-02-06 |
US10070104B2 (en) | 2018-09-04 |
EP3054675A1 (en) | 2016-08-10 |
JP2015167399A (ja) | 2015-09-24 |
HK1189731A1 (zh) | 2014-06-13 |
US20160021345A1 (en) | 2016-01-21 |
CN103327342B (zh) | 2016-06-22 |
JP6096243B2 (ja) | 2017-03-15 |
US20180192011A1 (en) | 2018-07-05 |
CN105847772A (zh) | 2016-08-10 |
EP3054675B1 (en) | 2020-04-29 |
CN108650497A (zh) | 2018-10-12 |
EP2642757A2 (en) | 2013-09-25 |
CN108650497B (zh) | 2021-08-10 |
US9942527B2 (en) | 2018-04-10 |
US9191635B2 (en) | 2015-11-17 |
US20170078627A1 (en) | 2017-03-16 |
US20130242148A1 (en) | 2013-09-19 |
US9521380B2 (en) | 2016-12-13 |
EP2642757B1 (en) | 2019-09-11 |
KR20140066684A (ko) | 2014-06-02 |
JP2013198160A (ja) | 2013-09-30 |
HK1222962A1 (zh) | 2017-07-14 |
EP2642757A3 (en) | 2015-11-25 |
CN103327342A (zh) | 2013-09-25 |
CN105847772B (zh) | 2018-07-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6096243B2 (ja) | 画像データの処理方法およびシステム | |
US10136107B2 (en) | Imaging systems with visible light sensitive pixels and infrared light sensitive pixels | |
US9793306B2 (en) | Imaging systems with stacked photodiodes and chroma-luma de-noising | |
US9287316B2 (en) | Systems and methods for mitigating image sensor pixel value clipping | |
CN107547807B (zh) | 用于减少空间闪烁伪影的装置和成像*** | |
WO2016047240A1 (ja) | 画像処理装置、撮像素子、撮像装置および画像処理方法 | |
US10616536B2 (en) | Imaging systems having broadband monochromatic and chromatic image sensors | |
US9179110B2 (en) | Imaging systems with modified clear image pixels | |
TWI536765B (zh) | 具有透明濾波器像素之成像系統 | |
JP2013219452A (ja) | 色信号処理回路、色信号処理方法、色再現評価方法、撮像装置、電子機器、及び、試験装置 | |
TWI601427B (zh) | 具有透明濾波器像素之成像系統 | |
TWI617198B (zh) | 具有透明濾波器像素之成像系統 | |
JP2009290795A (ja) | 画像処理装置、画像処理方法、画像処理プログラム、記録媒体、および電子情報機器 | |
JP2006279389A (ja) | 固体撮像装置およびその信号処理方法 | |
US8964071B2 (en) | Solid-state imaging device, camera module, and imaging method having first and second green pixel cells |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140120 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140225 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20140523 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20140523 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20140530 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20140602 Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140602 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20150127 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20150525 Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150525 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20150602 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20150703 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20150824 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20150828 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20150828 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160722 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160908 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6134879 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |