CN110235441B - 用于低照度的多摄像头*** - Google Patents

用于低照度的多摄像头*** Download PDF

Info

Publication number
CN110235441B
CN110235441B CN201780085025.8A CN201780085025A CN110235441B CN 110235441 B CN110235441 B CN 110235441B CN 201780085025 A CN201780085025 A CN 201780085025A CN 110235441 B CN110235441 B CN 110235441B
Authority
CN
China
Prior art keywords
image
pixel array
monochrome
color image
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780085025.8A
Other languages
English (en)
Other versions
CN110235441A (zh
Inventor
沼田肇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN110235441A publication Critical patent/CN110235441A/zh
Application granted granted Critical
Publication of CN110235441B publication Critical patent/CN110235441B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

提供了一种多摄像头***。所述多摄像头***包括用于生成彩色图像的彩色图像传感器和用于生成单色图像的单色滤光片图像传感器，其中所述单色滤光片图像传感器具有单色滤光片图像传感器，所述单色滤光片图像传感器包括像素大小为x1.4或2的平方根的Z字形像素阵列，所述Z字形像素阵列是相对于像素大小为x1的方形像素阵列旋转45度的像素阵列；通过融合所述彩色图像和所述单色图像产生输出彩色图像。

Description

用于低照度的多摄像头***
技术领域
本发明实施例涉及用于低照度的多摄像头***。
背景技术
智能手机摄像头的性能和技术一直在不断改进。智能手机摄像头的质量现在几乎与数码相机(Digital still camera，简称DSC)/数码单反相机(Digital single-lensreflex camera，简称DSLR)的质量相同。由于需要进一步提升方便性，因此往往十分需要更高的灵敏度。
由于尺寸限制，智能手机需要使用小型图像传感器以及高于8MP或12MP的分辨率。为了达到这两个要求，单个像素的大小越来越小，例如1.4um、1.12um、1um或更小。由于像素大小很小，传感器/像素的灵敏度较低，智能手机摄像头在低照度条件下的图像质量比DSLR或更高质量的静物照相机差。随着智能手机摄像头图像传感器的发展，其效率(即，QE：量子效率)取得了改进。对于智能手机摄像头(例如，使用WRGB(或RGBW)阵列或W传感器的所谓第二摄像头)使用的图像传感器，可以使用W(白色)有色滤光片传感器。图4是示例性现有技术WRGB(或RGBW)传感器的示图。
专利文献1(US9147230B2)公开了一种具有RGBW阵列的图像传感器，其中所述RGBW阵列除了包括RGB颜色之外，还包括全波长型白色(W)像素。当图像传感器的像素密度增加，每个像素入射光的光量减少，从而导致相对噪声增加时，我们建议将所述RGBW阵列作为解决这种问题的方法。图4中，具有从左上斜线到右下斜线的部分表示蓝色(B)，具有从左下斜线到右上斜线的部分表示红色(R)，并且虚线部分表示绿色(G)。
专利文献2(US9253459B2)还公开了所述RGBW排列在彩色像素的密度上相对于所述RGB(或拜耳)像素排列出现降低。图5是相关技术的单色和彩色两种摄像头的示例的一组示图。图5示出所述单色(或B/W(黑/白))摄像头图像传感器与所述彩色摄像头图像传感器具有相同的像素大小。图5中，具有从左上斜线到右下斜线的部分表示蓝色(B)，具有从左下斜线到右上斜线的部分表示红色(R)，并且虚线部分表示绿色(G)。
发明内容
本发明所要解决的问题
相关技术的技术问题可以概括如下：
(1)QE的改善率不是很大。现有技术传感器的QE已经足够高。因此，即使QE改善，速率也在几个百分点以内，因此灵敏度不会提高太多。
(2-1)虽然所述WRGB阵列的白色像素在灵敏度上可以是彩色像素的1.3至2倍，但所述WRGB阵列需要复杂的插值算法，并且由于颜色分辨率较低，导致可能因混叠而出现假色。而且，对于实际使用来说，1.5到2倍的改善也并不是那么大。
(2-2)虽然使用所述W传感器的第二摄像头可能会降低插值和颜色分辨率问题，但灵敏度的改善率与所述使用WRGB的第二摄像头的灵敏度改善率相同。
本发明的实施例的目的在于在第二摄像头上以不同的像素阵列使用相对大的白色像素，同时与传统彩色照相机保持相同的分辨率，从而改善低照度性能。
解决问题的方法
根据本发明的实施例，提供了一种多摄像头***，包括：彩色图像传感器，用于生成彩色图像；单色滤光片图像传感器，用于生成单色图像，其中所述单色滤光片图像传感器具有包括像素大小为x1.4(或者2的平方根)的Z字形像素阵列的传感器，所述Z字形像素阵列是相对于像素大小为x1的方形像素阵列旋转45度的像素阵列；通过融合所述彩色图像和所述单色图像产生输出彩色图像。
本发明效果
根据本发明实施例所述的多摄像头***可以采用灵敏度是彩色图像传感器灵敏度3至4倍的第二摄像头，还可以提供实现出色低照度性能的融合输出。
附图说明
图1是水平/垂直空间采样比较的示图；
图2是Z字形像素阵列处理的一组示图；
图3是图像处理管道的示图；
图4是示例性现有技术WRGB传感器的示图；
图5是现有技术的单色和彩色两种摄像头的示例的一组示图；
图6是方形/Z字形像素阵列比较的示图；
图7是像素大小为x1.4的Z字形像素阵列的使用示图；
图2-5中，具有从左上斜线到右下斜线的部分表示蓝色(B)，具有从左下斜线到右上斜线的部分表示红色(R)，并且虚线部分表示绿色(G)。
具体实施方式
本发明实施例1
根据本发明的实施例，提供了一种多摄像头***，包括：彩色图像传感器，用于生成彩色图像；单色滤光片图像传感器，用于生成单色图像，其中所述单色滤光片图像传感器具有包括像素大小为x1.4(或者2的平方根)的Z字形像素阵列的传感器，所述Z字形像素阵列是相对于像素大小为x1的方形像素阵列旋转45度的像素阵列；通过融合所述彩色图像和所述单色图像产生输出彩色图像。图1示出拜耳有色滤光片传感器和所提出的单色滤光片图像传感器的空间采样时间间隔/频率(此处使用BW的示例(我们将所述单色滤光片传感器称为BW(黑/白)滤光片传感器))。
所述拜耳有色滤光片传感器具有方格图案，其中具有双密度绿色像素和较少的红色和蓝色像素，因为绿色信息有助于增强亮度信号(Y信号)。由图像信号处理器(imagesignal processor，简称ISP)处理所述有色滤光片传感器的输出，并且通过内插(去马赛克)处理生成红色/绿色/蓝色(RGB)三色平面。请参见图2。
用于当前摄像头产品的图像信号处理器(image signal processor，简称ISP)具有良好的插值算法，并且可以在水平和垂直线的方向上产生相同的分辨率。图6是方形/Z字形像素阵列比较的示图。所述BW滤光片传感器具有如图6所示的Z字形像素阵列，所述阵列是相对于方形像素阵列或标准阵列旋转45度的像素阵列。如果应用了适当的插值(如果应用与G(绿色)插值相同的插值)，则即使使用1.4倍大小像素，水平和垂直(H/V)分辨率也会与有色滤光片传感器的分辨率相同(图7)。图7是像素大小为x1.4的Z字形像素阵列的使用示图。符号“x1.4”相对于所述颜色传感器像素。当应用所述Z字形像素阵列(45度旋转像素阵列)并且要获得像素大小为“x1”的颜色传感器的水平/垂直分辨率时，可以使用1.4倍大小的像素，如图7所示。当使用1.4倍大小的像素时，像素区域是两倍大，这意味着灵敏度也是两倍。此外，当使用所述BW像素时，灵敏度是1.5到2倍。
总灵敏度是3至4倍。这比其他方案的改进更大。
图3中示出了总图像处理管道的示例。
本发明实施例2根据本发明的实施例，提供了一种多摄像头***。所述多摄像头***包括一组包括多个彩色图像传感器的多个摄像头，其中彩色图像传感器用于生成彩色图像；单色滤光片图像传感器用于生成单色图像。单色滤光片图像传感器具有包括像素大小为x1.4(或者2的平方根)的Z字形像素阵列的传感器。所述Z字形像素阵列是相对于像素大小为x1的方形像素阵列旋转45度的像素阵列。通过融合所述多个彩色图像和所述单色图像产生输出彩色图像。对所述彩色图像上的绿色像素和所述单色图像应用相同的插值。所述传感器的灵敏度可以具有3至4倍。

Claims (8)

1.一种多摄像头***，其特征在于，包括：
彩色图像传感器，用于生成彩色图像；
单色滤光片图像传感器，用于生成单色图像，其中，所述单色滤光片图像传感器具有包括像素大小为x1.4或者2的平方根的Z字形像素阵列的传感器，所述Z字形像素阵列是相对于像素大小为x1的方形像素阵列旋转45度的像素阵列；
通过融合所述彩色图像和所述单色图像产生输出彩色图像。
2.一种多摄像头***，其特征在于，包括：
多个彩色图像传感器，用于生成彩色图像；
单色滤光片图像传感器，用于生成单色图像，其中，所述单色滤光片图像传感器具有包括像素大小为x1.4或者2的平方根的Z字形像素阵列的传感器，所述Z字形像素阵列是相对于像素大小为x1的方形像素阵列旋转45度的像素阵列；
通过融合所述彩色图像和所述单色图像产生输出彩色图像；
对所述彩色图像上的绿色像素和所述单色图像应用相同的插值。
3.一种摄像头模块，其特征在于，包括：
根据权利要求1或2所述的多摄像头***。
4.一种智能手机，其特征在于，包括：
根据权利要求3所述的摄像头模块。
5.一种移动设备，其特征在于，包括：
根据权利要求3所述的摄像头模块。
6.一种集成电路，其特征在于，包括：
根据权利要求1或2所述的多摄像头***。
7.一种使用多摄像头***和单色滤光片图像传感器的方法，其特征在于，所述多摄像头***包括彩色图像传感器，其中所述单色滤光片图像传感器具有包括像素大小为x1.4或者2的平方根的Z字形像素阵列的传感器，所述Z字形像素阵列是相对于像素大小为x1的方形像素阵列旋转45度的像素阵列；所述方法包括：
所述彩色图像传感器生成彩色图像；
所述单色滤光片图像传感器生成单色图像；
通过融合所述彩色图像和所述单色图像产生输出彩色图像。
8.一种使用多摄像头***和单色滤光片图像传感器的方法，其特征在于，所述多摄像头***包括多个摄像头，其中包括多个彩色图像传感器；所述单色滤光片图像传感器具有包括像素大小为x1.4或者2的平方根的Z字形像素阵列的传感器，所述Z字形像素阵列是相对于像素大小为x1的方形像素阵列旋转45度的像素阵列；所述方法包括：
所述多个彩色图像传感器分别生成彩色图像；
所述单色滤光片图像传感器生成单色图像；
通过融合所述彩色图像和所述单色图像产生输出彩色图像；
对所述彩色图像上的绿色像素和所述单色图像应用相同的插值。
CN201780085025.8A 2017-03-24 2017-03-24 用于低照度的多摄像头*** Active CN110235441B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/078167 WO2018170918A1 (en) 2017-03-24 2017-03-24 Multi-camera system for low light

Publications (2)

Publication Number Publication Date
CN110235441A CN110235441A (zh) 2019-09-13
CN110235441B true CN110235441B (zh) 2021-01-15

Family

ID=63583882

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780085025.8A Active CN110235441B (zh) 2017-03-24 2017-03-24 用于低照度的多摄像头***

Country Status (2)

Country Link
CN (1) CN110235441B (zh)
WO (1) WO2018170918A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022011506A1 (zh) * 2020-07-13 2022-01-20 深圳市汇顶科技股份有限公司 图像处理的方法和图像处理装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101738840A (zh) * 2008-11-21 2010-06-16 索尼株式会社 图像摄取设备
WO2010116367A1 (en) * 2009-04-07 2010-10-14 Nextvision Stabilized Systems Ltd Continuous electronic zoom for an imaging system with multiple imaging devices having different fixed fov
CN102959959A (zh) * 2011-03-30 2013-03-06 富士胶片株式会社 固态成像装置驱动方法、固态成像装置及成像设备
US9344639B2 (en) * 2014-08-12 2016-05-17 Google Technology Holdings LLC High dynamic range array camera
CN105721841A (zh) * 2014-12-18 2016-06-29 全视科技有限公司 高分辨率阵列摄像机

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9363425B2 (en) * 2012-12-06 2016-06-07 Semiconductor Components Industries, Llc Color filter arrangements for fused array imaging systems
FR3009395B1 (fr) * 2013-07-31 2016-12-23 Dxo Labs Dispositif pour la prise de vue comportant une pluralite de modules cameras

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101738840A (zh) * 2008-11-21 2010-06-16 索尼株式会社 图像摄取设备
WO2010116367A1 (en) * 2009-04-07 2010-10-14 Nextvision Stabilized Systems Ltd Continuous electronic zoom for an imaging system with multiple imaging devices having different fixed fov
CN102959959A (zh) * 2011-03-30 2013-03-06 富士胶片株式会社 固态成像装置驱动方法、固态成像装置及成像设备
US9344639B2 (en) * 2014-08-12 2016-05-17 Google Technology Holdings LLC High dynamic range array camera
CN105721841A (zh) * 2014-12-18 2016-06-29 全视科技有限公司 高分辨率阵列摄像机

Also Published As

Publication number Publication date
CN110235441A (zh) 2019-09-13
WO2018170918A1 (en) 2018-09-27

Similar Documents

Publication Publication Date Title
US9363425B2 (en) Color filter arrangements for fused array imaging systems
US9736437B2 (en) Device for acquiring bimodal images
US9392236B2 (en) Image processing method, image signal processor, and image processing system including the same
US9319585B1 (en) High resolution array camera
US8508625B2 (en) Image processing apparatus
US10572974B2 (en) Image demosaicer and method
US11949995B2 (en) Universal and adaptive de-mosaicing (CFA) system
US9007488B2 (en) Systems and methods for generating interpolated high-dynamic-range images
US20070159542A1 (en) Color filter array with neutral elements and color image formation
JP2020529159A (ja) 多重化高ダイナミックレンジ画像
CN107547807B (zh) 用于减少空间闪烁伪影的装置和成像***
KR20050102271A (ko) 이미지센서의 디지털 신호 처리 장치
US20140092220A1 (en) Image capturing element capturing stereoscopic moving image and planar moving image and image capturing apparatus equipped with the same
JP4717294B2 (ja) 画像処理方法、撮像装置およびプログラム
WO2023016146A1 (zh) 图像传感器、图像采集装置、图像处理方法及图像处理器
EP3275169B1 (en) Downscaling a digital raw image frame
WO2023098282A1 (zh) 图像传感器、摄像模组、电子设备、图像生成方法和装置
US20150055861A1 (en) Methods and Systems for Image Demosaicing
US10075687B2 (en) Imaging apparatus and imaging method to obtain high quality luminance images
US20110032269A1 (en) Automatically Resizing Demosaicked Full-Color Images Using Edge-Orientation Maps Formed In The Demosaicking Process
CN110235441B (zh) 用于低照度的多摄像头***
KR100636971B1 (ko) 이미지센서의 포커스 데이타 생성 장치 및 방법
US10863148B2 (en) Tile-selection based deep demosaicing acceleration
US10616493B2 (en) Multi camera system for zoom
WO2022027469A1 (zh) 图像处理方法、装置和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant