CN114095672A - 成像***、方法及电子设备 - Google Patents
成像***、方法及电子设备 Download PDFInfo
- Publication number
- CN114095672A CN114095672A CN202010762840.7A CN202010762840A CN114095672A CN 114095672 A CN114095672 A CN 114095672A CN 202010762840 A CN202010762840 A CN 202010762840A CN 114095672 A CN114095672 A CN 114095672A
- Authority
- CN
- China
- Prior art keywords
- infrared
- response signal
- signal value
- light
- infrared light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 67
- 238000000034 method Methods 0.000 title claims abstract description 24
- 230000004044 response Effects 0.000 claims abstract description 93
- 238000012545 processing Methods 0.000 claims abstract description 26
- 238000002834 transmittance Methods 0.000 claims description 14
- 230000003287 optical effect Effects 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 5
- 230000000149 penetrating effect Effects 0.000 claims description 2
- 238000001914 filtration Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 7
- 230000005236 sound signal Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000003351 stiffener Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/62—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
本公开是关于一种成像***、方法及电子设备，该***包括：图像传感器、覆盖于所述图像传感器的微成像结构，以及与所述图像传感器电连接的处理器；所述图像传感器包括多个感光元件和设置于所述感光元件上的像素区域；其中，所述像素区域包括多个可见光子像素区域和一个红外光子像素区域，每个所述可见光子像素区域用于透过通过所述微成像结构入射的至少一种可见光以及红外光；所述红外光子像素子像素区域用于透过通过所述微成像结构入射的红外光；所述感光元件用于基于相应的像素区域透过的光生成响应信号值；所述处理器，用于对所述响应信号值进行处理，得到图像信息。本公开可避免形成花瓣鬼影，有效滤除红外光对成像质量的影响。
Description
技术领域
本公开涉及图像获取技术领域，尤其涉及一种成像***、方法及电子设备。
背景技术
随着终端技术的发展，人们对于手机等电子设备上配备的相机像质要求越来越高。目前，通常将杂散光作为评价相机优劣的重要参数。在各类型杂散光产生的影响中，花瓣状鬼影是手机摄像头中较为常见的一种，其会严重影响相机像质。相关技术中，可以通过增加滤片与图像传感器之间的距离的方式来改善花瓣状鬼影。但是，这样的方式会增加模组的高度，且改善效果有限。
发明内容
为克服相关技术中存在的问题，本公开实施例提供一种成像***、方法及电子设备，用以解决相关技术中的缺陷。
根据本公开实施例的第一方面，本公开实施例提供一种成像***，包括：图像传感器、覆盖于所述图像传感器的微成像结构，以及与所述图像传感器电连接的处理器；
所述图像传感器包括多个感光元件和设置于所述感光元件上的像素区域；其中，所述像素区域包括多个可见光子像素区域和一个红外光子像素区域，每个所述可见光子像素区域用于透过通过所述微成像结构入射的至少一种可见光以及红外光；所述红外光子像素子像素区域用于透过通过所述微成像结构入射的红外光；所述感光元件用于基于相应的像素区域透过的光生成响应信号值；
所述处理器，用于对所述响应信号值进行处理，得到图像信息。
在一实施例中，所述多个可见光子像素区域和一个红外光子像素区域在所属的像素区域中按照设定顺序排列，所述设定顺序包括矩阵排列顺序、顺时针顺序或逆时针顺序。
在一实施例中，所述多个可见光子像素区域包括：
第一子像素区域，用于透过通过所述微成像结构入射的红光和红外光，得到第一响应信号值，所述第一子像素区域对于所述红光和红外光的透过率高于第一设定阈值；
第二子像素区域，用于透过通过所述微成像结构入射的绿光和红外光，得到第二响应信号值，所述第二子像素区域对于所述绿光和红外光的透过率高于第二设定阈值；以及，
第三子像素区域，用于透过通过所述微成像结构入射的蓝光和红外光，得到第三响应信号值，所述第三子像素区域对于所述蓝光和红外光的透过率高于第三设定阈值；
所述红外光子像素子像素区域用于透过通过所述微成像结构入射的红外光，得到第四响应信号值，所述第四子像素区域对于所述红外光的透过率高于第四设定阈值。
在一实施例中，所述处理器还用于：
基于所述第一响应信号值和所述第四响应信号值确定所述第一子像素区域接收到的红光信号值；
基于所述第二响应信号值和所述第四响应信号值确定所述第二子像素区域接收到的绿光信号值；
基于所述第三响应信号值和所述第四响应信号值确定所述第三子像素区域接收到的蓝光信号值。
在一实施例中，所述处理器还用于对所述红光信号值、所述绿光信号值、所述蓝光信号值进行处理，得到彩色图像信息。
在一实施例中，还包括与所述处理器电连接的环境光传感器；
所述处理器还用于在所述环境光传感器检测到当前环境中红外光的比例大于或等于第五设定阈值的情况下，基于马赛克算法对所述响应信号值进行处理，得到去除红外光影响的图像信息。
在一实施例中，还包括与所述处理器电连接的红外灯组件，所述红外灯组件用于输出红外光；
所述处理器还用于在所述环境光传感器检测到当前环境中红外光的比例小于第五设定阈值的情况下，控制所述图像传感器基于所述红外灯组件输出的红外光获取红外响应信号值，并基于所述红外响应信号值获取红外图像信息。
根据本公开实施例的第二方面，本公开实施例提供一种成像方法，包括：
获取响应信号值，所述响应信号值由图像传感器的多个感光元件基于相应的像素区域透过的光生成，所述像素区域包括多个可见光子像素区域和一个红外光子像素区域，每个所述可见光子像素区域用于透过通过所述微成像结构入射的一种可见光以及红外光，所述红外光子像素子像素区域用于透过通过所述微成像结构入射的红外光；
对所述响应信号值进行处理，得到图像信息。
在一实施例中，所述对所述响应信号值进行处理，得到图像信息，包括：
在当前环境中红外光的比例大于或等于第六设定阈值的情况下，基于马赛克算法对所述响应信号值进行处理，得到去除红外光影响的图像信息。
在一实施例中，所述对所述响应信号值进行处理，得到图像信息，包括：
在当前环境中红外光的比例小于第六设定阈值的情况下，控制所述图像传感器基于所述红外灯组件输出的红外光获取红外响应信号值，并基于所述红外响应信号值获取红外图像信息。
根据本公开实施例的第三方面，本公开实施例提供一种电子设备，包括：
图像传感器、覆盖于所述图像传感器的微成像结构、与所述图像传感器电连接的处理器，以及用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
获取响应信号值，所述响应信号值由图像传感器的多个感光元件基于相应的像素区域透过的光生成，所述像素区域包括多个可见光子像素区域和一个红外光子像素区域，每个所述可见光子像素区域用于透过通过所述微成像结构入射的一种可见光以及红外光，所述红外光子像素子像素区域用于透过通过所述微成像结构入射的红外光；
对所述响应信号值进行处理，得到图像信息。
本公开的实施例提供的技术方案可以包括以下有益效果：
本公开实施例提供的成像***通过每个所述像素区域包括的多个可见光子像素区域和红外光子像素区域透过通过微成像结构入射的红外光和多种可见光，并通过感光元件基于相应的像素区域透过的光生成响应信号值，以及通过处理器对所述响应信号值进行处理，得到图像信息，由于未使用滤片来截止红外光，因而可以避免由于红外光在滤片与图像传感器的微成像结构之间的反复反射所形成的花瓣鬼影，还可以避免由于增加滤片与图像传感器之间的距离导致增加模组的高度的问题，以及可以有效滤除红外光对成像质量的影响，大大改善成像效果。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种红外光花瓣状鬼影的示意图；
图2是根据一示例性实施例示出的一种红外光花瓣状鬼影产生原理的示意图；
图3是根据一示例性实施例示出的一种成像***的成像原理的示意图；
图4是根据一示例性实施例示出的一种成像***中图像传感器的结构示意图；
图5是根据一示例性实施例示出的像素区域的结构示意图；
图6是根据一示例性实施例示出的图像传感器中多个像素区域的结构示意图；
图7是根据一示例性实施例示出的一种成像方法的流程图；
图8是根据一示例性实施例示出的子像素区域对应的响应信号值的示意图；
图9是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施例并不代表与本公开相一致的所有实施例。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的一种红外光花瓣状鬼影的示意图；图2是根据一示例性实施例示出的一种红外光花瓣状鬼影产生原理的示意图。
如图1所示，相关技术中的摄像头在拍摄强光点光源101时，会产生红外光花瓣状鬼影102，即在光源一周形成一圈花瓣状红色鬼影，该鬼影形状与光源形状相似，且光源强度越强越明显。
如图2所示，红外光花瓣状鬼影的产生原理是：入射光线201经过镜头202进入镀有红外截止膜203的滤片204后，绝大部分的红光会被红外截止膜203截止，但仍然会有少量红光以大角度透过滤片204，入射到图像传感器205上的微透镜206上。其中，一部分入射光被接收成像，另一部分入射光被微透镜206反射回到滤片204，而由于滤片204上的红外截止膜203对入射光中的红光高反射，因而导致该红光最终反射到微透镜206上，形成红光鬼影。并且，由于图像传感器205的基板2051上的成像单元(感光元件)2052是以水平、竖直的阵列排布的，故会形成如图2所示的花瓣状鬼影图像。
为了克服相关技术中存在的上述问题，本公开实施例提供一种成像***，用以解决相关技术中的缺陷。
图3是根据一示例性实施例示出的一种成像***的成像原理的示意图。如图3所示，本实施例提供的一种成像***，包括：图像传感器301、覆盖于图像传感器301的微成像结构(如微透镜302)，以及与图像传感器电连接的处理器(图中未示出)；
其中，图像传感器301包括多个感光元件和设置于所述感光元件上的像素区域。
其中，像素区域3012用于透过通过微透镜302入射的红外光和多种可见光；而感光元件3011用于基于相应的像素区域透过的光生成响应信号值；在此基础上，处理器用于对所述响应信号值进行处理，得到图像信息。
举例来说，图4是根据一示例性实施例示出的一种成像***中图像传感器的结构示意图；如图4所示，该图像传感器包括多个感光元件401和设置于感光元件401上的像素区域402，该像素区域402用于透过通过镜头和微透镜等微成像结构入射的红外光和多种可见光，该感光元件401用于基于相应的像素区域透过的光生成响应信号值；在此基础上，处理器可以用于对所述响应信号值进行处理，得到图像信息。
具体的，如图4所示，像素区域402可以包括多个可见光子像素区域和一个红外光子像素区域(参见附图4中4021～4024)；其中，每个可见光子像素区域可以用于透过通过所述微成像结构入射的至少一种可见光以及红外光；而红外光子像素子像素区域用于透过通过所述微成像结构入射的红外光。
由图3可知，本实施例中，入射光线304可以经过镜头30直接入射到图像传感器301上的微透镜302上。由于未采用滤片，因而不会产生由于滤片的红外截止膜对红光高反射所导致的红光最终反射到图像传感器上形成红光鬼影的问题。
并且，通过每个所述像素区域透过入射的红外光和多种可见光，然后通过感光元件基于相应的像素区域透过的红外光和多种可见光生成响应信号值，进而可以通过处理器对该响应信号值进行处理，得到相应的图像信息。由于是基于透过红外光和多种可见光生成的响应信号值获取图像信息，因而可以通过相应的处理算法有效滤除红外光对成像质量的影响，从而改善成像效果。
由上述描述可知，本实施例通过每个所述像素区域包括的多个可见光子像素区域和红外光子像素区域透过通过微成像结构入射的红外光和多种可见光，并通过感光元件基于相应的像素区域透过的光生成响应信号值，以及通过处理器对所述响应信号值进行处理，得到图像信息，由于未使用滤片来截止红外光，因而可以避免由于红外光在滤片与图像传感器的微成像结构之间的反复反射所形成的花瓣鬼影，还可以避免由于增加滤片与图像传感器之间的距离导致增加模组的高度的问题，可以有效滤除红外光对成像质量的影响，大大改善成像效果。
图5是根据一示例性实施例示出的像素区域的结构示意图；图6是根据一示例性实施例示出的图像传感器中多个像素区域的结构示意图。
如图5所示，该像素区域中包含多个可见光子像素区域(如，图5中所示的R+IR子像素区域501、G+IR子像素区域502以及B+IR子像素区域503)和一个红外光子像素区域(如，图5中所示的IR子像素区域504)。其中，可见光子像素区域501、502以及503可以分别用于透过通过所述镜头入射的一种可见光以及红外光，并且，可见光子像素区域501、502以及503所透过的可见光的颜色不同。上述红外光子像素子像素区域504用于透过通过所述镜头入射的红外光，对其他光截止(也即，红外光子像素子像素区域504对于红外光的透过率高于设定阈值，而对其他光的透过率低于设定阈值)。
在一可选的实施例中，上述可见光子像素区域和红外光子像素区域在其所属的像素区域中按照设定顺序排列，如按照矩阵排列顺序(如，按照矩阵中的行和列的顺序依次进行排列)、顺时针顺序或逆时针顺序等，本实施例对此不进行限定。
如图6所示，本实施例中的像素区域可以包含多个像素区域，每个像素区域均包含一个R+IR子像素区域、一个G+IR子像素区域、一个B+IR子像素区域和一个IR子像素区域，且这四个子像素区域在其所属的像素区域中按照矩阵排列顺序进行整齐排列的。在另一实施例中，上述四个子像素区域还可以按照顺时针顺序或逆时针顺序排列在其所属的像素区域中，在此不进行赘述。
仍以图5所示像素区域为例，该像素区域中的多个可见光子像素区域包括：
第一子像素区域(即，如图5中的R+IR子像素区域)，用于透过通过微成像结构入射的红光和红外光，得到第一响应信号值，其中，该第一子像素区域对于红光和红外光的透过率高于第一设定阈值(该阈值可以基于实际需要进行设置，如设置为80％等，本实施例对此不进行限定)；
第二子像素区域(即，如图5中的G+IR子像素区域)，用于透过通过微成像结构入射的绿光和红外光，得到第二响应信号值，其中，该第二子像素区域对于绿光和红外光的透过率高于第二设定阈值(该阈值可以基于实际需要进行设置，如设置为80％等，本实施例对此不进行限定)；以及，
第三子像素区域(即，如图5中的B+IR子像素区域)，用于透过通过微成像结构入射的蓝光和红外光，得到第三响应信号值，其中，该第三子像素区域对于蓝光和红外光的透过率高于第三设定阈值(该阈值可以基于实际需要进行设置，如设置为80％等，本实施例对此不进行限定)；
红外光子像素子像素区域(即，如图5中的IR子像素区域)用于透过通过微成像结构入射的红外光，得到第四响应信号值，其中，该红外光子像素子像素区域对于红光和红外光的透过率高于第四设定阈值(该阈值可以基于实际需要进行设置，如设置为80％等，本实施例对此不进行限定)。
在此基础上，上述处理器还可以用于：
基于所述第一响应信号值和所述第四响应信号值确定所述第一子像素区域接收到的红光信号值；
基于所述第二响应信号值和所述第四响应信号值确定所述第二子像素区域接收到的绿光信号值；
基于所述第三响应信号值和所述第四响应信号值确定所述第三子像素区域接收到的蓝光信号值。
举例来说，由于各子像素区域对于红外光的透过能力是固定的，因而红外光子像素子像素区域只能收到红外光是固定的，可以设为EIR；
本实施例中，第一子像素区域收到的光(即，透过的红光和红外光)为ER，其中包含的红外光为α*EIR(α为已知常数)，则可以基于下式(1)确定该第一子像素区域收到的红光：
第一子像素区域收到的红光＝ER-α*EIR； (1)
同理，第二子像素区域收到的光(即，透过的绿光和红外光)为EG，其中包含的红外光为：β*EIR，(β为已知常数)，则可以基于下式(2)确定该第二子像素区域收到的绿光：
第二子像素区域收到的绿光＝EG-β*EIR； (2)
同理，第三子像素区域收到的光(即，透过的蓝光和红外光)为EB，其中包含的红外光为：γ*EIR，(γ为已知常数)，则可以基于下式(3)确定该第三子像素区域收到的蓝光：
第三子像素区域收到的蓝光＝EB-γ*EIR； (3)
值得说明的是，上述已知常数α、β和γ是基于不同材料对于不同的光的吸收转换能力所确定的，其具体的数值可以结合材料的类型、结构以及工艺等因素通过实验测试得到，本实施例对此不进行限定。
在此基础上，即可获得上述多个可见光子像素区域分别接收的红光、绿光和蓝光对应的响应值(参见下图8所示)，进而可以通过相关技术中的马赛克算法处理成彩色图像，具体的处理方式可以参见下述图7所示实施例，在此先不进行详述。
另一方面，上述处理器还可以用于基于预设的马赛克算法对所述红光信号值、所述绿光信号值、所述蓝光信号值进行处理，得到彩色图像信息。
在一可选的实施例中，上述成像***还可以包括与处理器电连接的环境光传感器，用于检测当前环境中红外光的比例，例如可以通过检测当前环境的光的波段，进而确定其中包含的红外光对应波段的比例等，本实施例对此不进行限定。
在此基础上，上述处理器还可以用于响应于所述环境光传感器检测到当前环境中红外光的比例，基于所述马赛克算法对所述响应信号值进行处理，得到图像信息。
举例来说，上述处理器还可以用于响应于所述环境光传感器检测到当前环境中红外光的比例大于或等于设定阈值，基于所述马赛克算法对所述响应信号值进行处理，得到去除红外光影响的图像信息。
在另一实施例中，上述成像***还可以包括与处理器电连接的红外灯组件，该红外灯组件用于输出红外光；
在此基础上，上述处理器还可以用于响应于上述环境光传感器检测到当前环境中红外光的比例小于设定阈值，控制所述图像传感器基于所述红外灯组件输出的红外光获取红外响应信号值，以及基于所述马赛克算法对所述红外响应信号值进行处理，得到红外图像信息。
其中，上述设定阈值可以由开发人员根据实际业务需要或经验进行设置，如可以基于白天室外的红外光的比例确定该阈值，本实施例对此不进行限定。
值得说明的是，本实施例中的成像***除了包含上述镜头、图像传感器以及处理器之外，还可以包括模组支架、模组印刷电路、模组补强板、柔性电路板和连接器中的至少一种相关部件，这些部件的功能及结构等解释和说明可以参见相关技术中的记载，本实施例对此不进行限定。
图7是根据一示例性实施例示出的一种成像方法的流程图；本实施例的方法可以应用于成像***，其中，该成像***可以包括：图像传感器、覆盖于所述图像传感器的微成像结构、与所述图像传感器电连接的处理器。如图7所示，该方法包括：以下步骤S101-S102：
在步骤S101中，获取响应信号值。
其中，所述响应信号值由图像传感器的多个感光元件基于相应的像素区域透过的光生成，所述像素区域包括多个可见光子像素区域和一个红外光子像素区域，每个所述可见光子像素区域用于透过通过所述微成像结构入射的一种可见光以及红外光，所述红外光子像素子像素区域用于透过通过所述微成像结构入射的红外光。值得说明的是，该成像***中图像传感器的结构可以参见上述成像***实施例的解释和说明，本实施例在此不进行赘述。
在步骤S102中，对所述响应信号值进行处理，得到图像信息。
本实施例中，成像***还可以包括与所述处理器电连接的环境光传感器，其中，该环境光传感器可以用于检测当前环境中红外光的比例。
在一实施例中，若基于环境光传感器的检测结果确定当前环境中红外光的比例大于或等于第六设定阈值，则可以基于马赛克算法对所述响应信号值进行处理，得到去除红外光影响的图像信息。
图8是根据一示例性实施例示出的子像素区域对应的响应信号值的示意图；如图8所示，各个子像素区域对应的响应信号值均可以通过上述图6所示实施例基于式子(1)～(3)的计算得到，进而可以基于每个子像素区域对应的响应信号值采用相关技术中的去马赛克方法得到每个子像素区域对应的颜色信息。
举例来说，针对子像素区域R5，可以基于下式(4～6)确定其对应的RGB颜色通道的颜色信息：
R＝R5，G＝(G4+G5)/2，B＝(B2+B5)/2； (4～6)
针对子像素区域G5，可以基于下式(7～9)确定其对应的RGB颜色通道的颜色信息：
R＝(R5+R6)/2，G＝G5，B＝(B2+B3+B5+B6)/4； (7～9)
针对子像素区域B5处，可以基于下式(10～12)确定其对应的RGB颜色通道的颜色信息：
R＝(R5+R8)，G＝(G4+G5+G7+G8)/4，B＝B5； (10～12)
针对子像素区域IR5处，可以基于下式(13～15)确定其对应的RGB颜色通道的颜色信息：
R＝(R5+R6+R8+R9)，G＝(G5+G8)/2，B＝(B5+B6)/2；(13～15)
利用以上方法即可获得彩色图像，同时可滤除红外光的影响。
在另一实施例中，若基于环境光传感器的检测结果确定当前环境中红外光的比例小于第六设定阈值，则可以控制所述图像传感器基于所述红外灯组件输出的红外光获取红外响应信号值，并基于所述红外响应信号值获取红外图像信息。
本实施例中，当基于所述红外灯组件输出的红外光获取红外响应信号值后，可以直接根据该响应信号值生成红外图像，即只对各个子像素区域的亮度信息进行作采样，不对颜色进行采样，即无需经过上述去马赛克方法的处理，即可直接出红外图像。
由上述描述可知，本实施例通过每个所述像素区域包括的多个可见光子像素区域和红外光子像素区域透过通过微成像结构入射的红外光和多种可见光，并通过感光元件基于相应的像素区域透过的光生成响应信号值，以及通过处理器对所述响应信号值进行处理，得到图像信息，由于未使用滤片来截止红外光，因而可以避免由于红外光在滤片与图像传感器的微成像结构之间的反复反射所形成的花瓣鬼影，还可以避免由于增加滤片与图像传感器之间的距离导致增加模组的高度的问题，可以有效滤除红外光对成像质量的影响，大大改善成像效果。
关于上述实施例中的***，其中各个模块执行操作的具体方式已经在有关该***的实施例中进行了详细描述，此处将不做详细阐述说明。
图9是根据一示例性实施例示出的一种电子设备的框图。例如，设备900可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图9，设备900可以包括以下一个或多个组件：处理组件902，存储器904，电源组件906，多媒体组件908，音频组件910，输入/输出(I/O)的接口912，传感器组件914，以及通信组件916。
处理组件902通常控制设备900的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理元件902可以包括一个或多个处理器920来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件902可以包括一个或多个模块，便于处理组件902和其他组件之间的交互。例如，处理部件902可以包括多媒体模块，以方便多媒体组件908和处理组件902之间的交互。
存储器904被配置为存储各种类型的数据以支持在设备900的操作。这些数据的示例包括用于在设备900上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器904可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电力组件906为设备900的各种组件提供电力。电力组件906可以包括电源管理***，一个或多个电源，及其他与为设备900生成、管理和分配电力相关联的组件。
多媒体组件908包括在所述设备900和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件908包括一个前置摄像头和/或后置摄像头。当设备900处于操作模式，如采集模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜***或具有焦距和光学变焦能力。
音频组件910被配置为输出和/或输入音频信号。例如，音频组件910包括一个麦克风(MIC)，当设备900处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器904或经由通信组件916发送。在一些实施例中，音频组件910还包括一个扬声器，用于输出音频信号。
I/O接口912为处理组件902和***接口模块之间提供接口，上述***接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件914包括一个或多个传感器，用于为设备900提供各个方面的状态评估。例如，传感器组件914可以检测到设备900的打开/关闭状态，组件的相对定位，例如所述组件为设备900的显示器和小键盘，传感器组件914还可以检测设备900或设备900一个组件的位置改变，用户与设备900接触的存在或不存在，设备900方位或加速/减速和设备900的温度变化。传感器组件914还可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件914还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件914还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件916被配置为便于设备900和其他设备之间有线或无线方式的通信。设备900可以接入基于通信标准的无线网络，如WiFi，2G或3G，4G或5G或它们的组合。在一个示例性实施例中，通信部件916经由广播信道接收来自外部广播管理***的广播信号或广播目标信息。在一个示例性实施例中，所述通信部件916还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，设备900可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述图像处理方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器904，上述指令可由设备900的处理器920执行以完成上述图像处理方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (11)
1.一种成像***，其特征在于，包括：图像传感器、覆盖于所述图像传感器的微成像结构，以及与所述图像传感器电连接的处理器；
所述图像传感器包括多个感光元件和设置于所述感光元件上的像素区域；其中，所述像素区域包括多个可见光子像素区域和一个红外光子像素区域，每个所述可见光子像素区域用于透过通过所述微成像结构入射的至少一种可见光以及红外光；所述红外光子像素子像素区域用于透过通过所述微成像结构入射的红外光；所述感光元件用于基于相应的像素区域透过的光生成响应信号值；
所述处理器，用于对所述响应信号值进行处理，得到图像信息。
2.根据权利要求1所述的***，其特征在于，所述多个可见光子像素区域和一个红外光子像素区域在所属的像素区域中按照设定顺序排列，所述设定顺序包括矩阵排列顺序、顺时针顺序或逆时针顺序。
3.根据权利要求1所述的***，其特征在于，所述多个可见光子像素区域包括：
第一子像素区域，用于透过通过所述微成像结构入射的红光和红外光，得到第一响应信号值，所述第一子像素区域对于所述红光和红外光的透过率高于第一设定阈值；
第二子像素区域，用于透过通过所述微成像结构入射的绿光和红外光，得到第二响应信号值，所述第二子像素区域对于所述绿光和红外光的透过率高于第二设定阈值；以及，
第三子像素区域，用于透过通过所述微成像结构入射的蓝光和红外光，得到第三响应信号值，所述第三子像素区域对于所述蓝光和红外光的透过率高于第三设定阈值；
所述红外光子像素子像素区域用于透过通过所述微成像结构入射的红外光，得到第四响应信号值，所述第四子像素区域对于所述红外光的透过率高于第四设定阈值。
4.根据权利要求3所述的***，其特征在于，所述处理器还用于：
基于所述第一响应信号值和所述第四响应信号值确定所述第一子像素区域接收到的红光信号值；
基于所述第二响应信号值和所述第四响应信号值确定所述第二子像素区域接收到的绿光信号值；
基于所述第三响应信号值和所述第四响应信号值确定所述第三子像素区域接收到的蓝光信号值。
5.根据权利要求4所述的***，其特征在于，所述处理器还用于对所述红光信号值、所述绿光信号值、所述蓝光信号值进行处理，得到彩色图像信息。
6.根据权利要求5所述的***，其特征在于，还包括与所述处理器电连接的环境光传感器；
所述处理器还用于在所述环境光传感器检测到当前环境中红外光的比例大于或等于第五设定阈值的情况下，基于马赛克算法对所述响应信号值进行处理，得到去除红外光影响的图像信息。
7.根据权利要求6所述的***，其特征在于，还包括与所述处理器电连接的红外灯组件，所述红外灯组件用于输出红外光；
所述处理器还用于在所述环境光传感器检测到当前环境中红外光的比例小于第五设定阈值的情况下，控制所述图像传感器基于所述红外灯组件输出的红外光获取红外响应信号值，并基于所述红外响应信号值获取红外图像信息。
8.一种成像方法，其特征在于，包括：
获取响应信号值，所述响应信号值由图像传感器的多个感光元件基于相应的像素区域透过的光生成，所述像素区域包括多个可见光子像素区域和一个红外光子像素区域，每个所述可见光子像素区域用于透过通过所述微成像结构入射的一种可见光以及红外光，所述红外光子像素子像素区域用于透过通过所述微成像结构入射的红外光；
对所述响应信号值进行处理，得到图像信息。
9.根据权利要求8所述的方法，其特征在于，所述对所述响应信号值进行处理，得到图像信息，包括：
在当前环境中红外光的比例大于或等于第六设定阈值的情况下，基于马赛克算法对所述响应信号值进行处理，得到去除红外光影响的图像信息。
10.根据权利要求8所述的方法，其特征在于，所述对所述响应信号值进行处理，得到图像信息，包括：
在当前环境中红外光的比例小于第六设定阈值的情况下，控制所述图像传感器基于所述红外灯组件输出的红外光获取红外响应信号值，并基于所述红外响应信号值获取红外图像信息。
11.一种电子设备，其特征在于，包括：
图像传感器、覆盖于所述图像传感器的微成像结构、与所述图像传感器电连接的处理器，以及用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
获取响应信号值，所述响应信号值由图像传感器的多个感光元件基于相应的像素区域透过的光生成，所述像素区域包括多个可见光子像素区域和一个红外光子像素区域，每个所述可见光子像素区域用于透过通过所述微成像结构入射的一种可见光以及红外光，所述红外光子像素子像素区域用于透过通过所述微成像结构入射的红外光；
对所述响应信号值进行处理，得到图像信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010762840.7A CN114095672A (zh) | 2020-07-31 | 2020-07-31 | 成像***、方法及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010762840.7A CN114095672A (zh) | 2020-07-31 | 2020-07-31 | 成像***、方法及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114095672A true CN114095672A (zh) | 2022-02-25 |
Family
ID=80295108
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010762840.7A Pending CN114095672A (zh) | 2020-07-31 | 2020-07-31 | 成像***、方法及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114095672A (zh) |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1992987A1 (en) * | 2007-05-15 | 2008-11-19 | Sony Corporation | Apparatus and method for processing video signal, imaging device and computer program |
| CN101621697A (zh) * | 2009-07-28 | 2010-01-06 | 黄松涛 | 一种用多色图像传感器的背景消除装置及使用方法 |
| US20120200734A1 (en) * | 2011-02-09 | 2012-08-09 | Research In Motion Limited | Increased low light sensitivity for image sensors by combining quantum dot sensitivity to visible and infrared light |
| US20130188057A1 (en) * | 2012-01-20 | 2013-07-25 | Htc Corporation | Image capturing device and method thereof |
| US20150244995A1 (en) * | 2013-11-25 | 2015-08-27 | JVC Kenwood Corporation | Imaging Device, Image Processing Device, Image Processing Method, and Image Processing Program |
| JP2015159526A (ja) * | 2013-11-25 | 2015-09-03 | 株式会社Ｊｖｃケンウッド | 撮像装置、映像信号処理方法及び映像信号処理プログラム |
| WO2015198127A1 (ja) * | 2014-06-24 | 2015-12-30 | 日立マクセル株式会社 | 撮像処理装置および撮像処理方法 |
| KR20160095824A (ko) * | 2015-02-04 | 2016-08-12 | 엘지전자 주식회사 | 디지털 디바이스 및 그의 컬러 영상 획득 방법 |
| CN106973233A (zh) * | 2017-04-27 | 2017-07-21 | 维沃移动通信有限公司 | 一种摄像头、移动终端及拍照处理方法 |
| CN107113375A (zh) * | 2015-01-08 | 2017-08-29 | 索尼半导体解决方案公司 | 图像处理装置、成像装置和图像处理方法 |
| CN107967668A (zh) * | 2016-10-20 | 2018-04-27 | 上海富瀚微电子股份有限公司 | 一种图像处理方法及装置 |
| CN110519489A (zh) * | 2019-06-20 | 2019-11-29 | 杭州海康威视数字技术股份有限公司 | 图像采集方法及装置 |
| CN110574367A (zh) * | 2019-07-31 | 2019-12-13 | 华为技术有限公司 | 一种图像传感器和图像感光的方法 |
-
2020
- 2020-07-31 CN CN202010762840.7A patent/CN114095672A/zh active Pending
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1992987A1 (en) * | 2007-05-15 | 2008-11-19 | Sony Corporation | Apparatus and method for processing video signal, imaging device and computer program |
| CN101621697A (zh) * | 2009-07-28 | 2010-01-06 | 黄松涛 | 一种用多色图像传感器的背景消除装置及使用方法 |
| US20120200734A1 (en) * | 2011-02-09 | 2012-08-09 | Research In Motion Limited | Increased low light sensitivity for image sensors by combining quantum dot sensitivity to visible and infrared light |
| US20130188057A1 (en) * | 2012-01-20 | 2013-07-25 | Htc Corporation | Image capturing device and method thereof |
| US20150244995A1 (en) * | 2013-11-25 | 2015-08-27 | JVC Kenwood Corporation | Imaging Device, Image Processing Device, Image Processing Method, and Image Processing Program |
| JP2015159526A (ja) * | 2013-11-25 | 2015-09-03 | 株式会社Ｊｖｃケンウッド | 撮像装置、映像信号処理方法及び映像信号処理プログラム |
| WO2015198127A1 (ja) * | 2014-06-24 | 2015-12-30 | 日立マクセル株式会社 | 撮像処理装置および撮像処理方法 |
| CN107113375A (zh) * | 2015-01-08 | 2017-08-29 | 索尼半导体解决方案公司 | 图像处理装置、成像装置和图像处理方法 |
| KR20160095824A (ko) * | 2015-02-04 | 2016-08-12 | 엘지전자 주식회사 | 디지털 디바이스 및 그의 컬러 영상 획득 방법 |
| CN107967668A (zh) * | 2016-10-20 | 2018-04-27 | 上海富瀚微电子股份有限公司 | 一种图像处理方法及装置 |
| CN106973233A (zh) * | 2017-04-27 | 2017-07-21 | 维沃移动通信有限公司 | 一种摄像头、移动终端及拍照处理方法 |
| CN110519489A (zh) * | 2019-06-20 | 2019-11-29 | 杭州海康威视数字技术股份有限公司 | 图像采集方法及装置 |
| CN110574367A (zh) * | 2019-07-31 | 2019-12-13 | 华为技术有限公司 | 一种图像传感器和图像感光的方法 |
Non-Patent Citations (1)
| Title |
|---|
| 董鹏宇;: "RGBX格式图像传感器的去马赛克算法", 集成电路应用, no. 05, 3 May 2018 (2018-05-03) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10727263B2 (en) | Camera photosensitive component, camera, and camera shooting terminal | |
| US20210405384A1 (en) | Optical processing apparatus, camera module, electronic device and capturing method | |
| CN110876014B (zh) | 图像处理方法及装置、电子设备及存储介质 | |
| CN112905135A (zh) | 屏幕亮度处理方法、电子设备及存储介质 | |
| US11425299B2 (en) | Camera module, processing method and apparatus, electronic device, and storage medium | |
| CN111835941B (zh) | 图像生成方法及装置、电子设备、计算机可读存储介质 | |
| CN114338956B (zh) | 图像处理方法、图像处理装置及存储介质 | |
| CN111835977B (zh) | 图像传感器、图像生成方法及装置、电子设备、存储介质 | |
| CN112188111B (zh) | 拍照方法及装置、终端及存储介质 | |
| CN114095672A (zh) | 成像***、方法及电子设备 | |
| US11140341B2 (en) | Camera module and mobile terminal having the camera module | |
| CN110971722B (zh) | 图像拍摄方法及装置 | |
| CN110874829B (zh) | 图像处理方法及装置、电子设备及存储介质 | |
| CN115145662A (zh) | 屏幕显示亮度调节方法、装置及存储介质 | |
| CN113709275A (zh) | 环境光确定方法、装置、终端设备及存储介质 | |
| CN112213898A (zh) | 彩色图像采集设备和电子设备 | |
| CN112822465B (zh) | 一种终端设备及图像处理方法 | |
| CN112468683A (zh) | 摄像头模组和具有该摄像头模组的移动终端 | |
| CN210038409U (zh) | 彩色图像采集设备和电子设备 | |
| CN114125417B (zh) | 图像传感器、摄像装置、图像采集方法、装置及存储介质 | |
| CN113296644B (zh) | 显示控制方法及装置、电子设备、计算机可读存储介质 | |
| CN210670246U (zh) | 摄像头模组和具有该摄像头模组的移动终端 | |
| CN211403046U (zh) | 显示面板和电子设备 | |
| CN111381705B (zh) | 一种终端 | |
| CN110876013B (zh) | 确定图像分辨率的方法及装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |