CN111447423A - 图像传感器、摄像装置及图像处理方法 - Google Patents

Abstract

本发明公开了一种图像传感器、摄像装置及图像处理方法，该图像传感器包括：沿入射光光线传播方向依次设置的第一滤光层、第二滤光层以及感光层；第一滤光层包括交替设置的第一区域和第二区域，第一区域至少可以通过红外光和可见光，第二区域至少可以通过可见光，且第一区域和第二区域对红外光的过滤功能不同；第二滤光层包括阵列设置的不同滤光单元；感光层包括阵列设置的感光单元，感光单元、滤光单元、第一区域/第二区域一一对应设置，与第一区域对应的感光单元用于生成第一图像，与第二区域对应的感光单元用于生成第二图像。通过上述方式，本发明能够有效提高图像处理效率和低照度彩色成像的质量，并降低摄像机制造成本。

Description

图像传感器、摄像装置及图像处理方法

技术领域

本申请涉及图像采集技术领域，特别是涉及一种图像传感器、摄像装置及图像处理方法。

背景技术

为了在极低照度的条件下获取彩色的实时场景，目前主要采用日夜共焦共轴光路，由分光棱镜将进入镜头的光分成可见光路和红外光路，利用两路图像传感器分别获取可见光光路的图像和红外光光路的图像，然后对两路图像进行融合处理，得到低照度下彩色画面，但是，两路图像传感器所采集的图像画面不一样，在进行图像融合时，彩色板获取的彩色图像无法直接参考黑白板所获取的灰度图，导致融效果不佳，图像质量差。另一方案采用两个摄像头分别获取灰度图和彩色图，由于两个镜头所获取的图像画面不一样，只有部分重叠，在进行图像融合时，需要进行截取重叠区域处理，只能对重叠部分进行融合，导致图像处理程序增加，降低效率。

发明内容

本申请提供一种图像传感器、摄像装置及图像处理方法，能够采用同一个图像传感器同时获取灰度图和彩色图，有效提高图像处理效率和低照度彩色成像的质量，并降低摄像机制造成本。

为解决上述技术问题，本申请采用的一个技术方案是：提供一种图像传感器，包括：沿入射光光线传播方向依次设置的第一滤光层、第二滤光层以及感光层；

所述第一滤光层包括交替设置的第一区域和第二区域，所述第一区域至少可以通过红外光和可见光，所述第二区域至少可以通过可见光，且所述第一区域和所述第二区域对红外光的过滤功能不同；

所述第二滤光层包括阵列设置的不同滤光单元；

所述感光层包括阵列设置的感光单元，所述感光单元、所述滤光单元以及所述第一区域对应设置，与所述第一区域对应的所述感光单元用于生成第一图像，所述感光单元、所述滤光单元以及所述第二区域对应设置，与所述第二区域对应的所述感光单元用于生成第二图像。

为解决上述技术问题，本申请采用的另一个技术方案是：提供一种摄像装置，包括：一个所述的图像传感器和与所述图像传感器耦接的图像处理器，所述图像处理器对所述图像传感器生成的第一图像和第二图像进行融合处理，以获得全彩图像。

为解决上述技术问题，本申请采用的再一个技术方案是：提供一种图像处理方法，包括：

获取通过第一区域生成的第一图像，并提取所述第一图像的色度信息；

获取通过第二区域生成的第二图像，并提取所述第二图像的亮度信息；

根据所述亮度信息和所述色度信息将所述第一图像和所述第二图像进行融合处理，得到全彩图像。

本申请的有益效果是：通过在第一滤光层设置交替的第一区域和第二区域，使第一区域和所述第二区域对红外光的过滤功能不同，以实现同一个图像传感器能够同时获取完全重叠的灰度图和彩色图，在图像处理过程中省去了截取重叠区域的步骤，有效提高图像处理效率和低照度彩色成像的质量，同时，该方案不需要使用分光棱镜和对安装角度精度要求极高的图像传感器，降低了摄像机制造成本。

附图说明

图1是本发明第一实施例的图像传感器的结构分解示意图；

图2是本发明第一实施例的图像传感器的主视图；

图3是本发明实施例中滤光单元的结构示意图；

图4是本发明第二实施例的图像传感器的结构分解示意图；

图5是本发明第一实施例的摄像装置的结构示意图；

图6是本发明第一实施例的图像处理方法的流程示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。本申请实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

图1是本发明第一实施例的图像传感器的结构分解示意图。如图1所示，该图像传感器10包括：沿入射光光线传播方向依次设置的第一滤光层11、第二滤光层12以及感光层13。

请参见图1和图2，第一滤光层11包括交替设置的第一区域111和第二区域112，第一区域111至少可以通过红外光和可见光，第二区域112至少可以通过可见光，且第一区域111和第二区域112对红外光的过滤功能不同。在本实施例中，优选地，第一区域111只通过可见光和红外光，第二区域112只通过可见光。进一步地，第一区域111和第二区域112呈条纹状设置。

请参见图1和图3，第二滤光层12包括阵列设置的不同滤光单元120。进一步地，滤光单元120包括第一滤光单元121和第二滤光单元122,第一滤光单元121包括第一红子滤光单元1211、第一蓝子滤光单元1212、第一绿子滤光单元1213，第二滤光单元122包括第二红子滤光单元1221、第二蓝子滤光单元1222、第二绿子滤光单元1223；第一滤光单元121的第一红子滤光单元1211、第一蓝子滤光单元1212、第一绿子滤光单元1213和第二滤光单元122的第二红子滤光单元1221、第二蓝子滤光单元1222、第二绿子滤光单元1223混合设置。

更进一步地，请参见图3，第一滤光单元121的第一绿子滤光单元1213数量为二，第一滤光单元121的第一红子滤光单元1211、第一蓝子滤光单元1212数量均为一，第一滤光单元121的四个子滤光单元矩形排列设置，其中第一红子滤光单元1211、第一蓝子滤光单元1212在矩形中对角设置，滤光单元120包括多个第一滤光单元121，多个第一滤光单元121依次排列设置；第二滤光单元122的各子滤光单元数量及排布与第一滤光单元121相同，滤光单元120包括多个第二滤光单元122，多个第二滤光单元122依次排列设置，且第二滤光单元122的两个子滤光单元位于第一滤光单元121的两行子滤光单元之间，第一滤光单元121的两个子滤光单元位于第二滤光单元122的两行子滤光单元之间。例如，请参见图3，第一滤光单元121位于奇数行，第二滤光单元122位于偶数行。

请参见图1和图2，感光层13包括阵列设置的感光单元130，感光单元130、滤光单元120以及第一区域111对应设置，与第一区域111对应的感光单元130用于生成第一图像，感光单元130、滤光单元120以及第二区域112对应设置，与第二区域112对应的感光单元130用于生成第二图像。

进一步地，请参见图1和图2，感光单元130包括第一感光单元131和第二感光单元132，第一感光单元131包括第一红子感光单元、第一蓝子感光单元、第一绿子感光单元，第二感光单元132包括第二红子感光单元、第二蓝子感光单元、第二绿子感光单元；第一感光单元121、第一滤光单元131、第一区域111在垂直于感光层13所在平面的方向一一对应设置，用于生成彩色图像像素构成的第一图像；

第二感光单元122、第二滤光单元132、第二区域112在垂直于感光层13所在平面的方向一一对应设置，用于生成黑白图像像素构成的第二图像。

进一步地，请参见图1和图2，感光层13还包括与感光单元130连接的电荷存储区133，感光单元130将接受的光子转化为生成图像信号的电荷，电荷存储区133用于存储第一感光单元131用于生成第一图像的电荷和第二感光单元132用于生成第二图像的电荷。

本发明第一实施例的图像传感器10通过在第一滤光层11设置交替的第一区域111和第二区域112，使第一区域111和第二区域112对红外光的过滤功能不同，以实现同一个图像传感器10能够同时获取完全重叠的灰度图和彩色图。

图4是本发明第二实施例的图像传感器的结构分解示意图。如图4所示，该图像传感器40包括：沿入射光光线传播方向依次设置的增光层41、第一滤光层42、第二滤光层43以及感光层44。

增光层41用于将入射光增强后传输给第一滤光层42，优选地，增光层41包括微型放大镜片。

第一滤光层42包括交替设置的第一区域421和第二区域422，第一区域421至少可以通过红外光和可见光，第二区域422至少可以通过可见光，且第一区域421和第二区域422对红外光的过滤功能不同。

在本实施例中，图4的第一滤光层42与图1的第一滤光层11类似，为简约起见，在此不再一一赘述。

第二滤光层43包括阵列设置的不同滤光单元430。

在本实施例中，图4的第二滤光层43与图1的第二滤光层12类似，为简约起见，在此不再一一赘述。

感光层44包括阵列设置的感光单元440，感光单元440、滤光单元430以及第一区域421对应设置，与第一区域421对应的感光单元440用于生成第一图像，感光单元440、滤光单元430以及第二区域422对应设置，与第二区域422对应的感光单元440用于生成第二图像。

在本实施例中，图4的感光层44与图1的感光层13类似，为简约起见，在此不再一一赘述。

本发明第二实施例的图像传感器40在第一实施例的基础上，通过增加增光层41以增加入射光的强度，以提高感光层44的成像质量。

图5是本发明第一实施例的摄像装置的结构示意图。如图5所示，该摄像装置50包括：图像传感器51和与图像传感器51耦接的图像处理器52，图像处理器52对图像传感器51生成的第一图像和第二图像进行融合处理，以获得全彩图像。

进一步地，图像处理器52包括：图像提取单元521和与图像提取单元521耦接的图像融合单元522，图像提取单元521提取第一图像的色度信息和第二图像的亮度信息，并将提取结果发送给图像融合单元522，图像融合单元522根据提取结果将第一图像和第二图像进行融合并生成全彩图像。

本发明第一实施例的摄像装置50通过采用一个图像传感器51同时获取完全重叠的灰度图和彩色图，在图像处理过程中省去了截取重叠区域的步骤，有效提高图像处理效率和低照度彩色成像的质量，同时，该方案不需要使用分光棱镜和对安装角度精度要求极高的图像传感器，降低了摄像机制造成本。

图6是本发明第一实施例的图像处理方法的流程示意图。需注意的是，若有实质上相同的结果，本发明的方法并不以图6所示的流程顺序为限。如图6所示，该方法应用于前述的摄像装置50，该方法包括步骤：

步骤S601：获取通过第一区域生成的第一图像，并提取第一图像的色度信息。

在步骤S601中，第一区域只通过可见光和红外光，第二区域只通过可见光，第一图像由彩色图像像素构成。

步骤S602：获取通过第二区域生成的第二图像，并提取第二图像的亮度信息。

在步骤S602中，第二区域只通过可见光，第二图像由黑白图像像素构成，提取第二图像的亮度信息得到灰度图。

步骤S603：根据亮度信息和色度信息将第一图像和第二图像进行融合处理，得到全彩图像。

在步骤S603中，根据第一图像的色度信息以第一图像的灰度图作为引导图像进行融合处理，得到实时全彩图像。

本发明第一实施例的图像处理方法，通过采用一个图像传感器同时获取完全重叠的灰度图和彩色图，在图像处理过程中省去了截取重叠区域的步骤，有效提高图像处理效率和低照度彩色成像的质量。

在本申请所提供的几个实施例中，应该理解到，所揭露的***，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (9)

1.一种图像传感器，其特征在于，包括：沿入射光光线传播方向依次设置的第一滤光层、第二滤光层以及感光层；

所述第一滤光层包括交替设置的第一区域和第二区域，所述第一区域至少可以通过红外光和可见光，所述第二区域至少可以通过可见光，且所述第一区域和所述第二区域对红外光的过滤功能不同；

所述第二滤光层包括阵列设置的不同滤光单元；

所述感光层包括阵列设置的感光单元，所述感光单元、所述滤光单元以及所述第一区域对应设置，与所述第一区域对应的所述感光单元用于生成第一图像，所述感光单元、所述滤光单元以及所述第二区域对应设置，与所述第二区域对应的所述感光单元用于生成第二图像。

2.根据权利要求1所述的图像传感器，其特征在于，

所述滤光单元包括第一滤光单元和第二滤光单元，所述第一滤光单元包括第一红子滤光单元、第一蓝子滤光单元、第一绿子滤光单元，所述第二滤光单元包括第二红子滤光单元、第二蓝子滤光单元、第二绿子滤光单元；

所述感光单元包括第一感光单元和第二感光单元，所述第一感光单元包括第一红子感光单元、第一蓝子感光单元、第一绿子感光单元，所述第二感光单元包括第二红子感光单元、第二蓝子感光单元、第二绿子感光单元；

所述第一感光单元、所述第一滤光单元、所述第一区域在垂直于所述感光层所在平面的方向一一对应设置，用于生成彩色图像像素构成的所述第一图像；

所述第二感光单元、所述第二滤光单元、所述第二区域在垂直于所述感光层所在平面的方向一一对应设置，用于生成黑白图像像素构成的所述第二图像。

3.根据权利要求2所述的图像传感器，其特征在于，

所述第一滤光单元的所述第一红子滤光单元、第一蓝子滤光单元、第一绿子滤光单元和所述第二滤光单元的所述第二红子滤光单元、第二蓝子滤光单元、第二绿子滤光单元混合设置。

4.根据权利要求3所述的图像传感器，其特征在于，

所述第一滤光单元的第一绿子滤光单元数量为二，所述第一滤光单元的第一红子滤光单元、第一蓝子滤光单元数量均为一，所述第一滤光单元的四个子滤光单元矩形排列设置，其中所述第一红子滤光单元、第一蓝子滤光单元在所述矩形中对角设置；

所述第二滤光单元的各所述子滤光单元数量及排布与所述第一滤光单元相同，且所述第二滤光单元的两个所述子滤光单元位于所述第一滤光单元的两行所述子滤光单元之间，所述第一滤光单元的两个所述子滤光单元位于所述第二滤光单元的两行所述子滤光单元之间。

5.根据权利要求2所述的图像传感器，其特征在于，所述感光层还包括与所述感光单元连接的电荷存储区，所述电荷存储区用于存储所述第一感光单元用于生成所述第一图像的电荷和所述第二感光单元用于生成所述第二图像的电荷。

6.根据权利要求1所述的图像传感器，其特征在于，所述图像传感器还包括：位于所述入射光光线传播方向上的增光层，所述增光层用于将所述入射光增强后传输给所述第一滤光层。

7.一种摄像装置，其特征在于，包括：一个如权利要求1至6任意一项所述的图像传感器和与所述图像传感器耦接的图像处理器，所述图像处理器对所述图像传感器生成的第一图像和第二图像进行融合处理，以获得全彩图像。

8.根据权利要求7所述的摄像装置，其特征在于，所述图像处理器包括：图像提取单元和与所述图像提取单元耦接的图像融合单元，所述图像提取单元提取所述第一图像的色度信息和所述第二图像的亮度信息，并将提取结果发送给所述图像融合单元，所述图像融合单元根据所述提取结果将所述第一图像和所述第二图像进行融合并生成全彩图像。

9.一种图像处理方法，应用于如权利要求7或8所述的摄像装置，其特征在于，所述图像处理方法包括：

获取通过第一区域生成的第一图像，并提取所述第一图像的色度信息；

获取通过第二区域生成的第二图像，并提取所述第二图像的亮度信息；

根据所述亮度信息和所述色度信息将所述第一图像和所述第二图像进行融合处理，得到全彩图像。

Images