CN116647737B - 一种彩色成像组件及其图像处理方法 - Google Patents

Abstract

本发明公开了一种彩色成像组件及其图像处理方法，彩色成像组件包括分光组件，分光组件用于将经成像目标反射的可见光线和红外光线分离后分别传输至图像获取模块。图像获取模块包括可见光线处理单元和红外光线处理单元，可见光线处理单元和红外光线处理单元位于图像获取模块的同一区域；可见光线处理单元用于根据可见光线获取成像目标的彩色平面图像，红外光线处理单元用于根据红外光线获取成像目标的红外图像。如此，分光组件将反射的可见光线和红外光线进行分离，筛选出红外光线，然后将筛选的红外光线与可见光线汇合，共同入射至位于同一区域的可见光线处理单元和红外光线处理单元，提高了彩色平面图像和红外图像的配准精度。

Description

一种彩色成像组件及其图像处理方法

技术领域

本发明涉及摄像头技术领域，尤其涉及一种彩色成像组件及其图像处理方法。

背景技术

当前通过彩色立体装置进行三维彩色全景模型拍摄时，彩色摄像头和深度摄像头同时采集模型和图像，然后进行处理以生产三维彩色全景模型。但是现有技术中，彩色摄像头和深度摄像头都是独立的，因此在处理拍摄出的模型和图像时，模型和图像势必出现小量偏移难以完全对齐，且独立的彩色摄像头和深度摄像头在进行可见光照片与红外光照片互相配准时，配准精度也不够高，使得形成的三维彩色全景模型具有瑕疵。

发明内容

本发明实施例提供了一种彩色成像组件及其图像处理方法，以提高获取的彩色平面图像和红外图像的配准精度。

第一方面，本发明实施例提供了一种彩色成像组件，包括光线发射模块、光线接收模块和图像获取模块；

所述光线发射模块用于向成像目标发射红外光线；

所述光线接收模块包括分光组件，所述分光组件用于将经所述成像目标反射的可见光线和红外光线分离后分别传输至所述图像获取模块；

所述图像获取模块包括可见光线处理单元和红外光线处理单元，所述可见光线处理单元和所述红外光线处理单元位于所述图像获取模块的同一区域；所述可见光线处理单元用于根据所述可见光线获取所述成像目标的彩色平面图像；所述红外光线处理单元用于根据所述红外光线获取所述成像目标的红外图像。

进一步的，所述分光组件包括第一分光单元、第二分光单元和第三分光单元；

所述可见光线依次经所述第一分光单元透射以及所述第二分光单元透射后入射至所述图像获取模块；

所述红外光线依次经所述第一分光单元反射、所述第三分光单元反射以及所述第二分光单元反射后入射至所述图像获取模块；且经所述第二分光单元反射后所述红外光线的传播路径与经所述第二分光单元透射后的所述可见光线的传播路径不重合。

进一步的，所述第一分光单元包括第一等腰直角三棱镜和第一红外截止滤波片，所述第一等腰直角三棱镜包括第一直角边、第二直角边和第一斜边；所述第二分光单元包括第二等腰直角三棱镜和第二红外截止滤波片，所述第二等腰直角三棱镜包括第三直角边、第四直角边和第二斜边；所述第三分光单元包括第三等腰直角三棱镜，所述第三等腰直角三棱镜包括第五直角边、第六直角边和第三斜边；

所述第一红外截止滤波片设置于所述第一斜边表面；所述第二红外截止滤波片设置于所述第二斜边表面；

所述可见光线依次经所述第一直角边透射、所述第一红外截止滤波片透射、所述第二红外截止滤波片透射和所述第四直角边透射后入射至所述图像获取模块；

所述红外光线依次经所述第一直角边透射、所述第一红外截止滤波片反射、所述第二直角边透射、所述第五直角边全反射、所述第六直角边全反射、所述三直角边透射、所述第二红外截止滤波片反射以及所述第四直角边透射后入射至所述图像获取模块。

进一步的，所述第一等腰直角三棱镜和所述第二等腰直角三棱镜的折射率均小于1. 414；

所述第三等腰直角三棱镜的折射率大于1.414。

进一步的，所述第一分光单元包括第一等腰直角三棱镜和第一红外截止滤波片，所述第一等腰直角三棱镜包括第一直角边、第二直角边和第一斜边；所述第二分光单元包括第二等腰直角三棱镜和第二红外截止滤波片，所述第二等腰直角三棱镜包括第三直角边、第四直角边和第二斜边；所述第三分光单元包括第三等腰直角三棱镜、第三红外截止滤波片和第四红外截止滤波片，所述第三等腰直角三棱镜包括第五直角边、第六直角边和第三斜边；

所述第一红外截止滤波片设置于所述第一斜边表面；所述第二红外截止滤波片设置于所述第二斜边表面；所述第三红外截止滤波片设置于所述第五直角边表面；所述第四红外截止滤波片设置于所述第六直角边表面；

所述可见光线依次经所述第一直角边透射、所述第一红外截止滤波片透射、所述第二红外截止滤波片透射和所述第四直角边透射后入射至所述图像获取模块；

所述红外光线依次经所述第一直角边透射、所述第一红外截止滤波片反射、所述第二直角边透射、所述第三红外截止滤波片反射、所述第四红外截止滤波片反射、所述第三直角边透射、所述第二红外截止滤波片反射以及所述第四直角边透射后入射至所述图像获取模块。

进一步的，所述第一等腰直角三棱镜和所述第二等腰直角三棱镜相对设置，且所述第一等腰直角三棱镜和所述第二等腰直角三棱镜设置在所述第三斜边表面；所述第一斜边与所述第五直角边平行设置，所述第二斜边与所述第六直角边平行设置。

进一步的，所述分光组件还包括设置于所述第二直角边和所述第三斜边以及所述第三直角边与所述第三斜边之间的红外滤波片。

进一步的，所述红外滤波片包括930nm红外滤波片。

进一步的，所述930nm红外滤波片的厚度为232.5nm或者697.5nm。

进一步的，所述可见光线处理单元包括多个红色滤波子单元、多个蓝色滤波子单元和多个绿色滤波子单元；所述绿色滤波子单元的数量大于所述红色滤波子单元以及所述蓝色滤波子单元的数量；

所述红外光线处理单元包括多个红外滤波子单元；

所述红色滤波子单元、所述蓝色滤波子单元、所述绿色滤波子单元和所述红外滤波子单元阵列排布且间隔设置。

进一步的，所述彩色成像组件还包括第一光具组，所述第一光具组设置于所述成像目标与所述分光组件之间的光路中；

所述第一光具组包括沿物面侧至像面侧依次设置的第一透镜、第二透镜、第三透镜和第四透镜；

所述第一透镜的物面侧表面为非球面凸面，像侧面表面为平面；

所述第二透镜的物面侧表面为非球面凸面，像侧面表面为平面；

所述第三透镜的物面侧表面为非球面凸面，像侧面表面为平面；

所述第四透镜的物面侧表面为平面，像侧面表面为非球面凸面。

第二方面，本发明实施例还提供了一种彩色成像组件的图像处理方法，所述图像处理方法包括：

获取成像目标的红外图像和彩色平面图像；所述红外图像和所述彩色平面图像由第一方面任意所述的彩色成像组件输出；

根据所述红外图像生成所述成像目标的深度信息；

根据所述深度信息和所述彩色平面图像生成所述成像目标的彩色立体图像。

本发明实施中的彩色成像组件包括光线发射模块、光线接收模块和图像获取模块。光线发射模块用于向成像目标发射红外光线，光线接收模块包括分光组件，分光组件用于将经成像目标反射的可见光线和红外光线分离后分别传输至图像获取模块。图像获取模块包括可见光线处理单元和红外光线处理单元，可见光线处理单元和红外光线处理单元位于图像获取模块的同一区域，可见光线处理单元用于根据可见光线获取成像目标的彩色平面图像；红外光线处理单元用于根据红外光线获取成像目标的红外图像。如此，将可见光线处理单元和红外光线处理单元进行结合，使两者位于图像获取模块的同一区域，进而分光组件将反射的可见光线和红外光线进行分离，筛选出红外光线，然后将筛选的红外光线与可见光线汇合，共同入射至位于同一区域的可见光线处理单元和红外光线处理单元，既保证了红外光线成像的准确性，又能够对可见光线进行成像，同时提高了彩色平面图像和红外图像的配准精度。进一步地，彩色平面图像与红外图像配准精度的提高，有利于进一步提高基于彩色平面图像与红外图像生成的彩色立体图像的准确性。

附图说明

图1是本发明实施例提供的一种彩色成像组件的结构示意图；

图2是本发明实施例提供的一种分光组件的光路示意图；

图3是本发明实施例提供的一种关于折射定律的光路图；

图4是本发明实施例提供的另一种分光组件的光路示意图；

图5是本发明实施例提供的一种空气入射到光密介质的光程示意图；

图6是本发明实施例提供的一种图像获取模块的结构示意图；

图7是本发明实施例提供的一种三角测距法的比较示意图；

图8是本发明实施例提供的一种图像处理方法的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，以下将结合本发明实施例中的附图，通过具体实施方式，完整地描述本发明的技术方案。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例，基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动的前提下获得的所有其他实施例，均落入本发明的保护范围之内。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

图1是本发明实施例提供的一种彩色成像组件的结构示意图，参见图1，彩色成像组件包括光线发射模块10、光线接收模块20和图像获取模块30，光线发射模块10用于向成像目标发射红外光线。光线接收模块20包括分光组件210，分光组件210用于将经成像目标反射的可见光线和红外光线分离后分别传输至图像获取模块30。图像获取模块30包括可见光线处理单元310和红外光线处理单元320，可见光线处理单元310和红外光线处理单元320位于图像获取模块30的同一区域，可见光线处理单元310用于根据可见光线获取成像目标的彩色平面图像，红外光线处理单元320用于根据红外光线获取成像目标的红外图像。

具体的，如图1所示，彩色成像组件包括光线发射模块10、光线接收模块20和图像获取模块30。其中，光线发射模块10用于向成像目标发射红外光线，光线接收模块20和图像获取模块30位于可见光线和红外光线的光线传播路径上。具体的，光线接收模块20接收经成像目标反射的可见光线和红外光线，其中，成像目标反射的红外光线来源于光线发射模块10，成像目标反射的可见光线来源于环境光。光线接收模块20包括分光组件210，在光线接收模块20接收经成像目标反射的可见光线和红外光线之后，分光组件210筛选出经成像目标反射的红外光线，进而将经成像目标反射的红外光线和可见光线分离，之后经过不同的光线传播路径之后，使红外光线和可见光线汇合，共同入射至图像获取模块30。图像获取模块30包括可见光线处理单元310和红外光线处理单元320，可见光线处理单元310和红外光线处理单元320位于图像获取模块30的同一区域，进而在红外光线和可见光线汇合后，共同入射至图像获取模块30的同一区域，以使红外光线入射至同一区域内的红外光线处理单元320，可见光线入射至同一区域内的可见光线处理单元310。红外光线处理单元320接收到红外光线后，根据红外光线获取成像目标的红外图像。可见光线处理单元310接收到可见光线后，根据可见光线获取成像目标的彩色平面图像，进而图像获取模块30将成像目标的红外图像和彩色平面图像通过配准算法进行相互配准，获取成像目标的彩色3D图像。

现有技术中，通常采用独立的彩色摄像头和深度摄像头来分别获取成像目标的红外图像和彩色平面图像，一方面获取红外光线和可见光线时采用的是不同的镜头，因此在处理拍摄出的模型和图像时，模型和图像势必出现小量偏移难以完全对齐。另外，独立的彩色摄像头和深度摄像头分别通过位置不同的RGB芯片和飞行时间（Time of Flight，TOF）芯片来分别获取成像目标的可见光照片和红外光照片，如此，在进行可见光照片与红外光照片互相配准时，配准精度也不够高，使得形成的三维彩色全景模型具有瑕疵。

为此，本发明实施例通过光线接收模块20来同时接收经成像目标反射的可见光线和红外光线，并经过光线接收模块20中的分光组件210来筛选出经成像目标反射的红外光线，进而将经成像目标反射的红外光线和可见光线分离，之后经过不同的光线传播路径之后，使红外光线和可见光线汇合，共同入射至同一区域的可见光线处理单元310和红外光线处理单元320，即将可见光线处理单元310和红外光线处理单元320进行结合，既保证了红外光线成像的准确性，又能够对可见光线进行成像，同时提高了彩色平面图像和红外图像的配准精度。

需要说明的是，在通过红外光线处理单元320获取成像目标的红外图像后，可以通过处理模块获取红外光线处理单元320生成的红外图像，并对所获取的红外图像进行处理，得到成像目标的深度信息，之后处理模块获取可见光线处理单元310生成的彩色平面图像，将成像目标的深度信息和彩色平面图像融合，得到彩色立体图像，进而在获取到彩色立体图像后，可以通过旋转该彩色立体图像，观看到不同方向的效果图。其中，处理模块可以位于彩色成像组件中，也可以位于与彩色成像组件配套的其他组件中，本发明实施例不对此进行限制。

综上，本发明实施中的彩色成像组件包括光线发射模块、光线接收模块和图像获取模块。光线发射模块用于向成像目标发射红外光线，光线接收模块包括分光组件，分光组件用于将经成像目标反射的可见光线和红外光线分离后分别传输至图像获取模块。图像获取模块包括可见光线处理单元和红外光线处理单元，可见光线处理单元和红外光线处理单元位于图像获取模块的同一区域，可见光线处理单元用于根据可见光线获取成像目标的彩色平面图像；红外光线处理单元用于根据红外光线获取成像目标的红外图像。如此，将可见光线处理单元和红外光线处理单元进行结合，使两者位于图像获取模块的同一区域，进而分光组件将反射的可见光线和红外光线进行分离，筛选出红外光线，然后将筛选的红外光线与可见光线汇合，共同入射至位于同一区域的可见光线处理单元和红外光线处理单元，既保证了红外光线成像的准确性，又能够对可见光线进行成像，同时提高了彩色平面图像和红外图像的配准精度。

可选的，图2是本发明实施例提供的一种分光组件的光路示意图，如图1和图2所示，分光组件210包括第一分光单元211、第二分光单元212和第三分光单元213，可见光线依次经第一分光单元211透射以及第二分光单元212透射后入射至图像获取模块30；红外光线依次经第一分光单元211反射、第三分光单元213反射以及第二分光单元212反射后入射至所述图像获取模块30，且经第二分光单元212反射后红外光线的传播路径与经第二分光单元212透射后的可见光线的传播路径不重合。

如图1和图2所示，分光组件210包括第一分光单元211、第二分光单元212和第三分光单元213。其中，第一分光单元211和第二分光单元212用于透射可见光线，反射红外光线，第三分光单元用于筛选红外光线，并反射红外光线。具体的，第一分光单元211和第二分光单元212位于可见光线的传播路径上，光线接收模块20在接收到成像目标反射的可见光线后，可见光线入射至分光组件210，进而可见光线依次经第一分光单元211透射以及第二分光单元212透射后入射至图像获取模块30。同样的，第一分光单元211、第二分光单元212和第三分光单元213位于红外光线的传播路径上，光线接收模块20在接收到成像目标反射的红外光线后，红外光线入射至分光组件210，进而红外光线依次经第一分光单元211反射、第三分光单元213反射以及第二分光单元212反射后入射至所述图像获取模块30。即可见光线和红外光线在第一分光单元211处分离，以使可见光线透过第一分光单元211，红外光线在第一分光单元211处反射到第三分光单元213，第三分光单元213用于筛选出红外光线，并将红外光线反射到第二分光单元212，使得红外光线和可见光线在第二分光单元211处汇合，共同入射至图像获取模块30。其中，经第二分光单元212反射后红外光线的传播路径与经第二分光单元212透射后的可见光线的传播路径不重合，换句话说，红外光线和可见光线在第二分光单元211处汇合后，可以平行入射至图像获取模块30中，以使图像获取模块30中的可见光线处理单元310根据可见光线获取成像目标的彩色平面图像，红外光线处理单元320根据红外光线获取成像目标的红外图像，如此，通过第一分光单元211、第二分光单元212和第三分光单元213来将可见光线和红外光线分离，进而通过第三分光单元213筛选出红外光线，能够提高红外光线处理单元320获取成像目标的红外图像的精确度。

可选的，在上述实施例的基础上，继续参见图1和图2，第一分光单元211包括第一等腰直角三棱镜2111和第一红外截止滤波片2112，第一等腰直角三棱镜2111包括第一直角边2111a、第二直角边2111b和第一斜边2111c。第二分光单元212包括第二等腰直角三棱镜2121和第二红外截止滤波片2122，第二等腰直角三棱镜2121包括第三直角边2121a、第四直角边2121b和第二斜边2121c，第三分光单元213包括第三等腰直角三棱镜2131，第三等腰直角三棱镜2131包括第五直角边2131a、第六直角边2131b和第三斜边2131c。第一红外截止滤波片2112设置于第一斜边2111c表面，第二红外截止滤波片2122设置于第二斜边2121c表面。可见光线依次经第一直角边2111a透射、第一红外截止滤波片2112透射、第二红外截止滤波片2122透射和第四直角边2121b透射后入射至图像获取模块30。红外光线依次经第一直角边2111a透射、第一红外截止滤波片2112反射、第二直角边2111b透射、第五直角边2131a全反射、第六直角边2131b全反射、第三直角边2121a透射、第二红外截止滤波片2122反射以及第四直角边2121b透射后入射至图像获取模块。

具体的，第一等腰直角三棱镜2111包括第一直角边2111a、第二直角边2111b和第一斜边2111c，第一红外截止滤波片2112用于截止波长大于780nm以外的红外光线，允许可见光线通过，进而将第一红外截止滤波片2112设置在第一斜边2111c表面，使第一等腰直角三棱镜2111的第一斜边2111c用于反射红外光线，通过可见光线。第二等腰直角三棱镜2121包括第三直角边2121a、第四直角边2121b和第二斜边2121c，第二红外截止滤波片2122同样用于截止波长大于780nm以外的红外光线，允许可见光线通过，将第二红外截止滤波片2122设置在第二斜边2121c表面，使第二等腰直角三棱镜2121的第二斜边2121c用于反射红外光线，通过可见光线，第一斜边2111c和第二斜边2121c相对设置，即第一斜边2111c和第二斜边2121c呈90°夹角，进而可见光线在分光组件210中依次经过第一直角边2111a透射、第一红外截止滤波片2112（第一斜边2111c）透射、第二红外截止滤波片2122（第二斜边2121c）透射和第四直角边2121b透射后入射至图像获取模块30。

第三等腰直角三棱镜2131包括第五直角边2131a、第六直角边2131b和第三斜边2131c。其中，第三斜边2131c对应第二直角边2111b以及第三直角边2121a设置，即第三斜边2131c与第一斜边2111c呈45°夹角，与第二斜边2121c呈45°夹角。第三等腰直角三棱镜2131的第五直角边2131a和第六直角边2131b均用于全反射红外光线，第三斜边2131c用于透射红外光线，进而红外光线在分光组件210中依次经第一直角边2111a透射、第一红外截止滤波片2112（第一斜边2111c）反射、第二直角边2111b（第三斜边2131c）透射、第五直角边2131a全反射、第六直角边2131b全反射、第三直角边2121a（第三斜边2131c）透射、第二红外截止滤波片2122（第二斜边2121c）反射以及第四直角边2121b透射后入射至图像获取模块。进而通过三个等腰直角三棱镜不同边对可见光线和红外光线的透射情况不同，来将可见光线和红外光线分离，通过第一红外截止滤波片2112、第五直角边2131a和第六直角边2131b筛选出红外光线，能够提高红外光线处理单元320获取成像目标的红外图像的精确度。

可选的，图3是本发明实施例提供的一种关于折射定律的光路图，参见图2和图3，第一等腰直角三棱镜2111和第二等腰直角三棱镜2121的折射率均小于1. 414；第三等腰直角三棱镜2131的折射率大于1.414。

具体的，设空气的折射率为1，根据折射定律公式计算第三等腰直角三棱镜2131的折射率，以使第三等腰直角三棱镜2131发生全反射，折射定律公式包括：

其中，n₂为第三等腰直角三棱镜2131的折射率，α为光线折射角；β为光线入射角。具体的，如图3所示，当光从光密介质入射到空气中时，在临界面会发生折射。设空气的折射率为1，光密介质的折射率为n2。满足折射定律：

进而根据折射定律公式计算第三等腰直角三棱镜2131的折射率，同样的第一等腰直角三棱镜2111和第二等腰直角三棱镜2121不需要发生全反射，进而通过改变第一等腰直角三棱镜2111和第二等腰直角三棱镜2121的折射率，使得第一等腰直角三棱镜2111对可见光线波长在380nm～780nm范围内不会发生全反射，进而保证第一分光单元211、第二分光单元212以及第三分光单元213能够对可见光线和红外光线进行分离，之后再共同入射至图像获取模块。具体的，若分光组件210设置于空气中，即光从第三等腰直角三棱镜2131入射到空气中，其中，空气的折射率为1，当发生全反射时，α=π/2，则sinα=1，可得n₂=1/sinβ代入第三等腰直角三棱镜2131的入射角β=π/4，可得n₂约为1.414，即需要使第三等腰直角三棱镜2131的折射率大于1.414，可以使第三等腰直角三棱镜2131满足光线全反射条件。同样的，若要使第一等腰直角三棱镜2111和第二等腰直角三棱镜2121不发生全反射，则需要使第一等腰直角三棱镜2111和第二等腰直角三棱镜2121的折射率小于1.414，进而保证第一分光单元211、第二分光单元212以及第三分光单元213能够对可见光线和红外光线进行分离，之后再共同入射至图像获取模块。

在又一实施例中，可以不用改变第三等腰直角三棱镜2131的折射率来使第三等腰直角三棱镜2131实现全反射，而是通过在第三等腰直角三棱镜2131的第五直角边2131a和第六直角边2131b分别设置第三红外截止滤波片2133和第四红外截止滤波片2134，来实现对红外光线的全反射。

图4是本发明实施例提供的另一种分光组件的光路示意图，如图1和图4所示，第一分光单元211包括第一等腰直角三棱镜2111和第一红外截止滤波片2112，第一等腰直角三棱镜2111包括第一直角边2111a、第二直角边2111b和第一斜边2111c，第二分光单元212包括第二等腰直角三棱镜2121和第二红外截止滤波片2122，第二等腰直角三棱镜2121包括第三直角边2121a、第四直角边2121b和第二斜边2121c，第三分光单元213包括第三等腰直角三棱镜2131、第三红外截止滤波片2133和第四红外截止滤波片2134，第三等腰直角三棱镜2131包括第五直角边2131a、第六直角边2131b和第三斜边2131c。第一红外截止滤波片2112设置于第一斜边2111c表面，第二红外截止滤波片2122设置于第二斜边2121c表面，第三红外截止滤波片2133设置于第五直角边2131a表面，第四红外截止滤波片2134设置于第六直角边2131b表面。

可见光线依次经第一直角边2111a透射、第一红外截止滤波片2112透射、第二红外截止滤波片2122透射和第四直角边2121b透射后入射至图像获取模块30。红外光线依次经第一直角边2111a透射、第一红外截止滤波片2112反射、第二直角边2111b透射、第三红外截止滤波片2133反射、第四红外截止滤波片2134反射、第三直角边2121a透射、第二红外截止滤波片2122反射以及第四直角边2121b透射后入射至图像获取模块30。

具体的，第一等腰直角三棱镜2111包括第一直角边2111a、第二直角边2111b和第一斜边2111c，第一红外截止滤波片2112用于截止波长大于780nm以外的红外光线，允许可见光线通过，进而将第一红外截止滤波片2112设置在第一斜边2111c表面，使第一等腰直角三棱镜2111的第一斜边2111c用于反射红外光线，通过可见光线。第二等腰直角三棱镜2121包括第三直角边2121a、第四直角边2121b和第二斜边2121c，第二红外截止滤波片2122同样用于截止波长大于780nm以外的红外光线，允许可见光线通过，将第二红外截止滤波片2122设置在第二斜边2121c表面，使第二等腰直角三棱镜2121的第二斜边2121c用于反射红外光线，通过可见光线，第一斜边2111c和第二斜边2121c相对设置，即第一斜边2111c和第二斜边2121c呈90°夹角，进而可见光线在分光组件210中依次经过第一直角边2111a透射、第一红外截止滤波片2112（第一斜边2111c）透射、第二红外截止滤波片2122（第二斜边2121c）透射和第四直角边2121b透射后入射至图像获取模块30。

第三等腰直角三棱镜2131包括第五直角边2131a、第六直角边2131b和第三斜边2131c。其中，第三斜边2131c对应第二直角边2111b以及第三直角边2121a设置，即第三斜边2131c与第一斜边2111c呈45°夹角，与第二斜边2121c呈45°夹角。第三分光单元还包括第三红外截止滤波片2133和第四红外截止滤波片2134，第三红外截止滤波片2133和第四红外截止滤波片2134均用于截止波长大于780nm以外的红外光线。进而将第三红外截止滤波片2133设置于第五直角边2131a表面，第四红外截止滤波片2134设置于第六直角边2131b表面，通过第三红外截止滤波片2133和第四红外截止滤波片2134对红外光线进行全反射，第三斜边2131c用于透射红外光线，进而红外光线在分光组件210中依次经第一直角边2111a透射、第一红外截止滤波片2112反射、第二直角边2111b透射、第三红外截止滤波片2133反射、第四红外截止滤波片2134反射、第三直角边2121a透射、第二红外截止滤波片2122反射以及第四直角边2121b透射后入射至图像获取模块30。进而通过三个等腰直角三棱镜不同边对可见光线和红外光线的透射情况不同，来将可见光线和红外光线分离，通过第一红外截止滤波片2112、第三红外截止滤波片2133和第四红外截止滤波片2134筛选出红外光线，能够提高红外光线处理单元320获取成像目标的红外图像的精确度。

可选的，在上述实施例的基础上，继续参见图2或图4，第一等腰直角三棱镜2111和第二等腰直角三棱镜2121相对设置，且第一等腰直角三棱镜2111和第二等腰直角三棱镜2121设置在第三斜边2131c表面，第一斜边2111c与第五直角边2131a平行设置，第二斜边2121c与第六直角边2131b平行设置。

具体的，第一等腰直角三棱镜2111和第二等腰直角三棱镜2121相对设置，以使第一斜边2111c和第二斜边2121c形成“V”形结构，进而第一斜边2111c能够将红外光线筛选出来，并朝着与第一直角边2111a平行的方向，向下反射，同时由于第一斜边2111c与第五直角边2131a平行设置，第二斜边2121c与第六直角边2131b平行设置，进而由第一斜边2111c反射的红外光线，经第五直角边2131a反射后，沿与第三斜边2131c平行的方向，入射到第六直角边2131b，再由第六直角边2131b反射后，沿与第一直角边2111a平行的方向，向上入射到第二斜边2121c，最后由第二斜边2121c反射后，沿与第三斜边2131c平行的方向入射到图像获取模块30，如此通过将第一斜边2111c与第五直角边2131a平行设置，第二斜边2121c与第六直角边2131b平行设置，来保证平行入射的红外光线，平行出射到图像获取模块30，能够提高红外光线处理单元320获取成像目标的红外图像的精确度。

可选的，在上述实施例的基础上，继续参见图2或图4，分光组件210还包括设置于第二直角边2111b和第三斜边2131c以及第三直角边2121a与第三斜边2131c之间的红外滤波片2132。

具体的，在第一分光单元211与第三分光单元213之间以及第二分光单元212与第三分光单元213之间设置有红外滤波片2132，即红外滤波片2132位于第二直角边2111b和第三斜边2131c以及第三直角边2121a与第三斜边2131c之间。红外滤波片2132可以为红外增透膜，能够增加红外光线的透过率。可以理解的是，将红外滤波片2132设置在第二直角边2111b和第三斜边2131c之间，在红外光线通过第二直角边2111b和第三斜边2131c时，能够减少第二直角边2111b和第三斜边2131c表面反射的红外光线，使得红外光线能够尽可能多地传导至第三分光单元213内，提高红外光线的利用率，同样的红外滤波片2132还位于第三直角边2121a与第三斜边2131c之间，进而在红外光线出射至第二分光单元212时，同样提高红外光线的利用率，能够提高红外光线处理单元320获取成像目标的红外图像的精确度。

进一步的，红外滤波片2132包括930nm红外滤波片。930nm红外滤波片的厚度为232.5nm或者697.5nm。

具体的，图5是本发明实施例提供的一种空气入射到光密介质的光程示意图，如图5所示，S点到Q点和W点到Q点光程相同的，所以光程的主要差距在直线IW和折线IKS。进而；IK = KS =d/cosr；则光程差

根据，可得：/>。

代入可得光程差为，由于存在半波损失，可得干涉相长的公式为/>。其中，i为入射角，r为折射角，δ为光程差，n₁为空气的折射率，n₂为光密介质的折射率，d为光密介质的厚度，k为正整数系数，λ为波长。进而将λ=930nm代入干涉相长的公式可以得到，当红外滤波片的波长为930nm时，红外滤波片的厚度为h =δ/2，通过程序编写可以计算得到多个对应的厚度。由于在实际镀膜工艺中，一般膜层厚度在300nm左右，进而可以选择930nm红外滤波片的厚度为232.5nm和697.5nm，进而根据红外滤波片的波长选择合适的厚度，以使红外滤波片增加对应波长的透过率，提高了红外光线处理单元获取成像目标的红外图像的精确度。

可选的，图6是本发明实施例提供的一种图像获取模块的结构示意图，参见图6，可见光线处理单元310包括多个红色滤波子单元R、多个蓝色滤波子单元B和多个绿色滤波子单元G；绿色滤波子单元G的数量大于红色滤波子单元R以及蓝色滤波子单元G的数量。红外光线处理单元320包括多个红外滤波子单元N，红色滤波子单元R、蓝色滤波子单元B、绿色滤波子单元G和红外滤波子单元N阵列排布且间隔设置。

具体的，可见光线处理单元310和红外光线处理单元320设置在同一区域，可见光线处理单元310包括多个红色滤波子单元R、多个蓝色滤波子单元B和多个绿色滤波子单元G，由于人眼对绿色最为敏感，进而可以设置绿色滤波子单元G的数量是红色滤波子单元R的数量和蓝色滤波子单元B的数量之和的两倍，进而通过多个红色滤波子单元R、多个蓝色滤波子单元B和多个绿色滤波子单元G来识别可见光线，获取成像目标的彩色平面图像。红外光线处理单元320包括多个红外滤波子单元N，进而通过多个红外滤波子单元N来识别红外光线，获取成像目标的红外图像。其中，红色滤波子单元R、蓝色滤波子单元B、绿色滤波子单元G和红外滤波子单元N阵列排布且间隔设置，即两个绿色滤波子单元G、一个红色滤波子单元R以及一个红外滤波子单元N组成一个最小重复单元，或者两个绿色滤波子单元G、一个蓝色滤波子单元B以及一个红外滤波子单元N组成一个最小重复单元，多个最小重复单元阵列排布，以使图像获取模块30即保证了红外光线成像的准确性，又能够对可见光线进行成像，同时提高了彩色平面图像和红外图像的配准精度。

需要说明的是，在筛选出红外光线并获取红外图像后，处理模块可以通过三角测距法来得到成像目标的深度信息。图7是本发明实施例提供的一种三角测距法的比较示意图，如图7所示，利用拍摄到的实际图像和参考图像进行对比，计算得到红外图像的深度信息。由图7可知，坐标 O(0，0)，A(b，0)，设OE=x₀，则C(x_0，z₀)。由，可得：，即/>，而可以得到/>，可以得到M点坐标为/>，设直线OM点函数式为y=κx，将M点坐标代入，可得/>，即/>；令y=z₀代入，可以得到/>；进一步可以得到T点坐标为。

由，可得/>，代入得：

经过化简可以得到，其中为红外光线的实际图像中每个光斑的深度信息；Z₀为参考图像与彩色成像组件的距离；b为所述光线发射模块的中心线与所述图像获取模块的中心线之间的距离；f为有效焦距；L为同一红外光在拍摄实际图像时的红外滤波子单元的位置与拍摄参考图像时的红外滤波子单元位置间的像素值。进通过计算拍摄实际图像时的红外滤波子单元的位置与拍摄参考图像时的红外滤波子单元位置间的像素值，从而可以计算出每个光斑实际的深度，得到成像目标的深度信息。

可选的，在上述实施例的基础上，继续参见图1，光线接收模块20还包括第一光具组220，第一光具组220设置于成像目标与分光组件210之间的光路中，第一光具组220包括沿物面侧至像面侧依次设置的第一透镜221、第二透镜222、第三透镜223和第四透镜224，第一透镜221的物面侧表面为非球面凸面，像侧面表面为平面，第二透镜222的物面侧表面为非球面凸面，像侧面表面为平面，第三透镜223的物面侧表面为非球面凸面，像侧面表面为平面，第四透镜224的物面侧表面为平面，像侧面表面为非球面凸面。

具体的，光线接收模块20还包括第一光具组220，第一光具组220设置于成像目标与分光组件210之间的光路中，进而通过第一光具组220来接收成像目标反射的可见光线和红外光线。第一光具组220包括沿物面侧至像面侧依次设置的第一透镜221、第二透镜222、第三透镜223和第四透镜224，即沿成像目标指向分光组件210的方向，第一光具组220依次包括第一透镜221、第二透镜222、第三透镜223和第四透镜224，其中，第一透镜221的物面侧表面为非球面凸面，像侧面表面为平面，第二透镜222的物面侧表面为非球面凸面，像侧面表面为平面，第三透镜223的物面侧表面为非球面凸面，像侧面表面为平面，第四透镜224的物面侧表面为平面，像侧面表面为非球面凸面物面侧表面可以理解为透镜朝向物面侧的表面，相面侧可以理解为透镜朝向像面侧的表面，进而通过设置第一光具组220对可见光线和红外光线进行准直，减小像差，提高成像质量。

可选的，继续参见图1，光线发射模块10包括点阵激光阵列110、第二光具组120和衍射光学元件130，第二光具组120位于点阵激光阵列110和衍射光学元件130之间的光路中，点阵激光阵列110用于发射红外光线，第二光具组120用于对红外光线进行准直，衍射光学元件130用于对红外光线进行衍射形成多束红外光线束。

具体的，光线发射模块10包括点阵激光阵列110、第二光具组120和衍射光学元件130，第二光具组120位于点阵激光阵列110和衍射光学元件130之间的光路中。其中，点阵激光阵列110用于发射阵列排布的红外光线，第二光具组120包括第五透镜121、第六透镜122和第七透镜123，沿衍射光学元件130指向点阵激光阵列110的方向，第五透镜121、第六透镜122和第七透镜123依次排列，由于点阵激光阵列110发射的红外光线的发散角较大，进而需要通过第二光具组120对红外光线进行束腰准直，使经过第二光具组120的光束近似于平行光。衍射光学元件130用于对红外光线进行衍射形成多束红外光线束，例如，可以将点阵激光阵列110发射的红外光线进行衍射成5*13等份的红外光线束，提高红外光线的数量，进而有利于成像目标的红外图像的识别。

基于相同的发明构思，本发明实施例还提供一种彩色成像组件的图像处理方法，应用于上述的彩色成像组件。图8是本发明实施例提供的一种图像处理方法的流程图，参见图8，该图像处理方法包括：

S110、获取成像目标的红外图像和彩色平面图像。

具体的，彩色成像组件包括光线发射模块、光线接收模块和图像获取模块。其中，光线接收模块包括分光组件，在光线接收模块接收经成像目标反射的可见光线和红外光线之后，分光组件筛选出经成像目标反射的红外光线，进而将经成像目标反射的红外光线和可见光线分离，之后经过不同的光线传播路径之后，使红外光线和可见光线汇合，共同入射至图像获取模块。图像获取模块包括可见光线处理单元和红外光线处理单元，可见光线处理单元和红外光线处理单元位于图像获取模块的同一区域，进而在红外光线和可见光线汇合后，共同入射至图像获取模块的同一区域，以使红外光线入射至同一区域内的红外光线处理单元，红外光线处理单元接收到红外光线后，根据红外光线获取成像目标的红外图像。可见光线处理单元接收到可见光线后，根据可见光线生成成像目标的彩色平面图像，进而处理模块获取成像目标的彩色平面图像。

S120、根据红外图像生成所述成像目标的深度信息。

在红外光线处理单元根据红外光线生成成像目标的红外图像后，处理模块获取成像目标的红外图像，并对红外图像进行处理，生成成像目标的深度信息，例如处理模块中设置有三角测距法的算法，在得到成像目标的红外图像后，利用拍摄到的实际图像和参考图像进行对比，计算得到红外图像的深度信息。其中，处理模块可以位于彩色成像组件中，也可以位于与彩色成像组件配套的其他组件中，本发明实施例不对此进行限制。

S130、根据深度信息和彩色平面图像生成成像目标的彩色立体图像。

具体的，处理模块在获取到成像目标的深度信息和彩色平面图像后，将深度信息和彩色平面图像信息进行融合，生成彩色立体图像。其中，彩色立体图像相当于成像目标的三维彩色模型，即用户可以通过旋转该三维彩色模型，来获取成像目标在不同方向的图像信息，且由于可见光线处理单元和红外光线处理单元位于图像获取模块的同一区域，即最后的筛选的红外光线与可见光线汇合，共同入射至位于同一区域的可见光线处理单元和红外光线处理单元，提高了彩色平面图像和红外图像的配准精度，保证获取的彩色立体图像更加贴近成像目标，提升了用户的使用体验感。

综上，本发明实施例提供的图像处理方法包括获取成像目标的红外图像，并根据红外图像生成成像目标的深度信息，获取成像目标的彩色平面图像，根据深度信息和彩色平面图像生成成像目标的彩色立体图像，其中处理模块获取的红外图像和彩色平面图像分别来自处于图像获取模块中同一区域的可见光线处理单元和红外光线处理单元，进而通过分光组件筛选的红外光线与可见光线汇合，共同入射至位于同一区域的可见光线处理单元和红外光线处理单元，提高了彩色平面图像和红外图像的配准精度，保证获取的彩色立体图像更加贴近成像目标，提升了用户的使用体验感。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种彩色成像组件，其特征在于，包括光线发射模块、光线接收模块和图像获取模块；

所述光线发射模块用于向成像目标发射红外光线；

所述光线接收模块包括分光组件，所述分光组件用于将经所述成像目标反射的可见光线和红外光线分离后分别传输至所述图像获取模块；

所述图像获取模块包括可见光线处理单元和红外光线处理单元，所述可见光线处理单元和所述红外光线处理单元位于所述图像获取模块的同一区域；所述可见光线处理单元用于根据所述可见光线获取所述成像目标的彩色平面图像；所述红外光线处理单元用于根据所述红外光线获取所述成像目标的红外图像，其中，通过对所述红外图像处理后得到所述成像目标的深度信息；

所述分光组件包括第一分光单元、第二分光单元和第三分光单元；

所述可见光线依次经所述第一分光单元透射以及所述第二分光单元透射后入射至所述图像获取模块；

所述红外光线依次经所述第一分光单元反射、所述第三分光单元反射以及所述第二分光单元反射后入射至所述图像获取模块；且经所述第二分光单元反射后所述红外光线的传播路径与经所述第二分光单元透射后的所述可见光线的传播路径不重合；

所述可见光线处理单元包括多个红色滤波子单元、多个蓝色滤波子单元和多个绿色滤波子单元；所述绿色滤波子单元的数量大于所述红色滤波子单元以及所述蓝色滤波子单元的数量；

所述红外光线处理单元包括多个红外滤波子单元；

所述红色滤波子单元、所述蓝色滤波子单元、所述绿色滤波子单元和所述红外滤波子单元阵列排布且间隔设置。

2.根据权利要求1所述的彩色成像组件，其特征在于，所述第一分光单元包括第一等腰直角三棱镜和第一红外截止滤波片，所述第一等腰直角三棱镜包括第一直角边、第二直角边和第一斜边；所述第二分光单元包括第二等腰直角三棱镜和第二红外截止滤波片，所述第二等腰直角三棱镜包括第三直角边、第四直角边和第二斜边；所述第三分光单元包括第三等腰直角三棱镜，所述第三等腰直角三棱镜包括第五直角边、第六直角边和第三斜边；

所述第一红外截止滤波片设置于所述第一斜边表面；所述第二红外截止滤波片设置于所述第二斜边表面；

所述可见光线依次经所述第一直角边透射、所述第一红外截止滤波片透射、所述第二红外截止滤波片透射和所述第四直角边透射后入射至所述图像获取模块；

所述红外光线依次经所述第一直角边透射、所述第一红外截止滤波片反射、所述第二直角边透射、所述第五直角边全反射、所述第六直角边全反射、所述第三直角边透射、所述第二红外截止滤波片反射以及所述第四直角边透射后入射至所述图像获取模块。

3.根据权利要求2所述的彩色成像组件，其特征在于，所述第一等腰直角三棱镜和所述第二等腰直角三棱镜的折射率均小于1. 414；

所述第三等腰直角三棱镜的折射率大于1.414。

4.根据权利要求1所述的彩色成像组件，其特征在于，所述第一分光单元包括第一等腰直角三棱镜和第一红外截止滤波片，所述第一等腰直角三棱镜包括第一直角边、第二直角边和第一斜边；所述第二分光单元包括第二等腰直角三棱镜和第二红外截止滤波片，所述第二等腰直角三棱镜包括第三直角边、第四直角边和第二斜边；所述第三分光单元包括第三等腰直角三棱镜、第三红外截止滤波片和第四红外截止滤波片，所述第三等腰直角三棱镜包括第五直角边、第六直角边和第三斜边；

所述第一红外截止滤波片设置于所述第一斜边表面；所述第二红外截止滤波片设置于所述第二斜边表面；所述第三红外截止滤波片设置于所述第五直角边表面；所述第四红外截止滤波片设置于所述第六直角边表面；

所述可见光线依次经所述第一直角边透射、所述第一红外截止滤波片透射、所述第二红外截止滤波片透射和所述第四直角边透射后入射至所述图像获取模块；

所述红外光线依次经所述第一直角边透射、所述第一红外截止滤波片反射、所述第二直角边透射、所述第三红外截止滤波片反射、所述第四红外截止滤波片反射、所述第三直角边透射、所述第二红外截止滤波片反射以及所述第四直角边透射后入射至所述图像获取模块。

5.根据权利要求2或者4所述的彩色成像组件，其特征在于，所述第一等腰直角三棱镜和所述第二等腰直角三棱镜相对设置，且所述第一等腰直角三棱镜和所述第二等腰直角三棱镜设置在所述第三斜边表面；所述第一斜边与所述第五直角边平行设置，所述第二斜边与所述第六直角边平行设置。

6.根据权利要求2或者4所述的彩色成像组件，其特征在于，所述分光组件还包括设置于所述第二直角边和所述第三斜边之间以及所述第三直角边与所述第三斜边之间的红外滤波片。

7.根据权利要求6所述的彩色成像组件，其特征在于，所述红外滤波片包括930nm红外滤波片。

8.根据权利要求7所述的彩色成像组件，其特征在于，所述930nm红外滤波片的厚度为232.5nm或者697.5nm。

9.根据权利要求1所述的彩色成像组件，其特征在于，所述光线接收模块还包括第一光具组，所述第一光具组设置于所述成像目标与所述分光组件之间的光路中；

所述第一光具组包括沿物面侧至像面侧依次设置的第一透镜、第二透镜、第三透镜和第四透镜；

所述第一透镜的物面侧表面为非球面凸面，像侧面表面为平面；

所述第二透镜的物面侧表面为非球面凸面，像侧面表面为平面；

所述第三透镜的物面侧表面为非球面凸面，像侧面表面为平面；

所述第四透镜的物面侧表面为平面，像侧面表面为非球面凸面。

10.一种彩色成像组件的图像处理方法，其特征在于，所述图像处理方法包括：

获取成像目标的红外图像和彩色平面图像；所述红外图像和所述彩色平面图像由权利要求1-9任一项所述的彩色成像组件输出；

根据所述红外图像生成所述成像目标的深度信息；

根据所述深度信息和所述彩色平面图像生成所述成像目标的彩色立体图像。