CN114051087A - 一种多传感器相机 - Google Patents

Abstract

本发明公开了一种多传感器相机，该相机包括透进光线的进光口和设在所述进光口处的相机透镜组，还包括多个分光镜、多个图像传感器和处理器；所述相机透镜组包括第一透镜组，多个所述分光镜用于将所述第一透镜组调整焦距后的光线分成多条光通路；所述图像传感器与所述分光镜对应设置，且每个所述图像传感器与所述第一透镜组之间距离不同，每个所述图像传感器接收其中一条光通路，生成对应的图像数据；所述处理器用于将所述图像数据转为图层，并同步对齐，以实现距离图层的采集。采用全新方法采集多距离图层，在计算物体具体距离信息前已对物体按距离作出初步区分，降低后续物体识别的计算量。

Description

一种多传感器相机

技术领域

本发明涉及一种成像光学***像质分析的技术领域，具体为一种多传感器相机。

背景技术

目前，自动驾驶车辆所需要的感知信息中，距离感知尤为重要，当前主流的感知方案中，均包括了距离感知信息，现有技术中，自动驾驶中获取距离的途径有：激光雷达，其效果准确，分辨率高，但成本高，雷达间容易相互干扰，检测距离较短，频率低；毫米波雷达，检测准确，成本较低，穿透力强，但是分辨率低，雷达间容易相互干扰；单目相机，成本低，计算简单，但是准确度很低；双目相机，成本低，距离准确，但是传统的算法复杂，若用AI算力成本较高；TOF相机，频率高，计算精度高，但是测量距离短，其成本较高。

在上述感知方式中，包含通过获取距离图层的方式来计算出实际物体距离信息，但是，当前获取距离图层的方式复杂，难以平衡成本、分析率与准确度。

发明内容

为了克服现有技术存在的缺点与不足，本发明公开一种多传感器相机，能够采用全新方法采集多距离图层，在计算物体具体距离信息前已对物体按距离作出初步区分，降低后续物体识别的计算量。该相机包括透进光线的进光口和设在所述进光口处的相机透镜组，还包括多个分光镜、多个图像传感器和处理器；

所述相机透镜组包括第一透镜组，多个所述分光镜用于将所述第一透镜组调整焦距后的光线分成多条光通路；

所述图像传感器与所述分光镜对应设置，且每个所述图像传感器与所述第一透镜组之间距离不同，每个所述图像传感器接收其中一条光通路，生成对应的图像数据；

所述处理器用于将所述图像数据转为图层，并同步对齐，以实现距离图层的采集。

进一步地，所述分光镜包括第一分光镜，所述第一分光镜将所述光线分成两条分别朝向所述图像传感器和下一个所述分光镜的光通路。

进一步地，所述分光镜还包括第二分光镜，被设置为将所述光线分成两条光通路，两条光通路分别朝向不同方向的所述图像传感器。

进一步地，所述分光镜还包括第三分光镜，所述第三分光镜将所述光线分成两条光通路，两条光通路分别朝向不同方向的两个所述分光镜。

进一步地，所述分光镜为多棱镜，所述多棱镜将所述光线分成多条光通路，每一条光通路朝向所述图像传感器。

进一步地，所述第一透镜组包括至少一个，所述第一透镜组均设在所述进光口处，所述分光镜将所述第一透镜组调整焦距后的光线分成光通路。

进一步地，所述相机透镜组还包括至少一个第二透镜组，所述第二透镜组安装在所述分光镜与所述分光镜之间。

进一步地，所述相机透镜组还包括至少一个第三透镜组，所述第三透镜组安装在所述分光镜与所述图像传感器之间。

进一步地，所述第三透镜组设有多个，多个所述第三透镜组之间的规格不同，同一光线分别透过多个所述第三透镜组的焦距不同。

进一步地，多个所述第三透镜组中至少有一个所述第三透镜组连接有电机，用于调节所述第三透镜组的位置和角度。

实施本发明，具有如下有益效果：

1.采用全新方法采集多距离图层，在计算物体具体距离信息前已对物体按距离作出初步区分，降低后续物体识别的计算量；同时多传感器共用一个进光口，所有图像传感器光线输入源一致，降低了传感器校准的难度与工作量；相对常见技术的激光雷达，本申请的采集多图层的方式成本低，功耗低，相对于传统的双目测距，算力要求更低，相对于毫米波雷达，具有更高的分辨率，能够满足成本、分辨率与准确度的平衡。

2.应用场景灵活，可以在不影响主画面的情况下，使用可调透镜方式，对被测物体精确聚焦，实现更加精确的距离估计与追踪。

3.通过在分光镜之间增加不同规格的第二透镜组和第三透镜组，被测物体在不同图像传感器上成像清晰度不同，在相机内部有限的空间里，图像传感器输出的图像数据更加准确，处理器采集的距离图层更加精确。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明实施例提供的多传感器相机结构框图；

图2为本发明实施例提供的等效成像示意图；

图3为本发明实施例提供的多传感器图层效果示意图；

图4为本发明第二个实施例提供的分光镜组合示意图；

图5为本发明第三个实施例提供的多棱镜分光示意图；

图6为本发明第四个实施例提供的透镜组的组合示意图；

需要说明的是，图中虚线箭头代表光路径，实线箭头代表数据路径；

其中，图中附图标记对应为：1-进光口；2-相机透镜组；21-第一透镜组；22-第二透镜组；23-第三透镜组；3-分光镜；31-第一分光镜；32-第二分光镜；33-第三分光镜；4-图像传感器；41-第一图像传感器；42-第二图像传感器；43-第三图像传感器；5-处理器；6-电机。

具体实施方式

为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

实施例1

本实施例中，本发明所要解决的技术问题在于采用全新方法采集多距离图层，在计算物体具体距离信息前已对物体按距离作出初步区分，降低后续物体识别的计算量。如图1与图6所示，该多传感器相机包括进光口1、相机透镜组2、多个分光镜3、多个图像传感器4和处理器5；

进光口1用于透进光线；相机透镜组2包括设在进光口1处的第一透镜组21，第一透镜组21用于调节透镜光线的焦距；

多个分光镜3用于将第一透镜组21调整焦距后的光线分成多条光通路；

多个图像传感器4与多个分光镜3对应设置且分别与第一透镜组21之间距离不同，由于不同物体与测试点的距离不同，设置与第一透镜组21不同距离的多个图像传感器4，将多个图像传感器4作为成像平面，与测试点不同距离的被测物体，在与第一透镜组21距离不同的图像传感器4上的成像清晰程度不同，如图2-3所示，当物体成像平面(图像传感器4)与焦平面重合时，成像最清晰，成像平面与焦平面距离较远时，被测物体的在成像平面上成像不集中，呈弥散状，即成像不清晰，如图2所示，正方形在第一图像传感器41成像清晰，可通过第一距离(第一图像传感器41与第一透镜组21的距离)计算出正方形离测试点的距离信息；圆形在第二图像传感器42的成像最清晰，可通过第二距离(第二图像传感器42与第一透镜组21的距离)计算出圆形离测试点的距离信息；三角形在第三图像传感器43的成像最清晰，可通过第三距离(第三图像传感器43与第一透镜组21的距离)计算出三角形离测试点的距离信息，对应地如图3所示的图层效果示意图，第一图像传感器41中成像最清晰的是正方形。第二图像传感器42中成像最清晰的是圆形，第三图像传感器中成像最清晰的是三角形，因此，多个图像传感器4接收多条光通路，生成对应的图像数据，图像数据可以是图像在图像传感器4上的成像清晰度，也可以是成像清晰度最高的的图像传感器4与透镜组的距离。

处理器5用于将图像数据转为图层，并同步对齐，实现距离图层的采集，等同于将多个被测物体成像最清晰的多个图层采集到一个图层中，后续可根据采集后的图层计算出各个被测物体与测试点的实际距离信息。本申请采用全新的方法采集多距离图层，在计算物体具体距离信息前已对物体按距离作出初步区分，降低后续物体识别的计算量；同时多传感器共用一个进光口，所有图像传感器4的光线输入源一致，大大降低了传感器校准难度与工作量；并且相对常见技术的激光雷达，本申请的采集多图层的方式成本低，功耗低，相对于传统的双目测距，算力要求更低，相对于毫米波雷达，具有更高的分辨率，能够满足成本、分辨率与准确度的平衡。

更进一步地，如图1所示，该相机还设有多个分光镜3，多个图像传感器4与多个分光镜3分别对应设置，使图像传感器4能够接收到被分光镜3分开的一条光通路,分光镜3包括第一分光镜31和第二分光镜32，在本申请中,一个分光镜3将光线分成两条光通路，其中一条光通路朝向下一个分光镜3，另一条朝向图像传感器4，将这样的分光镜3定义为第一分光镜31；一个分光镜3将光线分成两条光通路，两条光通路分别朝向两个不同方向的图像传感器4，将这样的分光镜定义为第二分光镜32；其中第一分光镜31可以一边将光通路射向图像传感器4进行成像，一边继续传递光通路，并且继续在图像传感器4成像，使得多个图像传感器4与透镜组2的距离不同，达到每个图像传感器4的成像具有差异的效果；第二分光镜32分别朝向不同方向的图像传感器4，达到每条光通路都能成像的效果。

具体地，光线经第一透镜组22聚焦后射入第一分光镜31，将光线分成两条不同方向的光通路，其中一条光通路朝向图像传感器4，另一条光通路作为入射光射向下一个第一分光镜31，该多传感器相机仅含有一个透镜组2，并设在进光口1第一分光镜31并排分布，进入到下一个第一分光镜31的入射光，再次被分成两条光通路，一条光通路朝向图像传感器4，另一条光通传递至下一个第一分光镜31，直至传递至最后一个分光镜3，最后一个分光镜3为第二分光镜32，第二分光镜32不同方向对应设置有两个图像传感器4，第二分光镜32将入射光分成两个光通路，两个光通路分别朝向两个不同方向的图像传感器4，处理器5将各个图像传感器4传递的图像信息整合为一个图层，可利用该图层计算出各个被测物体距离测试点的具体距离信息。

实施例2

该多传感器相机仅含有一个第一透镜组21，并设在进光口处1，多个分光镜3还包括多个第三分光镜33，第三分光镜33与第一分光镜31和第二分光镜32的区别在于，第三分光镜33发出的两条光通路不射向图像传感器4进行成像，而是继续射向分光镜3，对比实施例1，在有限的空间内，尽可能的多设置分光镜3，一步步地将光线分成多条光通路，多条光通路最终射向多个图像传感器4，达到被测物体精确聚焦，实现更加精确的距离估计与追踪的效果。

具体地，如图4所示第三分光镜33分出的两条光通路分别通向两条方向不同的分光镜3，多个分光镜3呈树枝状分布，如图4所示，经第一透镜组21调整焦距后的光线经第三分光镜33分成两条光通路，其中一条光通路通作为入射光射向第二分光镜32，另一条光通路作为入射光射入下一个第三分光镜33，下一个第三分光镜33将入射光分成两条光通路，两条光通路分别通向不同方向的两个分光镜3，其中第一个分光镜3为第一分光镜31，将入射光分成的两条光通路中的一条光通路根据实施例1中按照并排分布，依次对应第一分光镜31并排设置多个第一分光镜31，每个第一分光镜31分出的另一条光通路分别对应连通多个图像传感器4，在多个并排设置的第一分光镜31的最后，还对应设置一个第二分光镜32，第二分光镜32将入射光分成的两条光通路分别通向两个不同方向的图像传感器4；另一个分光镜3可以为第三分光镜33，分出的两条光通路可以继续通向第三分光镜33，也可以通向第一分光镜31，因此可以得出，第一分光镜31、第二分光镜32和第三分光镜33可以根据需求任意排列，但是，每条光通路的终点均朝向图像传感器4，处理器5采集多个图像传感器4的图像数据，合成一个距离图层，根据距离图层可计算出各个被测物体距离测试点的具体距离信息。

实施例3

如图5所示，分光镜3为多棱镜，可将入射光分为多条光通路，该多传感器相机仅含有一个第一透镜组21，并设在进光口处1，多棱镜的排列方式可根据实施例1与实施例2排布，将多棱镜并排分布，将入射光分成多条光通路，其中一条光通路作为入射光设入下一个多棱镜，其他的光通路可朝向图像传感器4进行成像，也可将其他的光通路继续作为入射光射入下一个多棱镜，最终光通路均朝向不同方向的1图像传感器4；另外，可以根据需求将部分分光镜3设为多棱镜将入射光分成多条光通路，其他部分的分光镜3还是设置成两路分光的分光镜3；也可将多棱镜与分光镜3按照实施例2的树枝状分布，将第一分光镜31、第二分光镜32和第三分光镜33按需求组合排列；另外，入射光分为多条光通路，一般是等幅度分光，但可以根据实际需求非等幅度分光，例如，为了保证最后一个分光镜3的射光强度，可以增加上一个分光镜3的输出光通路强度，或者增加第一个分光镜3的输出光通路强度。

实施例4

如图6所示，将相机透镜组2包括至少一个第一透镜组21、至少一个第二透镜22和至少一个第三透镜组23，第一透镜组21设在进光口1处，用于调节进光口1的光线的焦距；多个第二透镜组22设在两个分光镜3之间，用于调节光通路的焦距；第三透镜组23设在分光镜3与图像传感器4之间，可以调节光通路的焦距，由于图像传感线的成像清晰度跟图像传感器与第一透镜组21的距离有关，若两个图像传感器4与第一透镜组21的距离相同，那么两条同样的光通路在两个图像传感器4上的成像清晰度就相同，由于相机内部空间有限，那么很容易将多个图像传感器4与第一透镜组21的距离设置相同，这样会导致多条光通路在图像传感器4的成像相同，难以选出成像最清晰的一个，因此作为优化的，在分布分光镜3的同时，将第二透镜组22和第三透镜组23穿插其中，并且作为优化的，多个第二透镜组22之间的规格不同，多个第三透镜组23之间的规格也不同，使得同样的光通路经过不同的透镜组2调整焦距后，在距离相等的图像传感4上的成像清晰度不同，处理器5采集最清晰的一个成像，在缩小相机内部结构的同时，还能精确聚焦。

在成本可接收的情况下，可以在每个图像传感器4前放置不同焦距的第二透镜组22或第三透镜组23，通过改变镜片聚焦的方式，实现不同距离的成像方式，可在一定程度上降低相机尺寸，增加灵活程度；另外第一透镜组21的位置固定设在进光口1处，第二透镜组22和第三透镜组23可根据需求设在任意位置，并且，第二透镜组22和第三透镜组23也可以连接电机6，用于调整第二透镜组22和第三透镜组23的位置或者角度，改变第二透镜组22和第三透镜组23的像距或焦距，对被测物体更加精确的聚焦。

进一步地，处理器5将图像传感器4输出的图像数据同步对齐，然后直接输出，由外部接收设备处理；也可在处理器5内对图像内的物体进行距离计算，将不同距离的物体分图层析出；另外处理器5包括CPU、FPGA芯片、DSP芯片和ISP芯片等，或者其他的具有图像接收或处理能力的芯片。

需要说明的是，本申请的4个实施例可以相互组合实施，凡是通过多个图像传感器来接收分光镜分出的光通路，生成多个图像数据并传输至处理器以采集距离图层的技术方案，均落入本身请的保护范围之内。

实施本实施例，具有如下效果：

1.采用全新方法采集多距离图层，在计算物体具体距离信息前已对物体按距离作出初步区分，降低后续物体识别的计算量；同时多传感器共用一个进光口，所有图像传感器光线输入源一致，降低了传感器校准的难度与工作量；相对常见技术的激光雷达，本申请的采集多图层的方式成本低，功耗低，相对于传统的双目测距，算力要求更低，相对于毫米波雷达，具有更高的分辨率，能够满足成本、分辨率与准确度的平衡。

2.应用场景灵活，可以在不影响主画面的情况下，使用可调透镜方式，对被测物体精确聚焦，实现更加精确的距离估计与追踪。

3.通过在分光镜之间增加不同规格的第二透镜组和第三透镜组，被测物体在不同图像传感器上成像清晰度不同，在相机内部有限的空间里，图像传感器输出的图像数据更加准确，处理器采集的距离图层更加精确。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

上述说明已经充分揭露了本发明的具体实施方式。需要指出的是，熟悉该领域的技术人员对本发明的具体实施方式所做的任何改动均不脱离本发明的权利要求书的范围。相应地，本发明的权利要求的范围也并不仅仅局限于前述具体实施方式。

Claims (10)

1.一种多传感器相机，包括透进光线的进光口(1)和设在所述进光口(1)处的相机透镜组(2)，其特征在于，该相机还包括多个分光镜(3)、多个图像传感器(4)和处理器(5)；

所述相机透镜组(2)包括第一透镜组(21)，多个所述分光镜(3)用于将所述第一透镜组(21)调整焦距后的光线分成多条光通路；

所述图像传感器(4)与所述分光镜(3)对应设置，且每个所述图像传感器(4)与所述第一透镜组(21)之间距离不同，每个所述图像传感器(4)接收其中一条光通路，生成对应的图像数据；

所述处理器(5)用于将所述图像数据转为图层，并同步对齐，以实现距离图层的采集。

2.根据权利要求1所述的一种多传感器相机，其特征在于，所述分光镜(3)包括第一分光镜(31)，所述第一分光镜(31)将所述光线分成两条分别朝向所述图像传感器(4)和下一个所述分光镜(3)的光通路。

3.根据权利要求1所述的一种多传感器相机，其特征在于，所述分光镜(3)还包括第二分光镜(32)，被设置为将所述光线分成两条光通路，两条光通路分别朝向不同方向的所述图像传感器(4)。

4.根据权利要求1所述的一种多传感器相机，其特征在于，所述分光镜(3)还包括第三分光镜(33)，所述第三分光镜(33)将所述光线分成两条光通路，两条光通路分别朝向不同方向的两个所述分光镜(3)。

5.根据权利要求1所述的一种多传感器相机，其特征在于，所述分光镜(3)为多棱镜，所述多棱镜将所述光线分成多条光通路，每一条光通路朝向所述图像传感器(4)。

6.根据权利要求2-4任意一项所述的一种多传感器相机，其特征在于，所述第一透镜组(2)包括至少一个，所述第一透镜组(21)均设在所述进光口(1)处，所述分光镜(3)将所述第一透镜组(21)调整焦距后的光线分成光通路。

7.根据权利要求2-4任意一项所述的一种多传感器相机，其特征在于，所述相机透镜组(2)还包括至少一个第二透镜组(22)，所述第二透镜组(22)安装在所述分光镜(3)与所述分光镜(3)之间。

8.根据权利要求2-4任意一项所述的一种多传感器相机，其特征在于，所述相机透镜组(2)还包括至少一个第三透镜组(23)，所述第三透镜组(23)安装在所述分光镜(3)与所述图像传感器(4)之间。

9.根据权利要求8所述的一种可采集距离图层的多传感器相机，其特征在于，所述第三透镜组(23)设有多个，多个所述第三透镜组(23)之间的规格不同，同一光线分别透过多个所述第三透镜组(23)的焦距不同。

10.根据权利要求9所述的一种多传感器相机，其特征在于，多个所述第三透镜组(23)中至少有一个所述第三透镜组(23)连接有电机(6)，用于调节所述第三透镜组(23)的位置和角度。

Images