CN101883289A - 多镜头和多传感器成像***中视差保留和视差消除 - Google Patents

Abstract

本发明涉及多镜头和多传感器成像***中视差保留和视差消除。本发明是基于已经发明的多传感器多透镜***的图像采集与处理***。这种***可用于提高信号的信噪比(SNR)，动态范围，清晰度和其他接收图像信号的参数。在本发明中通过多镜头和多传感器的基本原理和一些基本数学运算来改进的原来单镜头光学***和传感器的局限性以提高性能。

Description

多镜头和多传感器成像***中视差保留和视差消除

发明概述：

本发明涉及到多个镜头和多个传感器的数字相机来产生一个或多个连续图像。具体的是关于数字相机使用多个镜头和多个传感器具有分开的几何布局以便产生接近以至于完全逼近人眼的视觉效果。视差可以被完全消除或者保留以达到理想的视觉效果。

摘要：

本发明是基于已经发明的多传感器多透镜***的图像采集与处理***[1]。这种***可用于提高信号的信噪比(SNR)，动态范围和其他接收图像信号的参数。在本发明中通过多镜头和多传感器的基本原理和一些基本数学运算来改进的原来单镜头光学***和传感器的局限性，误差和缺陷以提高性能。

背景：

一个图像采集***包括镜头和图像传感器即光学分***和电子分***。关于多镜头和多传感器***中在美国专利6611289号(2003年8月26日批准，发明人Yu et al)进行过描述。此专利的题目是“使用多个传感器相机和多镜头的数码相机”。和一个传感器的数码相机相比多传感器收到的噪音将有压制效果，其结果是接收图像的动态范围和质量得以改善。

然而，上述发明可能无法完全模仿人类视觉***，因为两镜头和传感器国之间的距离不一定如同人一样是6-7厘米。这实际上也是当前的单镜头相机摄影现实和特点，即采取了无视差的设计。这意味着单镜头的相机产生的图像和人眼有一定的区别。最明显的区别是，立体的图像信息丢失。其他一些微细的信息，如提高信号噪声比的信息也失去了，所以产生的图像严格的是一维的并且质量较低。在本发明中图像质量得到进一步改善，多个镜头和传感器是可以排列在这样一种方式下使产生的图像数据是不严格的一维。相对于单镜头和单传感器照相机而言更多的一些细节得以保留，使获得的图像具有更接近人的视觉***的真实的特性。

发明概要：

由于新型产品不断发展、技术快速进步并出现了互联网、电子邮件、无线通信等，这些新技术都有助于使数码相机和移动设备具有相机功能而成为最热门的新一类的消费电子产品。但是，图像质量、图像的像素数和图像的动态范围还有待于进一步提高。本发明中数码相机使用多个图像传感器与多个镜头，改善了各种数码相机图像质量，而不会带来成本的大幅增加。

本发明已考虑了数码相机的现有问题和需要，并特别是考虑了如何进一步满足数码相机的进一步要求，以生产高品质的数字图像。本发明以改进的数码相机可用两个图像传感器为例，每个传感器有自己的镜头，其中一个图像传感器是是接受的是所有可见光的信息具有接受黑白即亮度信息，而第二个图像传感器具是接受的是所有可见光的信息马赛克微型波器来捕获所有可见光的彩色图像数据。同时本***使用一个嵌入数字图像处理数字处理芯片，图像是由一个或两个彩色图像传感器和黑白图像传感器的图像数据，产生出高质量真彩色数字图像。

美国专利6611289中提到了镜头和传感器独特的配置，它有许多显而易见的好处和优势。首先，图像传感器的解相度可以充分利用的。第二，每个图像传感器只负责接受一种颜色；从而那种昂贵的把微型彩色滤波器叠加的每一像素的工艺就可以取消了，后续的微型镜片工艺也不是必要的。应该注意到这种具有这种微型选择性彩色滤波的传感器仍然可以使用，第三，图像从黑白(亮度)图像传感器捕捉的信息，可以包括所有的细节。这两个彩色图像传感器可能已经错过了黑白细节。此外，因为这些图像传感器解像度可充分利用，为在同一解像度的彩色图像，该图像传感器可使用相对较小的像素数量，或同样数量像素的会有更高分辨率，这通常会导致传输速率高，灵敏度高，串拢少，同一空间分辨率采用低时钟速度。此外，图像的传感器面积可以较小，因此可以使用较小的光学镜头，这特别有利于镜头的制造，安装和校准。

本发明是一种改进的数字相机***。具体体现在，包括：2个图像传感器，安装在一个共同的平台它们可以位于同一段距离的关系(6-7厘米)，以接近人类视觉***，该***共有2个镜头，每一个安装在图像传感器的前面；第一个图像传感器可接收所有可见颜色谱，可以是黑白的传感器；第2个传感器图像可接受全面的可见光色谱并且具有微型彩色滤波；2个模拟数字转换电路将2个图像传感器产生了数据进行数字化；它们是图像相应的图像数据；改进的数字相机还有相应的电路在模拟数字转换电路之后把图像可以进行存储和存储，然后进行数字图像处理生产生最后的完整的彩色图像。

本发明步骤可部分体现在如表格所示上。表格表示了如何改进各个参数。这种表格可以全面审查所有区域中的所有镜头像素对象和数据。但注意，表格并没有说明如何在同一时间同时改进所有的参数。本项发明在如随附的说明图将具体描述并体现。

示意图简介：

为了能更好地理解本发明的优势及其他功能，将在以下几列方面做出说明，并附在声明和标注在相应的说明图上。

图1：体现本发明的改善数码相机采用多镜头和传感器的方框图；它也表明多个图像传感器被置于一个的平台镜头之间传感器可以有一些距离。

两个传感器能够接收所有的可见光，他们可以是单色即黑白的或有微型镶嵌彩色滤波器传感器。如果采用了微型镶嵌彩色滤波器图像传感器，其设计应能使感光的像素分别接收其全部考虑的光谱。

图2：表明了一个有代表性测试具有是视差的场景。

图3：显示了不同传感器的不同图像和最后的图像结果。

图4：描绘了多个镜头和多个传感器照相机图像数据分辨率增强的原理。

本发明的描述：

下面的详细说明本发明具体的细节，以便进一步透彻的了解本发明。然而，它将不描述那些明显的和已知的工艺。描述是采用了具有代表性并均为常见的手段，即采用了有经验或技能的工艺最有效地传达的实质内容。在其他情况下，众所周知的方法，程序，组件和电路没有进行详细说明，以避免不必要的混淆。

图1：描述了图像采集***。即使用多个摄像机镜头和多个传感器。对象101。镜头102，和104的相应镜头相机。这项安排的图像传感器和镜头中显示103和105。在相机机身是描绘107。该图像传感器也如108和109所示。图像数据传输的微型处理器106通过传输电缆110，111。输出图像数据经过处理器进行处理。处理过程包括对图像传感器和镜头的检测和相互校正产生最后的图像。

图2：描述了一个典型具有视差的测试图像。201是所排摄的一个具有三角形外形的对象。202、203是第一个传感器和镜头。205是另一个传感器及镜头。206、207是两个镜头和传感器捕获的图像。

图3：描绘了取得最后的图像数据的产生过程。301表示了从第一个传感器和镜头得到的图像。302表示了从第二个传感器和镜头得到的图像。303表示了如把第一个传感器和镜头作为主眼而得到的最后无视差的图像。304表示了如把第二个传感器和镜头作为主眼而得到的最后无视差的图像。305表示了如把第一个传感器和镜头作为主眼而得到的另一种最后的结果。在此图像中视差信息被叠加到无视差的图像中去。

图4：描绘了多个镜头和多个传感器照相机的图像数据分辨率增强的过程。400描绘了采用了拜耳模式的单镜头单传感器的二维空间分辨率。401描绘了采用了拜耳模式的单镜头单传感器的RGB二维空间分辨距离，402描绘了采用了拜耳模式的单镜头单传感器的G对角的二维空间分辨距离。403描绘了单色或红色传感器的单方向空间分辨。405描绘了单色或蓝色的单方向空间分辨率。407描绘了单色或绿色的单方向空间分辨率。404，406，和408描绘了对应的单色的单方向空间分辨距离。410表示了如果有同样的像素数和空间距离则单镜头单传感器的单方向空间分辨率是多个镜头和多个传感器的单方向空间分辨率的一半。考虑到G(绿色)传感器最小对角的空间分辨距离只有1.4倍于单色的最小单方向空间分辨率，三镜头和传感器照相机二维空间分辨率是单镜头单传感器的二维空间分辨率的三倍。

数字摄影是一个出现在20世纪后半期最激动人心的技术，使用适当的硬件和软件，几乎任何人都可以使用数码摄影。最近由于的产品引进、技术进步且价格不短降低，同时最重要的是出现了高速无线通信和互联网，这有助于使数码相机成为最炙手可热的新一类的消费电子产品。

大多数数码相机的图像传感器使用或感光器材，如电荷耦合器件(CCD)或互补金属氧化物(CMOS)技术半导体感知到场景。感光器件把现场转化成电信号然后转换成数字，光线通过红、绿、蓝过滤器，例如，由此可以看出每个单独的彩色光谱。当数据是通过合并和处理，相机能够确定每个部分的图片的具体的颜色。由于图像实际上是一个集合的数字数据，它就可以轻松地下载到电脑和操纵更多的艺术效果。

然而，有许多情况下，由于数码相机的性能有限所以相机可能根本无法使用。相比之下人的肉眼仍然有许多优点，有更多的自适应处理能力，更高的分辨率.更大的动态范围，由于大脑的力量，加上眼(传感器)的自适应，人眼的缺陷可以大大限制和和改善。例如，一对近视眼可优于任何单一的一只眼。在非常低的光照明的情况下，人眼视觉***会自动变成一个单一颜色或接近单色感光的模式，以提取认为最重要的信息。人眼的动态范围可大至一百分贝，数字表示大约是16比特。在一个典型的多光学镜头和多种图像传感器或感光芯片的数码相机中，感光芯片包括一个两维的光电转换单元数组，即像素。有选择性地交织在一起的彩色滤光片是叠加在每个像素。光电感光芯片通常有一定的各方向的解像能力，由此产生的水平分辨率是由若干像素连续在行的排列的相对距离所决定和垂直分辨率是由一些像素在列的排列的相对距离所决定。由于彩色和亮度感光像素交替排列，实际上的图像解像素已被减少。

虽然我们清楚地认识到还有许多其他质量因素限制了数码相机图像采集的性能。例如，光圈不能任意设置和此参数将反过来会极大地影响到图像质量，这是由于众所周知的光学绕射和衍射的效果。当光圈值设置为低一些时，可以得到更多的光能和改善的衍射效应，但镜头质量缺陷可能更加暴露使最终图像质量受到影响。当光圈值设置为高，曝光可能不足而镜头的衍射效应将成为影响图像质量的主要因素。

当采用多个镜头和多传感器相机，一个传感器缺失可以用其他传感器的数据得到补偿和纠正。一般来说一个传感器可以配置成接受一种极端情况，而另外的传感器可以配置接受另一端的极端情况。例如一个传感器可以配置成接受高亮度的图像信息，而另外的传感器可以配置接受低亮度的图像信息。最后的图像是自适应的融合这两个图像的结果。一种简单的融合方法是扩大每一个像素的比特数以把所有的细节清楚地表示。

应该注意到本发明及步骤应在获得初步的结果图像之后进行，不同传感器的数据可能有坐标的缩放和对齐已保证位置的严格匹配。

参考文献：

[1]美国专利6611289号(2003年8月26日发表，发明人Yu等)“使用多个传感器相机比多镜头的数码相机”。

Claims (14)

1.多镜头和多传感器的数码采集和处理***(相机)其多个图像传感器安装在一个平台上面向一个方向并相互之间可以有一定的距离并且其图像数据共用一个单独的处理器，此数码相机至少有一个全频谱传感器，并且此数码相机可以获取并处理从如上所述的多个传感器采集的图像数据其最后结果可是一个单一的无视差的图像，最后结果也可是一个或一组能表示视差的图像。

2.如权利要求1中所述的图像采集和处理***，两个全光谱图像传感器数据进行线性相对比较和相关，没有进一步的非线性处理，只是线性处理。

3.如权利要求1中所述的图像采集和处理***，两个全光谱图像传感器数据进行进一步的非线性处理及非线性和线性混合处理。

4.如权利要求1中述的图像采集和处理***，不同传感器和镜头可以配置成工作在相同或不同的工作模式和参数例如不同的光圈，速度，距离和景深。

5.如权利要求1中述的图像采集和处理***，不同传感器和镜头可以放置成有一个相对的角度，例如45度(或有135，225，或315度)角度。

6.如权利要求1中述的图像采集和处理***，不同传感器和镜头的相对的角度和位置可以进行实时调整以达到最优效果。

7.如权利要求1中述的图像采集和处理***，处理器可以应用芯片外的存储芯片来缓存和储存中间的和最后的结果。

8.如权利要求1中述的图像采集和处理***，处理器可以应用***中某一个图像传感器作为主眼而另外的图像传感器作为辅眼来提取视差信息。

9.如权利要求1中述的图像采集和处理***，处理器可以应用***中某一个图像传感器作为主眼而另外的图像传感器作为辅眼来消除视差。

10.如权利要求1中述的图像采集和处理***，每一个图像传感器都有自己的模数传感器来将模拟的数据转换成数字的信息。

11.如权利要求1中述的图像采集和处理***，处理器可以接受部分或所有的图像传感器的信息进行处理。

12.如权利要求1中述的图像采集和处理***，处理器采用不同的图像传感器的孔阑校正之前的信息进行排列来增强图像的分辨率。

13.如权利要求12中述的图像采集和处理***，某一个或某几个图像传感器的相对位置可以一个方向或两个方向的微调以达到最高的图像的分辨率。

14.如权利要求13中述的图像采集和处理***，最后的结果是经过处理的只显示最高的分辨率图像的全部或某一部分。

Images