CN202406199U - 一种基于双阵列图像传感器的三维测量芯片及*** - Google Patents

Abstract

本实用新型涉及距离成像和三维成像技术领域，涉及一种基于双阵列图像传感器的三维测量芯片，包括两个光学镜头、两个CMOS图像传感器阵列及图像传感器控制和处理电路，两个CMOS图像传感器阵列及图像传感器控制和处理电路制作在同一个半导体衬底上，所述的光学镜头为晶圆级光学镜头，分别位于两个CMOS图像传感器阵列的上面，其中一个光学镜头带有红外滤光片或者薄膜，用于获取普通二维彩色图像，另一个光学镜头用于获取深度图像，图像传感器控制和处理电路根据两个CMOS图像传感器阵列获取的图像信息，构建三维立体图像。本实用新型同时提供一种采用上述芯片实现的三维测量***。本实用新型能够有效地减少测量芯片和***的尺寸，并提高测量的实时性和准确性。

Description

一种基于双阵列图像传感器的三维测量芯片及***

技术领域

本实用新型涉及距离成像和三维成像技术领域，更具体的，涉及用于获取立体图像数据的三维测量芯片，该芯片集成两个CMOS光学传感器阵列，一个用来获取深度图像，一个用来获取普通二维图像，通过同时获得两种信息，来构建三维立体图像。

背景技术

CMOS芯片

CMOS工艺是超大规模集成电路的主流工艺，集成度高，可以根据需要将多种功能集成在一块芯片上。CMOS图像传感器芯片采用了CMOS工艺，可将图像采集单元和信号处理单元集成到同一块芯片上。CMOS芯片内部结构主要是由感光阵列、帧(行)控制电路和时序电路、模拟信号读出电路、A/D转换电路、数字信号处理电路和接口电路等组成。这几部分通常都被集成在同一块硅片上。其工作过程一般可分为复位、光电转换、积分、读出几部分。数字信号处理电路主要进行自动曝光量控制、非均匀补偿、白平衡处理、黑电平控制、伽玛校正，坏点检测等，为了进行快速计算甚至可以将具有可编程功能的DSP器件与CMOS器件集成在一起，从而组成单片数字相机及图像处理***。与传统的CCD图像传感器相比，把整个图像***集成一块芯片上，构成单芯片成像***，从而降低成本，节约***功耗，改善成像质量，而且具有重量轻、空间占有小等优点。

CMOS图像传感芯片除了可以获取可见光图像，对红外非可见光波也可以成像，在890～980纳米范围内其灵敏度比CCD图像传感芯片的灵敏度要高出许多，并随波长增加而衰减的梯度也慢一些。

晶圆级镜头模组(Wafer-Lens)技术

晶圆级镜头技术将光学元件制造提升至晶圆层级，透过半导体技术，在一片晶圆上可制造数千个镜片，并采用晶圆级封装技术将这些镜片在晶圆上排列结合，切割为独立的镜头。这些镜头首先会在晶圆上排列并结合，然后组装到光学元件上，再添加到芯片上的图像传感器中。不仅将元件少量化、制程简单化、生产大量化，也降低了生产成本。

这项技术将光学模块的大小降低到了当前今的手机相机模块的一半。

晶圆上的镜头排列和结合程序消除了高成本的手动调焦。这些光学元件采用了能经受回流焊的材料，并且有线结合和BGA结合两种方式。当采用BGA结合时，光学元件可以直接安装到板上。

中国专利CN101685767A提出了“晶圆级图像模块的制造方法及其结构”。该实用新型公开了一种晶圆级光学镜头模块的制造方法，解决了通常晶圆级镜头组装过程中常会出现尺寸精度的问题，即上下图像镜头在堆栈组装的时候有可能造成位置偏移的问题，而使光轴无法对准的情况。此实用新型同时简化了晶圆级镜头的制造方法^[2]。

常用的用于获取目标三维信息的方法包括

时差测距TOF(time-of-flight)

Time of Flight就是去计算光线飞行的时间。首先让装置发出脉冲光，并且在发射处接收目标物的反射光，藉由测量时间差算出目标物的距离，感测立体空间的相对位置变化，建构灰阶距离影像的深度感应器。感光芯片由于要测量光飞行时间，所以需要做到飞秒级的快门。使其时钟频率提高到上百G。但这样做会使其成本升高。与一般光照需求不一样的是，TOF照射单元的目的不是照明，而是利用入射光信号与反射光信号的变化来进行距离测量，所以，TOF的照射单元都是对光进行高频调制之后再进行发射。与普通相机类似，TOF相机芯片前端需要一个搜集光线的镜头。不过与普通光学镜头不同的是这里需要加一个带通滤光片来保证只有与照明光源波长相同的光才能进入。

中国专利CN101866056A“基于LED阵列共透镜TOF深度测量的三维成像方法和***”提出了一种新颖的利用TOF进行深度测量的方法，其采用LED阵列作为主动发光源，每次只有LED阵列中的一个LED向外辐射光。这种方法解决了传统TOF深度测量为获取三维深度信息，需要使用精密、笨重且价格昂贵的机械扫描装置将激光束在其它两个方向上对被测场景进行机械扫描而造成深度图像获取速度慢，实时性差等问题^[3]。但随之而来的问题就是因LED阵列个数有限，大规模LED阵列体积又太大，这就会导致在有光轴垂直的方向上分辨率较低的问题。

双目视觉

双目立体视觉的基本原理是模仿人眼与人类视觉的立体感知过程，从两个视点观察同一景物，以获取不同视角下的感知图像，通过三角测量原理计算图像像素间的位置偏差，以获取景物的三维信息。使用相互平行设置的两个图像传感器，以不同方向观察三维目标，获得的图像彼此会有差别，通过在两幅图像中搜索相同的点并比较左右图像的唯一可获得距离信息。为从所获得的两幅图像中搜索相同的点需要进行大量的图像处理操作。一个完整的双目视觉***通常可分为图像获取、摄像机标定、特征提取、立体匹配、深度恢复和深度插值等六大部分。

中国专利CN101401443A“用于获得三维图像的CMOS立体照相机”提出了一种基于双目视觉的三维图像获取方法。该实用新型结构简单，处理速度快^[1]。但因两个图像传感器阵列中心距太小，导致进行深度测量师精度有点差强人意。

结构光源(Structured Light)

结构光方法((Structured Light)是一种基于光学的三角法测量原理的主动式光学测量技术，其基本原理是由结构光投射器(可以是激光器，也可以是投影仪)向被测物体表面投射一定模式的光点、光条或光面结构，在物体表面形成由物体表面形状所调制的光学三维图像。并由图像传感器(如摄像机)获得图像，通过***几何关系，利用三角原理计算得到物体的三维坐标。当光学投射器与摄像机之间的相对位置一定时，由获取的光学图像便可重现物体表面的三维轮廓。

结构光方法中，通过对获取的物体表面结构光图像进行相应处理，获得场景的深度信息。已经存在比较成熟的深度计算方法。如，文献“用结构光编码方法实现物体的三维轮廓重构与测量”(作者：大连理工大学魏媛胡家升)介绍了一种用结构光编码方法获取物体表面三维坐标的三维轮廓重构与测量***^[4]。有比如中国专利CN101667303A“一种基于编码结构光的三维重建方法”提出了一种简化计算过程、匹配精确度高、重建精度高的基于编码结构光的三维重建方法^[5]。通过优化，可方便的实现深度信息计算方法的硬件化，并集成到本实用新型的数字处理模块。

参考文献

[1](株)赛丽康.用于获得三维图像的CMOS立体照相机：中国，CN101401443A[P].2009-04-01[2011-06-02].http://www.soopa.com/Patent/200780008388

[2]旭丽电子(广州)有限公司光宝科技股份有限公司.晶圆级图像模块的制造方法及其结构：中国，CN101685767A[P].2010-03-31[2011-06-02].http://www.soopat.com/Patent/200810211431

[3]中国科学院合肥物质科学研究院.基于LED阵列共透镜TOF深度测量的三维成像方法和***：中国，CN101866056A[P].2010-10-20[2011-06-02].http://www.soopat.com/Paent/201010190028

[4]魏媛胡家升.用结构光编码方法实现物体的三维轮廓重构与测量[EB/OL].http://cn.newmaker.com/art_22093.html

[5]浙江工业大学.一种基于编码结构光的三维重建方法：中国，CN101667303A[P].2010-03-10[2011-06-02].http://utils.soopat.com：8080/TiffFile/PdfView/E92F5BOD01FC8FEA7B2148B4F6ADE452

实用新型内容

本实用新型的目的是针对现在三维成像方法和***在获取深度信息速度慢、深度图像与二维图像之间配准精度差，整个三维成像***所需硬件数目较多，***校准复杂等不足，提出一种用于立体测量的双图像传感器阵列芯片，用于实现快速，高精度的获取三维图像。本实用新型的技术方案如下：

一种基于双阵列图像传感器的三维测量芯片，包括两个光学镜头、两个CMOS图像传感器阵列及图像传感器控制和处理电路，两个CMOS图像传感器阵列及图像传感器控制和处理电路制作在同一个半导体衬底上，所述的光学镜头为晶圆级光学镜头，分别位于两个CMOS图像传感器阵列的上面，其中一个光学镜头带有红外滤光片或者薄膜，图像传感器控制和处理电路根据两个CMOS图像传感器阵列获取的图像信息，构建三维立体图像。

作为优选实施方式，所述的两个图像传感器阵列的光轴相互平行且垂直于像平面并具有相同的解析度。

本实用新型同时提供一种基于双阵列图像传感器的三维测量***，包括红外光发光源、两个光学镜头、两个CMOS图像传感器阵列、图像传感器控制和处理电路，所述的红外光发光源，用于产生红外结构光，其特征在于，两个CMOS图像传感器阵列及图像传感器控制和处理电路制作在同一个半导体衬底上，所述的光学镜头为晶圆级光学镜头，分别位于两个CMOS图像传感器阵列的上面，其中一个光学镜头带有红外滤光片或者薄膜，图像传感器控制和处理电路根据两个CMOS图像传感器阵列获取的图像信息，构建三维立体图像。

本实用新型在一个半导体衬底上集成了两个图像传感器阵列和相应的图像传感器阵列控制电路、图像信号处理电路和数字信号处理电路，用硬件方式对获取的红外图像数据进行处理，直接计算出深度信息，减轻了后端***的计算压力，减少了数据传输所需带宽，提高了三维测量的实时性。这样的芯片实现解决了普通三维成像***使用分立图像传感器带来的校准问题，两个图像传感器阵列的中心距是固定不变的，且相对较小，通过简单的硬件电路即可消除校准问题，使输出数据的二维彩色图像数据和深度数据是一一对应的。应用晶圆级镜头技术，在图像传感器阵列上放置光学镜头，有效地减少了芯片和测量***的大小，结合两种数据进行处理可方便的将本实用新型应用在很多领域中，如消费类电子领域、监控安防领域、汽车安全驾驶领域、自动控制和识别领域。

附图说明

图1是本实用新型的结构示意图，(a)为截面图；(b)为俯视图。

图2A，2B为空间上的点在两个图像传感器210和220上成像的几何关系示意图。图2B中水平间距D大于图2A中的水平间距D

图3是图像传感器控制和处理电路230的具体实现结构。

图4是本实用新型芯片的***结构图。

图5是本实用新型的一个典型应用***。

具体实施方式

本实用新型提出了在一个半导体衬底上制作两个图像传感器阵列，分别位于半导体衬底的左边和右边。在两个图像传感器阵列中间和下方制作出图像传感器控制电路、图像信号处理电路(ISP)和数字信号处理电路(DSP，主要用于计算深度信息)，通过总线连接左右两个图像传感器阵列。应用晶圆级镜头(Wafer Level Lens)技术在两个图像传感器阵列上放置光学镜头。两个图像传感器阵列工作于不同工作模式下：一个作为普通图像传感器阵列直接感知普通的二维图像数据；另一个工作在红外感知模式下，本实用新型采用主动光源发出特定形式的结构红外光，对目标物体进行照射，由此图像传感器阵列感知红外图像数据。两图像传感器阵列捕获图像数据后通过总线将图像数据传送给图像信号处理电路和数字信号处理电路进行处理输出图像数据和相应的深度数据。

下面参考附图和实施例详细描述本实用新型。

图1描述了本实用新型的外观图，包括本实用新型的截面图和俯视图。

参考图1，本实用新型100从外观上看有两个光学镜头110和120，一个红外光发光源130。光学镜头110下对应着图像传感器阵列210，光学镜头120下对应着图像传感器阵列220，镜头110和120在垂直方向上以距离h与图像传感器阵列210和220分隔开。在图像传感器阵列210和220中间和下面为图像传感器控制和处理电路230。图像传感器阵列220和210及图像传感器控制和处理电路230是在一块半导体衬底上实现的。另外，图像传感器阵列210和220的光轴相互平行且垂直于像平面且具有相同的解析度。

整个装置在工作过程中红外光发光源130一直向外辐射特定形式的结构红外线，图像传感器阵列210作为普通图像传感器阵列，其光学镜头含有红外滤除片，消除了本实用新型的红外光光源和环境中的红外光对该图像传感器阵列的干扰，该图像传感器阵列获取的为普通彩色图像数据。图像传感器阵列220感知红外线波段的图像数据，为此在光学镜头120上有红外光带通滤光片，获取的图像数据进行相应处理即可获取各像素点的深度信息。

图2描述了空间上的点在两个图像传感器阵列210和220上成像的几何关系。

参考图2A，空间上某点200距图像传感器阵列210和220的距离为d，图像传感器阵列210和220之间的中心距为D，在水平方向图像传感器阵列210上的成像点到图像传感器阵列210的中心点的距离为t1，图像传感器阵列220上的成像点到图像传感器阵列220的中心点的距离为t2，可以看出t1≠t2，这说明两图像传感器阵列210和220之间因有距离为D的水平间距，导致两者的成像会有一小小的差异，在水平方向上会有一定大小的水平平移t，参见图2A和2B，可看出上述水平平移大小受图像传感器阵列210和220之间的水平间距D影响，图2B中水平间距D1大于图2A中的水平间距D，图2B中，图像传感器阵列220上的成像点到图像传感器阵列220的中心点的距离为t3，可见t3＞t2。图像传感器阵列210和220之间的水平间距D越小则图像传感器阵列210和220的成像间的水平平移t越小。

将两个图像传感器阵列集成在一个半导体衬底上可有效减少水平间距D的大小，为后期信号处理带来方便。因为水平平移t的存在且不可避免(因图像传感器阵列210和220之间的水平间距D不会为零)导致的结果就是两个图像传感器阵列210和220成像之间的不匹配，即两图像传感器阵列对应像素点的数据不是对空间中同一点采集来的数据。为实现正确匹配，需要对采集到的图像数据进行处理。普通三维成像***使用分立图像传感器，两个传感器阵列的中心距比较大且易于改变，使得校准比较复杂。本实用新型芯片的两个图像传感器阵列的中心距是固定不变的，且相对较小，通过简单的硬件电路即可解决校准问题，从而能够提高测量的实时性和测量精度可以更高。

图3描述了图像传感器控制和处理电路230的具体实现结构。

参考图3，图像传感器控制和处理电路230由读出电路模块310和320，模/数转换器模块302，时钟控制器模块304，输入输出模块330，图像信号处理模块340和数字信号处理模块350组成。读出电路模块包括行选择逻辑单元、模拟信号处理单元、列选择逻辑单元。图像信号处理电路主要进行自动曝光量控制、非均匀补偿、白平衡处理、黑电平控制、伽玛校正，坏点检测等。上述模块中读出电路模块310与图像传感器210相连，读出电路模块320与图像传感器220相连。模/数转换器模块302，时钟控制器模块304，输入输出模块330和图像信号处理模块340则为图像传感器210和220共享的几个模块。当图像传感器210和220曝光后，分别由读出电路310和320将模拟图像信号读出，再经模/数转换器模块302将模拟图像信号转换为数字图像信号，图像信号处理模块340处理所述数字图像信号，由输入输出模块330输出处理后的图像传感器210的数字图像信号，处理后的图像传感器220的数字图像信号则送入数字信号处理模块350，计算出各像素点的深度信息，再进行相应处理消除由水平位移带来的影响最后由输入输出模块330输出各像素的深度信息。

图4描述了本实用新型芯片的***结构。

参考图4，本实用新型利用CMOS技术的优势，将本实用新型所需的功能都集成在一块半导体衬底上，这有效地减少了***成本，也解决了由分立图像传感器构成的三维测量的校准问题。通过集成数字处理电路，对获取的红外图像进行实时处理，提高了本实用新型的实时性。结合晶圆级镜头(Wafer Level Lens)技术在本实用新型上直接放置镜头，进一步减少了本实用新型的大小，为本实用新型的广泛应用提供了现实基础。

图5描述了本实用新型的一个典型应用***。

参考图5，此典型应用采用嵌入式处理器为处理核心，由本实用新型500采集图像数据，处理后送入存储缓冲器510中缓存。嵌入式处理器520读取缓存器中的数据进行处理后，送入彩色显示器570显示。麦克风540可获取实时音频数据，由音频编解码器580处理后送入数字处理器520进行处理。图像数据和音频数据处理后都可存入数据存储器560中，如硬盘、Flash存储器等。用户可以通过用户控制530对整个***进行控制。

本实用新型中所有实现方法都可以根据已有技术来实现，且这些技术都是成熟可靠的，这对本实用新型的具体实现提供了现实基础。

Claims (4)

1.一种基于双阵列图像传感器的三维测量芯片，包括两个光学镜头、两个CMOS图像传感器阵列及图像传感器控制和处理电路，其特征在于，两个CMOS图像传感器阵列及图像传感器控制和处理电路制作在同一个半导体衬底上，所述的光学镜头为晶圆级光学镜头，分别位于两个CMOS图像传感器阵列的上面，其中一个光学镜头带有红外滤光片或者薄膜，用于获取普通二维彩色图像，另一个光学镜头用于获取深度图像，图像传感器控制和处理电路根据两个CMOS图像传感器阵列获取的图像信息，构建三维立体图像。

2.根据权利要求1所述的三维测量芯片，其特征在于，所述的两个图像传感器阵列的光轴相互平行且垂直于像平面并具有相同的解析度。

3.一种基于双阵列图像传感器的三维测量***，包括红外光发光源、两个光学镜头、两个CMOS图像传感器阵列、图像传感器控制和处理电路，所述的红外光发光源，用于产生红外结构光，其特征在于，两个CMOS图像传感器阵列及图像传感器控制和处理电路制作在同一个半导体衬底上，所述的光学镜头为晶圆级光学镜头，分别位于两个CMOS图像传感器阵列的上面，其中一个光学镜头带有红外滤光片或者薄膜，用于获取普通二维彩色图像，另一个光学镜头用于获取深度图像，图像传感器控制和处理电路根据两个CMOS图像传感器阵列获取的图像信息，构建三维立体图像。

4.根据权利要求3所述的三维测量***，其特征在于，所述的两个图像传感器阵列的光轴相互平行且垂直于像平面并具有相同的解析度。 

Images