CN102980527A

CN102980527A - 一种基于cmos的三维传感器实时高速数据处理***

Info

Publication number: CN102980527A
Application number: CN2012103977175A
Authority: CN
Inventors: 赵慧洁; 刁晓淳; 刘小康; 姜宏志
Original assignee: Beihang University
Current assignee: Beihang University
Priority date: 2012-10-18
Filing date: 2012-10-18
Publication date: 2013-03-20
Anticipated expiration: 2032-10-18
Also published as: CN102980527B

Abstract

一种基于CMOS的三维传感器实时高速数据处理***，它包括基于CMOS的两部左、右三维传感器、两片独立并行的FPGA数据处理模块、缓存RAM、三维复现计算的FPGA数据处理模块、千兆网数据传输接口、计算机和USB数据传输接口；采用FPGA作为***数据处理核心模块，具体通过数据预处理、标记背景、译码器解相与外差多频相展开这四个步骤完成运算，并通过接口模块将处理后的数据传输至计算机。基于CMOS的传感器读出图像数据是数字信号，从而可以向FPGA直接传送数据。FPGA与缓存协同运算，实现数据的实时高速处理。该***具有同步计算、计算速度高的特点，可用于表面三维形貌的光学非接触测量。

Description

一种基于CMOS的三维传感器实时高速数据处理***

技术领域

本发明涉及一种基于CMOS的三维传感器实时高速数据处理***，该***能够实现非接触光学测量***的高速实时数据处理，可用于物体表面三维形貌测量。本发明属于光学三维测量技术领域。

背景技术

基于CMOS的三维传感器实时高速数据处理***作为非接触式光学三维测量的数据处理***，可以应用于三维形貌测量、逆向工程和质量检测等诸多领域。但是以往的数据处理是在计算机上完成计算的，在一些计算过程中存在着功耗高、运算速度慢、实时性差的缺点。针对这一问题，国内外提出的一般解决方法是利用GPU进行并行计算，这样可以解决计算机CPU运算速度慢的缺点。但是由于GPU的并行编程较为复杂，而且为了实现较高的计算速度，不可避免地要提高仪器造价与整体功耗等性能指标。另外，在非接触式光学三维测量中，传感器拍摄的图像数据较为庞大，而相应地计算得到的数据则较少。在以往的***设计中，传感器直接将拍摄到的图像数据全部传给计算机，由计算机统一计算，这使得整个***的运算时间大部分消耗在了图像数据的传输与存储上，从而无法保证运算的高速与实时性。

以往的非接触式光学三维测量的传感器使用的是CCD感光器件。CCD感光器件将光信号转化成的电信号是模拟信号，因此需要额外进行***输出电路***设计才可以与数据处理***相连接实现图像数据的传输与计算。因此决定了CCD感光器件的数据读出速度较慢。尽管CCD感光器件的分辨率与灵敏度等性能指标在同类器件中是较为优秀的，但是在具体非接触式光学三维测量的数据计算处理过程中，CCD感光器件的分辨率与灵敏度远远优于需求的精度，这在一定程度上造成了资源浪费，直接导致了***具有计算速度慢、功耗大的缺陷。

由此可见，不管是从算法优化入手，从电路***设计优化上入手，还是从核心元件的选择上入手，目前国内外还没有提出一种解决功耗高、运算速度慢、实时性差等缺点的非接触式光学三维测量的数据处理***。本发明针对此类问题提出了基于CMOS的三维传感器实时高速数据处理***，实现了非接触式光学三维测量数据的高速实时处理。

发明内容

1、目的：本发明的目的是提供了一种基于CMOS的三维传感器实时高速数据处理***，它将CMOS三位传感器与FPGA数据处理模块结合，克服了现有数据处理***运算速度慢、实时性差的问题。

2、技术方案：本发明的技术解决方案是：一种基于CMOS的三维传感器实时高速数据处理***，它包括基于CMOS的两部左、右三维传感器、两片独立并行的FPGA数据处理模块、缓存RAM、三维复现计算的FPGA数据处理模块、千兆网数据传输接口、计算机和USB数据传输接口。它们之间的位置连接关系是：基于CMOS的两部左、右三维传感器获取左、右相机图像数据，由于CMOS传感器传输数字信号，可将其直接读出；CMOS传感器获取的数据输入两片独立并行的FPGA数据处理模块，通过数据预处理、标记背景、译码器解相与外差多频相展开四个步骤完成运算；在相位解算计算过程中，需要用到CMOS传感器多次拍摄的数据，因此将数据暂时存储至缓存RAM中；完成相位解算之后，两片独立并行的FPGA数据处理模块将解算结果同时输入三维复现计算的FPGA数据处理模块，进行立体匹配与三维复现计算；计算过程需要通过USB接口由计算机向FPGA传输相机标定结果、背景阈值设定等参数，计算完成后将三维点云数据用千兆网数据传输接口传输至计算机。

该基于CMOS的两部左、右三维传感器是：两台相对位置固定且有共同视场的相机，其核心感光器件是CMOS芯片；该缓存RAM是：与FPGA相连接的DDR2缓存芯片；该计算机是：存储显示数据使用的计算机。该独立并行的FPGA数据处理模块与三维复现计算的FPGA数据处理模块均是FPGA中的数据处理功能模块，其算法程序已经实现下载到FPGA中；该千兆网数据传输接口是：千兆网传输协议接口板，使用DM9000A协议芯片；该USB数据传输接口是：USB数据接口部分使用CY7C68013A芯片作为编码芯片。

本发明原理是：基于CMOS的三维传感器，使用两片CMOS芯片构成左、右两台相机，以实现三维图像信息的采集。两片独立并行FPGA数据处理模块，在进行了数据预处理后。首先按照设定好的背景阈值标记出背景，在之后的计算中不予计算背像素，以此节省计算量；其次对同一频率条纹图像利用公式

Φ (x, y) = \arctan \frac{g_{3} (x, y) - g_{1} (x, y)}{g_{0} (x, y) - g_{2} (x, y)}

进行相位解算；最后使用外差多频方法，使用公式

φ_{1} (x, y) = \frac{λ_{2}}{λ_{1} - λ_{2}} Φ_{b} (x, y)

进行相展开。缓存RAM，在FPGA数据处理的相位解算中，的计算需要用到统一像素同一条纹频率不同条纹相位的四幅图像，因此将传感器拍摄到的图像先预存到缓存RAM中，当四幅相移条纹图像拍摄完毕后，将图像数据从缓存读出到FPGA中进行相位解算。上式中的符号说明如下：g_i(x,y)表示第i幅图像在点(x,y)处的灰度值。

三维复现计算的FPGA数据处理模块，将相位解算得到的结果进行立体匹配与三维复现。需要用到的相机标定结果由计算机通过部分USB接口传输。三维复现结果用过部分千兆网数据传输接口传输至计算机。

3、优点及功效：本发明与现有技术相比的优点在于：（1）采用CMOS芯片作为图像传感器，直接读出数字信号，有着速度快的优点。（2）采用基于FPGA的硬件化数据处理，可实现实时高速数据处理。（3）采用基于FPGA的硬件***可以降低整个***功耗，有利于***的便携性。

附图说明

图1为本发明一种基于CMOS的三维传感器实时高速数据处理***的***结构图；

具体实施方式

见图1，一种基于CMOS的三维传感器实时高速数据处理***，该***组成包括基于CMOS的左、右两部三维传感器、两片独立并行的FPGA数据处理模块、缓存RAM、三维复现计算的FPGA数据处理模块、千兆网数据传输接口、计算机和USB数据传输接口。它们之间的位置连接关系是：基于CMOS的两部三维传感器获取左、右相机图像数据，由于CMOS传感器传输数字信号，可将其直接读出。CMOS传感器获取的数据输入两片独立并行的FPGA数据处理模块，通过数据预处理、标记背景、译码器解相与外差多频相展开四个步骤完成运算。在相位解算计算过程中，需要用到CMOS传感器多次拍摄的数据，因此将数据暂时存储至缓存RAM中。完成相位解算之后，两片独立并行的FPGA数据处理模块将解算结果同时输入三维复现计算的FPGA数据处理模块，进行立体匹配与三维复现计算。计算过程需要通过USB接口由计算机向FPGA传输相机标定结果、背景阈值设定等参数。计算完成后将三维点云数据用千兆网数据传输接口传输至计算机。

基于CMOS的三维传感器，使用两片CMOS芯片构成左、右两台相机，以实现三维图像信息的采集。两片独立并行FPGA数据处理模块，在进行了数据预处理后。首先按照设定好的背景阈值标记出背景，在之后的计算中不予计算背像素，以此节省计算量；其次对同一频率条纹图像利用公式

Φ (x, y) = \arctan \frac{g_{3} (x, y) - g_{1} (x, y)}{g_{0} (x, y) - g_{2} (x, y)}

进行相位解算；最后使用外差多频方法，使用公式

φ_{1} (x, y) = \frac{λ_{2}}{λ_{1} - λ_{2}} Φ_{b} (x, y)

进行相展开。缓存RAM，在FPGA数据处理的相位解算中，

的计算需要用到统一像素同一条纹频率不同条纹相位的四幅图像，因此将传感器拍摄到的图像先预存到缓存RAM中，当四幅相移条纹图像拍摄完毕后，将图像数据从缓存读出到FPGA中进行相位解算。上式中的符号说明如下：g_i(x,y)表示第i幅图像在点(x,y)处的灰度值。

Claims

1.一种基于CMOS的三维传感器实时高速数据处理***，其特征在于：它包括基于CMOS的两部左、右三维传感器、两片独立并行的FPGA数据处理模块、缓存RAM、三维复现计算的FPGA数据处理模块、千兆网数据传输接口、计算机和USB数据传输接口；基于CMOS的两部左、右三维传感器获取左、右相机图像数据，由于CMOS传感器传输数字信号，将其直接读出；CMOS传感器获取的数据输入两片独立并行的FPGA数据处理模块，通过数据预处理、标记背景、译码器解相与外差多频相展开四个步骤完成运算；在相位解算计算过程中，需要用到CMOS传感器多次拍摄的数据，因此将数据暂时存储至缓存RAM中；完成相位解算之后，两片独立并行的FPGA数据处理模块将解算结果同时输入三维复现计算的FPGA数据处理模块，进行立体匹配与三维复现计算；计算过程需要通过USB接口由计算机向FPGA传输相机标定结果、背景阈值设定参数，计算完成后将三维点云数据用千兆网数据传输接口传输至计算机；

该基于CMOS的两部左、右三维传感器是两台相对位置固定且有共同视场的相机，其核心感光器件是CMOS芯片；该缓存RAM是与FPGA相连接的DDR2缓存芯片；该计算机是存储显示数据使用的计算机；该独立并行的FPGA数据处理模块与三维复现计算的FPGA数据处理模块均是FPGA中的数据处理功能模块，其算法程序已经实现下载到FPGA中；该千兆网数据传输接口是千兆网传输协议接口板，使用DM9000A协议芯片；该USB数据传输接口是USB数据接口部分使用CY7C68013A芯片作为编码芯片。