CN114727085A - 深度图像成像方法及其装置 - Google Patents

Abstract

本发明提供一种深度图像成像方法，包括以下步骤：根据一感测器的标定校正参数，预设定；初始化所述感测器后，采集深度图像数据；并行地对深度图像数据进行处理，以得到灰度值和深度值；以及输出处理后的数据，以供数字图像成像。并提供一深度图像成像装置，采用可编程逻辑特性的并行处理方式实现深度计算，提升处理速度的同时，能够实现更高的分辨率，更低的时延。

Description

深度图像成像方法及其装置

技术领域

本发明涉及三维成像技术，尤其涉及一种涉及具有深度性质的图像成像方法及成像装置。

背景技术

现有的三维成像技术中，ToF技术(Time ofFlight，飞行时间)因其具有不易受外界光干扰、体积小巧、响应速度快以及识别精度高等多重优势，近年来在消费电子、虚拟现实、人脸识别、体感交互、新零售、智能安防、汽车电子、工业级自动化、医疗电子等等多种生活与工业领域中广泛地引用。在ToF技术已经作为三维图像的首选技术方案，并具有明显的良好发展前景的基础之上，现有的ToF技术还不能满足应用中实际出现的高要求，例如更高的分辨率，更低的时延等等，大致有以下几点缺陷。

首先，现有的ToF技术均需要配置专用处理芯片，例如RK系列或海思系列等。专用芯片不仅成本高，而且在技术发展上有滞后性。

其次，帧率与分辨率存在矛盾关系。在帧率高的情况下，深度图像素分辨率比较低，如180*240，240*320，240*480。如果要求了较高的分辨率，帧率处理能力就会降低(例如，帧率低于10fps)。

另外，现有的计算软件的处理模式中均采用帧为单位，这一点会根本性影响时延，导致计算出现的时延较大，在毫秒ms级别。

基于上述的缺陷，本发明提出改进并优化现有技术的深度图像成像方法及其装置。

发明内容

本发明的一个主要优势在于提供一种深度图像成像方法及其装置，采用可编程逻辑特性的并行处理方式实现深度计算，提升处理速度的同时，能够实现更高的分辨率，更低的时延。

本发明的另一个优势在于提供一种深度图像成像方法及其装置，其并行地对深度值与灰度值进行计算处理，避免计算处理上造成较高的时延。

本发明的另一个优势在于提供一种深度图像成像方法及其装置，其并行地利用灰度值对深度值进行滤波处理，优选地进行自适应滤波处理，保证深度值的处理有效性。

本发明的另一个优势在于提供一种深度图像成像方法及其装置，其能够存储并处理高分辨率的相位数据，并能够实现后续标定校正，保证高分辨率图像的输出。

本发明的另一个优势在于提供一种深度图像成像方法及其装置，其除了采用并行计算处理的策略，也对存储器的调用处理提供优化策略，使得整体计算运行可靠。

本发明的另一个优势在于提供一种深度图像成像方法及其装置，其计算得到的数据经过数字图像处理后，可以通过有线或无线的方式，传输至计算机或移动终端等等环境，具有较高的环境适应性。

本发明的另一个优势在于提供一种深度图像成像方法及其装置，其能够实现效果：高分辨率，可达640*480；更快的帧率，最大可达30fps，且帧处理可随着输入的帧率做自适应变化；更低的时延，达到微妙us级别。

本发明的其它优势和特点通过下述的详细说明得以充分体现并可通过所附权利要求中特地指出的手段和装置的组合得以实现。

依本发明的一个方面，能够实现前述目的和其他目的和优势的本发明的一深度图像成像方法，包括以下步骤：

根据一感测器的标定校正参数，预设定；

初始化所述感测器后，采集深度图像数据；

并行地对深度图像数据进行处理，以得到灰度值和深度值；以及

输出处理后的数据，以供数字图像成像。

根据本发明的一个实施例，所述预设定步骤进一步地包括步骤：

获取所述感测器的标定校正参数；和

储存所述标定校正参数于一存储器之中，以供数据处理使用。

根据本发明的一个实施例，所述存储器为Flash存储器(Flash Memory)。

根据本发明的一个实施例，所述采集深度图像数据步骤进一步地包括步骤：

发射经过120Mh正弦波调试后的940nm窄带光信号；

当光信号碰到一物体后经反射后，接收反射的光信号；以及

按照设定的周期采样。

根据本发明的一个实施例，对接收反射的光信号进行量化。

根据本发明的一个实施例，所述并行地对深度图像数据进行处理步骤，进一步地包括步骤：

转换采集到的光信号的信息数据格式；

整理N个相位数据，以供按照一定的数据格式存入所述存储器；

并行地计算，以得到深度值和灰度值；以及

输出深度值和灰度值，以供数字图像处理。

根据本发明的一个实施例，所述存储器为DDR SDRAM存储器(Double Data RateSynchronous Dynamic RandomAccess Memory，双倍速率同步动态随机存储器)。

根据本发明的一个实施例，所述并行地计算步骤，进一步包括步骤：

计算相位差；

根据所述标定校正参数，标定校正相位差值；

计算深度距离；

对深度距离进行滤波处理，以得到深度值。

根据本发明的一个实施例，所述标定校正相位差值值选自以下方式的至少一种：温度标定校正、梯度误差标定校正、循环误差标定校正。

根据本发明的一个实施例，所述对深度距离进行滤波处理选自以下方式的至少一种：置信度滤波处理、自适应滤波处理。

依本发明的另一个方面，本发明进一步提供一深度图像成像装置，其包括：

一并行处理器，至少一存储器，一感测器以及一接口组件，其中所述存储器、所述感测器和所述接口组件均可通信地连接至所述并行处理器，其中所述感测器的标定校正参数被预设定于所述存储器，以供所述并行处理器使用，其中所述感测器以发射光信号并接收反射光信号的方式采集深度图像数据，其中所述并行处理器并行地对深度图像数据进行处理，并根据所述标定校正参数进行标定校正，以得到灰度值和深度值，使得所述接口组件输出处理后的数据，以供数字图像成像。

根据本发明的一个实施例，所述感测器的标定校正参数被一终端获得并处理后储存至所述存储器。

根据本发明的一个实施例，所述感测器的标定校正参数经过I2C接口(Inter－Integrated Circuit，两线式串行总线)被计算机终端获得并换算处理后储存至所述存储器。

根据本发明的一个实施例，所述感测器发射经过120Mh正弦波调试后的940nm窄带光信号，当光信号碰到一物体后经反射后，接收反射的光信号，并按照设定的周期采样。

根据本发明的一个实施例，所述并行处理器转换采集到的光信号的信息数据格式，整理N个相位数据后，以供按照一定的数据格式存入所述存储器，并行地计算，以得到深度值和灰度值，通过所述接口组件输出深度值和灰度值，以供数字图像处理。

根据本发明的一个实施例，所述存储器为DDR SDRAM存储器。

根据本发明的一个实施例，所述DDR SDRAM存储器被定义处理优先级，从高至低：标定校正参数写操作、图像数据写操作、标定校正参数读操作、图像数据读操作。

根据本发明的一个实施例，所述并行处理器从所述存储器得到图像数据计算相位差，根据所述标定校正参数，标定校正相位差值，计算深度距离，以及对深度距离进行滤波处理，以得到深度值。

根据本发明的一个实施例，所述并行处理器从所述存储器使用所述标定校正参数，以对相位差进行标定校正，并选自以下方式的至少一种：温度标定校正、梯度误差标定校正、循环误差标定校正。

根据本发明的一个实施例，所述并行处理器对深度距离进行滤波处理选自以下方式的至少一种：置信度滤波处理、自适应滤波处理。

通过对随后的描述和附图的理解，本发明进一步的目的和优势将得以充分体现。

本发明的这些和其它目的、特点和优势，通过下述的详细说明，附图和权利要求得以充分体现。

附图说明

图1是根据本发明的一个优选实施例的深度图像成像方法及其装置的流程示意图。

图2是根据本发明的上述优选实施例的深度图像成像装置的框图。

图3是根据本发明的上述优选实施例的深度图像成像方法及其装置的具体流程示意图，阐释预设定步骤。

图4是根据本发明的上述优选实施例的深度图像成像方法及其装置的具体流程示意图，阐释采集步骤。

图5是根据本发明的上述优选实施例的深度图像成像方法及其装置的具体流程示意图，阐释数据并行处理步骤。

图6是根据本发明的上述优选实施例的深度图像成像方法及其装置的具体流程示意图，阐释具体的深度值处理步骤。

图7是根据本发明的上述优选实施例的深度图像成像方法及其装置的具体流程示意图。

图8是根据本发明的上述优选实施例的深度图像成像装置的具体电路示意。

图9是根据本发明的上述优选实施例的深度图像成像方法及其装置转换后的光信号信息数据格式示意图。

图10是根据本发明的上述优选实施例的深度图像成像方法及其装置采集的光信号波形图。

图11至图14是根据本发明的上述优选实施例的深度图像成像方法及其装置的框图，阐释具体DDR优先级定义的三级状态机。

图15至图16是根据本发明的上述优选实施例的深度图像成像方法及其装置的框图，阐释自适应滤波实现方式。

具体实施方式

以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例，本领域技术人员可以想到其他显而易见的变型。在以下描述中界定的本发明的基本原理可以应用于其他实施方案、变形方案、改进方案、等同方案以及没有背离本发明的精神和范围的其他技术方案。

本领域技术人员应理解的是，在本发明的揭露中，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系是基于附图所示的方位或位置关系，其仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此上述术语不能理解为对本发明的限制。

可以理解的是，术语“一”应理解为“至少一”或“一个或多个”，即在一个实施例中，一个元件的数量可以为一个，而在另外的实施例中，该元件的数量可以为多个，术语“一”不能理解为对数量的限制。

本发明提供基于ToF技术(Time ofFlight，飞行时间)的深度图像的成像方法与成像设备。本领域的技术人员理解理解的是，对于同样的编程思路或构思，可以利用不同种类的可编程处理器及相适配的电子元器件来完成，属于对相同方法的等同执行手段，仍在发明构思的涵盖范围之内。

为方便说明本发明构思，提出本优选实施例，如图1至图16所示。本优选实施例所提及的具体电子元器件型号均可在达成相同功能的同等器件类别中进行选择和替换。如本优选实施例所涉及的立体摄像、深度相机、三维图像感测器等等，均可以由ToF相机模块所代表的采集设备或其他等同设备来完成执行具有深度相关数据的图像采集功能。

本优选实施例提供的所述深度图像成像方法，如图1和图2，适于获得一物体80的深度图像，包括以下步骤：

初始化后，采集深度图像数据；并行地对深度图像数据进行处理，以得到灰度值和深度值；以及输出处理后的数据，以供数字图像成像。

具体地，所述成像方法在采集步骤之前，包括步骤：预设定后续数据处理的相关参数和方法，包括对数据的格式设定、标定校正设定、计算与过滤顺序等等。也就是说，在按照预设定初始化后，采集所述物体80的深度图像数据即可直接按照预设定的参数进行处理，使得后续的处理速度得以提升。

本优选实施例提供的所述深度图像成像装置，包括：

一并行处理器10、至少一存储器20、一感测器30以及一接口组件40，其中所述存储器20、所述感测器30以及所述接口组件40均被可通信地连接至所述并行处理器10。所述深度图像成像装置优选地为集成电路为主体的表现方式，更优选地为一体化集成模块的表现方式。在本优选实施例中所述感测器30被优选地实施为ToF相机模块。

所述感测器30进一步地包括：一激光发射模块和一个感光传感模块。所述感测器30能够被控制而发射光信号于视场当中，当光信号遇到所述物体80产生反射，所述感测器30能够接收反射的光信号。优选地，所述感测器30还包括一滤光片，进而保证接收的光信号的有效性。

本优选实施例中，所述感测器30发射940nm的激光信号，调制成120Mhz的正弦波光信号，所述感测器30接收经过一个窄带滤光片后的反射光信号，保证只接收940nm的光信号，得到最终的成像用的光信号。这一过程在本优选实施例中即为采集深度图像数据。

为了能够实现高分辨率、更快的帧率、更低的时延的成像效果。本优选实施例的具体技术手段如图3至图6所示。

如图3所示，所述预设定步骤进一步地包括步骤：

获取所述感测器30的标定校正参数；和

储存所述标定校正参数于所述存储器20之中，以供数据处理使用。

优选地，所述预设定步骤是通过所述接口组件40，在所述并行处理器10和一计算机终端90实现的。

优选地，储存所述标定校正参数的所述存储器20为Flash存储器(Flash Memory)。

进一步地，获取的标定校正参数包括：梯度误差补偿参数、循环误差补偿参数、温飘系数。通过对标定校正参数的预处理，可提升后续对图像数据的标定过程的处理速度。

更具体地，所述感测器30的标定校正参数经过所述接口组件40之中的I2C接口被一计算机终端90获得并换算处理后储存至所述存储器20。也就是说，计算机终端通过I2C接口模块读取ToF相机模块的标定数据，并在上位机中换算成所述深度图像成像装置的所述并行处理器10可直接使用的数据。计算机终端通过I2C接口模块把标定数据存入到Flash存储器中。

特别地，所述深度图像成像装置进一步包括多个不同类型的所述存储器20，例如Flash存储器与DDR SDRAM存储器。在初始化过程中，所述并行处理器10从Flash存储器中读取标定校正参数，并缓存于DDR SDRAM存储器。当然，也可以从Flash存储器中缓存至静态缓存，或直接从Flash存储器/DDR SDRAM存储器中调用。

如图4所示，所述采集深度图像数据步骤进一步地包括步骤：

发射经过120Mh正弦波调试后的940nm窄带光信号；

当光信号碰到所述物体80后经反射后，接收反射的光信号；以及

按照设定的周期采样。

值得一提的是，这里对光信号的数值性能进作为举例说明，不做限制。

优选地，所述感测器30按照每四分之一周期去采样一组图像数据。图像数据是可以由光信号转换的，可以进行数字成像的数据，本实施例中的图像数据均是具有深度性质的，也就是说，通过处理图像数据能够得到三维的图像。更优选地，图像数据还携带温度信息。

优选地，所述感测器30能够对接收反射的光信号进行量化，统计得到图像数据。

所述感测器30通过所述接口组件40将图像数据传送至所述并行处理器10，待处理。优选地，图像数据通过所述接口组件40被储存至所述存储器20。所述存储器20优选为DDR SDRAM存储器。

更多地，如图5所示，所述并行地对深度图像数据进行处理步骤，进一步地包括步骤：

转换采集到的光信号的信息数据格式；

整理N个相位数据，以供按照一定的数据格式存入所述存储器，N为大于等于1的整数；

并行地计算，以得到深度值和灰度值；以及

输出深度值和灰度值，以供数字图像处理。

更具体地，本优选实施例中，整理出分辨率640x480四个相位图像数据并按照一定的数据格式存入所述存储器20中，等到完整一帧数据存入所述存储器20后，以行位单位从所述存储器20读取数据，以供后续并行地计算相位差值和灰度值。

如图6所示，本优选实施例的所述并行地计算步骤，进一步包括步骤：

计算相位差；

根据所述标定校正参数，标定校正相位差值；

计算深度距离；

对深度距离进行滤波处理，以得到深度值。

值得一提的是，本优选实施例中，对于相位差并没有直接计算输出深度距离，而是通过对相位差的标定校正，使得在进一步处理之前得到具体的校正，从而保证之后的深度距离计算的可靠性。并且，在对深度距离计算得到深度值之前，对深度距离进行了滤波处理，提高深度值的准确性。

在本优选实施例中，所述标定校正相位差值选自以下方式的至少一种：温度标定校正、梯度误差标定校正、循环误差标定校正。在温度标定校正中，所采用的标定校正参数来自所述感测器30所采集的图像数据。

进一步地，所述对深度距离进行滤波处理选自以下方式的至少一种：置信度滤波处理、自适应滤波处理。在置信度滤波处理中，采用灰度值，辅助对深度距离进行滤波处理。具体地，对深度距离所对应的灰度值进行判断，大于一定的阈值，则认为该点的深度距离有效，即可以作为深度值；小于等于阈值，则认为该点的深度距离无效。

通过并行处理，深度值和灰度值均被处理完成，以供通过所述接口组件40传送至终端设备90。所述终端设备90如计算机或便携智能终端，例如安卓***终端。

本优选实施例中，所述深度图像成像装置的所述并行处理器10采用FPGA处理器(Field Programmable GateArray，现场可编程逻辑门阵列)。所述存储器20采用Flash存储器与DDR SDRAM存储器相互配合的组合。所述接口组件40采用I2C接口、SPI接口(SerialPeripheral Interface，串行外设接口)与MIPI接口(Mobile Industry ProcessorInterface，移动产业处理器接口)的组合。一种深度图像成像方法于所述深度图像成像装置运行的大致方式如图7所示。

所述深度图像成像装置一种可行的电路示意如图8所示。也就是说，所述深度图像成像装置可以利用控制电路的方式而实施。当然，在可行的方式中，所述深度图像成像装置可以被集成化为单独元器件，本发明不予限制。另外，对于FPGA处理器的所需必要性电子元器件可以采用现有方式进行连接，参考Clock时钟的表达示意。所述接口组件40作为所述并行处理器10的输入输出端口，其可以为多个，根据不同的具体程序设定可以进行选择。

本实施例中，FPGA处理器作为所述并行处理器10通过所述接口组件40的SPI接口与所述存储器20的Flash存储器可通信地连接，通过所述接口组件40的I2C接口和MIPI接口与所述感测器30可通信地连接，并通过所述接口组件40的I2C接口和MIPI接口与所述终端90连接。所述终端90可进一步地通过USB和/或另外芯片与所述并行处理器10连接。

具体地，本实施例以FPGA处理器作为所述并行处理器10为核心、ToF相机模块作为所述感测器30为技术基础的深度图像成像方法的具体方案如图8至图16所示。

在预设定步骤中，获取所述感测器30的标定校正参数和储存所述标定校正参数于所述存储器20之中。

所述计算机终端90通过所述接口组件40的I2C接口读取所述感测器30的标定校正参数，并换算成FPGA模块可直接使用的数据格式。所述计算机终端90通过所述接口组件40的I2C接口把转换后的标定校正参数存入到Flash存储器中，通过对标定数据的预处理方式，可提升标定过程的处理速度。

在初始化过程中，所述并行处理器10从Flash存储器读取标定校正数据，并缓存在FPGA的静态缓存中或DDR SDRAM存储器。所述并行处理器10对所述感测器30进行初始化设置，以供后续采集深度图像数据。

初始化完成后，在采集深度图像步骤中，光信号为940nm的激光信号，调制成120Mhz的正弦波光信号。所述感测器30的所述激光发射模块会发射调制后的光信号发射到目标物体，光信号碰到物体后经物体反射，被所述感测器30的所述感光传感模块接收，并对接收到的光信号进行量化统计，其中所述感测器30按照每四分之一周期去采样一组数据，最后所述感测器30把数据通过所述接口组件40的MIPI接口发送给所述并行处理器10。

由于所述并行处理器10，FPGA处理器，内部子模块的处理以行为单元，即前一个模块处理完一行数据，下一个模块便可发起运行操作，每个模块之间等待处理时间是1行数据，而现有软件是按照帧为单位处理数据的，即每个流程等待N行(如480行)。因此，与现有软件按照帧单位计算相比，时延大大降低，提前了N-1行时间等待。

举例地，经过MIPI接口发送给所述并行处理器10的图像数据格式如图9所示，其中，图像数据有包含4个相位(Phase)数据，Effective pixel area表示一个相位的数据信息，分辨率是1280*480，每2个pixel分辨表示A和B，根据深度图像检测技术，A-B表示1个相位值，转换后分辨率变成640*480。

特别地，图像数据携带温度信息，如图9中每个Phase数据的最后带3行EmbeddedData Line数据，每行数据长度为128字节，根据数据定义解析后，可获取实时温度信息，该温度值用于温度标定。

进行并行计算处理之前，所述并行处理器10整理出分辨率640x480四相位数据并按照一定的数据格式存入所述存储器20的DDR SDRAM存储器中，等到完整一帧数据存入DDRSDRAM存储器后，以行位单位从DDR SDRAM存储器读取数据，再并行计算相位差值和灰度值。

对于计算深度值，具体步骤包括：

步骤1：根据设定，所述ToF模块在每隔四分之一周期进行一次曝光，以得到4个相位的光信号值，如图10，以此分别记为S0、S1、S2、S3；

步骤2：通过下述公式，计算，以得到相位差：

步骤3：通过求反导，可计算得到相位差值

步骤4：计算深度距离值D

其中，c表示光速，T表示发送调制周期，f表示发送调制频率。

另外，对于计算灰度值，具体步骤包括：

根据4相位数据，计算灰度值G的公式：

G＝|I|+|Q|—————————————————公式4

其中I＝SO-S2 Q＝S3-S1

值得一提的是，在步骤3之后步骤4之前，进一步对相位差值

进行标定校正。

本优选实施例中具体方式包括温度标定校正、梯度误差标定校正、循环误差标定校正等。

梯度误差标定校正方法：在一个标准的标定设备中在相同距离时可测得每个pixel点的距离误差值，形成一帧标定补偿值，最后每个点与对应位置的标定补偿值进行校正计算。也就是说，预设定梯度误差补偿参数。

其在FPGA处理器中的具体实现方法：标定后的值＝每个点的相位值+对应点的补偿值。

循环误差标定校正方法：在一个标准的标定设备中在不同距离下测量相位差，与理想的相位差之间，有一定偏差的，但呈现一定的曲线规律变化，整理汇总成一张相位差表。最后通过查表来确定实际的测量距离。也就是说，预设定循环误差补偿参数。

其在FPGA处理器中的具体实现方法：初始化中，读取Flash存储器中预存储的循环误差标定参数，并存入FPGA处理器内部的静态RAM表中，每个计算的相位差可通过查此表来确定实际的距离值。

温度标定校正方法：通过相同距离时，不同温度下的相位差值，与理想的相位差之间，存在一定的偏差，呈现一定的线性关系，通过数据拟合模拟后，计算出一定的线性关系。也就是说，预设定温飘系数。

其在FPGA模块中的具体实现方法：温度标定后值＝标定前值+(当前温度—参考温度)×温飘系数。也就是说，使用如图9中图像数据所携带的实时温度数据，该温度值用于温度标定温度。

标定校正之后，再执行步骤4(公式3)而得到深度距离D。

对于深度距离D可以直接作为深度值。优选地，对深度距离D进行滤波处理后再作为深度值。具体地包括：置信度滤波处理、自适应滤波处理等其他滤波处理。

置信度滤波的实现方式：对深度距离所对应的灰度值进行判断，大于一定的阈值，则认为该点的深度距离有效，即可以作为深度值；小于等于阈值，则认为该点的深度距离无效。

自适应滤波的实现方式，如图15至16所示，以FPGA处理器程序执行方法为例说明：

如图15，对每个深度距离进行自适应滤波处理，可支持不同阶的滤波参数设置，先对列向(Y轴)的深度距离进行高斯滤波，得到新的深度距离D_Y，再对行向(X轴)的深度距离D_Y进行滤波，得到新的滤波值D_X；

其列向(Y轴)滤波算法具体实现过程：

接收1帧数据的第1行数据，存入FIFO缓存中(FIFO1)；

接收1帧数据的第2行数据，继续存入FIFO缓存中(FIFO1)，同时，从FIFO1中读取数据，存入FIFO2；

接收1帧数据的第3行数据，继续存入FIFO缓存中(FIFO1)，同时，从FIFO1中读取数据，存入FIFO2，同时，从FIFO2中读取数据，存入FIFO3；

以此类推，其余FIFO缓存均采用类似操作。

根据先进先出原则，在第1行数据存入FIFO6后，第7行数据开始输入后，第1行数据从FIFO6读出，我们开始对每一个FIFO读出的第1个数据进行高斯计算；

其中滤波参数0(w6)与FIFO6的第1个数相乘，得到sum6；

滤波参数w+1(w7)与FIFO7的第1个数相乘，得到sum7……

滤波参数w-1(w5)与FIFO5的第1个数相乘，得到sum5……

SUM＝sum0+sum1…+sum6+sum7…sum11；

Weight＝w0+sw1…+w6+w7…w11；

滤波后的深度距离＝SUM/Weight；

以此类推，就可以实现1行数据的滤波计算。

当输入完最后1行数据(第N行)数据后，该滤波器已完成了N-6行数据滤波，其中1帧数据的最后6行数据还缓存在FIFO1～FIF06中；

在计算第N-6行数据滤波的同时，自动触发一个填充模式，往FIFO1中输入1行全是0的数据；

在计算第N-5行数据滤波的同时，自动触发一个填充模式，往FIFO1中输入1行全是0的数据；

以此类推，只要6次就可以完成1帧6行数据的滤波。

如图16所示，其列向(Y轴)滤波算法代码状态机具体实现：

STATE_IDLE：等待状态，读取每1帧的前6行数据存入FIFO；

STATE_RDY：表示当前FIFO中有6行数据，等待下一行数据的到来。当下一行数据来的时候，便可以输出滤波结果；

STATE_FILTER：进行Y轴滤波操作，并输出滤波结果；

STATE_LAST：表示最后6行数据滤波，但不从DDR中读取数据，对FIFO填充数据0。

其行向(X轴)滤波算法具体实现过程：

实现的思路与列向(Y轴)滤波算法过程一致，从1个FIFO缓存变成1个寄存器缓存。

经过以上2步滤波操作，便可对深度距离D实现自适应滤波处理，而得到深度值。

最后，将并行处理得到的深度值和灰度值输出，以供数字图像成像。优选地，所述FPGA处理器通过MIPI接口把深度值和灰度值数据输出，传至具有MIPI接口的芯片，接收数据后，或可做进一步是数字图像处理后，通过USB可传送给终端设备90，例如计算机或便携智能终端，例如安卓***终端。

特别地，本优选实施例采用DDR SDRAM存储器。优选为三代DDR SDRAM存储器。因同一时刻只能读或写一个操作，本优选实施例还提供读写优先级流程，如图11至图14，使得进程合理，避免影响处理速度。

所述DDR SDRAM存储器被定义处理优先级，从高至低：标定校正参数写操作、图像数据写操作、标定校正参数读操作、图像数据读操作。

具体地，标定参数写操作优先级最高，它关系到实际数据的处理结果；pixel数据写操作优先级次之，没有及时存入DDR SDRAM存储器中，会产生额外的资源开销；标定数据读操作第三；pixel数据读操作优先级最低。

DDR SDRAM存储器的管理通过3级状态机嵌套实现，分别对应3个模块：ddr_ctrl、ddr_axi、ddr_raxi/ddr_waxi，如图11所示，ddr_ctrl负责DDR地址管理，是写地址还是读地址；负责数据分类管理，是标定参数还是相位数据；还是所有DDR的操作的发起端。

一级状态机，如图12所示，其状态机说明：

STATE_IDLE：空闲等待状态；

STATE_PIXELI：把相位数据写入DDR；

STATE_PIXELO：从DDR中读取相位数据；

STATE_INIT：上电后，从Flash中读取标定参数后，预存入DDR，优先级最高；

STATE_CALI：从DDR中读取标定校正数据；

其中，ddr_axi发起DDR读写操作，并向DDR发起地址命令。

二级状态机，如图13所示，其状态机说明：

STATE_IDLE：空闲状态；

STATE_CMDW：表示写地址命令发送完成；

STATE_CMDW：表示读地址命令发送完成；

STATE_BURST：表示1行数据读写完成；

其中，ddr_raxi/ddr_raxi分别对应根据DDR时序进行读/写操作。

三级状态机，如图14所示，其状态机说明：

STATE_IDLE：空闲状态；

STATE_WR：写数据流程；

STATE_RD：读数据流程。

因此，除了采用并行计算处理的策略，也对存储器的调用处理提供优化策略，使得整体计算运行可靠。

所述深度图像成像方法计算得到的数据经过数字图像处理后，可以通过有线或无线的方式，传输至计算机或移动终端等等环境，具有较高的环境适应性，能够实现效果：高分辨率，可达640*480；更快的帧率，最大可达30fps，且帧处理可随着输入的帧率做自适应变化；更低的时延，达到微妙us级别。

本领域的技术人员应理解，上述描述及附图中所示的本发明的实施例只作为举例而并不限制本发明。本发明的目的已经完整并有效地实现。本发明的功能及结构原理已在实施例中展示和说明，在没有背离所述原理下，本发明的实施方式可以有任何变形或修改。

Claims (22)

1.一深度图像成像方法，包括以下步骤：

根据一感测器的参数初始化后，通过所述感测器，采集深度图像数据；

并行地对深度图像数据进行处理，以得到灰度值和深度值；以及

输出处理后的数据，以供数字图像成像。

2.根据权利要求1所述的深度图像成像方法，其中采集步骤之前包括步骤：根据所述感测器的参数，预设定。

3.根据权利要求2所述的深度图像成像方法，其中预设定步骤进一步地包括步骤：

获取所述感测器的标定校正参数；和

储存所述标定校正参数于一存储器之中，以供数据处理使用。

4.根据权利要求3所述的深度图像成像方法，其中所述存储器为Flash存储器。

5.根据权利要求1所述的深度图像成像方法，其中所述采集深度图像数据步骤进一步地包括步骤：

发射经过调试后的光信号；

当光信号碰到一物体后经反射后，接收反射的光信号；以及

按照设定的周期采样，以得到图像数据，其中图像数据具有所述物体的深度信息。

6.根据权利要求5所述的深度图像成像方法，其中图像数据具有所述物体的温度信息。

7.根据权利要求5所述的深度图像成像方法，其中所述并行地对深度图像数据进行处理步骤，进一步地包括步骤：

转换采集到的光信号的信息数据格式；

整理N个相位数据，以供按照一定的数据格式存入所述存储器，N为大于等于1的整数；

并行地计算，以得到深度值和灰度值；以及

输出深度值和灰度值，以供数字图像处理。

8.根据权利要求7所述的深度图像成像方法，其中所述存储器为DDR SDRAM存储器。

9.根据权利要求7所述的深度图像成像方法，其中所述并行地计算步骤，进一步包括步骤：

计算相位差；

根据所述标定校正参数，标定校正相位差值；

计算深度距离；以及

对深度距离进行滤波处理，以得到深度值。

10.根据权利要求9所述的深度图像成像方法，其中标定校正相位差值值选自以下方式的至少一种：温度标定校正、梯度误差标定校正、循环误差标定校正。

11.根据权利要求9所述的深度图像成像方法，其中对深度距离进行滤波处理选自以下方式的至少一种：置信度滤波处理、自适应滤波处理。

12.一深度图像成像装置，其包括：

一并行处理器，至少一存储器，一感测器以及一接口组件，其中所述存储器、所述感测器和所述接口组件均可通信地连接至所述并行处理器，其中所述感测器的标定校正参数被预设定于所述存储器，以供所述并行处理器使用，其中所述感测器以发射光信号并接收反射光信号的方式采集深度图像数据，其中所述并行处理器并行地对深度图像数据进行处理，并根据所述标定校正参数进行标定校正，以得到灰度值和深度值，使得所述接口组件输出处理后的数据，以供数字图像成像。

13.根据权利要求12所述的深度图像成像装置，其中所述感测器的标定校正参数被一终端获得并处理后储存至所述存储器。

14.根据权利要求12所述的深度图像成像装置，其中所述感测器的标定校正参数包括：梯度误差补偿参数、循环误差补偿参数、温飘系数。

15.根据权利要求12所述的深度图像成像装置，其中所述感测器的标定校正参数经过I2C接口被计算机终端获得并换算处理后储存至所述存储器。

16.根据权利要求12所述的深度图像成像装置，其中所述感测器发射经过正弦波调试后的窄带光信号，当光信号碰到一物体后经反射后，接收反射的光信号，并按照设定的周期采样。

17.根据权利要求12所述的深度图像成像装置，其中所述并行处理器转换采集到的光信号的信息数据格式，整理N个相位数据后，以供按照一定的数据格式存入所述存储器，并行地计算，以得到深度值和灰度值，通过所述接口组件输出深度值和灰度值，以供数字图像处理，其中N为大于等于1的整数。

18.根据权利要求17所述的深度图像成像装置，其中所述存储器为DDR SDRAM存储器。

19.根据权利要求18所述的深度图像成像装置，其中所述DDR SDRAM存储器被定义处理优先级，从高至低：标定校正参数写操作、图像数据写操作、标定校正参数读操作、图像数据读操作。

20.根据权利要求17所述的深度图像成像装置，其中所述并行处理器从所述存储器得到图像数据计算相位差，根据所述标定校正参数，标定校正相位差值，计算深度距离，以及对深度距离进行滤波处理，以得到深度值。

21.根据权利要求17所述的深度图像成像装置，其中所述并行处理器从所述存储器使用所述标定校正参数，以对相位差进行标定校正，并选自以下方式的至少一种：温度标定校正、梯度误差标定校正、循环误差标定校正。

22.根据权利要求17所述的深度图像成像装置，其中所述并行处理器对深度距离进行滤波处理选自以下方式的至少一种：置信度滤波处理、自适应滤波处理。

Images