CN110619617A - 三维成像方法、装置、设备及计算机可读存储介质 - Google Patents

Abstract

本发明实施例公开了一种三维成像方法、装置及***。其中，三维成像***包括图像采集装置、同步驱动电路及信息处理器。图像采集装置包括可见光传感器和面阵三维传感器，可见光传感器用于采集被测点的二维图像数据，面阵三维传感器用于采集被测点的深度图像数据并以面阵形式输出。同步驱动电路用于控制二维图像数据和深度图像数据采集的同步性，以保证时域信息获取的一致性；信息处理器用于将二维图像数据和深度图像数据进行实时融合，并生成以面阵形式输出的点云数据。本申请提供的技术方案实现了面阵形式的大分辨率、高帧频点云数据的输出，满足深度视觉技术领域高分辨率、高精度三维成像的需求。

Description

三维成像方法、装置、设备及计算机可读存储介质

技术领域

本发明实施例涉及光学成像技术领域，特别是涉及一种三维成像方法、装置及***。

背景技术

深度视觉技术为未来机器视觉产业和光电产业的重要发展方向，和传统的机器视觉二维信息处理相比，深度图像包含了场景的三维深度信息和二维灰度信息，这与人眼的视觉成像机制是一致的，未来的机器视觉产业将从普通的二维图像视觉发展到深度视觉，这一技术未来将在智能机器人、无人驾驶、AR/VR、安防监控等几乎所有视觉和光电产业相关领域产生颠覆性的变革。

深度视觉的核心是高性能的三维深度成像技术。相关技术中可通过激光扫描、结构光、双目视觉以及面阵TOF(Time of flight，飞行时间)技术来实现三维成像技术。而扫描式三维成像、结构光、双目视觉方法因为机构复杂、成本高、稳定性差等缺点无法满足高性能的深度成像要求。尽管TOF技术虽然能够以非扫描的方式获取场景的深度信息，但是由于受到了传感器工艺以及光学设计理论的限制，无法实时获取更多的点云数据，TOF成像分辨率过低，成像质量较差，作用距离也无法满足高端领域的需求，仅仅可将三维信息作为一种距离测量方法，无法将其作为一种视觉成像技术进行应用。

发明内容

本公开实施例提供了一种三维成像方法、装置及***，实现了面阵形式的大分辨率、高帧频点云数据的输出，满足深度视觉技术领域高分辨率、高精度三维成像的需求。

为解决上述技术问题，本发明实施例提供以下技术方案：

本发明实施例一方面提供了一种三维成像***，包括图像采集装置、同步驱动电路及信息处理器；

其中，所述图像采集装置包括用于采集被测点二维图像数据的可见光传感器和用于采集所述被测点深度图像数据并以面阵形式输出的面阵三维传感器；

所述同步驱动电路用于控制所述二维图像数据和所述深度图像数据采集的同步性，以保证时域信息获取的一致性；

所述信息处理器用于将所述二维图像数据和所述深度图像数据进行实时融合，并生成以面阵形式输出的点云数据。

可选的，所述图像采集装置还包括单点激光传感器，所述信息处理器还包括数据自校准模块和光源控制模块；

所述光源控制模块用于根据所述面阵三维传感器的工作频率调制所述单点激光传感器的激光器照明光源的工作频率，以同步触发所述面阵三维传感器和所述单点激光传感器进行数据采集；

所述数据自校准模块用于根据所述单点激光传感器采集的所述被测点的距离信息进行三维成像***的数据标定和点云数据自校准。

可选的，还包括能量汇聚光学装置；

所述能量汇聚光学装置用于在所述单点激光传感器的工作区域内进行激光器照明光源的远距离能量汇聚，以增加所述激光器照明光源的照明距离。

可选的，所述能量汇聚光学装置为非球面不连续弧形反射光杯。

可选的，所述非球面不连续弧形反射光杯还设置有覆盖在光杯表面的反射膜。

可选的，所述信息处理器还包括工作频率计算模块；

所述工作频率计算模块用于根据第一公式计算所述面阵三维传感器的工作频率，所述第一公式为：

式中，N₀为真实测量距离，n为所述面阵三维传感器的频率总个数，k_i为波长的倍数，d_i为不同调制频率得到的距离，c为光速，f_i为第i个工作频率。

可选的，所述信息处理器还包括工作频率计算模块；

所述工作频率计算模块用于根据第二公式计算所述面阵三维传感器的工作频率，所述第二公式为：

式中，N₀'为加权后的真实测量距离，n为所述面阵三维传感器的频率总个数，m为频率的总数，u为频率的第一位置，v为频率的第二位置，k_v和k_u为波长的倍数，c为光速，f_u为第u个工作频率，f_v为第v个工作频率，为f_u对应的方差，μ_u为f_u对应的均值；μ_v为f_v对应的均值，为f_v对应的方差。

本发明实施例另一方面提供了一种三维成像方法，包括：

同时获取被测点在第一时刻的二维可见光图像数据和深度图像数据；

将所述二维可见光图像数据和所述深度图像数据进行实时融合，生成以面阵形式输出的点云数据。

可选的，所述将所述二维可见光图像数据和所述深度图像数据进行实时融合之后，还包括：

根据所述被测点的激光距离数据信息对融合后的数据进行自校准，以作为所述被测点的点云数据进行输出；

所述激光距离数据信息为在所述第一时刻采集的所述被测点的激光距离数据。

本发明实施例还提供了一种三维成像装置，包括：

数据获取模块，用于同时获取被测点在第一时刻的二维可见光图像数据和以面阵形式输出的深度图像数据；

数据融合模块，用于将所述二维可见光图像数据和所述深度图像数据进行实时融合，生成以面阵形式输出的点云数据。

本申请提供的技术方案的优点在于，综合利用了多个图像传感器进行稠密及高密度图像数据采样，并设置同步驱动电路保证高密度的可见光数据和稠密的深度图像数据采样的同步性，从而保证采集的图像数据的时域一致性，最后将具有时域一致性的图像数据进行实时融合，有效地增加了深度图像的细节信息，提高了三维成像的质量和分辨率，实现了以面阵形式输出的高分辨率、高帧频点云数据输出，满足深度视觉技术领域高分辨率、高精度三维成像的需求。

此外，本发明实施例还针对三维成像***提供了相应的实现方法及虚拟装置，进一步使得所述方法更具有可行性，所述装置、设备及计算机可读存储介质具有相应的优点。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。

附图说明

为了更清楚的说明本发明实施例或相关技术的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的三维成像***的一种具体实施方式结构图；

图2为本发明实施例提供的三维成像***的另一种具体实施方式结构图；

图3为本发明实施例提供的一种三维成像方法的流程示意图；

图4为本发明实施例提供的另一种三维成像方法的流程示意图；

图5为本发明实施例提供的三维成像装置的一种具体实施方式结构图；

图6为本发明实施例提供的三维成像装置的另一种具体实施方式结构图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等是用于区别不同的对象，而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。

在介绍了本发明实施例的技术方案后，下面详细的说明本申请的各种非限制性实施方式。

首先请参阅图1，图1为本发明实施例提供的三维成像***在一种实施方式下的结构框架示意图，本发明实施例可包括以下内容：

三维成像***可包括图像采集装置1、同步驱动电路2及信息处理器3，图像采集装置1分别与同步驱动电路2、信息处理器3相连。

其中，图像采集装置1包括可见光传感器11和面阵三维传感器12。可见光传感器11用于采集二维灰度图像数据，面阵三维传感器12用于采集深度图像数据，且深度图像数据为以面阵形式输出。图像采集装置1中包含可见光传感器11和面阵三维传感器12的个数、种类、硬件参数可根据实际应用场景进行确定，本申请对此不做任何限定。

在本申请中，同步驱动电路2用于控制二维图像数据和深度图像数据采集的同步性，也就是说，同步驱动电路2用于触发图像采集装置1中的各图像传感器，例如可见光传感器11和面阵三维传感器12，同时对被测点进行数据采集，从而保证各图像传感器采集的数据的时域信息具有一致性。本领域技术人员可根据实际应用场景确定同步驱动电路2的组成结构和包含的各电路元器件，本申请对此不作任何限定，只要实现可控制图像采集装置1中的各图像传感器同时进行数据采样即可。此外，同步驱动电路2还可以通过滤波等降噪手段使其噪声不低于预设噪声值，提高电路的集成能力使得其集成度高于预设集成度参考阈值，且同步驱动电路2的电压适应范围设置较宽。具有低噪声、高集成度、宽电压适应范围的同步驱动电路2可实现对前端图像采集装置1的各种复杂控制功能，使得各图像传感器按照额定指标稳定输出数据。

本实施例中，信息处理器3用于将二维图像数据和深度图像数据进行实时融合，并生成以面阵形式输出的点云数据。可采用相关技术中任何一种可实现将二维数据和三维数据进行融合的图像处理算法，本申请对此不做任何限定。采用TOF输出得到的深度图像与可见光图像融合，使得深度图像的细节信息进一步增加，数据融合后生成的点云数据理论上较三维面阵图像传感器12的点云数据可以提高8×8倍的分辨率。可见，本申请可有效地提高三维成像质量和分辨率。

在本发明实施例提供的技术方案中，综合利用了多个图像传感器进行稠密及高密度图像数据采样，并设置同步驱动电路保证高密度的可见光数据和稠密的深度图像数据采样的同步性，从而保证采集的图像数据的时域一致性，最后将具有时域一致性的图像数据进行实时融合，有效地增加了深度图像的细节信息，提高了三维成像的质量和分辨率，实现了以面阵形式输出的高分辨率、高帧频点云数据输出，满足深度视觉技术领域高分辨率、高精度三维成像的需求。

在另外一种实施方式中，为了进一步提高三维成像***的成像精度和分辨率，图像采集装置1还可包括单点激光传感器13，单点激光传感器13用于采集被测点的距离数据信息。单点激光传感器13可为任何一种单点扫描激光位移传感器，这均不影响本申请的实现。单点激光传感器13、可见光传感器11和面阵三维传感器12在同步驱动电路2的控制下同步采集数据。相应的，信息处理器3还可以包括光源控制模块，光源控制模块可用于根据面阵三维传感器的工作频率调制单点激光传感器的激光器照明光源的工作频率，以同步触发面阵三维传感器和单点激光传感器进行数据采集。利用单点激光传感器13采集的被测点的激光距离数据，与信息处理器3实时融合后生成的点云数据中的深度信息之间的关系，可以实现对点云数据的自校准，并将校准后的点云数据作为被测点的三维成像数据进行输出，提升了三维成像的精度和分辨率。

在该实施例中，为了解决人工校准操作繁琐的问题，提高三维成像***的适应性和自动化程度，本申请还可通过采用单点激光传感器采集被测试点的距离数据与实际距离数据来实现对***的数据标定或校正，利用实现简易实施自动校准，避免了人工标定的复杂操作，提高了整机***的自动化程度。也就是说，信息处理器3还可包括数据自校准模块，该模块用于根据单点激光传感器采集被测点的距离信息进行三维成像***的数据标定和点云数据自校准。

由上可知，本发明实施例不仅可实现自校正的全自动点云数据输出，进一步提升三维成像数据的精度和分辨率，还可提升三维成像***的自动化程度。

在另外一种实施例中，为实现激光器照明的远距离能量汇聚，提高单点激光传感器13的探测性能，还可设置能量汇聚光学装置，该能量汇聚光学装置用于在单点激光传感器13的工作区域内进行激光器照明光源的远距离能量汇聚，以增加激光器照明光源的照明距离。也就是说，能量汇聚光学装置在整个***中的位置和结构参数要保证覆盖单点激光传感器13的整个工作区域。可选的，实现了较好的能量汇聚效果，能量汇聚光学装置可采用非球面不连续弧形反射光杯，当然，本领域技术人员可根据具体应用场景采用其他可实现能量汇聚的装置，这均不影响本申请的实现。此外，为了进一步提升能量汇聚效果，在球面不连续弧形反射光杯还可设置覆盖光杯表面的反射膜。

在一些其他实施方式中，如图2所示，为了提高***的测量精度，还可针对三维面阵传感器的工作频率进行调制，相应的，信息处理器3还可包括工作频率计算模块，三维面阵传感器设置多个工作频率如f₁,f₂,...,f_n，在每个工作频率下得到的距离信息可设置为d₁,d₂,...,d_n，可利用下述公式计算工作频率为f_i时的距离值：

式中，为真实距离，d_i为测量距离，k_i为波长倍数，c为光速，f_i为第i个工作频率。

最接近实际数值的距离信息可以通过以下的公式计算得到，也就是说，工作频率计算模块可根据下述公式计算面阵三维传感器的工作频率：

式中，N₀为真实测量距离，n为所述面阵三维传感器的频率总个数，k_i为波长的倍数，d_i为不同调制频率得到的距离，c为光速，f_i为第i个工作频率。

为了进一步提高工作频率的计算精度，还可通过对频率进行加权处理，考虑到误差等因素的影响，可采用按照高斯分布进行加权平均方法来计算频率，面阵三维传感器的实际工作频率为f₁,f₂,...,f_m，m≤n，工作频率计算模块还可根据下述公式计算面阵三维传感器的工作频率为：

式中，N₀'为加权后的真实测量距离，n为所述面阵三维传感器的频率总个数，m为频率的总数，u为频率的第一位置，v为频率的第二位置，k_v和k_u为波长的倍数，c为光速，f_u为第u个工作频率，f_v为第v个工作频率，为f_u对应的方差，μ_u为f_u对应的均值；μ_v为f_v对应的均值，为f_v对应的方差。

综上可知，本申请综合利用了多个传感器探测到的深度信息，经过数据融合处理得到了大分辨率、高精度的三维深度信息。该三维成像***复合利用多个传感器的信息融合技术，同时也是一种高度集成的三维成像装置。视觉生理学和视觉心理学的研究表明，人眼感知的是场景的立体深度信息，而传统的三维测量装置无法感知并且以面阵的形式获取这种信息。针对传统的飞行时间测量装置探测距离近、智能化程度低的缺点，本申请结合高精度的同步电路驱动控制、光源设计，实现了高精度、智能化的高分辨率飞行时间测量，从而进一步推进该技术在安防监控、工业机器人、工业检测等领域的广泛应用。突破目前在飞行时间测量领域的技术壁垒，研制一种集三维成像、数据处理、数据分析于一体的飞行时间点云成像与智能信号分析和处理***，在探测距离、探测精度以及分辨率等三个指标方面超越目前的国内外成熟产品，实现高分辨率的面阵三维成像。

此外，本申请还针对三维成像***提供了三维成像方法，请参见图3，图3为本发明实施例提供的一种三维成像方法的流程示意图，本发明实施例可包括以下内容：

S301：同时获取被测点在第一时刻的二维可见光图像数据和深度图像数据。

二维可见光图像数据和深度图像数据为利用不同类型传感器在同一时间采集的数据，且深度图像数据为以面阵形式输出的三维点云数据。

S302：将二维可见光图像数据和深度图像数据进行实时融合，生成以面阵形式输出的点云数据。

在另外一种实施方式中，请参阅图4，基于上述实施例，还可包括：

S303：根据被测点的激光距离数据信息对融合后的数据进行自校准，以作为被测点的点云数据进行输出。

本发明实施例所述三维成像方法的各步骤的具体实现过程可以参照上述***实施例的相关描述，此处不再赘述。

由上可知，本发明实施例实现了面阵形式的大分辨率、高帧频点云数据的输出，满足深度视觉技术领域高分辨率、高精度三维成像的需求。

本发明实施例还针对三维成像方法提供了相应的实现装置，进一步使得所述方法更具有实用性。下面对本发明实施例提供的三维成像装置进行介绍，下文描述的三维成像装置与上文描述的三维成像方法可相互对应参照。

参见图5，图5为本发明实施例提供的三维成像装置在一种具体实施方式下的结构图，该装置可包括：

数据获取模块501，用于同时获取被测点在第一时刻的二维可见光图像数据和以面阵形式输出的深度图像数据。

数据融合模块502，用于将二维可见光图像数据和深度图像数据进行实时融合，生成以面阵形式输出的点云数据。

可选的，在本实施例的一些实施方式中，请参阅图6，所述装置例如还可以包括点云数据自校准模块503，用于根据被测点的激光距离数据信息对融合后的数据进行自校准，以作为被测点的点云数据进行输出；激光距离数据信息为在第一时刻采集的被测点的激光距离数据。

本发明实施例所述三维成像装置的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。

由上可知，本发明实施例实现了面阵形式的大分辨率、高帧频点云数据的输出，满足深度视觉技术领域高分辨率、高精度三维成像的需求。

本发明实施例还提供了一种三维成像设备，具体可包括：

存储器，用于存储计算机程序；

处理器，用于执行计算机程序以实现如上任意一实施例所述三维成像方法的步骤。

本发明实施例所述三维成像设备的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。

由上可知，本发明实施例实现了面阵形式的大分辨率、高帧频点云数据的输出，满足深度视觉技术领域高分辨率、高精度三维成像的需求。

本发明实施例还提供了一种计算机可读存储介质，存储有三维成像程序，所述三维成像程序被处理器执行时如上任意一实施例所述三维成像方法的步骤。

本发明实施例所述计算机可读存储介质的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。

由上可知，本发明实施例实现了面阵形式的大分辨率、高帧频点云数据的输出，满足深度视觉技术领域高分辨率、高精度三维成像的需求。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上对本发明所提供的一种三维成像方法、装置及***进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种三维成像***，其特征在于，包括图像采集装置、同步驱动电路及信息处理器；

其中，所述图像采集装置包括用于采集被测点二维图像数据的可见光传感器和用于采集所述被测点深度图像数据并以面阵形式输出的面阵三维传感器；

所述同步驱动电路用于控制所述二维图像数据和所述深度图像数据采集的同步性，以保证时域信息获取的一致性；

所述信息处理器用于将所述二维图像数据和所述深度图像数据进行实时融合，并生成以面阵形式输出的点云数据。

2.根据权利要求1所述的三维成像***，其特征在于，所述图像采集装置还包括单点激光传感器，所述信息处理器还包括数据自校准模块和光源控制模块；

所述光源控制模块用于根据所述面阵三维传感器的工作频率调制所述单点激光传感器的激光器照明光源的工作频率，以同步触发所述面阵三维传感器和所述单点激光传感器进行数据采集；

所述数据自校准模块用于根据所述单点激光传感器采集的所述被测点的距离信息进行三维成像***的数据标定和点云数据自校准。

3.根据权利要求2所述的三维成像***，其特征在于，还包括能量汇聚光学装置；

所述能量汇聚光学装置用于在所述单点激光传感器的工作区域内进行激光器照明光源的远距离能量汇聚，以增加所述激光器照明光源的照明距离。

4.根据权利要求3所述的三维成像***，其特征在于，所述能量汇聚光学装置为非球面不连续弧形反射光杯。

5.根据权利要求4所述的三维成像***，其特征在于，所述非球面不连续弧形反射光杯还设置有覆盖在光杯表面的反射膜。

6.根据权利要求1所述的三维成像***，其特征在于，所述信息处理器还包括工作频率计算模块；

所述工作频率计算模块用于根据第一公式计算所述面阵三维传感器的工作频率，所述第一公式为：

式中，N₀为真实测量距离，n为所述面阵三维传感器的频率总个数，k_i为波长的倍数，d_i为不同调制频率得到的距离，c为光速，f_i为第i个工作频率。

7.根据权利要求1所述的三维成像***，其特征在于，所述信息处理器还包括工作频率计算模块；

所述工作频率计算模块用于根据第二公式计算所述面阵三维传感器的工作频率，所述第二公式为：

式中，N₀'为加权后的真实测量距离，n为所述面阵三维传感器的频率总个数，m为频率的总数，u为频率的第一位置，v为频率的第二位置，k_v和k_u为波长的倍数，c为光速，f_u为第u个工作频率，f_v为第v个工作频率，为f_u对应的方差，μ_u为f_u对应的均值；μ_v为f_v对应的均值，为f_v对应的方差。

8.一种三维成像方法，其特征在于，包括：

同时获取被测点在第一时刻的二维可见光图像数据和以面阵形式输出的深度图像数据；

将所述二维可见光图像数据和所述深度图像数据进行实时融合，生成以面阵形式输出的点云数据。

9.根据权利要求1所述的三维成像方法，其特征在于，所述将所述二维可见光图像数据和所述深度图像数据进行实时融合之后，还包括：

根据所述被测点的激光距离数据信息对融合后的数据进行自校准，以作为所述被测点的点云数据进行输出；

所述激光距离数据信息为在所述第一时刻采集的所述被测点的激光距离数据。

10.一种三维成像装置，其特征在于，包括：

数据获取模块，用于同时获取被测点在第一时刻的二维可见光图像数据和以面阵形式输出的深度图像数据；

数据融合模块，用于将所述二维可见光图像数据和所述深度图像数据进行实时融合，生成以面阵形式输出的点云数据。