CN114708316A - 基于圆形条纹的结构光三维重建方法、装置和电子设备 - Google Patents

基于圆形条纹的结构光三维重建方法、装置和电子设备 Download PDF

Info

Publication number
CN114708316A
CN114708316A CN202210361004.7A CN202210361004A CN114708316A CN 114708316 A CN114708316 A CN 114708316A CN 202210361004 A CN202210361004 A CN 202210361004A CN 114708316 A CN114708316 A CN 114708316A
Authority
CN
China
Prior art keywords
circular
reconstructed
fringe pattern
projection
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210361004.7A
Other languages
English (en)
Other versions
CN114708316B (zh
Inventor
刘凯
张格悠
许斌
朱策
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN202210361004.7A priority Critical patent/CN114708316B/zh
Publication of CN114708316A publication Critical patent/CN114708316A/zh
Application granted granted Critical
Publication of CN114708316B publication Critical patent/CN114708316B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/254Projection of a pattern, viewing through a pattern, e.g. moiré
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/08Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供了一种基于圆形条纹的结构光三维重建方法,涉及三维成像的技术领域,包括:获取预先配置的圆形条纹图案;将圆形条纹图案投影至待重建物体上,并控制圆形条纹图案相对于待重建物体进行移动;在圆形条纹图案移动过程中,采集待重建物体的图像集合;其中,图像集合包括多张携带有圆形条纹图案的物体图像;基于图像集合对待重建物体进行三维重建,得到待重建物体对应的物体模型。本发明可以显著提升重建质量,降低三维重建设备的使用限制,还可以有效简化重建所需的运算量。

Description

基于圆形条纹的结构光三维重建方法、装置和电子设备
技术领域
本发明涉及三维成像技术领域,尤其是涉及一种基于圆形条纹的结构光三维重建方法、装置和电子设备。
背景技术
结构光三维重建方法是一种通过投影仪将一系列条纹图像投影至待测物体表面,经相机采集待测物体调制的条纹图像后获取每个像素组成的相位图,从而计算待测物体的三维图像的方法。目前,相关技术提出可以选用单向条纹进行投影,该方案需要对相机与投影机的位置关系进行限制,且单向条纹在某些相机与投影机的摆放情况下质量较差,仍存在提升空间,若选用水平和竖直方向的双向条纹进行投影,则获取到的图像数量为单向条纹投影的两倍,投影时间长且运算量大。
发明内容
有鉴于此,本发明的目的在于提供一种基于圆形条纹的结构光三维重建方法、装备和电子设备,可以显著提升重建质量,降低三维重建设备的使用限制,还可以有效简化重建所需的运算量。
第一方面,本发明实施例提供了一种基于圆形条纹的结构光三维重建方法,方法应用于服务器,服务器与相机和投影机连接,方法包括:获取预先配置的圆形条纹图案;将圆形条纹图案投影至待重建物体上,并控制圆形条纹图案相对于待重建物体进行移动;在圆形条纹图案移动过程中,采集待重建物体的图像集合;其中,图像集合包括多张携带有圆形条纹图案的物体图像;基于图像集合对待重建物体进行三维重建,得到待重建物体对应的物体模型。
在一种实施方式中,方法应用于三维重建设备的控制端,三维重建设备还包括与控制端通信连接的投影设备;获取预先配置的圆形条纹图案的步骤,包括:根据预先标定的投影矩阵,确定投影设备的投影平面的对极点,并计算对极点与投影机视场之间的最近距离信息和最远距离信息;根据对极点、最近距离信息和最远距离信息生成圆形条纹图案。
在一种实施方式中,根据对极点、最近距离信息和最远距离信息生成圆形条纹图案的步骤,包括:根据对极点、最近距离信息和最远距离信息,对圆形条纹图案的空间频率进行归一化处理;根据对极点、最近距离信息、最远距离信息、最高频率值和预先设定的相移值,确定圆形条纹图案。
在一种实施方式中,在一定范围内,最高频率值越高,三维重建的精度越高。
在一种实施方式中,三维重建设备还包括与控制端通信连接的图像采集设备;将圆形条纹图案投影至待重建物体上,并控制圆形条纹图案相对于待重建物体进行移动的步骤,包括:利用投影设备将圆形条纹图案投影至待重建物体上,并利用投影设备按照相移值和最高频率值控制圆形条纹图案相对于待重建物体进行移动;在圆形条纹图案移动过程中,采集待重建物体的图像集合的步骤,包括:在圆形条纹图案移动过程中,利用图像采集设备采集待重建物体的图像集合。
在一种实施方式中,基于图像集合对待重建物体进行三维重建,得到待重建物体对应的物体模型的步骤,包括:基于投影矩阵预先配置的二维查找表,确定物体图像中每个像素点对应的目标重建参数;其中,二维查找表用于表征相位和三维坐标之间的映射关系;计算物体图像携带的圆形条纹图案的极径信息;其中,极径信息用于表征物体图像中每个像素点与投影平面的对极点之间的距离;根据每个像素点对应的目标重建参数和极径信息,确定待重建物体对应的物体模型。
在一种实施方式中,计算物体图像携带的圆形条纹图案的极径信息的步骤,包括:根据投影平面中每个像素点与对极点之间的几何关系,确定极径表达式;根据预先配置的绝对相位公式计算每个像素点对应的绝对相位,并根据极径表达式和绝对相位计算极径信息。
在一种实施方式中,根据每个像素点对应的目标重建参数和极径信息,确定待重建物体对应的物体模型的步骤,还包括:根据图像采集设备的光心、投影设备的光心以及光学极点构成的平面,与投影矩阵之间的几何关系,将圆形条纹图案的相位与三维坐标进行解析关联,确定点云解析式;根据每个像素点对应的目标重建参数、极径信息和点云解析式,确定待重建物体对应的物体模型。
第二方面,本发明实施例还提供一种基于圆形条纹的结构光三维重建装置,装置应用于服务器,服务器与相机和投影机连接,装置包括:图案生成模块,获取预先配置的圆形条纹图案;投影模块,将圆形条纹图案投影至待重建物体上,并控制圆形条纹图案相对于待重建物体进行移动;图像获取模块,在圆形条纹图案移动过程中,采集待重建物体的图像集合;其中,图像集合包括多张携带有圆形条纹图案的物体图像;计算模块,基于图像集合对待重建物体进行三维重建,得到待重建物体对应的物体模型。
第三方面,本发明实施例还提供一种电子设备,包括处理器、存储器、基于圆形条纹的结构光三维重建装置及总线,存储器存储有能够被处理器执行的计算机可执行指令,当电子设备运行时,处理器及存储器之间通过总线通信,处理器执行计算机可执行指令以实现第一方面提供的任一项的方法。
本发明实施例带来了以下有益效果:
本发明实施例提供的一种基于圆形条纹的结构光三维重建方法、装备和电子设备,其中,该方法应用于服务器,并且将服务器与相机和投影机连接,通过将预先配置的圆形条纹图案投影至待重建物体上,并控制圆形条纹图案相对于待重建物体进行移动,在圆形条纹图案移动过程中,采集待重建物体的图像集合,并基于图像集合对待重建物体进行三维重建,从而得到待重建物体对应的物体模型。上述方法在对待测量物体重建图像时,由于采用圆形条纹进行投影,因此采集得到携带有圆形条纹图案的物体图像的集合,进而可以基于图像集合得到质量较高的物体模型,相较于相关技术中,选用单向条纹/双向条纹进行投影,本发明实施例可以显著提升重建质量,降低三维重建设备的使用限制,还可以有效简化重建所需的运算量。
本发明的其他特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种三维重建设备的结构示意图;
图2为本发明实施例提供的一种基于圆形条纹的结构光三维重建方法的流程示意图;
图3为本发明实施例提供的一种圆形条纹图案的结构示意图;
图4为本发明实施例提供的一种物体图像携带的圆形条纹图案的结构示意图;
图5为本发明实施例提供的一种扩展的极线几何的示意图;
图6为本发明实施例提供的另一种基于圆形条纹的结构光三维重建方法的流程示意图;
图7为本发明实施例提供的一种基于圆形条纹的结构光三维重建装置的结构示意图;
图8为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合实施例对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
该方案需要对相机与投影机的位置关系进行限制,且重建图像的质量较差,若选用水平和竖直方向的双向条纹进行投影,则获取到的图像数量为单向条纹投影的两倍,投影时间长且运算量大。
目前,通常采用条纹投影轮廓术(Fringe Projection Profilometry,FPP)或双向条纹投影轮廓术(即,沿水平和垂直方向扫描)对待测物体进行结构光三维重建,通过投影仪将一系列条纹图像投影至待测物体表面,经相机采集待测物体调制的条纹图像后获取每个像素组成的相位图,从而得到待测物体的重建图像。现有技术中,在使用条纹投影轮廓术进行三维重建时,相移(对空间域上的波形采样,相移越高采集的图像越精确,可以理解为采集图像的清晰度)方向需要与摄像机和投影仪的位置布局相匹配,若不匹配则会降低三维重建图像的图像质量,在使用双向条纹投影轮廓术进行三维重建时,可以实现稳健的性能,但得到的图案数量是单向扫描的两倍,导致运算量提升,进而导致成本的提高。基于此,本发明实施例提供了一种基于圆形条纹的结构光三维重建方法、装备和电子设备,基于圆形条纹投影扩展的极线几何,使得即使任意摆放摄像机-投影仪对,都能在整个投影仪空间都获得最佳的精度和最快的计算速度,并且不需要将图案数量增加一倍,并且对于提出的圆形条纹图案,引入了最远点和最近点,以便方便地控制条纹频率,在计算三维点云时,通过将圆形相位与3D世界坐标进行解析关联,并将双向条纹投影轮廓术中的方程数量从6个减少到3个,实现了三维点云的实时计算,可以显著提升重建质量,降低三维重建设备的使用限制,还可以有效简化重建所需的运算量。
为便于对本实施例进行理解,首先对本发明实施例所公开的一种基于圆形条纹的结构光三维重建方法进行详细介绍,该方法应用于三维重建设备的控制端,用于配置的圆形条纹图案及基于采集到的待重建物体的图像集合对待重建物体进行三维重建,得到待重建物体对应的物体模型,为了便于对三维重建设备进行理解,本发明实施例提供了一种三维重建设备的结构示意图,如图1所示,三维重建设备配置有一个控制端、一个投影设备及一个图像采集设备,其中,投影设备用于将圆形条纹图案投影至待重建物体上,图像采集设备用于采集待重建物体的图像集合,控制端分别与投影设备和图像采集设备通信连接,控制端用于根据投影矩阵(在生成圆形条纹图案之前需要先标定投影设备和图像采集设备的投影矩阵,投影矩阵可以选取3×4投影矩阵)及投影设备的投影平面的对极点(图像采集设备的光心在投影设备平面的成像点,几何上为生成的圆形条纹图案的圆心)计算生成圆形条纹图案,并将圆形条纹图案发送至投影设备,以及接收图像采集设备发送的图像集合,并对图像集合进行分析计算。
基于图1所示的三维重建设备的结构示意图,本发明实施例对基于圆形条纹的结构光三维重建方法进行详细介绍,参见图2所示的一种基于圆形条纹的结构光三维重建方法的流程示意图,该方法主要包括以下步骤S202至步骤S206:
步骤S202,获取预先配置的圆形条纹图案。其中,圆形条纹图案由黑白相间且间隔相等的圆环条纹组成,圆形条纹图案内包含的条纹数量由频率f决定。
在一种实施方式中,图像采集设备捕获的圆形条纹图案中包含三个相邻的圆环条纹。
步骤S204,将圆形条纹图案投影至待重建物体上,并控制圆形条纹图案相对于待重建物体进行移动,其中,圆形条纹图案相对于待重建物体进行移动的移动速率由相移N和频率f决定,相移表示对空间域上的波形采样,相移越高采集的图像越精确,可以理解为采集图像的清晰度。
在一种实施方式中,利用投影设备将圆形条纹图案投影至待重建物体上,并利用投影设备按照相移值和最高频率值控制圆形条纹图案相对于待重建物体进行移动,其中,圆形条纹图案的表达式为:
Figure BDA0003583709180000071
其中,
Figure BDA0003583709180000072
为圆形条纹图案的灰度值,r1 p为对极点与投影矩阵之间的最近距离信息,
Figure BDA0003583709180000073
为对极点与投影矩阵之间的最远距离信息,rp为圆形条纹图案的极径。
步骤S206,在圆形条纹图案移动过程中,采集待重建物体的图像集合。
在一种实施方式中,在圆形条纹图案移动过程中,利用图像采集设备采集待重建物体的图像集合。示例性的,图像采集通过硬件电路连接,同步采集圆形条纹投影在待重建物体上的图像。
步骤S208,基于图像集合对待重建物体进行三维重建,得到待重建物体对应的物体模型。其中,三维重建为计算物体图像携带的圆形条纹图案中,全部像素点到圆形条纹图案圆心处的三维坐标信息。
在一种实施方式中,任意像素点到圆形条纹图案圆心处的三维坐标信息的计算表达式为:
Figure BDA0003583709180000081
其中,
Figure BDA0003583709180000082
为摄影设备的光心,
Figure BDA0003583709180000083
为光学极点(穿过相机中心和图像平面的线的交点),
Figure BDA0003583709180000084
为物体图像携带的圆形条纹图案的极径。
本发明实施例提供的上述基于圆形条纹的结构光三维重建方法可以显著提升重建质量,降低三维重建设备的使用限制,相比双向扫描,可以有效简化重建所需的运算量并缩短投影时间。
本发明实施例还提供了一种生成圆形条纹图案的实施方式,具体的参见如下(1)至(2):
(1)如图3所示,根据预先标定的投影矩阵,确定投影设备的投影平面的对极点,并计算对极点
Figure BDA0003583709180000085
与投影矩阵之间的最近距离信息和最远距离信息,其中,对极点为图像采集设备的光心在投影设备平面的成像点,几何上为生成的圆形条纹图案的圆心。
在一种实施方式中,计算对极点与投影矩阵之间的最近距离和最远距离的表达式为:
Figure BDA0003583709180000091
Figure BDA0003583709180000092
(2)根据对极点、最近距离信息和最远距离信息生成圆形条纹图案,可以参见如下步骤1.1至步骤1.2。
步骤1.1,根据对极点、最近距离信息和最远距离信息,对圆形条纹图案的空间频率进行归一化处理,其中相移值和最高频率值为固定值,在一定范围内,频率值越高,三维重建的精度越高。
在一种实施方式中,通过将圆形条纹图案的表达式的相位归一化至[0,2π],得到确定的最高频率值。
步骤1.2,根据对极点、最近距离信息、最远距离信息、最高频率值和预先设定的相移值,确定圆形条纹图案,其中,圆形条纹图案灰度值的表达式中Ap、Bp为常数,n和N是相移的索引和总数,rp为圆形条纹图案的极径(控制端生成的,投影至待测量物体的圆形条纹图案的极径),极径计算的表达式为:
Figure BDA0003583709180000093
在一种实施方式中,Ap、Bp可以设定为127.5,为灰度值的一半。
本发明实施例还提供了一种基于图像集合得到待重建物体对应的物体模型的实施方式,具体的参见如下(1)至(3):
(1)基于投影矩阵预先配置的二维查找表,确定物体图像中每个像素点对应的目标重建参数;其中,二维查找表用于表征相位和三维坐标之间的映射关系,各像素点在二维查找表上的数值不同。
在一种实施方式中,计算并存储四个二维查找表
Figure BDA0003583709180000094
Figure BDA0003583709180000095
Figure BDA0003583709180000096
其中,分辨率与图像采集设备的分辨率一致。
(2)计算物体图像携带的圆形条纹图案的极径信息,可以参见如下步骤2.1至步骤2.2。
步骤2.1,根据投影平面中每个像素点与对极点之间的几何关系,确定极径表达式其中,如图4所示,物体图像携带的圆形条纹图案的极径信息的计算表达式为:
Figure BDA0003583709180000101
其中,
Figure BDA0003583709180000102
为相位极点。
在一种实施方式中,如图5所示,根据极线几何,投影机平面的点与相机平面的点相互对应,为等比缩放的点。
步骤2.2,根据预先配置的绝对相位公式计算每个像素点对应的绝对相位,并根据极径表达式和绝对相位计算极径信息(为图像采集设备采集到的,物体图像携带的圆形条纹图案的极径信息),其中,极径信息的表达式为:
Figure BDA0003583709180000103
其中,φ为包裹相位,Φ为绝对相位。
在一种实施方式中,将包裹相位
Figure BDA0003583709180000104
进行时间域展开为恰好完全覆盖[0,2π]的解包裹相位
Figure BDA0003583709180000105
其中,k为解缠绕时获取的条纹阶数。
(3)根据每个像素点对应的目标重建参数和极径信息,确定待重建物体对应的物体模型,其中,极径信息用于表征物体图像中每个像素点与投影平面的对极点之间的距离。在一种实施方式中,可以按照如下步骤3.1至步骤3.2确定待重建物体对应的物体模型。
步骤3.1,参见图5,根据图像采集设备的光心、投影设备的光心以及光学极点构成的平面,与投影矩阵之间的几何关系,将圆形条纹图案的相位与三维坐标进行解析关联,确定点云解析式,其中,点云解析式可根据图5所示图像的极线几何关系得出。
在一种实施方式中,利用极线几何关系确定出点云解析式,从而简化点云计算的运算量。
步骤3.2,根据每个像素点对应的目标重建参数、极径信息和点云解析式,确定待重建物体对应的物体模型,其中,像素点为图像采集设备采集到的物体图像中的像素点。
为便于对上述实施例提供的基于圆形条纹的结构光三维重建方法进行理解,本发明实施例提供了一种基于圆形条纹的结构光三维重建方法方法的应用示例,参见图6所示的另一种基于圆形条纹的结构光三维重建方法方法的流程示意图,该方法主要包括以下步骤S602至步骤S614:
步骤S602,标定相机和投影机的投影矩阵,并确定投影平面的对极点。其中,对极点为图像采集设备的光心在投影设备平面的成像点,几何上为生成的圆形条纹图案的圆心。
在一种实施方式中,计算对极点与投影矩阵之间的最近距离和最远距离的表达式为:
Figure BDA0003583709180000111
Figure BDA0003583709180000112
步骤S604,根据投影矩阵及对极点计算生成圆形条纹图案其中,其中,圆形条纹图案的表达式为:
Figure BDA0003583709180000113
其中,
Figure BDA0003583709180000121
为圆形条纹图案的灰度值,r1 p为对极点与投影矩阵之间的最近距离信息,
Figure BDA0003583709180000122
为对极点与投影矩阵之间的最远距离信息,rp为圆形条纹图案的极径,Ap、Bp为常数,n和N是相移的索引和总数,rp为圆形条纹图案的极径(控制端生成的,投影至待测量物体的圆形条纹图案的极径),极径计算的表达式为:
Figure BDA0003583709180000123
在一种实施方式中,Ap、Bp可以设定为127.5,为灰度值的一半。
步骤S606,将圆形条纹图案投影至待重建物体上,并采集待重建物体的图像集合,其中,采集的图像与标定的投影矩阵的尺寸相等。
在一种实施方式中,在圆形条纹图案移动过程中,利用图像采集设备采集待重建物体的图像集合。
步骤S608,基于投影矩阵计算二维查找表,并计算物体图像携带的圆形条纹图案的极径信息,其中,二维查找表用于表征相位和三维坐标之间的映射关系,各像素点在二维查找表上的数值不同。
在一种实施方式中,计算并存储四个二维查找表
Figure BDA0003583709180000124
Figure BDA0003583709180000125
Figure BDA0003583709180000126
其中,分辨率与图像采集设备的分辨率一致。
在另一种实施方式中,图像采集设备采集到的,物体图像携带的圆形条纹图案的极径信息的表达式为:
Figure BDA0003583709180000127
步骤S610,将二维查找表和极径信息代入点云解析式得到三维点云,进而得到待重建物体的物体模型,其中,像素点为图像采集设备采集到的物体图像中的像素点。
在一种实施方式中,任意像素点到圆形条纹图案圆心处的三维坐标信息的计算表达式为:
Figure BDA0003583709180000131
其中,
Figure BDA0003583709180000132
为摄影设备的光心,
Figure BDA0003583709180000133
为光学极点(穿过相机中心和图像平面的线的交点),
Figure BDA0003583709180000134
为物体图像携带的圆形条纹图案的极径。
综上,本发明可以在确保重建图像清晰度的同时,降低使用限制,并简化了运算过程,从而减少运算量。
对于前述实施例提供的基于圆形条纹的结构光三维重建方法,本发明实施例提供了一种基于圆形条纹的结构光三维重建装置,该装置应用于服务器,服务器与相机和投影机连接,参见图7所示的一种基于圆形条纹的结构光三维重建装置的结构示意图,该装置包括以下部分:
图案生成模块702,获取预先配置的圆形条纹图案。
投影模块704,将圆形条纹图案投影至待重建物体上,并控制圆形条纹图案相对于待重建物体进行移动。
图像获取模块706,在圆形条纹图案移动过程中,采集待重建物体的图像集合;其中,图像集合包括多张携带有圆形条纹图案的物体图像。
计算模块708,基于图像集合对待重建物体进行三维重建,得到待重建物体对应的物体模型。
本申请实施例提供的上述数据处理装置基于圆形条纹投影扩展的极线几何,使得即使任意摆放摄像机-投影仪对,都能在整个投影仪空间都获得最佳的精度和最快的计算速度,并且不需要将图案数量增加一倍,并且对于提出的圆形条纹图案,引入了最远点和最近点,以便方便地控制条纹频率,在计算三维点云时,通过将圆形相位与3D世界坐标进行解析关联,并将双向条纹投影轮廓术中的方程数量从6个减少到3个,实现了三维点云的实时计算,从而简化了计算过程,减半了条纹图案数量,使得条纹图案投影和点云计算的时间减少,同时也提升了三维点云的重建精度可以显著提升重建质量,降低三维重建设备的使用限制,还可以有效简化重建所需的运算量。
一种实施方式中,在进行获取预先配置的圆形条纹图案的步骤时,上述图案生成模块702还用于:根据预先标定的投影矩阵,确定投影设备的投影平面的对极点,并计算对极点与投影机视场之间的最近距离信息和最远距离信息;根据对极点、最近距离信息和最远距离信息生成圆形条纹图案。
一种实施方式中,在进行根据对极点、最近距离信息和最远距离信息生成圆形条纹图案的步骤时,上述图案生成模块702还用于:根据对极点、最近距离信息和最远距离信息,对圆形条纹图案的空间频率进行归一化处理;根据对极点、最近距离信息、最远距离信息、最高频率值和预先设定的相移值,确定圆形条纹图案,其中,在一定范围内,最高频率值越高,三维重建的精度越高。
一种实施方式中,在进行将圆形条纹图案投影至待重建物体上,并控制圆形条纹图案相对于待重建物体进行移动的步骤时,上述投影模块704还用于:利用投影设备将圆形条纹图案投影至待重建物体上,并利用投影设备按照相移值和最高频率值控制圆形条纹图案相对于待重建物体进行移动。
一种实施方式中,在进行在圆形条纹图案移动过程中,采集待重建物体的图像集合的步骤时,上述图像获取模块706还用于:在圆形条纹图案移动过程中,利用图像采集设备采集待重建物体的图像集合。
一种实施方式中,在进行基于图像集合对待重建物体进行三维重建,得到待重建物体对应的物体模型的步骤时,上述计算模块708还用于:基于投影矩阵预先配置的二维查找表,确定物体图像中每个像素点对应的目标重建参数;其中,二维查找表用于表征相位和三维坐标之间的映射关系;计算物体图像携带的圆形条纹图案的极径信息;其中,极径信息用于表征物体图像中每个像素点与投影平面的对极点之间的距离;根据每个像素点对应的目标重建参数和极径信息,确定待重建物体对应的物体模型。
一种实施方式中,在进行计算物体图像携带的圆形条纹图案的极径信息的步骤时,上述计算模块708还用于:根据投影平面中每个像素点与对极点之间的几何关系,确定极径表达式;根据预先配置的绝对相位公式计算每个像素点对应的绝对相位,并根据极径表达式和绝对相位计算极径信息。
一种实施方式中,在进行根据每个像素点对应的目标重建参数和极径信息,确定待重建物体对应的物体模型的步骤时,上述计算模块708还用于:根据图像采集设备的光心、投影设备的光心以及光学极点构成的平面,与投影矩阵之间的几何关系,将圆形条纹图案的相位与三维坐标进行解析关联,确定点云解析式;根据每个像素点对应的目标重建参数、极径信息和点云解析式,确定待重建物体对应的物体模型。
本发明实施例所提供的装置,其实现原理及产生的技术效果和前述方法实施例相同,为简要描述,装置实施例部分未提及之处,可参考前述方法实施例中相应内容。
本发明实施例提供了一种电子设备,具体的,该电子设备包括处理器、存储器、基于圆形条纹的结构光三维重建装置及总线,存储器存储有能够被处理器执行的计算机可执行指令,当电子设备运行时,处理器及存储器之间通过总线通信,处理器执行计算机可执行如上实施方式的任一项的方法。
图8为本发明实施例提供的一种电子设备的结构示意图,该电子设备100包括:处理器80,存储器81,总线82和通信接口83,处理器80、通信接口83和存储器81通过总线82连接;处理器80用于执行存储器81中存储的可执行模块,例如计算机程序。
其中,存储器81可能包含高速随机存取存储器(RAM,Random Access Memory),也可能还包括非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。通过至少一个通信接口83(可以是有线或者无线)实现该***网元与至少一个其他网元之间的通信连接,可以使用互联网,广域网,本地网,城域网等。
总线82可以是ISA总线、PCI总线或EISA总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示,图8中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。
其中,存储器81用于存储程序,处理器80在接收到执行指令后,执行程序,前述本发明实施例任一实施例揭示的流过程定义的装置所执行的方法可以应用于处理器80中,或者由处理器80实现。
处理器80可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器80中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器80可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(Digital SignalProcessing,简称DSP)、专用集成电路(Application Specific Integrated Circuit,简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器81,处理器80读取存储器81中的信息,结合其硬件完成上述方法的步骤。
本发明实施例所提供的可读存储介质的计算机程序产品,包括存储了程序代码的计算机可读存储介质,程序代码包括的指令可用于执行前面方法实施例中的方法,具体实现可参见前述方法实施例,在此不再赘述。
功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于圆形条纹的结构光三维重建方法,其特征在于,所述方法应用于服务器,所述服务器与相机和投影机连接,所述方法包括:
获取预先配置的圆形条纹图案;
将所述圆形条纹图案投影至待重建物体上,并控制所述圆形条纹图案相对于所述待重建物体进行移动;
在所述圆形条纹图案移动过程中,采集所述待重建物体的图像集合;其中,所述图像集合包括多张携带有所述圆形条纹图案的物体图像;
基于所述图像集合对所述待重建物体进行三维重建,得到所述待重建物体对应的物体模型。
2.根据权利要求1所述的方法,其特征在于,所述方法应用于三维重建设备的控制端,所述三维重建设备还包括与所述控制端通信连接的投影设备;
所述获取预先配置的圆形条纹图案的步骤,包括:
根据预先标定的投影矩阵,确定所述投影设备的投影平面的对极点,并计算所述对极点与投影机视场之间的最近距离信息和最远距离信息;
根据所述对极点、所述最近距离信息和所述最远距离信息生成圆形条纹图案。
3.根据权利要求2所述的方法,其特征在于,所述根据所述对极点、所述最近距离信息和所述最远距离信息生成圆形条纹图案的步骤,包括:
根据所述对极点、所述最近距离信息和所述最远距离信息,对所述圆形条纹图案的空间频率进行归一化处理;
根据所述对极点、所述最近距离信息、所述最远距离信息、最高频率值和预先设定的相移值,确定圆形条纹图案。
4.根据权利要求3所述的方法,其特征在于,在一定范围内,所述最高频率值越高,三维重建的精度越高。
5.根据权利要求3所述的方法,其特征在于,所述三维重建设备还包括与所述控制端通信连接的图像采集设备;
所述将所述圆形条纹图案投影至待重建物体上,并控制所述圆形条纹图案相对于所述待重建物体进行移动的步骤,包括:
利用所述投影设备将所述圆形条纹图案投影至待重建物体上,并利用所述投影设备按照所述相移值和所述最高频率值控制所述圆形条纹图案相对于所述待重建物体进行移动;
所述在所述圆形条纹图案移动过程中,采集所述待重建物体的图像集合的步骤,包括:
在所述圆形条纹图案移动过程中,利用所述图像采集设备采集所述待重建物体的图像集合。
6.根据权利要求1所述的方法,其特征在于,所述基于所述图像集合对所述待重建物体进行三维重建,得到所述待重建物体对应的物体模型的步骤,包括:
基于投影矩阵预先配置的二维查找表,确定所述物体图像中每个像素点对应的目标重建参数;其中,所述二维查找表用于表征相位和三维坐标之间的映射关系;
计算所述物体图像携带的所述圆形条纹图案的极径信息;其中,所述极径信息用于表征所述物体图像中每个所述像素点与投影平面的对极点之间的距离;
根据每个所述像素点对应的所述目标重建参数和所述极径信息,确定所述待重建物体对应的物体模型。
7.根据权利要求6所述的方法,其特征在于,所述计算所述物体图像携带的所述圆形条纹图案的极径信息的步骤,包括:
根据投影平面中每个所述像素点与所述对极点之间的几何关系,确定极径表达式;
根据预先配置的绝对相位公式计算每个所述像素点对应的绝对相位,并根据所述极径表达式和所述绝对相位计算极径信息。
8.根据权利要求6所述的方法,其特征在于,所述根据每个所述像素点对应的所述目标重建参数和所述极径信息,确定所述待重建物体对应的物体模型的步骤,还包括:
根据图像采集设备的光心、投影设备的光心以及光学极点构成的平面,与投影矩阵之间的几何关系,将所述圆形条纹图案的相位与三维坐标进行解析关联,确定点云解析式;
根据每个所述像素点对应的所述目标重建参数、所述极径信息和所述点云解析式,确定所述待重建物体对应的物体模型。
9.一种基于圆形条纹的结构光三维重建装置,其特征在于,所述装置应用于服务器,所述服务器与相机和投影机连接,所述装置包括:
图案生成模块,获取预先配置的圆形条纹图案;
投影模块,将所述圆形条纹图案投影至待重建物体上,并控制所述圆形条纹图案相对于所述待重建物体进行移动;
图像获取模块,在所述圆形条纹图案移动过程中,采集所述待重建物体的图像集合;其中,所述图像集合包括多张携带有所述圆形条纹图案的物体图像;
计算模块,基于所述图像集合对所述待重建物体进行三维重建,得到所述待重建物体对应的物体模型。
10.一种电子设备,其特征在于,包括处理器、存储器、基于圆形条纹的结构光三维重建装置及总线,所述存储器存储有能够被所述处理器执行的计算机可执行指令,当电子设备运行时,所述处理器及所述存储器之间通过总线通信,所述处理器执行所述计算机可执行指令以实现权利要求1至8任一项所述的方法。
CN202210361004.7A 2022-04-07 2022-04-07 基于圆形条纹的结构光三维重建方法、装置和电子设备 Active CN114708316B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210361004.7A CN114708316B (zh) 2022-04-07 2022-04-07 基于圆形条纹的结构光三维重建方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210361004.7A CN114708316B (zh) 2022-04-07 2022-04-07 基于圆形条纹的结构光三维重建方法、装置和电子设备

Publications (2)

Publication Number Publication Date
CN114708316A true CN114708316A (zh) 2022-07-05
CN114708316B CN114708316B (zh) 2023-05-05

Family

ID=82173195

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210361004.7A Active CN114708316B (zh) 2022-04-07 2022-04-07 基于圆形条纹的结构光三维重建方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN114708316B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115379182A (zh) * 2022-08-19 2022-11-22 四川大学 一种双向结构光编解码方法、装置、电子设备及存储介质

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104406702A (zh) * 2014-11-18 2015-03-11 中国科学院上海光学精密机械研究所 一种光束准直性检测方法
WO2018119771A1 (zh) * 2016-12-28 2018-07-05 深圳大学 基于条纹投影轮廓术的高效相位-三维映射方法及***
CN108413872A (zh) * 2018-04-10 2018-08-17 天津科技大学 基于法布里-珀罗多光束干涉的三维尺寸精密测量方法
CN109489585A (zh) * 2018-12-06 2019-03-19 广西师范大学 基于改进多频条纹结构光的三维测量方法
WO2019113445A2 (en) * 2017-12-08 2019-06-13 Arizona Board Of Regents On Behalf Of The University Of Arizona Digital fringe projection and multi-spectral polarization imaging for rapid 3d reconstruction
CN110285775A (zh) * 2019-08-02 2019-09-27 四川大学 基于结构光周期编码图案的三维重建方法及***
CN110288642A (zh) * 2019-05-25 2019-09-27 西南电子技术研究所(中国电子科技集团公司第十研究所) 基于相机阵列的三维物体快速重建方法
CN110310365A (zh) * 2019-06-27 2019-10-08 四川大学 一种三维重建方法及装置
CN110595389A (zh) * 2019-09-02 2019-12-20 深圳技术大学 基于单目镜头的采集装置及三维重建成像***
CN110728177A (zh) * 2019-09-02 2020-01-24 华南理工大学 基于双协方差随机子空间的类噪声数据低频振荡辨识方法
CN111242990A (zh) * 2020-01-06 2020-06-05 西南电子技术研究所(中国电子科技集团公司第十研究所) 基于连续相位稠密匹配的360°三维重建优化方法
CN111721236A (zh) * 2020-05-24 2020-09-29 深圳奥比中光科技有限公司 一种三维测量***、方法及计算机设备
CN112712585A (zh) * 2020-12-15 2021-04-27 四川川大智胜软件股份有限公司 基于弧形二值编码相移条纹投影的三维成像***及方法
CN112762859A (zh) * 2020-12-22 2021-05-07 四川大学 一种非数字光机正弦条纹结构光高精度三维测量装置
CN113505626A (zh) * 2021-03-15 2021-10-15 南京理工大学 一种快速三维指纹采集方法与***

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104406702A (zh) * 2014-11-18 2015-03-11 中国科学院上海光学精密机械研究所 一种光束准直性检测方法
WO2018119771A1 (zh) * 2016-12-28 2018-07-05 深圳大学 基于条纹投影轮廓术的高效相位-三维映射方法及***
WO2019113445A2 (en) * 2017-12-08 2019-06-13 Arizona Board Of Regents On Behalf Of The University Of Arizona Digital fringe projection and multi-spectral polarization imaging for rapid 3d reconstruction
CN108413872A (zh) * 2018-04-10 2018-08-17 天津科技大学 基于法布里-珀罗多光束干涉的三维尺寸精密测量方法
CN109489585A (zh) * 2018-12-06 2019-03-19 广西师范大学 基于改进多频条纹结构光的三维测量方法
CN110288642A (zh) * 2019-05-25 2019-09-27 西南电子技术研究所(中国电子科技集团公司第十研究所) 基于相机阵列的三维物体快速重建方法
CN110310365A (zh) * 2019-06-27 2019-10-08 四川大学 一种三维重建方法及装置
CN110285775A (zh) * 2019-08-02 2019-09-27 四川大学 基于结构光周期编码图案的三维重建方法及***
CN110595389A (zh) * 2019-09-02 2019-12-20 深圳技术大学 基于单目镜头的采集装置及三维重建成像***
CN110728177A (zh) * 2019-09-02 2020-01-24 华南理工大学 基于双协方差随机子空间的类噪声数据低频振荡辨识方法
CN111242990A (zh) * 2020-01-06 2020-06-05 西南电子技术研究所(中国电子科技集团公司第十研究所) 基于连续相位稠密匹配的360°三维重建优化方法
CN111721236A (zh) * 2020-05-24 2020-09-29 深圳奥比中光科技有限公司 一种三维测量***、方法及计算机设备
CN112712585A (zh) * 2020-12-15 2021-04-27 四川川大智胜软件股份有限公司 基于弧形二值编码相移条纹投影的三维成像***及方法
CN112762859A (zh) * 2020-12-22 2021-05-07 四川大学 一种非数字光机正弦条纹结构光高精度三维测量装置
CN113505626A (zh) * 2021-03-15 2021-10-15 南京理工大学 一种快速三维指纹采集方法与***

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
KAI LIU等: "Extending epipolar geometry for real-time structured light illumination" *
张森 等: "圆形煤场煤堆体积快速测量方法" *
田昌海: "神经网络上奇异态的研究" *
郑宏博 等: "高反光对象表面的结构光三维成像方法" *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115379182A (zh) * 2022-08-19 2022-11-22 四川大学 一种双向结构光编解码方法、装置、电子设备及存储介质
CN115379182B (zh) * 2022-08-19 2023-11-24 四川大学 一种双向结构光编解码方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN114708316B (zh) 2023-05-05

Similar Documents

Publication Publication Date Title
CN108267097B (zh) 基于双目三维扫描***的三维重构方法和装置
US20200334840A1 (en) Three-Dimensional Scanning System and Scanning Method Thereof
CN111721236B (zh) 一种三维测量***、方法及计算机设备
TWI573984B (zh) 圖像匹配系統及方法
US20120281087A1 (en) Three-dimensional scanner for hand-held phones
CN113237435B (zh) 一种高反光表面三维视觉测量***及方法
CN109307483B (zh) 一种基于结构光***几何约束的相位展开方法
CN107860337B (zh) 基于阵列相机的结构光三维重建方法与装置
CN109186492B (zh) 基于单相机的三维重建方法、装置及***
JP6598673B2 (ja) データ処理装置およびその方法
CN109945802A (zh) 一种结构光三维测量方法
CN110006365B (zh) 基于二维查找表的相位展开方法、装置及电子设备
CN114111633A (zh) 结构光三维测量的投影机镜头畸变误差校正方法
CN114526692B (zh) 一种基于离焦度解包裹的结构光三维测量方法及装置
CN107167118A (zh) 一种基于非编码平行多线的稳定实时激光测量方法
JP5611022B2 (ja) 三次元計測装置及び三次元計測方法
CN114708316A (zh) 基于圆形条纹的结构光三维重建方法、装置和电子设备
CN114612409B (zh) 投影标定方法、装置、存储介质以及电子设备
CN111462331A (zh) 扩展对极几何并实时计算三维点云的若干方法
CN116993901A (zh) 基于双目结构光的三维图像重建方法
CN110440714A (zh) 一种基于多频和二进制条纹的相位解包裹方法
CN115345993A (zh) 三维重建方法及装置、***
CN114897959A (zh) 基于光场多视角约束的相位展开方法及相关组件
CN212843399U (zh) 一种便携的三维测量设备
KR100379948B1 (ko) 3차원 형상 측정방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant