CN114143426B - 一种基于全景结构光的三维重构***和方法 - Google Patents

一种基于全景结构光的三维重构***和方法 Download PDF

Info

Publication number
CN114143426B
CN114143426B CN202111399513.0A CN202111399513A CN114143426B CN 114143426 B CN114143426 B CN 114143426B CN 202111399513 A CN202111399513 A CN 202111399513A CN 114143426 B CN114143426 B CN 114143426B
Authority
CN
China
Prior art keywords
panoramic
stripe
projector
image
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111399513.0A
Other languages
English (en)
Other versions
CN114143426A (zh
Inventor
王军华
田雨涵
王鼎
徐敏
李旭锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fudan University
Original Assignee
Fudan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fudan University filed Critical Fudan University
Priority to CN202111399513.0A priority Critical patent/CN114143426B/zh
Publication of CN114143426A publication Critical patent/CN114143426A/zh
Application granted granted Critical
Publication of CN114143426B publication Critical patent/CN114143426B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/327—Calibration thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/41—Extracting pixel data from a plurality of image sensors simultaneously picking up an image, e.g. for increasing the field of view by combining the outputs of a plurality of sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明属于三维重构相关技术领域，具体为一种基于全景结构光的三维重构***和方法。本发明的基于全景结构光的三维重构***，包括全景相机、全景投影仪、两个多维调节架及计算机处理***；全景相机和全景投影仪的光学***均采用二次折反射式全景镜头，根据二次折反射式全景镜头的成像关系，建立平面‑柱面投影模型。本发明的三维重构方法包括：全景条纹图像的生成和采集；全景相机标定；采用多频外差相移法进行相位展开；全景投影仪标定；三维坐标计算；本发明可以简单、高效、高精度的实现360°环式场景的稠密三维重构，在工件检测、医疗建模、逆向工程、自主导航等领域具有广泛的应用。

Description

一种基于全景结构光的三维重构***和方法
技术领域
本发明属于三维重构相关技术领域，具体涉及一种基于全景结构光的三维重构***和方法。
背景技术
光学三维重构技术具有非接触、高精度、高效率等优点，在工件检测、医疗建模、逆向工程、自主导航等领域具有广泛的应用。光学三维重构技术主要分为两类：主动式三维重构技术和被动式三维重构技术。两种技术都是将被测物体、图像传感器和另一个位置的图像传感器或光源组成三角关系进行三维重构。主动式三维重构技术通过外加激光或投影仪等光源解决被测物表面颜色变化或无明显纹理特征的问题，相比被动式三维重构技术具有更高的重构精度和效率。
主动式三维重构技术可以分为时间调制法和空间调制法。时间调制法的主要代表为飞行时间法，飞行时间法检测发射器发射光脉冲到被测物表面然后返回接收器所经过的时间，利用时间差解调物体的深度信息，但是重构速度较慢，不适用于大视场场景三维重构。空间调制法主要包括光学干涉法、莫尔条纹法和条纹投影法等。光学干涉法将一束相干光分成的测量光和参考光进行相干叠加，利用两束光的相位差得到物体表面的深度信息，该方法重构精度高，但受到光波波长限制无法对大视场场景三维重构；莫尔条纹法将光栅投影到物体表面，采用基准光栅和包含物体表面信息的像栅叠合形成莫尔条纹，提取莫尔条纹的等高线恢复物体表面的三维信息，但重构范围有限，不适合大视场场景的三维重构；条纹投影法采用投影仪等数字设备将条纹图像投影到被测物体表面，投射出的条纹图像在被测物体表面发生漫反射，携带着物体表面信息的漫反射光线被相机接收，再经过图像处理技术解调出物体的三维数据，实现被测场景的稠密三维重构，该方法产生的条纹精度高，通过投射面条纹图像可以高效、高精度的对三维场景进行稠密重构。
传统的条纹投影技术采用普通相机成像，受到视场角限制难以快速恢复出360°环式场景的三维模型。因此人们考虑将大视场相机引入条纹投影技术的应用中。鱼眼成像***的畸变很难校正，视场边缘图像质量很差；拼接式全景成像***通过单相机旋转或多相机同时捕获图像来合成全景图像，但旋转拼接***成像速度缓慢，多相机拼接***不仅具有更高的成本，还容易产生拼接误差，使全景图像质量较差；单次反射式全景成像***使用反射镜获得大视场，但反射镜尺寸很大，不利于***集成，并且它的焦距短，空间分辨力低，杂散光严重。
相比之下，二次折反射式全景成像***利用全景环形透镜将折射、反射面集成在一起，增加了光学设计的自由度，可以实现全景镜头长焦距、大视场、大相对口径的设计要求，结构紧凑，易集成，可以快速获得360°环式场景的全景图像。因此本发明将二次折反射式全景成像***应用于条纹投影技术中，设计了一种基于全景结构光的三维重构***和方法，可以简单、高效、高精度的实现360°环式场景的稠密三维重构，在工件检测、医疗建模、逆向工程、自主导航等领域具有广泛的应用。
发明内容
本发明的目的是提供一种基于全景结构光的三维重构***和方法，以避免现有三维重构技术对弱纹理场景特征匹配困难的问题，并且采用二次折反射式全景成像***，无需拼接或扫描就可以快速、高效、高精度的实现360°环式场景的稠密三维重构。
本发明提供的基于全景结构光的三维重构***，包括：全景投影仪、全景相机、2个多维调节架及计算机处理***；其中：
所述全景相机和全景投影仪分别固定在各自的多维调节架上，调节多维调节架使全景相机和全景投影仪同光轴，且全景投影仪投影区域与全景相机的视场区域重合；
所述全景投影仪由微显示器和二次折反射式全景镜头组成，两者通过螺纹调节和固定，使微显示器处于全景镜头的焦面上；所述全景投影仪用于投影计算机处理***生成的圆条纹组和放射条纹组；
所述全景相机由图像传感器和二次折反射式全景镜头组成，两者通过螺纹调节和固定，使全景镜头成像在图像传感器上；所述全景相机用于采集由全景投影仪投影出的圆条纹组和放射条纹组，将采集到图像信息传到计算机处理***；
所述的计算机处理***用于生成圆条纹组和放射条纹组，驱动全景投影仪进行条纹组的投影和驱动全景相机进行全景图像的采集，计算全景相机和全景投影仪的标定参数，实现360°环式场景的三维重构。
本发明中，所述的二次折反射式全景镜头的光学***，由全景环形透镜、孔径光阑及中继透镜组沿光轴依次排列组成；其成像关系采用基于泰勒级数展开的平面-柱面投影模型，可以使360°环式场景的三维空间与二维像平面互为共轭关系；
计算机处理***生成的条纹图像经全景投影仪投射到360°环式场景中；投射出的条纹图像在被测物体表面发生漫反射，携带着物体表面信息的漫反射光线由全景相机接收，最终在图像传感器上生成全景条纹图像；所述的图像传感器把全景条纹图像输出到计算机处理***中，进行360°环式场景的三维重构。
基于上述三维重构***，本发明还提供基于全景结构光的三维重构方法，具体步骤为：
步骤1，全景条纹图像的生成和采集。利用计算机处理***生成3种不同频率的相位沿径向正弦变化的圆条纹组，和沿切向正弦变化的放射条纹组；每种频率的条纹组包含4幅条纹，彼此间有相移。
使用计算机处理***驱动全景投影仪，先后投射所述的圆条纹组和放射条纹组以及一幅白光图像到圆斑标定板上，同时驱动全景相机拍摄不同位姿下的圆斑标定板全景条纹图像序列以及一幅白光图像下的纹理图，用于***标定；
将全景结构光***置于场景中，使用计算机处理***再次驱动全景投影仪将所述的圆条纹组投射到360°环式场景中，圆条纹组在360°环式场景中的物体表面发生漫反射，同时驱动全景相机采集携带360°环式场景的全景条纹图像序列，用于三维重构。
步骤2，全景相机标定。所述的全景相机成像模型是基于泰勒级数展开的平面-柱面投影模型，包括正向投影模型和反向投影模型，通过此投影模型确定空间某物点的三维点坐标与其在全景环式图像中的投影点坐标之间的关系；通过圆斑标定板得到所有圆斑中心点对应的世界坐标系下的三维点坐标和在像素坐标系下的二维点坐标；采用最小二乘法得到全景相机标定参数，包括内参、外参以及畸变参数，这些参数将用于全景投影仪的标定和360°环式场景的三维重构；
步骤3，采用多频外差相移法进行相位展开。采用4步相移法([1]Niu Z,Xu X,Zhang X，et al.Efficient phase retrieval of two-directional phase-shiftingfringe patterns using geometric constraints of deflectometry[J].OpticExpress,2019,27(6):8195-8207.)计算圆斑标定板全景条纹图像序列和360°环式场景的全景条纹图像序列中每个方向上每种频率条纹的折叠相位，并得到折叠相位的全景条纹图像，所述折叠相位受到反正切函数的影响呈锯齿状周期分布；采用最佳三条纹选择方法([2]Zhang Z,Towers CE,Towers DP，et al.Time efficient color fringe projectionsystem for 3D shape and color using optimum 3-frequency Selection[J].OpticExpress,2006,14(14):6444-55.)对所述折叠相位的全景条纹图像进行差频计算，解决条纹级次问题，得到圆斑标定板和360°环式场景的全景条纹图像序列的绝对相位值。
步骤4，全景投影仪标定。使用白光图像投影的圆斑标定板纹理图提取圆斑中心在全景相机像素坐标系下的二维坐标，根据圆斑标定板在切向和径向两个方向上全景条纹图像的绝对相位值，定位圆斑中心在全景投影仪的投影面上的二维像素坐标；已知圆斑中心在世界坐标系下的三维坐标求解全景投影仪的标定参数，包括内参、外参以及畸变参数；根据全景相机和全景投影仪的外参计算二者的位置关系，得到位置转换矩阵。
步骤5，三维坐标计算。根据360°环式场景全景条纹图像的绝对相位值，在投射条纹图像中找到与全景条纹图像的像点映射的像素点坐标；根据反向投影模型，将像平面和投影平面上的对应的两个像素点坐标反向投影为实际物点的方向向量，两个方向向量相交，利用最小二乘法求解出的交点坐标值，得到实际物点的三维坐标，对每一对映射点进行三维坐标的计算，实现360°环式场景的稠密三维重构。
本发明的积极进步效果在于：本发明设计了一种基于二次折反射式全景相机的结构光三维重构***，利用计算机***生成相位沿径向正弦变化的圆条纹组和相位沿切向正弦变化的放射条纹组并进行投影，得到全景条纹图像序列；将圆条纹组和放射条纹组投影到360°环式场景，可以快速获得稠密的场景特征；建立基于泰勒级数展开的平面-柱面投影模型，使全景相机的标定结果具有较高的精度；采用多频率外差相移法求解全景条纹图像序列的绝对相位，并利用伪相机法对全景投影仪进行标定，克服全景相机和全景投影仪之间的耦合误差，提高了全景三维重构的精度。本发明提出的全景结构光***可以快速、高效、高精度的实现360°环式场景的稠密三维重构，在机器人导航与航测、自动驾驶、增强现实、非接触式三维测量等方面具重要的研究意义。
附图说明
图1本发明的实施例公开的全景结构光三维重构***结构示意图。
图2为本发明的实施例公开的二次折反射式全景投影仪投影示意图。
图3为本发明的实施例公开的二次折反射式全景相机成像示意图。
图4为本发明的实施例公开的全景结构光三维重构方法流程框图。
图5为本发明的实施例公开的全景相机标定算法流程框图。
图6为本发明的实施例公开的全景投影仪像素坐标和全景相机像素坐标的映射关系图。
图7为本发明的实施例公开的全景结构光三维重构模型示意图。
图中标号：1为微显示器，2为第一二次折反射式全景镜头，3为第一多维调整支架，4为图像传感器，5为第二二次折反射式全景镜头，6为第二多维调整支架；7为计算机处理***；8为第一全景环形透镜，9为第一光阑，10为第一中继透镜组，11为第一光轴，12为三色LED光源，13为待投影的条纹图像，14为投影点；15为第二全景环形透镜，16为第二光阑，17为第二中继透镜组，18为第二光轴，19为物点，20为像面，21为成像区域，22为盲区，23为非成像区域；24为第一全景柱面坐标系，25为第二全景柱面坐标系。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。但是应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
如图1所示，本发明实施例提供一种基于全景结构光的三维重构***，包括：
由微显示器1和第一二次折反射式全景镜头2组成的全景投影仪；第一多维调整支架3；由图像传感器4和第二二次折反射式全景镜头5组成的全景相机；第二多维调整支架6；计算机处理***7。微显示器1和第一二次折反射式全景镜头2通过螺纹连接组成全景结构光投影***；图像传感器4和第二二次折反射式全景镜头5通过螺纹连接组成全景结构光接收***。全景投影仪和全景相机分别固定在第一多维调节架3和第二多维调节架6上，调节两个多维调节架使全景相机和全景投影仪同光轴，且全景投影仪投影区域与全景相机的视场区域重合。
本发明中，所述二次折反射式全景镜头的光学***由同光轴的全景环形透镜、孔径光阑及中继透镜组组成，其成像关系采用的是平面-柱面投影模型，可以使360°环式场景的三维空间与二维像平面互为共轭关系。
图2为本发明的实施例公开的二次折反射式全景投影仪投影示意图，包括三色LED光源12，待投影的条纹图像13，微显示器1，第一中继透镜组10，第一光阑9，第一全景环形透镜8，投影点14，第一光轴11。计算机处理***7生成待投影的条纹图像13并传输到二次折反射式全景投影仪中；二次折反射式全景投影仪控制微显示器1对三色LED光源12产生的三色光进行反射生成待投影的条纹图像13的彩色光线，所述彩色光线依次通过第一中继透镜组10和第一光阑9，最终被第一全景环形透镜8投射到360°环式场景中。
图3为本发明的实施例公开的二次折反射式全景相机成像示意图，包括：第二光轴18，物点19，第二全景环形透镜15，第二孔径光阑16，第二中继透镜组17，像面20，图像传感器4，成像区域21，盲区22，非成像区域23。投射出的条纹图像彩色光线在被测物体表面发生漫反射，携带着物体表面信息的漫反射光线被全景相机接收；入射光线依次在第二全景环形透镜15内部发生两次反射和折射、再经过第二孔径光阑16和第二中继透镜组17，最终在图像传感器4上生成全景条纹图像。所述的图像传感器4把全景条纹图像输出到计算机处理***7中进行360°环式场景的三维重构。
根据二次折反射式全景相机的成像关系，建立基于泰勒级数展开的平面-柱面投影模型，模型具体描述如下：
(1)将世界坐标系下的物点P投影到相机坐标系中，假设不同入射方向的光线都经过单一有效视点O，以此为原点建立相机坐标系O-XYZ，物点P经过刚体变换转换到相机坐标系中，得到入射向量(x,y,z)和出射向量为(u,v,w)，将入射向量所在水平方向上归一化后得到基于x-y的单位圆，同理可以得到出射向量基于u-v的单位圆，因此存在：
Figure BDA0003365272110000061
设比例因子：
Figure BDA0003365272110000062
(2)通过非线性函数g拟合投影关系，得到像平面点坐标和入射p向量的关系，其中p为视点O到场点P的向量：
g(u,v)＝(u,v,f(u,v))，
其中，f关于图像传感器回转对称，具体表达式取决于全景环形透镜的形状；
f(u,v)＝α0+α1ρ+α2ρ2+...+αNρN，
Figure BDA0003365272110000063
使用多项式拟合不仅克服针对鱼眼或二次折反射式全景相机参数模型的知识匮乏，还将畸变和相机内参放在一起，直接校正径向畸变。
Figure BDA0003365272110000064
即：
Figure BDA0003365272110000065
并根据值，可以计算出重投影点像素坐标为：
Figure BDA0003365272110000066
(3)像平面点坐标(u,v)到像素坐标(u′,v′)转换的过程中，通过仿射变换拟合实际中存在的透镜安装误差和像素尺寸不同产生的不均匀变形，因此实际的像素坐标值为：
Figure BDA0003365272110000071
其中，(u0,v0)为像中心点。仿射变换矩阵元素(c,d,e,f)通过计算得到。
可以将全景投影仪看作一个逆向的全景相机，因此，全景投影仪的成像关系同样符合基于泰勒级数展开的平面-柱面投影模型。
本发明实施例提供了一种基于全景双目立体视觉的三维重构方法，图4为本发明的实施例公开的全景结构光三维重构方法流程框图。如图4所示，所述算法主要包括以下五个步骤：
步骤1，全景条纹图像的生成和采集。利用计算机处理***生成3种不同频率的相位沿径向正弦变化的圆条纹组，和沿切向正弦变化的放射条纹组。所述每种频率的条纹组包含4幅条纹，彼此间有相移。
使用计算机处理***7驱动全景投影仪先后投射所述的圆条纹组和放射条纹组以及一幅白光图像到圆斑标定板上，同时驱动全景相机拍摄不同位姿下的圆斑标定板全景条纹图像序列，用于***标定；
将全景结构光***置于场景中，使用计算机处理***再次驱动全景投影仪将所述的圆条纹组投射到360°环式场景中，圆条纹组在360°环式场景中的物体表面发生漫反射，同时驱动全景相机采集携带360°环式场景的全景条纹图像序列，用于三维重构。
步骤2：全景相机标定。所述的全景相机成像模型是基于泰勒级数展开的平面-柱面投影模型，包括正向投影模型和反向投影模型，通过此投影模型确定空间某物点的三维点坐标与其在全景环式图像中的投影点坐标之间的关系；通过标定板得到所有特征点对应的世界坐标系下的三维点坐标和在像素坐标系下的二维点坐标。采用最小二乘法得到全景相机标定参数，包括内参、外参以及畸变参数，这些参数将用于全景双目立体视觉***的三维场景重构。
图5为本发明的实施例公开的全景相机标定算法流程框图，具体内容如下：
将标定板的全景环式图像序列输入到算法中；确定并输入***的已知参数，包括全景环式图像中心点坐标和圆斑标定板的实际尺寸，得到圆斑中心点在世界坐标系下的三维点坐标；提取圆斑中心点的像素坐标，即物点在像面上的二维点坐标；对相机坐标系到像平面坐标系之间的投影关系进行泰勒级数展开，通过线性最小二乘法先后求解内、外参数获得初始解，建立不含畸变的理想模型；根据理想模型与实际值之间的差异计算畸变参数的初始解，获得实际相机模型；以重投影误差最小为约束条件，对全景相机内参、外参和畸变参数的初始解进行迭代的非线性优化，得到最优解作为全景相机的几何模型参数。再根据全景相机和全景投影仪的外参计算得到二者的位置转换矩阵。
步骤3，基于多频外差相移法进行相位展开。采用4步相移法计算全景条纹图像序列的折叠相位，并选择最佳三条纹的差频法进行相位展开。
通过4步相移法计算圆斑标定板全景条纹图像序列和360°环式场景的全景条纹图像序列中每个方向上每种频率条纹的折叠相位，避免高次谐波的影响。每种频率包含4幅条纹图像，彼此间有π/2相移，第t幅全景条纹图像在像素坐标点处的光强表达式为：
Figure BDA0003365272110000081
其中，I0(u,v)、I(u,v)和
Figure BDA0003365272110000082
分别代表条纹图像的背景光强、条纹的调制度和包含被测物高度信息的待测相位值。全景条纹图像像素点处的折叠相位为：
Figure BDA0003365272110000083
此时所述折叠相位受到反正切函数的影响取值范围被限制在之间，呈锯齿状周期分布。
采用最佳三条纹选择方法对所述折叠相位的全景条纹图像进行相位展开。通过最大条纹个数对应的折叠相位值图对每个独立像素点解算得到绝对相位值；通过另外两幅折叠相位图差频，产生覆盖整个视场的单个条纹，解决条纹级次问题。采用最佳三条纹选择方法像素点之间不会互相影响，并且对非最大条纹个数对应的两幅折叠相位图精度要求不高，因此可以提高360°环式场景的三维重构精度。
步骤4，全景投影仪标定。图6为本发明的实施例公开的全景投影仪像素坐标和全景相机像素坐标的映射关系图。如图6所示，全景相机像素坐标系的一个像素点P对应全景投影仪像素坐标系下交点P’。使用白光图像投影的纹理图提取圆斑中心在全景相机像素坐标系下的二维像素坐标；根据圆斑标定板在切向和径向两个方向上全景条纹图像的绝对相位值，确定圆斑中心在全景投影仪投影平面上的二维像素坐标；已知圆斑中心的在世界坐标系下的三维坐标，求解出全景投影仪的标定参数，包括内参、外参以及畸变参数。根据全景相机和全景投影仪的外参计算二者的位置关系，得到位置转换矩阵。
但不同于双目立体视觉需要依赖稀疏特征点匹配恢复物体三维形貌特征，通过全景条纹投影，可以通过求解绝对相位定位全景相机像点与全景投影仪投射点的对应关系；
步骤5，三维坐标计算。根据360°环式场景全景条纹图像的绝对相位值，在投射条纹图像中找到与全景条纹图像的像点映射的像素点坐标；将全景结构光***视为“伪双目立体视觉***”，如图7所示，三维空间中的物点P分别经过全景柱面坐标系24和全景柱面坐标系25的中心点投影到像平面和投影平面上，基于反向投影模型，将像平面和投影平面上对应的两个像素点坐标反向投影为实际物点的方向向量，两条方向向量相交，利用最小二乘法求解出的交点坐标值就是实际物点的三维坐标，对每一对映射点进行三维坐标的计算，实现360°环式场景的稠密三维重构。
以上对本发明实施例公开的一种基于全景结构光的三维重构***和方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (2)

1.一种基于全景结构光的三维重构***，其特征在于，包括：全景投影仪、全景相机、2个多维调节架及计算机处理***；其中：
所述全景相机和全景投影仪分别固定在各自的多维调节架上，调节多维调节架使全景相机和全景投影仪同光轴，且全景投影仪投影区域与全景相机的视场区域重合；
所述全景投影仪由微显示器和二次折反射式全景镜头组成，两者通过螺纹调节和固定，使微显示器处于全景镜头的焦面上；所述全景投影仪用于投影计算机处理***生成的圆条纹组和放射条纹组；
所述全景相机由图像传感器和二次折反射式全景镜头组成，两者通过螺纹调节和固定，使全景镜头成像在图像传感器上；所述全景相机用于采集由全景投影仪投影出的圆条纹组和放射条纹组，将采集到图像信息传到计算机处理***；
所述的计算机处理***用于生成圆条纹组和放射条纹组，驱动全景投影仪进行条纹组的投影和驱动全景相机进行全景图像的采集，计算全景相机和全景投影仪的标定参数，实现360°环式场景的三维重构；
其中，所述二次折反射式全景镜头的光学***，由全景环形透镜、孔径光阑及中继透镜组沿光轴依次排列组成；其成像关系采用基于泰勒级数展开的平面-柱面投影模型，使360°环式场景的三维空间与二维像平面互为共轭关系；
计算机处理***生成的条纹图像经全景投影仪投射到360°环式场景中；投射出的条纹图像在被测物体表面发生漫反射，携带着物体表面信息的漫反射光线由全景相机接收，最终在图像传感器上生成全景条纹图像；所述图像传感器把全景条纹图像输出到计算机处理***中，进行360°环式场景的三维重构。
2.一种基于权利要求1所述三维重构***的基于全景结构光的三维重构方法，其特征在于，具体步骤为：
步骤1，全景条纹图像的生成和采集；
利用计算机处理***生成3种不同频率的相位沿径向正弦变化的圆条纹组，和沿切向正弦变化的放射条纹组；每种频率的条纹组包含4幅条纹，彼此间有相移；
使用计算机处理***驱动全景投影仪，先后投射所述的圆条纹组和放射条纹组以及一幅白光图像到圆斑标定板上，同时驱动全景相机拍摄不同位姿下的圆斑标定板全景条纹图像序列以及一幅白光图像下的纹理图，用于***标定；
将全景结构光***置于场景中，使用计算机处理***再次驱动全景投影仪将所述的圆条纹组投射到360°环式场景中，圆条纹组在360°环式场景中的物体表面发生漫反射，同时驱动全景相机采集携带360°环式场景的全景条纹图像序列，用于三维重构；
步骤2，全景相机标定；
所述全景相机成像模型是基于泰勒级数展开的平面-柱面投影模型，包括正向投影模型和反向投影模型，通过平面-柱面投影模型确定空间某物点的三维点坐标与其在全景环式图像中的投影点坐标之间的关系；通过圆斑标定板得到所有圆斑中心点对应的世界坐标系下的三维点坐标和在像素坐标系下的二维点坐标；采用最小二乘法得到全景相机标定参数，包括内参、外参以及畸变参数，这些参数将用于全景投影仪的标定和360°环式场景的三维重构；
步骤3，采用多频外差相移法进行相位展开；
采用4步相移法计算圆斑标定板全景条纹图像序列和360°环式场景的全景条纹图像序列中每个方向上每种频率条纹的折叠相位，并得到折叠相位的全景条纹图像，所述折叠相位受到反正切函数的影响呈锯齿状周期分布；采用最佳三条纹选择方法对所述折叠相位的全景条纹图像进行差频计算，得到圆斑标定板和360°环式场景的全景条纹图像序列的绝对相位值；
步骤4，全景投影仪标定；
使用白光图像投影的圆斑标定板纹理图提取圆斑中心在全景相机像素坐标系下的二维坐标，根据圆斑标定板在切向和径向两个方向上全景条纹图像的绝对相位值，定位圆斑中心在全景投影仪的投影面上的二维像素坐标；已知圆斑中心在世界坐标系下的三维坐标求解全景投影仪的标定参数，包括内参、外参以及畸变参数；根据全景相机和全景投影仪的外参计算二者的位置关系，得到位置转换矩阵；
步骤5，三维坐标计算；
根据360°环式场景全景条纹图像的绝对相位值，在投射条纹图像中找到与全景条纹图像的像点映射的像素点坐标；根据反向投影模型，将像平面和投影平面上的对应的两个像素点坐标反向投影为实际物点的方向向量，两个方向向量相交，利用最小二乘法求解出的交点坐标值，得到实际物点的三维坐标，对每一对映射点进行三维坐标的计算，实现360°环式场景的稠密三维重构。
CN202111399513.0A 2021-11-19 2021-11-19 一种基于全景结构光的三维重构***和方法 Active CN114143426B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111399513.0A CN114143426B (zh) 2021-11-19 2021-11-19 一种基于全景结构光的三维重构***和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111399513.0A CN114143426B (zh) 2021-11-19 2021-11-19 一种基于全景结构光的三维重构***和方法

Publications (2)

Publication Number Publication Date
CN114143426A CN114143426A (zh) 2022-03-04
CN114143426B true CN114143426B (zh) 2023-05-30

Family

ID=80391165

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111399513.0A Active CN114143426B (zh) 2021-11-19 2021-11-19 一种基于全景结构光的三维重构***和方法

Country Status (1)

Country Link
CN (1) CN114143426B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102628671A (zh) * 2012-03-29 2012-08-08 中国人民解放军第二炮兵工程学院 一种基于单摄像机双色线结构光的三维坐标测量方法
WO2014075062A2 (en) * 2012-11-12 2014-05-15 Spatial Integrated Systems, Inc. System and method for 3-dimensional object rendering of a moving object using structured light patterns and moving window imagery
CN104408732A (zh) * 2014-12-10 2015-03-11 东北大学 一种基于全向结构光的大视场深度测量***及方法
CN105953747A (zh) * 2016-06-07 2016-09-21 杭州电子科技大学 结构光投影全视角三维成像***及方法
CN106500596A (zh) * 2016-11-25 2017-03-15 清华大学 结构光全景测量***的测量方法
WO2018028216A1 (zh) * 2016-08-08 2018-02-15 深圳市圆周率软件科技有限责任公司 一种全景三维建模装置、方法及***
CN110207620A (zh) * 2019-06-04 2019-09-06 重庆大学 一种通过不同频率确定数字光栅投影结构光级数的三维重建方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6744569B2 (en) * 2001-06-19 2004-06-01 Genex Technologies, Inc Method and apparatus for omnidirectional three dimensional imaging

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102628671A (zh) * 2012-03-29 2012-08-08 中国人民解放军第二炮兵工程学院 一种基于单摄像机双色线结构光的三维坐标测量方法
WO2014075062A2 (en) * 2012-11-12 2014-05-15 Spatial Integrated Systems, Inc. System and method for 3-dimensional object rendering of a moving object using structured light patterns and moving window imagery
CN104408732A (zh) * 2014-12-10 2015-03-11 东北大学 一种基于全向结构光的大视场深度测量***及方法
CN105953747A (zh) * 2016-06-07 2016-09-21 杭州电子科技大学 结构光投影全视角三维成像***及方法
WO2018028216A1 (zh) * 2016-08-08 2018-02-15 深圳市圆周率软件科技有限责任公司 一种全景三维建模装置、方法及***
CN106500596A (zh) * 2016-11-25 2017-03-15 清华大学 结构光全景测量***的测量方法
CN110207620A (zh) * 2019-06-04 2019-09-06 重庆大学 一种通过不同频率确定数字光栅投影结构光级数的三维重建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种基于全向结构光的深度测量方法;贾同等;《自动化学报》;第41卷(第9期);第1553-1562页 *

Also Published As

Publication number Publication date
CN114143426A (zh) 2022-03-04

Similar Documents

Publication Publication Date Title
CN111750806B (zh) 一种多视角三维测量***及方法
CN110514143B (zh) 一种基于反射镜的条纹投影***标定方法
JP5635218B1 (ja) 空間コード化スライド画像に対するパターンのアライメント方法およびシステム
CN108171758B (zh) 基于最小光程原理和透明玻璃标定板的多相机标定方法
CN111623725B (zh) 一种跟踪式三维扫描***
CN113012277B (zh) 一种基于dlp面结构光多相机重建方法
Zhou et al. A novel laser vision sensor for omnidirectional 3D measurement
CN110296667A (zh) 基于线结构光多角度投影的高反射表面三维测量方法
CN108627121B (zh) 一种镜面面形检测装置及其检测方法
CN102438111A (zh) 一种基于双阵列图像传感器的三维测量芯片及***
CN102878948A (zh) 基于圆光斑标记的目标表面坐标的视觉测量装置及测量方法
CN115937288A (zh) 一种变电站三维场景模型构建方法
Zhang et al. Development of an omni-directional 3D camera for robot navigation
Fan et al. Underwater optical 3-D reconstruction of photometric stereo considering light refraction and attenuation
CN110618537B (zh) 镀膜透镜装置及应用该镀膜透镜装置的三维重建成像***
CN110595390B (zh) 基于四棱锥反射镜条纹投影装置及三维重建成像***
CN116295113A (zh) 一种融合条纹投影的偏振三维成像方法
CN114143426B (zh) 一种基于全景结构光的三维重构***和方法
Shimizu et al. Calibration and rectification for reflection stereo
CN110595389A (zh) 基于单目镜头的采集装置及三维重建成像***
CN111982071B (zh) 一种基于tof相机的3d扫描方法及***
CN112325799A (zh) 一种基于近红外光投影的高精度三维人脸测量方法
CN116817794B (zh) 一种基于结构光的水下高精度三维成像装置及方法
CN216621031U (zh) 一种全向三维扫描***
CN110617780A (zh) 激光干涉装置及应用该激光干涉装置的三维重建成像***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant