CN115451866A - 基于光场等效相机阵列模型的高反光表面三维测量方法 - Google Patents

基于光场等效相机阵列模型的高反光表面三维测量方法 Download PDF

Info

Publication number
CN115451866A
CN115451866A CN202210967265.3A CN202210967265A CN115451866A CN 115451866 A CN115451866 A CN 115451866A CN 202210967265 A CN202210967265 A CN 202210967265A CN 115451866 A CN115451866 A CN 115451866A
Authority
CN
China
Prior art keywords
camera
point cloud
light field
main camera
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210967265.3A
Other languages
English (en)
Other versions
CN115451866B (zh
Inventor
冯维
曲通
范家豪
王恒辉
赵大兴
谢博娅
王选择
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei University of Technology
Original Assignee
Hubei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei University of Technology filed Critical Hubei University of Technology
Priority to CN202210967265.3A priority Critical patent/CN115451866B/zh
Publication of CN115451866A publication Critical patent/CN115451866A/zh
Application granted granted Critical
Publication of CN115451866B publication Critical patent/CN115451866B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明在传统条纹投影三维测量技术的基础上，提出一种基于光场等效相机阵列模型，并结合光场相机进行高反光表面三维测量。本发明的光场等效相机阵列模型避免了光场相机繁琐的标定过程和复杂的标定结果，实现快速精确标定。本发明的基于光场等效相机阵列模型的高反光表面三维测量方法，有效解决高反光表面三维重建后信息丢失问题。

Description

基于光场等效相机阵列模型的高反光表面三维测量方法
技术领域
本发明涉及本发明涉及一种三维重建方法，尤其涉及一种具有高反光区域物体的三维重建方法。
背景技术
条纹投影轮廓术常用于测量物体的三维表面形貌，相移条纹图案被投影到物体表面发生变形，并由相机采集，相机的像素对应点的三维坐标信息，可通过采集的变形条纹图案中所包含的相位信息来计算得到。然而，由于物体表面加工处理方式不同、表面粗糙度各异，在光线投射至物体表面时会发生镜面反射和漫反射，其中镜面反射具有方向性，是造成图像过饱和的主要因素。这使得条纹投影三维测量方法面临图像过饱和问题，即入射光强远超过相机图像传感器的最大灰度值。从而使得后续的相位解调和相位展开过程中存在较大误差，进而导致相位紊乱，最终给计算得到的点云数据引入过多的误差或者过于稀疏。
发明内容
光场成像技术能够同时记录光线的位置信息和方向信息，因此，与传统相机相比，光场相机可捕捉到四维光场信息，通过提取四维光场信息得到场景的多视角图像，即子孔径图像，异视角子孔径图像对于同一世界点采集到的光线信息并不相同，这就使得光场子孔径图像之间存在一定的差异性和互补性。理论上来说，对于某一子孔径所记录的图像信息中因过曝而丢失的场景信息，能够在其他视角下的子孔径图像得到补充。因此，本发明在传统条纹投影三维测量技术的基础上，提出一种基于光场等效相机阵列模型的高反光表面三维测量方法及***，有效解决高反光表面三维重建后信息丢失问题。
根据本发明实施例的第一方面，提出了一种光场等效相机阵列模型，避免了光场相机繁琐的标定过程和复杂的标定结果，实现快速精确标定。
根据本发明实施例的第二方面，提出了一种高反光表面三维测量方法，利用标定的光场相机对高反光表面进行多视角三维重建，从而得到不同视角下高反光表面的多方向点云信息，该光场相机看作由主相机和辅助相机组成的等效相机阵列，选择子孔径图像中的中心视角作为主相机的视角，辅助相机的成像看作是除中心视角下的其他视角成像，将所有辅助相机的坐标***一到主相机坐标系中；选择主相机下重建得到点云作为目标点云，其余辅助相机下重建得到点云作为辅助点云，将所有重建点云统一至主相机坐标系下，再将统一至主相机坐标系下的所有重建点云投影至XOY平面，得到投影图像后，通过连通域分析提取得到每个点云投影图像中缺失部分所在的像素位置和大小，确定对于目标点云具有修复意义的异视角点云信息，然后从异视角点云中提取互补点云，并拼接至目标点云的对应区域，以此对目标点云进行迭代修复，直至完全恢复因过度曝光而丢失的信息，实现对高反光表面物体进行完整三维测量工作。
根据本发明实施例的第三方面，提出一种高反光表面三维测量***，包括：光场相机；三维重建模块，其被配置为利用标定的光场相机对高反光表面进行多视角三维重建，从而得到不同视角下高反光表面的多方向点云信息，该光场相机看作由主相机和辅助相机组成的等效相机阵列，选择子孔径图像中的中心视角作为主相机的视角，辅助相机的成像看作是除中心视角下的其他视角成像，将所有辅助相机的坐标***一到主相机坐标系中，选择主相机下重建得到点云作为目标点云，其余辅助相机下重建得到点云作为辅助点云，将所有重建点云统一至主相机坐标系下，再将统一至主相机坐标系下的所有重建点云投影至XOY平面，得到投影图像后，通过连通域分析提取得到每个点云投影图像中缺失部分所在的像素位置和大小，确定对于目标点云具有修复意义的异视角点云信息，然后从异视角点云中提取互补点云，并拼接至目标点云的对应区域，以此对目标点云进行迭代修复，直至完全恢复因过度曝光而丢失的信息，实现对高反光表面物体进行完整三维测量工作。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例的附图作简单地介绍。
图1(a)为本发明一实施例提供的光场相机模型示意图。
图1(b)为本发明一实施例提供的等效相机阵列模型示意图。
图2为本发明一实施例提供的基于光场等效阵列模型的三维测量***示意图。
图3为本发明一实施例提供的正弦相移条纹示意图。
图4为本发明一实施例提供的光场等效相机阵列三维测量***示意图。
图5为本发明一实施例提供的点云自适应修复示意图。
图6为本发明一实施例提供的金属柱体表面重建示意图，其中(a)原始光场图像(b)传统条纹投影三维重建结果(c)本发明三维重建结果。
具体实施方式
从原始光场图像中提取的子孔径图像是从不同视角对场景所成的像，因此聚焦型光场相机可以等价于一个相机阵列，从而可将四维光场L(s,t,u,v)简化为二维L(u,v)阵列，用光场相机的角度分辨率(s,t)在阵列上进行定位。基于此，本发明提出了基于聚焦型光场相机的等效相机阵列模型。为了标定聚焦型光场相机，将结构未知的聚焦型光场相机看作由主相机和辅助相机组成的等效相机阵列，选择子孔径图像中的中心视角作为主相机的视角。考虑到子孔径图像的提取过程，可将该模型中所有相机视为具有相同的内参矩阵，光场相机子孔径图像的不同视角反映在相机的姿态变化中。辅助相机的成像可以看作是除中心视角下的其他视角成像。因此，主相机图像平面上世界点Pw＝(x,y,z)T到主相机平面上点mm＝(um,vm)T和辅助相机图像平面上点ma＝(ua,va)T的透视图投影变换可以表示为：
Figure BDA0003795232320000031
其中，
Figure BDA0003795232320000032
表示齐次坐标，sm和sa为尺度因子，AC为相机的本征矩阵，[Rm|Tm]和[Ra|Ta]分别为主相机和辅助相机的外参矩阵。
为了避免主相机和辅助相机对同一世界点的重建结果不一致，需要将所有辅助相机的坐标***一到主相机坐标系中。因此，主相机坐标系默认为等效相机阵列坐标系。在这种情况下，辅助相机的位置和姿态可以用主相机的外参矩阵表示。同时，从辅助相机到主相机的位姿变化是一个刚体变换过程。因此，可以推导出辅助相机坐标系到主相机坐标系的刚体变换，可以表示为：
Figure BDA0003795232320000033
其中，[Rs|Ts]为辅助摄像机的结构参数，表示从辅助相机坐标系到主相机坐标系的刚体变换矩阵，Pm和Pa分别为主相机坐标系和辅助相机坐标系中某一点的三维坐标。为了对辅助相机的不同姿态进行标识，用C(i，j)表示位于等效相机阵列中的第i行第j列的相机，Pa,ij表示C(i，j)相机坐标系中的坐标，ma,ij为相应的图像像素坐标系中的坐标。在主相机坐标系下，主相机与辅助相机的变换可由下式表示：
Figure BDA0003795232320000034
其中，sa,ij为第i行第j列等效相机的尺度因子，I为单位矩阵，Rs,ij、Ts,ij为第C(i，j)的结构参数。将不同的辅助相机视角下计算得到的Pa,ij统一至主坐标系中，得到聚焦型光场相机的等效相机阵列模型，如图1所示。
搭建如图2所示的基于光场等效相机阵列模型的高反光表面三维测量***，其中包括DLP4500结构光投影仪、Raytrix R8光场相机、上位机等。利用MATLAB编程生成3组分辨率为912×1140相移正弦条纹图案，频率分别为15、12、10，每组包括水平和竖直相移条纹各4幅，相邻相移条纹图案之间相位相差π/2，共计24幅正弦条纹图案，如图3所示。将制作好的棋盘格标定板置于光场相机视场中不同位置，尽量覆盖不同角度，在每一位置处投影仪均投射24幅正弦条纹图案，将标定板置于10个不同的位姿，可以得到10组正弦条纹图案序列，每组图案包含一幅棋盘格图片和24幅正弦条纹图案，共25张图案。图片采集完成后，依据光场子孔径图像提取算法，对光场相机采集到的原始光场数据进行解码，为了保证测量***三维重建的精度，需要对光场相机的角度分辨率和空间分辨率进行平衡，最后将角度分辨率调整为6×6，即从原始图像中可提取36个视角的子孔径图像，空间分辨率为1430×784，即从原始光场图像中提取的子孔径图像分辨率为1430×784。将采集到的标定图案进行解码，得到36组图案，每组图案为每个视角下所采集的标定图案，共250张图案。采用开源标定软件进行标定，得到各等效相机的内外参数、相机阵列结构参数和投影仪内外参数。
在通过标定工作得到等效相机阵列模型和投影仪内参矩阵以及外参矩阵后，则在统一坐标系下，被测物体在不同视角下的三维重建结果可由下式得到：
Figure BDA0003795232320000041
其中，Eij为等效相机阵列中C(i，j)的结构参数，sp为投影仪尺度因子，sc,ij第i行第j列等效相机尺度因子。Ap为投影仪的本征矩阵，[Rp|Tp]为投影仪的外参矩阵，up为对应点的投影仪像素坐标系下横坐标，Φi(uc,vc)为在点(uc,vc)的绝对相位值，W为投影条纹宽度，N为条纹最大周期整数。Pc＝RcPw+Tc为相机坐标系中的坐标，Rc,Tc为相机的外参。相机阵列中的主相机为中心视角下相机，因此选择主相机坐标系作为测量***的坐标系，则Eij可定义为：
Figure BDA0003795232320000042
其中，(s,t)为聚焦型光场相机的角度分辨率。因此，可利用聚焦型光场进行多视角三维重建，Rs,ij,Ts,ij代表第i行第j列等效相机的外参。从而得到不同视角下被测物体的多方向点云信息，如图4所示。
在测量***中，由于被测物体表面存在高反光区域，导致从多个视角重建的点云可能不完整，即图像过曝光导致重建点云出现空洞现象。相机在不同视角下记录的来自世界坐标系中同一点的光线强度是不相等的，因此在对高反光表面物体重建得到的异视角点云中，丢失信息的位置和大小是不同的。也就是说，不完整的点云可以被其他视角下重建的具有互补性息的点云所修复，如图5所示。
选择光场等效相机阵列测量***中，主相机下重建得到点云{P}m作为目标点云，其余作为辅助点云{P}a。为了避免冗余的计算，将所有重建点云统一至主相机坐标系下，再将点云投影至XOY平面，由下式可得到投影图像：
Figure BDA0003795232320000051
其中，Bm表示目标点云投影得到的二值投影图像，零像素区域表示点云缺失区域；Ba表示源点云投影得到的二值投影图像；Ωz表示将点云投影至XOY平面上。得到投影图像后，通过连通域分析可提取得到每个点云投影图像中缺失部分所在的像素位置和大小，从而可确定对于目标点云具有修复意义的异视角点云信息，可表示为：
Λ＝Ψ(Bm)ΔΨ(Ba)
其中，Ψ表示连通域分析，AΔB表示根据点集A中零像素的位置从点集B中提取坐标集Λ。然后，可以从异视角点云中提取互补点云，并拼接至目标点云的对应区域。修复后的点云{P}re可表示为：
Figure BDA0003795232320000052
其中，δΛ表示根据坐标集Λ提取点云，
Figure BDA0003795232320000053
表示点云拼接。重复上述步骤，对目标点云进行迭代修复，直至完全恢复因过度曝光而丢失的信息，从而利用光场等效相机阵列测量***对高反光表面物体进行完整三维测量工作。
上述对点云的处理可以通过配置在上位机上的三维重建模块实现。三维重建模块以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(randomaccess memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以抛光金属柱体为例，原始光场图像如图6(a)所示，采用传统条纹投影三维重建方法如图6(b)所示，本发明重建结果如图6(c)所示。

Claims (2)

1.一种高反光表面三维测量方法，其特征在于，利用标定的光场相机对高反光表面进行多视角三维重建，从而得到不同视角下高反光表面的多方向点云信息，该光场相机看作由主相机和辅助相机组成的等效相机阵列，选择子孔径图像中的中心视角作为主相机的视角，辅助相机的成像看作是除中心视角下的其他视角的成像，将所有辅助相机的坐标***一到主相机坐标系中；
选择主相机下重建得到点云作为目标点云，其余辅助相机下重建得到点云作为辅助点云，将所有重建点云统一至主相机坐标系下，再将统一至主相机坐标系下的所有重建点云投影至XOY平面，得到投影图像后，通过连通域分析提取得到每个点云投影图像中缺失部分所在的像素位置和大小，确定对于目标点云具有修复意义的异视角点云信息，然后从异视角点云中提取互补点云，并拼接至目标点云的对应区域，以此对目标点云进行迭代修复，直至完全恢复因过度曝光而丢失的信息，实现对高反光表面物体进行完整三维测量工作。
2.一种高反光表面三维测量***，其特征在于，包括：
光场相机；
三维重建模块，其被配置为利用标定的光场相机对高反光表面进行多视角三维重建，从而得到不同视角下高反光表面的多方向点云信息，该光场相机看作由主相机和辅助相机组成的等效相机阵列，选择子孔径图像中的中心视角作为主相机的视角，辅助相机的成像看作是除中心视角下的其他视角成像，将所有辅助相机的坐标***一到主相机坐标系中，选择主相机下重建得到点云作为目标点云，其余辅助相机下重建得到点云作为辅助点云，将所有重建点云统一至主相机坐标系下，再将统一至主相机坐标系下的所有重建点云投影至XOY平面，得到投影图像后，通过连通域分析提取得到每个点云投影图像中缺失部分所在的像素位置和大小，确定对于目标点云具有修复意义的异视角点云信息，然后从异视角点云中提取互补点云，并拼接至目标点云的对应区域，以此对目标点云进行迭代修复，直至完全恢复因过度曝光而丢失的信息，实现对高反光表面物体进行完整三维测量工作。
CN202210967265.3A 2022-08-12 2022-08-12 基于光场等效相机阵列模型的高反光表面三维测量方法 Active CN115451866B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210967265.3A CN115451866B (zh) 2022-08-12 2022-08-12 基于光场等效相机阵列模型的高反光表面三维测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210967265.3A CN115451866B (zh) 2022-08-12 2022-08-12 基于光场等效相机阵列模型的高反光表面三维测量方法

Publications (2)

Publication Number Publication Date
CN115451866A true CN115451866A (zh) 2022-12-09
CN115451866B CN115451866B (zh) 2024-06-25

Family

ID=84298214

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210967265.3A Active CN115451866B (zh) 2022-08-12 2022-08-12 基于光场等效相机阵列模型的高反光表面三维测量方法

Country Status (1)

Country Link
CN (1) CN115451866B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107123156A (zh) * 2017-03-10 2017-09-01 西北工业大学 一种与双目立体视觉相结合的主动光源投影三维重构方法
WO2019120896A1 (en) * 2017-12-22 2019-06-27 Zivid Labs As Method and system for generating a three-dimensional image of an object
CN111750806A (zh) * 2020-07-20 2020-10-09 西安交通大学 一种多视角三维测量***及方法
CN113108721A (zh) * 2021-04-09 2021-07-13 四川大学 基于多光束自适应互补匹配的高反光物体三维测量方法
CN113205592A (zh) * 2021-05-14 2021-08-03 湖北工业大学 一种基于相位相似性的光场三维重建方法及***
CN113205593A (zh) * 2021-05-17 2021-08-03 湖北工业大学 一种基于点云自适应修复的高反光表面结构光场三维重建方法
CA3126592A1 (fr) * 2020-08-03 2022-02-03 Institut De La Recherche Scientifique Method and system for high-speed dual-view band-limited illumination profilometry

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107123156A (zh) * 2017-03-10 2017-09-01 西北工业大学 一种与双目立体视觉相结合的主动光源投影三维重构方法
WO2019120896A1 (en) * 2017-12-22 2019-06-27 Zivid Labs As Method and system for generating a three-dimensional image of an object
CN111750806A (zh) * 2020-07-20 2020-10-09 西安交通大学 一种多视角三维测量***及方法
CA3126592A1 (fr) * 2020-08-03 2022-02-03 Institut De La Recherche Scientifique Method and system for high-speed dual-view band-limited illumination profilometry
CN113108721A (zh) * 2021-04-09 2021-07-13 四川大学 基于多光束自适应互补匹配的高反光物体三维测量方法
CN113205592A (zh) * 2021-05-14 2021-08-03 湖北工业大学 一种基于相位相似性的光场三维重建方法及***
CN113205593A (zh) * 2021-05-17 2021-08-03 湖北工业大学 一种基于点云自适应修复的高反光表面结构光场三维重建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
邢威;张福民;冯维;曲兴华;: "基于数字微镜器件的高光面物体三维测量方法", 光学学报, no. 12, 10 December 2017 (2017-12-10) *

Also Published As

Publication number Publication date
CN115451866B (zh) 2024-06-25

Similar Documents

Publication Publication Date Title
CN110514143B (zh) 一种基于反射镜的条纹投影***标定方法
CN113205593B (zh) 一种基于点云自适应修复的高反光表面结构光场三维重建方法
JP5485889B2 (ja) 位相解析測定を行う装置および方法
CA2666256C (en) Deconvolution-based structured light system with geometrically plausible regularization
CN112465912B (zh) 一种立体相机标定方法及装置
Douxchamps et al. High-accuracy and robust localization of large control markers for geometric camera calibration
CN113205592B (zh) 一种基于相位相似性的光场三维重建方法及***
JP2012504771A (ja) 三次元及び距離の面間推定を与えるための方法及びシステム
CN112013792A (zh) 一种复杂大构件机器人面扫描三维重建方法
WO2018201677A1 (zh) 基于光束平差的远心镜头三维成像***的标定方法及装置
CN111238403A (zh) 一种基于光场子孔径条纹图像的三维重建方法及装置
Aliaga et al. Photogeometric structured light: A self-calibrating and multi-viewpoint framework for accurate 3d modeling
CN113447241B (zh) 分割投影成像***的快速定标方法及装置
KR102317836B1 (ko) 회절 격자를 이용한 3차원 이미지 재구성 방법 및 장치
CN116559179B (zh) 一种反光表面形貌与缺陷检测方法及其***
CN109859313B (zh) 3d点云数据获取方法、装置、3d数据生成方法及***
CN115451866B (zh) 基于光场等效相机阵列模型的高反光表面三维测量方法
CN116433841A (zh) 一种基于全局优化的实时模型重建方法
Berssenbrügge et al. Characterization of the 3D resolution of topometric sensors based on fringe and speckle pattern projection by a 3D transfer function
Hafeez et al. The effect of patterns on image-based modelling of texture-less objects
CN113160393B (zh) 基于大景深的高精度三维重建方法、装置及其相关组件
Skabek et al. Comparison of photgrammetric techniques for surface reconstruction from images to reconstruction from laser scanning
CN117994446B (zh) 基于偏振双目线结构光融合互补三维重构方法和***
Weckenmann et al. 3D surface coordinate inspection of formed sheet material parts using optical measurement systems and virtual distortion compensation
Ullah et al. A low-cost three-dimensional reconstruction and monitoring system using digital fringe projection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant