CN110462685B - 三维模型重建方法和*** - Google Patents
三维模型重建方法和*** Download PDFInfo
- Publication number
- CN110462685B CN110462685B CN201780088857.5A CN201780088857A CN110462685B CN 110462685 B CN110462685 B CN 110462685B CN 201780088857 A CN201780088857 A CN 201780088857A CN 110462685 B CN110462685 B CN 110462685B
- Authority
- CN
- China
- Prior art keywords
- light field
- feature
- matching
- field image
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000013519 translation Methods 0.000 claims abstract description 18
- 238000012545 processing Methods 0.000 claims description 19
- 230000006870 function Effects 0.000 description 14
- 230000004927 fusion Effects 0.000 description 9
- 238000013481 data capture Methods 0.000 description 8
- 238000005457 optimization Methods 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 4
- 230000036544 posture Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10052—Images from lightfield camera
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Image Processing (AREA)
Abstract
公开了一种生成物体三维模型的方法。该方法可利用光场相机在多个视角下拍摄多幅光场图像。该方法可包括:在第一视角下拍摄第一光场图像;在第二视角下拍摄第二光场图像;估算从所述第一视角至第二视角的光场旋转量和平移量;获得所述多幅光场图像中每一幅的视差图;以及通过优化所述光场旋转量和平移量,并优化所述视差图,计算三维点云。所述第一光场图像可包括多幅第一子孔径图像,所述第二光场图像可包括多幅第二子孔径图像。
Description
技术领域
本发明总体涉及用于拍摄和处理光场图像的***,尤其涉及一种利用光场图像生成物体三维模型的方法和***。
背景技术
光场(LF)相机也称全光相机,其可在四个维度上捕获场景内所有方向上的光。也就是说,与仅记录光强的传统相机相比,光场相机同时捕获光线的强度和方向,从而即使在图像数据捕获之后,也允许进行复杂的数据处理。举例而言,可以通过虚拟方式改变焦点或视角,或者从单次曝光中估算出景深图。
利用光场图像的丰富信息以及光场特征(如惯常采样模式、子像素视差等),光场相机可用于生成物体的三维模型。对于高精度三维模型重建而言,运动断构(Structurefrom Motion,从运动中推断结构,一种求解光场姿态的方法)是一个必不可少的步骤。传统运动断构法一般不使用光场中内含的几何约束条件,因此往往无法获得良好的结果。
本发明提供一种采用新运动断构法的三维模型重建方法。该新运动断构法利用了光线几何形状在光场姿态变化下的转换方式,从而使得本发明三维模型重建方法更加稳健,更加精确,而且甚至能够应用于花朵等在拓扑结构上较为复杂的物体。此外,由本发明方法生成的三维模型可用于虚拟现实(VR)设备和增强现实(AR)设备,并且能够在任何视角供人观视。
发明内容
本发明的一个方面涉及一种生成物体三维模型的方法。该方法可利用光场相机在多个视角下拍摄多幅光场图像。该方法可包括:在第一视角下拍摄第一光场图像;在第二视角下拍摄第二光场图像;估算从所述第一视角至第二视角的光场旋转量和平移量;获得所述多幅光场图像当中每一幅的视差图;以及通过优化所述光场旋转量和平移量,并优化所述视差图,计算三维点云。所述第一光场图像可包括多幅第一子孔径图像,而所述第二光场图像可包括多幅第二子孔径图像。
本发明的另一方面涉及一种生成物体三维模型的***。该***可包括光场相机和数据处理单元。该相机可用于在多个视角下拍摄多幅光场图像。其中,可在第一视角下拍摄第一光场图像,并可在第二视角下拍摄第二光场图像。所述第一光场图像可包括多幅第一子孔径图像,而所述第二光场图像可包括多幅第二子孔径图像。所述数据处理单元可用于:估算从所述第一视角至第二视角的光场旋转量和平移量;获得所述多幅光场图像当中每一幅的视差图;以及通过优化所述光场旋转量和平移量,并优化所述视差图,计算三维点云。
应该理解的是,以上概括描述和以下详细描述均仅在于例示和说明,并不对所要求保护的本发明构成限制。
附图说明
作为本发明的一部分,所附各图示出了若干非限制性实施方式,并与说明书一道阐明本发明中的原理。
图1为根据本发明例示实施方式的三维模型重建***示意图。
图2为根据本发明实施方式估算从第一视角至第二视角的光场姿态的方法的例示流程图。
图3为根据本发明实施方式通过优化光场姿态和优化视差图而计算三维点云的方法流程图。
图4为根据本发明实施方式利用光场相机生成物体三维模型的方法流程图。
具体实施方式
以下将对例示实施方式进行详细描述,各实施方式的实施例示于附图中。以下描述通过参考附图做出,其中,除非另有说明,否则不同附图中的相同数字表示相同或类似的元件。在以下对本发明例示实施方式的描述中,所给出的具体实施方式并非本发明的所有实施方式。相反,这些具体实施方式仅为本发明所涉及的各个方面当中的***和方法的具体示例。
在本说明书中,需要理解的是,文中的“第一”和“第二”等词用于描述目的,并不旨在表示或暗示所描述技术特征的相对重要性或显著性,也不旨在暗示所描述技术特征的数量。因此,以“第一”和“第二”描述的技术特征的数量皆可以为一个或多个。在本发明的描述中,除非另有说明,否则“多个”表示至少两个,如两个、三个等。
根据本发明的实施方式,提供一种三维模型重建***,该***包括数据捕获单元和数据处理单元。该数据捕获单元用于拍摄光场图像并将其发送给所述数据处理单元。该数据处理单元用于实施相机校准、运动断构、立体匹配及深度融合。其中,相机校准用于校正光场图像的视角失真;运动断构用于估算光场姿态;立体匹配用于获得光场图像的视差图;深度融合用于优化光场姿态。视差图用于获得三维点云,该三维点云为三维坐标***内的一组数据点,用于表示物体的外表面,即物体的三维模型。
1、***概述
图1所示为根据本发明实施方式的例示三维模型重建***100。***100可包括若干部件,而其中的某些部件可以为可选部件。在一些实施方式中,***100可包括图1所示之外的部件。然而,由于所公开的实施方式出于说明目的,因此并无必要将这些组件全部示出。
如图1所示,***100可包括数据捕获单元200和数据处理单元300。数据捕获单元200可包括光场相机210。数据处理单元300可包括相机校准单元310、运动断构单元320、立体匹配单元330以及深度融合单元340。
2、数据捕获单元
2.1光场相机
在一些实施方式中,数据捕获单元200包括光场相机210,该光场相机包括置于传统图像传感器前的微透镜阵列,因此其可感测光强、颜色和方向信息。光场相机拍摄的图像可称为光场图像,此类光场图像包括光强、颜色和方向信息,并且可用于三维模型重建。
在一些实施方式中,可将Lytro Illum光场相机用作光场相机210。Lytro Illum光场相机可在一次曝光中拍摄一幅15×15的光场图像,即每幅光场图像包括15×15幅子孔径图像。光场相机210的各参数列于下表1。
表1
2.2数据捕获方法
光场相机210可用作虚拟扫描仪,用于在目标物体周围移动,并同时在多个视角当中的每一视角下以单次曝光拍摄光场图像。其中,任意两个相邻视角下相继拍摄的两幅光场图像之间的视场重叠率可不超过50%。而且,为了最终实现完整三维模型的重建,所述多个视角涵盖目标物体的所有视角。光场相机210获得的光场图像数据可例如通过USB 3.0发送给数据处理单元300。
3、数据处理单元
如图1所示,数据处理单元300包括相机校准单元310、运动断构单元320、立体匹配单元330以及深度融合单元340。
2.1相机校准
相机校准单元310用于对所拍摄的光场图像进行校准。在利用光场相机构建三维模型时,需要同时获得该光场相机的内部和外部参数。其中,内部参数是指将图像中各点的像素坐标与相机参考系中的相应坐标相关联的参数,而外部参数可以为限定相机参考系相对于已知世界参考系的位置和朝向的参数。在一些实施方式中,可利用Yunsu Bok(YunsuBok,et al,《基于线特征的微透镜光场相机的几何校准》(“Geometric Calibration ofMicro-Lens-Based Light Field Cameras Using Line Features,”)IEEE Trans.PatternAnal.Mach.Intell.,vol.39,no.2,pp.287–300,2017)对基于微透镜的光场相机的几何校准方法,校准光场图像内每一子孔径图像的内部和外部参数。校准后,每一视角下的光场图像均可获得15×15幅已校准子孔径图像。上述Lytro Illum光场相机拍摄的子孔径图像分辨率为552×383。在一些实施方式中,在每一视角下的15×15幅子孔径图像当中,均选择中央的7×7幅子孔径图像进行进一步的数据处理。
2.2运动断构
校准后的光场图像发送给运动断构单元320,以获得光场姿态,即各视角之间光场图像的旋转量和平移量。传统运动断构法因未利用光场图像内含的丰富几何约束条件而无法通过光场图像获得良好结果。本发明提出一种对光线几何形状在光场姿态变化下的转换方式加以利用的稳健而精确的光场运动断构法。
该光场姿态估算方法可以以光线空间进行描述。其中,为了简单起见,采用双平面参数化法(2PP)表示光场。在双平面参数化法中,每条光线均以其与Πuv和Πst这两个平行平面的交点进行参数化。假设Πuv为z=0处的相机平面,而Πst为z=1处的图像平面,则每条光线均可表示为其与Πuv和Πst的交点的分量。为了进一步简化推导过程,通过定义σ=s-u及τ=t-v,将光线方向参数化为[σ,τ,1]。如此,所有光线便可参数化为[σ,τ,u,v]四元组。
举例而言,光场相机在第一视角k下拍摄第一光场F,并在第二视角k+1下拍摄第二光场F′,而且F′已调整至世界坐标。对于F内的光线r=[σ,τ,u,v],如果F和F′之间的转换关系已知,则可利用R和T并按照r*=[σ*,τ*,u*,v*],将r转换至F′:
其中,w和q为两个比例因子,R为3×3的旋转矩阵,T为3×1的平移向量。式(1)为光场下的光线转换式。该光场姿态估算方法的下一步为求解R和T。
一般而言,可通过如下方式实现光场姿态的估算:提取每幅光场图像内的特征点和特征线;对各幅子孔径图像进行特征匹配,以找出匹配特征;在两幅不同光场图像之间匹配此类匹配特征;根据此类匹配特征估算光场姿态。图2为根据本发明实施方式估算从第一视角至第二视角的光场姿态的方法的例示流程图。
如图2所示,在步骤201中,将多幅光场图像输入运动断构单元320。该多幅光场图像当中的每一幅均摄于不同视角,而且包括7×7幅子孔径图像。
在步骤202中,提取每幅光场图像中的特征点。在步骤203中,将每幅光场图像的特征点在相应子孔径图像之间进行匹配,以获得每幅光场图像的匹配特征点。在仅考虑特征点的情况下,在步骤206中,将一幅光场图像的匹配特征与另一幅光场图像的匹配特征相匹配,以获得这两幅光场图像之间的匹配特征。所获得的该两幅光场图像之间的匹配特征可用于在步骤207中估算相应两个光场之间的R和T。
以视角k下拍摄的一幅光场图像k为例,在步骤202中,从光场图像k中提取x个第一特征点。在步骤203中,将这些第一特征点在光场图像k的7×7幅子孔径图像之间进行匹配,以找出光场图像k的y个第一匹配特征点。也就是说,对于具有7×7幅子孔径图像的光场图像k,先将所述x个第一特征点在第一子孔径图像和第二子孔径图像之间进行匹配,然后再在第一子孔径图像和第三子孔径图像之间进行匹配,依此类推。通过在光场图像k的所述7×7幅子孔径图像之间重复进行该项处理,获得图像k的y个第一匹配特征点。类似地,对于视角k+1下拍摄的另一光场图像k+1,可提取x'个第二特征点,并可找出y'个第二匹配特征点。在仅考虑特征点的情形中,在步骤206中,将所述y个第一匹配特征点与所述y'个第二匹配特征点相匹配,以获得光场图像k和光场图像k+1之间的m个匹配特征点。然后,在步骤207中,可根据该m个匹配特征点,估算从视角k转换至视角k+1的过程中光场的旋转量R和平移量T。在下文中,以双平面参数化法,对其过程进行详细描述。
当考虑在同一光场F′内通过同一三维点的任意两条光线r0=[σ0,τ0,u0,v0]和r*=[σ*,τ*,u*,v*]时,那么此两光线应满足如下边长算式:
(σ0-σ*)(v0-v*)=(τ0-τ*)(u0-u*) (2)
其中,σ*,τ*,u*,v*为R和T中的函数。因此,通过将式(1)和式(2)组合,可推出用于求解R和T的带特征点能量函数:
其中,[σi,τi,ui,vi]和[σj,τj,uj,vj]为通过F和F′中相同三维点的相应光线,为从F转换至F′后的转换光线。为了获得最优的R和T,可使用基于梯度的优化方法对式(3)进行求解,并利用随机抽样一致性法(RANSAC)去除异常值。
除此之外,还可利用特征线估算不同光场之间的光线对应关系。通过以各光场之间的特征线匹配计算R和T,可以提高该光场姿态估算方法的稳健性。
在考虑特征线的情况下,在步骤204中,通过对每幅光场图像的相应子孔径图像实施线段检测(LSD)算法,提取光场图像特征线。从光场的惯常采样特性可知,任何两个相邻相机或子孔径之间始终具有相同的基线。该基线是指相邻相机或子孔径之间的像素距离,单位为毫米。利用这一特性,在步骤205中,将每幅光场图像的特征线在相应子孔径图像之间进行匹配,以获得每幅光场图像的匹配特征线。相应地,在步骤206中,将一幅光场图像的匹配特征点和特征线组合后与另一幅光场图像的匹配特征点和特征线相匹配,以获得这两幅光场图像之间的匹配特征。随后,所获得的该两幅光场图像之间的匹配特征可用于在步骤207中估算该两图像之间的R和T。
同样以视角k下拍摄的一幅光场图像k为例,在步骤202中,提取光场图像k的x个第一特征点。在步骤203中,将这些第一特征点在光场图像k的7×7幅子孔径图像之间进行匹配,以找出光场图像k的y个第一匹配特征点。
与此同时,在步骤204中,提取光场图像k的p条第一特征线。在步骤205中,将这些第一特征线在光场图像k的7×7幅子孔径图像之间进行匹配,以找出光场图像k的q条第一匹配特征线。也就是说,对于具有7×7幅子孔径图像的光场图像k,在仅考虑特征线时,先将所述p条第一特征线在第一子孔径图像和第二子孔径图像之间进行匹配,然后再在第一子孔径图像和第三子孔径图像之间进行匹配,依此类推。通过在光场图像k的所述7×7幅子孔径图像之间重复进行该项处理,获得图像k的q条第一匹配特征线。类似地,对于视角k+1下拍摄的另一光场图像k+1:可提取x'个第二特征点,并可找出光场图像k+1的y'个第二匹配特征点;并且还可提取p'条第二特征线,并可找出光场图像k+1的q'条第二匹配特征线。
在步骤206中,将上述匹配特征点和特征线相组合,并将光场图像k的y+q个第一匹配特征与光场图像k+1的y'+q'个第二匹配特征相匹配,以找出光场图像k和光场图像k+1之间的n个匹配特征。该n个匹配特征可同时包括特征点和特征线。
在一些实施方式中,步骤206中仅使用特征线,也就是说,将光场图像k的q条第一匹配特征线与光场图像k+1的q'条第二匹配特征线相匹配,以获得光场图像k和光场图像k+1之间的匹配特征线。
随后,在步骤207中,可根据所述n个匹配特征,估算出从视角k转换至视角k+1的过程中光场的旋转量R和平移量T。在下文中,以双平面参数化法,对其过程进行详细描述。
为了在双平面参数化法中表示上述光场运动断构法,可将三维线l表示为[σ0,τ0,u0,v0]。假设三维线l不与Πst和Πuv平行,则通过l的任何光线[σ,τ,u,v]应满足如下双线性约束条件:
二维空间内的每一组匹配线对应于三维空间内的一条线。如果与三维线相对应的二维线组内存在足够量的匹配二维线,则可利用上述双线性特性复原出三维线的参数化形式,如[σ0,τ0,u0,v0]。通过以线匹配算法对两个不同光场中的线进行匹配,可以找出匹配的三维线,即可以获得同一条线在两个不同光场中的相应参数化形式。
对于所有匹配线,相应的线匹配算法能量函数为:
EFinal=EP+EL
该最终能量函数将特征点和特征线融合在一起,通过以基于梯度的优化方法求解EFinal,可以估算出光场姿态(旋转量和平移量)。
本发明中提出的光场运动断构法具有如下优点:一、稳健性:优化步骤中使用了RANSAC,从而能有效去除异常匹配值;二、精确性:两光场之间的匹配特征数量足以使得式(3)始终能找出最优的R和T。此外,该方法还利用了光场中的光线特性,该特性极为有益,并可提高效率。
2.3立体匹配
所述已校准光场图像还进一步发送给立体匹配单元330,以获得每幅光场图像的视差图。由于光场的采样特性等特殊性质,可以通过单幅光场图像生成视差图。在本发明中,提出一种用于获取光场图像视差图的新立体匹配方法。其中,假设视差可表示为图像的三个颜色通道的线性组合,并通过求解立体匹配代价函数,生成视差图。代价函数为一种用于获得最优解的数学优化方法,其中,最优解是指代价最低的解。传统的常数假设仅对前向平行平面有效,而对于曲面或斜面,无法获得准确结果。本发明发明能够对曲面和斜面进行建模,并将深度边界考虑在内,因此能够生成更加精确的视差图。
视差可按照下式表示为图像的三个颜色通道的线性组合:
其中,(ak,bk)为假定在滑动窗口ωk内保持恒定的特定线性系数。滑动窗口是指从图像上“滑过”的具有固定宽高的矩形区域。因此,通过式(4)可求得能够使视差图能量函数最小化的结果:
其中,c表示颜色通道,含ak的第二项用于提高数值稳定性,而且在权重值∈较小时,对视差恒定性具有微小的促进作用。通过在式(5)中消除(ak,bk)而使得J(q,a,b)最小化后,可将q完全正则化为:
J(q)=qTLq (6)
其中,L为N×N矩阵,其第(i,j)个元素为:
其中,∑k为3×3协方差矩阵,μk为窗口ωk中颜色的3×1平均向量,Ik为3×3单位矩阵。
式(4)可整合至用于通过光场进行深度估算的全局计算式中。假设Ir为中心参考光场视角,Io为二维位置(o-r)处的第二子孔径图像,则可通过使以下能量函数最小化而计算视差图:
其中,第一项对应于数据保真度,λ为平衡权重。由于光场各视角之间的基线通常非常小,因此可将Io扩展为 其中,为(o-r)方向上的梯度。如此,以上能量方程可缩减为该方程仅涉及二次方,因此可有效求解。如此,即可获得视差图。
在一些实施方式中,通过多尺度法提高所述立体匹配方法的效率和稳健性。首先,通过低采样率下获得的粗略输入,恢复出低分辨率的相应视差图。然后,通过线性内插法提高采样率和分辨率,并以低分辨率下的视差为初始值,进一步估算视差,直至达到原始分辨率。
2.4深度融合
在此之后,将不同视角下拍摄的每幅光场图像的估算光场姿态及视差图输入深度融合单元340,以通过最终优化函数对所述光场姿态和视差图同时进行优化。在光场姿态和相应视差图优化后,可将这些数据一并进行处理,以生成在每一光场中均连贯一致的最优三维点云,从而实现所述物体的三维模型重建。
图3为根据本发明实施方式通过优化光场姿态和视差图而计算三维点云的方法流程图。其中,可根据视差图计算深度z,并通过下述最终优化函数对每对r和r*进行处理:
如图3所示,对于每一对在视角k下拍摄的光场图像k和在视角k+1下拍摄的光场图像k+1,该深度融合步骤用于对其相应视差图k和k+1进行优化,并对视角k和视角k+1之间的旋转量和平移量进行优化。该深度融合步骤可通过基于梯度的优化方法获得优化,从而获得更优的光场姿态和视差图,并使得最终三维点云在每一光场中均保持连贯一致。该最终三维点云涵盖所述物体的所有视角,也即是针对该物体重建的三维模型。
图4以流程图的形式总结了根据本发明例示实施方式利用光场相机生成物体三维模型的方法。在步骤401中,光场相机在第一视角下拍摄物体的第一光场图像。在步骤402中,该光场相机在第二视角下拍摄所述物体的第二光场图像。在步骤403中,将所拍摄的光场图像发送给数据处理单元,估算从所述第一视角至第二视角的光场姿态。在步骤404中,可针对摄于所述第一视角的第一光场图像和摄于所述第二视角的第二光场图像,获得光场视差图。在步骤405中,通过深度融合步骤对所估算的光场姿态和所获得的视差图进行优化,以计算三维点云。通过在不同视角下重复步骤401~404,以涵盖所述物体的所有视角。如此,可计算完整的三维点云,从而完成以所述光场相机构建所述物体的三维模型。
上述各种模块、单元及部件可实施为:专用集成电路(ASIC);电子电路;组合逻辑电路;现场可编程门阵列(FPGA);可执行代码的处理器(共享、专用或成组);或者能够提供上述功能的其他合适的硬件部件。所述处理器可以为Intel微处理器,或IBM大型计算机。
需要注意的是,上述功能当中的一者或多者可由存储于存储器内的软件或固件实施并由处理器执行,或者可存储于程序存储器中并由处理器执行。所述软件或固件还可置于任何计算机可读介质内,以实现存储和/或移动。该计算机可读介质由指令执行***、装置或器件使用或与其结合使用,该指令执行***、装置或器件例如为基于计算机的***、含处理器***或其他能够从该指令执行***、装置或器件获取指令并执行这些指令的***。在本文语境中,“计算机可读介质”可以为任何可包含或存储用于由所述指令执行***、装置或器件使用或用于与其结合使用的介质。该计算机可读介质可包括,但不限于:电、磁、光、电磁、红外或半导体***、装置或器件;便携式计算机盘片(磁性);随机存取存储器(RAM)(磁性);只读存储器(ROM)(磁性);可擦除可编程只读存储器(EPROM)(磁性);便携式光盘,如CD、CD-R、CD-RW、DVD、DVD-R或DVD-RW;或闪存,如紧凑型闪存卡、安全数字卡、USB存储装置、记忆棒等。
本文所描述和要求保护的发明在范围上并不限于以上公开的优选具体实施方式,这些实施方式旨在用于说明本发明的若干方面。事实上,对于本领域技术人员而言,根据上文描述,本文所述和附图所示之外的本发明各种修改方式也将变得容易理解。此类修改也旨在落入所附权利要求的范围之内。
Claims (14)
1.一种利用光场相机生成物体的三维模型的方法,所述光场相机用于在多个视角下拍摄多幅光场图像,其特征在于,所述方法包括:
在第一视角下拍摄第一光场图像,其中,所述第一光场图像包括多幅第一子孔径图像;
在第二视角下拍摄第二光场图像,其中,所述第二光场图像包括多幅第二子孔径图像;
估算光场从所述第一视角至所述第二视角的旋转量和平移量;
获得所述多幅光场图像中每一幅的视差图;以及
通过优化所述光场的所述旋转量和所述平移量,并优化所述视差图,计算三维点云,
其中,所述多个视角涵盖所述物体的所有视角。
2.如权利要求1所述的方法,其特征在于,还包括:
识别所述第一光场图像的多个第一特征以及所述第二光场图像的多个第二特征;
通过将所述第一特征在所述多幅第一子孔径图像之间进行匹配而获得第一匹配特征,以及通过将所述第二特征在所述多幅第二子孔径图像之间进行匹配而获得第二匹配特征;
在所述第一光场图像的所述第一匹配特征和所述第二光场图像的所述第二匹配特征之间进行匹配,以获得所述光场在所述第一视角和所述第二视角之间的匹配特征;以及
根据所述光场在所述第一视角和所述第二视角之间的所述匹配特征,估算所述光场的旋转量和平移量。
3.如权利要求2所述的方法,其特征在于,所述第一特征和所述第二特征包括特征线。
4.如权利要求2所述的方法,其特征在于,所述第一特征和所述第二特征包括特征点和特征线。
5.如权利要求1所述的方法,其特征在于,所述视差图通过将视差表示为三个颜色通道的线性组合而获得。
6.如权利要求1所述的方法,其特征在于,还包括对所述多幅光场图像中每一幅的多个子孔径图像进行校准。
7.如权利要求1所述的方法,其特征在于,所述第一视角和所述第二视角之间的视场重叠率不低于50%。
8.一种生成物体的三维模型的***,其特征在于,包括:
光场相机,用于在多个视角下拍摄多幅光场图像;以及
数据处理单元,用于生成所述三维模型,
其中,在第一视角下拍摄包括多幅第一子孔径图像的第一光场图像,在第二视角下拍摄包括多幅第二子孔径图像的第二光场图像,所述数据处理单元用于:估算光场从所述第一视角至所述第二视角的旋转量和平移量;获得所述多幅光场图像中每一幅的视差图;以及通过优化所述光场的所述旋转量和所述平移量,并优化所述视差图,计算三维点云,
其中,所述多个视角涵盖所述物体的所有视角。
9.如权利要求8所述的***,其特征在于,所述数据处理单元用于:
识别所述第一光场图像的多个第一特征以及所述第二光场图像的多个第二特征;
通过将所述第一特征在所述多幅第一子孔径图像之间进行匹配而获得第一匹配特征,以及通过将所述第二特征在所述多幅第二子孔径图像之间进行匹配而获得第二匹配特征;
在所述第一光场图像的所述第一匹配特征和所述第二光场图像的所述第二匹配特征之间进行匹配,以获得所述光场在所述第一视角和所述第二视角之间的匹配特征;以及
根据所述光场在所述第一视角和所述第二视角之间的所述匹配特征,估算所述光场的旋转量和平移量。
10.如权利要求9所述的***,其特征在于,所述第一特征和所述第二特征包括特征线。
11.如权利要求9所述的***,其特征在于,所述第一特征和所述第二特征包括特征点和特征线。
12.如权利要求8所述的***,其特征在于,所述视差图通过将视差表示为三个颜色通道的线性组合而获得。
13.如权利要求8所述的***,其特征在于,所述数据处理单元用于对所述多幅光场图像中每一幅的多个子孔径图像进行校准。
14.如权利要求8所述的***,其特征在于,所述第一视角和所述第二视角之间的视场重叠率不低于50%。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2017/083750 WO2018205164A1 (en) | 2017-05-10 | 2017-05-10 | Method and system for three-dimensional model reconstruction |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110462685A CN110462685A (zh) | 2019-11-15 |
CN110462685B true CN110462685B (zh) | 2022-12-16 |
Family
ID=64104048
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201780088857.5A Active CN110462685B (zh) | 2017-05-10 | 2017-05-10 | 三维模型重建方法和*** |
Country Status (3)
Country | Link |
---|---|
US (1) | US10762654B2 (zh) |
CN (1) | CN110462685B (zh) |
WO (1) | WO2018205164A1 (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3416371A1 (en) * | 2017-06-12 | 2018-12-19 | Thomson Licensing | Method for displaying, on a 2d display device, a content derived from light field data |
EP3416381A1 (en) | 2017-06-12 | 2018-12-19 | Thomson Licensing | Method and apparatus for providing information to a user observing a multi view content |
CN108921947B (zh) * | 2018-07-23 | 2022-06-21 | 百度在线网络技术(北京)有限公司 | 生成电子地图的方法、装置、设备、存储介质以及采集实体 |
CN115379104B (zh) * | 2021-05-18 | 2024-07-16 | 上海科技大学 | 基于三维打光的数据采集*** |
US20230209032A1 (en) * | 2021-12-23 | 2023-06-29 | Meta Platforms Technologies, Llc | Detection, analysis and correction of disparities in a display system utilizing disparity sensing port |
CN115984462B (zh) * | 2022-12-19 | 2024-03-08 | 广州紫为云科技有限公司 | 一种单目多视角的通用物体三维建模方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8749620B1 (en) * | 2010-02-20 | 2014-06-10 | Lytro, Inc. | 3D light field cameras, images and files, and methods of using, operating, processing and viewing same |
CN105976431A (zh) * | 2016-05-23 | 2016-09-28 | 北京信息科技大学 | 一种基于旋转光场的三维表面重构方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7605817B2 (en) * | 2005-11-09 | 2009-10-20 | 3M Innovative Properties Company | Determining camera motion |
KR20090055803A (ko) * | 2007-11-29 | 2009-06-03 | 광주과학기술원 | 다시점 깊이맵 생성 방법 및 장치, 다시점 영상에서의변이값 생성 방법 |
US8452081B2 (en) * | 2011-01-11 | 2013-05-28 | Eastman Kodak Company | Forming 3D models using multiple images |
CN103426170A (zh) * | 2013-07-29 | 2013-12-04 | 西北工业大学 | 基于非结构光场合成孔径成像的隐藏目标成像方法 |
CN103763543B (zh) * | 2014-02-13 | 2015-09-23 | 北京大学 | 合成全息图的采集方法 |
US20160330376A1 (en) * | 2015-05-06 | 2016-11-10 | Otoy, Inc. | Apparatus and method for spherical light field capture |
US10033986B2 (en) * | 2015-05-26 | 2018-07-24 | Google Llc | Capturing light-field images with uneven and/or incomplete angular sampling |
-
2017
- 2017-05-10 WO PCT/CN2017/083750 patent/WO2018205164A1/en active Application Filing
- 2017-05-10 CN CN201780088857.5A patent/CN110462685B/zh active Active
-
2019
- 2019-11-06 US US16/675,617 patent/US10762654B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8749620B1 (en) * | 2010-02-20 | 2014-06-10 | Lytro, Inc. | 3D light field cameras, images and files, and methods of using, operating, processing and viewing same |
CN105976431A (zh) * | 2016-05-23 | 2016-09-28 | 北京信息科技大学 | 一种基于旋转光场的三维表面重构方法 |
Non-Patent Citations (1)
Title |
---|
基于光场成像的双目深度图像获取;杨韬等;《西北工业大学学报》;20151015(第05期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
US10762654B2 (en) | 2020-09-01 |
CN110462685A (zh) | 2019-11-15 |
US20200074658A1 (en) | 2020-03-05 |
WO2018205164A1 (en) | 2018-11-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110462685B (zh) | 三维模型重建方法和*** | |
Jeon et al. | Depth from a light field image with learning-based matching costs | |
US10334168B2 (en) | Threshold determination in a RANSAC algorithm | |
US10789765B2 (en) | Three-dimensional reconstruction method | |
Kim et al. | Robust radiometric calibration and vignetting correction | |
Zeller et al. | Depth estimation and camera calibration of a focused plenoptic camera for visual odometry | |
Hoppe et al. | Online Feedback for Structure-from-Motion Image Acquisition. | |
JP7227969B2 (ja) | 三次元再構成方法および三次元再構成装置 | |
AliAkbarpour et al. | Fast structure from motion for sequential and wide area motion imagery | |
CN111882655B (zh) | 三维重建的方法、装置、***、计算机设备和存储介质 | |
CN108399631B (zh) | 一种尺度不变性的倾斜影像多视密集匹配方法 | |
d'Angelo et al. | Dense multi-view stereo from satellite imagery | |
AliAkbarpour et al. | Parallax-tolerant aerial image georegistration and efficient camera pose refinement—without piecewise homographies | |
CN114494589A (zh) | 三维重建方法、装置、电子设备和计算机可读存储介质 | |
CN116958437A (zh) | 融合注意力机制的多视图重建方法及*** | |
He et al. | Linear approach for initial recovery of the exterior orientation parameters of randomly captured images by low-cost mobile mapping systems | |
Ramalingam et al. | Theory and calibration for axial cameras | |
KR101673144B1 (ko) | 부분 선형화 기반의 3차원 영상 정합 방법 | |
GB2561525A (en) | Method and corresponding device for digital 3D reconstruction | |
Mahmoud et al. | Fast 3d structure from motion with missing points from registration of partial reconstructions | |
Wang et al. | Fast and accurate satellite multi-view stereo using edge-aware interpolation | |
CN116194956A (zh) | 场景的3d点云的生成 | |
JP6384961B2 (ja) | カメラキャリブレーション装置、カメラキャリブレーション方法、カメラキャリブレーションプログラム及び記録媒体 | |
CN112771574B (zh) | 用于估计像素的深度的方法以及对应的设备 | |
US20240054747A1 (en) | Image processing apparatus, image processing method, and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |