CN109741375B - 一种裸眼3d模型光场生成方法及其装置 - Google Patents

Abstract

本发明涉及裸眼3D技术领域，具体涉及一种裸眼3D模型光场生成方法及其装置，该方法包括如下步骤：通过均匀采样，从相机采集的序列图像中获取场景信息；利用全局检测图像像素运动和全局检测显著性来放大所述场景信息中的兴趣区域；在所述兴趣区域内，通过求解相机的姿态和特征点的匹配，得到初始的三维模型；对所述初始的三维模型进行数字化光场采样，得到所述初始的三维模型在不同方向上的光场信息。本发明解决了图像误匹配甚至匹配缺失，导致图像配准在二维空间中显现为病态的技术问题。

Description

一种裸眼3D模型光场生成方法及其装置

技术领域

本发明涉及裸眼3D技术领域，具体涉及一种裸眼3D模型光场生成方法及其装置。

背景技术

目前常见的裸眼3D技术，例如用双摄像头，配备个开关的液晶柱镜光栅，配合大量计算对眼球进行跟踪，从而实现双眼视差。再比如全息金字塔，可实现大场景多视角的3D效果。在全息干版上的静态全息图能够实现高分辨率和全视差观察效果。

发明人在实践中，发现现有技术中存在以下缺陷：

影响三维模型生成及其三维分辨率主要原因是图像误匹配甚至匹配缺失，视点视角、透射变换和遮挡将使得图像误匹配甚至匹配缺失，从而导致图像配准在二维空间中显现为病态问题。

发明内容

为了解决上述技术问题，本发明提供了一种裸眼3D模型光场生成方法及其装置，所采用的技术方案如下：

第一方面，一种裸眼3D模型光场生成方法，该方法包括如下步骤：

通过均匀采样，从相机采集的序列图像中获取场景信息；

利用全局检测图像像素运动和全局检测显著性来放大所述场景信息中的兴趣区域；

在所述兴趣区域内，通过求解相机的姿态和特征点的匹配，得到初始的三维模型；

对所述初始的三维模型进行数字化光场采样，得到所述初始的三维模型在不同方向上的光场信息。

进一步，所述均匀采样的方法包括：

将摄像机的运动轨迹进行均分，以相同的采样距离进行采样。

进一步，所述全局检测显著性的方法包括：

计算摄像机的运动轨迹中的视场角的重叠区域；

选取与所述重叠区域相应的连续帧图像，标记所述重叠区域中的像素点；

对所述像素点进行显著性检测，得到显著性区域；

根据所述显著性区域，进行自适应内容的均匀密集采样。

进一步，所述全局检测图像像素运动，还包括：

采用计算全局光流的方式，计算整个图像每个部分的运动。

第二方面，一种裸眼3D模型光场生成装置，该装置包括：

采样模块，用于通过均匀采样，从相机采集的序列图像中获取场景信息；

显著性检测模块，用于利用全局检测图像像素运动和全局检测显著性来放大所述场景信息中的兴趣区域；

三维模型生成模块，用于在所述兴趣区域内，通过求解相机的姿态和特征点的匹配，得到初始的三维模型；

数字化光场模块，用于对所述初始的三维模型进行数字化光场采样，得到所述初始的三维模型在不同方向上的光场信息。

进一步，所述采样模块，还包括：

均匀采样模块，用于将摄像机的运动轨迹进行均分，以相同的采样距离进行采样。

进一步，所述显著性检测模块，还包括：

计算重叠区域模块，用于计算摄像机的运动轨迹中的视场角的重叠区域；

标记像素模块，用于选取与所述重叠区域相应的连续帧图像，标记所述重叠区域中的像素点；

显著性区域获取模块，用于对所述像素点进行显著性检测，得到显著性区域；

自适应采样模块，用于根据所述显著性区域，进行自适应内容的均匀密集采样。

进一步，所述采样模块，还包括：

检测图像像素运动模块，用于采用计算全局光流的方式，计算整个图像每个部分的运动。

本发明具有如下有益效果：

本发明通过均匀采样，从相机采集的序列图像中获取场景信息；利用全局检测图像像素运动和全局检测显著性来放大所述场景信息中的兴趣区域；在所述兴趣区域内，通过求解相机的姿态和特征点的匹配，得到初始的三维模型；对所述初始的三维模型进行数字化光场采样，得到所述初始的三维模型在不同方向上的光场信息。解决了图像误匹配甚至匹配缺失，从而导致图像配准在二维空间中显现为病态的技术问题。

附图说明

图1为本发明一个实施例提供的一种裸眼3D模型光场生成方法的方法流程图；

图2为本发明关于显著性检测的场景对比图；

图3为本发明关于多视点图像三维重建的场景示意图；

图4为本发明一个实施例提供的一种裸眼3D模型光场生成装置的结构示意图。

具体实施方式

下面通过具体实施例结合附图来详细说明本发明，需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合，本发明的保护范围并不限于此。

请参阅图1，其示出了本发明一个实施例提供的一种裸眼3D模型光场生成方法的方法流程图，该方法包括如下步骤：

步骤101，通过均匀采样，从相机采集的序列图像中获取场景信息；

本实施例的目的在于，将序列图像转换为可以观看的光场图像。

一般来说，为了降低摄像机的运动轨迹误差，采用具有丰富连续性信息的视频采集图像序列。通过连续的运动，求取误差极小的摄像机运动位置轨迹。但由于是人工采集视频帧序列，尽管有稳定拍摄做前提，保证匀速拍摄是极不现实的。同时，采样不同位置的帧最终会生成不同的模型结果。所以为了保证整体场景都具有均匀良好的细节，将对视频帧进行密集均匀采样技术。

连续的摄像机运动，如果采用50fps高速拍摄20s视频，会得到1000幅图像。如果将所有1000幅图像都输入到计算机进行后期的重建工作，是极不现实的，所以如何有效的对帧序列在保证细节的前提下进行再采样是一个极有意义的问题。由于在拍摄时已经求解了摄像机运动轨迹模型，所以对于每一帧，都可以计算其在整体序列中的位置。那么最简洁的采样方法是：将轨迹均分，每过一段距离取一帧或者临近帧，由此得到均匀分布的图像。然而这种方法存在一个隐含假设，那就是整体场景的细节是均匀的。那么当实际情况与此不符时，将采用一种自适应的采样方法。如果场景环境内容丰富细节多，采样则密集，如果场景空旷细节少，采样则稀疏，从而达到细节均匀分布的密集采样方式。最快速的判断当前场景内容细节的方式是显著性检测，其检测越大也就意味着场景细节越多。

步骤102，利用全局检测图像像素运动和全局检测显著性来放大所述场景信息中的兴趣区域；

显著性中心还原是采样过程中最重要的一环。它不仅可以检测场景内容信息，而且可以精确还原视频中重叠最大的场景区域。通过确定场景内容，可以剪裁外部的无用的部分，从而减少后期计算量和误差，快速高效的还原感兴趣场景。这其中包括两个方面，全局检测图像像素运动和全局检测显著性。

全局检测图像像素运动是采用计算全局光流的方式，计算整个图像每个部分的运动。基于双梯度计算，采用TV-L1的求解全局光流的方法，可以在GPU上实时计算运行，效率非常高。这样的好处在于，可以将整体帧的重复区域控制到亚像素级别，极大的提高了精度。显著性检测在视觉识别中是非常重要的部分，其通过计算的手法将图像中的注意机制表现出来。请参阅图2，其示出了关于显著性检测的场景对比图，图2是以HC-直方图对比度为基础进行显著性检测计算出来的。通过阈值分割，可以精确将图中的小鸟识别出来。

总的来说，采样部分的技术细节，包括如下步骤：首先，通过摄像机运动路径粗略的求解其中的摄像机视场角重叠区域。然后，选取其中视场角重叠区域最大的连续帧序列后，采用TV-L1光流的方式全局检测像素点，标记像素重叠区域。然后，对这些像素重叠区域，进行显著性检测，通过对直方图对比度统计得到显著性部分。通过对连续帧内显著性区域的总览，进行自适应内容的均匀密集采样。

步骤103，在所述兴趣区域内，通过求解相机的姿态和特征点的匹配，得到初始的三维模型；

多视点三维模型生成的难点主要在于寻找图像间精确对应点，且为适应立体显示等需要应提高三维模型生成分辨率。影响三维模型生成及其三维分辨率主要原因为图像误匹配甚至匹配缺失。视点视角、透射变换和遮挡将使得图像误匹配甚至匹配缺失，从而导致图像配准在二维空间中显现为病态问题，在二维空间中进行精准的多视点影像配准较困难。目前已有的基于图像特征和基于图像灰度的配准方法都是在二维空间考虑配准问题，难以对多视点影像进行精确配准。由于多视点帧图像反映的真实三维曲面具有唯一局部微分几何特性，针对图像误匹配甚至匹配缺失。根据多视几何理论，通过将多个二维匹配图像组合，可以推导出初始三维结构。

请参阅图3，其示出了本发明关于多视点图像三维重建的场景示意图，图3所示的三维场景中的P _C 点可以根据摄像机运动轨迹及其内参数C（C ₁ …C _i …C _n ），由P ₁ …P _i …P _n 特征点通过光线反投影得到：P _C =f(P ₁ …P _i …P _n , C ₁ …C _i …C _n )，其中，P _C 模型中的目标点，P ₁ …P _i … P _n 是不同角度拍摄的同一个目标点的位置，C为透视投影函数。

由P _C 点的计算公式可以得到初始的三维模型结构。若计算得到的三维信息的局部微分几何性质可以较好符合物体表面局部形态，则认为已解算出的可靠三维信息。之后依据微分的几何特性，邻近点几何性质及多视点匹配图像的几何性质的一致性，可以建立能量函数优化初始三维模型，通过求解得到三维细节实现高分辨率。一般，能量函数将采用近年广泛采用的非线性优化方法产生最后图像配准结果，比如图割、置信传播、全局聚合等。在实现过程中，采用这种多二维图像拟合三维结构再优化细节的方式有极大优势。因为在计算模型之前，已经通过计算全局光流检测了全局的图像像素运动，也就是说，已经知道了全局的每个像素的匹配信息。因此可以直接进行三维信息推导，快速得到初始模型，并开始进行优化细节。

步骤104，对所述初始的三维模型进行数字化光场采样，得到所述初始的三维模型在不同方向上的光场信息。

在生成完备的三维模型后，就可以对模型的光场进行数字化操作。由于光场主要侧重场景的方向光线信息，而模型主要是位置信息。因此模型数字化光场技术主要是将位置信息转换为方向光线信息。将模型的本身光场信息数字化，通过采样，得到最终的光场信息。

综上所述，本发明通过均匀采样，从相机采集的序列图像中获取场景信息；利用全局检测图像像素运动和全局检测显著性来放大所述场景信息中的兴趣区域；在所述兴趣区域内，通过求解相机的姿态和特征点的匹配，得到初始的三维模型；对所述初始的三维模型进行数字化光场采样，得到所述初始的三维模型在不同方向上的光场信息。解决了图像误匹配甚至匹配缺失，从而导致图像配准在二维空间中显现为病态的技术问题。

请参阅图4，其示出了本发明实施例提供的一种裸眼3D模型光场生成装置的结构示意图，该装置包括：

采样模块401，用于通过均匀采样，从相机采集的序列图像中获取场景信息；

显著性检测模块402，用于利用全局检测图像像素运动和全局检测显著性来放大所述场景信息中的兴趣区域；

三维模型生成模块403，用于在所述兴趣区域内，通过求解相机的姿态和特征点的匹配，得到初始的三维模型；

数字化光场模块404，用于对所述初始的三维模型进行数字化光场采样，得到所述初始的三维模型在不同方向上的光场信息。

进一步，所述采样模块401，还包括：

均匀采样模块，用于将摄像机的运动轨迹进行均分，以相同的采样距离进行采样。

进一步，所述显著性检测模块402，还包括：

计算重叠区域模块，用于计算摄像机的运动轨迹中的视场角的重叠区域；

标记像素模块，用于选取与所述重叠区域相应的连续帧图像，标记所述重叠区域中的像素点；

显著性区域获取模块，用于对所述像素点进行显著性检测，得到显著性区域；

自适应采样模块，用于根据所述显著性区域，进行自适应内容的均匀密集采样。

进一步，所述采样模块401，还包括：

检测图像像素运动模块，用于采用计算全局光流的方式，计算整个图像每个部分的运动。

综上所述，本发明通过采样模块均匀采样，从相机采集的序列图像中获取场景信息；显著性检测模块利用全局检测图像像素运动和全局检测显著性来放大所述场景信息中的兴趣区域；三维模型生成模块在所述兴趣区域内，通过求解相机的姿态和特征点的匹配，得到初始的三维模型；数字化光场模块对所述初始的三维模型进行数字化光场采样，得到所述初始的三维模型在不同方向上的光场信息。解决了图像误匹配甚至匹配缺失，从而导致图像配准在二维空间中显现为病态的技术问题。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (4)

1.一种裸眼3D模型光场生成方法，其特征在于，该方法包括如下步骤：

在整体场景的细节均匀时，通过均匀采样，从相机采集的序列图像中获取场景信息；否则，采用自适应的采样方法，从相机采集的序列图像中获取场景信息；

通过所述相机的运动路径求解视场角重叠区域，选取视场角重叠区域最大的连续帧序列，采用TV-L1光流的方式全局检测像素点，标记像素重叠区域；利用直方图对比度统计得到所述像素重叠区域的显著性部分；

以所述显著性部分为兴趣区域，在所述兴趣区域内，通过求解相机的姿态和特征点的匹配，得到初始的三维模型；

对所述初始的三维模型进行数字化光场采样，得到所述初始的三维模型在不同方向上的光场信息。

2.根据权利要求1所述的一种裸眼3D模型光场生成方法，其特征在于，所述均匀采样的方法包括：

将摄像机的运动轨迹进行均分，以相同的采样距离进行采样。

3.一种裸眼3D模型光场生成装置，其特征在于，该装置包括：

采样模块，用于在整体场景的细节均匀时，通过均匀采样，从相机采集的序列图像中获取场景信息；否则，采用自适应的采样方法，从相机采集的序列图像中获取场景信息；

显著性检测模块，用于通过所述相机的运动路径求解视场角重叠区域，选取视场角重叠区域最大的连续帧序列，采用TV-L1光流的方式全局检测像素点，标记像素重叠区域；利用直方图对比度统计得到所述像素重叠区域的显著性部分；

三维模型生成模块，用于以所述显著性部分为兴趣区域，在所述兴趣区域内，通过求解相机的姿态和特征点的匹配，得到初始的三维模型；

数字化光场模块，用于对所述初始的三维模型进行数字化光场采样，得到所述初始的三维模型在不同方向上的光场信息。

4.根据权利要求3所述的一种裸眼3D模型光场生成装置，其特征在于，所述采样模块，还包括：

均匀采样模块，用于将摄像机的运动轨迹进行均分，以相同的采样距离进行采样。

Images