CN107918948B - 4d视频渲染方法 - Google Patents

Abstract

本发明提供一种4D视频渲染方法，包括相机选择、可见面片计算、可见面片纹理提取、融合权重图计算、边缘融合及合成渲染；该4D视频渲染方法能够高效率、高质量从拍摄的多相机图像数据中对由4D捕捉获得的场景主体的三维模型进行纹理贴图渲染，使得三维模型逼真呈现4D视频效果。

Description

4D视频渲染方法

技术领域

本发明涉及多媒体技术领域，具体的涉及一种4D视频渲染方法。

背景技术

4D视频包括三维空间维度和一维时间维度4个维度。4D全息捕捉是指对现实空间静态或动态场景高质量、逼真的4D虚拟复现方法。现有3D电影通常通过在用户观看的视角上分别形成左、右眼睛成像视图，从而在用户的视角形成一种3D立体的观看体验，其实际上只是得到了2.5维的深度信息，并没有复原出拍摄对象真正的3D视图效果。

高质量实时的4D视频在虚拟现实(VR)、增强现实(AR)或混合现实(MR)具有很多潜在的应用。例如，可用于3D游戏、3D动画的角色创建，在服装领域，4D视频可实现拍摄主体的虚拟在线试衣、服装走秀等场景；在影视传媒领域，可以结合AR技术做AR转播，以及影视特效；在体育领域，可用于训练、比赛分析等。

虽然目前国内外VR市场已经出现了各种VR全景相机、VR眼镜、头盔等设备和产品，但可观赏的VR内容非常缺乏，限制了相关产品和应用的推广。现有便捷式全景相机可拍摄360视频，但是360视频中的主视角位置和走动都由拍摄者决定，无法完全由用户决定。而且所得360视频并不是真正的VR视频。目前采用3D软件如3D Max、Maya等工具可以创建3D人体模型，但这种CG模型创建过程复杂，逼真度低，图像失真严重，无法满足真正VR视频的要求。目前的方法均无法既满足VR视频要求，又以3D形式逼真的在虚拟世界或混合世界中创建出拍摄对象。

如何对拍摄主体的重建3D网络模型进行高质量纹理贴图渲染是获得高逼真度的4D视频的关键问题之一。现有的3D网络模型渲染方法存在计算量大、处理效率低、渲染后拍摄对象逼真度较差的问题。尤其是用于处理由大量图像组成的图像序列时，处理效率低下问题更加突出。

发明内容

本发明的目的在于提供一种4D视频渲染方法，该发明解决了现有纹理贴图渲染方法计算量大、处理效率低、渲染后拍摄对象逼真度较差的技术问题。

本发明提供一种4D视频渲染方法，包括以下步骤：

步骤S100：采用多相机同步标定方法，标定N个标定相机的相机参数，之后设置各标定相机的颜色校正矩阵参数，并获得标定相机的投影矩阵PR_(i)，环绕拍摄对象布置标定相机，拍摄得到拍摄对象的图像序列；

步骤S200：提取每帧图像序列中拍摄对象的序列特征信息，根据序列特征信息采用基于多相机的三维重建方法，获取每帧图像序列中拍摄对象的三维点云数据，对三维点云数据进行三角网络化，获得每帧图像序列中拍摄对象的三维网络模型；

步骤S300：以与虚拟视点方向夹角足够小的m个标定相机作为邻接相机C＝{c₁,c₂,c_j…,c_m}，计算邻接相机C可拍摄到的三维网络模型的三角面，作为可见三角面，遍历可见三角面集合S＝{p₁,p₂,p_k,…,p_n}，分别得到任一可见三角面p_k的纹理列表和颜色值列表；

步骤S400：分别计算各个邻接相机所获取的图像序列的纹理合成权重值后，对任一可见三角面进行纹理合成，遍历所有可见三角面得到纹理合成结果；

步骤S400包括以下步骤：

步骤S410：根据各邻接相机与虚拟视点的接近程度，计算纹理列表中各纹理的合成权重值，设定为越邻近虚拟视点的邻接相机权重越高；

步骤S420：遍历可见三角面集合S＝{p₁,p₂,p_k,…,p_n}，按合成权重值对纹理列表中的各纹理进行加权平均，作为可见三角面p_k纹理合成结果，以前述颜色列表中像素颜色值的加权平均作为可见三角面p_k各顶点的颜色值；

步骤S430：遍历可见三角面集合S＝{p₁,p₂,p_k,…,p_n}，判断可见三角面是否在所有邻接相机上均有完整纹理，如果任一可见三角面没有属于任一邻接相机的完整纹理，则由该可见三角面的三个顶点的加权平均颜色值进行纹理合成，如果任一可见三角面有属于任一邻接相机的完整纹理则按步骤S420处理；

步骤S500：羽化处理纹理合成结果的边缘后，渲染显示合成纹理和三维网络模型，得到该虚拟视点上对应的带纹理的三维渲染模型。

进一步地，步骤S300包括以下步骤：

步骤S310：计算法向量：假设三维网络模型中任一三角面的三个顶点坐标分别为V₁，V₂和V₃，则该三角面的法向量N为：

N＝Norm((V₂-V₁)×(V₁-V₃))

其中×表示向量叉乘，Norm表示向量归一化；

步骤S320：计算法向量N与邻接相机视点方向的夹角，判断夹角是否大于预设阈值，当夹角大于预设阈值时，则认为三角面为可见三角面；

步骤S330：对三维网络模型中的所有三角面重复步骤S310～S320，得到可见三角面集合S＝{p₁,p₂,p_k,…,p_n},其中p_k表示第k个三角面，n为集合中三角面个数。

进一步地，可见三角面纹理提取包括以下步骤：S340：计算任一可见三角面p_k在邻接相机c_j上的投影，如果所得投影没有被可见三角面p_k+1的投影所覆盖，则可见三角面p_k对邻接相机c_j可见，提取可见三角面p_k在邻接相机c_j上的投影覆盖的图像区域作为对p_k在c_j上的纹理列表，并记录可见三角面p_k的三个顶点投影到c_j对应图像上的像素颜色值，作为颜色值列表，遍历可见三角面集合S＝{p₁,p₂,p_k,…,p_n}，分别得到任一可见三角面p_k的纹理列表和颜色值列表。

进一步地，步骤S430包括以下步骤：判断可见三角面有几个颜色值顶点被任一邻接标定相机可见，如果有两个或三个顶点可见，则以三个顶点颜色值根据顶点距离大小进行线性加权平均作为该可见三角面的纹理像素值，如果只有一个顶点可见，则以该顶点的加权平均颜色值为该可见三角面的纹理像素值。

进一步地，步骤S500包括以下步骤：

步骤S510：对于属于集合S＝{p₁,p₂,p_k,…,p_n}每个三角面对应的纹理合成结果进行判断，如果任意两个相邻接的可见三角面纹理，其合成是由来自于不同的邻接相机的图像，则对这两个可见三角面的纹理合成结果进行羽化处理得到最终纹理，这两个可见三角面作为羽化三角面；

步骤S520：计算羽化三角面的纹理对象对应的羽化权重值，以羽化三角面对应的各邻接相机对应纹理的羽化权重值加权平均结果作为最终纹理；其中，如果某个邻接相机的羽化权重值大于其他各邻接相机的羽化权重值的2倍以上，则以该邻接相机的纹理作为羽化三角面的纹理。

进一步地，三维网络模型的获得，包括以下步骤：

1)从每帧图像序列中提取拍摄对象的特征信息；

2)根据特征信息以及特征信息之间的空间平滑性，创建融合轮廓、边缘、颜色和深度信息的残差方程；

3)对残差方程进行全局最优化求解，得到点云数据；

4)对点云重建数据进行三角片化处理，获得三维网络模型。

进一步地，多相机同步标定方法包括以下步骤：

1)在多相机图像序列采集***的拍摄区域中，挥舞并移动两端均设置标定物的标定杆经过各标定相机，获得标定图像序列；

2)检测定位任一标定相机获得的标定图像序列中每一帧标定图像中的标定物，并提取各帧标定图像中的标定物的轮廓；

3)根据任意相邻两帧标定图像上的标定物特征点以及分处任意相邻两帧标定图像中同一标定物之间的距离，估计各标定相机参数的近似估计值；

4)以近似估计值为初始值，分别通过光束平差法迭代优化计算各标定相机的相机参数的精确值；

相机参数包括：相机内参数、相对同一空间坐标系下的位置和姿态参数、白平衡增益参数。

进一步地，多相机图像序列同步采集***包括：N个标定相机和幕布，标定相机固定于支架上，环绕拍摄对象布置，且各标定相机的成像背景均为幕布；幕布设置于支架的外侧。

本发明的技术效果：

本发明提供4D视频渲染方法，根据用户观察所用的虚拟视点角度，选择获取了相应图像的邻接相机，对该相机及其附近相机所得图像进行可见三角面提取、纹理提取，并对所提取的纹理根据各邻接相机的可见情况，进行纹理和颜色值的重新计算，并对该可见三角面进行纹理提取及羽化渲染处理，既提高了处理效率，又获得了具有较高逼真度的显示结果。可以高速的完成对整个图像序列的贴图渲染，得到能高逼真度还原拍摄对象的4D视频。所得三维渲染模型可以根据用户的观察需要进行随意旋转调整，都可以得到高逼真的三维渲染模型。

本发明提供4D视频渲染方法，通过对根据虚拟视点选取的邻接相机可见的三角面进行多项权重设定，提高了用户可见区域的图像还原度，改善纹理贴图质量，提高渲染速度，能够高效高质量从多视图中对3D模型进行纹理贴图及实时渲染。

具体请参考根据本发明的4D视频渲染方法提出的各种实施例的如下描述，将使得本发明的上述和其他方面显而易见。

附图说明

图1是本发明提供的用于4D捕捉的4D视频渲染方法流程示意图；、

图2是本发明优选实施例中摄像机排布示意图；

图3是本发明优选实施例中可见面片计算示意图；

图4是本发明优选实施例中4D视频中主体对象的3D面片模型示意图；

图5是本发明优选实施例中渲染所得结果示意图。

具体实施方式

构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

参见图1，本发明提供的4D视频渲染方法，包括以下步骤：

步骤S100：采用多相机同步标定方法，标定N个标定相机的相机参数，之后设置各所述标定相机的颜色校正矩阵参数，并获得所述标定相机的投影矩阵PR_(i)，环绕所述拍摄对象布置所述标定相机，拍摄得到所述拍摄对象的图像序列；内参数包括相机的等效焦距和光心主点坐标等内部参数。

步骤S200：提取每帧所述图像序列中拍摄对象的序列特征信息，根据所述序列特征信息采用基于多相机的三维重建方法，获取每帧所述图像序列中拍摄对象的三维点云数据，对所述三维点云数据进行三角网络化，获得每帧所述图像序列中拍摄对象的三维网络模型；

步骤S300：以与虚拟视点方向夹角足够小的m个所述标定相机作为邻接相机集合C＝{c₁,c₂,c_j…,c_m}，其中c_j表示第j个相机，计算所述邻接相机C可拍摄到的所述三维网络模型的三角面，作为可见三角面，遍历所述可见三角面集合S＝{p₁,p₂,p_k,…,p_n}，分别得到任一所述可见三角面p_k的纹理列表和颜色值列表；

步骤S400：分别计算各个所述邻接相机所获取的所述图像序列的纹理合成权重值后，对任一所述可见三角面进行纹理合成，遍历所有所述可见三角面得到纹理合成结果；

步骤S400包括以下步骤：

步骤S410：根据各邻接相机与虚拟视点的接近程度，计算所述纹理列表中各纹理的合成权重值，设定为越邻近虚拟视点的邻接相机权重越高；

步骤S420：遍历所述可见三角面集合S＝{p₁,p₂,p_k,…,p_n}，按所述合成权重值对所述纹理列表中的各纹理进行加权平均，作为所述可见三角面p_k纹理合成结果，以前述颜色列表中像素颜色值的加权平均作为所述可见三角面p_k各顶点的颜色值；

步骤S430：遍历所述可见三角面集合S＝{p₁,p₂,p_k,…,p_n}，判断所述可见三角面是否在所有邻接相机上均有完整纹理，如果任一所述可见三角面没有属于任一邻接相机的完整纹理，则由该可见三角面的三个顶点的加权平均颜色值进行纹理合成，如果任一所述可见三角面有属于任一邻接相机的完整纹理则按步骤S420处理；

步骤S500：羽化处理所述纹理合成结果的边缘后，渲染显示所述合成纹理和所述三维网络模型，得到该虚拟视点上对应的带纹理的三维渲染模型。

重复步骤100～500处理含所述拍摄对象的图像序列中所含各帧图像，按所述图像序列顺序播放每帧渲染主体图像得到渲染4D全息视频。使用中，用户可以根据需要对三维网络模型进行随意旋转，每次旋转后均可得到拍摄对象不同角度的三维网络模型。

此处所用的标定相机，设置于多相机图像序列同步采集***中。本发明中虚拟视点是指用户通过交互观察模型的某个时刻对应的观察视点。此处的所能显示是指，用户从虚拟视点方位观察三维网络模型时，所能看到的部分。纹理贴图只需要针对所能看见的三角面进行处理，所谓能“看见”是指从虚拟视点方位上观察能看见的、不被遮挡的三角面片。按此处理，可有效提高处理效率，降低计算量。所述邻接相机的选择原则为标定相机与虚拟视点方位的夹角足够小。

为了使得可见三角面都能得到合成的纹理，优选的，所述邻接相机m>＝3。

优选的，所述步骤S300包括以下步骤：

步骤S310：计算法向量：假设所述三维网络模型中任一三角面的三个顶点坐标分别为V₁，V₂和V₃，则该三角面的法向量N为：

N＝Norm((V₂-V₁)×(V₁-V₃))

其中×表示向量叉乘，Norm表示向量归一化；

步骤S320：计算所述法向量N与所述邻接相机视点方向的夹角，判断所述夹角是否大于预设阈值，当所述夹角大于预设阈值时，则认为所述三角面为可见三角面；

步骤S330：对所述三维网络模型中的所有三角面重复步骤S310～S320，得到所述可见三角面集合S＝{p₁,p₂,p_k,…,p_n},其中p_k表示第k个三角面，n为集合中三角面个数。

此处的阈值可设为90°。也可根据需要进行设定。

优选的，所述可见三角面纹理提取包括以下步骤：

S340：计算任一可见三角面p_k在邻接相机c_j上的投影，如果所得投影没有被可见三角面p_k+1的投影所覆盖，则可见三角面p_k对邻接相机c_j可见，提取可见三角面p_k在邻接相机c_j上的投影覆盖的图像区域作为对p_k在c_j上的纹理列表，并记录可见三角面p_k的三个顶点投影到c_j对应图像上的像素颜色值，作为颜色值列表，遍历可见三角面集合S＝{p₁,p₂,p_k,…,p_n}，分别得到任一可见三角面p_k的纹理列表和颜色值列表。

具体的，对p_k通过c_j的投影矩阵p_k计算其在c_j上的投影，如果该投影没有被其他三角面的投影所覆盖，则该三角面p_k对c_j是可见的，从而得到投影覆盖的图像区域作为对p_k在c_j上的纹理；同时记录下三个顶点投影到p_k的图像上对应的像素颜色值。经此步骤，对属于集合S＝{p₁,p₂,p_k,…,p_n}的每个三角面，可以找到在对应的邻接相机图像上的纹理列表，以及各顶点对应的颜色值列表。

优选的，步骤S430包括以下步骤：判断所述可见三角面有几个颜色值顶点被任一邻接标定相机可见，如果有两个或三个顶点可见，则以三个顶点颜色值根据顶点距离大小进行线性加权平均作为该可见三角面的纹理像素值，如果只有一个顶点可见，则以该顶点的加权平均颜色值为该可见三角面的纹理像素值。

优选的，所述步骤S500包括以下步骤：

步骤S510：对于属于集合S＝{p₁,p₂,p_k,…,p_n}每个三角面对应的纹理合成结果进行判断，如果任意两个相邻接的可见三角面纹理，其合成是由来自于不同的邻接相机的图像，则对这两个可见三角面的纹理合成结果进行羽化处理得到最终纹理，这两个可见三角面作为羽化三角面；

步骤S520：计算所述羽化三角面的纹理对象对应的羽化权重值，以所述羽化三角面对应的各邻接相机对应纹理的羽化权重值加权平均结果作为最终纹理；其中，如果某个邻接相机的羽化权重值大于其他各邻接相机的羽化权重值的2倍以上，则以该邻接相机的纹理作为羽化三角面的纹理。

优选的，所述步骤S520中的羽化权重值由三权重值加权平均得到，所述三权重值：

权重因子一是临近羽化三角面的标定相机与虚拟视点的接近程度；

权重因子二是对应的邻接相机对羽化三角面对象的可见程度；

权重因子三是由各三角面对象在各邻接相机像面上投影面积的相对大小；

这三部分权重因子取值都归一化在0到1之间，三者的平均值作为羽化权重值。由此得到羽化三角面在各邻接相机上的羽化权重。

通过这种处理方法，可以有效的减少由于纹理融合造成的纹理模糊现象，提高纹理的逼真程度。

具体的，本发明提供的方法包括以下步骤：

需要首先由获得多相机同步拍摄获取主体对象(例如人体)视频图像以及主体对象的三维形体面片模型数据。假设相机个数为N，对每一时刻t多相机图像称为t时刻多视图，用{I_(t,i)|i＝1,2,…，N}来表示，其中i表示第i个相机，I_(t，i)指t时刻第i个相机所采集的图像。相机均经过标定的，即每个相机的投影矩阵PR_(i)是已知的。已知的三维形体数据一般采用三角面片表示方法，即三维模型是由很多个三角面(包括顶点、法向量等数据)数据组成的。假设t时刻得到的三维形体为S_(t)。4D视频渲染的目标是通过多视图数据以及三维重建数据，对三维形体进行逼真的纹理贴图。

步骤S100相机选择：根据虚拟视点方位，选择最靠近的几个相机，以这几个相机的图像作为模型纹理合成的基础数据。具体的，根据虚拟视点方位，选择m个相机图像作为纹理合成的数据，得到一组邻接相机集合C＝{c₁,c₂,c_j…,c_m}。选择的原则是各个相机c_j与虚拟视点方向夹角应足够小，其中相机方向为相机光轴朝向拍摄物体方向。为了使得每个可视范围内的三角面都能得到合成的纹理，选择相机个数m应足够多。一般可选择m>＝3；图2为相机选择示意图。如图所示，用户交互观察视角对应的是一个虚拟视点，也对应为图示一个邻接相机。此时，选择相机方向与邻接相机方向的夹角最小的三个相机，即标定相机1、标定相机2及标定相机3作为纹理提取和渲染的图像来源。

步骤S200：可见面片计算：计算虚拟视点方向上所能“看见”的三维模型三角面的集合。纹理贴图只需要针对所能看见的三角面进行处理。首先计算每一个三角面的法向量：假设某一三角面的三个顶点坐标分别为V₁，V₂和V₃，则三角面的法向量N计算为：

N＝Norm((V₂-V₁)×(V₁-V₃))

其中×表示向量叉乘，Norm表示向量归一化。对每个三角面，计算其法向量与邻接相机视点方向的夹角大小，当夹角大于设定的阈值时，则认为该三角面对邻接相机是潜在可见的。一般的，取该夹角阈值为90度。如图3所示，三角面p₁与三角面p₂对应的法向量分别为N₁和N₂，两者与邻接相机视点方向的夹角分别为θ₁和θ₂。因为θ₁＞90而θ₂＜90，因此三角面p₁对邻接相机是可见的，而三角面p₂对邻接相机是不可见的。按照这种方法，对当前的虚拟视点能够得到一组可见三角面集合S＝{p₁,p₂,p_k,…,p_n}，其中p_k表示第k个三角面，n为集合中三角面个数；

步骤S300：可见面片纹理提取：计算得到各可见三角面在所选择的邻接相机像面上对应的纹理及各顶点的颜色值。首先，对每个属于集合P的三角面p_k，计算它在每个所选择的邻接相机c_j(c_j属于集合C＝{c₁,c₂,c_j…,c_m})的可见情况。具体的，对p_k通过c_j的投影矩阵PR_(i)计算其在c_j上的投影，如果该投影没有被其他三角面投影所覆盖，则该三角面p_k对c_j是可见的，从而得到投影覆盖的图像区域作为对p_k在c_j上的纹理；同时记录下三个顶点投影的像素颜色值。经此步骤，对属于集合S＝{p₁,p₂,p_k,…,p_n}的每个三角面，可以找到在对应的邻接相机图像上的纹理列表，以及各顶点对应的颜色值列表。

步骤S400：纹理融合权重图计算：计算各个参与纹理合成的相机对合成纹理各个像素上的权重值。根据各邻接相机与虚拟视点接近程度，计算各邻接相机对应的纹理合成权重值。对每个属于集合S＝{p₁,p₂,p_k,…,p_n}的三角面，其纹理是将所找到的纹理列表中各纹理根据纹理合成权重进行线性加权平均的合成结果；三角面各顶点颜色值为在对其可见的各个邻接相机上的投影颜色值加权平均得到；如果某三角面没有找到完整的属于一个邻接相机的纹理，则由其三个顶点的加权平均颜色值进行纹理合成；如果有两个或三个顶点被邻接相机可见，则纹理像素值为三个顶点颜色值根据顶点距离大小进行线性加权平均得到；如果只有一个顶点被邻接相机可见，则纹理像素值即直接设置为该顶点的加权平均颜色值。

步骤S500：边缘羽化处理：合成的纹理在边缘上进行羽化处理，使得过渡平滑。选择羽化三角面纹理对象：对于属于集合S＝{p₁,p₂,p_k,…,p_n}的每个三角面对应的纹理，如果相邻接的任意两个三角面纹理是来自于不同的邻接相机图像，则对该两个三角面纹理进行羽化处理；对由步骤S500选择得到的任意三角面纹理对象，计算对应的羽化权重；羽化权重值由三权重部分加权平均得到：权重因子一是由对应邻接相机与虚拟视点邻接程度；权重因子二是由对应的邻接相机对所选择的三角面对象的可见程度；权重因子三是由所选择的三角面对象在各邻接相机像面上投影面积相对大小；这三部分权重因子取值都归一化在0到1之间，三者的平均值作为最终羽化权重值。由此对每个邻接相机都能得到关于所选择三角面对象的羽化权重值；根据各邻接相机的羽化权重值，对纹理对象进行融合：由每个邻接相机对应的纹理，根据羽化权重值加权平均融合得到最终纹理；如果某个邻接相机的羽化权重值相比于其他各邻接相机的羽化权重值要超过2倍，则直接采用该邻接相机的纹理作为所选择的对应三角面的纹理。

合成渲染：对合成的纹理进行渲染显示。通过在OpenGL渲染方法对得到的模型和纹理进行渲染显示。

优选的，多相机图像序列同步采集***包括：多个标定相机和幕布，标定相机固定于支架上，环绕拍摄对象布置，且各标定相机的成像背景均为幕布；幕布设置于支架的外侧。

多个标定相机固定后相互配合组成多相机图像序列采集***。这些标定相机按照一定的姿态和位置固定围绕安装在拍摄区域周围。标定相机从各个角度覆盖拍摄对象。标定相机通过外触发装置可以同步拍摄对象。拍摄灯安装在拍摄区域上方或其他合适位置，优选的，多相机图像序列同步采集***还包括：用于使拍摄对象获取足量均匀光照的多个拍摄灯，拍摄灯设置于拍摄对象的顶部。使得拍摄对象主体光照足够且均匀，各拍摄灯安装位置需避开各标定相机的视场范围。拍摄对象可以为各类物体可以为运动姿态也可以为静止状态。

此处的标定相机为一系列高分辨率相机，优选的，相机为遥控相机，分辨率为800×600的工业相机，镜头为焦距适配的镜头，支持采集帧率为30帧/s。

优选的，标定相机为8个以上，更优选的，标定相机为12个。各个标定相机可以按均匀角度安装布置。标定相机的安装高度根据拍摄对象的高度设定。例如对人体进行拍摄，则标定相机距地面高度为1～2米。标定相机与计算机连接进行图像后续处理。一般的一台计算机可支持4-8台标定相机，优选的，采用USB 3.0作为数据接口连接相机和计算机，USB数据线通过PCIE扩展卡连接到计算机主板。

为了有足够的承重，支架宜选择牢固稳定的铝合金或铁质杆构成。设计拍摄场地大小的半径为3米、高为3米的圆柱体空间。拍摄对象在该空间内活动，围绕安装在不同角度的每个标定相机视场均可以覆盖拍摄对象及其活动区域。优选的，幕布为绿色抠图专用的遮光幕布。

各拍摄灯安装位置需避开各标定相机的视场范围。优选的，拍摄灯采用专业的拍摄补光灯，一般是LED白灯。例如对于5米半径、3米高度的拍摄区域，安装额定功率为60w的六盏LED灯。拍摄时拍摄对象应位于拍摄区域中心，使得各个相机能够覆盖可见，调整光照亮度使得拍摄对象亮度足够，没有阴影。动态拍摄对象应注意运动范围和幅度，保证运动过程保持在各标定相机的可见区域内。

优选的，多相机同步标定方法包括以下步骤：

1)在多相机图像序列采集***的拍摄区域中，挥舞并移动两端均设置标定物的标定杆经过各标定相机，获得标定图像序列；

2)检测定位任一标定相机获得的标定图像序列中每一帧标定图像中的标定物，并提取各帧标定图像中的标定物的轮廓；

3)根据任意相邻两帧标定图像上的标定物特征点以及分处任意相邻两帧标定图像中同一标定物之间的距离，估计各相机参数的近似估计值；

4)以近似估计值为初始值，分别通过光束平差法迭代优化计算各标定相机的相机参数的精确值；

相机参数包括：相机内参数、相对同一空间坐标系下的位置和姿态参数、白平衡增益参数。

这种标定方法使得各个标定相机都有重叠的视场区域，保证了标定过程快速准确。

标定杆包括长度为L的连接杆，连接杆的两端分别设置第一标注物和第二标志物，第一标志物、第二标志物以及幕布三者的颜色各不相同。这种颜色设置方便精确的对标志物进行球体形状检测和轮廓提取。

具体的，假定相机个数为N，各相机的3×4投影矩阵为PRi＝[pr_i1；pr_i2；pr_i3]，其中pr_i1、pr_i2、pr_i3为1×3的向量，这些参数即为需要标定计算的参数。假定所得特征点个数为M，每个特征点即在每个相机的标定图像上都有相应的提取像素点。设u_ij＝(u_ij,v_ij)为第j个特征点在第i个相机上的像素提取坐标，X_j为特征点对应的三维空间位置坐标，为未知量。建立以下残差方程：

通过光束平差方法迭代优化求解出上述投影矩阵，得到各相机的位置和姿态参数。

根据需要也可以对标定相机进行颜色标定。优选的，对标定相机进行颜色标定包括以下步骤：

1)在正常拍摄灯光环境下，拍摄白色纸张；

2)提取白色纸张像素区域，获得像素区域的像素集合；

3)分别计算RGB三个通道的像素值，得到sumR、sumG、sumB三个数值；

4)由以下公式计算RGB增益系数：

gainR＝maxSum/sumR

gainG＝maxSum/sumG

gainB＝maxSum/sumB

其中，maxSum为各sumR、sumG、sumB中的最大值。

通过各相机拍摄白色纸张，提取纸张中白色区域，计算出各个相机颜色RGB增益系数，进而对各相机RGB通道进行调整。根据色温水平选择设置对应的颜色校正矩阵参数，从而使得各个相机的颜色准确、饱满，保持空间上的一致性；通过上述颜色标定方法标定各个相机白平衡增益参数，并设置颜色校正矩阵参数，从而使得各个相机的色彩保持一致性，便于纹理渲染处理。

优选的，三维网络模型的获得，包括以下步骤：

1)从每帧图像序列中提取拍摄对象的特征信息；

2)根据特征信息以及特征信息之间的空间平滑性，创建融合轮廓、边缘、颜色和深度信息的残差方程；

3)对残差方程进行全局最优化求解，得到点云数据；

4)对点云重建数据进行三角片化处理，获得三维网络模型。

所用基于多相机的三维重建方法，按现有方法步骤进行即可。获得拍摄对象的三维点云数据。对点云数据进行三角网络化，获得主体对象的三维网络模型。采用一种基于多视图立体视觉方法重建出主体对象的三维点云数据。该方法建立了一个以深度估计数据、颜色数据、轮廓数据以及边缘检测数据为基础的约束方程，通过一种全局优化算法对该方程***进行优化计算，从中解算出准确描述各类观测量和约束的三维点云数据集。获得点云数据集后，再采用三角面片网络模型创建方法，从点云数据中重建主体对象模型的三维网络模型。

以下结合具体实例对本发明提供的方法进行详细说明。

按上述步骤处理在多相机图像序列同步采集***中，采集得到的随意舞动的人体的拍摄结果。图4和图5为对一组4D视频渲染的某一帧示例。图4为4D视频中主体对象的3D面片模型，图5则为通过本发明提供方法渲染得到的效果图。由图4可知，3D面片模型存在重建误差，部分三维点的深度数据误差较大。而通过本发明提供的渲染方法得到的图5清晰逼真，对拍摄主体的还原度高。可以有效克服由于重建带来的误差，得到比较高的纹理渲染效果。

本领域技术人员将清楚本发明的范围不限制于以上讨论的示例，有可能对其进行若干改变和修改，而不脱离所附权利要求书限定的本发明的范围。尽管己经在附图和说明书中详细图示和描述了本发明，但这样的说明和描述仅是说明或示意性的，而非限制性的。本发明并不限于所公开的实施例。

通过对附图，说明书和权利要求书的研究，在实施本发明时本领域技术人员可以理解和实现所公开的实施例的变形。在权利要求书中，术语“包括”不排除其他步骤或元素，而不定冠词“一个”或“一种”不排除多个。在彼此不同的从属权利要求中引用的某些措施的事实不意味着这些措施的组合不能被有利地使用。权利要求书中的任何参考标记不构成对本发明的范围的限制。

Claims (8)

1.一种4D视频渲染方法，其特征在于，包括以下步骤：

步骤S100：采用多相机同步标定方法，标定N个标定相机的相机参数，之后设置各所述标定相机的颜色校正矩阵参数，并获得所述标定相机的投影矩阵PR_(i)，环绕拍摄对象布置所述标定相机，拍摄得到所述拍摄对象的图像序列；

步骤S200：提取每帧图像序列中拍摄对象的序列特征信息，根据序列特征信息采用基于多相机的三维重建方法，获取每帧图像序列中拍摄对象的三维点云数据，对三维点云数据进行三角网络化，获得每帧图像序列中拍摄对象的三维网络模型；

步骤S300：以与虚拟视点方向夹角足够小的m个所述标定相机作为邻接相机集合C＝{c₁,c₂,c_j…,c_m}，其中C表示邻接相机集合，c_j表示第j个相机，计算所述邻接相机集合C可拍摄到的所述三维网络模型的三角面，作为可见三角面，遍历所述可见三角面集合S＝{p₁,p₂,p_k,…,p_n}，其中p_k表示第k个三角面，分别得到任一可见三角面p_k的纹理列表和颜色值列表；

步骤S400：分别计算各个所述邻接相机所获取的所述图像序列的纹理合成权重值后，对任一所述可见三角面进行纹理合成，遍历所有所述可见三角面得到纹理合成结果；

步骤S400包括以下步骤：

步骤S410：根据各邻接相机与虚拟视点的接近程度，计算所述纹理列表中各纹理的合成权重值，设定为越邻近虚拟视点的邻接相机权重越高；

步骤S420：遍历所述可见三角面集合S＝{p₁,p₂,p_k,…,p_n}，按所述合成权重值对所述纹理列表中的各纹理进行加权平均，作为所述可见三角面p_k纹理合成结果，以颜色列表中像素颜色值的加权平均作为所述可见三角面p_k各顶点的颜色值；

步骤S430：遍历所述可见三角面集合S＝{p₁,p₂,p_k,…,p_n}，判断所述可见三角面是否在所有邻接相机上均有完整纹理，如果任一所述可见三角面没有属于任一邻接相机的完整纹理，则由该可见三角面的三个顶点的加权平均颜色值进行纹理合成，如果任一所述可见三角面有属于任一邻接相机的完整纹理则按步骤S420处理；

步骤S500：羽化处理所述纹理合成结果的边缘后，渲染显示合成纹理和所述三维网络模型，得到该虚拟视点上对应的带纹理的三维渲染模型。

2.根据权利要求1所述的4D视频渲染方法，其特征在于，所述步骤S300包括以下步骤：

步骤S310：计算法向量：假设所述三维网络模型中任一三角面的三个顶点坐标分别为V₁，V₂和V₃，则该三角面的法向量N为：

N＝Norm((V₂-V₁)×(V₁-V₃))

其中×表示向量叉乘，Norm表示向量归一化；

步骤S320：计算所述法向量N与所述邻接相机视点方向的夹角，判断所述夹角是否大于预设阈值，当所述夹角大于预设阈值时，则认为所述三角面为可见三角面；

步骤S330：对所述三维网络模型中的所有三角面重复步骤S310～S320，得到所述可见三角面集合S＝{p₁,p₂,p_k,…,p_n},p_k表示第k个三角面，n为集合中三角面个数。

3.根据权利要求2所述的4D视频渲染方法，其特征在于，所述可见三角面纹理提取包括以下步骤：S340：计算任一所述可见三角面p_k在所述邻接相机c_j上的投影，如果所得投影没有被可见三角面p_k+1的投影所覆盖，则所述可见三角面p_k对邻接相机c_j可见，提取所述可见三角面p_k在邻接相机c_j上的投影覆盖的图像区域作为对p_k在c_j上的纹理列表，并记录所述可见三角面p_k的三个顶点投影到c_j对应图像上的像素颜色值，作为颜色值列表，遍历所述可见三角面集合S＝{p₁,p₂,p_k,…,p_n}，分别得到任一所述可见三角面p_k的纹理列表和颜色值列表。

4.根据权利要求3所述的4D视频渲染方法，其特征在于，所述步骤S430包括以下步骤：判断所述可见三角面有几个颜色值顶点被任一邻接标定相机可见，如果有两个或三个顶点可见，则以三个顶点颜色值根据顶点距离大小进行线性加权平均作为该可见三角面的纹理像素值，如果只有一个顶点可见，则以该顶点的颜色值为该可见三角面的纹理像素值。

5.根据权利要求4所述的4D视频渲染方法，其特征在于，所述步骤S500包括以下步骤：

步骤S510：对于属于集合S＝{p₁,p₂,p_k,…,p_n}的每个三角面对应的纹理合成结果进行判断，如果任意两个相邻接的可见三角面纹理，其合成是由来自于不同的邻接相机的图像，则对这两个可见三角面的纹理合成结果进行羽化处理得到最终纹理，这两个可见三角面作为羽化三角面；

步骤S520：计算所述羽化三角面的纹理对象对应的羽化权重值，以所述羽化三角面对应的各邻接相机对应纹理的羽化权重值加权平均结果作为最终纹理；其中，如果某个邻接相机的羽化权重值大于其他各邻接相机的羽化权重值的2倍以上，则以该邻接相机的纹理作为羽化三角面的纹理。

6.根据权利要求5所述的4D视频渲染方法，其特征在于，所述三维网络模型的获得，包括以下步骤：

1)从每帧所述图像序列中提取所述拍摄对象的特征信息；

2)根据所述特征信息以及所述特征信息之间的空间平滑性，创建融合轮廓、边缘、颜色和深度信息的残差方程；

3)对所述残差方程进行全局最优化求解，得到点云数据；

4)对点云重建数据进行三角片化处理，获得三维网络模型。

7.根据权利要求1所述的4D视频渲染方法，其特征在于，所述多相机同步标定方法包括以下步骤：

1)在多相机图像序列采集***的拍摄区域中，挥舞并移动两端均设置标定物的标定杆经过各所述标定相机，获得标定图像序列；

2)检测定位任一所述标定相机获得的所述标定图像序列中每一帧标定图像中的标定物，并提取各帧标定图像中的标定物的轮廓；

3)根据任意相邻两帧标定图像上的标定物特征点以及分处任意相邻两帧标定图像中同一标定物之间的距离，估计各所述标定相机参数的近似估计值；

4)以所述近似估计值为初始值，分别通过光束平差法迭代优化计算各所述标定相机的相机参数的精确值；

相机参数包括：相机内参数、相对同一空间坐标系下的位置和姿态参数、白平衡增益参数。

8.根据权利要求7所述的4D视频渲染方法，其特征在于，所述多相机图像序列同步采集***包括：N个所述标定相机和幕布，所述标定相机固定于支架上，环绕所述拍摄对象布置，且各所述标定相机的成像背景均为幕布；所述幕布设置于所述支架的外侧。

Images