CN114049423A - 一种自动的真实感三维模型纹理映射方法 - Google Patents
一种自动的真实感三维模型纹理映射方法 Download PDFInfo
- Publication number
- CN114049423A CN114049423A CN202111192469.6A CN202111192469A CN114049423A CN 114049423 A CN114049423 A CN 114049423A CN 202111192469 A CN202111192469 A CN 202111192469A CN 114049423 A CN114049423 A CN 114049423A
- Authority
- CN
- China
- Prior art keywords
- image
- dimensional model
- model
- vertex
- texture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000013507 mapping Methods 0.000 title claims abstract description 30
- 238000003384 imaging method Methods 0.000 claims abstract description 52
- 238000001514 detection method Methods 0.000 claims abstract description 7
- 230000008569 process Effects 0.000 claims description 12
- 238000005457 optimization Methods 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 description 14
- 230000004927 fusion Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Image Generation (AREA)
Abstract
本发明公开一种自动的真实感三维模型纹理映射方法，所述方法包括：对三维模型进行UV参数化；对第一幅图像，估计相机的成像模型，根据估计的相机成像模型，确定物体图像点所对应的三维模型顶点；对后续的每幅图像，通过图像的特征点检测与匹配来建立与上一幅图像间的特征点对应，确定本幅图像上物体像素所对应的三维模型顶点，以对应图像像素的颜色值填充纹理贴图；生成完整的纹理图。本发明通过图像特征点检测与匹配来建立三维模型顶点与图像上特征点的点对应，能实现相机成像模型的自动估计，基于凸包匹配对成像模型进行优化，能实现自动和精确的纹理映射，利用自然邻点插值方法进行纹理填充，实现平滑的无缝隙纹理映射。
Description
技术领域
本发明涉及计算机图形学技术领域，具体涉及一种自动的真实感三维模型纹理映射方法。
背景技术
真实感三维建模就是要重建出具有真实感纹理的三维数字模型。真实感三维模型在文物与古建筑的数字化保护与展示、数字媒体娱乐、广告等领域有广泛的应用，真实感三维建模包括两个方面，一方面是精确的几何形状建模，另一方面是给三维模型添加色彩信息以真实地还原物体的物理特性。
纹理映射是将二维纹理图像上的纹理值映射到三维模型表面的技术，是真实感三维建模的重要手段。在计算机图形学中，真实感三维建模一般是以用户采集的物体照片作为二维纹理图像。纹理映射的核心是建立三维模型和二维图像间的对应关系，最终形成一幅包含三维模型每个顶点纹理值的二维纹理贴图。目前实际应用中还是借助一些专用的图形处理软件如贴图大师、3DMax等，通过人机交互的方式进行纹理贴图，较难建立三维模型和二维图像间的精确对应关系，并且费时费力，不适用于像博物馆中大量文物的数字化建模这样的工程任务。已有的研究主要针对不同拍摄视角因光照不同所造成的纹理图像之间色彩存在大的差异问题，通过多幅图像纹理的融合和拼接优化，消除来自不同纹理图像间的纹理色差，实现平滑的无缝隙纹理映射。但这些研究大都需要已知每幅图像的摄像机成像参数，这在实际应用中很难满足。
针对现有技术存在的如上述技术问题，本发明提供一种自动的真实感三维模型纹理映射方法。
发明内容
为了解决现有技术存在的上述技术问题，本发明提出了一种自动的真实感三维模型纹理映射方法，利用围绕物体拍摄的序列纹理图像，为三维模型建立完整的真实感纹理贴图。
本发明采用以下技术方案：
一种自动的真实感三维模型纹理映射方法，其特征在于，包括：
步骤1，对三维模型进行平面参数化，得到三维模型顶点的UV纹理坐标，并产生一幅空白图像作为初始的纹理贴图；
步骤2，根据围绕物体拍摄的序列纹理图像，对第一幅图像，估计相机的成像模型，根据估计的相机成像模型确定物体图像点所对应的三维模型上的顶点，根据顶点的纹理坐标，以对应图像像素的颜色值填充纹理贴图；
步骤3，根据围绕物体拍摄的序列纹理图像，对后续的每幅图像，通过图像特征点检测与匹配来建立与上一幅图像间的特征点对应，从而根据已建立的上一幅图像与三维模型顶点的对应关系建立本幅图像上的特征点与三维模型顶点的对应关系，利用本幅图像上的特征点与三维模型顶点的对应关系对本幅图像相机的成像模型进行初始估计，再基于凸包匹配对成像模型进行优化，根据优化得到的相机成像模型确定本幅图像上物体像素所对应的三维模型顶点，根据顶点的纹理坐标，以对应图像像素的颜色值填充纹理贴图，当三维模型上的同一个顶点与多幅图像上的像素对应时，用均值填充；
步骤4，通过插值生成未填充UV参数处的纹理值，从而生成完整的纹理贴图。
进一步地，步骤2中，估计相机的成像模型包括：
步骤201，通过采用摄像机标定方法得到一个初始成像模型或利用图形图像软件(如3ds Max和Photoshop)在三维模型和图像上手工选取不少于6组对应的特征点，按照这组特征点对应估计一个初始成像模型；
步骤202，基于凸包匹配对成像模型进行优化。
进一步地，步骤202中，基于凸包匹配对成像模型进行优化的过程为：按成像模型将三维模型的所有顶点投影到二维平面，得到一个二维投影点集，分别对所得到的二维投影点集与本幅图像上的物体像素部分求凸包，对投影点集凸包的每个顶点，寻找本幅图像上与其匹配的凸包顶点，根据两个凸包间的顶点对应关系以及投影点与三维模型间的点对应关系，得到图像上凸包顶点与三维模型顶点的对应关系，根据图像上凸包顶点与三维模型顶点的对应关系外加估计初始成像模型时的三维模型顶点与图像上特征点的点对应估计一个新的成像模型，按照此优化过程对成像模型进行迭代更新，直至收敛。
进一步地，成像模型优化过程中，对投影点集凸包的每个顶点寻找本幅图像上与其匹配的凸包顶点时，根据两点间的欧氏距离和几何特征间的相似度进行匹配。
进一步地，成像模型优化过程中，随着迭代次数的增加，估计新成像模型时，逐次减少一对用于估计初始成像模型时的三维模型顶点与图像上特征点的点对应的参与。
进一步地，步骤3中，对后续的每幅图像，利用KAZE算法或SIFT算法进行图像的特征点检测与匹配，建立与上一幅图像间的特征点对应。
进一步地，步骤4中采用自然邻点插值方法生成未填充UV参数处的纹理值。
与现有技术相比，本发明的优越效果在于：
1、本发明所述的三维模型纹理映射方法，通过图像的特征点检测与匹配来建立三维模型顶点与图像上特征点的点对应，能实现相机成像模型的自动估计；
2、本发明所述的三维模型纹理映射方法，基于凸包匹配对成像模型进行优化，能实现自动和精确的纹理映射；
3、本发明所述的三维模型纹理映射方法，利用自然邻点插值方法进行纹理填充，实现平滑的无缝隙纹理映射。
附图说明
图1为本发明实施例中所述自动的真实感三维模型纹理映射方法的流程示意图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述，需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
实施例
如图1所示，所述自动的真实感三维模型纹理映射方法，具体包括以下步骤：
步骤1，利用公开软件或算法库(如CGAL或Direct3D)提供的网格模型参数化功能将对三维模型进行平面UV参数化，得到三维模型顶点的UV纹理坐标，并产生一幅空白图像作为初始的纹理贴图；
步骤2，根据围绕物体拍摄的序列纹理图像，对第一幅图像，精确估计相机的成像模型，根据估计的相机成像模型，利用z-Buffer算法，确定本幅图像上物体像素所对应的三维模型顶点，根据顶点的纹理坐标，以对应图像像素的颜色值填充UV纹理贴图；
步骤3，根据围绕物体拍摄的序列纹理图像，对后续的每幅图像，通过图像特征点检测与匹配来建立与上一幅图像间的特征点对应，从而建立本幅图像上的特征点与三维模型顶点的对应，利用这组三维模型顶点与图像特征点的点对应初始估计本幅图像相机的成像模型，再基于凸包匹配对成像模型进行优化，根据优化得到的相机成像模型，利用z-Buffer算法，确定本幅图像上物体像素所对应的三维模型顶点，根据顶点的纹理坐标，以对应图像像素的颜色值填充纹理贴图，如三维模型上的同一个顶点与多幅图像上的像素对应，则用均值填充；
步骤4，通过插值生成未填充UV参数处的纹理值，从而生成完整的纹理图。
在上述实施例中，相机成像模型可以采用如下线性模型：
上式中，矩阵P＝K(R,T)是摄像机矩阵，K为摄像机内参数矩阵，R和T是摄像机外参数，[XYZ1]t和[uv1]t分别是物体上三维点的世界坐标及其对应的图像像素点坐标；
步骤1中采用Direct3D中的网格模型参数化API对三维模型进行UV参数化；
步骤2中对第一幅图像，估计相机的成像模型分为两个阶段：
第一阶段为初始估计，初始估计可以通过一些经典的摄像机标定方法得到摄像机矩阵P，或者利用图形图像软件如3ds Max和Photoshop在三维模型和图像上手工选取不少于6组对应的特征点，按照这组特征点对应根据经典的直接线性变换DLT方法求解公式(1)中的摄像机矩阵P；
第二阶段基于凸包匹配对摄像机矩阵P进行优化，其过程如下：按摄像机矩阵P将三维模型上的所有顶点投影到二维平面，利用经典的Graham-Scan算法，对得到的二维投影点集和本幅图像上的物体像点分别求凸包，根据两点间的欧氏距离和两点的曲率误差以4：1的权重加权求和，作为两个点的匹配度量，对投影点集凸包的每个顶点寻找本幅图像上与其匹配的凸包顶点，根据两个凸包间的顶点对应关系以及投影点与三维模型间的点对应关系，得到图像上凸包顶点与三维模型顶点的对应，根据这组点对应外加估计初始摄像机矩阵时的三维模型顶点与图像上特征点的点对应，利用DLT方法估计一个新的摄像机矩阵P，迭代此优化过程，直至摄像机矩阵保持不变或超过设定的迭代次数上限，随着迭代次数的增加，在估计新的摄像机矩阵时，逐渐减少1组用于估计初始摄像机矩阵时的三维模型顶点与图像上特征点的点对应的参与。
步骤3中对后续的每幅图像，利用KAZE算法或SIFT等经典算法进行图像的特征点检测与匹配，建立与上一幅图像间的特征点对应；
步骤3中利用一组三维模型顶点与图像上特征点的点对应初始估计本幅图像相机的成像模型时，应用DLT方法估计初始的摄像机矩阵P；
步骤3中基于凸包匹配对成像模型进行优化，其过程可与上述步骤2中所述基于凸包匹配对摄像机矩阵进行优化的过程相同；
步骤4中插值生成未填充UV参数处的纹理值采用自然邻点插值方法。
本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书界定。
Claims (7)
1.一种自动的真实感三维模型纹理映射方法，其特征在于，包括：
步骤1，对三维模型进行平面参数化，得到三维模型顶点的UV纹理坐标，并产生一幅空白图像作为初始的纹理贴图；
步骤2，根据围绕物体拍摄的序列纹理图像，对第一幅图像，估计相机的成像模型，根据估计的相机成像模型确定物体图像点所对应的三维模型上的顶点，根据顶点的纹理坐标，以对应图像像素的颜色值填充纹理贴图；
步骤3，根据围绕物体拍摄的序列纹理图像，对后续的每幅图像，通过图像特征点检测与匹配来建立与上一幅图像间的特征点对应，从而根据已建立的上一幅图像与三维模型顶点的对应关系建立本幅图像上的特征点与三维模型顶点的对应关系，利用本幅图像上的特征点与三维模型顶点的对应关系对本幅图像相机的成像模型进行初始估计，再基于凸包匹配对成像模型进行优化，根据优化得到的相机成像模型确定本幅图像上物体像素所对应的三维模型顶点，根据顶点的纹理坐标，以对应图像像素的颜色值填充纹理贴图，当三维模型上的同一个顶点与多幅图像上的像素对应时，用均值填充；
步骤4，通过插值生成未填充UV参数处的纹理值，从而生成完整的纹理贴图。
2.根据权利要求1所述的一种自动的真实感三维模型纹理映射方法，其特征在于，步骤2中，估计相机的成像模型包括：
步骤201，通过采用摄像机标定方法得到一个初始成像模型或利用图形图像软件在三维模型和图像上手工选取不少于6组对应的特征点，按照这组特征点对应估计一个初始成像模型；
步骤202，基于凸包匹配对成像模型进行优化。
3.根据权利要求2所述的一种自动的真实感三维模型纹理映射方法，其特征在于，步骤202中，基于凸包匹配对成像模型进行优化的过程为：按成像模型将三维模型的所有顶点投影到二维平面，得到一个二维投影点集，分别对所得到的二维投影点集与本幅图像上的物体像素部分求凸包，对投影点集凸包的每个顶点，寻找本幅图像上与其匹配的凸包顶点，根据两个凸包间的顶点对应关系以及投影点与三维模型间的点对应关系，得到图像上凸包顶点与三维模型顶点的对应关系，根据图像上凸包顶点与三维模型顶点的对应关系外加估计初始成像模型时的三维模型顶点与图像上特征点的点对应估计一个新的成像模型，按照此优化过程对成像模型进行迭代更新，直至收敛。
4.根据权利要求3所述的一种自动的真实感三维模型纹理映射方法，其特征在于，成像模型优化过程中，对投影点集凸包的每个顶点寻找本幅图像上与其匹配的凸包顶点时，根据两点间的欧氏距离和几何特征间的相似度进行匹配。
5.根据权利要求3所述的一种自动的真实感三维模型纹理映射方法，其特征在于，成像模型优化过程中，随着迭代次数的增加，估计新成像模型时，逐次减少一对用于估计初始成像模型时的三维模型顶点与图像上特征点的点对应的参与。
6.根据权利要求1所述的一种自动的真实感三维模型纹理映射方法，其特征在于，步骤3中，对后续的每幅图像，利用KAZE算法或SIFT算法进行图像的特征点检测与匹配，建立与上一幅图像间的特征点对应。
7.根据权利要求1所述的一种自动的真实感三维模型纹理映射方法，其特征在于，步骤4中采用自然邻点插值方法生成未填充UV参数处的纹理值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111192469.6A CN114049423A (zh) | 2021-10-13 | 2021-10-13 | 一种自动的真实感三维模型纹理映射方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111192469.6A CN114049423A (zh) | 2021-10-13 | 2021-10-13 | 一种自动的真实感三维模型纹理映射方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114049423A true CN114049423A (zh) | 2022-02-15 |
Family
ID=80205462
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111192469.6A Pending CN114049423A (zh) | 2021-10-13 | 2021-10-13 | 一种自动的真实感三维模型纹理映射方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114049423A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115601490A (zh) * | 2022-11-29 | 2023-01-13 | 思看科技（杭州）股份有限公司（Cn） | 基于纹理映射的纹理图像前置置换方法、装置和存储介质 |
-
2021
- 2021-10-13 CN CN202111192469.6A patent/CN114049423A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115601490A (zh) * | 2022-11-29 | 2023-01-13 | 思看科技（杭州）股份有限公司（Cn） | 基于纹理映射的纹理图像前置置换方法、装置和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108921926B (zh) | 一种基于单张图像的端到端三维人脸重建方法 | |
| CN109003325B (zh) | 一种三维重建的方法、介质、装置和计算设备 | |
| CN110853075B (zh) | 一种基于稠密点云与合成视图的视觉跟踪定位方法 | |
| CN107945267B (zh) | 一种用于人脸三维模型纹理融合的方法和设备 | |
| CN115100339B (zh) | 图像生成方法、装置、电子设备和存储介质 | |
| US9098930B2 (en) | Stereo-aware image editing | |
| CN108335352B (zh) | 一种面向多视图大规模三维重建场景的纹理映射方法 | |
| CN108876814B (zh) | 一种生成姿态流图像的方法 | |
| US20050140670A1 (en) | Photogrammetric reconstruction of free-form objects with curvilinear structures | |
| CN109887030A (zh) | 基于cad稀疏模板的无纹理金属零件图像位姿检测方法 | |
| CN112767531B (zh) | 面向移动端的虚拟试衣的人体模型脸部分区域建模方法 | |
| CN106875437A (zh) | 一种面向rgbd三维重建的关键帧提取方法 | |
| CN111462030A (zh) | 多图像融合的立体布景视觉新角度构建绘制方法 | |
| CN104157000B (zh) | 模型表面法线的计算方法 | |
| CN115631317B (zh) | 隧道衬砌正射影像生成方法及装置、存储介质、终端 | |
| CN113781621A (zh) | 三维重建处理的方法、装置、设备及存储介质 | |
| CN115619951A (zh) | 基于体素神经隐式表面的稠密同步定位与建图方法 | |
| CN114996814A (zh) | 一种基于深度学习与三维重建的家具设计*** | |
| CN114419297A (zh) | 一种基于背景风格迁移的3d目标迷彩生成方法 | |
| CN110706332B (zh) | 一种基于噪声点云的场景重建方法 | |
| Jiang et al. | H $ _ {2} $-Mapping: Real-time Dense Mapping Using Hierarchical Hybrid Representation | |
| CN115984441A (zh) | 一种基于神经着色器的快速重建带纹理三维模型的方法 | |
| CN115482268A (zh) | 一种基于散斑匹配网络的高精度三维形貌测量方法与*** | |
| CN114049423A (zh) | 一种自动的真实感三维模型纹理映射方法 | |
| CN113989434A (zh) | 一种人体三维重建方法及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |