CN110458932A - 图像处理方法、装置、***、存储介质和图像扫描设备 - Google Patents

Abstract

本发明公开了一种图像处理方法、装置、***、存储介质和图像扫描设备。该方法包括：选择用于物体对象的三维模型的第一视角，确定物体对象的原始纹理图像中与第一视角相关联的纹理图像子集；针对第一视角，选择纹理图像子集中的满足图像清晰限制条件的图像；确定满足图像清晰限制条件的图像之间的颜色差异最小的重叠区域；对颜色差异最小的重叠区域进行纹理拼接，得到与第一视角对应的拼接纹理图像。根据本发明实施例提供的图像处理方法，可以提高3D纹理贴图的抗噪能力和精度，获得较为理想的纹理贴图效果。

Description

图像处理方法、装置、***、存储介质和图像扫描设备

技术领域

本发明涉及计算机技术领域，尤其涉及图像处理方法、装置、***、存储介质和图像扫描设备。

背景技术

三维(Three Dimensional，3D)纹理贴图广泛应用于计算机图形学的各个领域，以增加3D物体的真实感。三维纹理贴图是通过三维扫描设备扫描物体对象，获得物体对象的三维几何信息，利用获得的三维几何信息构建物体对象的三维模型，并对该物体对象的三维模型进行三维几何形态的色彩的渲染的过程。

传统的三维扫描设备因成本较高而不能满足消费级的需求，近年来，市场上涌现的消费级扫描仪，为三维扫描平民化的实现提供了基础条件。

3D纹理贴图是3D物体真实性展示的关键一步，目前市场上的消费级设备通常使用全自动纹理贴图技术，由于消费级三维扫描设备大多只能在物体结构上达到一定程度的还原，而无法获得完整准确的3D纹理信息，因此对该物体对象的三维模型进行三维几何形态的色彩渲染时，抗噪能力不强，难以保证3D纹理贴图的精度。

发明内容

本发明实施例提供一种图像处理方法、装置、***、存储介质和图像扫描设备，可以提高3D纹理贴图的抗噪能力，并提高3D纹理贴图的精度。

根据本发明实施例的一方面，提供一种图像处理方法，包括：

选择用于物体对象的三维模型的第一视角，确定物体对象的原始纹理图像中与第一视角相关联的纹理图像子集；

针对第一视角，选择纹理图像子集中的满足图像清晰限制条件的图像；

确定满足图像清晰限制条件的图像之间的颜色差异最小的重叠区域；

对颜色差异最小的重叠区域进行纹理拼接，得到与第一视角对应的拼接纹理图像。

根据本发明实施例的另一方面，提供一种图像处理装置，包括：

视角选择模块，用于选择用于物体对象的三维模型的第一视角，确定物体对象的原始纹理图像中与第一视角相关联的纹理图像子集；

清晰图像选择模块，用于针对第一视角，选择纹理图像子集中的满足图像清晰限制条件的图像；

均匀图像选择模块，用于确定满足图像清晰限制条件的图像之间的颜色差异最小的重叠区域；

纹理图像拼接模块，用于对颜色差异最小的重叠区域进行纹理拼接，得到与第一视角对应的拼接纹理图像。

根据本发明实施例的再一方面，提供一种图像处理***，包括：存储器和处理器；该存储器用于存储程序；该处理器用于读取存储器中存储的可执行程序代码以执行上述的图像处理方法。

根据本发明实施例的又一方面，提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当指令在计算机上运行时，使得计算机执行上述各方面的图像处理方法。

根据本发明实施例的还一方面，提供了一种图像扫描设备，包括投影设备、图像采集设备和处理器；投影设备，用于向物体对象投射结构光编码图；图像采集设备，用于在结构光编码图投射下，获取物体对象的原始纹理图像；处理器，用于执行上述实施例描述的图像处理方法。

根据本发明实施例中的图像处理方法、装置、***、存储介质和图像扫描设备，可以提高3D纹理贴图的抗噪能力和精度，获得较为理想的纹理贴图效果。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是示出根据本发明实施例的多拍摄视角下进行图像处理的基本原理示意图；

图2是示出现有技术中消费级扫描仪利用全自动纹理贴图技术得到的纹理贴图的效果示意图。

图3a是示出根据本发明示例性实施例的图像处理方法的处理过程示意图；

图3b是示出根据本发明示例性实施例的图像处理方法的效果对比示意图；

图4是示出根据本发明另一实施例的图像处理方法的流程图；

图5是示出根据本发明一实施例提供的图像处理装置的结构示意图；

图6是示出可以实现根据本发明实施例的图像处理方法和装置的计算设备的示例性硬件架构的结构图。

具体实施方式

下面将详细描述本发明的各个方面的特征和示例性实施例，为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本发明，并不被配置为限定本发明。对于本领域技术人员来说，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更好的理解。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制条件的情况下，由语句“包括……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。

在本发明实施例中，增强现实(Augmented Reality，简称AR)技术可以通过***自身携带的拍摄终端捕获真实世界的影像视频，使用图像配准等技术，估计出影像视频中虚拟物体的三维姿态，进而将虚拟物体或场景放置到真实环境中预定的位置，最后通过摄像机镜头的视角将场景渲染出来，其中，三维姿态用于描述物体的三维坐标和偏转角度。

在本发明实施例中，虚拟现实(Virtual Reality，简称VR)技术是一种计算机仿真***，在该***中可以创建和体验虚拟世界。本质上，该***利用计算机生成一种模拟环境，该模拟环境包括多源信息融合的交互式的三维动态视景和对实体行为的***仿真，可以达到沉浸式体验。

在上述实施例中，增强现实技术和虚拟现实技术需要使用三维场景时，可以包括以下步骤：

首先，构建物体对象的三维模型。

在本发明实施例中，可以通过多种方式构建物体的三维模型。

在一个实施例中，采用可以进行三维扫描的仪器设备，例如三维扫描仪对实际物体对象进行三维建模。作为一个示例，可以利用三维扫描仪向真实场景中的物体对象投射结构光，获取真实场景中物体对象的多个点数据，这些点数据构成点云数据，基于点云数据可以构建点云模型，实现对该物体的三维形态建模，得到物体对象的三维模型。其中，点云数据可以包括该物体对象的颜色信息、深度信息以及通过三维坐标表示的几何位置信息，通过物体对象的几何位置信息可以得到该物体对象的三维尺寸。

在一个实施例中，可以利用物体对象的视频或图片进行三维重建，以得到该物体对象的三维模型。

在一个实施例中，还可以通过例如三维建模渲染和动画制作软件3D Max、计算机动画和建模软件Maya或三维模型设计软件Meshmixer等建模软件来创建物体对象的三维模型。

其次，利用构建的物体对象的三维模型进行三维纹理贴图。

作为一个示例，当利用三维扫描仪对实际物体对象进行三维建模时，可以在获取的点云模型的基础进行三维纹理贴图。具体来说，可以通过表面重建的方法，将点云模型转化为多边形网状模型，该多边形网状模型中的每个多边形可以唯一确定一个多边形平面，为每个多边形平面贴上位置对应的纹理图像中的纹理，就可以完成纹理图像到多边形网络模型的纹理映射。

本领域技术人员都理解到，可以使用各种实现方式来完成多边形网状模型的建立。例如，可以使用三角形、矩形、五边形、六边正菱形等方式来构建。为了简化描述起见，本文下述的多个实施例以三角网格模型为例来阐述该多边形网状模型的具体建立方式。但该描述并不能被解读为限制本方案的范围或实施可能性，三角网格模型以外的其他多边形网状模型的处理方法与对三角网格模型的处理方法保持一致。

具体来说，可以对点云模型的点云数据进行三角化，得到三角网格模型，三角网格模型中的每个三角形都可以唯一的确定一个平面即三角面片，为每个三角面片贴上位置对应的纹理图像中的纹理，就可以完成纹理图像到三角网络模型的纹理映射。

本领域技术人员也可以理解到，可以通过多种方式获得到用于物体对象的纹理图像，例如，使用预先存储的通用纹理图像(例如，金属纹理图像模板、木质纹理图像模板、等)，预先为物体对象准备的纹理图像(例如，预先采集的)，实时拍摄到的物体对象的表面图像(例如，实时采集设备采集到的)。在本发明实施例中，纹理图像中的纹理可以包括场景彩色和场景亮度等信息。

在该实施例中，点云模型和三角网格模型是根据三维场景构建的三维模型在进行三维纹理贴图的过程中，不同阶段的不同展现形式，在本发明实施例的下述描述中，三角网格模型可以称为是三维网格模型。

通过上述实施例可知，本发明实施例的图像处理方法，在进行三维纹理贴图时，可以通过纹理图像与三维模型的映射关系，为三维模型中的每个三角面片贴上对应的纹理。

在本发明实施例中，利用图像采集设备采集目标建模对象的图像，从而根据采集的目标建模对象的图像，进一步得到该目标建模对象的图像中的原始纹理，在下面实施例的描述中，可以将该原始纹理中与三维模型中的三角面片对应的纹理区域称为是纹理三角形面片。

在一个实施例中，图像采集设备可以包括相机、摄像头等。

由于图像采集设备基于相同的成像原理采集目标建模对象的图像，以获取该目标建模对象的图像中的纹理。为了便于理解，本发明实施例以图像采集设备是相机为例，介绍如何通过图像采集设备参数，建立待进行纹理贴图的三维模型和纹理图像之间的映射关系。

图1示出了根据本发明实施例的多拍摄视角下进行图像处理的基本原理示意图。首先结合图1，详细描述通过图像采集设备参数建立物体对象的三维模型和纹理图像间对应关系的方法。

如图1所示，作为一个示例，可以通过使用同一个相机，并通过改变相机参数，在不同的相机位置环绕物体进行拍摄；或者可以在环绕物体的位置设置一定数量的相机，通过不同位置的相机分别对物体进行拍摄，采集物体图像。

通过图像采集设备例如相机，拍摄物体对象以采集该物体对象的图像时，对于被摄物体表面的一个面片，该面片的反射光线中，存在一束可以垂直入射相机镜头的射线，将该垂直入射相机镜头的射线，称为是相机镜头的入射线。

继续参考图1，在一个实施例中，相机镜头的入射线的延长线与该被摄物体表面的面片形成交点X，该交点X可以作为相机拍摄该面片的拍摄视点。

当相机位于相机位置1时，相机与视点的连线与该视点所在面片的法向矢量的夹角，也即相机的入射线与该面片法向矢量的夹角，可以作为相机在相机位置1采集物体图像时的拍摄视角。

根据***成像模型，真实场景中的三维点通过投影变换映射到图像上的二维点，该投影变换过程可以表示为利用图像采集设备的外参数，对采集的真实场景中的三维点进行线性变换的过程。

作为一个示例，可以利用下面的表达式(1)描述对真实场景中的三维点进行的投影变换：

T_i(x,y,1)＝M_4×4×P(x,y,z,1) (1)

在上述公式(1)中，P(x,y,z,1)表示真实场景中三维点的三维坐标，T_i(x,y,1)表示利用图像采集设备在第i个拍摄视角拍摄的纹理图像中，该三维建模点P的对应点的图像物理坐标，矩阵M_4×4为图像采集设备的外参数，例如相机外参数。

通过上述公式(1)，图像采集设备的外参数矩阵M_4×4可以表征空间物体表面特征点与该特征点在相机坐标系中对应点的位置关系。

作为一个示例，本发明实施例中的外参数矩阵其中，R，t构成了图像采集设备的外参数矩阵，R为旋转矩阵，t为平移矩阵。R可以表示为一个3×3矩阵，t可以表示为一个3×1矩阵。

在一个实施例中，图像采集设备的参数还包括相机内参数。相机内参数是与相机自身特性相关的参数，例如相机焦距、像素大小和光心位置等。通过相机内参数可以将空间物体表面特征点在相机坐标系中对应点的图像物理坐标转化为图像像素坐标系中的纹理坐标。

通过上述实施例中的图像处理方法，可以利用图像采集设备建立物体对象的三维模型，并基于图像采集设备的参数，建立该三维模型和物体对象的纹理图像的映射关系。

在本发明实施例中，使用相机拍摄物体表面的面片时，由于各个拍摄视角拍摄的纹理图像可能会有重叠，为了获得噪声较小和质量较高的纹理图像，需要对各个拍摄视角拍摄的纹理贴图进行选择。

在一个实施例中，如果选择的拍摄视角满足一定的夹角限制条件时，可以获得该物体表面的面片的较为清晰的图像，从而获得该物体表面的面片的较为清晰的纹理。

在一个实施例中，可以将满足该夹角限制条件的拍摄视角，作为相机拍摄物体表面的面片的第一视角。

作为一个示例，该夹角限制条件可以是相机与拍摄视点的连线与该视点所在面片的法向矢量的夹角小于预设的夹角阈值，预设的夹角阈值例如45°或30°。预设的夹角阈值越小，拍摄得到的图像和纹理质量越高。

由于通过相机拍摄的物体图像涉及不同的拍摄位置、拍摄视角，以及不同拍摄视角之间的图像颜色差异，为了获得更好的拼图效果，需要对相机拍摄的未经处理的原始纹理图像进行拍摄视角分析、不同拍摄视角对应的纹理图像的颜色差异进行平衡，以及拼缝区域的选择等操作，上述操作很难通过传统的二维图像拼接技术进行解决，而人工手动完成的时间成本高且准确度难以保证，目前市面上消费级三维扫描仪虽然可以进行自动化的纹理贴图，但由于消费级三维扫描仪本身无法获得完整准确的3D纹理信息，原始纹理图像的抗噪能力差，难以保证3D纹理贴图的精度。

图2示出了现有技术中消费级扫描仪利用全自动纹理贴图技术得到的纹理贴图的效果示意图。如图2所示，以物体对象为玩偶作为示例，示出了利用市面上常见的消费级三维扫描仪对玩偶进行扫描后得到的三维纹理图像。

在图2中，纹理图像区域P1、纹理图像区域P2、纹理图像区域P3和纹理图像区域P4分别表示：利用该消费级三维扫描仪的图像扫描设备，分别在第1个拍摄视角、第2个拍摄视角、第3个拍摄视角和第4个拍摄视角下，拍摄的该物体对象的纹理图像区域。

纹理图像区域P1-1、纹理图像区域P2-1、纹理图像区域P3-1和纹理图像区域P4-1，分别表示纹理图像区域P1的放大区域示意图、纹理图像区域P2的放大区域示意图、纹理图像区域P3的放大区域示意图和纹理图像区域P4的放大区域示意图。

由图2可以看出，由于消费级三维扫描仪设备本身的局限，市面上的消费级三维扫描仪大多只能在物体结构上达到一定程度的还原，而无法获得完整准确的3D纹理信息。在消费级设备中，由于建模过程可能会存在各种各样的误差或者错误，例如标定误差、三维深度估计误差、配准误差等等，会导致利用消费级三维扫描仪设备获得的三维纹理贴图出现如纹理图像区域P1、纹理图像区域P2、纹理图像区域P3和纹理图像区域P4所示的错位、模糊、伪影等问题，这些问题严重影响了三维纹理的最终表现效果。

因此，本发明实施例提供一种图像处理方法、装置、***和存储介质，可以提高三维纹理贴图的抗噪能力和精度，获得较为理想的纹理贴图效果。

下面结合图3a和图3b，继续以具体物体对象是玩偶为例，详细描述利用本发明实施例的图像处理方法，在对物体对象的三维模型进行纹理贴图的过程中，对图像采集设备获得的纹理图像区域进行清晰度选择和均匀度选择的方法和步骤。

图3示出了根据本发明实施例的图像处理方法的处理过程示意图。结合图3和本发明实施例的图像处理方法，可以对该图像处理方法的处理过程进行示意性的效果展示。

在该示例性实施例中，图像处理方法可以包括如下步骤：

如图3a中步骤S11所示，构建雕塑的三维模型。

在一个实施例中，可以根据本发明上述实施例中构建物体对象的三维模型的方法，选择使用建模软件对具体的玩偶对象进行三维建模。

作为一个示例，可以使用三维模型设计软件Meshmixer等建模软件对该雕塑进行三维建模，得到该雕塑的三维模型。在该示例中，该雕塑的三维模型可以为多边形网状模型。

如图3a中步骤S12所示，确定用于该雕塑的三维模型的拍摄视角，根据选择的第一视角，确定纹理图像中与第一视角对应的纹理图像子集。

在一个实施例中，可以通过下面的步骤选择用于三维模型的第一视角。

步骤S12-01，计算三维模型中的三角面片的法向量。

在本发明实施例中，法线(Normal)是到达三维模型的三角面片的一条垂线，法线同时是一个向量，简称法向量。可以通过该三角面片的两个向量，求出该两个向量的外积得到该三角面片的法向量。

在一个实施例中，每个三角面片的三个顶点分别记为pt1、pt2和pt3，该三角面片的两个向量是点pt1到点pt2之间的连线向量，以及点pt2到点pt3之间的连线向量。

在该实施例中，三维模型中三角面片的法向量可以表示为点pt1到点pt2之间的连线向量，与点pt2到点pt3之间的连线向量的外积。作为一个示例，可以通过下述表达式(2)计算三维模型中三角面片的法向量：

Normal_face＝Vect_pt1→pt2×Vect_pt2→pt3 (2)

在上述公式(2)中，Vect_pt1→pt2表示点pt1到点pt2之间的连线向量，Vect_pt2→pt3表示点pt2到点pt3之间的连线向量，Vect_pt1→pt2×Vect_pt2→pt3表示Vect_pt1→pt2与Vect_pt2→pt3的外积，从而得到垂直于这两条向量的向量，即该三角面片的法向量Normal_face。

步骤S12-02，确定对三维模型的三角面片进行拍摄时的第一视角。

在一个实施例中，当图像采集设备的拍摄位置与三维模型的三角面片正面相对，认为在该相机拍摄位置下对该三维模型的三角面片拍摄的纹理图像较为清晰。

在另一个实施例中，对于三维模型的一个三角面片，可以将该三角面片的法向量作为第一法向量；获取相机的当前位置，将相机在当前位置的入射线与该第一法向量之间的夹角满足夹角限制条件时，将该满足夹角限制条件的夹角作为该三维模型的第一视角。

在该步骤中，可以将确定的用于该玩偶的三维模型的拍摄视角，作为用于该玩偶模型的第一视角，并通过上述实施例中选择用于三维模型的第一视角的方法，得到满足本发明实施例中夹角限制条件的第一视角。

如图3a所示，当图像采集设备(图中未示出)的入射线与该三维模型的多边形面片的法向矢量之间的夹角，满足本发明实施例中夹角限制条件时，选择该夹角作为用于该雕塑的三维模型的拍摄视角。

作为一个示例，夹角限制条件为：该相机在当前位置的入射线与该第一法向量之间的夹角小于等于45°，在该示例中，当相机拍摄位置与三维模型的三角面片正面相对时，用于该三维模型的第一视角为0°。

作为一个示例，该第一视角可以是小于等于45度的拍摄视角。在该示例中，当第一视角为小于等于45度的拍摄视角时，认为图像采集设备对物体对象进行正视拍摄；当第一视角为大于45度的拍摄视角时，认为图像采集设备对物体对象的图像采集不是正视拍摄，此时采集到的物体对象的纹理图像子集所包括的图像纹理不清晰，图像质量不高。

步骤S12-03，根据选择的第一视角，确定纹理图像中与第一视角对应的纹理图像子集。

在本发明实施例中，为了得到该三角面片的清晰的纹理图像，可以将与第一视角对应的纹理图像作为纹理图像子集。

在该步骤中，根据纹理图像子集所包括的图像，可以确定每个纹理图像子集所包括的图像的边界，从而确定纹理图像子集所包括的图像之间的重叠区域，可以将该重叠区域作为纹理图像子集所包括的图像之间的拼接区域。

作为一个示例，可以通过马尔科夫随机场算法，确定纹理图像子集所包括的图像之间的拼接区域。

作为一个示例，本发明实施例中图像分割的方法可以是区域生长算法、洪水填充算法(Flood Fill Algorithm)和图割算法(Graph Cuts Algorithm)中的一种或多种。

如图3a中的步骤S13所示，利用马尔科夫随机场方法，构建纹理图像子集的纹理误差修正函数，对通过图像采集设备获得的纹理图像进行纹理误差修正。

在一个实施例中，纹理图像进行纹理误差修正的步骤具体可以包括如下步骤：

步骤S13-01，构建纹理图像子集的图像清晰度函数，图像清晰度函数用于根据纹理图像子集所包括的图像清晰度对第一视角进行选择。

在本发明实施例中，当对三维模型的拍摄视角满足夹角限制条件时，认为该相机位置获取的纹理图像具有较好的清晰度。

因此，可以构建纹理图像子集所包括的图像的清晰度函数，使用清晰度函数描述纹理图像子集所包括的图像的清晰度与拍摄视角的关系，从而根据纹理图像子集所包括的图像清晰度对第一视角进行选择。

步骤S13-02，构建纹理图像子集的图像均匀度函数，图像均匀度函数用于描述根据纹理图像子集所包括的图像之间的重叠区域的颜色差异，描述重叠区域的图像均匀程度。

在本发明实施例中，通常可以将纹理图像子集所包括的图像中，图像的高频细节区域可以理解为是该图像中亮度或灰度变化激烈的区域，例如图像中的边缘或轮廓；图像的低频细节区域可以理解为是图像中亮度或灰度变化平缓的区域，例如图像中的大片色块区域。

由于人眼对图像中的高频细节区域更为敏感，如果在高频细节区域例如在图像中的边缘或轮廓区域产生拼缝，图像中相邻的纹理多边形面片容易出现不连续的纹理，造成拼缝的错位问题。

因此，在根据选择的第一视角进行图像分割时，应考虑分割后不同视角之间的拼缝选择问题，通过生成合理的分割路径来尽量避开图像的高频细节区域，以在图像内容均匀的位置来产生拼缝，通过这种方式规避直接相机投影产生的错位问题。

在本发明实施例中，相邻的纹理多边形面片，可以理解为是指定图像区域中包含公共边缘的纹理多边形。在下面实施例的描述中，相邻的纹理多边形面片也可以称为是共边纹理多边形面片。

当根据拍摄视角对原始纹理图像进行分割时，可以将纹理图像子集所包括的图像之间的的重叠区域作为拼接区域，该拼接区域中共边纹理多边形面片之间的色彩差异越小，认为该拍摄视角获取的纹理图像具有较好的均匀度。

在本发明实施例中，可以通过颜色距离来衡量共边纹理多边形面片之间的色彩差异。颜色距离是指两个颜色之间的差距，通常颜色距离越大，颜色差异越大。

在一个实施例中，可以构建纹理图像子集所包括的图像之间的拼接区域的均匀度函数，该均匀度函数可以用拼接区域中的共边纹理多边形面片之间的色彩差异来表示，即拼接区域中的共边纹理多边形面片的其中一个多边形面片的采样点和其中另一个多边形面片的采样点之间的颜色差异。

在一个实施例中，可以通过距离度量算法来描述两个采样点之间的颜色量值的差异性。

例如，在一个实施例中，采样点l_i和采样点l_j之间的颜色差异可以通过该两个采样点在色彩空间例如RGB空间的颜色欧式距离来表示；在另一个实施例中，采样点l_i和采样点l_j之间的颜色差异也可以通过该两个采样点的颜色特征值的哈希(Hash)距离来表示。

作为一个示例，纹理图像子集所包括的图像之间的拼接区域中，共边纹理多边形面片之间的图像均匀度函数可以表示为下面的表达式(3)：

其中，l_i表示共边纹理多边形面片的其中一个多边形面片的采样点，l_j表示共边纹理多边形面片的其中另一个多边形面片的采样点，D(l_i,i_j)为图像均匀度函数，C_li表示采样点l_i的颜色值，C_lj表示采样点l_j的颜色值，d(C_li-C_lj)通过采样点l_i和采样点l_j在色彩空间的颜色欧式距离，表征采样点l_i与采样点l_j之间的颜色差异。

在上述表达式(3)中，l_i＝l_j表示采样点l_i和采样点l_j为同一个采样点，即拼接区域中的共边纹理多边形面片的公共点。

在一个实施例中，以计算采样点l_i和采样点l_j之间颜色欧式距离为例，采样点l_i和采样点l_j在RGB空间的颜色欧式距离可以表示为下面的表达式(4)：

其中，表示采样点l_i的RGB空间的R通道的取值与表示采样点l_j的RGB空间的R通道的取值之间的差值；

表示采样点l_i的RGB空间的G通道的取值与采样点l_j的RGB空间的G通道的取值之间的差值；

表示采样点l_i的RGB空间的B通道的取值与采样点l_j在RGB空间的B通道的取值之间的差值。

通过上述表达式(4)计算得到拼接区域中的两个共边多边形面片之间纹理颜色值的差异。作为一个示例，在色彩RGB空间中，若两个采样点之间的欧式距离小于25，可以认为该两个采样点属于同一种颜色，颜色差异较小，此时可以认为选择的拼缝位置具有较好的均匀度。

步骤S13-03，基于图像清晰度函数和图像均匀度函数，对纹理图像子集所包括的图像之间的拼接区域进行纹理拼接，得到与第一视角对应的拼接纹理图像。

在一个实施例中，可以利用图像清晰度函数和图像均匀度函数，构建对纹理图像子集所包括的图像之间进行纹理拼接的目标函数，该目标函数可以通过纹理图像子集所包括的图像之间两个采样点的图像清晰度变化的差异值以及色彩变化的差异值的最小值，对纹理图像子集所包括的图像之间的拼接区域进行选择。

在一个实施例中，构建的对纹理图像子集所包括的图像之间的拼接区域进行选择的目标函数，可以通过下述表达式(5)表示：

E＝min(E_data+E_smooth) (5)

在上述表达式(5)中，E_data表示纹理图像子集所包括的图像的清晰度函数，E_smooth表示纹理图像子集所包括的图像的均匀度函数，min(E_data+E_smooth)表示纹理图像子集所包括的图像之间两个采样点的图像清晰度变化的差异值和色彩变化的差异值的最小值。

在该实施例中，利用E_data和E_smooth对纹理图像子集构建进行纹理拼接的目标函数，对该目标函数求解，获得清晰度和均匀度较高的纹理图像子集所包括的拼接图像。

继续参考图3a，通过构建对纹理图像子集所包括的图像进行融合的神经网络，并根据拍摄视角和拼接区域的面积对该神经网络进行训练，得到清晰度和完整度较高的纹理图像。

图3b示出了本发明实施例中的图像处理方法得到的纹理图像的效果对比示意图。如图3b所示，本发明实施例的图像处理方法，可以使拼缝的位置比较有效地绕过高频细节区域，而选择在低频度的纹理区域对纹理图像进行拼接，从而避免拼缝错位的产生，从而获得较为精确的纹理贴图。

在本发明实施例中，可以选择用于三维模型的拍摄视角，并基于选择的拍摄视角对纹理图像进行分割和纹理融合，通过上述实施例的纹理融合方法得到的拼接纹理图像，可以使拼缝的位置比较有效地绕过高频细节区域，而选择在低频度的纹理区域对纹理图像进行拼接，从而避免拼缝错位的产生，以获得高质量的纹理贴图，提高了三维纹理贴图的抗噪能力以及三维纹理贴图的精度，同时可以大大节约人力成本。

在本发明实施例中，在得到与第一视角对应的拼接纹理图像之后，还可以利用三维模型和纹理图像的映射关系，将与第一视角对应的拼接纹理图像映射到三维模型。

通过三维模型和纹理图像的映射关系，将拼接纹理图像映射到三维模型的对应位置，实现对该三维模型的三维纹理贴图。

在一个实施例中，为了获得三维模型完整的纹理模型，在将拼接纹理图像映射到三维模型的过程中，迭代计算多次第一视角，得到多个拼接纹理图像，直到得到三维模型完整的纹理模型。

在实际应用场景中，由于设备本身的限制，导致使用三维扫描设备获取的物体对象的纹理图像存在纹理误差。纹理误差的主要来源可以包括：图像采集设备的标定过程导致的相机外参数不准确、相机外参数造成的点云配准误差、以及点云深度计算的不准确。

作为一个示例，点云配准过程是指计算两个点云之间的旋转平移矩阵(相机外参数)，以将源点云(source cloud)通过旋转平移矩阵的刚性变换或欧式变换，变换到与目标点云(target cloud)相同的坐标系下。

作为一个示例，图像深度的计算过程是指计算物体对象的纹理图像中像素点的深度值的过程，纹理图像中像素点的深度值可以用于度量图像的色彩分辨率，即确定彩色图像中每个像素可能有的颜色数，或者灰度图像中每个像素可能有的灰度级数，因此图像深度决定了彩色图像中可能出现的最多颜色数和灰度图像中的最大灰度等级，体现图像的色彩清晰程度。

因此，纹理图像的拼接过程还需要考虑如何消除上述纹理误差来源造成的纹理问题，也就是说，需要对相机外参数、点云配准过程以及点云深度计算过程进行误差修正。

下面通过具体实施例描述本发明实施例提供的对上述纹理误差来源导致的第一视角对应的拼接纹理图像的纹理误差进行修正的方法。

在本发明实施例中，可以利用构建的拼接纹理图像的纹理误差修正模型，对拼接纹理图像的纹理误差进行修正。

在一个实施例中，利用该纹理误差修正模型对拼接纹理图像的纹理误差进行修正，具体可以包括以下步骤：

步骤S21，利用图像采集设备的外参数和图像采集设备的内参数，对物体对象在真实环境中的三维点坐标进行坐标转换，得到该物体对象的拼接纹理图像中对应的纹理像素点的纹理坐标。

在该步骤中，对物体对象在真实环境中的三维点坐标进行坐标转换时，可以利用图像采集设备的外参数矩阵，将三维建模点的三维坐标转化为对应的纹理图像点的图像坐标，以及利用图像采集设备的内参数，将纹理图像点的图像坐标转化为对应的纹理像素点的纹理坐标。

通过上述实施例可知，图像采集设备的外参数作为4×4矩阵是非线性的，为了修正标定过程导致的图像采集设备的外参数不准确带来的纹理图像误差，可以使用图像采集设备的外参数中的平移分量和旋转分量表示为六元组描述向量，对该六元组描述向量进行线性求解，得到修正后的较为准确的图像采集设备的外参数。

在一个实施例中将图像采集设备的外参数中的平移分量和旋转分量表示为六元向量组(u₁，u₂，u₃，u₄，u₅，u₆)。

作为一个示例，利用六元向量组表示图像采集设备的外参数矩阵，可以用下面的表达式(6)来表示：

其中，ε表示相机外参数的六元组描述向量，u₁，u₂，u₃为相机三维空间中的位置，即相机外参数中的平移分量，u₄，u₅，u₆分别为世界坐标系下相机沿x，y，z方向上的旋转分量。

在一个实施例中，可以引入一条封闭曲线来对图像采集设备的外参数矩阵的六元向量组进行线性求解。例如，利用物体对象的三维模型中的三维特征点，以及用于物体对象的三维模型的第一视角对应的纹理图像中的二维图像点来构建投影一条投影曲线，对该投影曲线进行线性拟合，对该投影曲线进行求解，得到外参数矩阵的六元组向量，进而根据外参数矩阵的六元组向量确定相机的外参数矩阵。

在一个实施例中，上述步骤S21中对三维点坐标进行坐标转换的过程可以使用坐标转换函数来表示，该坐标转换子函数用于利用图像采集设备的外参数，将三维建模点的三维坐标转化为对应的纹理图像点的图像坐标，以及利用图像采集设备的内参数，将纹理图像点的图像坐标转化为对应的纹理像素点的纹理坐标。

步骤S22，对转换得到的拼接纹理图像中对应的纹理像素点进行纹理坐标修正。

在一个实施例中，可以基于标准色板中的纹理坐标，对纹理像素点的纹理坐标进行坐标修正。纹理像素可以用二维数组来表示，该二维数组中的元素为颜色值，每个纹理像素在纹理中都具有唯一的地址。由于采集的图像颜色受到采集环境的影响，同一个物体对象在不同的采集环境下得到的图片颜色是不一样的，因此需要对采集到的图像进行颜色校正。

在一个实施例中，对纹理像素点的纹理坐标进行坐标修正过程可以用纹理坐标修正函数来表示，纹理坐标的修正函数可以通过具有曲率连续特性的纹理坐标修正曲线来表示。

在一个实施例中，该具有曲率连续特性的纹理坐标修正曲线为贝塞尔曲线(Bezier Curve)，简称B样条曲线。

作为一个示例，B样条曲线可以理解为是一条参数曲线，通过B样条曲线拟合的坐标修正函数具有更好的平滑程度，在对纹理坐标的修正函数进行拟合的过程中，即使个别三维建模点的纹理坐标的计算值和该三维建模点的纹理坐标的实际值之间的误差较大，对拟合曲线的影响也只是局部的并不会对整体产生影响。

也就是说，使用B样条曲线对坐标修正函数的的拟合过程具有良好的统计特性和滤波作用，使修正后的三维建模点的纹理坐标位置的像素值，与相邻视角对应的纹理图像中对应点的纹理坐标位置的像素值更加符合一致性的要求，该相邻视角为可见三维建模点P的拍摄视角，且该相邻视角中包括选择的第一视角。

步骤S23，计算三维建模点在用于三维建模点的每个可见视角相关联的纹理图像子集中对应的纹理像素值的平均值，将计算得到的平均值作为三维建模点的可见视角对应的纹理像素值的平均值。

在一个实施例中，可以通过颜色参考子函数来计算三维建模点的可见视角对应的纹理像素值的平均值。

在该实施例中，计算三维建模点的可见视角对应的纹理像素值的平均值，是线性可解的。

步骤S24，利用三维建模点的可见视角对应的纹理像素值的平均值，对三维建模点在第一视角相关联的纹理图像子集中的修正的像素值进行一致性分析，以对拼接纹理图像的像素值进行误差修正。

在一个实施例中，可以将计算得到的该平均值作为该三维建模点的颜色参考标准，三维建模点在第一视角相关联的纹理图像子集中的修正的像素值的一致性，可以通过该三维建模点的颜色参考标准与该三维建模点在第一视角相关联的纹理图像子集中修正的像素值的残差值来表示。

在该实施例中，残差值用于衡量计算得到的第i个可见三维建模点P的视角相关联的纹理图像子集中对应的纹理图像点p′纹理像素值的误差。

在一个实施例中，对三维建模点在第一视角相关联的纹理图像子集中的修正的像素值的一致性进行分析，利用构建的拼接纹理图像的纹理误差修正模型，计算该残差值的最小值，以对纹理像素点的像素值进行修正。

在一个实施例中，拼接纹理图像的纹理误差修正模型可以表示为下述表达式(7)：

其中，e_i,p可以表示为下述表达式(8)：

e_i,p＝C_p-G(F(u(T×p))) (8)

在上述表达式(8)中，p为物体对象的三维模型中的一个三维建模点，T×p表示利用利用图像采集设备的外参数T，将三维建模点的三维坐标转化为对应的纹理图像点p′的图像坐标；u(T×p)表示利用图像采集设备的内参数u，将该对应的纹理图像点p′的图像坐标转化为对应的纹理图像点的纹理坐标；F(u(T×p))表示利用坐标修正函数F对纹理图像点的纹理坐标进行修正；G(F(u(T×p)))表示对第i个可见该三维建模点P的视角相关的纹理图像子集中对应的纹理图像点p′的修正的纹理像素值；C_p表示所有可见三维建模点p的视角相关联的纹理图像子集中对应的纹理图像点p′的修正的纹理像素值的平均值，表示第i个可见该三维建模点P的视角相关的纹理图像子集中对应的纹理图像点p′的纹理像素值的残差值。

在上述表达式(7)描述的目标函数中，M_i可以表示选择的第i个视角下拍摄的物体对象的三维建模点，K表示所有可见三维建模点P的拍摄视角；为目标函数的正则项，防止目标函数在求解过程中的过拟合，保证每个变量和参数的取值在合理的范围内。

在一个实施例中，由于外参数矩阵T的非线性，因此目标函数的表达式(7)是一个非线性的求解过程，为了使目标函数的表达式(6)线性可解，可以通过逐一求解的方法，对于目标函数中的变量C、T和F，在每次迭代处理过程中只求解其中一个变量。

在一个实施例中，由于外参数矩阵T的非线性，也可以通过非线性优化算法本发明实施例中表达式(6)所示出的纹理图像的误差修正函数进行求解。非线性优化算法可以理解为是一种函数逼近法，可以利用导数运算确定目标函数的求解方向。

作为一个示例，该非线性优化算法可以是高斯牛顿(Gauss Newton)算法，或者是列文伯格-马夸尔特(Levenberg-Marquardt)算法，简称LM算法。

在本发明实施例中，使用消费级三维扫描设备扫描得到的物体对象的三维结构都会存在一定的错误例如相机标定错误，这些错误在纹理贴图时会导致纹理的错误、模糊或者人工伪影。本专利提出了一种对纹理误差进行修正的方法来消除纹理误差的问题，使得即使对于消费级设备产出的出错三维结构，依然可以保证同一三维建模点在相邻视角对应的纹理图坐标位置的像素值的一致性，从而获得准确的纹理图像，获得精确的纹理贴图效果。

图4示出了根据本发明另一实施例的图像处理方法的流程图。如图4所示，本发明实施例中的图像处理方法400包括以下步骤：

步骤S410，选择用于物体对象的三维模型的第一视角，确定物体对象的原始纹理图像中与第一视角相关联的纹理图像子集。

在一个实施例中，步骤S410具体可以包括：

步骤S411，获取三维模型的多边形面片作为待处理面片，确定待处理面片的法向矢量。

步骤S412，当图像采集设备的入射线与待处理面片的法向矢量之间的夹角满足夹角阈值条件时，将满足夹角阈值条件的夹角作为三维模型的第一视角。

步骤S413，将原始纹理图像中，与图像采集设备的第一视角对应的图像，作为与第一视角相关联的纹理图像子集。

步骤S420，构建纹理图像子集的图像清晰度函数，图像清晰度函数用于根据纹理图像子集图像清晰度对第一视角进行选择。

步骤S430，构建纹理图像子集的图像均匀度函数，图像均匀度函数用于描述根据纹理图像子集所包括的图像之间的重叠区域的颜色差异，描述重叠区域的图像均匀程度。

在该实施例中，图像清晰限制条件为：图像采集设备的入射线与三维模型的多边形面片的法向矢量之间的夹角小于夹角阈值。

在一个实施例中，步骤S430中，

图像之间的颜色差异，是通过图像的共边纹理多边形面片的其中一个多边形面片的采样点，与共边纹理多边形面片的其中另一个多边形面片的采样点在色彩空间的颜色欧式距离表示的。

在一个实施例中，可以通过图像均匀度函数计算图像之间的颜色差异，具体的，通过图像均匀度函数计算图像之间的颜色差异可以包括：

获取纹理图像子集的多边形面片作为纹理多边形面片，利用纹理多边形面片中共边纹理多边形面片之间的纹理差异构建纹理图像子集的图像均匀度函数，其中，共边纹理多边形面片之间具有公共边缘。

作为一个示例，图像均匀度函数为：

并且其中，

l_i表示共边纹理多边形面片的其中一个多边形面片的采样点，l_j表示共边纹理多边形面片的其中另一个多边形面片的采样点，D(l_i,i_j)为图像均匀度函数，C_li表示采样点l_i的颜色值，C_lj表示采样点l_j的颜色值，d(C_li-C_lj)用于通过采样点l_i和采样点l_j在色彩空间的距离，表征采样点l_i与采样点l_j之间的颜色差异。

步骤S440，对颜色差异最小的重叠区域进行纹理拼接，得到与第一视角对应的拼接纹理图像。

根据本发明实施例的图像处理方法，可以生成合理的分割路径来尽量避开图像的高频细节区域，以在图像内容均匀的位置来产生拼缝，通过这种方式规避直接相机投影产生的错位问题，提高纹理图像的抗噪能力，得到精度较高的纹理图像。

在一个实施例中，图像处理方法400还可以包括：

步骤S450，根据三维模型中三维建模点的可见视角相关联的纹理像素值的平均值，与三维建模点在第一视角相关联的拼接纹理图像中对应的纹理像素点的纹理像素值之间的误差值，对第一视角对应的拼接纹理图像进行误差修正，其中，

相邻视角为三维建模点的可见视角，且相邻视角中包括第一视角。

在一个实施例中，可以通过构建的纹理误差修正函数，对第一视角对应的拼接纹理图像进行纹理像素值的修正。

在一个实施例中，对第一视角对应的拼接纹理图像进行误差修正的步骤可以包括：

步骤S451，对图像采集设备的外参数进行修正，利用修正的图像采集设备的外参数和图像采集设备的内参数，将三维模型中的三维建模点的三维坐标转化为对应的纹理像素点的纹理坐标。

步骤S452，对转换得到的三维建模点对应的纹理像素点的纹理坐标进行坐标修正，得到三维建模点对应的经坐标修正的纹理像素值。

步骤S453，计算三维建模点在用于三维建模点的每个可见视角相关联的纹理图像子集中对应的纹理像素值的平均值，将计算得到的平均值作为三维建模点的可见视角对应的纹理像素值的平均值。

步骤S454，利用三维建模点的可见视角对应的纹理像素值的平均值，对三维建模点在第一视角相关联的纹理图像子集中的经坐标修正的纹理像素值进行修正，得到与第一视角相关联的修正的拼接纹理图像。

根据本发明实施例的图像处理方法，对于消费级设备产出的出错三维结构，依然可以保证同一三维建模点在相邻视角对应的纹理图坐标位置的像素值的一致性，从而获得准确的纹理图像，获得精确的纹理贴图效果。

下面结合附图，详细介绍根据本发明实施例的图像处理装置。

图5示出了根据本发明一实施例提供的图像处理装置的结构示意图。如图5所示，图像处理装置500包括：

视角选择模块510，用于选择用于物体对象的三维模型的第一视角，确定物体对象的原始纹理图像中与第一视角相关联的纹理图像子集。

在一个实施例中，视角选择模块510具体可以包括：

法向量计算单元，用于获取三维模型的多边形面片作为待处理面片，确定待处理面片的法向矢量；

第一视角确定单元，用于当图像采集设备的入射线与待处理面片的法向矢量之间的夹角满足阈值条件时，将满足阈值条件的夹角作为三维模型的第一视角；

纹理图像获取单元，用于将原始纹理图像中，与图像采集设备的第一视角对应的图像，作为与第一视角相关联的纹理图像子集。

清晰图像选择模块520，用于针对第一视角，选择纹理图像子集中的满足图像清晰限制条件的图像。

在一个实施例中，图像清晰限制条件包括：图像采集设备的入射线与三维模型的多边形面片的法向矢量之间的夹角小于夹角阈值。

均匀度图像选择模块530，用于确定满足图像清晰限制条件的图像之间的颜色差异最小的重叠区域。

在一个实施例中，图像之间的颜色差异，是通过图像的共边纹理多边形面片的其中一个多边形面片的采样点，与共边纹理多边形面片的其中另一个多边形面片的采样点在色彩空间的颜色欧式距离表示的。

在一个实施例中，均匀图像选择模块530具体用于：

获取纹理图像子集的多边形面片作为纹理多边形面片，利用纹理多边形面片中共边纹理多边形面片之间的纹理差异构建纹理图像子集的图像均匀度函数，其中，共边纹理多边形面片之间具有公共边缘。

作为一个示例，图像均匀度函数为：

并且其中，

l_i表示共边纹理多边形面片的其中一个多边形面片的采样点，l_j表示共边纹理多边形面片的其中另一个多边形面片的采样点，D(l_i,i_j)为图像均匀度函数，C_li表示采样点l_i的颜色值，C_lj表示采样点l_j的颜色值，d(C_li-C_lj)用于通过采样点l_i和采样点l_j在色彩空间的距离，表征采样点l_i与采样点l_j之间的颜色差异。

纹理拼接模块540，用于对颜色差异最小的重叠区域进行纹理拼接，得到与第一视角对应的拼接纹理图像。

根据本发明实施例的图像处理装置，可以生成合理的分割路径来尽量避开图像的高频细节区域，以在图像内容均匀的位置来产生拼缝，通过这种方式规避直接相机投影产生的错位问题，提高纹理图像的抗噪能力，得到精度较高的纹理图像。

在一个实施例中，图像处理装置还可以包括：

纹理误差修正模块，用于根据三维模型中三维建模点的可见视角相关联的纹理像素值的平均值，与三维建模点在第一视角相关联的拼接纹理图像中对应的纹理像素点的纹理像素值之间的误差值，对第一视角对应的拼接纹理图像进行误差修正，其中，

相邻视角为三维建模点的可见视角，且相邻视角中包括第一视角。

在一个实施例中，纹理误差修正模块包括：

坐标转换修正单元，用于对图像采集设备的外参数进行修正，利用修正的图像采集设备的外参数和图像采集设备的内参数，将三维模型中的三维建模点的三维坐标转化为对应的纹理像素点的纹理坐标；

纹理坐标修正单元，用于对转换得到的三维建模点对应的纹理像素点的纹理坐标进行坐标修正，得到三维建模点对应的经坐标修正的纹理像素值；

像素值均值计算单元，用于计算三维建模点在用于三维建模点的每个可见视角相关联的纹理图像子集中对应的纹理像素值的平均值，将计算得到的平均值作为三维建模点的可见视角对应的纹理像素值的平均值；

纹理修正单元，用于利用三维建模点的可见视角对应的纹理像素值的平均值，对三维建模点在第一视角相关联的纹理图像子集中的经坐标修正的纹理像素值进行修正，得到与第一视角相关联的修正的拼接纹理图像。

在该实施例中，纹理误差修正模块，可以用于利用三维建模点对应的纹理像素值的平均值，以及三维建模点在用于三维建模点的每个可见视角相关联的纹理图像子集中的坐标修正后的纹理坐标之间的差异，分析该三维建模点在可见视中纹理素值一致性，以对拼接纹理图像进行误差修正。

根据本发明实施例的图像处理装置，可以对纹理贴图时导致纹理的错误、模糊或者人工伪影进行修正，即使对于消费级设备产出的出错三维结构，依然可以保证同一三维建模点在相邻视角对应的纹理图坐标位置的像素值的一致性，从而获得准确的纹理图像，获得精确的纹理贴图效果。

在一个实施例中，在对拼接纹理图像进行误差修正的过程中，每次迭代处理可以只对坐标转换修正单元中的图像采集设备的外参数修正、纹理修正单元中的纹理坐标修正、以及纹理修正单元中的纹理像素值进行修正中的一项进行修正。

在一个实施例中，图像处理装置还用于：

在将拼接纹理图像映射到三维模型的过程中，迭代计算多次第一视角，得到多个拼接纹理图像，直到得到三维模型完整的纹理模型。

在该实施例中，将经过纹理误差修正的纹理贴图映射到三维模型，得到三维模型完整的纹理模型。

根据本发明实施例的图像处理装置的其他细节与以上结合图1至图4描述的根据本发明实施例的图像处理方法类似，在此不再赘述。

本发明实施例还提供一种图像扫描设备，包括投影设备、图像采集设备和处理器；投影设备，可以用于向物体对象投射结构光编码图；图像采集设备，可以用于在该结构光编码图投射下，获取物体对象的原始纹理图像；处理器，可以用于执行上述实施例中结合图1至图5描述的图像处理方法。

本发明实施例的图像扫描设备，可以提高3D纹理贴图的抗噪能力，生成纹理条纹平整、流畅的三维纹理。

图6是示出能够实现根据本发明实施例的图像处理方法和装置的计算设备的示例性硬件架构的结构图。

如图6所示，计算设备600包括输入设备601、输入接口602、中央处理器603、存储器604、输出接口605、以及输出设备606。其中，输入接口602、中央处理器603、存储器604、以及输出接口605通过总线610相互连接，输入设备601和输出设备606分别通过输入接口602和输出接口605与总线610连接，进而与计算设备600的其他组件连接。

具体地，输入设备601接收来自外部(例如，图像采集设备)的输入信息，并通过输入接口602将输入信息传送到中央处理器603；中央处理器603基于存储器604中存储的计算机可执行指令对输入信息进行处理以生成输出信息，将输出信息临时或者永久地存储在存储器604中，然后通过输出接口605将输出信息传送到输出设备606；输出设备606将输出信息输出到计算设备600的外部供用户使用。

也就是说，图6所示的计算设备也可以被实现为图像处理***，该图像处理***包括：存储有计算机可执行指令的存储器；以及处理器，该处理器在执行计算机可执行指令时可以实现结合图1至图5描述的图像处理方法和装置。这里，处理器可以与图像采集设备通信，从而基于来自图像处理的相关信息执行计算机可执行指令，从而实现结合图1至图5描述的图像处理方法和装置。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品或计算机可读存储介质的形式实现。所述计算机程序产品或计算机可读存储介质包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。

以上所述，仅为本发明的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的***、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本发明的保护限制条件并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术限制条件内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护限制条件之内。

Claims (15)

1.一种图像处理方法，包括：

选择用于物体对象的三维模型的第一视角，确定所述物体对象的原始纹理图像中所述第一视角相关联的纹理图像子集；

针对所述第一视角，选择所述纹理图像子集中的满足图像清晰限制条件的图像；

确定所述满足图像清晰限制条件的图像之间的颜色差异最小的重叠区域；

对所述颜色差异最小的重叠区域进行纹理拼接，得到与所述第一视角对应的拼接纹理图像。

2.根据权利要求1所述的图像处理方法，其中，所述图像清晰限制条件，包括：

所述图像采集设备的入射线与所述三维模型的多边形面片的法向矢量之间的夹角小于夹角阈值。

3.根据权利要求1所述的图像处理方法，其中，

所述图像之间的颜色差异，是通过所述图像的共边纹理多边形面片的其中一个多边形面片的采样点，与所述共边纹理多边形面片的其中另一个多边形面片的采样点在色彩空间的颜色欧式距离表示的。

4.根据权利要求1所述的图像处理方法，还包括：

根据所述三维模型中三维建模点的可见视角相关联的纹理像素值的平均值，与所述三维建模点在所述第一视角相关联的拼接纹理图像中对应的纹理像素点的纹理像素值之间的误差值，对所述第一视角对应的拼接纹理图像进行误差修正，其中，

所述相邻视角为所述三维建模点的可见视角，且所述相邻视角中包括所述第一视角。

5.根据权利要求4所述的图像处理方法，其中，所述对所述第一视角对应的拼接纹理图像进行误差修正，包括：

对图像采集设备的外参数进行修正，利用修正的图像采集设备的外参数和图像采集设备的内参数，将所述三维模型中的三维建模点的三维坐标转化为对应的纹理像素点的纹理坐标；

对转换得到的三维建模点对应的纹理像素点的纹理坐标进行坐标修正，得到所述三维建模点对应的经坐标修正的纹理像素值；

计算所述三维建模点在用于所述三维建模点的每个可见视角相关联的纹理图像子集中对应的纹理像素值的平均值，将计算得到的所述平均值作为所述三维建模点的可见视角对应的纹理像素值的平均值；

利用所述三维建模点的可见视角对应的纹理像素值的平均值，对所述三维建模点在所述第一视角相关联的纹理图像子集中的经坐标修正的纹理像素值进行修正，得到与所述第一视角相关联的修正的拼接纹理图像。

6.根据权利要求1所述的图像处理方法，还包括：

在将拼接纹理图像映射到所述三维模型的过程中，迭代计算多次第一视角，得到多个拼接纹理图像，直到得到所述三维模型完整的纹理模型。

7.一种图像处理装置，包括：

视角选择模块，用于选择用于物体对象的三维模型的第一视角，确定所述物体对象的原始纹理图像中与所述第一视角相关联的纹理图像子集；

清晰图像选择模块，用于针对所述第一视角，选择所述纹理图像子集中的满足图像清晰限制条件的图像；

均匀图像选择模块，用于确定所述满足图像清晰限制条件的图像之间的颜色差异最小的重叠区域；

纹理图像拼接模块，用于对所述颜色差异最小的重叠区域进行纹理拼接，得到与所述第一视角对应的拼接纹理图像。

8.根据权利要求7所述的图像处理装置，其中，所述图像清晰限制条件包括：

所述图像采集设备的入射线与所述三维模型的多边形面片的法向矢量之间的夹角小于夹角阈值。

9.根据权利要求7所述的图像处理装置，其中，

所述图像之间的颜色差异，是通过所述图像的共边纹理多边形面片的其中一个多边形面片的采样点，与所述共边纹理多边形面片的其中另一个多边形面片的采样点在色彩空间的颜色欧式距离表示的。

10.根据要求7所述的图像处理装置，还包括：

纹理误差修正模块，用于根据所述三维模型中三维建模点的可见视角相关联的纹理像素值的平均值，与所述三维建模点在所述第一视角相关联的拼接纹理图像中对应的纹理像素点的纹理像素值之间的误差值，对所述第一视角对应的拼接纹理图像进行误差修正，其中，

所述相邻视角为所述三维建模点的可见视角，且所述相邻视角中包括所述第一视角。

11.根据要求10所述的图像处理装置，其中，所述纹理误差修正模块包括：

坐标转换修正单元，用于对图像采集设备的外参数进行修正，利用修正的图像采集设备的外参数和图像采集设备的内参数，将所述三维模型中的三维建模点的三维坐标转化为对应的纹理像素点的纹理坐标；

纹理坐标修正单元，用于对转换得到的三维建模点对应的纹理像素点的纹理坐标进行坐标修正，得到所述三维建模点对应的经坐标修正的纹理像素值；

像素值均值计算单元，用于计算所述三维建模点在用于所述三维建模点的每个可见视角相关联的纹理图像子集中对应的纹理像素值的平均值，将计算得到的所述平均值作为所述三维建模点的可见视角对应的纹理像素值的平均值；

纹理修正单元，用于利用所述三维建模点的可见视角对应的纹理像素值的平均值，对所述三维建模点在所述第一视角相关联的纹理图像子集中的经坐标修正的纹理像素值进行修正，得到与所述第一视角相关联的修正的拼接纹理图像。

12.根据权利要求7所述的图像处理装置，所述图像处理装置还用于：

在将拼接纹理图像映射到所述三维模型的过程中，迭代计算多次第一视角，得到多个拼接纹理图像，直到得到所述三维模型完整的纹理模型。

13.一种图像扫描设备，包括投影设备、图像采集设备和处理器；

所述投影设备，用于向物体对象投射结构光编码图；

所述图像采集设备，用于在所述结构光编码图投射下，获取物体对象的原始纹理图像；

所述处理器，用于执行权利要求1至6中任一项所述的图像处理方法。

14.一种图像处理***，其特征在于，包括存储器和处理器；

所述存储器用于储存有可执行程序代码；

所述处理器用于读取所述存储器中存储的可执行程序代码以执行权利要求1至6任一项所述的图像处理方法。

15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括指令，当所述指令在计算机上运行时，使得计算机执行如权利要求1-6任意一项所述的图像处理方法。