CN105141970A - 一种基于三维模型几何信息的纹理图像压缩方法 - Google Patents

Abstract

针对传统的基于机器视觉方法产品缺陷检测适用对象的局限性以及压缩过程中如何求取纹理图像上人眼感兴趣区域的问题进行深入研究，本发明提出了一种基于三维模型表面信息的纹理图像压缩方法，利用模型网格数据求取纹理图像上的人眼感兴趣区域，根据纹理的视觉表现形式，提取了代表三维模型多分辨率重网格化后表面细节信息的三维特征点及其在纹理空间上的映射点作为纹理特征点，根据图像空间的连续性，利用K-means聚类算法对图像中的特征点进行了类聚合，取得了纹理图像的感兴趣区域并提高了感兴趣区域和背景的区分精度。通过搭建基于ROI的EZW编解码实验***对本发明的方法进行验证，取得比较好的实验效果。

Description

一种基于三维模型几何信息的纹理图像压缩方法

技术领域

本发明涉及图像处理领域，尤其涉及一种的纹理图像压缩方法。

背景技术

随着计算机图形学理论基础以及相关软硬件技术不断成熟，三维建模技术逐渐地融入了互联网应用，在web3D电子商务中取得了重要的应用，使得用户在网络环境中也可以得到类似现实世界的体验。然而，高精度三维扫描及重建技术在满足用户对虚拟场景及物体模型真实感的需要的同时，也造成了模型数据和纹理数据量十分庞大。这些数据不仅占据了大量的存储空间，还降低了模型传输和加载的速度，严重影响网络用户的体验，也制约了Web3D的发展。研究人员通过几何信息和纹理信息压缩以减少数据量，经过多年的发展，几何信息压缩方面已经取得了较多的研究成果，而三维模型纹理图像的压缩仍是图形学领域关注的热点问题之一。根据压缩研究方向的发展阶段，纹理压缩算法可以分为两类：1.基于图像特性的纹理图像压缩算法；2.基于映射特性的纹理压缩算法。

综上所述，基于图像特性的纹理图像压缩算法关注点在于图像的内容、数据类型、频域特性等各种二维特征。并没用利用到纹理数据由三维空间到二维空间的生成过程或是由二维空间映射到三维空间的贴图过程中的各种特性。基于映射特性的纹理压缩算法利用纹理像素到模型表面的映射过程中的特性，对纹理空间内的数据完成一些特殊的操作。

对三维图形数据进行压缩编码的研究通常分为对网格数据的压缩和纹理图像的压缩这两个相对独立的部分，很少有人关注利用二者的关联特性对这两种数据进行关联的压缩编码和压缩。本发明使用网格几何信息来研究降低纹理局部区域分辨率的代价，利用网格的几何信息确定纹理图像的重要区域，实现纹理图像感兴趣区域数据的优先压缩和传输。

发明内容

为了解决现有技术中的问题，针对传统的基于机器视觉方法产品缺陷检测适用对象的局限性以及压缩过程中如何求取纹理图像上人眼感兴趣区域的问题进行深入研究，本发明提出了一种基于三维模型几何信息的纹理图形压缩方法，该方法取得了纹理图像的感兴趣区域并提高了感兴趣区域和背景的区分精度，能够利用网格的几何信息确定纹理图像的重要区域，实现纹理图像感兴趣区域数据的优先压缩和传输。

本发明通过以下技术方案实现：

一种基于三维模型几何信息的纹理图形压缩方法，其特征在于：所述方法首先对原始图形进行预处理，确定感兴趣的区域ROI，以生成ROI区域模块；然后利用ROI区域模版对预处理后的图形作小波变换，对ROI对应的小波变换系数进行提升或降低背景系数，接下来对感兴趣形状和位置信息编码传输；其中，确定感兴趣的区域ROI，以生成ROI区域模块具体为：利用模型网格数据求取纹理图像上的人眼感兴趣区域，根据纹理的视觉表现形式，提取了代表三维模型多分辨率重网格化后表面细节信息的三维特征点及其在纹理空间上的映射点作为纹理特征点；根据图像空间的连续性，利用K-means聚类算法对图像中的特征点进行了类聚合，取得了纹理图像的感兴趣区域并提高了感兴趣区域和背景的区分精度。

作为本发明的进一步改进，用分辨率方法处理三维图形，将模型分为粗糙的基网格和加入不同程度细节信息的多个层次，为网格建立四叉树结构，方便提取三角网格在不同尺度下的几何信息；所述模型网格数据采用IgorGuskov的基于多分支的半正则重网格化处理得到。

作为本发明的进一步改进，在压缩时去除贴图前纹理图像中的背景像素。

作为本发明的进一步改进，所述K-means聚类算法对图像中的特征点进行了类聚合具体为：首先将纹理的特征点集合看作未聚类的初始点集，随机选取个种子点作为待聚合的类的中心点；然后计算每个特征点到聚类中心的距离，并聚类到离该点最近的聚类中去；随后计算每个聚类中所有点的坐标平均值，并将这个平均值作为新的聚类中心；最后重复计算每个点到聚类中心的距离，并归类到离该点最近的类中去，直到算法的结果收敛，记录完整包围一个类所有特征点的矩形区域。

作为本发明的进一步改进，所述对ROI对应的小波变换系数进行提升或降低背景系数具体为：提取的纹理ROI区域进行六层金字塔迭代运算后生成二值化的小波系数模板，需要保留的小波系数包括高频带中感兴趣区域的小波系数以及低频带的全部系数；采用最大位移法提升或降低处理的小波系数。

附图说明

图1是本发明的基于三维模型几何信息的纹理图形压缩方法流程图；

图2是三角面的1-4细分结构示意图；

图3是边和顶点的四叉树结构示意图；

图4是顶点预测位置的差值向量示意图；

图5是纹理图像的特征点提取结果示意图，其中，图5(a)是Buddha的背部，图5(b)是Buddha的头部，图5(c)是Rabbit的躯干花纹，图5(d)是Rabbit的脸部右侧，图5(e)是Bear的身体一侧，图5(f)是Bear的全局纹理，图5(g)是Bear的面部，图5(h)Bear的前肢；

图6是通过聚类算法得到的纹理图像ROI区域示意图，其中，图6(a)是Bear的底座，图6(b)是Bear的头部，图6(c)是Bear的腿和脚，图6(d)是Bear全局贴图；

图7是最大位移法提升后的小波系数示意图，其中，图7(a)是纹理图像，图7(b)是六层小波变换黑色图像，图7(c)是小波系数提升模板，图7(d)是提升后的小波系数。

本发明的有益效果是：本发明提出了一种基于三维模型表面信息的纹理图像压缩方法，利用模型网格数据求取纹理图像上的人眼感兴趣区域，根据纹理的视觉表现形式，提取了代表三维模型多分辨率重网格化后表面细节信息的三维特征点及其在纹理空间上的映射点作为纹理特征点，根据图像空间的连续性，利用K-means聚类算法对图像中的特征点进行了类聚合，取得了纹理图像的感兴趣区域并提高了感兴趣区域和背景的区分精度。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明中所描述的三维模型可以从基于图像的三维建模方法中获得，也可以从能够生成纹理的三维扫描设备中获得。进行纹理图像压缩时，必须有三维模型、纹理图像及纹理坐标关系。

附图1所示的是本发明的基于三维模型几何信息的纹理图形压缩方法流程，首先对原始图形进行预处理，然后确定感兴趣的区域ROI，以生成ROI区域模块，利用ROI区域模版对预处理后的图形作小波变换，对ROI对应的小波变换系数进行提升或降低背景系数，接下来对感兴趣形状和位置信息编码传输。接收到传输的量化编码数据后，对感兴趣形状和位置信息解码，然后对感兴趣区域对应的系数下移，进行小波逆变换、预处理变换后重建图像。

本发明的基于三维模型几何信息的纹理图形压缩方法利用模型网格数据求取纹理图像上的人眼感兴趣区域，根据纹理的视觉表现形式，提取了代表三维模型多分辨率重网格化后表面细节信息的三维特征点及其在纹理空间上的映射点作为纹理特征点；根据图像空间的连续性，利用K-means聚类算法对图像中的特征点进行了类聚合，取得了纹理图像的感兴趣区域并提高了感兴趣区域和背景的区分精度。

纹理图像呈现在人眼的状态则和普通图像不同。一方面，贴图前纹理图像中的背景像素，在贴图后完全没有映射到模型表面，这部分信息对于观察模型时的人眼完全不可见，可以考虑在压缩时去除。另一方面，人眼对模型的感兴趣区域多集中于表面细节丰富的区域，在网络传输中，这部分信息应当被优先传达到客户端。所以，纹理图像的压缩过程中，应当充分考虑感兴趣区域的优先传输。

纹理贴图中由纹理坐标系到设备坐标系的变换，往往便是纹理映射的逆过程。给定空间曲面F∈R²，对于F中的任一点(x，y，z)，通过纹理映射Φ找到它在参数域中的对应点(u，v)，即：

$(x,y,z)\∈F\→\mathrm{\Φ}(x,y,z)=\left[\begin{array}{c}{\mathrm{\Φ}}_u(x,y,z)\\ {\mathrm{\Φ}}_v(x,y,z)\end{array}\right]=\left[\begin{array}{c}u\\ v\end{array}\right]---\left(1\right)$

纹理映射函数Φ满足使输入集合和输出集合互为单射关系的条件。所有的模型空间点坐标(x，y，z)及其在纹理空间的对应坐标(u，v)都是三维模型数据中已知的部分，因此不妨先提取三维模型网格顶点中的特征顶点，然后将其映射到纹理坐标系中，即可得出纹理图像上感兴趣区域中的特征点。这些特征点一定分布在贴图后纹理的可见性区域，并且集中在人眼所感兴趣的模型表面几何信息复杂的部分，最后借助纹理图像内容的连续性，可求解出纹理图像的感兴趣区域。

普通三维模型的网格拓扑信息及其复杂，不利于求取三维模型三角网格顶点区域的特征点。用分辨率方法处理三维图形，将模型分为粗糙的基网格和加入不同程度细节信息的多个层次，可以为网格建立四叉树结构，方便提取三角网格在不同尺度下的几何信息。本发明采用IgorGuskov的基于多分支的半正则重网格化处理。新生成的网格具有半正则化拓扑结构，除了基网格部分顶点的出度(和顶点相邻的边的数量)不为6，派生子面的顶点全部具有数值为6的出度。如附图2所示，半正则网格的面具有天然的1-4细分结构，可以建立1-4生成树。不仅如此，边和边上的点也同样具有树形结构，附图3说明了这种结构。

应用改进的Loop模式(ModifiedLoop)，用公式(2)对高分辨率层次的顶点进行预测操作。如附图4所示，先利用低分辨率层级的顶点预测分辨率上更高一层中顶点的位置，再用预测位置与实际位置之差d代替高层顶点的位置。由顶向下应用这种方式进行处理，则半正则网格可化为基网格顶点集合M₀和多层渐进网格的顶点与其自身预测值的偏移量的集合d_i(i＝1，2，…，n)，其中n为基网格向下细化的层次数目。这种对网格的表示方法尽可能低去除了网格的拓扑信息，而保留了模型表面的几何信息。

$v_0=\frac{3}{8}(v_1+v_2)+\frac{1}{8}(v_3+v_4)---\left(2\right)$

在观察物体时，人眼对物体细节的分辨率是有限的，其关注度可能集中于某个分辨率层次，高于该层次的信息易于获取和分辨，低于该层次的细节将难以被辨认和关注。所以在提取网格不同分辨率下的偏移量时，处理到某一层次就可以满足人眼的观察需求了。这里，按照d₁→…→d_n-1→d_n的顺序，对某一适合需求的层次的偏移量小波系数集合做以下操作：首先对当前集合d_i(i＝1，2，…，n，n为当前层级网格的偏移量总数)，设阈值依次将d_i中的每一个小波系数和阈值ε_i比较，若小波系数大于阈值，则选择该小波系数所属的三维点作为备选的特征点保存。然后检测当前分辨率下的集合中所有符合条件的特征点数目，如果数目大于预设值(本发明考虑精度和运算量将备选特征点数目设置为2000)，则将当前的阈值增大一倍，重复求取备选特征点。直到点的总数不多于预设值，最终保存这些点作为特征点。最后遍历所有的已保存特征点，对每个特征点v_m，从模型的未经处理的原始网格中找到其空间距离最小的点v_k，根据原始网格中为每个顶点提供的在纹理空间的映射位置，得到该点在二维图像空间上的对应像素点T_vk，T_vk即为所需要的纹理图像特征点。

将上述操作应用到几组三维模型的纹理图像上，可得附图5中的一系列结果。在图中可以清楚地观察到，所求得的纹理特征点精确地分布在模型几何形状复杂的部分对应的纹理区域，如附图5(a)中衣物的褶皱、附图5(b)中Buddha的头部、附图5(c)和(d)中Rabbit面部及身上的花纹，以及图5(e)、(g)、(f)、(h)中Bear的面部和四肢等区域。。

通过前面的网格特征点提取及特征点对UV坐标系的映射，可以获得纹理图像中的特征点的分布。因此，如果能够确定一些区域，让这些区域完全包括特征点，就可以得到所需要的感兴趣区域ROI。位于同一区域的特征点，彼此之间的纹理坐标应当接近。因此可以把图片特征点的二维纹理坐标作为研究对象进行分析，根据坐标的接近程度对不同特征点进行分类。将物理或抽象对象的集合分成由类似的对象组成的多个类的过程被称为聚类。经过对图像特征点进行聚类而形成的ROI区域，可以进一步对图像小波变换域的系数进行处理。K-means聚类算法恰好适用于解决对象规模较小的二元问题。

首先将纹理的特征点集合看作未聚类的初始点集，随机选取n个种子点作为待聚合的类的中心点；然后计算每个特征点到聚类中心的距离，并聚类到离该点最近的聚类中去；随后计算每个聚类中所有点的坐标平均值，并将这个平均值作为新的聚类中心；最后重复计算每个点到聚类中心的距离，并归类到离该点最近的类中去，直到算法的结果收敛，记录完整包围一个类所有特征点的矩形区域，即矩形包围盒。如附图6(a)-(d)所示，图中这些包含特征点的红色边缘围绕的矩形区域即可被看作是图像上人眼的感兴趣区域。

对原图像进行一步横向的小波分解，用低频带存储原图像相邻像素的均值，高频带存储相邻像素差值的折半。再在纵向做一次同样的操作，则图像完成了一层小波分解，所有低频系数都存在于图像左上角区域。如果对图像继续进行Haar小波变换，则仅对原图的低频部分操作即可。图像经过小波变换后，包含了一幅图像不同分辨率的图像金字塔的所有内容。小波变换操作并不会压缩原始图像的数据量，变换后的图像的像素数目与原图像的像素数目相等。原始图像经过变换后，需要在对感兴趣区域实现优先编码，首先需要提升区域内部的小波系数；在解码时也要相应的降低ROI区域的系数。本发明采用最大位移法，位移因子s满足s≥max(M_b)，其中，M_b是小波系数幅值位平面的最大值，s是位移系数。经位平面提升的感兴趣区域小波系数的最小幅度大于背景小波系数的最大幅值。以幅值2^s为界限，幅值小于该值为背景小波系数，幅值大于该值为感兴趣区域小波系数。所以在附图7(b)中背景颜色为黑色。确定ROI区域小波系数后，将这些系数右移s位，即可还原ROI区域系数。

对本发明提取的纹理ROI区域进行六层金字塔迭代运算后生成二值化的小波系数模板。模板大小和图7(a)的纹理图像相同，附图7(c)中模板的白色区域对应所有频带中需要保留的小波系数所在的区域。需要保留的小波系数包括高频带中感兴趣区域的小波系数以及低频带的全部系数。附图7(d)中对于低频带背景系数的提升，将会让图像在重建时得到较好的整体显示效果。

嵌入式零树小波编码(EZW)充分利用了小波图像金字塔形态数据的统计特性，改善了小波系数的组织方法，保证了重要的小波系数优先表示和编码，降低了对非重要系数的位运算次数，并有效的提高了反映图像重建质量的峰值信噪比。EZW首先选择初始阈值(首次扫描得到的阈值)其中{|c_i，j|}是L级小波的分解系数，|c_i，j|是c_i，j的绝对值，之后的每次扫描的阈值是前次扫描阈值的一半：(i＝1，2，…，L)，然后是主辅扫描，记录系数的符号位P、N以及零树根T和孤立零点Z，并对小波系数进行量化，最终输出编码信号。

经过最大位移法提升处理的小波系数应用嵌入式零树小波压缩编码，对于EZW编码主扫描和辅助扫描的输出结果，可以借助霍夫曼编码再次压缩，最终编码成的二进制文件，即为纹理图像的压缩文件。网络传输时，解码器可随时用接收到的小波系数对图像进行重建，解码操作可看作是编码操作的逆过程。值得注意的是，对于经过提升区域内部的小波系数，在解码时也要相应的降低ROI区域的系数。

通过搭建基于ROI的EZW编解码实验***对本发明的方法进行验证，取得比较好的实验效果。对Buddha、Rabbit、Bear等三维模型经过最大位移法处理的纹理图像小波系数进行嵌入式压缩编码和熵编码，实验模型的纹理尺寸全部是4096×4096像素，未压缩纹理图像的大小分别为：33.4MB、33.2MB和33.1MB。应用本发明提出的感兴趣区域提取方法提取特征区域并用嵌入式零树小波压缩算法做感兴趣区域编码处理，得到压缩文件分别为：1.21MB、1.09MB、1.15MB，相较原始未压缩的纹理图像文件，压缩比为3.6％、3.3％、3.5％。

在解码端对压缩文件中经过位移处理的系数(ROI区域系数)进行优先解码和图像重建：对于Buddha模型的纹理图像，背景区域向解码端暂时只传递了低频带系数，缺少高频带小波系数，导致其分辨率大大降低；而ROI区域由于各个频带经过位移提升的系数全部传送到解码端，很好地保留了清晰度。

利用压缩文件中很少的一部分数据(对Buddha压缩文件来说是32.0％的数据)即可得到较好的纹理重建效果和贴图显示效果。最后，将压缩文件连同剩余部分全部解码。由于对原始纹理图像进行Haar小波变换时只损失了小波系数小数数位的精度，而描述系数幅值的整数部分没有改变，因此可以依靠这些系数对图像进行精确的还原。

对于实验模型，通过传输具有高优先级的30％-50％文件，即可以较好地复现原模型的形态，对模型表面的复杂部分，纹理的清晰度较高。继续传输剩余文件并用重建文件贴图，即可得到最高分辨率的显示效果，和原始纹理图像对网格模型的贴图效果并无不同。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (5)

1.一种基于三维模型几何信息的纹理图形压缩方法，其特征在于：所述方法首先对原始图形进行预处理，确定感兴趣的区域ROI，以生成ROI区域模块；然后利用ROI区域模版对预处理后的图形作小波变换，对ROI对应的小波变换系数进行提升或降低背景系数，接下来对感兴趣形状和位置信息编码传输；其中，确定感兴趣的区域ROI，以生成ROI区域模块具体为：利用模型网格数据求取纹理图像上的人眼感兴趣区域，根据纹理的视觉表现形式，提取了代表三维模型多分辨率重网格化后表面细节信息的三维特征点及其在纹理空间上的映射点作为纹理特征点；根据图像空间的连续性，利用K-means聚类算法对图像中的特征点进行了类聚合，取得了纹理图像的感兴趣区域并提高了感兴趣区域和背景的区分精度。

2.根据权利要求1所述的方法，其特征在于：用分辨率方法处理三维图形，将模型分为粗糙的基网格和加入不同程度细节信息的多个层次，为网格建立四叉树结构，方便提取三角网格在不同尺度下的几何信息；所述模型网格数据采用IgorGuskov的基于多分支的半正则重网格化处理得到。

3.根据权利要求1所述的方法，其特征在于：在压缩时去除贴图前纹理图像中的背景像素。

4.根据权利要求1所述的方法，其特征在于：所述K-means聚类算法对图像中的特征点进行了类聚合具体为：首先将纹理的特征点集合看作未聚类的初始点集，随机选取n个种子点作为待聚合的类的中心点；然后计算每个特征点到聚类中心的距离，并聚类到离该点最近的聚类中去；随后计算每个聚类中所有点的坐标平均值，并将这个平均值作为新的聚类中心；最后重复计算每个点到聚类中心的距离，并归类到离该点最近的类中去，直到算法的结果收敛，记录完整包围一个类所有特征点的矩形区域。

5.根据权利要求1所述的方法，其特征在于：所述对ROI对应的小波变换系数进行提升或降低背景系数具体为：提取的纹理ROI区域进行六层金字塔迭代运算后生成二值化的小波系数模板，需要保留的小波系数包括高频带中感兴趣区域的小波系数以及低频带的全部系数；采用最大位移法提升或降低处理的小波系数。