CN104899889A - 一种基于四面体网格的视频矢量化方法 - Google Patents

一种基于四面体网格的视频矢量化方法 Download PDF

Info

Publication number
CN104899889A
CN104899889A CN201510349260.4A CN201510349260A CN104899889A CN 104899889 A CN104899889 A CN 104899889A CN 201510349260 A CN201510349260 A CN 201510349260A CN 104899889 A CN104899889 A CN 104899889A
Authority
CN
China
Prior art keywords
tetrahedral
mesh
video
summit
vertex
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510349260.4A
Other languages
English (en)
Other versions
CN104899889B (zh
Inventor
郭延文
朱捷
王氚
王文平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University
Original Assignee
Nanjing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University filed Critical Nanjing University
Priority to CN201510349260.4A priority Critical patent/CN104899889B/zh
Publication of CN104899889A publication Critical patent/CN104899889A/zh
Application granted granted Critical
Publication of CN104899889B publication Critical patent/CN104899889B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Generation (AREA)

Abstract

本发明公开了一种基于四面体网格的视频矢量化方法,包括使用视频过分割方法对视频进行过分割;依照视频过分割的结果建立初始四面体网格;使用Lattice Cleaving算法对初始四面体网格进行切割;使用基于边坍缩的四面体简化方法对四面体网格进行简化;通过求解优化方程对四面体网格进行颜色优化;最后是对四面体网格进行渲染。本发明在将视频矢量化为四面体网格模型的同时尽量保持了视频中物体的几何形状等特征,并且处理过程中无需用户进行交互操作。

Description

一种基于四面体网格的视频矢量化方法
技术领域
本发明属于计算机图形学、多媒体信息技术、视频处理等领域,涉及一种基于四面体网格的视频矢量化方法。
背景技术
基于矢量的图形内容越来越多的呈现于智能手机、电脑与网络上。而在人们随时随地获取信息的推动下,各种各样的电子设备层出不穷,例如手机、平板电脑、笔记本电脑等。这些设备的显示分辨率大小不一,传统视频有着既定的分辨率,在这些设备上显示往往需要进行有损的缩放操作。而矢量图形则有着分辨率无关的特性,无论如何缩放都是无损的,很好的解决了这样的问题。
另一方面,随着科学技术的高速发展以及信息量的急速膨胀,个人电子设备的存储越发不能满足人们的需求,人们需要通过不断从网络上获取信息的方式来满足自身的需求,而矢量图形所具有的数据紧凑性能够很好的满足高效网络通信这一需求。
网络素材的广泛需求推动着网络素材的制作,传统的美工制作过程会消耗大量的人力成本与时间成本,而矢量图形的可编辑性更高,可以节省许多人力成本。
在矢量图形的众多优点基础下,其发展趋势不言而喻,网络上已经有大量的由手工创作的矢量图形,同时图像矢量化方法也得到了一定的发展,出现了基于三角形网格的图像矢量化方法、基于梯度网格的图像矢量化方法、基于扩散曲线的图像矢量化方法等一系列方法。
然而对于传统的视频来说,单纯依靠手工设计将它们转化为矢量图形并不现实,并且视频对时空一致性的需求使得图像矢量化的方法并不能很好的应用于视频。因此需要一种能够自动将视频转化为矢量图形的方法,专利200810102127.9,彩色光栅图像或视频的矢量化方法可以对卡通视频进行矢量化,也是一种视频矢量化的方法,但是不能应用于一般的自然视频。
发明内容
发明目的:本发明所要解决的技术问题是针对现有技术的不足,提供一种视频矢量化方法,从而能够将传统的点阵视频转化为矢量视频。
技术方案:本发明公开了一种基于四面体网格的视频矢量化方法,其核心在于计算出原始输入视频的四面体网格模型并进行简化与优化,包括以下步骤:
步骤1,视频过分割:使用视频过分割方法将原始输入视频过分割成为超像素,并为每一个超像素标记标号,并将此标号赋予所有属于该超像素的像素;
步骤2,建立初始四面体网格:将视频的每一个像素作为顶点,建立一个初始四面体网格,将每个像素的对应颜色以及标号赋予其对应的顶点;
步骤3,分割初始四面体网格:对初始四面体网格中四面体进行分割,使得每一个四面体的四个顶点都具有同样的标号;
步骤4,简化初始四面体网格:使用基于边坍缩的四面体简化方法,对初始四面体网格进行简化细分,得到细分后的控制网格;
步骤5,对控制网格进行颜色优化:对原始输入视频进行采样,用采样得到的结果对控制网格进行颜色优化;
步骤6,渲染控制网格:把颜色优化后的控制网格细分至1至3次以适合目标分辨率,然后进行渲染。
其中,步骤1包括以下步骤:
步骤1-1,使用视频过分割方法,将原始输入视频分割为若干块(任意自然数)超像素,原始输入视频的每个超像素都得到一个唯一的标号,将此标号赋予所有属于该超像素的像素,分割后的超像素包含的每一个像素都拥有原始输入视频的红、绿、蓝颜色属性(r,g,b)以及新的标号属性L。
步骤2包括以下步骤:
步骤2-1,根据原始输入视频每一个像素建立一个顶点,顶点属性包括像素的位置信息(x,y,z),颜色属性(r,g,b)以及标号属性L;
步骤2-2,对于每8个直接相邻的顶点,使用Delaunay(德劳内)四面体化方法(参考文章DeWall:A fast divide and conquer Delaunay triangulation algorithm in Ed)在8个顶点组成的正方体之间建立6个四面体,得到一个初始四面体网格。
步骤3包括以下步骤:
步骤3-1,检查初始四面体网格中的所有边,如果一条边的两个顶点标号不同,则在该边中心新增一个顶点,该顶点的标号为该边两个顶点标号的并集;
步骤3-2,检查初始四面体网格中的所有三角形,如果一个三角形的三个顶点标号均不相同,则在三角形中心新增一个顶点,该顶点的标号为该三角形三个顶点标号的并集;
步骤3-3,检查初始四面体网格中的所有四面体,如果一个四面体的四个顶点标号均不相同,则在该四面体的体中心新增一个顶点,该顶点标号为该四面体四个顶点标号的并集;
步骤3-4,使用Lattice Cleaving(晶格切割)算法(参考文章Lattice Cleaving:Conforming Tetrahedral Meshes of Multimaterial Domains with Bounded Quality),根据新增的顶点对四面体网格进行切割产生四面体内部网格边界,得到一个新的四面体网格。
步骤4包括以下步骤:
步骤4-1,对于四面体网格中的每一个四面体T,计算其超平面方程系数向量h,具体过程如下:
对于四面体网格中的每一个顶点点v,其坐标表示为四维向量[x,y,z,c]T,其中x、y、z为该顶点v在原始输入视频中的坐标,c为其颜色值。令四面体的四个顶点分别为四维向量v1、v2、v3、v4,令四维向量v12=v2-v1、v13=v3-v1、v14=v4-v1,n=Cross(v12,v13,v14),
其中Cross(v12,v13,v14)表示四维向量v12、v13、v14的叉积,其结果n是一个垂直于v12、v13、v14的四维向量,令n1、n2、n3、n4表示n的四个元素,即n=[n1,n2,n3,n4]。
令d=-Dot(n,v1),其中Dot(n,v1)表示n与v1的点积。
则四面体T的超平面方程系数向量h=[n1,n2,n3,n4,d],即四面体T所在超平面方程为n1x+n2y+n3z+n4c+d=0。
步骤4-2,对于四面体网格中的每一个顶点v,将其表示为齐次坐标形式v=[x,y,z,c,1]T,计算其Q矩阵及其二次误差Δ(v):
Q=∑h∈H(v)hTh,
Δ(v)=∑h∈H(v)(hTv)2=vTQv,
其中H(v)为顶点v所连接的所有四面体的集合;
步骤4-3,计算四面体网格中每一条边eij的坍缩最优位置v*与坍缩代价Cost(eij),坍缩最优位置v*通过求解以下优化方程得出:
m i n v v T ( Q i + Q j ) v
其中Qi与Qj分别为边eij两个顶点vi与vj的Q矩阵,令:
Q i j = Q i + Q j = q 11 q 12 q 13 q 14 q 15 q 21 q 22 q 23 q 24 q 25 q 31 q 32 q 33 q 34 q 35 q 41 q 42 q 43 q 44 q 45 q 51 q 52 q 53 q 54 q 55 ,
其中q11~q55均为Qij的元素,令:
A Q = q 11 q 12 q 13 q 14 q 21 q 22 q 23 q 24 q 31 q 32 q 33 q 34 q 41 q 42 q 43 q 44 ,
B Q = - q 51 q 52 q 53 q 54 ,
则坍缩最优位置v*=AQ -1BQ
坍缩代价Cost(eij)计算如下:
Cost(eij)=v*T(Qi+Qj)v*
步骤4-4,为保持因步骤3-4中对四面体进行切割而产生的内部网格边界,将一端在内部网格边界另一端不在内部网格边界上的边排除在外,对剩余所有的边依照其坍缩代价Cost进行排序,对坍缩代价Cost最小的边进行坍缩操作,将坍缩成的顶点设置到其最优位置上v*,合并eij的两个顶点的拓扑连接,重复进行本步骤,直至剩余顶点数达到预先设定数量(任意自然数)或者没有符合条件的边可供坍缩为止,从而得到坍缩后的控制网格;
步骤4-5,对坍缩后的控制网格进行细分(参考文章A new solid subdivision schemebased on box splines),然后通过求解以下优化方程,对控制网格进行优化:
minvE(v)=EF(v)+λEL(v),
E F ( v ) = Σ k = 1 N s | | v k t - v k | | 2 2 = Σ k = 1 N s | | v k t - α k v | | 2 2 ,
E L ( v ) = Σ i = 1 N c | | v i - v ~ i | | ,
其中EF(v)与EL(v)分别为误差能量项与拉普拉斯能量项,参数λ(任意实数)用以调节它们之间的权重,在EF(v)的定义中,vk为控制网格细分后的顶点,为vk在初始网格上的投影,在初始网格上,vk在细分后的控制网格上,是vk的优化目标。这里是使用控制网格的细分网格把控制网格优化得更相似于初始网格,被优化的是控制网格。Ns为控制网格细分后的顶点数目,k取值1~Ns,αk表示控制网格中的顶点与细分网格中的顶点的线性组合关系,在EL(v)的定义中,vi为控制网格的顶点,为vi的拉普拉斯坐标,Nc为控制网格的顶点数目,表示求解使得E(v)最小的v,该优化问题可以通过最小二乘法求解。。
步骤5包括:使用细分后的控制网格对原始输入视频进行采样,求解以下优化方程以优化控制网格的顶点颜色: m i n c E ( c ) = Σ k = 1 N s | | c k t - c k | | 2 2 = Σ k = 1 N s | | c k t - α k c | | 2 2 ,
其中,表示求解使得E(c)最小的颜色值c,ck为控制网格细分后的顶点颜色,表示2范数的平方,即欧氏距离的平方,为ck在原始输入视频上采样的颜色,该优化问题可以通过最小二乘法求解。
步骤6包括:将颜色优化后的控制网格细分至适应于目标分辨率的密度,然后将其缩放至目标分辨率后渲染成视频,视频中每个像素点的颜色值通过对其所属四面体的四个顶点的颜色值进行三线性插值(参考书籍:Graphics Gems IV)得到。
有益效果:本发明的显著优点是:
(1)本发明提出的视频矢量化的方法具有高度的自动性,整个矢量化过程中无需用户进行手动交互。
(2)本发明使用的四面体矢量模型在几何处理中具有一般性,由本发明所得到的矢量视频模型可以使用一般的四面体处理方法进行编辑。
(3)本发明得到的四面体矢量模型具有保真性,将其重新渲染成视频后与原始输入视频误差较小。
附图说明
图1为本发明方法的基本流程图。
图2为均匀切割立方体示意图。
图3为多标号的四面体示意图。
图4为Cleaver算法切割模板示意图。
图5为原始输入视频的若干帧。
图6为矢量视频渲染出的若干帧。
具体实施方式
下面结合附图和具体实施方式对本发明做更进一步的具体说明。
本方法的流程图如图1所示,分为六大过程:首先是使用视频过分割方法对视频进行过分割;然后是依照视频过分割的结果建立初始四面体网格;然后是使用Cleaver算法对初始四面体网格进行切割;然后是使用基于边坍缩的四面体简化方法对四面体网格进行简化;然后是通过求解优化方程对四面体网格进行颜色优化;最后是对四面体网格进行渲染。
具体地说,如图1所示,本发明公开了一种视频矢量化方法,主要包括以下几个步骤:
步骤1,视频过分割:使用视频过分割方法将原始输入视频过分割成为超像素,并为每一个超像素标记标号,并将此标号赋予所有属于该超像素的像素;
步骤2,建立初始四面体网格:将视频的每一个像素点作为顶点,建立一个稠密的初始四面体网格,将每个像素的对应颜色以及标号赋予其对应的顶点;
步骤3,分割初始四面体网格:对网格中四面体进行分割,使得每一个四面体的四个顶点都具有同样的标号。
步骤4,四面体网格的简化:使用基于边坍缩的四面体简化方法,对稠密的四面体网格进行简化,在尽量不影响其形状的前提下减少四面体的个数,得到稀疏的控制网格。
步骤5,四面体网格的颜色优化:将简化后的稀疏的控制网格细分,然后原始输入视频中进行采样,用采样得到的结果对稀疏的控制网格进行颜色优化。
步骤6,四面体网格的渲染:把颜色优化后的控制网格细分1至3次以适合目标分辨率,然后进行渲染。
对于步骤1,视频过分割的具体实施细节如下步骤:
步骤1-1,使用视频过分割方法,将视频分割为若干块超像素。视频的每个超像素都将得到一个唯一的标号,并将此标号赋予所有属于该超像素的像素,从而视频的每一个像素都拥有原本的红、绿、蓝颜色属性(r,g,b)以及新的标号属性L。
对于步骤2,建立初始四面体网格的具体实施细节如下步骤:
步骤2-1,根据视频每一个像素点建立一个顶点,其属性有包括位置信息(x,y,z),颜色属性(r,g,b)以及标号属性L。
步骤2-2,对于每8个直接相邻的顶点,使用Delaunay(德劳内)四面体化方法(参考文章DeWall:A fast divide and conquer Delaunay triangulation algorithm in Ed)在其间建立起6个四面体,如图2所示,从而得到一个稠密的初始四面体网格。
对于步骤3,切割四面体网格的具体实施细节如下步骤:
步骤3-1,检查初始四面体网格中的所有边,如果一条边的两个顶点标号不同,则在该边中心新增一个顶点,其标号为该边两个顶点标号的并集,如图3中(a)和图3中(b)所示。
步骤3-2,检查初始四面体网格中的所有三角形,如果一个三角形的三个顶点标号均不相同,则在三角形中心新增一个顶点,其标号为该三角形三个顶点标号的并集,如图3中(c)所示。
步骤3-3,检查初始四面体网格中的所有四面体,如果一个四面体的四个顶点标号均不相同,则在该边中间新增一个顶点,其标号为该四面体四个顶点标号的并集,如图3中(d)所示。
步骤3-4,使用Lattice Cleaving(晶格切割)算法(参考文章Lattice Cleaving:Conforming Tetrahedral Meshes of Multimaterial Domains with Bounded Quality),根据新增的顶点对四面体网格进行切割产生四面体内部网格边界,切割模板如图4所示,从而得到一个新的更为稠密的四面体网格。
对于步骤4,四面体网格简化的具体实施细节如下步骤:
步骤4-1,对于四面体网格中的每一个四面体T,计算其超平面方程系数向量h,具体过程如下:
对于顶点v,其坐标表示为四维向量[x,y,z,c]T,其中x、y、z为该顶点v在原始输入视频中的坐标,c为其颜色值。
令四面体的四个顶点分别为四维向量v1、v2、v3、v4,令四维向量v12=v2-v1、v13=v3-v1、v14=v4-v1,n=Cross(v12,v13,v14),
其中Cross(v12,v13,v14)表示四维向量v12、v13、v14的叉积,其结果n是一个垂直于v12、v13、v14的四维向量,令n1、n2、n3、n4表示n的四个元素,即n=[n1,n2,n3,n4]。
令d=-Dot(n,v1),其中Dot(n,v1)表示n与v1的点积。
则四面体T的超平面方程系数向量h=[n1,n2,n3,n4,d],即四面体T所在超平面方程为n1x+n2y+n3z+n4c+d=0。
步骤4-2,对于四面体网格中的每一个顶点v,将其表示为齐次坐标形式v=[x,y,z,c,1]T,计算其Q矩阵及其二次误差Δ(v):
Q=∑h∈H(v)hTh,
Δ(v)=∑h∈H(v)(hTv)2=vTQv,
其中H(v)为顶点v所连接的所有四面体的集合;
步骤4-3,计算四面体网格中每一条边eij的坍缩最优位置v*与坍缩代价Cost(eij),坍缩最优位置v*通过求解以下优化方程得出:
minvvT(Qi+Qj)v,
其中Qi与Qj分别为边eij两个顶点vi与vj的Q矩阵,令:
Q i j = Q i + Q j = q 11 q 12 q 13 q 14 q 15 q 21 q 22 q 23 q 24 q 25 q 31 q 32 q 33 q 34 q 35 q 41 q 42 q 43 q 44 q 45 q 51 q 52 q 53 q 54 q 55 ,
其中q11~q55均为Qij的元素,令:
A Q = q 11 q 12 q 13 q 14 q 21 q 22 q 23 q 24 q 31 q 32 q 33 q 34 q 41 q 42 q 43 q 44 ,
B Q = - q 51 q 52 q 53 q 54 ,
则坍缩最优位置v*=AQ -1BQ
坍缩代价Cost(eij)计算如下:
Cost(eij)=v*T(Qi+Qj)v*
步骤4-4,为需要保持因步骤3-4中对四面体进行切割而产生的内部网格边界,将一端在内部网格边界另一端不在内部网格边界上的边排除在外,对剩余所有的边依照其Cost进行排序,对Cost最小的边进行坍缩操作,将坍缩成的顶点设置到其最优位置v*上,合并eij的两个顶点的拓扑连接。重复进行此步骤,直至剩余顶点数达到用户预先设定数量(任意自然数)或者没有符合条件的边可供坍缩为止,从而得到控制网格。
步骤4-5,对坍缩后的控制网格进行细分(参考文章A new solid subdivision schemebased on box splines),然后通过求解以下优化方程,对控制网格进行优化,使得其形状更接近于初始网格:
minvE(v)=EF(v)+λEL(v),
E F ( v ) = Σ k = 1 N s | | v k t - v k | | 2 2 = Σ k = 1 N s | | v k t - α k v | | 2 2 ,
E L ( v ) = Σ i = 1 N c | | v i - v ~ i | | ,
其中EF(v)与EL(v)分别为误差能量项与拉普拉斯能量项,参数λ(取值任意实数,λ由用户调节以便得到其理想的结果)用以调节它们之间的权重。在EF(v)的定义中,vk为控制网格细分后的顶点,为vk在初始网格上的投影,Ns为控制网格细分后的顶点数目,αk表达了控制网格中的顶点与细分网格中的顶点的线性组合关系。在EL(v)的定义中,vi为控制网格的顶点,为vi的拉普拉斯坐标,Nc为控制网格的顶点数目,表示求解使得E(v)最小的v,该优化问题可以通过最小二乘法求解。
对于步骤5,四面体网格颜色优化的具体实施细节如下:
对控制网格进行细分,使用细分网格对原始输入视频进行采样,随后求解以下优化方程以优化控制网格的顶点颜色:
m i n c E ( c ) = Σ k = 1 N s | | c k t - c k | | 2 2 = Σ k = 1 N s | | c k t - α k c | | 2 2 ,
ck为控制网格细分后的顶点颜色,为ck在原始输入视频上采样的颜色,Ns为控制网格细分后的顶点数目,αk表达了控制网格中的顶点与细分网格中的顶点的线性组合关系,该优化问题可以通过最小二乘法求解。
对于步骤6,四面体网格渲染的具体实施细节如下:
将四面体控制网格细分至适应于目标分辨率的密度,然后将其缩放至目标分辨率后渲染成视频,视频中每个像素点的颜色值通过对其所属四面体的四个顶点的颜色值进行三线性插值(参考书籍:Graphics Gems IV)得到。
实施例
本实施例的实验硬件环境是:Intel(R)Xero(R)CPU E5-2620 2.0GHz,144G内存,软件环境是MicrosoftVisual Studio2010、MicrosoftWindows7Professional和Matlab 2012a。测试视频来自于网络上公开的视频。
本发明公开了一种基于四面体网格的视频矢量化方法,其核心在于计算出原始输入视频的四面体网格模型并进行简化与优化,包括以下步骤:
步骤1,视频过分割:使用视频过分割方法将原始输入视频过分割成为超像素,并为每一个超像素标记标号,并将此标号赋予所有属于该超像素的像素;
步骤2,建立初始四面体网格:将视频的每一个像素点作为顶点,建立一个初始四面体网格,将每个像素的对应颜色以及标号赋予其对应的顶点;
步骤3,分割初始四面体网格:对网格中四面体进行分割,使得每一个四面体的四个顶点都具有同样的标号;
步骤4,简化四面体网格:使用基于边坍缩的四面体简化方法,对四面体网格进行简化,得到控制网格;
步骤5,对控制网格进行颜色优化:将控制网格细分,然后对原始输入视频进行采样,用采样得到的结果对控制网格进行颜色优化;
步骤6,渲染控制网格:把颜色优化后的控制网格细分1至3次以适合目标分辨率,然后进行渲染。
输入的测试视频如图5所示,在使用对视频进行过分割时将超像素数目控制在100~200之间,在四面体网格简化过程中拉普拉斯项的权重λ取值在0.1~0.01之间,简化后的控制网格顶点数设置为该视频像素数的0.5%,四面体网格的渲染结果如图6所示,可以看出矢量化后的视频基本保持了原始输入视频中物体的形状等显著特征。
本发明提供了一种基于四面体网格的视频矢量化方法,具体实现该技术方案的方法和途径很多,以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (7)

1.一种基于四面体网格的视频矢量化方法,其特征在于,包括以下步骤:
步骤1,视频过分割:使用视频过分割方法将原始输入视频过分割成为超像素,并为每一个超像素标记标号,并将此标号赋予所有属于该超像素的像素;
步骤2,建立初始四面体网格:将视频的每一个像素作为顶点,建立一个初始四面体网格,将每个像素的对应颜色以及标号赋予其对应的顶点;
步骤3,分割初始四面体网格:对初始四面体网格中四面体进行分割,使得每一个四面体的四个顶点都具有同样的标号;
步骤4,简化初始四面体网格:使用基于边坍缩的四面体简化方法,对初始四面体网格进行简化细分,得到细分后的控制网格;
步骤5,对控制网格进行颜色优化:对原始输入视频进行采样,用采样得到的结果对控制网格进行颜色优化;
步骤6,渲染控制网格:把颜色优化后的控制网格细分1至3次以适合目标分辨率,然后进行渲染。
2.如权利要求1所述的一种基于四面体网格的视频矢量化方法,其特征在于,步骤1包括以下步骤:
步骤1-1,使用视频过分割方法,将原始输入视频分割为若干块超像素,原始输入视频的每个超像素都得到一个唯一的标号,将此标号赋予所有属于该超像素的像素,分割后的超像素包含的每一个像素都拥有原始输入视频的红、绿、蓝颜色属性(r,g,b)以及新的标号属性L。
3.如权利要求2所述的一种基于四面体网格的视频矢量化方法,其特征在于,步骤2包括以下步骤:
步骤2-1,根据原始输入视频每一个像素建立一个顶点,顶点属性包括像素的位置信息(x,y,z),颜色属性(r,g,b)以及标号属性L;
步骤2-2,对于每8个直接相邻的顶点,使用Delaunay四面体化方法在8个顶点组成的正方体之间建立6个四面体,得到一个初始四面体网格。
4.如权利要求3所述的一种基于四面体网格的视频矢量化方法,其特征在于,步骤3包括以下步骤:
步骤3-1,检查初始四面体网格中的所有边,如果一条边的两个顶点标号不同,则在该边中心新增一个顶点,该顶点的标号为该边两个顶点标号的并集;
步骤3-2,检查初始四面体网格中的所有三角形,如果一个三角形的三个顶点标号均不相同,则在三角形中心新增一个顶点,该顶点的标号为该三角形三个顶点标号的并集;
步骤3-3,检查初始四面体网格中的所有四面体,如果一个四面体的四个顶点标号均不相同,则在该四面体的体中心新增一个顶点,该顶点标号为该四面体四个顶点标号的并集;
步骤3-4,使用Lattice Cleaving算法,根据新增的顶点对四面体网格进行切割产生四面体内部网格边界,得到一个新的四面体网格。
5.如权利要求4所述的一种基于四面体网格的视频矢量化方法,其特征在于,步骤4包括以下步骤:
步骤4-1,对于四面体网格中的每一个四面体T,计算其超平面方程系数向量h,具体过程如下:
对于四面体网格中的每一个顶点v,其坐标表示为四维向量[x,y,z,c]T,其中x、y、z为该顶点v在原始输入视频中的坐标,c为其颜色值,
令四面体T的四个顶点分别为四维向量v1、v2、v3、v4,令四维向量v12=v2-v1、v13=v3-v1、v14=v4-v1,n=Cross(v12,v13,v14),
其中Cross(v12,v13,v14)表示四维向量v12、v13、v14的叉积,其结果n是一个垂直于v12、v13、v14的四维向量,令n1、n2、n3、n4表示n的四个元素,即n=[n1,n2,n3,n4]。,
令参数d=-Dot(n,v1),其中Dot(n,v1)表示n与v1的点积,
则四面体T的超平面方程系数向量h=[n1,n2,n3,n4,d],即四面体T所在超平面方程为n1x+n2y+n3z+n4c+d=0;
步骤4-2,对于四面体网格中的每一个顶点v,将其表示为齐次坐标形式v=[x,y,z,c,1]T,计算其Q矩阵及其二次误差Δ(v):
Q=∑h∈H(v)hTh,
Δ(v)=∑h∈H(v)(hTv)2=vTQv,
其中H(v)为顶点v所连接的所有四面体的集合;
步骤4-3,计算四面体网格中每一条边eij的坍缩最优位置v*与坍缩代价Cost(eij),坍缩最优位置v*通过求解以下优化方程得出:
minvvT(Qi+Qi)v,
其中Qi与Qj分别为边eij两个顶点vi与vj的Q矩阵,令:
Q i j = Q i + Q j = q 11 q 12 q 13 q 14 q 15 q 21 q 22 q 23 q 24 q 25 q 31 q 32 q 33 q 34 q 35 q 41 q 42 q 43 q 44 q 45 q 51 q 52 q 53 q 54 q 55 ,
其中q11~q55均为Qij的元素,令:
A Q = q 11 q 12 q 13 q 14 q 21 q 22 q 23 q 24 q 31 q 32 q 33 q 34 q 41 q 42 q 43 q 44 ,
B Q = - q 51 q 52 q 53 q 54 ,
则坍缩最优位置v*=AQ -1BQ
坍缩代价Cost(eij)计算如下:
Cost(eij)=v*T(Qi+Qj)v*
步骤4-4,将一端在内部网格边界另一端不在内部网格边界上的边排除在外,对剩余所有的边依照其坍缩代价进行排序,对坍缩代价最小的边进行坍缩操作,将坍缩成的顶点设置到其最优位置v*上,合并边eij的两个顶点的拓扑连接,重复进行本步骤,直至剩余顶点数达到预先设定数量或者没有符合条件的边可供坍缩为止,从而得到坍缩后的控制网格;
步骤4-5,对坍缩后的控制网格进行细分,通过求解以下优化方程,对控制网格进行优化:
minvE(v)=EF(v)+λEL(v),
E F ( v ) = Σ k = 1 N S | | v k t - v k | | 2 2 = Σ k = 1 N S | | v k t - α k v | | 2 2 ,
E L ( v ) = Σ i = 1 N c | | v i - v ~ i | | ,
其中EF(v)与EL(v)分别为误差能量项与拉普拉斯能量项,参数λ用以调节它们之间的权重,在EF(v)的定义中,vk为控制网格细分后的顶点,为vk在初始网格上的投影,Ns为控制网格细分后的顶点数目,k取值1~Ns,αk表示控制网格中的顶点与细分网格中的顶点的线性组合关系,在EL(v)的定义中,vi为控制网格的顶点,为vi的拉普拉斯坐标,Nc为控制网格的顶点数目,表示求解使得E(v)最小的v。
6.如权利要求5所述的一种基于四面体网格的视频矢量化方法,其特征在于,步骤5包括:使用细分后的控制网格对原始输入视频进行采样,求解以下优化方程以优化控制网格的顶点颜色:
m i n c E ( c ) = Σ k = 1 N S | | c k t - c k | | 2 2 = Σ k = 1 N S | | c k t - α k c | | 2 2 ,
其中,表示求解使得E(c)最小的颜色值c,ck为控制网格细分后的顶点颜色,为ck在原始输入视频上采样的颜色。
7.如权利要求6所述的一种基于四面体网格的视频矢量化方法,其特征在于,步骤6包括:将颜色优化后的控制网格细分至适应于目标分辨率的密度,然后将其缩放至目标分辨率后渲染成视频,视频中每个像素点的颜色值通过对其所属四面体的四个顶点的颜色值进行三线性插值得到。
CN201510349260.4A 2015-06-23 2015-06-23 一种基于四面体网格的视频矢量化方法 Expired - Fee Related CN104899889B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510349260.4A CN104899889B (zh) 2015-06-23 2015-06-23 一种基于四面体网格的视频矢量化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510349260.4A CN104899889B (zh) 2015-06-23 2015-06-23 一种基于四面体网格的视频矢量化方法

Publications (2)

Publication Number Publication Date
CN104899889A true CN104899889A (zh) 2015-09-09
CN104899889B CN104899889B (zh) 2017-07-25

Family

ID=54032534

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510349260.4A Expired - Fee Related CN104899889B (zh) 2015-06-23 2015-06-23 一种基于四面体网格的视频矢量化方法

Country Status (1)

Country Link
CN (1) CN104899889B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109005411A (zh) * 2018-07-27 2018-12-14 广州中国科学院工业技术研究院 图像压缩方法及电子设备
CN111179414A (zh) * 2019-12-30 2020-05-19 中国电力企业联合会电力建设技术经济咨询中心 一种地形lod的生成方法
CN111601181A (zh) * 2020-04-27 2020-08-28 北京首版科技有限公司 生成视频指纹数据的方法及装置
CN112258655A (zh) * 2020-11-13 2021-01-22 河北地质大学 一种应用于vr虚拟银行的三维网格简化方法
CN117473655A (zh) * 2023-12-27 2024-01-30 中国人民解放军国防科技大学 基于边坍缩网格优化的飞行器仿真驱动设计方法和装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
K TSUTSUGUCHI等: "《A Study of Video Vectorization》", 《ITE TECHNICAL REPORT》 *
N MCLEAN等: "《Video Vectorization between Two Keyframes》", 《ITE TECHNICAL REPORT》 *
蔡庆重: "《基于梯度网格的图像矢量化》", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
赵锟: "《基于多级对象的图像矢量化研究》", 《中国博士学位论文全文数据库 信息科技辑》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109005411A (zh) * 2018-07-27 2018-12-14 广州中国科学院工业技术研究院 图像压缩方法及电子设备
CN109005411B (zh) * 2018-07-27 2021-11-30 广州中国科学院工业技术研究院 图像压缩方法及电子设备
CN111179414A (zh) * 2019-12-30 2020-05-19 中国电力企业联合会电力建设技术经济咨询中心 一种地形lod的生成方法
CN111601181A (zh) * 2020-04-27 2020-08-28 北京首版科技有限公司 生成视频指纹数据的方法及装置
CN112258655A (zh) * 2020-11-13 2021-01-22 河北地质大学 一种应用于vr虚拟银行的三维网格简化方法
CN112258655B (zh) * 2020-11-13 2023-08-08 河北地质大学 一种应用于vr虚拟银行的三维网格简化方法
CN117473655A (zh) * 2023-12-27 2024-01-30 中国人民解放军国防科技大学 基于边坍缩网格优化的飞行器仿真驱动设计方法和装置
CN117473655B (zh) * 2023-12-27 2024-03-15 中国人民解放军国防科技大学 基于边坍缩网格优化的飞行器仿真驱动设计方法和装置

Also Published As

Publication number Publication date
CN104899889B (zh) 2017-07-25

Similar Documents

Publication Publication Date Title
CN104899889A (zh) 一种基于四面体网格的视频矢量化方法
CN106600679B (zh) 一种三维模型数据简化的方法
CN110245368A (zh) 一种bim数据的结构化处理与存储方法
US10210668B2 (en) Technique for extruding a 3D object into a plane
CN111275802A (zh) 一种基于vray的pbr材质渲染方法和***
CN112530005B (zh) 一种三维模型直线结构识别与自动修复方法
CN104103091A (zh) 3d智能建模方法和***及3d模型柔性制造***
CN111127658A (zh) 一种基于点云重建三角网格曲面的保特征曲面重建方法
CN102117491A (zh) 一种三维建模中纹理数据的绘制方法及装置
CN105446596A (zh) 基于深度的交互式3d界面显示***与方法
CN102999660B (zh) 一种将设计数据转换为多变换拼花数据的方法
Chen et al. Image vectorization with real-time thin-plate spline
CN105160705A (zh) 一种基于三维引擎对移动终端三维图像数据的处理方法
CN102663160A (zh) 一种构建三维物理电路设计模型的方法
CN108154467A (zh) 一种线性壁刻模拟方法及***
Jia Research on the application of computer aided technology in graphic design visual aesthetics
CN108257201B (zh) 二维图案在三维工业模型表面帖敷的方法
Schröder Subdivision as a fundamental building block of digital geometry processing algorithms
CN115861558A (zh) 一种空间数据模型切片的多级简化方法
Hu et al. Research on 3d interactive model selection and customization of ceramic products based on big data cloud service platform
CN110610543A (zh) 一种建立三维路面和路口的方法及装置
Chang et al. Texture tiling on 3d models using automatic polycube-maps and wang tiles
Chen et al. A real-time sculpting and terrain generation system for interactive content creation
Hu et al. Pattern mapping with quad-pattern-coverable quad-meshes
CN101145246A (zh) 一种产生体积阴影的方法及***

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170725