CN1253647A - 视频压缩方法和装置 - Google Patents
视频压缩方法和装置 Download PDFInfo
- Publication number
- CN1253647A CN1253647A CN97180123A CN97180123A CN1253647A CN 1253647 A CN1253647 A CN 1253647A CN 97180123 A CN97180123 A CN 97180123A CN 97180123 A CN97180123 A CN 97180123A CN 1253647 A CN1253647 A CN 1253647A
- Authority
- CN
- China
- Prior art keywords
- image
- circuit
- block
- composograph
- motion vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/004—Predictors, e.g. intraframe, interframe coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
本发明是有关压缩计算机合成图像序列的数字数据方法的,此合成图像序列是用来描述脚本的场景主体的。此方法包括根据数字数据模拟场景的处理步骤(1,11)、用于在此合成图像(2,12)的图像块内从其模型和层间隔板创造合成图像的图像再现步骤、对来自根据至少一个供给剩余块(4i)的运动矢量确定的合成图像的图像块的当前图像进行差分编码。本发明的特征在于该运动矢量是从推导自该合成脚本计算而得,并确定构成该序列的场景主体的不同对象的视在运动。本发明对生产合成图像是有用的。对于视频游戏,本发明用于互动作用或生产虚拟现实。
Description
借助于计算机工具图像生成使创造所谓虚拟图像成为可能。人们以抽象的描述和数字计算作为创作的依据。这涉及到利用通过二维和三维图形库的方法收集,且此图形库可能利用加速图形卡型的有关硬件线路和API(表示“应用编程接口”)型的适当接口来加速。
创造这些图像的过程可以分解成不同的步骤。
上述过程的首要步骤是建立模型,即使用描述模型计算或获取对象。而描述模型的目的是描绘要素对象并装配它们以便构成可见场景。
让我们引用一个多边形模型作为例子,在此例子中对象被分成许多基本多边型或小平面。图元被用来定义、装配或修改这些基本的几何实体。
这些模型是可解释的:他们可能涉及的图形引擎的种类,例如三角形彩色(或“底纹),消除纹理混叠等。它们具有行为和视觉性能(即性质或能力),在行为方面,如运动、***,…和在视觉方面如如纹理、色彩、镜像效应等。当构成一个场景时,它们将能与它们所在的环境作用,与光、与其它对象发生作用。因此,其次有一在时间上管理这些模型的全球组织有关运动布景的机构,(这里指的是在时间的意义上为了实现给定的应用)它是,即方案或动画片的定义。
是后则是取决于应用(CAD、图像的生产和模拟等),这最后的步骤在于从方案创造出数字图象。这最终阶段称之为再现或图像再现方法,目的在于尽可能实现地描绘场景。在计算时间和对于所使用的模型和涉及的相关编程的数据所需的存储容量两个方面来看都可能非常昂贵。例如,再现方法,比如辐射度(radiosity)或光线跟踪(ray tracing)使得可能得到高质量的图像,但花费更大的是执行的计算算法非常复杂。
由数字图像所表示的信息量已经引起不同压缩标准的发展,例如JPEG,H.263,MPEG-1,MPEG-2,和最近MPEG-4其使之操作(不论是存储或传输)与现有的技术相兼容的大量信息成为可能。当今通用的MPEG-2标准借助于MPEG标准定义的不同特性和水平使这可能压缩所有现存的图像格式,其中为众所周知的是为通常电视格式图像所用的MP@ML(“Main Profile at MainLevel”)。根据现有技术进行这样视频图象压缩的解码器结构依靠的是不同类型的图像:内部、预测或双向(分别用I、P和B表示),其主要差别是以预测的时间模型。编码的核心基于DCT(离散余弦变换)通常使用频率信息量编码,以便使编码器的输出处获得必须遵守标准的二进制序列,即规定语法的二进制序列。
时间上的预测是通过及时地判断分离开的图像之间的运动,例如基于16×16象素大小的图像块。运动是从当前图像块和先前的或后续的图像查询窗口单元之间的相互关系推导出来的。其次每一8×8像素图像块是通过计算位移矢量加以预测的,而且仅对估计值和原始值之间的误差加以编码。
不论是常规的图像或合成图像,数据压缩均运用常规的处理方法,例如运动估算。进行这样计算的电路和有关的电路是复杂的,而且有关设备的成本也高。例如运动估算和运动补偿的插值法也许有MPEG-2型编码器一半的复杂。
仍然根据常规的处理方法,运动信息总不对应于实际的运动。它简单涉及与亮度信息的相互关系。构成图像运动矢量场不反映实际运动这一事实排除了最佳化的数据压缩,特别是在微分矢量编码的情形。这是因为对于相应于均匀运动区域的宏块(macroblock),在微分编码中传输等同的或稍有不同的矢量的价值小于传输随机矢量的成本。
况且,根据常规“块匹配”(“block match”)过程得到的运动矢量不必要反映实际的运动这一事实排除了为了进行高质量图像的插值和外推矢量场的利用,例如在频率转换和数字视频记录慢运动模等的转换期间。
不正确的矢量场也排除了编码新技术的利用,即使用图像而不是宏块的轮廓线新技术。这是因为根据这些新技术的数据压缩是基于图像分段和定交均匀区的这些分段的实际位称进行的。
因此,按照压缩程度或一定图像质量或在解码器上运动信息的有效利用程度,缺乏可靠性的运动估算排除了编码器性能的最佳化。
本发明的目的是要在合成图像编码过程中部分克服上述缺点。
最后,本发明的主题是一个压缩描述场景的一序列合成图像之数字数据的过程,此场景是脚本(Script)的主题。上述过程包括,根据数学数据模拟场景的处理步骤,用于由该模拟创造合成图像块而再现图像的步骤,根据至少一个合成图像的单元进行当前图像块差分编码的步骤,这个块是根据至少一个运动矢量被定义的,以便提供一个剩余块,其特征在于此运动矢量是由数学数据计算得到的,而该数学数据来源于生成脚本和定义的不同对象的视在运动,上述不同对象构成了作为序列图像主题的场景。
本发明的主题也是一种用来压缩描述场景的序列合成图像的数字数据的装置,此场景是脚本的主题,此装置包括模拟场景的处理电路;用于根据数学数据而合成的图像;用于图像再现和分割该图像成为图像块的电路,其接收到为了实现合成图象和分割所获的图像成为图像块来自处理电路的信号;图像块运动补偿电路,用于接收到来自处理电路的信号以便提供预测块;减法器,用于计算来源于图像再现和分割成图像块的电路的当前块和来源于运动补偿电路的预测块之差以便提供剩余块;离散余弦变换电路,用于来自图像再现和分割成图像块的电路的图像块或来源于该减法器的剩余块,作为能量判据的函数由模式选择电路进行的选择;用于对该变换系数量化的电路,其特征在于运动补偿电路利用由处理电路和表示构成该场景模拟对象之位移提供的数学数据以便计算与当前块和定义的预测块相关的运动矢量。
按照另一实施例,本发明的主题是一个装置,其用来压缩描述场景的序列合成图像的数字数据,此场景是脚本的主题,此装置包括模拟场景的处理电路;根据数字数据合成的图像;用于图像再现和分割该图像成为图像块的电路,其接收到为了实现合成图像和分割所获得图像成为图像块来自处理电路的信号;图像块运动补偿电路,其接收到来自处理电路的信号,其特征在于该运动补偿电路从序列N个图像中以内部模式传送一个图像,N是一个预先决定的数,此图像N是由再现计算和分割成图像块电路再现计算出来的主题,而其它的图像则以相互方式经由代表当前块与预测块之差的剩余块传送的,在此剩余块是零并由数学数字计算的单元运动矢量定义。
通常,图像再现技术相当于代表象图像这样的面向对象的方案,脚本(即,方案)包括有关场景中对象和他们不同性质所有可能的信息。在图像合成的情况下,二维或三维的脚本在整个过程中给出了对象的精确位移。然后脚本用来产生最后的数字视频图象(再现)。因此不是使用组成可视图像像素的信息,为了估算运动,模拟工具被用来计算图像序列中的实际运动。
除了减少复杂性之外,通过使用实际运动而不是估算的运动,是可能改进预测质量和编码器的整体性能。
本发明其它的特征和优点在随后作为非限制例子给出描述和其附图提供的描述中将变得十分清楚。
图1是根据本发明的视频压缩设备的体系结构;
图2是经简化后设备体系结构。
图1根据本发明给出了其设备第一方案的描述。
如上述解释,有关图像生成的计算非常复杂,通常由专用工作站来执行。在这里,这样一个专用工作站被称为处理电路1、它执行的一个场景的模拟,而这个场景是基于先前为了创造代表此场景的合成图像目的而定义的,并且此场景是脚本的主题。由处理电路得到的信息被并行地传输给图象再现电路2和接口电路6。再现电路的输出被并行连接到用于分割图像块3的电路输入端和运动补偿电路7的第一输入端。
分割电路的第一输出端被直接连接到模式选择电路5的第一输入端。
分割电路的第二输出端i被连接到减法器的4i的第一输入端。减法器4i的输出端被连接模式选择电路5第二输入端i。
接口电6的输出端被连接到运动补偿电路7的第二输入端。电路7的输出端i被连接到减法器4i的第二输入端。
模式选择电路5的输出端被连接到穿过以串联方式连接的离散余弦变换计算电路8、量化电路9和可变长编码电路10形成的器件的输出端。可变长编码电路的输出端(也是上述器件的输出端)也被返回到量化电路9(包括位率调节)的第二输入端。运动补偿电路7的另一个输出端被连接到可变长编码电路10的第二输入端。在此例子中,运动补偿7是在没有先前解码图像下执行的,即是重建图像。可能发生预测误差积累问题,即所谓漂移现象。为了改进这个过程,可以使用反量化和反DCT的负反馈回路,即用先前的解码图像供给补偿电路7。
因此,处理电路1表示一个方案的数学公式所要求的计算机工具。如上述解释此电路的功能是以三维方式模拟一个场景,即定义构成此场景对象的和脚本规定的运动数学方程。这些数学模拟数据也可来源于易理解的处理电路和存储例如预定义模型的计算机文件。
图像再现电路的作用是创造合成图像。它进行从模拟的场景到像素的转换。对于得到的图像亮度的数字化信息被传送到分割电路3,这个电路进行每个图像分割成宏块即根据MPEG-2标准大小16×16像素单元是由四个8×8像素图像块组成的。
接口电路6的作用是转换由应用(这里指的是图像生成)给定的位移信息。成为一个宏块运动场,这个场是被传送到运动补偿电路70对每个宏块至少与一个运动矢量相关。这个矢量是从模拟一个运动矢量相关。这个矢量是从模拟一个场景的数学数据通过这个接口电路计算得到的。此模拟场景是从处理电路1接收到的。数学变换例如平移、旋转、等是由与每个宏块相联系的二维矢量代表的。
当然,运动矢量代表对象的明显的运动,例如考虑此场景的视点位移的对象运动。
此位移的变换被执行如下:
让我们假定此位移是由三维矢量定义的对象平移,三维矢量在图像平面内的投影给出了在平面(Dx,Dy)上的坐标矢量。对于表示此对象一部分的整个图像宏块与之相联系的同样的矢量被考虑为例如用MPEG标准定义的运动矢量(Dx,Dy)。
特殊情况仍然存在覆盖或未覆盖的区域例如在对象边界外的宏块。
就边界块而论,最简单的解在于获得宏块的大多数矢量即对应于在宏块内最的大多数像素的矢量,如与宏块相关的运动矢量。选择相对应于对象的矢量而不是背景的矢量也是可能的。这个选择不是最重要的,因为所描述的设备具有模式选择电路,此电路将选择最适合的模式。例如,如果重建(估算运动)不理想,则选择内部模式。
考虑覆盖或未覆盖的宏块,如果知道对应于这些覆盖或未覆盖的宏块区域,将难于重建。最简单的解是分配零运动到宏块。一个更复杂的解由MPEG-2语法提供,它为相对于B(双向)图像的前向和反向矢量进行了准备。然后这两种类型的矢量根据由处理电路1提供的数据由运动接口电路6进行计算。因此,这两类矢量被考虑为与被处理的宏块相关的前向和反向运动矢量。那么,未覆盖区域能够由前向(在时间上)运动被重建,覆盖区域能够由反向运动重建。编码模式选择也能在此由模式选择电路执行。
事实上,MPEG标准使得分配不同类型的矢量到宏块成为可能:
“前向”或“反向”单一方向型矢量,相应于处理宏块的图像其分别考虑为先前的图像和后续的图像;
在此情形下所利用的双向型矢量,模式选择电路选择双向预测模式。事实上这涉及到通过前向矢量和反向矢量与宏块相关的两个矢量,此处理的宏块与一个宏块相匹配,后者的宏块是由这些矢量定义的两个宏块的平均值,此平均值是匹配像素亮度和至处理宏块之时间距离的函数。这些矢量可能与上述定义的那些矢量是相同的。
运动补偿电路7根据运动矢量场和再现计算电路传输的先前(和随后)的图像执行预测图像(即运动补偿图像),计算和执行分割所获图像成为宏块。
由分割电路3传输的当前的宏块在减法器4的正输入端被接收,预测图像对应的宏块,其被补偿电路7传输,在减法器的负输入端被接收。在减法器的输出端现有“剩余”,即对应于有关每个像素形成差别的宏块,被传输到模式选择电路5。
事实上对于上面定义每个类型的运动矢量都对应于一个由补偿电路计算出的预测图像。因此,该电路有多个输出n的选择矢量类型,而每个输出被连接到减法器4i,它在另一个输入端接收图像的当前字块。所有计算的残差类型被传输到模式选择电路的n输入端,模式选择电路在另一输入端也接收直接来自分割电路3的通用的单元。
模式选择电路5确定宏块将被编码的模式。现存的编码模式举例如下:
---有运动补偿的编码或没有运动补偿的编码,即有或没运动矢量的传输;
---内部或非内部编码(图像间编码、同奇偶性或不同奇偶性的帧间编码、预测之间或预测双向编码等);
---如果非内部编码,或非残差编码(在此情况下,残差非常小)。
模式的选择是通过执行每个模式宏块能量计算和选择给出最小能量的模式由模式选择电路完成的,在大多数情况下,能量计算大约是绝对值的和。
然后选择单元进行离散余弦变换、量化和可变长编码型编码。位率在装置的输出处被引出以便传输到量化器,通过位率规则单元的方式按照模数变换间隔运行的规则循环,为了简化起见,包括在量化电路内。
与处理的宏块相关的矢量通过运动补偿电路被传输到可变长编码电路10,该电路用宏块数字变换系数进行这些值的多路变换。
当然,例如通过限制提供给减法器的预测宏块的类型简化这个装置是可能的。当接口电路能够从具有的信息中推导出承认最相关的模式时,模式的选择将通过接口电路向部分上游进行。
其次,接口电路发送一个模式信号给模式选择电路5一个补充输入以便利用这个模式。这个模式选择电路则是一个简化的电路。
另一个直观实施例描述在图2中。
处理电路11的输出端被并行连绕到图像再现计算电路12的输入端和运动接口电路13的输入端。双向链接指令连接上述最后两个电路。图像再现计算电路12的输出端被连接到以串联方式穿过离散余弦变换计算电路14、量化电路15和可变长编码电路16的装置的输出端。可变长编码电路的输出端(其是该装置的输出端)也被返回到量化电路15的第二输入端以便构成一个规则的循环。
运动接口电路13的输出端被连结到可变长编码电路16的第二输入端。处理电路11有如在图1中所描述的相同特性和功能。
由电路12执行的再现计算在意义上不同于图1所描述的那样,即图1是通过取样来执行的,即对于图像,被传送图像序列的每N个图像被执行。
由这个电路所构成的图像然后被分制成宏块和图像块,它的功能也被这个图像再现电路所执行。这些单元被连续地传输到执行这些单元的余弦变换用于计算离散余弦变换14的电路,到执行变换系数的量化、等待和这些系数的编序的量化电路15,以及最后到用于执行编序数据的熵编码的可变长编码电路16。规则化循环在此装置中输出端引出位率,以便提供位率规则电路构成量化器15,其按照量化间隔以便执行这样的规则。
运动接口电路13计算运动矢量场在一定意义上类似于图1中运动接口电路6所描述的。而且运动接口电路13传送运动矢量中分配到当前处理宏块的矢量到可变长度编码电路。该电路也提供对应于这或这些矢量的模式信号。编码电路执行与当前宏块连同编码模式和这个宏块的变换及数字变换数据相联系的多路运动矢量。以便传输所有这些作为装置的输出。
运动接口电路13和再现计算电路12之间的链接使得可以交换有关分割成宏块、传输到离散余弦变换电路的当前宏块和编码模式等等信息。
图像再现过程(其耗费了大量计算时间)因而再次被简化。这个概念在于仅仅使用一定的合成图像和图像间的运动,然后此图像随即消逝。计算的合成图像及时地被分开(即每N个图像周期一个图像)然后典型的通过编码器以内部模式编码代表的图像。所谓的失去的图像即没有被计算,也没有被传输,也没有被存储。解码器借助于运动信号负责创造它们(运动信号然后传送给解码器)。因此,所有一切发生好像编码器是在一个预测误差图像为零的构造中(补偿运动预测被消除了)。
由电路13传输的编码模式从属于由再现电路处理的图像。对应于内部编码计算的图像,对于这些图像的运动矢量不被传输。中间图像同零预测误差一起被考虑为以内部模式编码的图像(剩余宏块的系数为零),由运动矢量代表的运动是被实际计算而不是估算的运动,而且合成图像是被假定无噪声。如上文所示的那样,在解码器处,这些中间图像被从内部图像和每个中间图像传输的运动矢量中再创建。
在此应用中,宏块方向的运动(运动矢量)可能是不精确的,边界块的缺陷没有被更正,而且在内部图像之间的照明假设是恒定的。这样一个装置保留应用于图像质量较差的应用中,例如,在视频游戏中。处理速度、数据压缩、构造的成本是加在这种图像质量较差的装置上的特性。
这类装置的首要改进在于按照图像质量、编码模式取决于处理宏块的类型。在图2中用虚线表示的误差接口电路17被增加执行此新的功能。
这个电路接收来自于处理电路11的信息以便用图像再现计算电路12交换有关当前宏块编码的信息。
它的作用是检测主要发生在运动中的对象外形误差。对相关的宏块提供特定的处理。当被传输的宏块是边界块时,或者根据处理电路11产生的信息为了计算误差由此线路计算的信息或者通过图像描述计算电路接收来自运动接口电路13的信息,误差接口电路强加于图象描绘计算电路和强加于为这些边界块图象描绘的计算。这个规模然后被强加于这个宏块内部和向运动接口电路13传输的信息。对于以相互模式编码的图像恰好对应于此图像的这些,因此一个简化的再现计算通过图像描述计算电路12被执行。
此装置的第二个改进在于增加一个照明接口18其在图2中以虚线表示。
照明接口18接收来自处理电路11的信息以便用图像再现计算电路12交换关于当前宏块编码的信息。
该电路的功能是转变照明模型成为编码器的误差图象。由一个对象信号到根据MPEG标准编码适合的信号的开关被执行,例如通过考虑由一个图象到另一个图象的改变作为预测的误差。由一个图像到另一个图像处理宏块有关照度上的变化的信号通过照明接口18被传输到图像描述计算电路12,然后这个信号被再现电路以剩余块形式传输到DCT计算电路,考虑这个信号作为预测误差。运动接口13同时传输对于这个处理宏块计算的运动矢量和对应的模式类型。在解码器上重建的单元将是对应于剩余块被增加的那个运动矢量。
这个装置的第三个改进在于增加一个区域接口19,其使得传输区域信号到量化器15成为可能。
区域接口19接收来自处理电路11的信号,交换有关用图像再现计算电路12编码当前块的信息,和传输区域信息到量化器15。
这个接口分割图象成为区域,作为起源于处理电路11模拟信息的函数。标号被分配给每个区域或更精确的到每个单元作为标号属于那个区域和数据的函数,这个数据是考虑图像块方向分割起源于图像再现计算电路12的数据。由量化电路15计算得到的量化间隔被修改为这个标号的函数,以这种方式通过量化间隔传输区域信号“运送”到解码器。这个修改可能取决于这些区域的特征:对于不均匀区和/或低运动区减小量化间隔,而对于高度纹理区域或大运动区则增加量化间隔。因此考虑到这样一个事实,即对于高度纹理区域或大运动区域,单元内的缺陷不易察觉,因此就一定的位率而言,解码图像的质量将被改善。
就运动矢量而论,同样技术可用于属于模棱两可的情况:如果主要区域在一个块中的大多数,则称是该块属于该主要区域(多数模式),如果主要对象形成一个块的一部分(仅仅是部分),则称该块属于该图像的主要对象(主要对象模式)。
这个接口使之有可能改进编码器的性能和可能的应用:例如对于非均区域或小运动区利用减小量化间隔的主观改进,如已经看到的二维或三维的应用,利用区域信号对于解码器在相互作用上的改进。
当然这些是解释性的实施例,根据要求的图像质量、探求的应用、要求处理的速度或压缩度,不同的可供选择办法还可联合或单元单独地采取。
因此图2装置可能很好地嵌入图1装置的功能中,反之亦然。例如,再现计算电路和分割图像块电路12根据来自运动补偿电路13的信息为了计算微分单元或剩余块也可执行减法器4i的功能。以及电路12为了提供具有图像块的DCT电路14也可执行模式选择的功能。运动模式数量的增加当然增加电路的复杂性。
关于传输的压缩数据和解码两者描述的过程和是完全与MPEG型数据压缩标准兼容的。
本专利的应用是为电视游戏就交互式应用或虚拟现实应用在生产过程中(虚拟演播室、卡通、视频合成或影片、特殊效果)合成图像。
本发明可实施于嵌入平台(工作站、游戏控制台)被给予利用本发明获得的简单性水平。
Claims (12)
1.一种用于压缩描述作为脚本的主题的场景的合成图像序列的数字数据的过程,其中包括,用于根据数学数据为模拟场景的处理步骤(1,11),用于由模拟创造合成图像和分割此合成图像成为图像块(2,12)而再现图像的步骤,根据至少一个合成图像的单元进行当前图像块差分编码的步骤,这个单元是根据至少一个运动矢量被定义的,以便提供一个剩余块,其特征在于,此运动矢量是由数学数据计算得到的,而该数学数据来源于生成脚本和定义的不同对象的视在运动,上述不同对象构成了作为序列图像主题的场景。
2.根据权利要求1所述的过程,其特征在于,图像再现(2,12)仅对N个序列中的一个图像执行,N是预定的数字,此图像以内部模式被编码,和差分编码(4i)是在中间图像的块上被执行。
3.根据权利要求2所述的过程,其特征在于,作为被编码的中间图像的当前图像块是与由运动矢量匹配的合成图像相同的,以便于提供具有零剩余的单元。
4.根据权利要求1、2或3所述的过程,其特征在于,一个图像的边界图像块的编码被强制到内部模式。
5.根据权利要求1或2所述的过程,其特征在于,用于计算合成图像的照度信号被利用(18)来计算剩余块(12),用于对当前块编码作为由与当前块相关的运动矢量相匹配的先前图像块和当前块之间的照度差异的函数。
6.根据上述权利要求之一的过程,其特征在于,此过程实现图像分割(19),分配一个标号给每一个图像块,以及改变量化的间隔(15)作为标号的函数以便输送一个区域信号。
7.根据权利要求6所述的过程,其特征在于对于属于有高度纹理或大运动区域的块,增加其量化的间隔,对于属于均匀的或有小运动区域,则减少量化的间隔。
8.用于压缩描述场景的序列合成图像的数字数据的装置,此场景是脚本的主题,此装置包括用于模拟场景的处理电路(1)、要根据数学数据合成的图象、用于再现图像和分割该图像(2)成为图像块的电路其接收用于实现合成图像和分割所获得的图像成为图像块的来自处理电路(1)的信号、图像块运动补偿电路(7)其接收来自处理电路的信号以便提供预测块、用于计算来源于图像再现和分割成图像块(2)的电路的当前块和来源于运动补偿电路(7)的预测块之差以便提供剩余块的减法器(4i)、用于来源于图像再现和分割成像单元(3)的电路的图像块和来源于该减法器(4i)的剩余块的离散余弦变换电路(8)、作为能量判据的函数由模式选择电路(5)进行的选择、用于量化变换系数的电路(9),其特征在于,运动补偿电路(7)利用由处理电路(1)和表示构成该场景模拟对象之位移提供的数学数据以便计算与当前块和定义所预测块相关的运动矢量。
9.用于压缩描述作为脚本的主题的场景的系列合成图像的装置,此装置包括模拟场景的处理电路(1,11)、根据数学数据所生成的图像、再现图像和分割该图像(2,12)成为图像块的电路其接收到为了实现合成图像和分割所获得图像成为图像块来自处理电路(1,11)的信号、接收到来自处理电路(1,11)的信号的图像块运动补偿电路(7,13),其特征在于,该运动补偿电路从序列的N个图像中以内部模式传送一个图像,N是一个预定的数,此图像N是由再现计算和分割成图像块(2,12)电路再现计算出来的主题,而其他的图像则以相互模式经由代表当前块与预测块之差的剩余块传送的,在此剩余块是零并由数学数字计算的单个运动矢量定义的。
10.根据权利要求9所述的装置,其特征在于,以相互模式传送的其它图像的剩余块是根据照明接口电路(18)来进行计算的,照度接口电路的功能是测量当前块和根据数学数据预测的单元之间的照度差。
11.根据权利要求9或10所述的装置,其特征在于,此装置包括一个误差接口电路(19)其用以检测当前块与预测块之间的误差,以便当预测块的误差超过一定阈值时强制以内部模式编码当前块。
12.根据权利要求8至11中的任何一项所述的装置,其特征在于,该数字数据根据MPEG-2模式或其导出格式进行压缩。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR96/14601 | 1996-11-28 | ||
FR9614601A FR2756399B1 (fr) | 1996-11-28 | 1996-11-28 | Procede et dispositif de compression video pour images de synthese |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1253647A true CN1253647A (zh) | 2000-05-17 |
CN1099656C CN1099656C (zh) | 2003-01-22 |
Family
ID=9498128
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN97180123A Expired - Fee Related CN1099656C (zh) | 1996-11-28 | 1997-11-24 | 视频压缩方法和装置 |
Country Status (12)
Country | Link |
---|---|
US (1) | US6501796B1 (zh) |
EP (1) | EP0941522B1 (zh) |
JP (1) | JP4338787B2 (zh) |
KR (1) | KR100499057B1 (zh) |
CN (1) | CN1099656C (zh) |
AU (1) | AU5228798A (zh) |
BR (1) | BR9713157A (zh) |
DE (1) | DE69715239T2 (zh) |
FR (1) | FR2756399B1 (zh) |
ID (1) | ID23677A (zh) |
RU (1) | RU2209527C2 (zh) |
WO (1) | WO1998024061A1 (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100357888C (zh) * | 2005-01-05 | 2007-12-26 | 英业达股份有限公司 | 游戏开发***以及方法 |
CN102833490A (zh) * | 2011-06-15 | 2012-12-19 | 新诺亚舟科技(深圳)有限公司 | 一种互动视频的编辑播放方法、***及电子学习设备 |
CN101479770B (zh) * | 2006-07-07 | 2013-03-06 | 艾利森电话股份有限公司 | 简化矢量图像的装置和方法 |
Families Citing this family (40)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1061750A3 (en) * | 1999-06-18 | 2010-05-05 | THOMSON multimedia | Picture compression process, especially of the MPEG2 type |
US6891893B2 (en) * | 2000-04-21 | 2005-05-10 | Microsoft Corp. | Extensible multimedia application program interface and related methods |
US7649943B2 (en) * | 2000-04-21 | 2010-01-19 | Microsoft Corporation | Interface and related methods facilitating motion compensation in media processing |
US7634011B2 (en) * | 2000-04-21 | 2009-12-15 | Microsoft Corporation | Application program interface (API) facilitating decoder control of accelerator resources |
US6940912B2 (en) * | 2000-04-21 | 2005-09-06 | Microsoft Corporation | Dynamically adaptive multimedia application program interface and related methods |
EP1460377A3 (de) * | 2003-03-21 | 2004-09-29 | Leica Geosystems AG | Verfahren und Vorrichtung zur Bildverarbeitung in einem geodätischen Messgerät |
US20050135481A1 (en) * | 2003-12-17 | 2005-06-23 | Sung Chih-Ta S. | Motion estimation with scalable searching range |
JP4591657B2 (ja) * | 2003-12-22 | 2010-12-01 | キヤノン株式会社 | 動画像符号化装置及びその制御方法、プログラム |
US7983835B2 (en) | 2004-11-03 | 2011-07-19 | Lagassey Paul J | Modular intelligent transportation system |
US8031190B2 (en) | 2004-05-03 | 2011-10-04 | Microsoft Corporation | Translating two-dimensional user input on three-dimensional scene |
US8780957B2 (en) | 2005-01-14 | 2014-07-15 | Qualcomm Incorporated | Optimal weights for MMSE space-time equalizer of multicode CDMA system |
EP1867173A2 (en) | 2005-03-10 | 2007-12-19 | QUALCOMM Incorporated | Content adaptive multimedia processing |
KR20080016696A (ko) | 2005-05-31 | 2008-02-21 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 이미지 처리를 위한 변환 파라미터들의 계산 |
KR100716999B1 (ko) | 2005-06-03 | 2007-05-10 | 삼성전자주식회사 | 영상의 대칭성을 이용한 인트라 예측 방법, 이를 이용한영상의 복호화, 부호화 방법 및 장치 |
US8879635B2 (en) | 2005-09-27 | 2014-11-04 | Qualcomm Incorporated | Methods and device for data alignment with time domain boundary |
US8654848B2 (en) | 2005-10-17 | 2014-02-18 | Qualcomm Incorporated | Method and apparatus for shot detection in video streaming |
US8948260B2 (en) | 2005-10-17 | 2015-02-03 | Qualcomm Incorporated | Adaptive GOP structure in video streaming |
US9131164B2 (en) | 2006-04-04 | 2015-09-08 | Qualcomm Incorporated | Preprocessor method and apparatus |
US20080043832A1 (en) * | 2006-08-16 | 2008-02-21 | Microsoft Corporation | Techniques for variable resolution encoding and decoding of digital video |
US8773494B2 (en) | 2006-08-29 | 2014-07-08 | Microsoft Corporation | Techniques for managing visual compositions for a multimedia conference call |
KR101031624B1 (ko) | 2006-09-20 | 2011-04-27 | 니폰덴신뎅와 가부시키가이샤 | 화상 부호화 방법 및 복호 방법, 그 장치 및 그 프로그램을 기록한 기억매체 |
US8290289B2 (en) | 2006-09-20 | 2012-10-16 | Nippon Telegraph And Telephone Corporation | Image encoding and decoding for multi-viewpoint images |
BRPI0717639A2 (pt) | 2006-10-30 | 2013-11-12 | Nippon Telegraph & Telephone | Método de geração de informações de referência preditas, métodos de codificação de decodificação de vídeo, aparelhos destinados aos mesmos, programas destinados aos mesmos, e mídias de armazenamento que armazenam os programas |
JP4826546B2 (ja) * | 2007-06-18 | 2011-11-30 | ソニー株式会社 | 画像処理装置、画像処理方法、及びプログラム |
RU2486609C2 (ru) * | 2008-06-19 | 2013-06-27 | Панасоник Корпорейшн | Квантователь, кодер и их способы |
WO2010011557A2 (en) * | 2008-07-20 | 2010-01-28 | Dolby Laboratories Licensing Corporation | Encoder optimization of stereoscopic video delivery systems |
JP5169978B2 (ja) * | 2009-04-24 | 2013-03-27 | ソニー株式会社 | 画像処理装置および方法 |
EP2433429B1 (en) * | 2009-05-18 | 2018-09-12 | Koninklijke Philips N.V. | Entry points for 3d trickplay |
KR101457894B1 (ko) | 2009-10-28 | 2014-11-05 | 삼성전자주식회사 | 영상 부호화 방법 및 장치, 복호화 방법 및 장치 |
CN102742276B (zh) | 2010-02-09 | 2016-08-03 | 日本电信电话株式会社 | 运动向量预测编码方法、运动向量预测解码方法、活动图像编码装置、活动图像解码装置及其程序 |
ES2652337T3 (es) | 2010-02-09 | 2018-02-01 | Nippon Telegraph And Telephone Corporation | Procedimiento de codificación predictiva para vector de movimiento, procedimiento de decodificación predictiva para vector de movimiento, dispositivo de codificación de imagen, dispositivo de decodificación de imagen, y programas para ello |
CA2788952A1 (en) * | 2010-02-09 | 2011-08-18 | Nippon Telegraph And Telephone Corporation | Motion vector predictive encoding method, motion vector predictive decoding method, moving picture encoding apparatus, moving picture decoding apparatus, and programs thereof |
KR20150013776A (ko) * | 2010-04-09 | 2015-02-05 | 미쓰비시덴키 가부시키가이샤 | 동화상 부호화 장치 및 동화상 복호 장치 |
RU2591656C2 (ru) * | 2010-07-26 | 2016-07-20 | Конинклейке Филипс Электроникс Н.В. | Определение репрезентативных изображений для видеоинформации |
CA2813232C (en) * | 2010-09-30 | 2020-02-04 | Mitsubishi Electric Corporation | Moving image encoding device, moving image decoding device, moving image coding method, and moving image decoding method |
CN102055982B (zh) * | 2011-01-13 | 2012-06-27 | 浙江大学 | 三维视频编解码方法及装置 |
RU2476933C1 (ru) * | 2011-06-16 | 2013-02-27 | Федеральный научно-производственный центр Открытое акционерное общество "Научно-производственное объединение "Марс" | Способ моделирования изображений с изменяющимися корреляционными свойствами |
CN104011792B (zh) * | 2011-08-19 | 2018-08-24 | 亚历山大·日尔科夫 | 多结构的、多级信息形式化和结构化方法和相关联的装置 |
EP2940598B1 (en) | 2013-08-19 | 2019-12-04 | Huawei Technologies Co., Ltd. | Data object processing method and device |
RU2557449C1 (ru) * | 2014-04-07 | 2015-07-20 | Федеральное государственное казенное военное образовательное учреждение высшего профессионального образования "Военная академия связи имени Маршала Советского Союза С.М. Буденного" Министерства Обороны Российской Федерации (Минобороны России) | Способ кодирования и декодирования видеоинформации на основе трехмерного дискретного косинусного преобразования |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2144253C (en) * | 1994-04-01 | 1999-09-21 | Bruce F. Naylor | System and method of generating compressed video graphics images |
US5486863A (en) * | 1994-04-29 | 1996-01-23 | Motorola, Inc. | Method for determining whether to intra code a video block |
EP0815536A1 (en) * | 1995-03-22 | 1998-01-07 | IDT INTERNATIONAL DIGITAL TECHNOLOGIES DEUTSCHLAND GmbH | Method and apparatus for coordination of motion determination over multiple frames |
-
1996
- 1996-11-28 FR FR9614601A patent/FR2756399B1/fr not_active Expired - Fee Related
-
1997
- 1997-11-24 WO PCT/FR1997/002118 patent/WO1998024061A1/fr active IP Right Grant
- 1997-11-24 ID IDW990439D patent/ID23677A/id unknown
- 1997-11-24 DE DE69715239T patent/DE69715239T2/de not_active Expired - Lifetime
- 1997-11-24 EP EP97947128A patent/EP0941522B1/fr not_active Expired - Lifetime
- 1997-11-24 BR BR9713157-1A patent/BR9713157A/pt active Search and Examination
- 1997-11-24 KR KR10-1999-7004479A patent/KR100499057B1/ko not_active IP Right Cessation
- 1997-11-24 RU RU99113845/09A patent/RU2209527C2/ru not_active IP Right Cessation
- 1997-11-24 US US09/308,518 patent/US6501796B1/en not_active Expired - Lifetime
- 1997-11-24 AU AU52287/98A patent/AU5228798A/en not_active Abandoned
- 1997-11-24 JP JP52435798A patent/JP4338787B2/ja not_active Expired - Fee Related
- 1997-11-24 CN CN97180123A patent/CN1099656C/zh not_active Expired - Fee Related
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100357888C (zh) * | 2005-01-05 | 2007-12-26 | 英业达股份有限公司 | 游戏开发***以及方法 |
CN101479770B (zh) * | 2006-07-07 | 2013-03-06 | 艾利森电话股份有限公司 | 简化矢量图像的装置和方法 |
CN102833490A (zh) * | 2011-06-15 | 2012-12-19 | 新诺亚舟科技(深圳)有限公司 | 一种互动视频的编辑播放方法、***及电子学习设备 |
Also Published As
Publication number | Publication date |
---|---|
US6501796B1 (en) | 2002-12-31 |
KR20000057175A (ko) | 2000-09-15 |
ID23677A (id) | 2000-05-11 |
RU2209527C2 (ru) | 2003-07-27 |
DE69715239D1 (de) | 2002-10-10 |
JP2001505381A (ja) | 2001-04-17 |
FR2756399B1 (fr) | 1999-06-25 |
EP0941522A1 (fr) | 1999-09-15 |
DE69715239T2 (de) | 2003-05-08 |
JP4338787B2 (ja) | 2009-10-07 |
AU5228798A (en) | 1998-06-22 |
FR2756399A1 (fr) | 1998-05-29 |
EP0941522B1 (fr) | 2002-09-04 |
WO1998024061A1 (fr) | 1998-06-04 |
KR100499057B1 (ko) | 2005-07-01 |
BR9713157A (pt) | 2000-02-08 |
CN1099656C (zh) | 2003-01-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1099656C (zh) | 视频压缩方法和装置 | |
US11417029B2 (en) | Method and apparatus for point cloud coding | |
CN100512431C (zh) | 用于编码和解码立体视频的方法和装置 | |
Merkle et al. | The effects of multiview depth video compression on multiview rendering | |
CA2702769C (en) | Motion estimation and compensation of video object planes for interlaced digital video | |
AU2020397870A1 (en) | Method and apparatus for point cloud coding | |
US20210329270A1 (en) | Method and apparatus for point cloud coding | |
CN102055982A (zh) | 三维视频编解码方法及装置 | |
CN1220550A (zh) | 用于隔行形状编码器的模式编码方法及装置 | |
CN1258925C (zh) | 多视角视频编解码预测补偿方法及装置 | |
CN101243692A (zh) | 对多视角视频进行编码的方法和设备 | |
CA3138068C (en) | Method and apparatus for point cloud coding | |
CN111432210A (zh) | 一种基于填充的点云属性压缩方法 | |
CN111641834B (zh) | 点云编码的方法和装置、计算机设备和存储介质 | |
CN103813173B (zh) | 基于bcim的3d‑hevc快速帧内预测方案 | |
WO2023177422A1 (en) | Predictive coding of boundary geometry information for mesh compression | |
CN1231800A (zh) | 数字化图像的图像编码的方法 | |
WO2023183032A1 (en) | Convolutional approach to fast and compact packing of 3d mesh into 2d maps | |
WO2022103442A1 (en) | Method and apparatus for point cloud coding | |
Stefanoski et al. | Image quality vs rate optimized coding of warps for view synthesis in 3D video applications | |
Naik et al. | Surface light field coding for dynamic 3 d point clouds | |
US20230281876A1 (en) | Mesh compression with constrained geometry dynamic range | |
US20220392114A1 (en) | Method and apparatus for calculating distance based weighted average for point cloud coding | |
Ferguson et al. | Fractal transform techniques for very low bit rate video coding | |
Li et al. | MPEG Video-Based Point Cloud Compression (V-PCC) Standard |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20030122 Termination date: 20141124 |
|
EXPY | Termination of patent right or utility model |