CN1062701C - 用于编码目标轮廓的装置 - Google Patents

Abstract

一轮廓编码装置基于多边形近似，确定先前帧的先前轮廓上的顶点。对两顶点间各第一直线段上的预定数目的抽样点计算一组第一近似误差，并得到其第一组离散正弦变换系数。基于顶点信息及当前帧的当前轮廓检测预定的顶点。对两顶点间各第二直线段上的预定数目的抽样点计算一组第二近似误差，并得到其第二组离散正弦变换系数，在通过从相应的第一组离散正弦变换系数中减去第二组离散正弦系数确定一组差值后被编码发送，减少了传输数据量。

Description

用于编码目标轮廓的装置

本发明涉及一种对目标轮廓进行编码的装置；特别地，涉及一种可通过使用顶点运动估算而减少被发送的数据量的轮廓编码装置。

在诸如电视电话、电视会议及高清晰度电视***的数字视频***中，为了确定每个视频帧信号需要大量的数字数据，因为在视频帧信号中的视频行信号内包括一序列被称为象素值的数字数据。但是，由于在传统的传输信道中可获得的频带宽度是有限的，为了通过这种传输信道传输大量的数字数据，不可避免地要通过使用各种数据压缩技术来压缩或减少数据量，尤其是在如电视电话及电视会议***这样的低比特率视频信号编码器的情况下。

这些用于低比特率编码***对视频信号进行编码的方法中的一种是所谓的面向目标的分析一合成编码技术(见Michael Hotter写的“基于运动两维目标的面向目标的分析-合成编码”，Signal Processing:Image Communication 2，第409-428页(1990年12月)。

根据该面向目标的分析-合成编码技术，输入视频图象被分成目标，且用于确定每个目标的运动轮廓及象素数据的三组参数通过不同的编码信道被处理。

具体地，在处理目标轮廓时，轮廓信息对于物体形状的分析及合成是很重要的。用于表示轮廓信息的传统编码方法是一种链式编码技术。虽然没有轮廓信息的丢失，但是，链式编码方法需要大量的比特。

为此，对目标的轮廓近似的多种方法已被建议出来，例如多边形近似及B-样条函数近似方法。在多边形近似方法中其缺点之一是轮廓图象表示粗糙。B-样条函数近似法正相反，能更精确地表示轮廓图象，但它需要高阶多项式来减少近似误差，由此增加了视频编码器的整体计算复杂性。

为了改善多边形及B-样条函数近似方法的目标轮廓表示粗糙及整体计算复杂性问题而引入的一种技术是采用离散正弦变换(DST)的轮廓近似的方法。

在同一持有人的待审美国专利申请：08/423,604号(名为“用来表示目标轮廓的轮廓近似装置”)中公开的一种采用基于多边形近似及DST的轮廓近似技术的装置中，确定一些顶点并通过使用以直线段适配轮廓的多边形近似来近似目标轮廓。且，对各直线段选取N个抽样点并且顺序计算出位于各直线段上N个抽样点的每一个的近似误差以对各直线段得到一组近似误差。该N个抽样点等分各直线段并且各近似误差表示N个抽样点的各个点与轮廓间的距离。之后，通过在各组近似误差上执行一维DST操作生成各组DST系数。

尽管通过使用基于上述DST的轮廓近似可能修正了粗糙的表示及整体计算的复杂性，但由于每帧的DST系数都必须被发送，从而导致了传输数据量的增加。

因此，本发明的主要目的是提供一种改进的用于编码目标的轮廓的装置，其通过使用顶点运动估算技术可减少传输的数据量。

根据本发明，提供了一种用于对以数字视频信号表达的目标的轮廓进行编码的装置，该数字视频信号具有多个包括一当前帧及一先前帧的帧，该装置包括有：一第一轮廓检测器，用于检测先前帧内目标的边界以生成一先前轮廓，其中该先前轮廓提供了用于描绘先前帧中目标的轮廓的先前边界信息；一多边形近似部分，用于确定先前轮廓上的一些顶点，并用于通过由多条第一直线段适配该先前轮廓来提供该先前轮廓的多边形近似，从而生成表示该先前轮廓上顶点位置的顶点信息，各第一直线段连接两相邻的顶点；一第一抽样及误差检测器，用于为各第一直线段提供N个抽样点并为各第一直线段上N个抽样点的每点计算误差以为各第一直线段产生第一组误差，其中所述N个抽样点等分各第一直线段且该第一组误差中的每个误差表示所述N个抽样点的每点与该先前轮廓之间的距离；一第一变换电路，用于将各第一直线段的该第一组误差变换成第一组离散正弦变换系数；一第二轮廓检测器，用于检测当前帧内目标的边界以生成一当前轮廓，其中该当前轮廓提供了用于描绘当前帧中目标轮廓的当前边界信息；一顶点预测单元，用于基于通过使用顶点信息及来自当前轮廓的当前边界信息的当前及先前帧之间的运动的估算，检测预测的顶点从而提供预测的顶点信息及运动矢量，该预测的顶点信息表示预测的顶点的位置且该运动矢量表示一顶点与其相对应的预测的顶点间的位移；一第二抽样及误差检测器，用于为连接两预测顶点的各第二直线段提供N个抽样点并为各第二直线段上N个抽样点的每点计算一误差以为各第二直线段产生一第二组误差，其中所述N个抽样点等分各第二直线段且各第二组误差中的各误差表示所述N个抽样点的每点与该当前轮廓间的距离；一第二变换电路，用于将各第二直线段的该第二组误差变换成一第二组离散正弦变换系数；一减法器，用于通过从第一组离散正弦变换系数中减去第二组离散正弦变换系数生成一组差值；一量化器，用于将该组差值转换成一组量化的差值；及一轮廓编码器，用于对该组量化的差值及该运动矢量进行编码。

从以下结合附图对优选实施例的描述中，本发明的上述及其它目的和特证将变得明显，附图中：

图1给出了根据本发明的用于编码目标轮廓的一装置的方框图；

图2给出了图1中所示的顶点预测单元的详细方框图；

图3A至3C说明了目标轮廓的示例性多边形近似处理；及

图4A及4B示出了示例性图，各图表示连接两顶点的一直线段与其相应的轮廓线之间的误差。

参照图1，示出了用于对一视频信号中表达的目标的轮廓进行编码的本发明装置的方框图。一作为当前帧信号的输入数字视频信号通过线L10被馈送给第二轮廓检测器113及顶点预测单元115；并作为先前帧信号被存储在帧存储器100中，该帧存储器100通过线L20与第一轮廓检测器103及顶点预测单元115连接。

第一轮廓检测器103检测自帧存储器100取出的先前帧中一目标的边界或轮廓并生成一先前轮廓，其中该先前轮廓提供了用于描绘先前帧中目标轮廓的先前边界信息，所述先前边界信息包括沿着先前帧中的目标边界的象素的位置数据。表示该目标的轮廓的该轮廓数据被从第一轮廓检测器103提供至多边形近似部分105和第一抽样及误差检测器107。

在多边形近似部分105，该先前轮廓通过一多边形近似技术被近似。该目标形状的多边形近似通过使用由多条直线段适配该轮廓的传统的近似算法来获得。

参照图3A至3C，其示出了根据多边形近似技术对一示例性先前轮廓10的线段处理过程。

首先，选取两个起始顶点，如果先前轮廓是开环形的，则选取两个端点，例如图2A中所示的A及B作为起始顶点，另一方面，如果先前轮廓是闭环形式的，则选取轮廓上两个最远的点作为起始顶点。然后，确定出轮廓上的距一线段AB的最远点，如果线段AB与该最远点，例如C点之间的距离Dmax大于一预定阈值时，该点C就成为一个顶点。这个过程重复进行直至对于每个线段的所述Dmax小于预定的阈值为止。

顶点的数目取决于预定的阈值。如图3A至3C所看到的，利用较小的预定的阈值，由线段来表示轮廓可变得更精确，其代价是降低了编码效率。

再返回参照图1，表示先前轮廓10的确定出的顶点如A、B、C、D及E的位置的顶点信息由多边形近似部分105通过线L40提供给第一抽样及误差检测器107及顶点预测单元115。该第一抽样及误差检测器107为各直线段选取N个抽样点并基于该顶点信息及先前轮廓数据计算各直线段上N个抽样点的各点上的一近似误差；提供该近似误差至第一离散正弦变换(DST)电路109，其中该N个抽样点等分两顶点之间的各直线段，N为一整数，该近似误差表示连接两顶点的直线段与该两顶点间轮廓线之间的距离。

图4A及4B说明了表示直线段与对应轮廓线之间近似误差的示例性图形，其中图4A描绘了直线段AD与其相应轮廓线之间的近似误差及图4B示出了直线段DC与其相应轮廓线之间的近似误差。各误差d1至d4或d1’至d4’表示直线段AD上的各抽样点S1至S4或直线段DC上的各抽样点S1’至S4’到相应轮廓线的距离。如图4A及4B中所看到的，顶点的误差都为“零”，因为所有的顶点都位于轮廓上。

通过第一抽样及误差检测器107计算出的近似误差被提供给第一DST电路109。该第一DST电路109在各组近似误差上执行一维DST操作并生成一第一组DST系数给减法器123，所述各组近似误差包括各直线段的N个抽样点及两顶点的误差。

同时，第二轮廓检测器113执行与第一轮廓检测器103相同的功能，从而生成一当前轮廓并经线L30送至顶点预测单元115和第二抽样及误差检测器117。即，该第二轮廓检测器113检测作为当前帧信号提供给其的输入数字视频信号中的一目标边界并生成或确定当前轮廓，其中该当前轮廓提供了用于描绘当前帧中目标边界的当前边界信息，所述当前边界信息包括沿着当前帧中目标边界的象素的位置数据。

在顶点预测单元115，线L10上的该输入数字视频信号，即当前帧信号、自帧存储器100取出在线L20上的先前帧信号、来自第二轮廓检测器113在线L30上的当前轮廓数据及来自多边形近似部分105在线L40上由顶点信息表示的顶点被处理以生成预测的顶点信息到线L50上及该顶点的运动矢量到线L60上，其中该预测的顶点信息表示预测的顶点的位置且该运动矢量表示该顶点与预测的顶点之间的位移，顶点预测单元115的细节将参照图2予以描述。

在检测完所有顶点的运动矢量后，该预测的顶点及运动矢量通过线L50和L60分别被提供给轮廓编码器129和第二抽样及误差检测器117，第二抽样及误差检测器117基于表示预测的顶点位置的预测的顶点信息及来自第二轮廓检测器113在线L30上的当前轮廓数据执行与第一抽样及误差检测器107相同的功能，从而提供各组预测的近似误差给第二DST电路119。即，该第二抽样及误差检测器117在连接两预测的顶点的各直线段上选取N个抽样点并基于预测的顶点信息及当前轮廓数据计算各直线段上N个抽样点的各点的预测的近似误差；提供该预测的近似误差给第二DST电路119，其中该N个抽样点等分两预测的顶点间的各直线段。该预测的近似误差表示连接两预测的顶点之间的一直线段与该两预测的顶点间的当前轮廓之间的距离。第二DST电路119执行与第一DST电路109相同的功能，从而生成一第二组DST系数给减法器123。

减法器123从相应的第一组DST系数中减去第二组DST系数并提供其间的一组差值给量化器125。量化器125量化该组差值以提供一组量化的差值给轮廓编码器129作进一步处理。

在轮廓编码器129，例如通过使用JPEG(联合照相专家组)的二进制算术码，该组量化的差值与来自顶点预测单元115在线L60上的运动矢量一起被编码。该包括编码的量化的差值及运动矢量的编码数字信号被传送给一发送机(未示出)被发送。

现在参照图2，给出了图1中所示的顶点预测单元115的详细方框图，用于说明顶点预测处理。

在本发明的优选实施例中，顶点的运动矢量被检测，其中各运动矢量表示先前帧中一顶点与当前帧中称作预测的顶点的一与其最相似的象素之间的基间位移。为检测顶点与预测的顶点之间的运动矢量，采用了块匹配算法。

如图2中所示，顶点信息自多边形近似部分105经线L40提供给顶点块形成部分210。在顶点块形成部分210，先前帧的在其中心具有各顶点的一顶点块，便如5×5象素的块被从帧存储器100经线L20取出并提供给顶点运动矢量检测器230。

同时，线L10上的作为当前帧信号的输入数字视频信号被馈送给候选块生成部分220且线L30上的当前轮廓也被馈送给候选块生成部分220。该候选块生成部分220确定当前帧的一通常较大的搜索区并生成一多个大小相同的候选块送给顶点运动矢量检测器230。

在本发明的优选实施例中，在当前帧中被确定的搜索区包括当前轮廓的邻域中预定数目的象素，且这些候选块被选择使其中心象素为形成当前轮廓的一部分的象索，从而将预测的顶点置于当前轮廓上。

在顶点运动矢量检测器230，在完成顶点块与来自候选块生成部分220的搜索区中所包括的多个候选块的各块之间的相似计算后，来自顶点块形成部分210的各顶点块的运动矢量被确定。该确定的顶点块的运动矢量被指定为顶点块中包含的顶点的运动矢量。之后，该顶点的运动矢量及预测的顶点信息被分别生成至线L60和L50上。

因此，如上所述，本发明通过传送第一与第二组DST系数间的差值能实质地减少表示视频信号中表达的目标轮廓的传输数据的量。

虽然本发明是对特定的实施例作出描述的，但显然对于熟愁本领域的技术人员而言，在不偏离以下权利要求书中所限定的本发明精神和范围的情况下，可以作出各种变化及改型。

Claims (2)

1、一种用于对以数字视频信号表达的目标的轮廓进行编码的装置，该数字视频信号具有包括一当前帧及一先前帧的多个帧，该编码装置包括有：

第一轮廓检测装置，用于检测先前帧内目标边界以生成一先前轮廓，其中该先前轮廓提供了用于描绘先前帧中目标轮廓的先前边界信息；

用于确定先前轮廓上多个顶点的装置；

用于通过由多个第一直线段适配该先前轮廓以提供该先前轮廓的多边形近似，从而生成表示该先前轮廓上顶点位置的顶点信息的装置，各第一直线段连接两相邻的顶点；

第一装置，用于为各第一直线段提供N个抽样点并为各第一直线段上N个抽样点的每点计算误差以为各第一直线段产生第一组误差，其中所述N个抽样点等分各第一直线段且该第一组误差中的各误差表示所述N个抽样点的各点与该先前轮廓间的距离；

第一变换装置，用于将各第一直线段的该第一组误差变换成第一组离散正弦变换系数；

第二轮廓检测装置，用于检测当前帧内目标的边界以生成一当前轮廓，其中该当前轮廓提供了用于描绘当前帧中目标轮廓的当前边界信息；

用于基于通过使用顶点信息及来自当前轮廓的当前边界信息的当前及先前帧之间的运动的估算，检测预测的顶点从而提供预测的顶点及运动矢量的装置，该预测的顶点信息表示预测的顶点的位置且各运动矢量表示一顶点与其相对应的预测的顶点间的位移；

第二装置，用于为连接两预测顶点的各第二直线段提供N个抽样点并为各第二直线段上N个抽样点的每点计算一误差以为各第二直线段产生一第二组误差，其中所述N个抽样点等分各第二直线段且该第二组误差中的各误差表示所述N个抽样点的每点与该当前轮廓间的距离；

第二变换装置，用于将各第二直线段的该第二组误差变换成一第二组离散正弦变换系数；

用于通过从相应的第一组离散正弦变换系数中减去第二组离散正弦变换系数生成一组差值的装置；

用于将该组差值转换成一组量化的差值的装置，及

用于对该组量化的差值及该运动矢量进行编码的装置。

2、根据权利要求1所述的编码装置，其中所述检测预测的顶点从而提供预测的顶点及运动矢量的装置包括：

用于基于顶点信息生成自先前帧的顶点块的装置，各顶点块在中心有一顶点；

用于确定当前帧的一搜索区并自该搜索区生成多个大小相同的候选块的装置，各候选块被选取以使其中心象素为形成当前轮廓一部分的象素；及

用于通过在顶点块与多个候选块的各块之间执行一块匹配算法，检测预测的顶点以生成表示预测的顶点位置的预测的顶点信息和表示顶点与预测的顶点之间位移的运动矢量的装置。

Images