CN101729894B - 视频信号处理方法以及其相关装置 - Google Patents

Abstract

本发明提供了一种视频信号处理方法以及其相关装置，其中该视频信号处理方法为一种用以处理具有多个图场(field)的交插视频(interleavedvideo)的方法，包含：循序接收一上图场以及一下图场；由该上图场与该下图场之中选择其中一图场来当作一被选定图场；以及产生一内插运算后图场来取代该上图场与该下图场中另一未被选择的图场，其中该被选定图场与该内插运算后图场间的一场移动量(field motion)小于该上图场与该下图场间的一场移动量。

Description

视频信号处理方法以及其相关装置

技术领域

本发明是有关于视频信号处理，尤指一种可处理交插视频(interleavedvideo)信号的方法及其相关装置，本发明提供了可动态地由交插视频信号中的一上图场(top field)与一下图场(down field)之中选择出一图场当作一被选定图场(selected field)，并经由内差运算来算出一内差运算后图场(interpolated field)来取代该上图场以及该上图场中的非被选定图场的另一图场的方法及其相关视频处理装置。

背景技术

视频编码电路为一种对输入的视频图像进行处理以输出压缩过后的比特流(bitstream)。一般而言，视频编码电路可区分为图场(field-mode)编码电路或帧(frame-mode)编码电路；图场编码电路每次接收交插视频(interleaved video)信号中的一个图场作为一个输入图像，并对每一个单一图像进行编码；然而，对帧编码电路来说，在输入至帧编码电路之前，一个上图场(top field)与其相对应的下图场(bottom field)需要先被合并为一输入图像，才能将合并后的输入图像作为符合帧编码电路格式的输入信号。

请参阅图1，图1所示为一已知图场编码电路的输入的示意图。图2所示为一已知帧编码电路的输入的示意图。如图1所示，图场编码电路循序接收上图场以及下图场作为其输入信号。比方说，以交插(interleaved)NTSC信号(如一480i格式的电视频号)来说，一上图场(亦即一奇图场)是由一视频图像中的奇数条扫描线构成，而一下图场(偶图场)则包含一视频图像中的偶数条扫描线；而当视频编码电路为一图场编码电路时，视频编码电路首先接收一分辨率为720*240的上图场作为输入图像，而下一个输入图像将为一分辨率为720*240的下图场。另一方面，当视频编码电路为一帧编码电路时，由奇数条扫描线构成的上图场需与其相对应的由偶数条扫描线所构成的下图场合并成一完整的图像(亦即帧)，而此具有分辨率为720*480的图像将被输入帧编码电路作为其合法的输入信号。

请参阅图3，图3所示为一已知视频处理装置100的示意图。视频处理装置100包含有一视频编码电路110以及一输出缓冲器120。而通常视频编码电路110对输入图像进行编码并将输出比特流输出，而输出比特流将被暂存在输出缓冲器120之中等待进一步的信号处理。

在某些情况下，输出缓冲器120可能由于网络壅塞而导致输出缓冲器120处于爆满或趋近于满位(full level)的状态下；也就是说，此时输入至输出缓冲器120的数据输入速度将远大于其数据输出速度。然而，当输出缓冲器120内剩余的储存空间不足时，视频编码电路110此时需要设法使得输出缓冲器120的输出比特流的位数降低，也就是说，视频编码电路110需要将其内的量化器(quantizer)112的量化步阶(quantization step size)调大来降低视频编码电路110输出比特流的数据量。

不幸地是，将量化器112的量化步阶调大将无可避免地使得信号在编码过程中产生更多的量化噪声(quantization noise)，这些量化噪声往往使得编码后的比特流在播放时出现区块效应(blocking artifact)的问题。换言之，传统的视频编码电路110无可避免地使得这些编码后视频的视频显示质量受到影响。

此外，当视频信号的内容非常复杂或噪声很多时，例如一雪花(snowy)电视频号，视频编码电路110所产生的编码结果将具有非常可观的位数，使得此时输出缓冲器120非常容易就处于爆满的状态；在这种情况下，将迫使视频编码电路110需调大量化器112的量化步阶作为因应。

在前述的状况之中，调大量化器112的量化步阶皆无可避免地导致压缩后的视频质量大打折扣并且在播放时产生明显地区决效应。

由上述的说明可知，亟需提供一种新颖的视频信号编码机制以提升视频编码的质量，并解决已知技术的问题。

发明内容

因此本发明的一目的是提供处理交插视频的方法以及相关视频处理装置，以解决已知技术中的问题。

根据本发明的一实施例，其揭露一种用以处理具有多个图场的交插视频的方法，该方法包含以下步骤：循序接收一上图场以及一下图场；由该上图场与该下图场之中选择其中一图场来当作一被选定图场；以及产生一内插运算后图场来取代该上图场与该下图场中另一未被选择的图场，其中该被选定图场与该内插运算后图场间的一场移动量小于该上图场与该下图场间的一场移动量(field motion)。

根据本发明的另一实施例，其揭露一种用以处理具有多个图场的交插视频的视频处理装置，其包含一接收电路以及一视频处理电路，其中该视频处理电路包括一选择电路以及一内插运算电路。该接收电路，用以循序接收一上图场以及一下图场；以及该视频处理电路，耦接至该接收电路。其中该选择电路用以由该上图场与该下图场之中选择其中一图场来作为一被选定图场；以及该内插运算电路，用以产生一内插运算后图场来取代该上图场与该下图场中另一未被选择的图场，且该被选定图场与该内插运算后图场间的一场移动量小于该上图场与该下图场间的一场移动量(field motion)。

附图说明

图1所示为一已知图场编码电路的输入的示意图。

图2所示为一已知帧编码电路的输入的示意图。

图3所示为一已知视频处理装置的示意图。

图4所示为本发明的视频处理装置的一实施例的方块示意图。

图5为本发明的处理交插视频信号的方法的一实施例的步骤流程图。

[主要元件标号说明]

100、400  视频处理装置        110、430   视频编码电路

112、440  量化器              120        输出缓冲器

410       接收电路            420        视频处理电路

422       选择电路            424        内插运算电路

450       判断电路            460        前置处理电路

470       检测电路

具体实施方式

在本专利说明书及上述的申请专利范围当中使用了某些词汇来指称特定的元件。本领域技术人员应可理解，硬件制造商可能会用不同的名词来称呼同一个元件。本说明书及上述的申请专利范围并不以名称的差异来作为区分元件的方式，而是以元件在功能上的差异来作为区分的准则。在通篇说明书及上述的请求项当中所提及的「包含」为一开放式的用语，故应解释成「包含但不限定于」。此外，「耦接」一词在此是包含任何直接及间接的电气连接手段。因此，若文中描述一第一装置耦接于一第二装置，则代表该第一装置可直接电气连接于该第二装置，或通过其它装置或连接手段间接地电气连接至该第二装置。

请参阅图4，图4所示为本发明的视频处理装置的一实施例的方块示意图。在本实施例中，视频处理装置400包含一接收电路410来接收一交插视频信号(interleaved video)S_IN、一视频处理电路420、一视频编码电路430、一输出缓冲器440、一判断电路450、一前置处理电路460以及一检测电路470。视频处理电路420内可包含一选择电路422以及一内插运算电路424。另外，在本实施例中，视频处理电路420同时耦接至接收电路410、视频编码电路430、判断电路450、前置处理电路460以及检测电路470。

请注意，图4的视频处理装置400的结构仅为说明之用而不为本发明的限制条件之一。此外，使用个别的方块来表示前述的电路元件亦仅为举例说明之用，换言之，图4中所示的电路方块并不被限定要以分别的电路方块架设于视频处理装置400之中，随着不同的设计需求，视频处理装置亦有不同的硬件配置方式。而视频处理装置400的操作细节及其原理将说明如下。

一般而言，视频编码电路430接收视频输入信号以执行视频编码，而输出缓冲器440在这些编码后视频被进一步视频处理之前先将这些编码后视频暂存其中。视频编码电路430则对由视频处理电路420所输出的交插视频信号S_IN执行诸多运算；比方说，视频编码电路430会判断所输入图像的类型，如判断其为I画面(Intra-coded picture)、P画面(Predictive-codedpicture)、或是B画面(Bidirectional-coded picture)，并将这些视频信号编码为图像组(GOP，group of pictures)。此外，视频编码电路430还对这些视频信号区块进行离散余弦转换(DCT，discrete cosine transform)，并通过离散余弦转换对转换后的参数进行量化。之后，输出缓冲器440再暂存这些压缩处理过后的输出比特流直到这些输出比特流被下一个装置所接收；比方说，这些输出比特流可经由因特网或任何的通讯方式传送至一显示装置，或者，亦可直接将这些输出比特流储存至储存装置(光盘片或是磁盘驱动器)。

然而，在本发明中，视频处理电路420可根据不同的状况而切换于一图场移动量削减模式(field motion reduction mode)与正常模式之中，更确切地来说，视频处理电路420可依据：由判断电路450产生的的指示信号S1、由检测电路470产生的指示信号S2、或由前置处理电路460所产生的视频内容复杂度指示信号S3来被选择性地切换至/切换出图场移动量削减模式。

当输出缓冲器440内的数据量T1超过一预定临界值T_space时(亦即T1＞T_space)，判断电路450将输出指示信号S1至视频处理电路420，也就是说，指示信号S1代表了输出缓冲器440已经爆满或即将爆满，而视频处理电路420在接收到指示信号S1之后即切换至图场移动量削减模式。在本实施例中，不同于调大视频编码电路430内的量化器(未绘示于图中)的量化步阶，视频处理装置400将被启动至图场移动量削减模式。另一方面，当交插视频信号S_IN遭受噪声干扰时，前置处理电路460会判定视频信号内容的复杂度为高复杂度。这样一来，当前置处理电路460输出的视频内容复杂度指示信号S3的复杂程度T2大于一预定临界值T_complexity时即表示此时视频内容极为复杂且/或遭受噪声干扰，因此，当视频处理装置420接收到代表复杂度高的指示信号S3时，则将启动/进入到图场移动量削减模式。

在本实施例中，在视频处理电路420接收到由判断电路450产生的指示信号S1或由前置处理电路460产生的指示信号S3之后，后续进入视频编码电路430进行编码运算的数据内容已经在视频处理电路420中受到简化，因此使得由视频编码电路430编码后的编码结果的数据量会较先前未启动图场移动量削减模式之前减少。相关的运作细节将说明如下。

比方说，在输入的交错视频信号S_IN的内容极为复杂，或当输出缓冲器440即将爆满时，视频处理装置400即将视频处理电路420切换到图场移动量削减模式，而非传统的应变方式-把视频编码电路430内的量化器的量化步阶调大。也就是说，由于在本发明之中，视频编码电路430内的量化器不再需要调大其量化步阶，由于大量化步阶衍生的严重量化噪声与后续播放时的区块效应都可大大地减少，改进了编码号视频信号的质量。

接下来将说明视频处理电路420于图场移动量削减模式下的详细运作。首先，接收电路410循序分别接收了一上图场以及一下图场，如图所示，这两个图场为经由交插视频S_IN所载有的多个图场中的其中两个图场。当视频处理电路420被切换至图场移动量削减模式之后，视频处理电路420控制选择电路422从方才经由接收电路410接收的上图场与下图场这两个图场中选择其中一个图场作为被选定图场。举例来说，当被选定图场为上图场，则视频处理电路420将控制内插运算电路424来执行一内插运算以产生一内插运算后图场，再使用此内插运算后图场来取代先前所接收的两图场中未被选定的另一图场(在此实施例中即为下图场)。

请注意到，在本发明的一实施例中，内插运算电路424可依据所接收的两图场中的被选定图场、未被选定的图场，还有邻近于这两个图场的其它图场，或前述这些图场的组合来执行内插运算以产生后续编码时所使用的内插运算后图场。

然而请注意到，在本发明一较佳实施例中，经由内插运算后，内插运算后图场与被选定图场间的图场移动量(field motion)为小于原先两图场(亦即所接收的上图场与下图场)之间的图场移动量。如此一来，将可大大地降低视频内容复杂度，并且使得视频编码电路430输出的数据量大为减少。请注意，内插运算电路424可使用任何可达到设计所需的内插运算的方法来产生内插运算后电路，也就是说，内插运算电路424所采用的演算方法及架构并不为本发明的限制条件之一，且这些相关设计变化亦属于本发明的保护范畴之中。

另一方面，若视频编码电路430为一图场编码电路，则视频处理电路420将依据图场传送的顺序来输出被选定图场以及内插运算后图场至视频编码电路430。举例来说，当被选定图场为一上图场，而此时内插运算后图场是用来取代紧接着此上图场的下图场，则视频处理电路420将依序输出被选定图场(上图场)，以及此内插运算后图场给视频编码电路430。

另一方面来说，当视频编码电路430为图场编码电路，且此时被选定图场为一下图场，(亦即此时所产生的内插运算后图场是用来取代原本所接收的上图场)，则视频处理电路420将依序输出内插运算后图场以及被选定图场(下图场)给视频编码电路430。此外，若视频编码电路430为一个帧编码电路，此时视频处理电路420会先将被选定图场以及内插运算后图场合并为一单一的图像(亦即一完整的帧(frame))，再将此帧输送至视频编码电路430进行编码。

另外请注意到，在本发明的运作中，选择电路422并不被限制一次只能选定一个被选定图场。也就是说，接收电路410可传送许多图场给视频处理电路420，而选择电路422可动态地在每一组彼此对应的上图场与下图场这两个图场中分别选择一个图场来作为被选定图场，此时，内插运算电路424亦依序产生内插运算后图场，这些内插运算后图场将使用来一一取代前述所接收图场中的未被选定的图场。而前述这些设计变化亦属于本发明的保护范畴之中。

当视频处理电路430并未***作在图场移动量削减模式下时，此时视频处理电路420将直接将经由接收电路410输入的交插视频信号S_IN旁路(bypass)至视频编码电路430而不对所接收的图场进行挑选以及内插运算的步骤。在实际运作中，视频处理电路420在接收到由判断电路450输出的指示信号S1(表示输出缓冲器440内的数据量已达到一预定临界值T_space)或接收到此时视频内容复杂度指示信号S3中的信号复杂度超过了预定临界值T_complexity的通知时，视频处理电路420将因此切换至图场移动量削减模式，并控制选择电路422以及内插运算电路424来减少后续视频处理中视频信号的视频复杂度。

然而，在视频处理电路420被切换至图场移动量削减模式之前，视频处理装置400会先行依据检测电路470输出的指示信号S2来判断此时视频处理电路420中待处理的两图场(上图场以及下图场)是否对应到一静止(still)的图像。

倘若此时上图场与下图场对应到静止的图像，则视频处理电路420会将选择电路422与内插运算电路424关闭(disable)。简而言之，当经由交插视频信号S_IN所传送的信息为静止的图像(也就是这些交插视频的视频内容之间并没有移动动量(motion))时，检测电路470将输出指示信号S2来告知视频处理电路420此时处理的为静态的视频信号，以强制将视频处理电路420从图场移动量削减模式移出；此时不论指示信号S1以及S3的信号内容为何，视频处理电路420都将操作在“非”图场移动量削减模式之中。

也就是说，一旦指示信号S2告知视频处理装置400此时视频处理电路420内的图场对应到静止静态的图像时，视频处理电路420将会被确保无法被切换到图场移动量削减模式。也就是说，当一上图场与其相对应的下图场之间没有图场移动量存在的时候，视频处理电路420也就不需要***作在图场移动量削减模式之中。另外，图中所绘示的检测电路470为一选择性的元件；也就是说，在本发明的其它实施例中，当检测电路470并不存在时，视频处理电路420仍可被切换至图场移动量削减模式下来对对应到静态图像的上图场与下图场进行选择以及内插运算的运作。

请同时参照图5以及图4，图5为本发明的处理交插视频信号的方法的一实施例的步骤流程图。请注意到，倘若实质上可达到相同的结果，并不一定需要遵照图5所示的流程中的步骤顺序来依序进行，其它步骤亦可能***其中。处理交插视频信号的方法的流程包含以下步骤：

步骤502：接收电路410循序接收一交插视频信号S_IN的一上图场以及一下图场，比方说，交插视频信号S_IN可为一交插NTSC信号。

步骤504：前置处理电路460判断交插视频S_IN的内容复杂度以产生一视频内容复杂度指示信号S3。

步骤506：判断视频内容复杂度指示信号S3的一复杂度T2是否达到预定临界直T_complexity？若是。则执行步骤514；否则，则执行步骤508。

步骤508：判断电路450确认输出缓冲器440的一数据量T1。

步骤510：判断数据量T1是否达到一预定临界值T_space？若是，则执行步骤514；否则，则执行步骤512。

步骤512：视频处理电路420关闭或离开图场移动量削减模式，以直接将所接收的上图场以及下图场传送至视频编码电路430进行编码，并回到步骤504以持续监测接收电路410后续接收的上图场以及下图场。

步骤514：检测电路470检测目前的上图场与下图场是否对应至一静止(still)的图像？若是，则执行步骤512；否则，则执行步骤516。

步骤516：视频处理电路420启动或切换至图场移动量削减模式。

步骤518：选择电路422由目前所接收的一上图场以及一下图场之中选择一图场来当作一被选定图场。

步骤520：内插运算电路424产生一内插运算后图场来取代前述的上图场以及下图场中非被选定的另一个图场。

步骤522：视频处理电路422输出被选定图场以及所产生的内插运算后图场并将这两个图场传送至视频编码电路430以进行编码。之后回到步骤504以持续监测接收电路410后续接收的上图场以及下图场。

当输出缓冲器440内的数据量已达到预定临界值T_space，且此时检测电路470亦判断此时处理的视频内容并非对应到静止的视频图像，则前述视频处理方法将循序执行步骤516至步骤522。否则，在其它状况之下，视频处理电路420将在执行步骤512之后直接将上图场与下图场传送(旁路)至视频编码电路430进行编码处理。换句话说，当输出缓冲器440内的数据量T1远低于预定临界值T_space时，视频处理装置400将执行原本传统视频编码装置中的一般视频编码流程。

另一方面，当视频内容的复杂度被判定高于预定临界值而且此时所处理的视频信号并不为静态的图像，则此时视频处理装置400将执行步骤516至步骤520。否则，视频处理电路420将执行步骤512，接着直接将上图场与下图场传送(旁路)至视频编码电路430。换句话说，当视频内容复杂度指示信号S3指示此时视频复杂度低于预定的临界复杂度T-complexity，则视频处理装置400将执行传统的正常视频编码运作。

在前述的说明之后，本领域技术人员即可轻易了解了图5所揭露的视频处理方法的详细流程，故在此便不再对此赘述。

经由本发明所揭露的视频处理装置及其相关用以处理交插视频信号的方法，在被选定图场以及内插运算后图场之间的图场移动量将可被大量地减少。通过减少需编码视频内容的图场移动量，先前所述的编码后视频可能产生的区块效应也将获得改善。这样一来，即使输出缓冲器440的数据量已经满位或趋近爆满时，还有当交插视频的视频内容非常复杂时，吾人也不需调整编码电路430内的量化步阶，因此，相较于已知视频处理装置与方法，本发明可大大提升编码视频的视频信号质量。

以上所述仅为本发明的较佳实施例，凡依本发明权利要求范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (16)

1.一种用以处理具有多个图场的交插视频的方法，包含：

循序接收一上图场以及一下图场；

确认一缓冲器内储存的一数据量；

其中当该数据量达到一预定临界值时，由该上图场与该下图场之中选择其中一图场来当作一被选定图场；

产生一内插运算后图场来取代该上图场与该下图场中另一未被选择的图场，其中该被选定图场与该内插运算后图场间的一场移动量小于该上图场与该下图场间的一场移动量；

对该被选定图场以及该内插运算后图场进行编码以产生一编码结果；以及

将该编码结果储存至该缓冲器。

2.根据权利要求1所述的方法，其中该产生该内插运算后图场的步骤包含：

根据该被选定图场来产生该内插运算后图场。

3.根据权利要求1所述的方法，其中该产生该内插运算后图场的步骤包含：

根据该上图场与该下图场的至少一邻近图场来产生该内插运算后图场。

4.根据权利要求1所述的方法，其还包含：

检测该上图场与该下图场是否对应至一静止图像；其中当该上图场与该下图场对应至该静止图像时，不需执行该由该上图场与该下图场之中选择其中一图场来当作该被选定图场的步骤，且不需执行该产生该内插运算后图场来取代该上图场与该下图场中另一未被选择的图场的步骤。

5.一种用以处理具有多个图场的交插视频的方法，包含：

循序接收一上图场以及一下图场；

对该交插视频执行前置处理以产生一视频内容复杂度指针；

当该视频内容复杂度指针达到一预定临界值时，由该上图场与该下图场之中选择其中一图场来当作一被选定图场；以及

产生一内插运算后图场来取代该上图场与该下图场中另一未被选择的图场，其中该被选定图场与该内插运算后图场间的一场移动量小于该上图场与该下图场间的一场移动量。

6.根据权利要求5所述的方法，其中该产生该内插运算后图场的步骤包含：

根据该被选定图场来产生该内插运算后图场。

7.根据权利要求5所述的方法，其中该产生该内插运算后图场的步骤包含：

根据该上图场与该下图场的至少一邻近图场来产生该内插运算后图场。

8.根据权利要求5所述的方法，其还包含：

检测该上图场与该下图场是否对应至一静止图像；其中当该上图场与该下图场对应至该静止图像时，不需执行该由该上图场与该下图场之中选择其中一图场来当作该被选定图场的步骤，且不需执行该产生该内插运算后图场来取代该上图场与该下图场中另一未被选择的图场的步骤。

9.一种用以处理具有多个图场的交插视频的视频处理装置，包含：

一接收电路，用以循序接收一上图场以及一下图场；以及

一视频处理电路，耦接至该接收电路，其中该视频处理电路包括：

一选择电路，用以由该上图场与该下图场之中选择其中一图场来作为一被选定图场；

一内插运算电路，用以产生一内插运算后图场来取代该上图场与该下图场中另一未被选择的图场，其中该被选定图场与该内插运算后图场间的一场移动量小于该上图场与该下图场间的一场移动量；

一视频编码电路，耦接至该视频处理电路，用以对该被选定图场以及该内插运算后图场进行编码以产生一编码结果；

一输出缓冲器，耦接至该视频编码电路，用以储存由该视频编码电路输出的编码结果；以及

一判断电路，耦接至该输出缓冲器以及该视频处理电路，用以确认该缓冲器内储存的一数据量以及用以输出一视频内容复杂度指针至该视频处理电路。

10.根据权利要求9所述的视频处理装置，其中该内插运算电路依据该被选定图场来产生该内插运算后图场。

11.根据权利要求9所述的视频处理装置，其中该内插运算电路依据该上图场与该下图场的至少一邻近图场来产生该内插运算后图场。

12.根据权利要求9所述的视频处理装置，其还包含：

一检测电路，耦接至该接收电路以及该视频处理电路，用以检测该上图场与该下图场是否对应至一静止图像并输出一指示信号至该视频处理电路；其中当该指示信号是指示该上图场与该下图场对应至该静止图像时，该视频处理电路关闭该选择电路与该内插运算电路。

13.一种用以处理具有多个图场的交插视频的视频处理装置，包含：

一接收电路，用以循序接收一上图场以及一下图场；以及

一视频处理电路，耦接至该接收电路，其中该视频处理电路包括：

一选择电路，用以由该上图场与该下图场之中选择其中一图场来作为一被选定图场；

一内插运算电路，用以产生一内插运算后图场来取代该上图场与该下图场中另一未被选择的图场，其中该被选定图场与该内插运算后图场间的一场移动量小于该上图场与该下图场间的一场移动量；一前置处理电路，耦接至该接收电路以及该视频处理电路，用以对该交插视频执行前置处理以产生一视频内容复杂度指针，并将该视频内容复杂度指针传送至该视频处理电路；其中当该视频内容复杂度指针达到一预定临界值时，该视频处理电路将启动该选择电路与该内插运算电路。

14.根据权利要求13所述的视频处理装置，其中该内插运算电路依据该被选定图场来产生该内插运算后图场。

15.根据权利要求13所述的视频处理装置，其中该内插运算电路依据该上图场与该下图场的至少一邻近图场来产生该内插运算后图场。

16.根据权利要求13所述的视频处理装置，其还包含：

一检测电路，耦接至该接收电路以及该视频处理电路，用以检测该上图场与该下图场是否对应至一静止图像并输出一指示信号至该视频处理电路；其中当该指示信号是指示该上图场与该下图场对应至该静止图像时，该视频处理电路关闭该选择电路与该内插运算电路。

Images