CN1233160C - 自适应编码和解码运动图像的方法及其装置 - Google Patents

自适应编码和解码运动图像的方法及其装置 Download PDF

Info

Publication number
CN1233160C
CN1233160C CNB021458502A CN02145850A CN1233160C CN 1233160 C CN1233160 C CN 1233160C CN B021458502 A CNB021458502 A CN B021458502A CN 02145850 A CN02145850 A CN 02145850A CN 1233160 C CN1233160 C CN 1233160C
Authority
CN
China
Prior art keywords
image data
frame
time complexity
frame rate
input image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB021458502A
Other languages
English (en)
Other versions
CN1459981A (zh
Inventor
宋秉哲
千畺旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN1459981A publication Critical patent/CN1459981A/zh
Application granted granted Critical
Publication of CN1233160C publication Critical patent/CN1233160C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

提供了一种考虑了运动图像的时间复杂性的自适应编码运动图像的方法及其装置。在该方法中，首先，计算输入图像数据的时间复杂性。接着，基于所计算的时间复杂性转换输入图像数据的帧速率。其后，对其帧速率已经得到转换的输入图像数据进行编码，并且控制所编码图像数据的所述编码数据使得所述编码图像数据具有关于所述转换帧速率的信息。相应地，考虑了输入图像数据的时间复杂性以不同的帧速率编码所述输入图像数据。结果，图像数据得到有效地存储。

Description

自适应编码和解码运动图像的方法及其装置
技术领域
本发明涉及运动图像编码和解码方法和装置的领域，并且尤其涉及考虑了输入图像的时间复杂性的自适应编码和解码运动图像的方法及其装置。
背景技术
随着目前数字录像机(DVR)或者个人录像机(PVR)的流行，在图像编码方面的研究和开发在积极地进行。现存DVR或者PVR以固定帧速率压缩图像而不考虑输入图像的特征，即时间复杂性，由此降低了编码效率。
图1是传统运动图像编码器的方框图。首先，输入图像数据被分解为8×8像素块。离散余弦变换(DCT)单元110在输入图像数据上一次执行8×8像素块DCT以消除空间冗余。量化(Q)单元120量化由所述DCT单元120获得的DCT系数，并且以一些代表值表达所述DCT系数，由此取得高效的有损编码。可变长度编码(VLC)单元130在所述量化DCT系数上执行VLC，并且输出熵编码数据流。
反量化(IQ)单元140反量化由Q单元120获得的量化图像数据。反DCT(IDCT)单元150在由IQ单元140获得的反量化图像数据上执行IDCT。帧存储器160基于逐帧存储由IDCT单元150获得的IDCT变换图像数据。运动估计(ME)单元170用于通过利用图像数据的当前接收帧和存储在帧存储器160中的图像数据的先前帧来消除时间冗余。
为了执行数据编码，传统DVR或者PVR使用如图1所示的MPEG-2编码器。如果输入数据未经编码，则它由MPEG-2编码器进行编码，并且将比特流存储在诸如硬盘驱动器(HDD)或者数字通用光盘(DVD)的存储介质中。如果输入数据已经过编码，则图2的传统运动图像代码转换器在该输入数据上执行MPEG-2解码，以产生期望的MPEG-2流，在产生的MPEG-2流上执行预定的缩放和格式转换，并且接着在得到的数据上执行MPEG-2编码。
参见图2，如果输入的数据是已编码的比特流，则它由运动图像解码器220进行解码，所述解码器220包括：可变长度解码(VLD)单元222、IQ单元224、IDCT单元226、帧存储器228、以及运动补偿(MC)单元230。由此，通过与图1的运动图像编码器相同的MPEG-2编码器260使用给定分辨率编码所解码的比特流以产生所期望的MPEG-2流。这样的处理被称为代码转换。在代码转换时，缩放和格式转换单元240根据需要缩小由运动图像解码器220解码的图像或者转换所解码图像的扫描格式，并且MPEG-2编码器260以给定的帧速率执行MPEG-2编码。
如上所述，在现有技术中，MPEG-2编码总是以固定帧速率执行。相应地，不论时间复杂性取决于输入运动图像的特征是高或者低，编码总是以相同的帧速率执行。尤其是，即使当输入运动图像很少随时间变化时，也必须维持相同的帧速率。这降低了编码效率。
                          发明内容
为解决上述问题，本发明的目的是提供考虑了输入运动图像的特征自适应编码输入运动图像以提高编码效率的一种方法及其装置。
本发明的另一目的是提供自适应编码运动图像以提高当通过MPEG-2编码将运动图像存储于硬盘驱动器(HDD)或者数字通用光盘(DVD)上时的存储效率的一种方法及其装置。
为了达到本发明的第一目的，在所述考虑了时间复杂性的自适应编码运动图像的所述方法中，首先计算输入图像数据的时间复杂性。接着，基于计算的时间复杂性转换输入图像数据的帧速率。由此，其帧速率已经转换的输入图像数据得到编码，并且在编码图像数据中的该编码数据得到调整使得该编码图像数据具有关于该转换帧速率的信息。
优选地，通过比较所计算的时间复杂性与至少一个所确定的阈值来确定帧速率并且接着基于该确定的帧速率转换输入图像数据的帧速率从而执行输入图像数据的帧速率转换。
优选地，通过解码输入图像数据并且接着利用根据解码输入的编码图像数据获得的运动矢量计算时间复杂性从而完成输入图像数据的时间复杂性的计算。
优选地，所述编码数据是编码图像数据的数据结构中的画面编码扩展的至少一个编码数据。优选地，所述编码数据也是所述画面编码扩展的重复第一场(repeat first field)(RFF)值和顶端场第一帧(top fiels first)(TFF)值中的至少一个。
优选地，如果计算的时间复杂性大于第一阈值，则RFF和TFF值都设置为0。如果计算的时间复杂性大于第二阈值而小于第一阈值，则分别设置RFF和TFF值为1和0。如果计算的时间复杂性小于第一阈值，则RFF和TFF值都设置为1。
为了完成本发明的该目的，用于考虑了时间复杂性的自适应编码运动图像的装置包括：时间复杂性计算单元、帧速率转换单元、以及编码器。所述时间复杂性计算单元计算输入图像数据的时间复杂性。所述帧速率转换单元基于计算的时间复杂性转换输入图像数据的帧速率。所述编码器编码其帧速率已经转换的输入图像数据，并且调整该编码图像数据得到使得它具有关于所转换帧速率的信息。
优选地，所述帧速率转换单元还包括帧速率确定器，用于通过比较计算的时间复杂性与至少一个预定的阈值来确定帧速率。该帧速率转换单元基于由所述帧速率确定器确定的帧速率转换输入图像数据的帧速率。
优选地，所述时间复杂性计算单元还包括解码器，用于解码输入的编码图像数据以利用由该解码器获得的运动矢量计算时间复杂性。
优选地，所述编码数据是编码图像数据的数据结构中的画面编码扩展的至少一个编码数据。优选地，所述编码数据也是所述画面编码扩展的RFF值和TFF值中的至少一个。
优选地，帧速率转换单元比较所计算的时间复杂性与第一和第二阈值，并且如果所计算的时间复杂性大于第一阈值则设置RFF值和TFF值都为0。如果所计算的时间复杂性大于第二阈值而小于第一阈值，则帧速率转换单元分别设置RFF值和TFF值为1和0。如果所计算的时间复杂性小于第一阈值，则帧速率转换单元设置RFF值和TFF值都为1。
最近，关于在DVR或者PVR中的图像编码的研究和开发在积极地进行。存储的图像编码的核心是怎样有效率编码给定图像。现有DVR或者PVR仅以固定帧速率编码图像并且存储所编码的图像。
为了解决由现有的其中以固定帧速率编码图像的统一编码方式产生的问题，本发明采用了考虑各个预定部分的其中复杂性是高或者低的特征取决于每个部分的时间复杂性以不同的帧速率编码该部分(例如，30帧或者一组图像(GOP))的一种方法。
将具有低的时间复杂性的部分以低于初始帧速率的帧速率进行编码，通过解码器进行解码，通过插值进行放大，并且接着显示。将具有高的时间复杂性的部分、即具有显著运动转换的部分以初始帧速率进行编码。该编码方式提高了编码率而不显著降低图像的质量，因而提高了存储效率。
                         附图说明
通过参考附图详细描述本发明的优选实施例，本发明的上述目的和特点将会变得更加清楚，其中：
图1是传统运动图像编码器的方框图；
图2是传统运动图像代码转换器的方框图；
图3是根据本发明的第一实施例、考虑了时间复杂性的一种自适应运动图像编码装置的方框图；
图4A、4B以及4C说明根据本发明的在不同的部分中的不同帧速率的转换；
图5示出了根据本发明在MPEG-2六层数据结构中的画面编码扩展的数据结构；
图6是根据本发明的第二实施例、考虑了时间复杂性的一种自适应运动图像编码装置的方框图；
图7是根据本发明的第三实施例、考虑了时间复杂性的一种自适应运动图像编码装置的方框图；
图8是根据本发明的第四实施例、考虑了时间复杂性的一种自适应运动图像编码装置的方框图；以及
图9是用于说明根据本发明、考虑了时间复杂性的一种自适应运动图像编码方法的流程图。
                      具体实施方式
图3是根据本发明的第一实施例、考虑了时间复杂性的一种自适应运动图像编码装置的方框图。所述运动图像编码装置包括：运动活动度计算器320、帧速率确定器340、帧速率转换器360、以及编码器380。
所述运动活动度计算器320计算以预定尺寸部分为单位的输入图像的时间复杂性。在所述第一实施例中，为解释方便，确定30帧作为一单位部分。然而，能够确定一组图像(GOP)或者序列作为用于时间复杂性计算的单位部分，或者用户能够确定该单位部分。
在所述第一实施例中，运动活动度，即，运动矢量的大小被用于计算时间复杂性。在确定的单位部分即30帧内存在的宏块的运动矢量得到计算，并且所述宏块的运动活动度是从所计算运动矢量(MV)值中计算的，并且接着被平均。如果单个宏块的MV值是(MV1、MV2)，则该宏块的运动活动度是MV12+MV2。以这种方式，运动活动度计算器320计算30帧内每个宏块的平均运动活动度。
然而，该实施例能够采用不是上述利用运动活动度的计算器的另一计算器。
所述帧确定器340通过比较从运动活动度计算器320中接收的每个宏块的平均运动活动度与预定的阈值来确定所确定单位部分的帧速率。其中，考虑***环境(例如，缓冲存储器或者存储器容量)，能够初始地设置预定阈值，或者取决于输入图像的类型由用户任意地确定。所述阈值能够影响怎样控制由所述帧确定器340确定的帧速率。所确定的帧速率还能够通过选择几个阈值并且将它们与所计算的平均运动活动度值比较来控制。
当使用两个阈值TH1和TH2(TH1＞TH2)时，如果每个宏块的平均运动活动度大于TH1，则输入图像以初始帧速率进行编码。如果每个宏块的平均运动活动度大于TH2而小于TH1，则输入图像以初始帧速率的一半进行编码。如果每个宏块的平均运动活动度小于TH2，则输入图像以初始帧速率的三分之一进行编码。
例如，当初始帧速率是30赫兹并且两个阈值是10和20时，如果平均运动活动度大于20，则输入图像以30赫兹进行编码。如果平均运动活动度大于10而小于20，则输入图像以15赫兹进行编码。如果平均运动活动度小于10，则输入图像以10赫兹进行编码。
阈值TH1和TH2能够通过试验来选择。虽然第一实施例使用了在确定单位部分内的每个宏块的平均运动活动度以确定该确定单位部分的帧速率，然而也能够使用预定数量的宏块的平均运动活动度。
帧速率转换器360基于由帧速率确定器340确定的帧速率控制输入图像数据的帧速率，并且将它输出到编码器380上。
图4A、4B以及4C示出帧速率转换器360基于所确定的帧速率转换的不同帧速率。在图4A、4B以及4C中，黑帧是将要实际进行编码的，而白帧是将要跳过而不进行编码的。图4A示出当30帧内每个宏块的平均运动活动度大于第一阈值TH1时执行的帧转换。图4B示出当30帧内每个宏块的平均运动活动度小于第一阈值TH1而大于第二阈值TH2时执行的帧转换。图4C示出当30帧内每个宏块的平均运动活动度小于第二阈值TH2时执行的帧转换。
编码器380以由帧速率转换器360根据时间复杂性程度控制的帧速率以例如MPEG-2编码来编码帧。另外，在MPEG-2编码时，参数是在编码比特流的句法水平中得到适当控制的，使得所编码的比特流具有代表受控制帧速率的信息。这使得解码器能够以初始帧速率进行解码。
在本实施例中，作为在编码数据的结构中的句法水平的画面编码扩展的参数的“重复第一场”(RFF)和“顶端场第一帧”(TFF)值，是根据MPEG-2编码恰当地设置的。
更具体地说，当将在其中每个宏块的平均运动活动度大于TH1的单位部分中的帧以初始帧速率进行编码时，所述RFF和TFF值都将设置为0。
当将在其中每个宏块的平均运动活动度大于TH2并且小于TH1的单位部分中的帧以初始帧速率的一半进行编码时，所述RFF和TFF值将分别设置为1和0。相应地，该帧在解码时重复一次。
由于在其中每个宏块的平均运动活动度小于TH1的单位部分中的帧是以初始帧速率的三分之一进行编码的，所以所述RFF和TFF值都将设置为1。相应地，该帧在解码时重复两次。
图5示出了在MPEG-2六层数据结构中的画面编码扩展的数据结构。在所述第一实施例中，使用了该画面编码扩展的编码数据之外的参数TFF和RFF，使得以转换的帧速率编码的比特流具有关于所转换帧速率的信息。
如上所述，根据本发明的运动图像编码装置通过恰当地控制该编码比特流的画面编码扩展的一些参数使得编码的比特流能够具有关于它所对应的转换帧速率的信息。
相应地，用于解码以在根据本发明的编码装置中转换的帧速率编码的比特流的解码装置能够基于在编码比特流中的信息以初始帧速率解码该编码比特流。
另外，在因为在如图3所示的MPEG-2编码中使用了由运动活动度计算器320计算的运动矢量，所以能够减少MPEG-2编码所要求的计算量。
图6示出了当输入图像不是顺序序列时的根据本发明的第二实施例的自适应运动图像编码装置。该运动图像编码装置包括：交织顺序转换器(IPC)610、运动活动度计算器620、帧速率确定器640、帧速率转换器660、以及编码器680。所述运动活动度计算器620、帧速率确定器640、帧速率转换器660、以及编码器680执行与图3的那些类似部分相同的操作，所以将不详细描述它们。
当输入图像不是顺序序列时，通过交织到顺序的转换将它转换为顺序序列，并且接着执行在图4的运动图像编码装置中执行的相同编码。
在该实施例中，假定由IPC 610接收的输入图像的帧速率和空间分辨率得到保持直到该输入图像从IPC 610中输出为止。即，假定30赫兹720×480交织图像会转换为30赫兹720×480顺序图像。然而，当转换为30赫兹720×480顺序图像时，用户能够恰当地控制空间分辨率和帧速率。
图7示出根据本发明的第三实施例的一种考虑了时间复杂性的自适应运动图像编码装置。该自适应运动图像编码装置包括运动图像解码器720、运动活动度计算器740、帧速率确定器750、帧速率转换器760、以及编码器780。所述运动图像解码器720包括可变长度解码器(VLD)722、反量化器(IQ)724、反离散余弦变换器(IDCT)726、帧存储器728、以及运动补偿器(MC)730。
运动图像解码器720的功能单元执行与传统MPEG解码器的那些类似部分相同的操作，所以将不详细描述它们。
在该实施例中，当解码时，在一单位部分内的B帧或者P帧的宏块间的运动活动度就得到计算并且被平均以获得在一单位部分内每个宏块的平均运动活动度。
即，如果输入图像数据是一编码流，则运动活动度计算器740使用在运动图像解码器720中执行的解码中获得的运动矢量计算在一单位部分内的每个宏块的运动活动度。相应地，不像图3的运动活动度计算器320，运动活动度计算器740不要求一额外运动估计器。
例如，运动活动度计算器740从VLD 722中接收MV，并且计算使用所接收的MV计算每个宏块的平均运动活动度。
帧速率确定器750、帧速率转换器760、以及编码器780执行与图3的那些类似部分相同的操作，所以将不详细描述它们。
帧速率确定器750通过比较由所述运动活动度计算器740计算的每个宏块的平均运动活动度与预定的阈值确定对应于单位部分的帧的帧速率。
当使用了两个阈值TH1和TH2(TH1＞TH2)时，如果每个宏块的平均运动活动度大于TH1，则以初始帧速率编码帧。如果每个宏块的平均运动活动度大于TH2而小于TH1，则以初始帧速率的一半编码帧。如果每个宏块的平均运动活动度小于TH2，则以初始帧速率的三分之一编码帧。
帧速率转换器760基于由如图4A、4B、和4C所示的帧速率确定器750确定的帧速率控制输入图像数据的帧速率，并且输出它到编码器780上。
编码器780根据时间复杂性的程度以由帧速率转换器760控制的帧速率编码帧，例如采用MPEG-2来编码帧。另外，在MPEG-2编码时，在所编码比特流的句法水平中的一些参数，即在该数据结构中的编码数据得到恰当地控制使得所编码比特流具有代表所控制帧速率的信息。这使得解码器能够以初始帧速率执行解码。
如上所述，通过恰当地控制编码比特流的画面编码扩展的一些参数，根据本发明的运动图像编码装置使得所编码比特流能够具有关于它的对应的转换帧速率的信息。
因此，用于解码以在根据本发明的运动图像编码装置中所转换的帧速率编码的比特流的一种解码装置能够基于在所述编码比特流中的信息以初始帧速率解码所述编码比特流。
图8示出根据本发明的第四实施例的为当输入图像不是顺序序列时的情形提供的考虑了时间复杂性的一种自适应运动图像编码装置。该自适应运动图像编码装置包括运动图像解码器820、运动活动度计算器840、帧速率确定器850、IPC 860、帧速率转换器870、以及编码器880。所述运动图像解码器820包括VLD 822、IQ 824、IDCT 826、帧存储器828、以及MC 830。
运动图像解码器820、运动活动度计算器840、帧速率确定器850、IPC 860、帧速率转换器870、以及编码器880执行于图6所示的类似部分相同的操作，所以将不详细描述它们。
当输入图像不是顺序序列时，通过运动图像解码器820解码它。所解码的数据通过由IPC 860执行的交织顺序转换会转换为顺序序列。接着，执行在图6的运动图像编码装置中的相同编码。
在该实施例中，假定由IPC 860接收的输入图像的帧速率和空间分辨率得到保持直到该输入图像从IPC 860中输出为止。即，假定30赫兹720×480交织图像被转换为30赫兹720×480顺序图像。然而，当转换为30赫兹720×480顺序图像时，用户能够恰当地控制空间分辨率和帧速率。
图9是用于说明根据本发明的考虑了时间复杂性的一种自适应运动图像编码方法。在步骤920中，输入图像数据的时间复杂性以预定尺寸部分的单位来计算。其中，在一单位部分内每个宏块的平均运动活动度是使用运动活动度即运动矢量的大小来计算的，以计算所述时间复杂性。
在步骤940中，通过比较在步骤920中计算的每个宏块的平均运动活动度与预定阈值确定所述单位部分的帧速率。当使用两个阈值TH1和TH2(TH1＞TH2)时，如果每个宏块的平均运动活动度大于TH1，则以初始帧速率编码所述输入图像。如果每个宏块的平均运动活动度大于TH2而小于TH1，则以初始帧速率的一半编码所述输入图像。如果每个宏块的平均运动活动度小于TH2，则以初始帧速率的三分之一编码所述输入图像。
在步骤960中，输入图像数据的帧速率是基于在步骤940中确定的帧速率控制的。
在步骤980中，对在步骤960中其帧速率已经得到转换的输入图像数据进行编码。另外，在所述编码数据的句法水平中(即在所编码比特流的数据结构中)的一些参数得到恰当地控制，使得所编码比特流具有代表所转换帧速率的信息。其中，所述参数是作为在所编码数据的结构中的句法水平的画面编码扩展的参数的RFF和TFF值。
例如，在MPEG-2编码时，如果每个宏块的平均运动活动度大于TH1，则以初始帧速率编码帧。相应地，将所述RFF和TFF值都设置为0。
如果每个宏块的平均运动活动度大于TH2而小于TH1，则以初始帧速率的一半编码帧，而将所述RFF和TFF值分别设置为1和0。相应地，所述帧在解码时重复一次。
如果每个宏块的平均运动活动度小于TH1，则以初始帧速率的三分之一编码帧，而将所述RFF和TFF值都设置为1。相应地，所述帧在解码时重复两次。
如上所述，通过恰当地控制编码比特流的画面编码扩展的一些参数，根据本发明的运动图像编码方法使得所编码比特流能够具有关于它的对应的转换帧速率的信息。
相应地，用于解码以在根据本发明的编码装置中转换的帧速率编码的比特流的一种解码装置能够以基于附加在编码比特流上的信息以初始帧速率解码编码比特流。
在参考优选实施例特别地示出该描述本发明时，本领域的一般技术人员应该理解可以对其进行形式和细节上的各种变化而不偏离由所附权利要求定义的本发明的实质和范围。
能够将根据本发明的运动图像编码方法写为在计算机可读记录介质中的计算机代码。所述记录介质包括用于存储能够由计算机***读取的数据的各种记录介质。例如，所述记录介质包括ROM(只读存储器)、RAM(随机访问存储器)、CD-ROM(只读光盘)、磁带、硬盘、软盘、闪速存储器、以及光学数据记录介质。另外，所述计算机代码能够经由诸如因特网的载波来传送。所述记录介质在通过网络连接的计算机***中被分散，并且能够将所述运动图像编码方法写为计算机代码并且以分散的方式执行。
在上述的本发明中，以预定尺寸的部分计算图像的时间复杂性，以低于初始帧速率的帧速率编码具有相对低的时间复杂性的图像部分，而以初始帧速率编码具有相对高的时间复杂性的图像部分。恰当地设置编码时间的句法水平去以初始帧速率解码所述编码数据。由此，运动图像能够更有效地存储于存储介质中而不降低图像质量。

Claims (23)

1.一种自适应编码运动图像的方法，所述方法包括：
(a)计算输入图像数据的时间复杂性；
(b)基于所计算的时间复杂性转换所述输入图像数据的帧速率；
(c)对其帧速率已经得到转换的所述输入图像数据进行编码，并且调整所述编码图像数据的编码数据使得所述编码图像数据具有关于所述转换帧速率的信息，
其中步骤(b)包括：
(b1)通过比较所计算的时间复杂性与至少一个预定阈值确定一帧速率；以及
(b2)基于所确定的帧速率转换所述输入图像数据的所述帧速率。
2.根据权利要求1所述的方法，其中步骤(a)包括：
(a1)解码输入图像数据；以及
(a2)利用在步骤(a1)中获得的运动矢量计算所述时间复杂性。
3.根据权利要求1所述的方法，其中在步骤(c)中所述编码数据是所述编码图像数据的数据结构中的画面编码扩展的至少一个编码数据。
4.根据权利要求3所述的方法，其中所述编码数据是所述画面编码扩展的重复第一场RFF值和顶端场第一帧TFF值中的至少一个。
5.根据权利要求4所述的方法，如果所计算的时间复杂性大于第一阈值，则所述重复第一场RFF和顶端场第一帧TFF值都会设置为0，如果所计算的时间复杂性大于第二阈值而小于所述第一阈值，则所述重复第一场RFF和顶端场第一帧TFF值会分别设置为1和0，如果计算的时间复杂性小于所述第一阈值，则所述重复第一场RFF和顶端场第一帧TFF值都会设置为1。
6.根据权利要求5所述的方法，其中所述第一阈值大于所述第二阈值。
7.根据权利要求1所述的方法，其中所述时间复杂性是基于所述输入图像数据的每个宏块的所述运动活动度计算的。
8.根据权利要求7所述的方法，其中所述运动活动度是所述宏块的所述运动矢量的大小。
9.根据权利要求8所述的方法，其中，如果所述宏块的所述运动矢量是MV1、MV2，则所述运动活动度是MV12+MV2。
10.根据权利要求1所述的方法，其中所述时间复杂性计算和所述帧速率确定是在所述输入图像数据的预定单位部分中执行。
11.根据权利要求10所述的方法，其中所述输入图像数据的所述预定单位部分是图像组。
12.根据权利要求10所述的方法，其中所述输入图像数据的所述预定单位部分是一序列。
13.一种用于自适应编码运动图像的装置，所述装置包括：
时间复杂性计算单元，用于计算输入图像数据的所述时间复杂性；
帧速率转换单元，用于基于所计算的时间复杂性转换所述输入图像数据的所述帧速率；以及
编码器，用于编码其帧速率已经转换的所述输入图像数据，并且调整所述编码图像数据的编码数据，使得所述编码图像数据具有关于所述已转换帧速率的信息，
其中所述帧速率转换单元还包括一帧速率确定器，用于通过比较所计算的时间复杂性与至少一个预定的阈值确定一帧速率，并且所述输入图像数据的所述帧速率是基于由所述帧速率确定器确定的所述帧速率转换的。
14.根据权利要求13所述的装置，其中所述时间复杂性计算单元还包括一解码器，用于解码输入的编码图像数据，并且所述时间复杂性是利用由所述解码器获得的运动矢量进行计算的。
15.根据权利要求13所述的装置，其中所述编码数据是所述编码图像数据的数据结构中的画面编码扩展的至少一个编码数据。
16.根据权利要求15所述的装置，其中所述编码数据是所述画面编码扩展的重复第一场RFF值和顶端场第一帧TFF值的至少一个。
17.根据权利要求16所述的装置，其中如果所计算的时间复杂性大于第一阈值，则所述帧速率转换单元将所述重复第一场RFF和顶端场第一帧TFF值都设置为0，如果所计算的时间复杂性大于第二阈值而小于所述第一阈值，则设置所述重复第一场RFF和顶端场第一帧TFF值分别为1和0，如果计算的时间复杂性小于所述第一阈值，则设置所述重复第一场RFF和顶端场第一帧TFF值都为1。
18.根据权利要求17所述的装置，其中所述第一阈值大于所述第二阈值。
19.根据权利要求13所述的装置，其中所述时间复杂性是基于所述输入图像数据的每个宏块的所述运动活动度计算的。
20.根据权利要求19所述的装置，其中所述运动活动度是所述宏块的所述运动矢量的大小。
21.根据权利要求20所述的装置，其中，如果所述宏块的所述运动矢量是MV1、MV2，则所述运动活动度是MV12+MV2。
22.根据权利要求18所述的装置，其中所述时间复杂性计算和所述帧速率确定是在图像组中执行的。
23.根据权利要求18所述的装置，其中所述时间复杂性计算和所述帧速率确定是在序列中执行的。
CNB021458502A 2002-05-22 2002-10-15 自适应编码和解码运动图像的方法及其装置 Expired - Fee Related CN1233160C (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR28364/02 2002-05-22
KR20020028364A KR100850706B1 (ko) 2002-05-22 2002-05-22 적응적 동영상 부호화 및 복호화 방법과 그 장치
KR28364/2002 2002-05-22

Publications (2)

Publication Number Publication Date
CN1459981A CN1459981A (zh) 2003-12-03
CN1233160C true CN1233160C (zh) 2005-12-21

Family

ID=29546333

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB021458502A Expired - Fee Related CN1233160C (zh) 2002-05-22 2002-10-15 自适应编码和解码运动图像的方法及其装置

Country Status (5)

Country Link
US (2) US7457471B2 (zh)
JP (1) JP2003348583A (zh)
KR (1) KR100850706B1 (zh)
CN (1) CN1233160C (zh)
DE (1) DE10248019A1 (zh)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100850705B1 (ko) * 2002-03-09 2008-08-06 삼성전자주식회사 시공간적 복잡도를 고려한 적응적 동영상 부호화 방법 및그 장치
EP2372687B1 (en) * 2003-04-07 2016-04-06 Samsung Display Co., Ltd. Liquid crystal display and driving method thereof
JP4470431B2 (ja) * 2003-10-01 2010-06-02 ソニー株式会社 データ処理装置およびその方法
US8369405B2 (en) * 2004-05-04 2013-02-05 Qualcomm Incorporated Method and apparatus for motion compensated frame rate up conversion for block-based low bit rate video
MX2007000254A (es) * 2004-07-01 2007-04-09 Qualcomm Inc Metodo y aparato para utilizar tecnicas de conversion ascendente de indice de cuadro en codificacion de video que se puede escalar.
TW200625964A (en) * 2004-07-20 2006-07-16 Qualcomm Inc Method and apparatus for encoder assisted-frame rate up conversion (EA-FRUC) for video compression
US8553776B2 (en) * 2004-07-21 2013-10-08 QUALCOMM Inorporated Method and apparatus for motion vector assignment
US8780957B2 (en) 2005-01-14 2014-07-15 Qualcomm Incorporated Optimal weights for MMSE space-time equalizer of multicode CDMA system
JP5318561B2 (ja) 2005-03-10 2013-10-16 クゥアルコム・インコーポレイテッド マルチメディア処理のためのコンテンツ分類
US8345768B1 (en) * 2005-07-28 2013-01-01 Teradici Corporation Progressive block encoding using region analysis
WO2007021225A1 (en) * 2005-08-19 2007-02-22 Telefonaktiebolaget Lm Ericsson (Publ) Image management
CN100407795C (zh) * 2005-09-08 2008-07-30 上海广电（集团）有限公司中央研究院 一种帧场自适应检测方法
US8879856B2 (en) 2005-09-27 2014-11-04 Qualcomm Incorporated Content driven transcoder that orchestrates multimedia transcoding using content information
US8654848B2 (en) 2005-10-17 2014-02-18 Qualcomm Incorporated Method and apparatus for shot detection in video streaming
US8948260B2 (en) 2005-10-17 2015-02-03 Qualcomm Incorporated Adaptive GOP structure in video streaming
JP4887727B2 (ja) * 2005-10-20 2012-02-29 ソニー株式会社 画像信号処理装置、カメラシステム、および画像信号処理方法
US20070230564A1 (en) * 2006-03-29 2007-10-04 Qualcomm Incorporated Video processing with scalability
KR101127432B1 (ko) * 2006-04-03 2012-07-04 퀄컴 인코포레이티드 전처리기 방법 및 장치
US8634463B2 (en) * 2006-04-04 2014-01-21 Qualcomm Incorporated Apparatus and method of enhanced frame interpolation in video compression
US9131164B2 (en) 2006-04-04 2015-09-08 Qualcomm Incorporated Preprocessor method and apparatus
US8750387B2 (en) * 2006-04-04 2014-06-10 Qualcomm Incorporated Adaptive encoder-assisted frame rate up conversion
KR100790148B1 (ko) * 2006-07-27 2008-01-02 삼성전자주식회사 실시간 영상 복잡도 측정 방법
DE602007009702D1 (de) * 2006-08-21 2010-11-18 Nxp Bv Verarbeitung von bildsignalen mit bewegungskompensation
KR100777079B1 (ko) 2006-08-28 2007-11-16 주식회사 대우일렉트로닉스 엘씨디 텔레비전의 프레임 레이트 제어방법
US8208550B2 (en) * 2007-07-31 2012-06-26 Hewlett-Packard Development Company, L.P. Adapting an encoded video signal to encoding complexity
WO2009014667A1 (en) * 2007-07-22 2009-01-29 Hewlett-Packard Development Company, L.P. Adapting an encoded video signal to encoding complexity
EP2330817B1 (en) * 2008-09-04 2016-08-31 Japan Science and Technology Agency Video signal converting system
JP5179306B2 (ja) * 2008-09-22 2013-04-10 Ｋｄｄｉ株式会社 動画像符号化方法、動画像符号化装置および動画像符号化プログラム
US9479786B2 (en) * 2008-09-26 2016-10-25 Dolby Laboratories Licensing Corporation Complexity allocation for video and image coding applications
KR101416272B1 (ko) 2008-11-05 2014-07-07 삼성전자 주식회사 디스플레이장치 및 그 제어방법
US9286709B2 (en) * 2009-07-27 2016-03-15 Dreamworks Animation Llc Variable frame rate rendering and projection
CN110111251B (zh) * 2019-04-22 2023-04-28 电子科技大学 一种结合深度监督自编码和感知迭代反投影的图像超分辨率重建方法
CN110996131B (zh) * 2020-03-02 2020-11-10 腾讯科技（深圳）有限公司 视频编码方法、装置、计算机设备及存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1069778A3 (en) * 1993-04-09 2004-10-20 Sony Corporation Picture encoding method, picture encoding apparatus and picture recording medium
KR100234247B1 (ko) * 1995-05-29 1999-12-15 윤종용 가변 비트율 동화상 부호화장치
DE69633129T2 (de) * 1995-10-25 2005-08-04 Sarnoff Corp. Waveletbaum-bildcoder mit überlappenden bildblöcken
US6002802A (en) * 1995-10-27 1999-12-14 Kabushiki Kaisha Toshiba Video encoding and decoding apparatus
KR0186142B1 (ko) * 1995-12-28 1999-05-01 구자홍 가변율 부호화기의 비트율 할당 방법 및 장치
WO2000064187A1 (en) 1999-04-19 2000-10-26 Sony Corporation Image encoding device and its method
JP2001285868A (ja) * 2000-03-29 2001-10-12 Victor Co Of Japan Ltd 動画像符号列切替装置及び動画像符号列切替方法
KR20010104058A (ko) * 2000-05-12 2001-11-24 박종섭 동영상 부호화기의 부호화 모드에 따른 적응적 양자화기
JP2002125227A (ja) 2000-10-11 2002-04-26 Sony Corp 画像情報変換装置及び方法

Also Published As

Publication number Publication date
US20070058877A1 (en) 2007-03-15
CN1459981A (zh) 2003-12-03
US7457471B2 (en) 2008-11-25
KR100850706B1 (ko) 2008-08-06
JP2003348583A (ja) 2003-12-05
DE10248019A1 (de) 2003-12-11
US20030219160A1 (en) 2003-11-27
KR20030090308A (ko) 2003-11-28

Similar Documents

Publication Publication Date Title
CN1233160C (zh) 自适应编码和解码运动图像的方法及其装置
CN1200568C (zh) 在图像和视频的编码/解码中的变换系数的最佳扫描方法
CN1283100C (zh) 基于时间和空间复杂性自适应编码运动图像的方法及装置
CN1224268C (zh) 运动图象编码装置及运动图象解码装置
CN1151684C (zh) 活动图象编码译码装置及方法
CN1223197C (zh) 用于数字视频记录的视频比特率控制方法和设备
CN1251512C (zh) 从不可分级编码视频信号产生可分级编码视频信号的方法和装置
CN1301370A (zh) 用于减少压缩的视频中的喘息污迹的方法和设备
CN1933601A (zh) 用于无损视频编码和解码的方法及设备
CN1949877A (zh) 自适应量化控制器及其方法
CN1913642A (zh) 视频编码设备和视频编码方法
CN1695168A (zh) 视频信息编码方法和视频信息解码方法
CN1592413A (zh) 图象数据的自适应可变长度编码方法
CN1943244A (zh) 视频编码中的帧间预测方法、视频编码器、视频解码方法和视频解码器
CN1893666A (zh) 视频编码和解码方法及设备
CN1870754A (zh) 减少分块现象的编/解码装置、方法及计算机可读记录介质
CN1647540A (zh) 用于提供适用于降低复杂度的解码的单层视频编码比特流的***和方法
CN1922884A (zh) 视频解码方法
CN1149853C (zh) 带有运动补偿的编码和译码装置
CN1399472A (zh) 多信道图像编码装置及其编码方法
CN1725861A (zh) 压缩/解压缩图像的方法和使用该方法的设备
US20040264790A1 (en) Method of and apparatus for adaptively encoding motion image according to characteristics of input image
CN1235413C (zh) 基于运动估计的小波视频编解码方法
CN1703911A (zh) 降低已压缩多媒体的比特率
CN1204747C (zh) 影像转换编码装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20051221

Termination date: 20091116