CN1306824C - 图像边界像素扩展***及其实现方法 - Google Patents

图像边界像素扩展***及其实现方法 Download PDF

Info

Publication number
CN1306824C
CN1306824C CNB2004100703658A CN200410070365A CN1306824C CN 1306824 C CN1306824 C CN 1306824C CN B2004100703658 A CNB2004100703658 A CN B2004100703658A CN 200410070365 A CN200410070365 A CN 200410070365A CN 1306824 C CN1306824 C CN 1306824C
Authority
CN
China
Prior art keywords
image
memory
data
circuit
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
CNB2004100703658A
Other languages
English (en)
Other versions
CN1589027A (zh
Inventor
解晓东
吴迪
贾惠柱
生滨
郑俊浩
张鹏
邓磊
张力
张帧睿
王忠立
朱胜利
王晓辉
颜伟成
高文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Spreadtrum Communications Shanghai Co Ltd
Original Assignee
National Source Coding Center Digital Audio And Video Frequency Technology (beijing) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Source Coding Center Digital Audio And Video Frequency Technology (beijing) Co Ltd filed Critical National Source Coding Center Digital Audio And Video Frequency Technology (beijing) Co Ltd
Priority to CNB2004100703658A priority Critical patent/CN1306824C/zh
Publication of CN1589027A publication Critical patent/CN1589027A/zh
Application granted granted Critical
Publication of CN1306824C publication Critical patent/CN1306824C/zh
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明是一种视频解码芯片中图像边界像素扩展***及扩展方法,该***包括有重建帧存储电路,变长解码器向重建帧存储电路发送控制命令信号,帧内预测电路向重建帧存储电路传送数据,存储器控制器对重建帧存储电路的输出数据进行存储处理,重建帧存储电路包括控制命令存储器、图像数据存储器和图像边界像素扩展模块电路,控制命令存储器存储变长解码器输入的控制命令信号,图像数据存储器存储位数变长的由帧内预测器输入的图像数据,图像边界像素扩展模块电路解析图像控制信号,将边缘和角点像素向外重复扩充,扩展后的像素数据存入动态存储器。本发明能取得很大的编码增益,扩展了运动矢量的范围,极大地提高了数字视频解码芯片的效率。

Description

图像边界像素扩展***及其实现方法
技术领域
本发明涉及数字电视图像处理中数字视频的编解码技术领域,尤其是涉及一种视频解码芯片中图像边界像素扩展***及其实现方法,当某一运动矢量所指的参考宏块位于编码图像之外时,就用其边缘的图像像素值来代替这个不存在的宏块(macroblock),从而实现无限制运动向量这种解码技术。
背景技术
在整个视频解码***中,运动补偿是具有重要地位的一个环节。运动矢量是进行运动补偿的基础,在现有技术中,一般运动矢量的范围都限制在已编码的参考帧内。这种限制,使得对当前帧图像边界的宏块进行运动估计时,由于参考宏块可能已处于参考帧之外而无法得到最优的效果,在运动图像专家组标准MPEG-2以前的压缩标准以及国际电信联盟视频编解码标准H.261中都是这样。在H.263、MPEG-4以及中国音视频编解码国家标准AVS1.0中取消了这种限制,允许运动矢量指向图像以外的区域。但是,标准允许的这种技术一直未能实现
发明内容
为了解决现有技术的不足,本发明的目的在于提供一种图像边界像素扩展***及其实现方法,以提高允许运动矢量指向图像以外区域时的编码增益。
本发明的另一个目的在于提供一种图像边界像素扩展***及其实现方法,允许使用更大的运动矢量,扩展运动矢量的范围,以提高了数字视频解编码的效率。
为完成上述目的,本发明采用的总体技术方案为:图像边界像素扩展***,包括变长解码器、帧内预测电路、存储器控制器、反量化电路、反变换电路、动态存储器以及运动补偿电路,变长解码器通过命令总线和控制总线与其它装置相连接,变长解码器和帧内预测电路之间有运动补偿电路,该***还包括有重建帧存储电路,变长解码器向重建帧存储电路发送控制命令信号,帧内预测电路向重建帧存储电路传送数据,存储器控制器对重建帧存储电路的输出数据进行存储处理,重建帧存储电路包括图像控制信息存储器、图像数据存储器和图像边界像素扩展模块电路,图像控制信息存储器存储变长解码器输入的控制命令信号,图像数据存储器存储由帧内预测器输入的图像数据,图像边界像素扩展模块电路解析图像控制信号,将边缘和角点像素向外重复扩充,扩展后的像素数据存入动态存储器。
所述的图像控制信息存储器是位宽为32位、深度为8的寄存器数组。
所述的图像数据存储器为两个宽度64位、深度为48的随机存储器,把64位的输入数据转换为128位数据输出。
所述变长解码器输入的图像控制信号至少包括时钟同步信号、写命令和数据命令、命令数据和图像信息数据。
所述的变长解码器输入的图像控制信息的格式包括初始化信息、图像序列级信息、帧级信息、宏块级信息;初始化信息包含初始化信号,所述初始化信息的32位中的0-15位提供图像逻辑存储宽度;图像序列级的信息的2~13位标志本图像序列中每帧图像的宽度,所述图像序列级的信息的14-29位标志本图像序列中每帧图像的高度;帧级信息的6-25位标志每帧图像的基址;宏块级信息的0-6位标志宏块在每帧图像中的纵向相对地址,所述宏块级信息的7-13位标志宏块在每帧图像中的水平方向相对地址。
所述图像控制信息存储器的输出信息至少包括:反馈到变长解码器的存储器命令、存向图像边界像素扩展模块电路的读数据命令。
所述的帧内预测器向图像数据存储器输入的图像数据信息至少包括时钟同步信号、写数据命令、输入数据。
所述的图像数据存储器向图像边界像素扩展模块电路输出的信息至少包括:反馈到帧内预测器的存储器命令、存向主模块的读数据命令。
图像边界像素扩展***的扩展方法,该***包括变长解码器、帧内预测电路、存储器控制器、反量化电路、反变换电路、动态存储器、运动补偿电路和重建帧存储电路,本方法至少包括以下步骤:
步骤1、变长解码器向重建帧存储模块的图像控制信息存储器发送控制信息;
步骤2、图像控制信息存储器向图像边界像素扩展模块电路发送图像信息数据;
步骤3、图像边界像素扩展模块电路判断是否要进行图向边界像素扩展,是则接收帧内预测器传输来的图像数据流到图象数据流存储器中,执行步骤4;否则结束;
步骤4、图像边界像素扩展模块电路结合两个存储器内的数据建立图像模型,将边缘和角点像素向外重复扩充;
步骤5、将扩展后的数据存储到动态存储器中。
所述步骤2中的图像控制信息存储器向图像边界像素扩展模块电路发送的图像数据是由输入的64位数据转换成的128位数据。
所述由输入的64位数据转换成128位数据具体包括以下转换步骤:
步骤21、帧内预测电路模块IP以64位为单位,每次写入8个数将图像数据流写入图像数据流存储器,交叉将每8个数写入行选为0和1的随机存储器中;
步骤22、图像数据流存储器判断数据是否存储完,是则将0和1两个随机存储器中的128位数据作为一个整体读出,执行步骤23;否则结束;
步骤23、将读出的数据送入图像边界像素扩展模块电路。
所述步骤4中的将边缘和角点像素向外重复扩充是指:在水平方向上,向左向右各分别扩充16个像素pixel,在垂直方向上,对于UV扩充8个像素pixel,对于Y扩充各像素16pixel。
所述步骤4进一步包括:
步骤41、判断解码码流的模式和类型,如果解码码流是帧进模式,则进行以下扩充:对于亮度Y,周边处的MB单元扩充以边缘像素为单位直接向外重复扩充16次,拐角处扩充以拐角处MB的角点像素为单位向外重复扩充16×16次,对于色度UV而言,在左右方向上分别把U和V的边界像素单元合成一个以一个U像素单元和一个V像素单元为单位的整体,分别向左或向右扩展8次,在上下方向上把U和V交叉后分别扩充8次,在拐角处,把U的拐角点像素单元和V的拐角点像素单元合为一体,扩充16×8次;
步骤42、如果解码码流是场进模式,则进一步判断是顶场或是底场,如果是进入码流是顶场,则以首行计算地址为准,隔行进行地址计算以该跳变地址向动态存储器存储数据,并按照步骤41的方法向图像的顶左和顶右、向左边和右边及顶边扩充像素;
步骤43、如果进入码流是底场,以首行计算地址为准,隔行进行地址计算以该跳变地址向动态存储器存储数据,并按照步骤41的方法向图像的底左和底右、向左边和右边及底边扩充像素。
所述步骤5中的存储具体包括以下步骤:
步骤51、判断解码码流的模式和类型,如果解码码流是帧进模式,对亮度Y,如果是图像主体部分直接计算好地址就写到动态存储器中,如果是扩展部分,在计算好地址的前提下,按扩充的顺序写入到动态存储器中,对于色度UV,如果是主体部分,计算好地址,把U和V交叉后存入动态存储器,如果是扩展部分,在计算好地址的前提下,按扩充顺序写入到动态存储器中;
步骤52、如果解码码流以场进模式输入,对亮度y,如果是主体部分,直接计算好地址写到动态存储器中,如果是扩展部分,对于顶场,需要计算扩展到顶左、顶边、顶右、左边、右边的数据的存储地址,然后进行存储,对于底场,需要计算扩展到底左、底边、底右、左边、右边的数据的存储地址,然后按扩充顺序写入到动态存储器,对于色度UV而言,如果是主体部分,计算好地址,把U和V交叉后存入动态存储器,如果是扩展部分,对于顶场,需要计算扩展到顶左、顶边、顶右、左边、右边的数据的存储地址,然后进行存储,对于底场,需要计算扩展到底左、底边、底右、左边、右边的数据的存储地址,然后按扩充顺序写入到动态存储器中。
本发明具有明显的优点和积极效果。本发明图像边界像素扩展***及其实现方法实现了边界像素扩展的硬件扩展***和扩展方法,允许运动矢量指向图像以外的区域,当某一运动矢量所指的参考宏块位于编码图像之外时,用其边缘的图像像素值来代替这个不存在的宏块。本发明扩展了运动矢量的范围,允许使用更大的运动矢量,当存在跨边界的运动矢量时,能取得很大的编码增益,实现编码增益的提高,特别是对小图像而言,效果更加佳。同时,本发明的方法还节省了硬件存储空间,提高了数据处理效率,二维存储的应用使得硬件处理的速度提高。特别适用于数字摄像机等数字视频设备的解编码芯片。
附图说明
图1是本发明的***构成图;
图2是本发明的重建帧存储器的结构示意图;
图3是本发明的图像控制命令信息存储器命令输入输出示意图;
图4是本发明的图像数据存储器数据输入输出示意图;
图5是本发明的图像数据存储器数据存储工作原理示意图;
图6是本发明的图像边界像素扩展模块电路数据输入输出架构示意图;
图7是本发明的边界像素向边界扩充的整体布局示意图;
图8是本发明的帧进模式下边界像素向顶左、顶右扩充过程示意图;
图9是本发明的帧进模式下边界像素向底左、底右扩充过程示意图;
图10是本发明的帧进模式下边界像素像顶边、左边、底边、右边扩充过程示意图;
图11是本发明的帧进模式下主体部分存储过程示意图;
图12是本发明的帧进模式下对色度的边界像素扩充过程示意图;
图13是本发明的场进模式下边界像素扩充过程的布局示意图;
图14是本发明的输出界面与动态存储器的接口示意图。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步详细的说明。
请参阅图1,图像边界像素扩展***,包括变长解码器VLD、帧内预测电路(IP,Intra prediction)、存储器控制器(SRAM Controller)、反量化电路、反变换电路、动态存储器(DRAM)以及运动补偿电路,变长解码器通过命令总线和控制总线与其它装置相连接,变长解码器和帧内预测电路之间有运动补偿电路,重建帧存储电路(REFERENCE STORE)与帧内预测电路连接,并通过命令总线与变长解码器相连接,变长解码器向重建帧存储电路发送控制命令信号,帧内预测电路向重建帧存储电路传送数据,存储器控制器对重建帧存储电路的输出数据进行存储处理,重建帧存储电路包括前后两个先入先出存储器和图像边界像素扩展模块电路,前后两个存储器存储输入的控制命令信号和图像数据流,图像边界像素扩展模块电路解析图像控制信号,将边缘和角点像素向外重复扩充,扩展后的像素数据存入动态存储器。
请参阅图2,重建帧存储电路主要包括三部分,两个先入先出存储器(FIFO)和主模块图像边界像素扩展模块电路(ref_store),两个存储器是指存储变长解码器输入的图像控制信息存储器CMDFIFO和存储帧内预测电路输入的解码的图像数据存储器DATAFIFO。
本发明图像边界像素扩展***的扩展方法主要有以下步骤:
首先,变长解码器VLD向重建帧存储模块(REFRENCE STORE)的图像控制信息存储器CMDFIFO发送控制信息;
之后,图像控制信息存储器CMDFIFO向图像边界像素扩展模块电路ref_store发送图像信息数据;
接下来,图像边界像素扩展模块电路ref_store判断是否要进行图向边界像素扩展,是则接收帧内预测器IP传输来的图像数据流到图象数据流存储器中DATAFIFO;否则结束;
然后,图像边界像素扩展模块电路ref_store结合两个存储器FIFO内的数据建立图像模型,将边缘和角点像素向外重复扩充;
最后,将扩展后的数据存储到动态存储器DRAM中。
请参阅图3,图像控制信息存储器是位宽为32bit、深度为8的寄存器数组,变长解码器向图像控制信息存储器输入的图像控制信息CMD包括时钟同步信号、重置命令、写命令和数据命令、命令数据和图像数据以及存储器正确应答及结束信号。其输入和输出信息如下:
输入:    I_CLK             I_DATA_WR
          I_CLK_INV         I_DATA
          I_RESET           I_SRAM_ACK
          I_CMD_WR          I_SRAM_END
          I_CMD_DATA
输出:
         O_CMD_FIFO_FULL    O_SRAM_SIZE
         O_DATA_FIFO_FULL   O_SRAM_LINES
         O_SRAM_REQ         O_SRAM_PITCH
         O_SRAM_ADDR        O_SRAM_WDATA
图像控制信息存储器输出信息包括:反馈到变长解码器的存储器命令和数据溢出信息、存向图像边界像素扩展模块电路的读数据命令、以及主存储器模块请求、地址及其大小、行、定位和写数据命令。
VLD发送给图像边界像素扩展模块电路REFERENCE STORE的是CMD图像控制信号,该控制信号包含的信息有:
1、4个命令
      0initial      (initialization level)
      1seq          (sequence level)
      2frm          (frame level)
      3mb           (macroblock level)
cmd数据信息具体格式分配如表1所示:LEVEL0包含初始化信号,由32bit中的0-15位提供DRAM width,从而确定逻辑存储的图像宽度。LEVEL1包含的是图像序列级的信息,其2-13位标志本图像序列中每帧图像的宽度(img-width),14-29位标志本图像序列中每帧图像的高度(img-height)。LEVEL2包含的是帧级信息,其6-25位标志每帧图像的基址。LEVEL3包含的是宏块级信息,其0-6位标志宏块在每帧图像中的纵向相对地址(mb-y),其7-13位标志宏块在每帧图像中的水平方向相对地址(mb-x)。cmd数据的30~31位作为图像信息级别的标志位。
                                           表1
 level=0(Initialization level);DRAM width
 31    30    29    28    27    26    25    24    23    22    21    20    19    18    17    16
  Level
 15    14    13    12    11    10    9     8     7     6     5     4     3     2     1     0
                                         DRAM width
 level=1(seq Level);
 31    30    29    28    27    26    25    24    23    22    21    20    19    18    17    16
 Level                                   Img width
 15    14    13    12    11    10    9     8     7     6     5     4     3     2     1     0
                                         Img height
 level=2(Ftame Level)
 31   30     29  28  27  26   25    24    23    22    21     20    19     18     17    16
 Level                          DRAM Address
 15    14    13      12     11    10      9     8     7     6     5      4     3      2      1     0
          for the pic to be stored                    top_field_first                          Frm/Fld
 注:1.frame/field type 1->frame 0->field1.top field_first  1->top field first 0->bottom field first
 level=3(mb level)
 31    30    29    28    27    26    25    24    23    22    21    20    19    18    17    16
 Level
 15    14    13    12    11    10    9     8     7     6     5     4     3     2     1     0
                             Mb_x                               Mb_y
1、CMD数:1/app 1/sequence 1/frm 1/mb
2、参数:
1)img height and img width
2)DRAM Address
3)mbx and mby
2、CMD的数据流格式
初始图像控制信息数据流如表2所示。
                                       表2
Level0 lnitializatio Level seq Level2 pic Level3 MB Level3 MB
  n   1
每帧图像控制信息数据流如表3所示。
                                表3
  Level2   pic   Level3   MB   Level3   MB   Level3   MB   5
请参阅图4,图像数据存储器对帧预测电路(IP,Intra-Prediction)传送来的完成解码后的图像数据DATA进行存储,在为图像边界像素扩展模块电路ref_store提供需要图像扩展(padding)数据的同时,也为不需要扩展的图像数据的直接输出提供桥梁作用。
帧内预测电路向重建帧存储器输入解码的图像数据存储器的信息包括时钟同步信号、重置命令、写数据命令、数据发送就绪命令、数据输入命令。图像数据存储器向主模块输出的信息包括:反馈到帧内预测器的存储器命令和数据溢出信息、存向主模块的读数据命令。
请参阅图5,图像数据存储器为两个宽度64bit、深度为48的随机存储器,它可把64bit的输入数据转换为128bit数据输出。把64bit的输入数据转换为128bit数据输出,这是通过存储的方式的改变来实现。具体方式是:
1、写入数据:由IP写入的图像数据流是以64bit为单位,每次写入8个数,首次写入的8个数放入行选为0的64bit的RAM中,如图5中左面的RAM,,第二次写入的8个数放入行选为1的64bit的RAM中如图5中右面RAM,第三次写入的8个数放入行选为0的RAM中,第四次写入的8个数放入行选为1的RAM中,依此类推,存储所有输入的图像数据流。
2、读出数据:两个RAM作为一个整体进行读出,即如Y0Y1作为一个整体开始向DRAM写入128bit的数。
请参阅图6,图像边界像素扩展模块电路ref_store作为重建帧存储器REFERENCE STORE的主模块,需要对变长编码器向重建帧存储器的图像控制命令信息存储器发送的cmd图像控制信号进行解析,同时需要结合cmd图像控制信号识别当前图像数据类型:帧进模式、顶场进模式、底场进模式,并相应计算出向动态存储器发送的存储首地址,同时对由帧内预测电路发送的图像数据流data进行扩展处理padding,以及需要对U和V中像素点的交叉输出进行处理。
请参阅图7,待处理图像划分为九种情况,扩展PADDING所涉及的是图像的边界部分,图中的字符串和***数字作为代码中对图像九种情况的标识。扩展的范围是:在水平方向上,向左向右各分别扩展16个像素pixel;在垂直方向上,对于色度UV,只需扩展8pixe1,对于亮度Y扩展16pixel。它是以边界宏块(mb)的边缘像素单元重复外扩而形成的,扩充的方法是:
在向顶底部的左右方向上的扩展如图8、图9所示,扩展的顺序为:从主体部分MAIN开始,按照abcdefghijkl展开。
1.TOP_LEFT;              3.BOT_LEFT;
2.TOP_RIGHT;             4.BOT_RTGHT.
在顶、底、左、右部边方向上扩展如图10所示,扩展的顺序为:从主体部分MAIN开始,按照abcdef展开。
5.TOP_EDGE;              6.BOT_EDGE;
7.LEFT_EDGE;             8.RIGHT_EDGE
主体部分MAIN的顺序如图11所示:按照abc进行。
扩充的顺序的总趋势是顺时针进行的,这样具有较高的数据处理效率并且节省存储空间。例如,首先取出需要扩展的数据是顶左MB的亮度分量的(y0y1),获得数据后就开始进行与该块(y0y1)相关的扩展:向左扩展形成左边扩展部分的亮度分量(y0y1),同时存到动态存储器中;接着扩展到左上拐角扩展部分的亮度分量(y0y1),同时存储到动态存储器中;然后扩展到左上拐角扩展部分的亮度分量(y2y3),同时存储到动态存储器中;然后扩展到上边扩展部分的亮度分量(y0y1),同时存储到动态存储器中;最后扩展到上边扩展部分的亮度分量(y2y3),同时存储到动态存储器中;这样和顶左宏块MB的亮度分量的(y0y1)相关的扩展处理都做完了,同时所有数据也都存储了,接下来开始考虑顶左宏块(MB)的亮度分量的(y2y3),同样的方法完成后,开始顶左宏块MB的色度分量的(uv)的像素扩展。其他边界部分的像素扩展也是遵循这个原则进行边界像素扩展的。这样的好处有两个:其一,处理的过程也是向动态存储器存储数据的过程,这样就可以不用先把由于像素扩展需要的数据存储起来再进行像素扩展,节省了存储空间;其二,主要是只取得所要用的数据进行处理,而不会把整个宏块的数据取得然后再进行边界象素扩展,减少了数据冗余,提高了处理数据的效率。存储方式是每次提供一个行数信号lines,只计算lines×16pixel块的首地址,然后,存储器的控制器根据首地址和行数,仅在一次对存储器控制器的请求信号的情况下,就可以依次向动态存储器写入lines行数据,从而实现了二维存储。
请参阅图11,扩展的方法是:在帧进模式下,对于亮度Y而言,周边处的宏块MB单元扩充以边缘像素为单位直接向外重复扩充16次,拐角处的扩充以拐角处MB的角点像素为单位向外重复扩充16×16次。
如图12所示,对于色度UV而言,扩展的方法是:在左右方向上分别把U和V的边界像素单元合成一个以一个U像素单元和一个V像素单元为单位的整体,分别向左或向右扩展8次,在上下方向上把U和V交叉后分别扩充8次,在拐角处,把U的拐角点像素单元和V的拐角点像素单元合为一体,扩充16×8次。
如图13所示,如果解码码流是场进模式,则进一步判断是顶场或是底场,如果进入码流是顶场,向DRAM存储的地址需要跳变:以首行计算地址为准,隔行再进行地址计算,如1357...。需要进行顶左TOPLEFT、顶右TOPRIGHT、底左BOTLEFT、底右BOTRIGHT、左边LEFTEDGE、右边RIGHTEDGE、顶边TOPEDGE、底边BOTEDGE的扩展。
如果进入码流是底场时,向动态存储器DRAM存储的地址需要跳变:以首行计算地址为准,隔行在进行地址计算,如2468...。需要进行顶左TOPLEFT、顶右TOPRIGHT、底左BOTLEFT、底右BOTRIGHT、左边LEFTEDGE、右边RIGHTEDGE、顶边TOPEDGE、底边BOTEDGE的扩展。
请参阅图14,扩展后的数据将存入动态存储器中。如果解码码流是帧进模式时,则对亮度Y,如果是图像主体MAIN部分,直接计算好地址就写到DRAM中,如果是扩展PADDING部分,在计算好地址的前提下,按扩充的顺序写入到DRAM中,对于色度UV,如果是MAIN部分,计算好地址,交叉后存入DRAM,如果是PADDING部分,在计算好地址的前提下,交叉后按扩充顺序写入到DRAM中;
再如图13所示,如果解码码流以场进模式输入,则对亮度Y,如果是MAIN部分,直接计算好地址写到DRAM中,如果是PADDING部分,对于顶场,需要计算扩展到顶左TOPLEFT、顶右TOPRIGHT、底左BOTLEFT、底右BOTRIGHT、左边LEFTEDGE、右边RIGHTEDGE、顶边TOPEDGE、底边BOTEDGE的数据的存储地址,然后进行存储,对于底场,需要计算扩展到顶左TOPLEFT、顶右TOPRIGHT、底左BOTLEFT、底右BOTRIGHT、左边LEFTEDGE、右边RIGHTEDGE、顶边TOPEDGE、底边BOTEDGE的数据的存储地址,然后按扩充顺序写入到DRAM,对于色度UV而言,如果是MAIN部分,计算好地址交叉后存入DRAM,如果是PADDING部分,对于顶场,需要计算扩展到顶左TOPLEFT、顶右TOPRIGHT、底左BOTLEFT、底右BOTRIGHT、左边LEFTEDGE、右边RIGHTEDGE、顶边TOPEDGE、底边BOTEDGE的数据的存储地址,然后进行存储,对于底场,需要计算扩展到顶左TOPLEFT、顶右TOPRIGHT、底左BOTLEFT、底右BOTRIGHT、左边LEFTEDGE、右边RIGHTEDGE、顶边TOPEDGE、底边BOTEDGE的数据的存储地址,然后按扩充顺序写入到DRAM。
最后所应说明的是:以上实施例仅用以说明而非限制本发明的技术方案,尽管参照上述实施例对本发明进行了详细说明,本领域的普通技术人员应当理解:依然可以对本发明进行修改或者等同替换,而不脱离本发明的精神和范围的任何修改或局部替换,其均应涵盖在本发明的权利要求范围当中。

Claims (14)

1、图像边界像素扩展***,包括变长解码器、帧内预测电路、存储器控制器、反量化电路、反变换电路、动态存储器以及运动补偿电路,变长解码器通过命令总线和控制总线与其它装置相连接,变长解码器和帧内预测电路之间有运动补偿电路,其特征在于,该***还包括有重建帧存储电路,变长解码器向重建帧存储电路发送控制命令信号,帧内预测电路向重建帧存储电路传送数据,存储器控制器对重建帧存储电路的输出数据进行存储处理,重建帧存储电路包括图像控制信息存储器、图像数据存储器和图像边界像素扩展模块电路,图像控制信息存储器存储变长解码器输入的控制命令信号,图像数据存储器存储由帧内预测器输入的图像数据,图像边界像素扩展模块电路解析图像控制信号,将边缘和角点像素向外重复扩充,扩展后的像素数据存入动态存储器。
2、根据权利要求1所述的图像边界像素扩展***,其特征在于,所述的图像控制信息存储器是位宽为32位、深度为8的寄存器数组。
3、根据权利要求1所述的图像边界像素扩展***,其特征在于,所述的图像数据存储器为两个宽度64位、深度为48的随机存储器,把64位的输入数据转换为128位数据输出。
4、根据权利要求1所述的图像边界像素扩展***,其特征在于,所述变长解码器输入的图像控制信号至少包括时钟同步信号、写命令和数据命令、命令数据和图像数据。
5、根据权利要求2所述的图像边界像素扩展***,其特征在于,所述的变长解码器输入的图像控制信息的格式包括初始化信息、图像序列级信息、帧级信息、宏块级信息;初始化信息包含初始化信号,所述初始化信息的32位中0~15位提供图像逻辑存储宽度;图像序列级的信息的2~13位标志本图像序列中每帧图像的宽度,所述图像序列级的信息的14~29位标志本图像序列中每帧图像的高度;帧级信息的6~25位标志每帧图像的基址;宏块级信息的0~6位标志宏块在每帧图像中的纵向相对地址,所述宏块级信息的7~13位标志宏块在每帧图像中的水平方向相对地址。
6、根据权利要求1所述的图像边界像素扩展***,其特征在于,所述图像控制信息存储器的输出信息至少包括:反馈到变长解码器的存储器命令、存向图像边界像素扩展模块电路的读数据命令。
7、根据权利要求1所述的图像边界像素扩展***,其特征在于,所述的帧内预测器向图像数据存储器输入的图像数据信息至少包括时钟同步信号、写数据命令、输入数据。
8、根据权利要求2所述的图像边界像素扩展***,其特征在于,所述的图像数据存储器向图像边界像素扩展模块电路输出的信息至少包括:反馈到帧内预测器的存储器命令、存向主模块的读数据命令。
9、图像边界像素扩展***的扩展方法,该***包括变长解码器、帧内预测电路、存储器控制器、反量化电路、反变换电路、动态存储器、运动补偿电路和重建帧存储电路,其特征在于,该方法至少包括以下步骤:
步骤1、变长解码器向重建帧存储模块的图像控制信息存储器发送控制信息;
步骤2、图像控制信息存储器向图像边界像素扩展模块电路发送图像信息数据;
步骤3、图像边界像素扩展模块电路判断是否要进行图像边界像素扩展,是则接收帧内预测器传输来的图像数据流到图象数据流存储器中,执行步骤4;否则结束;
步骤4、图像边界像素扩展模块电路结合两个存储器内的数据建立图像模型,将边缘和角点像素向外重复扩充;
步骤5、将扩展后的数据存储到动态存储器中。
10、根据权利要求9所述的图像边界像素扩展***的扩展方法,其特征在于,所述步骤2中的图像控制信息存储器向图像边界像素扩展模块电路发送的图像数据是由输入的64位数据转换成的128位数据。
11、根据权利要求10所述的图像边界像素扩展***的扩展方法,其特征在于,所述由输入的64位数据转换成128位数据具体包括以下转换步骤:
步骤21、帧内预测电路模块IP以64位为单位,每次写入8个数将图像数据流写入图像数据流存储器,交叉将每8个数写入行选为0和1的随机存储器中;
步骤22、图像数据流存储器判断数据是否存储完,是则将0和1两个随机存储器中的128位数据作为一个整体读出,执行步骤23;否则结束;
步骤23、将读出的数据送入图像边界像素扩展模块电路。
12、根据权利要求9所述的图像边界像素扩展***的扩展方法,其特征在于,所述步骤4中的将边缘和角点像素向外重复扩充是指:在水平方向上,向左向右各分别扩充16个像素,在垂直方向上,对于色度分量UV扩充8个像素,对于亮度分量Y扩充16个像素。
13、根据权利要求9所述的图像边界像素扩展***的扩展方法,其特征在于,所述步骤4进一步包括:
步骤41、判断解码码流的模式和类型,如果解码码流是帧进模式,则进行以下扩充:对于亮度Y,周边处的MB单元扩充以边缘像素为单位直接向外重复扩充16次,拐角处扩充以拐角处MB的角点像素为单位向外重复扩充16×16次,对于色度UV而言,在左右方向上分别把U和V的边界像素单元合成一个以一个U像素单元和一个V像素单元为单位的整体,分别向左或向右扩展8次,在上下方向上把U和V交叉后分别扩充8次,在拐角处,把U的拐角点像素单元和V的拐角点像素单元合为一体,扩充16×8次;
步骤42、如果解码码流是场进模式,则进一步判断是顶场或是底场,如果是进入码流是顶场,则以首行计算地址为准,隔行进行地址计算,以该跳变地址向动态存储器存储数据,并按照步骤41的方法向图像的顶左和顶右、向左边和右边及顶边扩充像素;
步骤43、如果进入码流是底场,以首行计算地址为准,隔行进行地址计算,以该跳变地址向动态存储器存储数据,并按照步骤41的方法向图像的底左和底右、向左边和右边及底边扩充像素。
14、根据权利要求9所述的图像边界像素扩展***的扩展方法,其特征在于,所述步骤5中的存储具体包括以下步骤:
步骤51、判断解码码流的模式和类型,如果解码码流是帧进模式,对亮度Y,如果是图像主体部分直接计算好地址就写到动态存储器中,如果是扩展部分,在计算好地址的前提下,按扩充的顺序写入到动态存储器中,对于色度UV,如果是主体部分,计算好地址,把U和V交叉后存入动态存储器,如果是扩展部分,在计算好地址的前提下,按扩充顺序写入到动态存储器中;
步骤52、如果解码码流以场进模式输入,对亮度Y,如果是主体部分,直接计算好地址写到动态存储器中,如果是扩展部分,对于顶场,需要计算扩展到顶左、顶边、顶右、左边、右边的数据的存储地址,然后进行存储,对于底场,需要计算扩展到底左、底边、底右、左边、右边的数据的存储地址,然后按扩充顺序写入到动态存储器,对于色度UV而言,如果是主体部分,计算好地址,把U和V交叉后存入动态存储器,如果是扩展部分,对于顶场,需要计算扩展到顶左、顶边、顶右、左边、右边的数据的存储地址,然后进行存储,对于底场,需要计算扩展到底左、底边、底右、左边、右边的数据的存储地址,然后按扩充顺序写入到动态存储器中。
CNB2004100703658A 2004-07-29 2004-07-29 图像边界像素扩展***及其实现方法 Expired - Lifetime CN1306824C (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CNB2004100703658A CN1306824C (zh) 2004-07-29 2004-07-29 图像边界像素扩展***及其实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CNB2004100703658A CN1306824C (zh) 2004-07-29 2004-07-29 图像边界像素扩展***及其实现方法

Publications (2)

Publication Number Publication Date
CN1589027A CN1589027A (zh) 2005-03-02
CN1306824C true CN1306824C (zh) 2007-03-21

Family

ID=34604450

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2004100703658A Expired - Lifetime CN1306824C (zh) 2004-07-29 2004-07-29 图像边界像素扩展***及其实现方法

Country Status (1)

Country Link
CN (1) CN1306824C (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101179734B (zh) * 2006-11-28 2010-09-15 腾讯科技(深圳)有限公司 一种视频压缩的帧内预测方法和***
US8345763B2 (en) * 2007-11-27 2013-01-01 Mediatek Inc. Motion compensation method and integrated circuit utilizing the same
KR101510108B1 (ko) * 2009-08-17 2015-04-10 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
CN102300086A (zh) * 2010-06-23 2011-12-28 中国科学院微电子研究所 对参考帧边界进行扩展和对运动补偿参考样本位置进行限定的方法
KR101924885B1 (ko) * 2010-07-14 2018-12-04 가부시키가이샤 엔.티.티.도코모 비디오 코딩을 위한 저 복잡성 인트라 예측
JP2012080369A (ja) * 2010-10-01 2012-04-19 Sony Corp 画像処理装置及び画像処理方法
CN102685480B (zh) * 2011-03-16 2015-09-16 中兴通讯股份有限公司 一种视频滤波方法及装置
CN110505488B (zh) * 2014-03-18 2022-01-07 上海天荷电子信息有限公司 扩展预测像素数组的图像编码或解码方法
CN109886010B (zh) * 2019-01-28 2023-10-17 平安科技(深圳)有限公司 验证图片发送方法、合成方法及装置、存储介质和终端
CN112004094A (zh) * 2019-05-27 2020-11-27 北京君正集成电路股份有限公司 一种像素存储空间的节省方法
CN112132155B (zh) * 2019-06-25 2022-06-14 珠海一微半导体股份有限公司 基于硬件电路的sift算法图像边界扩充方法和处理方法
CN110278485B (zh) * 2019-07-29 2021-04-23 北京华雨天成文化传播有限公司 一种评估视频质量的方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06292173A (ja) * 1992-07-02 1994-10-18 Matsushita Electric Ind Co Ltd 映像信号符号化復号化方法
CN1131882A (zh) * 1995-03-20 1996-09-25 大宇电子株式会社 利用图象变换技术编码具有静止目标的图象信号的装置
US6088047A (en) * 1997-12-30 2000-07-11 Sony Corporation Motion compensated digital video decoding with buffered picture storage memory map
WO2002051158A2 (en) * 2000-12-20 2002-06-27 Pulsent Corporation Method of filling exposed areas in digital images
CN1494327A (zh) * 2003-09-30 2004-05-05 清华大学 用于宏块组结构的两阶段编码的参考缓存的存储方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06292173A (ja) * 1992-07-02 1994-10-18 Matsushita Electric Ind Co Ltd 映像信号符号化復号化方法
CN1131882A (zh) * 1995-03-20 1996-09-25 大宇电子株式会社 利用图象变换技术编码具有静止目标的图象信号的装置
US6088047A (en) * 1997-12-30 2000-07-11 Sony Corporation Motion compensated digital video decoding with buffered picture storage memory map
WO2002051158A2 (en) * 2000-12-20 2002-06-27 Pulsent Corporation Method of filling exposed areas in digital images
CN1494327A (zh) * 2003-09-30 2004-05-05 清华大学 用于宏块组结构的两阶段编码的参考缓存的存储方法

Also Published As

Publication number Publication date
CN1589027A (zh) 2005-03-02

Similar Documents

Publication Publication Date Title
JP5756537B2 (ja) 適応型走査を用いる動画像復号化方法
CN1306824C (zh) 图像边界像素扩展***及其实现方法
CN1233160C (zh) 自适应编码和解码运动图像的方法及其装置
US9948941B2 (en) Circuit, method and video decoder for video decoding
JP2006174486A (ja) ビデオデータの水平及び垂直フィルタリングを同時に行うデブロッキングフィルタ及び動作方法
CN1633811A (zh) 图像编码方法、图像译码方法、图像编码装置、图像译码装置、程序、计算机数据信号,以及图像传送***
CN1674681A (zh) 自适应内部宏块刷新方法
CN1324904C (zh) 运动图像编码设备和运动图像编码方法
US20120087412A1 (en) Method for Determining Boundary Strength
CN1318950A (zh) 图像编码装置及其方法、摄像机、录像装置和图像发送装置
CN1615656A (zh) 对数字视频内容的图像级自适应帧/场编码
CN101056410A (zh) 视频信号处理装置
CN1209928C (zh) 一种基于预测块组的采用帧内预测的帧内编码帧编码方法
CN1645928A (zh) 用于压缩视频信号解码的图像存储方法
CN1266941C (zh) 图像处理方法
CN1705376A (zh) 用于视频数据的空间预测编码和/或解码的方法和设备
JP2024019496A (ja) 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法
CN1199283A (zh) 运动图象解码方法及运动图象解码装置
CN101065973A (zh) 解码电路、解码装置及解码***
CN1286323C (zh) 帧场视频解码中运动矢量存取的控制装置及其方法
CN100593956C (zh) 用于解块滤波参数数据存储和交换的方法
CN115883852A (zh) 用于视频编码的高效环路滤波
TWI520618B (zh) 影像資料處理方法以及影像處理裝置
CN1271864C (zh) 视频解码缓冲区控制装置及方法
CN103702132A (zh) 滤波方法、装置及设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: ZHANXUN COMMUNICATIONS (SHANGHAI) CO., LTD.

Free format text: FORMER OWNER: UNITED XINYUAN DIGITAL AUDIO-VIDEO TECHNOLOGY (BEIJING) CO., LTD.

Effective date: 20070608

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20070608

Address after: 201203 Shanghai city Zuchongzhi road Pudong Zhangjiang hi tech park, Spreadtrum Center Building 1, Lane 2288

Patentee after: SPREADTRUM COMMUNICATIONS (SHANGHAI) Co.,Ltd.

Address before: 100080 North building, room 6, 140 South Road, Haidian District Academy of Sciences, Beijing

Patentee before: UNITED XINYUAN DIGITAL AUDIO V

TR01 Transfer of patent right

Effective date of registration: 20190313

Address after: 101399 Building 8-07, Ronghui Garden 6, Shunyi Airport Economic Core Area, Beijing

Patentee after: Xin Xin finance leasing (Beijing) Co.,Ltd.

Address before: 201203 Shanghai city Zuchongzhi road Pudong Zhangjiang hi tech park, Spreadtrum Center Building 1, Lane 2288

Patentee before: SPREADTRUM COMMUNICATIONS (SHANGHAI) Co.,Ltd.

TR01 Transfer of patent right
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20050302

Assignee: SPREADTRUM COMMUNICATIONS (SHANGHAI) Co.,Ltd.

Assignor: Xin Xin finance leasing (Beijing) Co.,Ltd.

Contract record no.: X2021110000008

Denomination of invention: Image boundary pixel expansion system and its implementation

Granted publication date: 20070321

License type: Exclusive License

Record date: 20210317

EE01 Entry into force of recordation of patent licensing contract
TR01 Transfer of patent right

Effective date of registration: 20221018

Address after: 201203 Shanghai city Zuchongzhi road Pudong New Area Zhangjiang hi tech park, Spreadtrum Center Building 1, Lane 2288

Patentee after: SPREADTRUM COMMUNICATIONS (SHANGHAI) Co.,Ltd.

Address before: 101399 Building 8-07, Ronghui Garden 6, Shunyi Airport Economic Core Area, Beijing

Patentee before: Xin Xin finance leasing (Beijing) Co.,Ltd.

TR01 Transfer of patent right