CN1290456A - 滤波运算装置 - Google Patents
滤波运算装置 Download PDFInfo
- Publication number
- CN1290456A CN1290456A CN99802866A CN99802866A CN1290456A CN 1290456 A CN1290456 A CN 1290456A CN 99802866 A CN99802866 A CN 99802866A CN 99802866 A CN99802866 A CN 99802866A CN 1290456 A CN1290456 A CN 1290456A
- Authority
- CN
- China
- Prior art keywords
- mentioned
- output
- unit
- pixel
- selected cell
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/43—Hardware specially adapted for motion estimation or compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Picture Signal Circuits (AREA)
- Networks Using Active Elements (AREA)
- Paper (AREA)
- Filters And Equalizers (AREA)
Abstract
本发明的滤波运算装置,内置纵横方向半像素运动补偿以及纵横方向环路内滤波器单元(100),包括:第1像素延迟单元(200);第2像素延迟单元(201);乘法单元(202 );左移位单元(203);第1选择单元(204);加法单元(205);第2选择单元(206);选择控制信号发生单元(207);第3像素延迟单元(208);右移位单元(209);移位量控制单元(210)。这样构成的滤波运算装置,在对输入的像素数据进行半像素运动补偿以及环路内滤波处理的横方向处理装置和纵方向处理装置中,具有实现横方向处理装置和纵方向处理装置的运算部分共用,可以消减硬件规模的效果。
Description
本发明涉及在图象的编码方式中使用的滤波运算装置。
作为与图象的编码有关的国际标准方式,有采用ISO(国际标准化机构)的MPEG(运动图象专家组),和采用ITU-T(国际电气通信联盟电气通信标准化部门)的建议H.261等。最近虽然使用MPEG标准的增加了,但目前,传统的H.261仍在继续使用。即现在,因为两种方式共存,所以需要可以使用两种方式的滤波运算装置。
因此,首先简单地说明这些方式。
采用ISO的MPEG的编码方式,把作为利用空间上相关的压缩方法进行正交转换的DCT(离散余弦变换),作为利用时间上相关的方法,用于双向运动补偿帧间预测。在这种方式中使用的半像素运动补偿是,如果预测***的位置在2个像素之间则是2像素的平均,如果在4个像素之间则是4像素平均这种简单的补偿。因此,半像素运动补偿,不止意味着提高其预测精度,而且还具有空间性低通滤波器的作用。进而,在求4像素值的平均的情况下,也有求横方向的平均像素值,进而对该平均像素值,求总方向的平均像素值作为4像素值的平均的情况。
另一方面,采用ITU-T的建议H.261的编码方式,虽然和MPGE一样使用利用空间性相关和时间性相关的压缩方法,但在该方式中,由量化产生的失真累积在预测存储器中导致画质劣化增加,另外为了防止预测效率降低,使用了环路内滤波器,即,使用了空间性低通滤波器。
在该环路内滤波器的处理中,如图21所示,进行与像素的位置对应的加权。
即,对于在图21的区域2100中的像素p的像素值P设置,
P′=16×(P/16) …(1)
对于在区域2102上的像素p的像素数P设置,
P′=((4×A)+(8×P)+(4×B))/16 …(2)
对于在区域2101上的像素值P设置,
P′=(A+(2×B)+C+(2×D)+(4×P)+(2×E)+F+(2×G)+H)/16 …(3)
由此,由各区域上的像素p的像素值P得到新的像素值P′。进而,在式(1)~式(3)中,a~h表示与图21所示的像素p相邻的像素,A~H表示与图21所示的像素a~h分别对应的像素值。而后,在横方向、纵方向上进行两次这种用于加权的处理。
在同一装置上实现的采用上述的ISO的MPGE的编码方式,以及采用ITU-T的建议H.261的编码方式的滤波处理的以往的滤波运算装置,通常,共用与这2个编码方式的滤波处理有关部分的装置,使得不增大构成硬件的规模。这是因为在1个装置内分别独立设置与这2个编码方式有关的部分时硬件的规模增大的缘故。
在此,参照附图简单地说明这种以往的滤波运算装置的X的构成、动作。
图14是简单地展示具有横方向半像素运动补偿以及横方向环路内滤波器单元1400,以及纵方向半像素运动补偿以及纵方向环路内滤波器单元1401的以往的滤波运算装置X的构成的图,图15是展示横方向半像素运动补偿以及横方向环路内滤波器单元1400的构成的方框图,图16是展示纵方向半像素运动补偿以及纵方向环路内滤波器单元1401的构成的方框图。
首先,参照图15说明横方向半像素运动补偿以及横方向环路内滤波器单元1400的构成,该横方向半像素运动补偿以及横方向环路内滤波器单元1400包括:第1像素延迟单元1500,它使输入像素D21延迟规定时间后输出;乘法单元1501,它把输入像素D21放大2倍后输出;第1选择单元1502,它根据用于切换“半像素运动补偿方式”和“环路内滤波方式”的方式切换信号S21,选择输出输入像素D21或者用乘法单元1501放大2倍后的输入像素D21之一;第2选择单元1503,它根据第1环路内滤波器控制信号S22选择输出“0”或者第1像素延迟单元1500的输出之一;第3选择单元1504,它根据半像素运动补偿控制信号S23选择输出第1选择单元1502的输出或者第2选择单元1503的输出之一;第1加法单元1505,它加算第2选择单元1503的输出和第3选择单元1504的输出作为输出数据D22输出;第2像素延迟单元1506,它在使第1加法单元1505的输出信号延迟规定时间后作为输出数据D23输出;第4选择单元1507,它根据第2环路内滤波器控制信号S24选择输出输入像素D21或者第2像素延迟单元1506的输出信号之一;第2加法单元1508,它加算第2像素延迟单元1506的输出和第4选择单元1507的输出作为输出数据D24输出;第3像素延迟单元1509,它在使第2加法单元1508的输出信号延迟规定时间后作为输出数据D25输出。
接着,把横方向半像素运动补偿以及横方向环路内滤波器单元1400的动作,分为半像素动作补偿和环路内滤波的情况说明。另外,假设在第1像素延迟单元1500、第2像素延迟单元1506、第3像素延迟单元1509中,发生1时钟脉冲的延迟。
如果参照图3说明半运动补偿情况下的输入数据格式,则如图3(a)所示,用于生成8×8的横方向的半像素的横方向的输入数据格式成为9×9像素结构,如图3(a)的箭头所示,在二维空间上,从左至右,从上至下顺序进行处理。
更具体地说,如图3(a)所示,按照A→B→C→…→I→J→K→…→Z的顺序进行处理。该动作的详细展示在图17的时间图中。在图17中,S21是使图15所示的第1选择单元1502的a输出的控制信号;S22是使图15所示的第2选择单元1503的b输出的控制信号;S23是使图15所示的第3选择单元1504的b输出的控制信号;S24为使图15所示的第4选择单元1507的a输出的控制信号。
接着参照图4说明在环路内滤波器的情况下的输入数据格式,如图4(a)所示,环路内滤波器的横方向的输入数据格式为8×8像素结构,如图4(a)的箭头所示,在二维空间上,从左至右,从上至下顺序进行处理。
更具体地说,如图4(a)所示,按照A→B→C→…→F→G→H→I→J→…→Z的顺序进行处理。该动作的详细展示在图18的时间图上。在图18中,S21为使图15所示的第1选择单元1502的b输出的控制信号;S23为使图15所示的第2选择单元1503的a输出的控制信号;S22为使图15所示的第3选择单元1504,在时刻t0~t1期间输出b,在t1~t7期间输出a,在t7~t9期间输出b,在t9~t10期间输出a,以后,重复上述的t0~t10的控制信号;S24为使图15所示的第4选择单元1507,在时刻t1~t2期间输出a,在时刻t2~t8期间输出b,在t8~t10期间输出a,以后,重复上述的t1~t10的控制信号。
接着,参照图16说明纵方向半像素运动补偿以及纵方向环路内滤波器单元1401的构成,该纵方向半像素运动补偿以及纵方向环路内滤波器单元1401包括:第1像素延迟单元1600,它使输入像素D31延迟规定时间(1时钟脉冲)后作为输出数据D32输出;第2像素延迟单元1601,它使输入像素D31延迟相当于8像素程度的时间(相当于8时钟脉冲)后作为输出数据D33输出;乘法单元1602,它把输入像素D32放大2倍后输出;第1选择单元1603,它根据用于切换“半像素运动补偿方式”和“环路内滤波方式”的方式切换信号S31,选择输入像素D31或者被乘法单元1602放大2倍后的输入像素D31之一;第2选择单元1604,它根据第1环路内滤波器控制信号S32选择输出“0”或者输出数据D33之一;第3选择单元1605,它根据半像素处理控制信号S33选择输出第1选择单元1603的输出或者第2选择单元1604的输出之一;第1加法单元1606,它加算第2选择单元1604的输出和第3选择单元1605的输出作为输出数据D34输出;第2像素延迟单元1607,它使第1加法单元1606的输出信号延迟规定时间(相当于1时钟脉冲)后作为输出数据D35输出;第2延迟单元1608,它使输出数据D35延迟相当于8像素程度的时间(相当于8时钟脉冲)后作为输出数据D36输出;第4选择单元1609,它根据上述方式切换信号S31选择输出输出数据D35或者输出数据D36之一;第5选择单元1610,它根据第2环路内滤波器控制信号S34选择输出输出数据D32或者第4选择单元1609的输出数据之一;第2加法单元1611,它加算第4选择单元1609的输出数据和第5选择单元1610的输出数据作为输出数据D37输出;第3像素延迟单元1612,它使第2加法单元1611的输出数据延迟规定时间(相当于1时钟脉冲)后作为输出数据D38输出;除法单元1613,它把输出数据D38设置为16分之1倍后输出。
接着把纵方向半像素运动补偿以及纵方向环路内滤波器单元1401的动作,分为半像素运动补偿和环路内滤波的情况说明。
参照图3说明半像素运动补偿情况下的输入数据格式,和上述的横方向处理的情况一样,如图3(a)所示为9×9结构,如图3(a)的箭头所示,在二维空间上,从左至右,从上至下顺序进行处理。
更具体地说,如图3(a)所示,按照A→B→C→…→I→J→K→…→Z的顺序进行处理。该动作的详细展示在图19的时间图上。在图19中,S31为使图16所示的第1选择单元1603以及第4选择单元1609的a输出的控制信号;S32为使图16所示的第2选择单元1604的b输出的控制信号;S33为使图16所示的第3选择单元1605的b输出的控制信号;S34为使图16所示的第5选择单元1610的a输出的控制信号。
接着,如果参照图4说明在环路内滤波器的情况下的输入数据格式,则和上述的环路内滤波器的横方向处理的情况中的输入格式一样,纵方向处理的输入数据格式,为如图4(a)所示的8×8像素结构,如图4(a)的箭头所示,在二维空间上,从左至右,从上至下顺序进行处理。
更具体地说,如图4(a)的箭头所示,按照A→B→C→…→F→G→H→I→J→…→Z的顺序进行处理。该动作的详细展示在图20的时间图上。在图20中,S31为使图16所示的第1选择单元1603以及第4选择单元1609的b输出的控制信号;S32为在图16所示的第2选择单元1604中,在时刻t0~t8期间输出a,在t8~t56期间输出b,在t56~t64期间输出a的控制信号;S33为使图16所示的第3选择单元1605的a输出的控制信号;S34为使图16所示的第5选择单元1610,在时刻t9~t17期间输出a,在t17~t65期间输出b,在t65~t73期间输出a的控制信号(进而,在图20中t22以后被省略)。
如上所述,在实现半像素运动补偿和环路内滤波的以往的滤波运算装置中,因为横方向处理和纵方向处理需要各自独立的装置,所以存在硬件规模增大的问题。
本发明就是为了解决这种问题而提出的,它在针对输入的像素数据进行半像素运动补偿以及环路内滤波处理的横方向处理装置和纵方向处理装置中,以共用成为核心的运算部分为目的,提供一种滤波运算装置,它通过设置在前处理部分中通过方式切换切换在运算部分内部成为阻碍共用的部分,例如调整数据的迁移时刻的部分,由此调整数据迁移的时刻的机构,可以实现横方向处理装置和纵方向处理装置的运算部分的共用化,可以消减硬件规模。
在本发明的权利要求1所述的滤波运算装置中,是通过第1滤波处理,或者与其不同的第2滤波处理之一,处理输入像素数据的滤波运算装置,其特征在于至少包括:第1像素延迟单元,它使上述输入图象数据延迟规定时间后输出;第2像素延迟单元,它使上述第1像素延迟单元的输出延迟规定时间后输出;第1乘法单元,它把上述第1像素延迟单元的输出放大4倍后输出;滤波处理切换信号发生单元,它发生切换处理单元的滤波处理切换信号,使得通过上述第1滤波处理或者上述第2滤波处理,处理上述输入像素数据;第2乘法单元,它在根据上述滤波处理切换信号通过第1滤波处理处理上述输入像素数据的情况下把上述第1像素延迟单元的输出设置为1倍,在根据上述滤波处理切换信号通过第2滤波处理处理上述输入像素数据的情况下使上述第1像素延迟单元的输出设置为2倍;第1选择单元,它根据上述滤波处理切换信号,选择输出“0”或者上述第2像素延迟单元的输出之一;加法单元,它加算上述输入像素数据、上述第2乘法单元的输出、上述第1选择单元的输出;选择控制信号发生单元,它根据上述滤波处理切换信号,输出选择控制信号;第2选择单元,它根据上述选择控制信号,选择上述第1乘法单元的输出,或者上述加法单元的输出之一;方式切换信号输出单元,它输出切换在横方向处理上述输入像素数据的横方向处理方式,和在纵方向上处理的纵方向处理方式的方式切换信号;乘数控制信号发生单元,它根据上述滤波处理切换信号以及上述方式切换信号,输出乘数控制信号;第3像素延迟单元,它使上述第2选择单元的输出延迟规定时间后输出;第3乘法单元,它根据用上述乘数控制信号发生单元输出的上述乘数控制信号,把上述第2选择单元的输出,设置为1倍、1/2倍,或者1/16倍的乘法单元。
如果是该滤波运算装置,则因为对于输入的图象数据的横方向处理装置和纵方向处理装置的运算部分可以共用,所以具有可以消减硬件部分的电路规模,并且可以缩小滤波运算装置的规模的结果。
权利要求2所述的滤波运算装置的理想的实施例是,在技术范围1所述的滤波运算装置中,上述加算单元,可以对上述第1滤波处理单元的计算结果,或者上述第2滤波处理单元的计算结果,或者在横方向处理上述输入像素数据的“横方向处理方式”的计算结果,或者在纵方向上处理上述输入像素数据的“纵方向处理方式”的计算结果之一,加算保持用于实施“舍入的值”的值的寄存器的输出。
如果是该滤波运算装置,则具备存储用于实施适合各处理的“舍入”的值的寄存器,通过使其具有用可以输入4个值的加法单元加算用于实施舍入的值的功能,具有抑制精度劣化的功能。
权利要求3所述的滤波运算装置,其特征在于:在技术范围1所述的滤波运算装置中包括:第4像素延迟单元,它把上述输入像素数据,至少延迟上述第1像素延迟单元的延迟时间以上的规定时间后输出;第5像素延迟单元,它把上述第4像素延迟单元的输出,延迟和上述第4像素延迟单元的延迟时间相同的延迟时间后输出;第3选择单元,它对于上述第1乘法单元和上述第2乘法单元代替上述第1像素延迟单元的输出,根据上述方式切换信号选择输出上述第1像素延迟单元的输出和上述第4像素延迟单元的输出之一;第4选择单元,它对于上述第1选择单元代替上述第2像素延迟单元的输出选择输出上述第2像素延迟单元的输出和上述第5像素延迟单元的输出之一。
如果是该滤波运算装置,则即使是对于输入的图象数据的横方向处理以及纵方向处理只能在一个方向上顺序处理的情况下,因为仍可以共用横方向处理装置和纵方向处理装置的运算部分,所以具有可以消减硬件部分的电路规模,并且可以缩小滤波运算装置的规模的效果。
图1是实施例1以及实施例2的滤波运算装置的概念图。
图2是实施例1的纵横方向半像素运动补偿以及纵横方向环路内滤波器单元的方框图。
图3是半像素运动补偿的输入数据格式的概念图。
图4是环路内滤波器的输入数据的格式的概念图。
图5是表示实施例1的滤波运算装置的半像素运动补偿的横以及纵方向处理的动作的时间图。
图6是表示实施例1的滤波运算装置的环路内滤波器的横方向处理的动作的时间图。
图7是展示环路内滤波器的横方向处理后的结果的概念图。
图8是表示实施例1的滤波运算装置的环路内滤波器的纵方向处理的动作的时间图。
图9是展示环路内滤波器的纵方向处理后的结果的概念图。
图10是展示实施例1的滤波运算装置的另一实施例的方框图。
图11是实施例2的纵横方向半像素补偿以及纵横方向环路内滤波器单元的方框图。
图12是表示实施例2的滤波运算装置的半像素运动补偿的纵方向处理的动作的时间图。
图13是表示实施例2的滤波运算装置的环路内滤波器的纵方向处理的动作的时间图。
图14是以往的滤波运算装置的概念图。
图15是以往的滤波运算装置的横方向半像素运动补偿以及横方向环路内滤波器单元的方框图。
图16是以往的滤波运算装置的纵方向半像素运动补偿以及横方向环路内滤波器单元的方框图。
图17是展示以往的滤波运算装置的横方向半像素运动补偿以及横方向处理装置的动作的时间图。
图18是展示以往的滤波运算装置的环路内滤波的横方向处理装置的动作的时间图。
图19是展示以往的滤波运算装置的半像素运动补偿的纵方向处理装置的动作的时间图。
图20是展示以往的滤波运算装置的环路内滤波器的纵方向处理装置的动作的时间图。
图21是表示环路内滤波器的处理的概念图。
图22是用于说明在纵向读在滤波运算中使用的数据的情况下的寻址功能的图。
以下,参照附图说明本发明的实施例。进而,在此所示的实施例只不过是一例,并不限定于该实施例。
首先,参照附图以本发明的滤波运算装置的一例作为实施例1说明。
图1是内置纵横方向半像素运动补偿以及纵横方向环路内滤波器单元100的本发明的滤波运算装置A的概念图,图2是展示纵横方向半像素运动补偿以及纵横方向环路内滤波器单元100的构成的方框图。
图1所示的滤波装置A,包括2个用于存储滤波运算的输入输出数据的存储装置,并且包括控制不能同时访问输入用存储装置和输出用存储装置的开关或者选择器。
在此,作为该滤波装置A的动作的一例,说明首先进行横方向处理,接着进行纵方向处理的情况下的动作。
首先,当把横方向处理的输入数据存储在存储装置1中,把输出数据存储在存储装置2中的情况下,连接存储装置1的端子O1和纵横方向半像素运动补偿以及纵横方向环路内滤波器单元100的端子FI,并连接纵横方向半像素运动补偿以及纵横方向环路内滤波器单元100的端子FO和存储装置2的端子I1。接着,当对于横方向处理的输出数据进行纵方向处理的情况下,连接存储装置2的端子O2和纵横方向半像素运动补偿以及纵横方向环路内滤波器单元100的端子FI,并连接纵横方向半像素运动补偿以及纵横方向环路内滤波器100的端子FO和存储装置1的端子I2,使横方向处理中的滤波装置和存储装置的连接关系反转。
在此所示的例子,是在读·写用的端口只具备1个端口的存储装置的例子,但如果是在读·写中使用分别具有1个端口的双端口的存储装置的情况下,存储装置是一个也可以。
接着,说明图2所示的纵横方向半像素运动补偿以及纵横方向环路内滤波器单元100。
如图2的方框图所示,纵横方向半像素运动补偿以及纵横方向环路内滤波器单元100包括:第1像素延迟单元200,它使输入像素D1延迟规定时间(相当于1时钟脉冲)后输出;第2像素延迟单元201,它使第1像素延迟单元200的输出延迟规定时间(相当于1时钟脉冲)后输出;乘法单元202,它把第1像素延迟单元200的输出放大4倍输出;左移位单元203,它根据用于切换“半像素运动补偿方式”和“环路内滤波方式”的方式切换信号S1,在“半像素运动补偿方式”的情况下左逻辑移位0位(即1倍),另外,在“环路内滤波方式”的情况下左逻辑移位1位(即2倍),把它作为输出数据D2输出;第1选择单元204,它根据方式切换信号S1有选择地把“0”或者第2像素延迟单元201的输出之一作为输出数据D3输出;加法单元205,它加算输入像素D1和输出数据D2和输出数据D3;第2选择单元206,它根据控制信号S2选择输出乘法单元202的输出或者加法单元205的输出之一;选择控制信号发生单元207,它根据方式切换信号S1输出第2选择单元206的控制信号S2;第3像素延迟单元208,它使第2选择单元206的输出延迟规定时间(相当于1时钟脉冲)后,把其作为输出数据D4输出;右移位单元209,它根据移位量控制信号S4,把输出数据D4算术右移位0位(即1倍)、1位(即1/2倍)、4位(1/16)之一,作为输出数据D5输出;移位量控制单元210,它根据用于切换方式切换信号S1以及“横方向处理方式”和“纵方向处理方式”的方式切换信号S3,输出控制右移位单元209的移位量的移位量控制信号S4。
接着,把图2所示的纵横方向半像素运动补偿以及纵横方向环路内滤波器单元100的横方向处理的动作,分成半像素运动补偿和环路内滤波的情况说明。
参照图3说明半像素运动补偿情况下的输入数据格式,如图3(a)所示,用于生成8×8的横方向的半像素的横方向的输入数据格式为9×9像素结构,如图3(a)的箭头所示,在二维空间上,从左至右,从上至下顺序进行处理。
更具体地说,如图3(a)所示,按照A→B→C→…→I→J→K→…→Z的顺序进行处理。该动作的详细展示于图5的时间图。在图5中,S1是在“半像素运动补偿方式”是ON时使图2所示的第1选择单元204的b输出的控制信号,S2是使图2所示的第2选择单元206的b输出的控制信号,S3是把图2所示的移位量控制单元210切换到“横方向处理方式”的控制信号,S4是使来自图2所示的移位量控制单元210的输出右算术移位1位(即1/2)的控制信号。
接着,参照图4说明在环路内滤波的情况下的输入数据格式,环路内滤波器的横方向的输入数据格式如图4(a)所示为8×8像素结构,如图4(a)的箭头所示,在两维空间上,从左至右,从上至下顺序处理。
更具体地说,如图4(a)所示,按照A→B→C→…→F→G→H→I→J→…→Z的顺序进行处理。该动作的详细展示于图6的时间图。在图6中,S1是在“环路内滤波方式”为ON时使图2所示的第1选择单元204的a输出的控制信号;S2是使图2所示的第2选择单元206,在时刻t1~t2期间输出a,在t2~t8期间输出b,在t8~t9期间输出a,以后,重复上述的t1~t9的控制信号;S3是把图2所示移位量控制单元210切换到“横方向处理方式”的控制信号;S4是使来自图2所示的移位量控制单元210的输出右算术移位0位(即1倍)的控制信号。而后,环路内滤波器的输出数据D5,被存储在存储装置中,进而,所谓该存储装置,例如就是图1所示的装置。
接着,把图2所示的纵横方向半像素运动补偿以及纵横方向环路内滤波器单元100的纵方向处理的动作,分成半像素运动补偿和环路内滤波的情况说明。
参照图3说明半像素运动补偿的情况下的输入数据格式,如图3(b)所示,用于生成8×8纵方向的半像素的纵方向的输入数据格式为9×9像素结构,如图3(b)所示,在二维空间上,从上至下,从左至右顺序进行处理。
更具体地说,如图3(b)所示,按照A→B→C→…→I→J→K→…→Z的顺序进行处理。该动作的详细,和上述的横方向处理的情况相同,即该时间图和图5所示的时间图相同。
接着,参照图4说明在环路内滤波器的情况下的输入数据格式,环路内滤波器的纵方向的输入数据格式如图4(b)所示为8×8像素结构,如图4(b)的箭头所示,在二维空间上,从上至下,从左至右顺序进行处理。更具体地说,纵方向处理,对横方向处理的输出数据进行,另外,通常这样进行处理。
图7所示的数据,是对图4所示的8×8数据的横方向处理的结果,如图7中箭头所示,在二维空间上,从上至下,从左至右顺序进行处理。总之,在图4中按照A→B→C→…F→G→I→J→K→…→Z的顺序进行处理,输入横方向处理后的值。该动作的详细展示在图8的时间图中。在图8中,S1是在“环路内滤波方式”为ON时使图2所示的第1选择单元204的a输出的控制信号;S2是使图2所示的第2选择单元206,在时刻t1~t2的期间输出a,在时刻t2~t8期间输出b,在t8~t9期间输出a,以后,重复上述t1~t9的控制信号;S3是把图2所示的移位量控制单元210切换为“纵方向处理方式”的控制信号;S4是右算术移位4位(即1/16倍)来自图2所示的移位量控制单元210的输出的控制信号。
如上所述,如果对图4(a)所示的8×8的数据进行横方向以及纵方向的处理,则算出图9所示的值,其结果,可以实现环路内滤波。
通过这样构成滤波运算装置A,因为可以在相同的装置中进行半像素运动补偿的横方向处理以及纵方向处理,进而可以进行环路内滤波器的横方向处理以及纵方向处理,所以可以消减硬件的规模。
进而,作为本实施例的应用例子如图10所示,具备存储用于实施适合各处理的“舍入”的值的寄存器1001,还可以考虑通过设置具有用可以输入4个值的加法单元1001加算用于实施舍入的值的功能的纵横方向半像素运动补偿以及纵横方向环路内滤波器100′,抑制精度劣化。
以下,参照附图以具有和上述的滤波运算装置A不同构成的滤波运算装置B作为实施例2说明。
该滤波运算装置B的概念图,和在前面实施例1中所示的滤波运算装置A的概念图的图1相同,内置纵横方向半像素运动补偿以及纵横方向环路内滤波器单元101。另外展示纵横方向半像素运动补偿以及纵横方向环路内滤波器单元101的构成的方框图如图11所示。
首先,简单地说明滤波运算装置B的动作的特征。
通常,当在纵方向如0、1、2、3、…那样读图22(a)所示的在滤波运算中使用的数据时,在实际的存储器1维空间上根据图中箭头的顺序,如图22(b)所示那样存储。而后为了读出如图22(b)所示的那样存储的数据,在寻址中需要特殊操作,但如果是本实施例的滤波运算装置B,则即使是未装备这种寻址功能的存储装置也可以进行滤波运算。
参照附图说明在该滤波运算装置B中的纵横方向半像素运动补偿以及纵横方向环路内滤波器单元101。
纵横方向半像素运动补偿以及纵横方向环路内滤波器单元101,如图11的方框图所示包括:第1像素延迟单元1100,它使输入像素D41延迟规定时间后(相当于1时钟脉冲)输出;第2像素延迟单元1101,它进一步使第1像素延迟单元1100的输出延迟规定时间(相当于1时钟脉冲)后输出;第4像素延迟单元1102,它使输入像素D41延迟规定时间(相当于8时钟脉冲)后输出;第5像素延迟单元1103,它使第4像素延迟单元1102的输出延迟规定时间(相当于8时钟脉冲)后输出;第3选择单元1104,它根据用于切换“横方向处理方式”和“纵方向处理方式”的方式切换信号S43,在“横方向处理方式”的情况下选择输出第1像素延迟单元1100的输出(图11的第3选择单元1104所示的“a”),在“纵方向处理方式”的情况下选择输出第4像素延迟单元1102的输出(图11的第3选择单元1104所示的“b”);第4选择单元1105,它根据用于切换“横方向处理方式”和“纵方向处理方式”的方式切换信号S43,在“横方向处理方式”的情况下选择输出第2像素延迟单元1101的输出(图11的第4选择单元1105所示的“a”),在“纵方向处理方式”的情况下选择输出第5像素延迟单元1103的输出(图11的第4选择单元1105所示的“b”)。
进而,其它的构成,即乘法单元1106、左移位单元1107、第1选择单元1108、加法单元1109、第2选择单元1110、选择控制信号发生单元1111、第3像素延迟单元1112、右移位单元1113、移位量控制单元1114,和在实施例1中所示的内置于滤波运算装置A中的构成纵横方向半像素运动补偿以及纵横方向环路内滤波器单元100的乘法单元202、左移位单元203、第1选择单元204、加法单元205、第2选择单元206、选择控制信号发生单元207、第3像素延迟单元209、移位量控制单元210分别相同,因而在此省略说明。另外,图11中,D42~D45是输出数据,S41是方式切换信号,S42是控制信号,S44是移位量控制信号,而这些信号和在图2中所示的输出数据D2~D5、方式切换信号S1、控制信号S2、移位量控制信号S4相同。
接着,说明在图11所示的纵横方向半像素运动补偿以及纵横方向环路内滤波器单元101中,根据用于切换“横方向处理方式”和“纵方向处理方式”的方式切换信号S43进行“横方向处理方式”时的,在横方向处理中的纵横方向半像素运动补偿以及纵横方向环路内滤波器单元101的动作,第3选择单元1104,以及第4选择单元1105如上述那样动作,另外,该纵横方向半像素运动补偿以及纵横方向环路内滤波器单元101的动作,因为和在实施例1中说明的,如图2所示的纵横方向半像素运动补偿以及纵横方向环路内滤波器单元100的动作相同,所以在此省略横方向处理动作的说明。
接着,分为半像素运动补偿和环路内滤波器的情况说明在图11所示的纵横方向半像素运动补偿以及纵横方向环路内滤波器单元101中,根据用于切换“横方向处理方式”和“纵方向处理方式”的方式切换信号S43进行“纵方向处理方式”时的,在纵方向处理中的纵横方向半像素运动补偿以及纵横方向环路内滤波器单元101的动作。
参照图3说明半像素运动补偿时的输入数据格式,如图3(b)所示,用于生成8×8的纵方向的半像素的纵方向的输入数据格式为9×9像素结构,如图3(b)的箭头所示,在二维空间上,从左至右,从上至下顺序进行处理。
更具体地说,如图3(b)所示,按照A→B→C→…→I→J→K→…→Z的顺序进行处理。该动作的详细展示在图12的时间图中。在图12中,S41是在“半像素运动补偿方式”是ON时使图11所示的第1选择单元1108的b输出的控制信号;S42是使图11所示的第2选择单元1110的b输出的控制信号;S43是把图11所示的移位量控制单元1114切换为“纵方向处理方式”,另外使第3选择单元1104以及第4选择单元1105的b输出的控制信号;S44是使来自图11所示的移位量控制单元1114的输出右算术移位1位(即1/2倍)的控制信号。
接着参照图4说明在环路内滤波器的情况下的输入数据格式,环路内滤波器的纵方向的输入数据格式,如图4(b)所示为8×8像素结构,如图4(b)的箭头所示,在二维空间上,从上至下,纵左至右顺序进行处理。
更具体地说,如图4(b)所示,提供按照A→B→C→…F→G→H→I→J→…→Z的顺序进行处理,如图7所示,输入纵方向处理后的值。该动作的详细展示在图13的时间图中。在图13中,S41是在“环路内滤波方式”是ON时使图11所示的第1选择单元1108的a输出的控制信号;S42是使图11所示的第2选择单元1110,在时刻t8~t16期间输出a,在t16~t64期间输出b,在t64~t72期间输出a,以后,反复上述的t8~t72的控制信号;S43是把图11所示的移位量控制单元1114切换为“纵方向处理方式”,另外使第3选择单元1104以及第4选择单元1105的a输出的控制信号;S44是使来自图11所示的移位量控制单元1114的输出4位右算术移位(即1/16倍)的控制信号。
如上所述,因为即使在不能如图4(b)或者图3(b)所示那样,按照从上至下,从左至右的顺序处理,而只能如图4(a)或者图3(a)所示那样,对应按照从左至右,从上至下的顺序处理的装置中,也可以在同一装置中进行横方向和纵方向的处理,所以可以消减硬件规模。
如上所述,本发明的滤波运算装置,在对输入的像素数据进行半像素运动补偿和环路内滤波器的处理的横方向处理装置和纵方向处理装置中,实现横方向处理装置和纵方向处理装置的运算部分的共用,对消减硬件的规模极其有效。
Claims (3)
1.一种滤波运算装置,
用于通过第1滤波处理,或者和其不同的第2滤波处理之一处理输入像素数据,其特征在于:至少包括:
第1像素延迟单元,它使上述输入像素数据延迟规定时间后输出;
第2像素延迟单元,它使上述第1像素延迟单元的输出延迟规定时间后输出;
第1乘法单元,它把上述第1像素延迟单元的输出放大4倍输出;
滤波处理切换信号发生单元,它产生切换处理单元的滤波处理切换信号,使得通过上述第1滤波处理的处理,或者上述第2滤波处理,处理上述输入像素数据;
第2乘法单元,它在根据上述滤波处理切换信号通过第1滤波处理处理上述输入像素数据的情况下把上述第1像素延迟单元的输出设置为1倍,在根据上述滤波处理切换信号通过第2滤波处理处理上述输入像素数据的情况下把上述第1像素延迟单元的输出设置为2倍;
第1选择单元,它根据上述滤波处理切换信号,选择输出“0”或者上述第2像素延迟单元的输出之一;
加法单元,它加算上述输入像素数据、上述第2乘法单元的输出、上述第1选择单元的输出;
选择控制信号发生单元,它根据上述滤波处理切换信号,输出选择控制信号;
第2选择单元,它根据上述选择控制信号,选择输出上述第1乘法单元的输出,或者上述加法单元的输出之一;
方式切换信号输出单元,它输出切换在横方向上处理上述输入像素数据的横方向处理方式,和在纵方向上处理的纵方向处理方式的方式切换信号;
乘数控制信号发生单元,它根据上述滤波处理切换信号以及上述方式切换信号,输出乘数控制信号;
第3像素延迟单元,它使上述第2选择单元的输出延迟规定时间后输出;
第3乘法单元,它根据由上述乘数控制信号发生单元输出的上述乘数控制信号,把上述第2选择单元的输出设置在1倍、1/2倍,或者1/16倍。
2.如权利要求1所述的滤波运算装置,其特征在于:
上述加法单元,
它对上述第1滤波处理的运算结果,或者上述第2滤波处理的运算结果,或者在横方向上处理上述输入像素数据的横方向处理方式的运算结果,或者在纵方向上处理上述输入像素数据的纵方向处理方式的运算结果其中之一的结果,加算保持用于实施“舍入”的值的寄存器的输出。
3.如权利要求1所述的滤波运算装置,其特征在于:包括
第4像素延迟单元,它使上述输入像素数据,至少延迟上述第1像素延迟单元的延迟时间以上的规定时间后输出;
第5像素延迟单元,它使上述第4像素延迟单元的输出,延迟和上述第4像素延迟单元的延迟时间相同的时间后输出;
第3选择单元,它根据上述方式切换信号,对于上述第1乘法单元和上述第2乘法单元代替上述第1像素延迟单元的输出,选择输出上述第1像素延迟单元的输出,和上述第4像素延迟单元的输出之一;
第4选择单元,它对于上述第1选择单元,代替上述第2像素延迟单元的输出,选择输出上述第2像素延迟单元的输出,和上述第5像素延迟单元的输出之一。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP351576/1998 | 1998-12-10 | ||
JP35157698 | 1998-12-10 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1290456A true CN1290456A (zh) | 2001-04-04 |
CN1140997C CN1140997C (zh) | 2004-03-03 |
Family
ID=18418215
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB998028665A Expired - Fee Related CN1140997C (zh) | 1998-12-10 | 1999-12-10 | 滤波运算装置 |
Country Status (7)
Country | Link |
---|---|
US (1) | US6668087B1 (zh) |
EP (1) | EP1056295B1 (zh) |
JP (1) | JP3626686B2 (zh) |
CN (1) | CN1140997C (zh) |
AT (1) | ATE344594T1 (zh) |
DE (1) | DE69933858T2 (zh) |
WO (1) | WO2000035202A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101641960B (zh) * | 2007-01-22 | 2011-07-20 | 三星电子株式会社 | 使用自适应内插滤波器对图像编码与解码的方法和设备 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3861698B2 (ja) * | 2002-01-23 | 2006-12-20 | ソニー株式会社 | 画像情報符号化装置及び方法、画像情報復号装置及び方法、並びにプログラム |
CN1973546B (zh) * | 2004-03-09 | 2010-05-12 | 汤姆森研究基金公司 | 用于高级视频编码的降低分辨率更新模式 |
KR20120012385A (ko) * | 2010-07-31 | 2012-02-09 | 오수미 | 인트라 예측 부호화 장치 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4328426A (en) * | 1980-08-04 | 1982-05-04 | Xerox Corporation | Filter for image pixels |
JP2816173B2 (ja) * | 1989-04-21 | 1998-10-27 | 株式会社日立製作所 | 撮像装置及び撮像装置の信号処理方法 |
US5164828A (en) | 1990-02-26 | 1992-11-17 | Sony Corporation | Video signal transmission and method and apparatus for coding video signal used in this |
US5428456A (en) * | 1991-03-15 | 1995-06-27 | Eastman Kodak Company | Method and apparatus for adaptively reducing interline flicker of TV-displayed image |
JP3090763B2 (ja) * | 1992-02-06 | 2000-09-25 | 富士通株式会社 | 動画像符号化装置 |
JPH06113265A (ja) | 1992-09-25 | 1994-04-22 | Fujitsu Ltd | 動き補償予測器 |
DE4305911A1 (de) | 1993-02-26 | 1994-09-01 | Philips Patentverwaltung | Videodecoder mit einer Steuereinheit |
EP0644698A3 (en) * | 1993-09-14 | 1997-03-05 | Gold Star Co | B-image processing device with half-pixel motion compensation for an image encoder. |
FI96260C (fi) * | 1993-10-29 | 1996-05-27 | Rautaruukki Oy | Suodatusmenetelmä ja suodatin |
JP2554450B2 (ja) * | 1993-12-16 | 1996-11-13 | 日本テレビ放送網株式会社 | フレームシンクロナイザおよびこれを使用した信号切り替え装置 |
FR2717979B1 (fr) | 1994-03-24 | 1996-06-21 | Sgs Thomson Microelectronics | Filtre de matrices de pixels. |
JP3478414B2 (ja) | 1994-03-25 | 2003-12-15 | 日本ビクター株式会社 | 画像情報圧縮装置 |
JPH0879758A (ja) * | 1994-08-31 | 1996-03-22 | Fujitsu Ltd | 動き補償予測器 |
KR0151210B1 (ko) * | 1994-09-23 | 1998-10-15 | 구자홍 | 엠펙2를 수용하는 반화소 움직임 보상조절장치 |
US5644361A (en) | 1994-11-30 | 1997-07-01 | National Semiconductor Corporation | Subsampled frame storage technique for reduced memory size |
JPH08228353A (ja) | 1995-02-21 | 1996-09-03 | Nec Corp | 動画像符号化用動き補償回路 |
KR100251548B1 (ko) * | 1997-11-01 | 2000-04-15 | 구자홍 | 디지털영상을위한움직임추정장치및방법 |
US6239842B1 (en) * | 1998-12-18 | 2001-05-29 | Oplus Technologies Ltd. | Method of de-interlacing video signals using a mixed mode spatial and temporal approximation technique |
-
1999
- 1999-12-10 AT AT99959748T patent/ATE344594T1/de not_active IP Right Cessation
- 1999-12-10 WO PCT/JP1999/006939 patent/WO2000035202A1/ja active IP Right Grant
- 1999-12-10 JP JP2000587539A patent/JP3626686B2/ja not_active Expired - Fee Related
- 1999-12-10 CN CNB998028665A patent/CN1140997C/zh not_active Expired - Fee Related
- 1999-12-10 US US09/600,101 patent/US6668087B1/en not_active Expired - Fee Related
- 1999-12-10 DE DE1999633858 patent/DE69933858T2/de not_active Expired - Lifetime
- 1999-12-10 EP EP99959748A patent/EP1056295B1/en not_active Expired - Lifetime
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101641960B (zh) * | 2007-01-22 | 2011-07-20 | 三星电子株式会社 | 使用自适应内插滤波器对图像编码与解码的方法和设备 |
Also Published As
Publication number | Publication date |
---|---|
US6668087B1 (en) | 2003-12-23 |
EP1056295B1 (en) | 2006-11-02 |
JP3626686B2 (ja) | 2005-03-09 |
DE69933858T2 (de) | 2007-05-24 |
CN1140997C (zh) | 2004-03-03 |
DE69933858D1 (de) | 2006-12-14 |
WO2000035202A1 (en) | 2000-06-15 |
EP1056295A1 (en) | 2000-11-29 |
ATE344594T1 (de) | 2006-11-15 |
EP1056295A4 (en) | 2003-01-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20200349420A1 (en) | Mixed-precision npu tile with depth-wise convolution | |
US7768520B2 (en) | Hierarchical tiling of data for efficient data access in high performance video applications | |
CN101147396B (zh) | 使用循环缓存存储器以曲折扫描顺序处理数据阵列的方法和设备 | |
US20100156917A1 (en) | Image processing apparatus and method for managing frame memory in image processing | |
KR102264161B1 (ko) | 이미지 처리 장치, 이미지 처리 시스템, 이미지 처리 시스템의 동작방법 및 이미지 처리 시스템을 포함하는 시스템 온 칩 | |
US7102551B2 (en) | Variable length decoding device | |
CN104704827A (zh) | 用于下一代视频的内容自适应变换译码 | |
CN1794814A (zh) | 流水线化解块滤波器 | |
JP2008288832A (ja) | 情報処理装置および方法 | |
CN1105454C (zh) | 对多个连续接收的数据元素重新排序的装置和方法 | |
CN101166277B (zh) | 在用于处理运动图像的设备中访问存储器的方法 | |
KR101017688B1 (ko) | 반도체 장치, 화상 데이터 처리 장치 및 그 방법 | |
JP4517306B2 (ja) | 情報処理装置および方法 | |
CN114979670A (zh) | 自适应环路滤波方法及相应电路 | |
US7929777B2 (en) | Variable length decoding device, variable length decoding method and image capturing system | |
CN1140997C (zh) | 滤波运算装置 | |
CN1315023A (zh) | 在图像处理期间执行二维变换的电路和方法 | |
JP4117044B2 (ja) | 映像信号符号化システムにおける量子化器 | |
CN102665080B (zh) | 用于移动补偿的电子装置及移动补偿方法 | |
CN103348678A (zh) | 图像处理装置以及图像处理方法 | |
CN100586188C (zh) | 一种基于avs的帧内预测计算的硬件实现方法 | |
CN103702132B (zh) | 滤波方法、装置及设备 | |
CN1780402A (zh) | 视频图像运动补偿装置 | |
Tan et al. | Shift-accumulator ALU centric JPEG2000 5/3 lifting based discrete wavelet transform architecture | |
CN1874511A (zh) | 基于avs的视频硬件解码器的存储空间地址映射方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C19 | Lapse of patent right due to non-payment of the annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |