CN101669366A - 具有自适应参考精细粒度信噪比可伸缩性和精细粒度信噪比可伸缩性运动细化机制的可伸缩视频编码编码器及其方法 - Google Patents

具有自适应参考精细粒度信噪比可伸缩性和精细粒度信噪比可伸缩性运动细化机制的可伸缩视频编码编码器及其方法 Download PDF

Info

Publication number
CN101669366A
CN101669366A CN200780045636A CN200780045636A CN101669366A CN 101669366 A CN101669366 A CN 101669366A CN 200780045636 A CN200780045636 A CN 200780045636A CN 200780045636 A CN200780045636 A CN 200780045636A CN 101669366 A CN101669366 A CN 101669366A
Authority
CN
China
Prior art keywords
fgs
layer
current
contraction
expansion factor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN200780045636A
Other languages
English (en)
Inventor
姜晶媛
崔海哲
金在坤
洪镇佑
鲁勇满
张供党
裵泰眠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electronics and Telecommunications Research Institute ETRI
Korea Advanced Institute of Science and Technology KAIST
Original Assignee
Electronics and Telecommunications Research Institute ETRI
Korea Advanced Institute of Science and Technology KAIST
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electronics and Telecommunications Research Institute ETRI, Korea Advanced Institute of Science and Technology KAIST filed Critical Electronics and Telecommunications Research Institute ETRI
Publication of CN101669366A publication Critical patent/CN101669366A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提供了当AR-FGS技术和FGS运动细化技术被应用到可伸缩视频编码时、用于改善编码效率的替换方案。当不执行FGS层的残差信号的预测时,按照与用于预测基本质量层的预测信号的方式相同的方式来预测与FGS层相关的块的预测信号。如果需要,则允许伸缩因子具有非零值,并且FGS层的残差信号用于确定较高FGS层的伸缩因子。限制将AR-FGS和FGS运动细化技术同时用于关键图像。

Description

具有自适应参考精细粒度信噪比可伸缩性和精细粒度信噪比可伸缩性运动细化机制的可伸缩视频编码编码器及其方法
技术领域
本发明涉及采用精细粒度SNR可伸缩性(FGS)运动细化(motionrefinement)技术和自适应参考(AR,adaptive reference)FGS技术的可伸缩视频编码(SVC)。
背景技术
在可伸缩视频编码(SVC)中,FGS是用于精细地控制SNR维度中的视频质量的重要特征。当移除了FGS层时,由于SVC视频信号的帧间预测结构而导致图像(picture)质量劣化可以被传播到随后的图像。
可以通过用于改善编码效率的自适应参考(AR)FGS技术来控制图像质量劣化传播。此外,用于设置每个FGS层中的运动向量的FGS运动细化技术可以用于改善FGS层的编码效率。然而,当一起使用AR FGS和FGS运动细化技术时,因为根据FGS运动细化技术、不从对应于FGS层块的基本层(即,基本质量层或较低的FGS层)块预测FGS层块的残差信号,所以AR FGS技术没有适当地工作。
由MIC(信息和通信部)/IITA(信息技术推进研究院)的IT R&D规划[2005-S-103-02,“Development of Ubiquitous Content Access Technology forConvergence of Broadcasting and Communications(用于汇聚广播和通信的无处不在的内容访问技术的发展)”]来支持该工作。
附图说明
图1图示了传统SVC的AR-FGS结构;
图2图示了根据本发明优选实施例的SVC中的AR-FGS结构;
图3A至图3E图示了针对根据本发明实施例的参考图2描述的第一替换方案的标准化文献中的解码处理;
图4A和图4B图示了用于根据本发明实施例的参考图2描述的第二替换方案的标准化文献中的解码处理;
图5图示了用于根据本发明优选实施例的第三替换方案的语法;
图6图示了用于根据本发明实施例的第三替换方案的标准化文献中的解码处理;
图7图示了用于根据本发明实施例的第四替换方案的语法;
图8图示了用于根据本发明实施例的第五替换方案的语法;
图9图示了用于根据本发明实施例的第六替换方案的语法;
图10是根据本发明实施例的采用改善后的AR-FGS和FGS运动细化技术的SVC编码器的框图;
图11是图示了根据本发明实施例的图10所图示的SVC编码器的操作的流程图;
图12是根据本发明实施例的采用与第三替换方案对应的改善后的AR-FGS和FGS运动细化技术的SVC编码器的框图;以及
图13是根据本发明另一实施例的采用与第四、第五、和第六替换方案对应的改善后的AR-FGS和FGS运动细化技术的SVC编码器的框图。
发明内容
技术问题
SVC中的FGS运动细化技术可以用于改善FGS层的编码效率。FGS运动细化技术允许FGS层具有运动信息和与基本质量层中不同的块模式。
在此情况下,不可能从FGS层块的基本层中的同位块(co-located block)来预测该FGS层块的残差信号,并且基本质量层的残差信号不适合于控制AR-FGS的自适应性。此外,当前的AR-FGS仅考虑了基本质量层的残差信号的属性,并且因而当同时使用AR-FGS技术和FGS运动细化技术时可能产生问题。
相应地,本发明提供了用于解决当同时应用AR-FGS和FSG运动细化技术时可能发生的问题的替换方案,从而改善了AR-FGS的自适应性。
技术方案
根据本发明的一方面,提供了当AR-FGS和FGS运动细化技术被同时应用到SVC时、能够改善编码效率的替换方案。
当不预测FGS层中的块的残差信号,按照与用于预测基本质量层的预测信号相同的方式来预测FGS层中的块的预测信号。
如果需要,则伸缩因子可以具有非零值,并且对于其没有执行残差信号预测的FGS块的残差信号被用于确定较高FGS层的伸缩因子。
当总是激活层间残差信号预测时,基于基本质量层的残差信号来确定自适应处理。
不将FGS和FGS运动细化技术同时用于关键图像。
根据本发明的一方面,提供了一种使用改善后的AR-FGS和FGS运动细化技术的SVC编码器,包括:预测信号确定单元,用于当在基本质量层或较低FGS层与当前FGS层之间不执行层间预测时,根据当前FGS层的伸缩因子来确定当前FGS层块的预测信号;以及伸缩因子确定单元,用于基于当前FGS层块的残差信号,来确定用于预测对应于当前FGS层块的较高FGS层块的伸缩因子。
根据本发明的另一方面,提供了一种使用改善后的AR-FGS和FGS运动细化技术的SVC编码器,包括:层间预测设置单元,用于设置在基本层(即,基本质量层或较低FGS层)和每个FGS层之间必然执行层间预测;以及伸缩因子确定单元,用于基于基本层的残差信号来确定较高FGS层的伸缩因子。
根据本发明的另一方面,提供了一种使用改善后的AR-FGS和FGS运动细化技术的SVC编码器,包括:FGS-MR停用单元,用于当输入比特流的GOP中的图像对应于关键图像时、防止FGS运动细化技术被应用到该关键图像。
根据本发明的另一方面,提供了一种使用改善后的AR-FGS和FGS运动细化技术的SVC编码器,包括:选择性FGS-MR停用单元,用于仅当在其中输入比特流的GOP中的图像对应于关键图像的情况下、将AR-FGS技术应用到该关键图像时,才防止FGS运动细化技术被应用到该关键图像。
根据本发明的另一方面,提供了一种使用改善后的AR-FGS和FGS运动细化技术的SVC编码器,包括:FGS-MR停用单元,用于防止FGS运动细化技术被应用到关键图像;以及AR-FGS停用单元,用于当输入比特流的GOP中的图像对应于关键图像时,阻止AR-FGS技术被应用到该关键图像。
根据本发明另一方面,提供了一种使用改善后的AR-FGS和FGS运动细化技术的SVC解码器,其中,在用于对每个FGS层进行解码的操作中,当FGS运动细化技术被应用到当前FGS层并且在当前FGS层与基本质量层或较低FGS层之间不执行层间预测时,根据当前FGS层的伸缩因子来对当前FGS层块的预测信号进行解码,并且SVC解码器基于当前FGS层块的残差信号来确定该伸缩因子。
根据本发明的另一方面,提供了一种使用改善后的AR-FGS和FGS运动细化技术的SVC解码器,其中,当配置所接收的比特流以使得在基本层和每个FGS层之间必然执行层间预测时,该SVC解码器必然基于基本层的残差信号来确定较高FGS层的伸缩因子。
根据本发明的另一方面,提供了一种使用改善后的AR-FGS和FGS运动细化技术的SVC解码器,其中,该SVC解码器不检查代表了FGS运动细化技术被应用到所接收的比特流中的GOP的关键图像的标志。
根据本发明的另一方面,提供了一种使用改善后的AR-FGS的SVC解码器,其中,当接收包括层间预测设置信号的比特流时,该SVC解码器基于当前FGS层块的残差信号来确定用于预测对应于当前FGS层块的较高FGS层块的伸缩因子,该层间预测设置信号代表了设置层间预测要在基本层和每个FGS层之间执行。
根据本发明的另一方面,提供了一种使用改善后的AR-FGS和FGS运动细化技术的SVC解码方法,该SVC解码方法包括:确定当前帧是否对应于关键图像;以及在当前帧对应于关键图像时,确定是否应用AR-FGS技术,并且在当前帧不对应于该关键图像时,确定是否应用FGS运动细化技术。
有益效果
当将AR-FGS和FGS运动细化同时应用到SVC时,本发明改善了编码效率。此外,本发明可以解决因为当前AR-FGS的自适应仅考虑了基本层的残差信号的属性而导致的当同时使用AR-FGS和FGS运动细化时产生的问题。
具体实施方式
现在将参考其中示出了本发明示范实施例的附图来更全面地描述本发明。然而,本发明可以实施为许多不同的形式,并且不应被理解为被限于在这里提出的实施例;相反地,提出这些实施例使得本公开将透彻和完整,并且本公开将向本领域技术人员全面地传达本发明的构思。贯穿附图中,同样的附图标记指的是同样的元件。
SVC是用于异构环境中的视频通信的重要技术。SVC技术在终端或网络的约束下允许原始视频比特流的截断(truncation),以提供对应于原始内容的不同呈现的输出比特流。在以下三个维度中支持SVC视频的可伸缩性,即,空间、时间、和SNR。
在SVC中,FGS可以精细地控制视频质量。对于每个空间分辨率,首先通过类似于H.264/AVC的方法来对基本质量层进行编码。然后,可以向基本质量层添加多达三个FGS层,以便增强对应基本质量层的SNR质量。可以从任意点提取这些FGS层,以便满足比特率条件。
因为所移除的FGS层和帧间预测结构的影响,所以视频质量(SNR)劣化可以被传播到接下来的图像。该传播被称为SVC中的漂移误差。为了避免漂移误差,可以仅使用先前帧的基本质量层的信息来获得关键图像的帧间预测。然而,由于没有使用最佳的帧间预测,所以该解决方案导致低编码效率。
为了提供编码效率和误差鲁棒性之间的灵活权衡,已提出了AR-FGS。AR-FGS技术基于基本质量层的特性来自适应地控制用于组成帧间预测的FGS信息的一部分。
此外,FGS运动细化技术也增加FGS层的编码效率。FGS运动细化技术允许每个FGS层具有运动向量使得块模式不同于基本质量层。
然而,因为不可能从FGS层块的基本层中的同位块预测该FGS层块的残差信号的属性,所以对于控制AR-FGS的自适应性可能存在仅考虑了基本质量层的残差信号的属性的问题。
参考图1来描述当在传统SVC中同时使用FGS运动细化技术和AR-FGS技术时产生的问题。
图1图示了传统SVC的AR-FGS结构。参考图1,空间分辨率由一个基本质量层100和第一到第三附加FGS层110、120、和130组成。作为示例来说明第一FGS层110的处理。
块101的重构信号包括:预测信号102和残差信号103。预测信号102对应于从基本质量层的先前图像块的重构信号104而运动补偿的预测信号、与从第一FGS层110的重构信号105和先前图像的重构信号104之间的差异而运动补偿的预测信号之和。
在自适应伸缩单元106中,第一伸缩因子S1乘以从第一FGS层110的重构信号105和先前图像的重构信号104之间的差异而运动补偿的预测信号。当第一伸缩因子S1是0时,仅从基本质量层获得预测信号102,并且甚至当从第一FGS层110的块105提取FGS信息时视频质量劣化也不出现。然而,当第一伸缩因子S1不是零时,如果不从第一FGS层110的块105提取FGS信息,则预测信号102将具有更好的视频质量。下面说明其中控制第一伸缩因子S1的两种情况。
◆当闭合开关K11时
首先,考虑从基本质量层(或较低FGS层)到较高FGS层的层间预测。当开关K11(111)被连接到第一FGS层110并且因而预测从基本层100到较高FGS层发生时,基于基本质量层100的残差信号107的系数来确定第一伸缩因子S1。当残差信号107的系数不是0时(当开关K21(121)被切换到节点1时),通过将第一伸缩因子S1设置为0来获得预测信号102的对应系数。当残差信号107的系数是0时,通过将第一伸缩因子S1设置为非零值来确定预测信号102的对应系数。第一伸缩因子S1的非零值取决于内容和应用程序。
当残差信号107的所有系数都是0时,在空间域中发生伸缩。当残差信号107的任一系数是非零时,在变换域中执行伸缩。即,从空间域向变换域转换差分信号,并然后对所述差分信号进行伸缩。
◆当断开开关K11时
考虑不存在从基本质量层(或较低FGS层)到较高FGS层的层间预测的第二情况。例如,当开关K11(111)没有被连接到第一FGS层110、并且因而没有执行从基本质量层100到较高FGS层的预测时,利用除了开关K21(121)被切换到节点2并且基于第一FGS层110的残差信号103的系数来设置第一伸缩因子S1之外、与第一情况中相同的方法来确定第一伸缩因子S1。相应地,产生了使用当前FGS层的残差信号103来确定伸缩因子S1的问题。
现在,将参考图2来描述在本发明中提出的、用于解决当一起使用AR-FGS技术和FGS运动细化技术时产生的问题的替换方案。
图2图示了根据本发明优选实施例的SVC中的AR-FGS结构。参考图2,根据FGS运动细化技术来控制连接开关K11、K12和K13。如上面参考图1所述,当在残差块103和107之间产生层间预测时,AR-FGS技术和FGS运动细化技术的同时应用没有成为问题。然而,当不存在层间预测时,当确定伸缩因子Si时产生问题。下面参考图2来说明用于解决该问题的替换方案。
【第一替换方案】
当断开连接开关K1i并且因而不执行层间残差信号预测时,将第i FGS层的伸缩因子Si设置为0,使得第i FGS层中的相关块的预测信号与基本质量层200的预测信号对应。例如,第一FGS层210中的相关块202的预测信号变为与基本质量层的预测信号完全相同。
当断开开关K1i并且闭合开关K1i+1时,基于第i FGS层的残差信号来确定第(i+1)FGS层的伸缩因子S(i+1)。另外,当断开开关K1i、闭合开关K1i+1并且闭合开关K1i+2时,基于第i残差信号来确定第(i+1)FGS层的伸缩因子S(i+1)和第(i+2)FGS层的伸缩因子S(i+2)。例如,当i是1时,基于残差信号203来确定伸缩因子S(i+1)和S(i+2)。
◆当断开开关K11时
1)当在基本质量层200和第一FSG层210之间停用(inactivate)残差信号预测时,将伸缩因子S1设置为0。然后,按照与获得基本质量层200的残差层207相同的方式来获得第一FGS层210的残差信号203。
例如,第一FGS层210的预测信号202与基本质量层200的预测层完全相同,并且与基本质量层200的残差信号207无关地对第一FGS层210的残差信号203进行编码。在此情况下,不是通过使用预测、而是通过使用与用于对残差信号207进行编码的量化不同的量化参数来对残差信号203进行编码。残差信号203可用于确定第二FGS层220的残差信号和伸缩因子S2。
2)当断开开关K11(211)并且闭合开关K12(212)时,开关K22(222)被切换到节点2,并且第一FGS层210的残差信号203被用于确定第二FGS层220的伸缩因子S2。
3)当闭合开关K12(212)和K13(213)时,开关K23(233)被切换到节点1,并且基于残差信号203来确定伸缩因子S2和S3。
图3A至3E图示了针对在本发明中提出的第一替换方案的标准化文献。在图3A至3E中,用阴影表示根据在本发明中提出的第一替换方案修改的标准化文档的各部分。在图3A至3E中,附加部分是当对FGS层进行解码时在确定伸缩因子的解码处理中、当使用FGS运动细化(motion_refinement_flag(运动细化标志)=1)并且不使用残差信号预测(residual_prediction_flag(残差预测标志)=0)时、用于将伸缩因子sF设置为0的语法。
【第二替换方案】
在第一替换方案中,第i FGS层的伸缩因子Si被设置为0,使得当断开连接开关K1i并且不执行层间残差预测时、第i FGS层的相关块的预测信号变为与基本层的预测信号相同。在是否将伸缩因子Si设置为0方面,第二替换方案区别于第一替换方案。
即,在第二替换方案中,即使因为断开连接开关K1i而导致不存在层间残差预测,如果需要、则也将伸缩因子Si设置为非零值,并且对于其没有执行层间预测的FGS块的残差信号被用于确定较高FGS层的伸缩因子。
例如,当断开开关K11(211)并且闭合开关K12(212)时,开关K22(222)被切换到节点2,并且第一FGS层210的残差信号203被用于确定第二FGS层220的伸缩因子S2。
还可以使用第二替换方案来解决从第一FGS层110的伸缩因子S1预测块102的、上面参考图1所述的问题。
图4A和图4B图示了根据本发明实施例的参考图2描述的第二替换方案的解码处理的标准化文献。在图4A和图4B中,用阴影表示根据在本发明中提出的第二替换方案修改的标准化文档的各部分。
在图4A和图4B中,附加解码处理允许当断开开关K1i时、通过第(i-1)FGS层的残差信号107来确定第i FGS层的伸缩因子Si,这区别于当前标准化文献,在当前标准化文献中,当断开开关K1i时、通过第i FGS层的残差信号来确定第i FGS因子的伸缩因子Si(例如,当断开开关K11时、通过残差信号103来确定伸缩因子S1)的。
变量sigBCoeff代表了对应于残差信号的值,并且用于确定伸缩因子。在当前标准化文献中,当motion_refinement_flag是1并且residual_prediction_flag是0时,第i FGS层的sigBcoeff确定第i FGS层的伸缩因子。即,残差信号103确定伸缩因子S1。然而,在本发明中,生成变量sigBCoeffTem并且修改标准化文献,使得sigBCoeff具有第(i-1)FGS层的残差信号值,以便解决当前标准化文献的问题。
【第三替换方案】
当在基本层和每个FGS层之间必然执行FGS运动细化时,对于AR-FGS提出第三替换方案。在第三替换方案中,总是将开关K11(211)、K12(212)和K13(213)设置为闭合。即,在第三替换方案中,总是激活层间预测,使得执行层间残差信号预测。相应地,将所有的开关K21(221)、K22(222)和K23(223)切换到节点1,并且因而一直将基本质量层的残差信号207用于确定伸缩因子Si。
图5图示了根据本发明优选实施例的第三替换方案的语法。图5中的删除部分是代表了是否实行残差信号预测(层间预测)的语法,使得当residual_prediction_flag是1时执行残差信号预测,而当residual_prediction_flag是0时不执行残差信号预测。然而,如上所述,如果残差预测标志被设置为执行残差信号预测,则无需向解码器传送该标志,因而删除该语法。
图6图示了用于根据本发明实施例的第三替换方案的解码处理的标准化文献。在图6中,由于在FGS层中residual_prediction_flag总是1,所以删除与当residual_prediction_flag是0时的解码处理相关的描述,并且还删除用于检查residual_prediction_flag是否是1的处理。
在图5和6中,用阴影表示根据第三替换方案修改的部分标准化文档。
【第四替换方案】
仅向SVC中的图像组(GOP)中的关键图像应用AR-FGS技术。因而,不向关键图像应用FGS运动细化,以解决当同时应用AR-FGS和FGS运动细化时产生的问题。相应地,无需修改现有的AR-FGS技术以便接收FGS运动细化技术。
图7图示了用于根据本发明实施例的第四替换方案的语法。在图7中,use_base_prediction_flag(使用基本预测标志)是代表了当前图像是否对应于关键图像的标志。
尽管在传统标准化文献中对于所有图像检查代表是否使用运动细化技术的motion_refinement_flag,但是在本发明中仅对于不是关键图像的图像检查motion_refinement_flag。
【第五替换方案】
在第五替换方案中,当对于关键图像使用AR-FGS技术时,不应用FGS运动细化;而当对于关键图像不使用AR-FGS技术时,应用FGS运动细化技术。第五替换方案与第四替换方案的区别在于不向所有关键图像应用FGS运动细化技术。
图8图示了用于根据本发明实施例的第五替换方案的语法。参考图8,当不使用AR-FGS时(如果adaptive_ref_fga_flag(自适应参考FGA标志)是1,则使用AR-FGS),使用motion_refinement_flag来指示是否应用运动细化技术。
【第六替换方案】
在第六替换方案中,对于SVC中的关键图像不应用AR-FGS技术和FGS运动细化技术两者。在此情况下,尽管编码视频信号的编码效率不高,但是也降低了比特流复杂度并且减少了视频质量劣化传播。
图9图示了用于根据本发明实施例的第六替换方案的语法。参考图9,对于关键图像不使用代表了是否使用AR-FGS技术的adaptive_ref_fga_flag和代表了是否使用运动细化技术的motion_refinement_flag。
【改善后的AR-FGS应用方法】
除了第一至第六替换方案之外,本发明还提出了一种改善后的AR-FGS应用方法,所述方法基于第(i-1)FGS层的残差信号比基本质量层的残差信号更类似于第i FGS层的残差信号的事实,当在AR-FGS中层间预测被用于残差信号时(当不使用FGS运动细化技术时、或者当尽管使用FGS运动细化技术但是层间预测也被用于残差信号时),通过使用第(i-1)FGS层的残差信号,来确定第i FGS层的伸缩因子Si。
特别地,当在图2中闭合开关K12(212)时,残差信号203可以被用于确定伸缩因子S2。在此情况下,开关K22(222)被切换到节点2。
改善后的AR-FGS应用方法可以与第三、第四、和第五替换方案进行组合。例如,当闭合开关K22(211)和K12(212)两者时,通过残差信号207来确定伸缩因子S1,而通过残差信号203来确定伸缩因子S2。
图10是根据本发明实施例的采用改善后的AR-FGS和FGS运动细化技术的SVC编码器的框图。参考图10,SVC编码器包括:预测信号确定单元1010和伸缩因子确定单元1020。
当在基本质量层或较低FGS层和当前FGS层之间不执行层间预测时,预测信号确定单元1010根据当前FGS层的伸缩因子来确定当前FGS层块的预测信号。当当前FGS层的伸缩因子是0时,根据上述第一替换方案来确定当前FGS层块的预测信号,而当当前FGS层的伸缩因子不是0时,根据上述第二替换方案来确定当前FGS层块的预测信号。
伸缩因子确定单元1020基于当前FGS层块的残差信号,来确定用于预测对应于当前FGS层块的较高FGS层块的伸缩因子。在此情况下,设置层间预测要在当前FGS层和较高FGS层之间执行。伸缩因子确定单元1020的详细操作与第一和第二替换方案相关。
图11是图示了图10所图示的SVC编码器的操作的流程图。参考图11,在操作S1010中,确定是否在基本质量层或较低FGS层和当前FGS层之间执行层间预测。当确定了在基本质量层或较低FGS层和当前FGS层之间不执行层间预测时,如果当前FGS层的伸缩因子是0,则在操作S1030中根据第一替换方案来确定预测信号;而如果当前FGS层的伸缩因子不是0,则在操作S1040中根据第二替换方案来确定预测信号。然后,在操作S1050中,基于当前FGS层块的残差信号来确定较高FGS层的伸缩因子。
图12是根据本发明实施例的采用对应于第三替换方案的改善后的AR-FGS和FGS运动细化技术的SVC编码器的框图。参考图12,SVC编码器包括:层间预测设置单元1210和伸缩因子确定单元1220。
层间预测设置单元1210设置在基本层和每个FGS层之间必然执行层间预测。伸缩因子确定单元1220总是基于基本层的残差信号来确定较高FGS层的伸缩因子。在第三替换方案中更详细地描述了图12所图示的SVC编码器的操作。
图13是根据本发明另一实施例的采用对应于第四、第五、和第六替换方案的改善的AR-FGS和FGS运动细化技术的SVC编码器的框图。参考图13,当输入比特流的GOP中的图像对应于关键图像时,FGS-MR停用单元1310防止FGS运动细化技术被应用到该关键图像。AR-FGS停用单元1320阻止AR-FGS技术被应用到该关键图像。
第四替换方案对应于仅包括FGS-MR停用单元1310的SVC编码器,而第六替换方案对应于包括FGS-MR停用单元1310和AR-FGS停用单元1320两者的SVC编码器。第五替换方案对应于仅当AR-FGS技术被应用到关键图像时才选择性地使用FGS-MR停用单元1310的SVC编码器。
如上所述,可以将图11、12、13、和14所图示的SVC编码器选择性地与第一到第六替换方案之一进行组合。
本发明还可以实施为计算机可读记录介质上的计算机可读代码。计算机可读记录介质是可存储其后可以由计算机***读取的数据的任何数据存储装置。计算机可读记录介质的示例包括:只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘、光学数据存储装置、和载波(诸如,通过因特网的数据传送)。计算机可读记录介质也可分布在网络耦接计算机***上,使得以分布式方式存储和执行计算机可读代码。
尽管已经参考本发明的示范实施例而具体示出并描述了本发明,但是本领域的普通技术人员将理解,可以在其中进行形式和细节上的各种改变,而不脱离由以下权利要求限定的本发明的精神和范围。

Claims (34)

1.一种使用改善后的AR-FGS和FGS运动细化技术的SVC编码器,包括:
预测信号确定单元,用于当在基本质量层或较低FGS层与当前FGS层之间不执行层间预测时,根据当前FGS层的伸缩因子来确定当前FGS层块的预测信号;以及
伸缩因子确定单元,用于基于当前FGS层块的残差信号,来确定用于预测对应于当前FGS层块的较高FGS层块的伸缩因子。
2.根据权利要求1的SVC编码器,其中,该伸缩因子是用于预测当前FGS层块的先前块的使用率。
3.根据权利要求1的SVC编码器,其中,该当前FGS层的伸缩因子被设置为0,并且按照与用于获得基本质量层块的预测信号的方式的相同方式来获得当前FGS层块的预测信号。
4.根据权利要求1的SVC编码器,其中,该当前FGS层的伸缩因子不是0。
5.根据权利要求1的SVC编码器,其中,在当前FGS层块和较高FGS层块之间执行层间预测。
6.根据权利要求1的SVC编码器,其中,当前FGS层块的重构信号包括预测信号和残差信号。
7.一种使用改善后的AR-FGS和FGS运动细化技术的SVC编码器,包括:
层间预测设置单元,用于设置在基本层和每个FGS层之间必然执行层间预测;以及
伸缩因子确定单元,用于基于基本层的残差信号来确定较高FGS层的伸缩因子。
8.根据权利要求7的SVC编码器,其中,该伸缩因子是用于预测当前FGS层块的先前块的使用率。
9.一种使用改善后的AR-FGS和FGS运动细化技术的SVC编码器,包括:FGS-MR停用单元,用于当输入比特流的GOP中的图像对应于关键图像时、防止将FGS运动细化技术应用到所述关键图像。
10.根据权利要求9的SVC编码器,其中,仅当没有将AR-FGS技术应用到关键图像时,FGS-MR停用单元才允许将FGS运动细化技术应用到关键图像。
11.根据权利要求9的SVC编码器,还包括用于防止AR-FGS技术被应用到关键图像的AR-FGS停用单元。
12.一种使用改善后的AR-FGS和FGS运动细化技术的SVC编码器,包括:
层间预测设置单元,用于设置在基本层和每个FGS层之间执行层间预测;以及
伸缩因子确定单元,用于基于当前FGS层块的残差信号,来确定用于预测与当前FGS层块对应的较高FGS层块的伸缩因子。
13.根据权利要求12的SVC编码器,还包括:FGS-MR停用单元,该FGS-MR停用单元用于当输入比特流的GOP中的图像对应于关键图像时,防止将FGS运动细化技术应用到关键图像。
14.根据权利要求13的SVC编码器,其中,仅当AR-FGS技术没有被应用到关键图像时,FGS-MR停用单元才允许将FGS运动细化技术应用到关键图像。
15.一种使用改善后的AR-FGS和FGS运动细化技术的SVC编码器中的编码方法,该编码方法包括:
当在基本质量层或较低FGS层与当前FGS层之间不执行层间预测时,根据当前FGS层的伸缩因子来确定当前FGS层块的预测信号;以及
基于当前FGS层块的残差信号,来确定用于预测与当前FGS层块对应的较高FGS层块的伸缩因子。
16.根据权利要求15的编码方法,其中,该伸缩因子是用于预测当前FGS层块的先前块的使用率。
17.根据权利要求15的编码方法,其中,该当前FGS层的伸缩因子被设置为0,并且按照与用于获得基本层块的预测信号的方式的相同方式来获得当前FGS层块的预测信号。
18.根据权利要求15的编码方法,其中,当前FGS层的伸缩因子不是0。
19.根据权利要求15的编码方法,其中,在当前FGS层块和较高FGS层块之间执行层间预测。
20.根据权利要求15的编码方法,其中,当前FGS层块的重构信号包括预测信号和残差信号。
21.一种使用改善后的AR-FGS和FGS运动细化技术的SVC编码器中的编码方法,该编码方法包括:
设置在基本层和每个FGS层之间必然执行层间预测;以及
基于基本层的残差信号来确定较高FGS层的伸缩因子。
22.根据权利要求21的编码方法,其中,该伸缩因子是用于预测当前FGS层块的先前块的使用率。
23.一种使用改善后的AR-FGS和FGS运动细化技术的SVC编码器中的编码方法,包括:当输入比特流的GOP中的图像对应于关键图像时,防止FGS运动细化技术被应用到所述关键图像。
24.根据权利要求23的编码方法,其中,仅当没有将AR-FGS技术应用到关键图像时,才允许将FGS运动细化技术应用到关键图像。
25.根据权利要求23的编码方法,还包括:防止将AR-FGS技术应用到关键图像。
26.一种使用改善后的AR-FGS和FGS运动细化技术的SVC编码器中的编码方法,该编码方法包括:
设置在基本层和每个FGS层之间执行层间预测;以及
基于当前FGS层块的残差信号,来确定用于预测与当前FGS层块对应的较高FGS层块的伸缩因子。
27.根据权利要求26的编码方法,还包括:当输入比特流的GOP中的图像对应于关键图像时,防止将FGS运动细化技术应用到关键图像。
28.根据权利要求27的编码方法,其中,仅当AR-FGS技术没有被应用到关键图像时,才允许将FGS运动细化技术应用到关键图像。
29.一种使用改善后的AR-FGS和FGS运动细化技术的SVC解码器,其中,在用于对每个FGS层进行解码的操作中,当FGS运动细化技术被应用到当前FGS层并且在当前FGS层与基本质量层或较低FGS层之间不执行层间预测时,根据当前FGS层的伸缩因子来对当前FGS层块的预测信号进行解码,并且该伸缩因子是由SVC编码器基于当前FGS层块的残差信号来确定的。
30.根据权利要求29的SVC解码器,其中,该当前FGS层的伸缩因子被设置为0。
31.一种使用改善后的AR-FGS和FGS运动细化技术的SVC解码器,当配置所接收的比特流以使得在基本层和每个FGS层之间必须执行层间预测时,该SVC解码器必须基于基本层的残差信号来确定较高FGS层的伸缩因子,以对所接收的比特流进行解码。
32.一种使用改善后的AR-FGS的SVC解码器,当接收包括层间预测设置信号的比特流时,该SVC解码器基于当前FGS层块的残差信号来确定用于预测与当前FGS层块对应的较高FGS层块的伸缩因子,该层间预测设置信号代表了设置层间预测要在基本层和每个FGS层之间执行。
33.一种使用改善后的AR-FGS和FGS运动细化技术的SVC解码方法,该SVC解码方法包括:
确定当前帧是否对应于关键图像;以及
在当前帧对应于关键图像时,确定是否应用AR-FGS技术,并且在当前帧不对应于该关键图像时,确定是否应用FGS运动细化技术。
34.根据权利要求33的SVC解码方法,还包括:在当前帧对应于关键图像并且没有应用AR-FGS技术时,确定是否应用FGS运动细化技术。
CN200780045636A 2006-10-16 2007-10-16 具有自适应参考精细粒度信噪比可伸缩性和精细粒度信噪比可伸缩性运动细化机制的可伸缩视频编码编码器及其方法 Pending CN101669366A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US85204606P 2006-10-16 2006-10-16
US60/852,046 2006-10-16
KR1020070002653 2007-01-09
KR1020070104240 2007-10-16

Publications (1)

Publication Number Publication Date
CN101669366A true CN101669366A (zh) 2010-03-10

Family

ID=41804864

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200780045636A Pending CN101669366A (zh) 2006-10-16 2007-10-16 具有自适应参考精细粒度信噪比可伸缩性和精细粒度信噪比可伸缩性运动细化机制的可伸缩视频编码编码器及其方法

Country Status (1)

Country Link
CN (1) CN101669366A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103918261A (zh) * 2011-07-21 2014-07-09 卢卡·罗萨托 分层信号质量层级中的信号处理和继承
CN104904214A (zh) * 2013-01-07 2015-09-09 Vid拓展公司 用于可扩展视频编码的运动信息信令
CN109417617A (zh) * 2016-06-22 2019-03-01 韩国电子通信研究院 帧内预测方法和装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103918261A (zh) * 2011-07-21 2014-07-09 卢卡·罗萨托 分层信号质量层级中的信号处理和继承
CN103918261B (zh) * 2011-07-21 2018-01-19 卢卡·罗萨托 分层信号质量层级中的信号处理和继承
CN104904214A (zh) * 2013-01-07 2015-09-09 Vid拓展公司 用于可扩展视频编码的运动信息信令
CN109417617A (zh) * 2016-06-22 2019-03-01 韩国电子通信研究院 帧内预测方法和装置
CN109417617B (zh) * 2016-06-22 2023-10-20 Lx 半导体科技有限公司 帧内预测方法和装置

Similar Documents

Publication Publication Date Title
RU2668723C2 (ru) Способ и оборудование для кодирования и декодирования видеосигналов
JP6874032B2 (ja) ピクチャの符号化/復号化方法及びこれを利用する装置
AU2012275789B2 (en) Motion prediction in scalable video coding
RU2613738C2 (ru) Сигнализация информации состояния для буфера декодированных картинок и списков опорных картинок
CN101010964B (zh) 在可分级视频编码中的使用帧速率上变换技术的方法与设备
EP2106666B1 (en) Improved inter-layer prediction for extended spatial scalability in video coding
RU2387094C1 (ru) Способ и устройство для кодирования/декодирования видеосигнала
CN112243128B (zh) 层间预测方法和传输比特流的方法
US20090041130A1 (en) Method of transmitting picture information when encoding video signal and method of using the same when decoding video signal
CN104160706A (zh) 用于视频编码的方法以及用于其的装置、计算机程序产品、***和模块
KR20080094041A (ko) 미세 입도 공간 확장성을 가지는 비디오 코딩
MX2008000569A (es) Indicacion de dependencia de codificacion en codificacion de video escalable.
KR20100015611A (ko) 다운샘플링된 기준 화상을 이용한 인터-뷰 예측
KR20060122664A (ko) 레이어간 예측방식를 사용해 엔코딩된 영상신호를디코딩하는 방법
JP2009522971A (ja) 拡張可能ビデオ符号化のための切換型フィルタアップサンプリング機構
WO2007109993A1 (en) Error control system, method, encoder and decoder for video coding
CN101945285A (zh) 一种嵌入式互动应用服务转编码***
KR102407912B1 (ko) 양방향 인트라 예측 시그널링
JP4284265B2 (ja) 動画像符号化装置、動画像符号化方法、動画像復号化装置および動画像復号化方法
CN101669366A (zh) 具有自适应参考精细粒度信噪比可伸缩性和精细粒度信噪比可伸缩性运动细化机制的可伸缩视频编码编码器及其方法
KR20080004392A (ko) 스케일러블 비디오 인코딩/디코딩 방법 및 그 장치
WO2006132509A1 (en) Multilayer-based video encoding method, decoding method, video encoder, and video decoder using smoothing prediction
US20100046620A1 (en) Scalable video coding encoder with adaptive reference fgs and fgs motion refinement mechanism and method thereof
KR102602633B1 (ko) 영상 부호화/복호화 방법 및 장치
KR100759722B1 (ko) 영상 프레임의 크기에 따라 계층 간의 영상 프레임들을서로 다른 예측 구조로 움직임 보상을 수행하는 h.264기반 스케일러블 부호화 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20100310