CN107005702B - 用于处理数字图像的块的***和方法 - Google Patents

用于处理数字图像的块的***和方法 Download PDF

Info

Publication number
CN107005702B
CN107005702B CN201480083420.9A CN201480083420A CN107005702B CN 107005702 B CN107005702 B CN 107005702B CN 201480083420 A CN201480083420 A CN 201480083420A CN 107005702 B CN107005702 B CN 107005702B
Authority
CN
China
Prior art keywords
block
rotational symmetry
mask
blocks
rotationally symmetric
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480083420.9A
Other languages
English (en)
Other versions
CN107005702A (zh
Inventor
基齐克·勒维
内坦·弗洛恩德
德罗尔·罗马音
大卫·德雷兹内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN107005702A publication Critical patent/CN107005702A/zh
Application granted granted Critical
Publication of CN107005702B publication Critical patent/CN107005702B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

提供一种用于生成用于编码帧或其中一部分中的块的变换系数集的装置和多种方法,所述装置包括:媒体编码器,其耦合到用于接收帧或其中一部分的数据接口,所述媒体编码器用于:从多个旋转对称掩码中选择用于所述块的旋转对称掩码,所述多个旋转对称掩码定义了具有如所述块的大小和形状的多维空间中的多个不同旋转对称;基于所述旋转对称掩码将所述块***成两个互补部分;生成旋转对称块对,每一旋转对称块具有两个互补部分中的一个;计算用于所述旋转对称块对的至少一个部件的至少一个变换系数。

Description

用于处理数字图像的块的***和方法
背景技术
本发明在其一些实施例中涉及用于数字图像和/或视频压缩的***和方法,且更具体地(但不仅限于),涉及用于生成用于处理数字图像的块的变换系数集的***和方法。
数字图像(例如,通过数码相机获得的静态图像)和数字视频在以非压缩方式存储、由全数据集表示时需要相当大的存储器资源。表示数字图像和/或视频的全数据集的传输将需要相当大的网络资源,例如通信带宽。视频尤其成问题,这是因为单个视频可包含成千上万的个别帧。针对每一图像的全数据集的存储和/或传输在许多情形下可为不可能的,或以其它方式压垮处理和网络资源。
此外,随着质量和分辨率能力在相机(静态和视频)和显示屏两者上改善,每个图像所生成的数据量不断增加。在依赖于视频传输的移动设备(例如,智能手机和平板电脑)上运行的基于视频的应用生成大量网络流量,这对于无线网络尤其成问题。
已经开发了用于静态数字图像和数字视频的压缩的不同方案以减小图像和视频数据的大小,且借此减少所需存储资源和网络资源。
例如,2012年12月Sullivan等人的关于用于视频技术的电路和***的IEEE期刊“高效率视频编码(HEVC)标准的概述”第22卷第12号描述“高效率视频编码(HEVC)目前被视为ITU-T视频编码专家组和ISO/IEC动画专家组的最新的视频编码标准。HEVC标准化工作的主要目标是使得能够相对于现有标准显著改善压缩性能——对于同等感知视频质量来说比特率降低在50%的范围内。”
发明内容
本发明的目的是提供一种经改善的视频压缩技术。
通过独立权利要求中所提供的方案实现此目的。在相应的从属权利要求中进一步定义有利的实施方案。
根据第一方面,一种用于生成用于编码帧或其中一部分中的块的变换系数集的装置包括:媒体编码器,其耦合到用于接收帧或其中一部分的数据接口,媒体编码器用于:从多个旋转对称掩码中选择用于所述块的旋转对称掩码,所述多个旋转对称掩码定义了具有如所述块的大小和形状的多维空间中的多个不同旋转对称;基于所述旋转对称掩码将所述块***成两个互补部分;生成旋转对称块对,每一旋转对称块具有两个互补部分中的一个;计算用于所述旋转对称块对的至少一个部件的至少一个变换系数。
根据第二方面,一种用于生成帧或其中一部分中的块的变换系数集的方法包括:从旋转对称掩码库中选择旋转对称掩码,所述旋转对称掩码库包括多个不同旋转对称掩码,所述多个不同旋转对称掩码定义了具有如所述块的大小和形状的多维空间中的多个不同旋转对称;基于所述旋转对称掩码将所述块***成两个互补部分;生成旋转对称块对,每一旋转对称块具有两个互补部分中的一个;计算用于所述旋转对称块对的每一部件的至少一个变换系数。所述方法可用于操作第一方面所述的装置。
根据第三方面,一种用于解码帧或其中一部分的块的装置包括:媒体解码器,其耦合到数据接口,所述数据接口用于接收表示旋转对称块对的至少一个部件的至少一个变换系数和表示相关联的选定旋转对称掩码的信号,所述旋转对称掩码定义了具有如帧或其中一部分的块的大小和形状的多维空间中的旋转对称,所述媒体解码器用于:基于所接收的至少一个变换系数的逆变换来计算所述旋转对称块对,所述旋转对称块对中的每一部件具有两个互补部分中的一个;基于所述旋转对称掩码从两个互补部分重建块。第三方面所述的装置可用于解码由第一方面所述的装置编码的帧或其中一部分的块。
根据第四方面,一种用于重建帧或其中一部分的块的方法包括:接收表示旋转对称块对的至少一个部件的至少一个变换系数和表示相关联的选定旋转对称掩码的信号,所述旋转对称掩码定义了具有如帧或其中一部分的块的大小和形状的多维空间中的旋转对称;基于所接收的至少一个变换系数的逆变换来计算所述旋转对称块对,所述旋转对称块对中的每一部件具有两个互补部分中的一个;基于所述旋转对称掩码从两个互补部分重建块。第四方面所述的方法可用于操作第三方面所述的装置。
根据第五方面,一种计算机程序用于当在计算机上执行时执行前述方面中任一项所述的方法。所述计算机程序可经配置供媒体编码器用于编码帧或其中一部分中的块,程序代码包括:用于从旋转对称掩码库中选择旋转对称掩码的指令,所述旋转对称掩码库包括多个不同旋转对称掩码,所述多个不同旋转对称掩码定义了具有如所述块的大小和形状的多维空间中的多个不同旋转对称;用于基于所述旋转对称掩码将所述块***成两个互补部分的指令;生成用于生成旋转对称块对的指令,每一旋转对称块具有两个互补部分中的一个;用于计算用于所述旋转对称块对中的每一部件的至少一个变换系数的指令。
为清楚起见,本文描述编码装置、编码方法和/或编码计算机程序产品的细节。对于每一所描述的编码功能和/或结构,暗示了对应的解码功能和/或结构。为简洁且清楚起见,省略对应于所描述的编码功能和/或结构元件的解码功能和/或结构元件的措辞。为清楚起见,术语“媒体编码器”也指代方法和计算机程序产品。例如,短语“媒体编码器用于”也意指“方法还包括”和“计算机程序产品还包括用于…的指令”。
所有方面通过改善效率和/或降低用于图像和/或视频的压缩的资源要求(例如,存储器和/或处理器)来改善***性能。
根据第一方面,在所述装置的第一种可能实现形式中,媒体编码器用于通过将两个互补部分中的一个和所述两个互补部分中的所述一个的二维(2D)镜像相加形成所述块大小和形状的所述旋转对称块对中的每一部件。
根据第一方面本身或根据第一种实现形式,在所述装置的第二种可能实现形式中,所述多个旋转对称掩码是在旋转对称掩码库中;其中媒体编码器用于基于所述块的大小和形状中的至少一个从多个旋转对称掩码库中选择旋转对称掩码库。
步进式选择可通过减小供在每一步处选择的集的大小来减小搜索范围,从而减少用于选择的资源和/或计算。从库(或掩码子集)而非从较大的候选掩码集中选择掩码减少用于将所选掩码发信至解码器的经编码比特的数目和/或减少计算复杂度和/或存储器源和/或处理器资源。
根据第一方面本身或根据前述实现形式中的任一个,在所述装置的第三种可能实现形式中,媒体编码器用于基于针对所述块的压缩偏好从多个旋转对称掩码库中选择旋转对称掩码库。
当压缩参数涉及某些权衡(例如,以降低质量为代价降低大小)时,压缩偏好可帮助掩码选择。具有较低经估计的复杂性测度的掩码经估计需要较少的资源(例如,处理器和/或存储器)。
根据第一方面本身或根据前述实现形式中的任一个,在所述装置的第四种可能实现形式中,从由压缩复杂度偏好、压缩质量偏好和压缩大小偏好组成的群组中选择压缩偏好。
根据第一方面本身或根据前述实现形式中的任一个,在所述装置的第五种可能实现形式中,媒体编码器用于通过预处理由帧或其中一部分组成的视频数据自动生成旋转对称掩码库且根据针对压缩复杂度偏好、压缩大小偏好和压缩质量偏好的预处理的结果中的至少一个从不同旋转对称掩码的存储库中选择所述多个不同旋转对称掩码。
所生成的库内的掩码数目可小于生成所有可能排列,这是因为仅包含满足压缩准则的掩码。
视频数据的预处理可改善编码器的性能。可提前而非在压缩期间执行资源繁重计算。作为掩码选择的依据的数据可以是准备好的以允许块压缩过程期间的更快掩码选择而非在压缩过程期间执行掩码选择计算。
根据第一方面本身或根据前述实现形式中的任一个,在所述装置的第六种可能实现形式中,媒体编码器用于根据由针对块压缩复杂度、块压缩大小和块压缩质量的偏好组成的群组的部件自动生成旋转对称掩码库。
根据第一方面本身或根据前述实现形式中的任一个,在所述装置的第七种可能实现形式中,媒体编码器用于基于包括帧或其中一部分的视频数据的分类从多个旋转对称掩码库中选择旋转对称掩码库。
经预分类的视频数据改善了***性能,这是因为可更高效地和/或使用基于分类的较少资源选择掩码。
根据第一方面或根据前述实现形式中的任一个,在所述装置的第八种可能实现形式中,多维空间是二维空间,其中所述多个不同旋转对称掩码包括多个矩阵,每一矩阵定义了不同的线,所述线连接二维空间的相对边缘以将二维空间***成两个互补部分。
旋转对称掩码可用于***多维空间和/或数据,所述多维空间和/或数据使得能够将本文就基于多维空间的不同图像和/或视频标准所描述的***和/或方法集成在一起。
根据第一方面本身或根据前述实现形式中的任一个,在所述装置的第九种可能实现形式中,根据相应线关于二维空间的边缘的角以分层布置映射所述多个不同旋转对称掩码中的每一个;其中媒体编码器用于以根据所述分层布置所定义的次序在所述多个不同旋转对称掩码中的至少一些的迭代掩码选择中选择旋转对称掩码。
分层布置可减少用于识别最佳掩码的处理时间和/或资源。
根据第一方面本身或根据前述实现形式中的任一个,在所述装置的第十种可能实现形式中,所述多个不同旋转对称掩码是具有如所述块的大小和形状的矩形掩码。
处理矩形块改善了本文就允许将帧(或其子区域)分割成矩形块的标准所描述的***和/或方法的兼容性。
根据第一方面本身或根据前述实现形式中的任一个,在所述装置的第十一种可能实现形式中,媒体编码器用于使用至少一个空间预测器编码至少一个变换系数,所述至少一个空间预测器用于所述块的两个互补部分中的至少一个。
基于预测器编码改善了***效率和/或利用了较少资源。
根据第一方面本身或根据前述实现形式中的任一个,在所述装置的第十二种可能实现形式中,媒体编码器用于使用至少一个时间预测器编码至少一个变换系数,所述至少一个时间预测器用于所述块的两个互补部分中的至少一个。
根据第一方面本身或根据前述实施方案中的任一个,在所述装置的第十三种可能实现形式中,媒体编码器用于使用与两个互补部分中的相应一个相关的空间预测器编码所述旋转对称块对中的每一个的至少一个变换系数。
根据第一方面本身或根据前述实现形式中的任一个,在所述装置的第十四种可能实现形式中,媒体编码器用于使用与两个互补部分中的相应一个相关的运动向量编码所述旋转对称块对中的每一个的至少一个变换系数。
根据第一方面本身或根据前述实现形式中的任一个,在所述装置的第十五种可能实现形式中,媒体编码器用于使用熵上下文模型编码至少一个变换系数,所述熵上下文模型用于旋转对称掩码。
根据第一方面本身或根据前述实现形式中的任一个,在所述装置的第十六种可能实现形式中,媒体编码器用于基于变换过程的结果和/或应用于两个旋转对称块中的至少一个的变换过程的结果的估计来选择旋转对称掩码。
基于结果和/或经估计结果的掩码选择改善了***效率和/或利用了较少资源。
根据第一方面或根据前述实现形式中的任一个,在所述装置的第十七种可能实现形式中,媒体编码器用于基于应用于所述旋转对称块对的至少一个部件的至少一个变换系数的量化过程和编码过程中的至少一个的结果和/或结果的估计来选择旋转对称掩码。
根据第一方面本身或根据前述实现形式中的任一个,在所述装置的第十八种可能实现形式中,所述多个不同旋转对称掩码中的每一个与经估计的率测度相关联,所述经估计的率测度指示当将所述多个掩码中的某一相应掩码应用于具有所述大小和形状的示例性块时所传输的比特的数目。
可关于每一掩码存储率测度,从而允许基于经估计的率测度值快速选择掩码。可针对每一掩码提前计算率测度而非在运行时间期间重新计算,从而减少选择所需要的计算。
根据第一方面本身或根据前述实现形式中的任一个,在所述装置的第十九种可能实现形式中,所述多个不同旋转对称掩码中的每一个与经估计的复杂性测度相关联,所述经估计的复杂性测度指示将所述多个掩码中的某一相应掩码应用于具有所述大小和形状的示例性块的计算复杂度。
基于经估计的复杂性测度的掩码选择改善了***效率和/或利用了较少资源。
根据第一方面本身或根据前述实现形式中的任一个,在所述装置的第二十种可能实现形式中,所述多个不同旋转对称掩码中的每一个与经估计的失真测度相关联,所述经估计的失真测度指示从将所述多个掩码中的某一相应掩码应用于具有所述大小和形状的示例性块所产生的压缩失真。
具有较低经估计的失真测度的掩码经估计在实现目标压缩假象时需要较少资源(例如,处理器和/或存储器)。
根据第一方面本身或根据前述实现形式中的任一个,在所述装置的第二十一种可能实现形式中,媒体编码器用于根据所述块中的像素值图案选择旋转对称掩码。
基于像素值图案的选择生成两个互补部分,其中每一相应部分内的像素彼此类似,例如,类似强度和/或色彩。
根据第一方面本身或根据前述实现形式中的任一个,在所述装置的第二十二种可能实现形式中,媒体编码器用于基于由应用所述多个不同旋转对称掩码中的至少一些的训练集记录结果的分析所生成的统计分类器选择旋转对称掩码。
统计分类器可改善基于包含多个不同所要结果的结果的预测对掩码的选择。
根据第一方面本身或根据第一方面的前述实现形式中的任一个,在所述装置的第二十三种可能实现形式中,媒体编码器用于基于从所述块的空间相邻块和所述块的时间相邻块中的至少一个提取的内容来选择旋转对称掩码。
可选地,相邻者包含先前所处理的块。先前所处理的块可用作用于选择目前正处理的块的掩码的预测器。
根据第一方面本身或根据前述实现形式中的任一个,在所述装置的第二十四种可能实现形式中,所提取的内容是根据空间和时间相邻块中的至少一个中的像素值图案。
含有用作预测器的类似像素图案的相邻块改善了***性能和/或需要较少资源。
根据第一方面本身或根据前述实现形式中的任一个,在所述装置的第二十五种可能实现形式中,媒体编码器用于选择旋转对称掩码,选择旋转对称掩码是基于与所述块的空间相邻块和所述块的时间相邻块中的至少一个相关联的信息来执行。
根据第一方面本身或根据前述实现形式中的任一个,在所述装置的第二十六种可能实现形式中,与由空间和时间相邻块组成的群组中的至少一个相关联的信息与预测相关。
根据第一方面本身或根据前述实现形式中的任一个,在所述装置的第二十七种可能实现形式中,媒体编码器用于选择旋转对称掩码,选择旋转对称掩码是基于针对所述块的压缩偏好来执行。
根据第一方面本身或根据前述实现形式中的任一个,在所述装置的第二十八种可能实现形式中,压缩偏好选自由以下各项组成的群组:压缩复杂度偏好、压缩质量偏好和压缩大小偏好。
根据第一方面本身或根据前述实现形式中的任一个,在所述装置的第二十九种可能实现形式中,所述旋转对称块对中的每一部件由具有围绕主对角线成2D镜像的值的矩阵表示。
根据第一方面本身或根据前述实现形式中的任一个,在所述装置的第三十种可能实现形式中,旋转对称掩码用于定义线,所述线连接矩形的相对边缘以将矩形块***成两个2D镜像互补部分。
镜像属性提供块的高效压缩。
根据第一方面本身或根据前述实现形式中的任一个,在所述装置的第三十一种可能实现形式中,连接矩形的相对边缘的多条线用于形成旋转对称掩码库。
根据第一方面本身或根据前述实现形式中的任一个,在所述装置的第三十二种可能实现形式中,数据接口还用于接收表示旋转对称块对的至少一个部件的至少一个变换系数和表示相关联的选定旋转对称掩码的信号,旋转对称掩码定义了具有如帧或其中一部分的块的大小和形状的多维空间中的旋转对称;媒体编码器还用于:基于所接收的至少一个变换系数的逆变换来计算所述旋转对称块对,所述旋转对称块对中的每一部件具有两个互补部分中的一个;基于所述旋转对称掩码从两个互补部分重建块。
除非另有定义,否则本文所用的所有技术和/或科学术语均具有与本发明所属领域普通技术人员通常所理解的含义相同的含义。虽然在本发明的实施例的实践或测试中使用与本文所描述的方法和材料类似或等效的方法和材料,但下文描述示例性方法和/或材料。在冲突的情况下,将以专利说明书(包含定义)为准。另外,材料、方法和示例仅为说明性的且并非打算为必需的限制。
附图说明
本文仅通过示例的方式参考附图描述本发明的一些实施例。现在详细地具体参考附图,强调所展示的项目是作为示例,且为了说明性地讨论本发明的实施例。就这一点来说,依据图示进行描述,如何实践本发明的实施例对本领域技术人员而言是显而易见的。
在附图中:
图1是本发明的一些实施例提供的用于生成用于编码和/或处理帧中的块的变换系数集的方法的流程图;
图2是本发明的一些实施例提供的媒体编码器的变换部分的方框图,所述媒体编码器用于生成用于编码和/或处理帧中的块的变换系数集;
图3是本发明的一些实施例提供的绘示简单旋转对称掩码的一些示例的示意图;
图4是本发明的一些实施例提供的绘示用于块的旋转对称掩码的选择的示意图;
图5A-5C是本发明的一些实施例提供的绘示用于定义旋转对称掩码的像素2D镜像的示意图;
图6A-6C是本发明的一些实施例提供的旋转对称掩码库的一些示例;
图7是本发明的一些实施例提供的图解性地绘示旋转对称掩码的分层布置的示意图;
图8是本发明的一些实施例提供的绘示旋转对称掩码的生成和/或表示的示意图;
图9是本发明的一些实施例提供的用于选择用于***块的旋转对称掩码的计算机化准则和/或方法的变体的清单;
图10是本发明的一些实施例提供的包含有基于图1和/或图2的系数编码器/解码器的用于图像压缩和解压缩的示例性***的方框图;
图11是本发明的一些实施例提供的用于解码编码帧中的块的变换系数集的方法的流程图;
图12A-12I包括执行本文所描述的方法和/或***的实验结果的图像和图解。
具体实施方式
本发明的一些实施例的一方面涉及用于生成用于编码帧或其中一部分的块的变换系数集的方法和/或***,对通过基于某一选定旋转对称掩码***所述块所获得的两个互补部分执行所述编码。所述方法和/或***在不显著地降低图像质量的情况下通过改善块的压缩率减小存储和/或传输块所需要的大小(例如,比特的数目)。任何图像质量降低均在预定义的可接受限制内和/或在没有本文所描述方法的情况下类似于使用标准方法的图像质量降低,例如,峰值信噪比(PSNR)可用作用以定义图像质量的客观测度。
如本文所描述,术语帧或图像有时是指帧的一部分或图像的一部分。可针对整个帧(和/或图像)和/或针对帧(和/或图像)的一部分计算变换系数,例如,针对切片和/或拼片计算变换系数,所述切片和/或拼片是帧的子部件,例如,如由压缩标准所定义。
所述方法和/或***包括编码器,所述编码器用于通过以下方式编码块:选择用于块的适合旋转对称掩码、基于掩码将块***成两个互补部分、由所述部分中的每一个生成旋转对称块对和计算用于旋转对称块中的一个或两者的变换系数。
所述方法和/或***包括解码器,所述解码器用于解码变换系数和重建块。变换系数经解码以重建所述旋转对称块对。所述对的每一部件往回转换(例如,基于逆变换计算)成两个互补部分中的相应一个。两个互补部分重新连接在一起以形成块,此由旋转对称掩码引导。
为清楚起见,本文描述编码器的细节。对于每一所描述的编码功能和/或结构,暗示了对应的解码功能和/或结构。为简洁且清楚起见,从描述中省略对应于编码功能和/或结构元件的解码功能和/或结构元件。
可选地,选择掩码以将块***成两个互补部分,两个互补部分与整个块的压缩相比或与用于块的标准***方法(例如,四方块,例如,如所定义的高效率视频编码(HEVC)和/或H.265标准)的压缩相比更好压缩。
可选地,选择掩码以基于块的图像内的一个或多个视觉特征***块。块可含有由视觉特征(例如,跨越块所绘示的拼片线或边缘)分离的不同类型的内容。掩码可实质上沿视觉特征***块以生成比当在除视觉特征以外的位置处将块***成(例如)四个相等块(如由HEVC标准所指定)时将形成的每一个彼此更均匀的两个互补部分(即,每一个通常绘示所述类型内容中的一个)。
可选地,针对不同块选择不同掩码。例如,可基于块内的内容针对块独立地选择掩码。通过定制的掩码选择改善每一块的压缩。
应用于每一相应块的每一相应掩码与针对相应块所计算的变换系数集相关联。例如,将针对每一块所用的掩码连同所计算的变换系数一起传输,和/或传输指示(例如,可能掩码的库当中的)哪一掩码与变换系数相关联的信号。
掩码具有旋转对称的属性。可选地,掩码定义将块***成两个互补部分以使得块的形状和***在块相对于块的中心旋转180度以下的情况下不变。掩码可为二进制掩码(如本文所描述)。旋转对称允许使用适合的正交变换方法(例如,2D离散余弦变换(DCT))在两个维度上计算正交变换系数。正交变换系数与非正交变换系数相比起来压缩更高效。
两个互补部分中的每一个保持块的相应部分内的原始图像内容的二维拓扑结构,从而允许同一图像的重建。
在详细解释本发明的至少一个实施例之前,应理解,本发明未必将其应用限制于下文描述中所陈述和/或在图示和/或示例中所说明的组件和/或方法的布置的构建细节。本发明能够有其它实施例或能够以各种方式实践或实施。
本发明可为***、方法和/或计算机程序产品。计算机程序产品可包含计算机可读存储介质,其上具有计算机可读程序指令以用于促使处理器执行本发明的各个方面。
计算机可读存储介质可为有形设备,有形设备可保留和存储供指令执行设备使用的指令。计算机可读存储介质可为(例如,但不限于)电子存储设备、磁性存储设备、光学存储设备、电磁存储设备、半导体存储设备或上述物的任何适合组合。计算机可读存储介质的更具体示例的非穷举性清单包含以下各项:便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、静态随机存取存储器(SRAM)、便携式光盘只读存储器(CD-ROM)、数字通用光盘(DVD)、记忆棒、软盘和上述物的任何适合组合。如本文所用,计算机可读存储介质不应被视为暂时性信号本身,例如,无线电波或其它从由传播的电磁波、传播穿过波导或其它传输介质的电磁波(例如,穿过光纤电缆的光脉冲)或通过线传输的电信号。
本文所描述的计算机可读程序指令可从计算机可读存储介质下载到相应计算/处理设备或经由网络(例如,互联网、局域网、广域网和/或无线网络)下载到外部计算机或外部存储设备。网络可包括铜传输电缆、光学传输光纤、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每一计算/处理设备中的网络适配器卡或网络接口从网络接收计算机可读程序指令且转发计算机可读程序指令以用于存储于相应计算/处理设备内的计算机可读存储介质中。
用于执行本发明的操作的计算机可读程序指令可为汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设定数据或者以一个或多个程序设计语言的任何组合撰写的源代码或目标代码,所述程序设计语言包含面向对象的程序设计语言(例如,Smalltalk、C++等)和常规程序化程序设计语言(例如,“C”程序设计语言或类似程序设计语言)。计算机可读程序指令可全部地执行于用户的计算机上、部分地执行于用户的计算机上、作为独立的软件包部分地执行于用户的计算机上且部分地执行于远程计算机上或全部地执行于远程计算机或服务器上。在后者情况下,远程计算机可通过任何类型的网络(包括局域网(LAN)或广域网(WAN))连接到用户的计算机,或可连接到外部计算机(例如,通过使用互联网服务提供商的互联网)。在一些实施例中,包含(例如)可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)的电子电路可通过利用计算机可读程序指令的状态信息使电子电路个性化来执行计算机可读程序指令,以执行本发明的各个方面。
本文结合本发明实施例所述的方法、装置(***)和计算机程序产品的流程图说明和/或方框图描述本发明的各个方面。应理解,可通过计算机可读程序指令实施流程图说明和/或方框图的每一方框以及流程图说明和/或方框图中的方框的组合。
可将这些计算机可读程序指令提供到通用计算机、专用计算机或其它可编程数据处理装置的处理器以生成机器,以使得经由计算机或其它可编程数据处理装置的处理器执行的指令创建用于实施流程图和/或方框图方框中所指定的功能/行为的手段。也可将这些计算机可读程序指令存储于计算机可读存储介质中,所述计算机可读存储介质可引导计算机、可编程数据处理装置和/或其它设备以特定方式运行,以使得其中存储有指令的计算机可读存储介质包括如下制品:包含实施流程图和/或方框图方框中所指定的功能/行为的各个方面的指令。
也可将计算机可读程序指令载入到计算机、其它可编程数据处理装置或其它设备上以促使在计算机、其它可编程装置或其它设备上执行一系列操作步骤以生成计算机实现流程,以使得在计算机、其它可编程装置或其它设备上执行的指令实施流程图和/或方框图方框中所指定的功能/行为。
图中的流程图和方框图说明本发明的各种实施例所述的***、方法和计算机程序产品的可能实现形式的架构、功能性和操作。就这一点来说,流程图或方框图中的每一方框可表示指令的模块、片段或部分,其包括用于实施所指定逻辑功能的一个或多个可执行指令。在一些替代性实现形式中,方框中所注释的功能可不按照图中所注释的次序发生。例如,事实上,相继展示的两个方框可实质上同时执行,或所述方框可有时以颠倒的次序执行,这取决于所涉及的功能性。还应注意,方框图和/或流程图说明的每一方框以及方框图和/或流程图说明中的方框的组合可由执行指定功能或行为或者实施专用硬件和计算机指令的基于专用硬件的***实施。
现在参考图1,图1是本发明的一些实施例提供的用于生成用于编码帧中的块的变换系数集的方法的流程图。同样将参考图2,图2是本发明的一些实施例提供的媒体编码器202的变换部分的方框图,所述媒体编码器用于生成用于编码帧中的块的变换系数集。图2的媒体编码器用于执行图1的方法的一个或多个方框。由图2的媒体编码器执行的图1的方法在不显著地降低图像质量的情况下改善了数字图像(呈视频和/或静态格式)的压缩性能(例如,如参考图12A-12I所描述)。应注意,除了所描述的编码功能以外或替代所描述的编码功能,编码器202还可充当系数解码器。解码功能是基于所描述的编码功能,但为清楚且简洁起见将其省略。
应注意,为了清楚且简洁起见,参考用于变换系数的计算的元件和/或方法描述媒体编码器202(如本文所描述)。媒体编码器202可包含其它编码组件(例如,图10的图像编码器/解码器1004)和/或与其通信。
媒体编码器202包含一个或多个处理器204,其与存储用于由处理器204执行的程序指令的一个或多个存储器206(或其它类型的计算机可读存储介质)通信。存储器206可存储用于在处理期间使用的数据,如本文所描述。媒体编码器202可实现为实现于现有图像压缩软件程序内的软件模块、实现为与用于图像压缩的现有硬件集成在一起的芯片、***到现有设备中以改善图像压缩的单独方框或其任何组合。处理器204可执行基于并行处理技术的方法的步骤,可使用单个处理器和/或可远程定位处理器。可针对预定义旋转对称掩码集中的各种候选掩码使用并行处理以选择用于***块的最佳掩码。可远程定位存储器206中的一个或多个。
媒体编码器202通过改善效率和/或降低用于图像和/或视频的压缩的资源要求(例如,存储器和/或处理器)来改善***性能。
在102处,接收帧和/或块。媒体编码器202耦合到输入数据接口208,输入数据接口208用于接收帧210和/或帧的块。帧210可作为静态数字图像或作为包含多个帧的视频的一部分接收。当从视频接收帧210时,可应用图像间压缩技术,如本文所描述。
媒体编码器202用于指定在帧中分割的块。可选地,块指定器模块212A含有供媒体编码器202执行如本文所描述的指定的程序指令。
例如,可基于视频和/或静态图像标准(例如,HEVC、动画专家组(MPEG)和联合照片专家组(JPEG))将帧划分成多个块。
块可具有标准大小,例如,64x64个像素、32x32个像素、16x16个像素、8x8个像素4x4个像素或其它大小。
块可为正方形(LxL个像素)或矩形(MxN个像素)。
块可表示亮度和/或色度数据。
在104处,选择旋转对称掩码。掩码选择器模块212B含有供媒体编码器202执行如本文所描述的掩码选择的程序指令。
可选地,旋转对称掩码具有相对于掩码的块的中心的二阶旋转对称(本文有时称作C2,指示旋转对称适用360/2=180度)。
现在参考图3,图3绘示本发明的一些实施例提供的旋转对称掩码的一些示例(例如,直角梯形302、直角三角形304、矩形306和正方形308)的示意图。
现在重新参考图1,媒体编码器用于从多个旋转对称掩码中选择用于指定块的旋转对称掩码,所述多个旋转对称掩码定义了具有如所述块的大小和形状的多维空间中的多个不同旋转对称。
现在参考图4,图4是本发明的一些实施例提供的绘示用于帧406内的块404的某一旋转对称掩码402的选择的示意图。帧406含有房子的图像。块404含有房子的房顶的一部分和天空的另一部分。基于某一压缩偏好测度(例如,率失真)和/或最佳地分离天空与房子的视觉特征边界和/或边缘从多个可用掩码集410中选择掩码402。如依据非选定掩码的视觉检测显而易见,与使用掩码402相比,其它掩码中任一个的应用将导致房顶部分内含有较多天空且天空部分内含有较多房顶。与由标准分区408或由另一掩码压缩整个块404相比,由掩码402划分块404改善了图像压缩。
现在重新参考图2,可从存储于旋转对称掩码库212F中、可选地存储于存储器206上且存储于与处理器204通信的另一计算机可读存储介质上的多个掩码中选择旋转对称掩码。
库212F可存储多个不同旋转对称掩码库。每一库可基于块的大小和/或形状。例如,一个库针对大小为16x16个像素的块的掩码,且另一库针对大小为8x8个像素的块。
可选地,不同旋转对称掩码是具有如所述块的大小和形状的正方形掩码(即,LxL个像素)。替代地,不同旋转对称掩码是具有如所述块的大小和形状的矩形掩码(即,MxN个像素)。
旋转对称掩码用于定义连接矩形或正方形的相对边缘的线以将对应矩形或正方形块***成两个2D镜像互补部分。可基于二维镜像条件定义不同的线。线可为线性或其它形式,例如,阶梯或其它任意形状。线可在从0度至359度中任何角度或其中一部分处倾斜。2D镜像属性提供块的高效压缩。
现在参考图5A-5C,此等图是本发明的一些实施例提供的绘示用于定义旋转对称掩码的像素2D镜像的示意图。
图5A绘示一般2D镜像概念。例如,出于示例性目的展示大小为8个像素×8个像素的块502。区域A和区域B由穿过块502的中间水平地定位的虚拟线504分离。区域A和区域B中具有同一数目的像素是相互的2D镜像。对于MxN矩形,可使像素2D镜像一般化:当像素(m,n)在区域A中时,则像素(M-1-m,N-1-n)在区域B中。
应理解,2D镜像概念可适于不同大小的其它正方形或矩形块。应理解,可针对以不同倾斜(例如,垂直地)绘制的其它虚拟线绘示2D镜像概念,其中由穿过块502的中间垂直地定位的虚拟线定义且分离区域A和区域B。
连接块502的相对边缘且穿越块502的中心点的多条不同线用于形成旋转对称掩码库,如图5B和5C中所绘示。每一个别线定义个别掩码。每一线将块502***成两个互补部分:区域A和区域B。
可选地,由相应矩阵定义不同的旋转对称掩码(例如,每一像素位置由矩阵中的位置表示)。每一矩阵定义区域A和区域B的不同分离(例如,连接二维空间的相对边缘的线)以将二维空间***成两个互补部分。
应注意,可使用其它维度空间,例如,三维、四维或更多维。旋转对称掩码经定义以***相应多维空间,例如,用于***三维空间的平面。
应注意,当线经过样本的位置时,不需要子样本,这是因为可将全样本指派到区域A且从区域B将其移除。可通过添加到区域A且从区域B移除而非(例如)执行针对每一相应区域的完整计算集来减少计算资源(例如,处理器和/或存储器)。
现在参考图6A-6C,此等图是本发明的一些实施例提供的旋转对称掩码库的一些示例。图6A是用于***大小为32x32个像素的块的掩码库的示例。图6B是用于***大小为16x16个像素的块的掩码库的示例。图6C是用于***大小为8x8的块的掩码库的示例。
图6A-6C的旋转对称掩码库是基于倾斜线,所述倾斜线将块***成两个梯形区域,由掩码的暗区域602(例如,蓝色)和掩码的亮区域(604)(例如,红色)表示。库中的每一掩码具有线的稍微不同倾斜。同时,所有掩码定义了块内的倾斜线的所有不同排列。基于倾斜线切割,存在2x(L-1)个不同方式来分割大小为LxL的正方形。
在图6B中,掩码606A和606B具有穿过它们的并行线,表示从32个掩码的集合移除掩码606A和606B以基于上述段落中的方程式形成30个掩码的集合。两个掩码由于镜像对称而为现有掩码的双倍,且因此可从所生成的集合移除。类似地,在图6C中,两个双倍掩码与并行线一起展示,表示从集合移除冗余掩码。
可选地,不同旋转对称掩码(其可存储为一个或多个库)中的每一个以分层布置映射。分层布置可减少用于识别最佳掩码的处理时间和/或资源。
每一库可单独映射,每一相应库的掩码可以分层布置映射。替代地,一个或多个库基于相同分层布置一起映射。每一库内的掩码基于相同共用分层布置映射。
将掩码集划分成单独拆开节段。分层布置可以是根据线相对于二维空间的边缘的角度,例如,分层布置可将图6A-6C的线映射成(例如)0-60度、61-120度和121-180度的群组。当线是对称和/或非对称时,分层布置可持续映射181-240度、241-300度和301-360度。可使分层布置分成层次,例如,将0-60度的群组进一步划分成0-15、16-30、31-45和46-60度的群组。
现在参考图7,图7是本发明的一些实施例提供的图解性地绘示分层布置的示意图。
经划分的圆702图解性地绘示了用于掩码库706的分层布置的示例。库706包含用于大小为16x16的块的倾斜线掩码,如参考图6B所描述。圆702划分成区域704A-H,每一个表示线倾斜45度。由于倾斜线掩码的对称性质而简化分层布置,将扇区704A与704E(展示为扇区708C)、704B与704F(展示为扇区708B)、704C与704G(展示为扇区708A)且704D与704H(展示为扇区708D)分组在一起。每一扇区708A-D包含具有归属于相应角范围内的线倾斜角的8或7个掩码。
可选地,媒体编码器用于以根据所述分层布置定义的次序在不同旋转对称掩码中的至少一些的迭代掩码选择中选择旋转对称掩码。例如,参考图7,在由方程式22.5+45k(其中k=0、1、2、3)定义的中心角和45度的跨度的4个代表性分区708A-D当中执行搜索。可基于通过适合函数(例如,最小率失真测度)计算的最低成本选择节段。可以类似方式选择选定节段内的掩码。当分层布置包含额外层级时,可以迭代方式搜索额外层级直至识别掩码为止。
现在参考图8,图8是本发明的一些实施例提供的绘示旋转对称掩码的生成和/或表示的示意图。可选地,基于含有掩码的块内的不同排列生成掩码库。
出于示例目的,描述用于大小为LxL的块的掩码生成,这可延伸到MxN的情况。可从左上角开始、朝向块的中心前进地生成掩码。可使移动的组合成2D镜像以从块的中心至右下角地获得其余掩码图案。
掩码可由每一移动的二进制表示来表示。每一移动是水平的(即,从左至右)或垂直的(即,从顶部至底部),由1(例如,往右一步)或0(例如,往下一步)表示。二进制掩码表示可照原样传输或进一步压缩。二进制表示提供掩码的高效(即,在处理器和/或存储器资源利用方面)传输,例如,从编码器至解码器。
集合中的每一排列可由总共2xL个移动来定义。
掩码802由二进制图案804表示。掩码806由二进制图案808表示。
现在参考图9,图9是本发明的一些实施例提供的用于选择用于***块的旋转对称掩码和/或掩码库的计算机化方法的清单(例如,流程图)。替代选择和/或除选择以外,可基于块(例如,提前和/或动态地)生成掩码和/或掩码库。媒体编码器202用于执行方法的一个或多个方框。可针对掩码选择执行方法的一个或多个方框。可以任何次序和/或同时执行方框。
本文所描述(按顺序和/或并行、可选地组合地执行)的一个或多个选择方法可作为掩码库内的某一掩码的选择依据。替代地或另外,选择方法可用于首先在多个掩码库当中选择某一掩码库和/或在库当中选择掩码子集。可在选定的库和/或选定的子集当中选择某一掩码。步进式和/或分层选择可通过减小供在每一步选择的集合的大小来减小搜索范围,从而减少用于选择的资源和/或计算。
从库(或掩码子集)而非从较大的候选掩码集中选择掩码减少了用于将所选掩码发送至解码器的经编码比特的数目和/或减少计算复杂度和/或存储器源和/或处理器资源。
可选地,在902处,基于块的大小和/或形状选择库和/或掩码。可从如本文所描述的选定库内选择掩码。
替代地或另外,在904处,媒体编码器用于基于针对(但不限于)以下清单中的任何一个或多个的压缩偏好从多个旋转对称掩码和/或掩码库中选择旋转掩码和/或旋转对称掩码库:块、切片、拼片、帧和序列。
压缩偏好包含在应用某一掩码时定义块压缩性能的一个或多个参数。可按每个掩码和/或每个掩码库定义压缩偏好。
例如,可基于用于掩码和/或库的先前所收集的统计数据估计压缩偏好。替代地,例如,可通过将候选掩码中的一个或多个应用于块来计算压缩偏好。
当压缩参数涉及某些权衡(例如,以降低质量为代价降低大小)时,压缩偏好可帮助掩码选择。
从以下各项中的一个或多个个别地或组合地选择压缩偏好:
*压缩复杂度偏好:与用于执行基于掩码的压缩的处理资源相关的测度,例如,计算、处理器资源和/或存储器资源的数目。测度可取决于执行方法的具体计算机;
*压缩质量偏好(例如,图像失真):基于掩码的压缩是有损操作,导致块的较低视觉质量。较低质量可以或不可以为人眼所辨识。可基于与由基于掩码的压缩所致的信息损失相关的测度(例如,峰值信噪比(PSNR)和/或结构相似性(SSIM))确定压缩质量偏好;
*压缩大小偏好:基于选定掩码的压缩之后的块的大小(例如,比特的数目)。
可选地,媒体编码器用于根据由针对以下各项的偏好组成的群组的部件自动生成旋转对称掩码库:块压缩复杂度、块压缩大小和块压缩质量。所生成的掩码库具有已知压缩偏好准则,这允许库的容易和/或快速选择。所生成的库内的掩码的数目可小于生成所有的可能排列,这是因为仅包含满足压缩准则的掩码。
每一掩码可与以下压缩偏好相关联:(例如)与压缩偏好值存储在一起、匹配和/或标记有压缩偏好值。每一掩码可与用于计算压缩复杂度偏好、压缩质量偏好和/或压缩大小偏好的一个或多个测度相关联。
可选地,不同旋转对称掩码中的每一个与经估计的复杂性测度相关联,所述经估计的复杂性测度指示将相应掩码应用于具有相应掩码的大小和形状的示例性块的计算复杂度。具有较低经估计的复杂性测度的掩码经估计需要较少资源(例如,处理器和/或存储器)。基于经估计结果的掩码选择改善了***效率和/或利用了较少资源。
可选地,不同旋转对称掩码中的每一个与经估计的失真测度相关联,所述经估计的失真测度指示从将相应掩码应用于具有相应掩码的大小和形状的示例性块所产生的压缩失真水平。经估计的失真测度帮助基于有损压缩权衡选择掩码(例如)以选择具有也生成图像的高度压缩的视觉不可区分的压缩失真水平的掩码。具有较低经估计的失真测度掩码经估计在实现目标压缩失真水平时需要较少资源(例如,处理器和/或存储器)。
可选地,媒体编码器用于基于针对块的压缩偏好选择旋转对称掩码。可选地,压缩偏好选自以下各项中的一个或多个:压缩复杂度偏好、压缩质量偏好和压缩大小偏好。
替代地或另外,在906处,掩码选择是基于包含所接收帧的预处理的视频数据。可由媒体编码器、由连接到媒体编码器的另一计算机或由独立于媒体编码器(例如,远程定位的)的另一计算机执行视频数据预处理。预处理的数据可独立于帧和/或与帧一起(例如,标记到帧)传输到媒体编码器。
预处理可基于视频的帧的内容的一个或多个已识别特征,例如,像素图案、边缘、像素强度和像素色彩的统计分布。可基于预处理结果将视频数据预分类。分类可基于用于允许掩码和/或掩码库的选择的已识别特征。经预分类的视频数据改善了***性能,这是因为可更高效地和/或使用基于分类的较少资源来选择掩码。
可选地,媒体编码器用于基于视频数据的分类从多个候选旋转对称掩码和/或掩码库中选择旋转对称掩码和/或掩码库。例如,预处理可识别视频含有具有许多直线的帧,例如,房子、汽车或其它人造结构的图像。视频数据可分类为含有直线。可选择直线(即,不同角)的掩码库。在另一示例中,预处理可识别视频含有具有许多曲线的帧,例如,树、树枝和陆地的图像。视频数据可分类为含有曲线。可选择曲线(即,基于曲线的离散化的阶梯线)的掩码库。
内容的预处理可提供用于基于预测进行编码的信息,如本文所描述。
可选地,媒体编码器用于基于预处理的视频数据自动生成旋转对称掩码和/或掩码库。可根据以下的一个或多个压缩参数从不同旋转对称掩码的掩码存储库中选择不同旋转对称掩码:针对压缩复杂度偏好、压缩大小偏好和/或压缩质量偏好的预处理的结果。可依据视频数据预计算压缩参数。
视频数据的预处理可改善编码器的性能。可提前而非在压缩期间执行资源繁重计算。作为掩码选择的依据的数据可以是准备好的以允许块压缩过程期间的更快掩码选择而非在压缩过程期间执行掩码选择计算。
替代地或另外,在908处,媒体编码器用于基于变换过程的结果和/或应用于两个互补部分中的至少一个的变换过程的结果的估计来选择旋转对称掩码。基于结果和/或经估计结果的掩码选择改善了***效率和/或利用了较少资源。
变换过程的结果可包含变换过程之后的互补部分中的一个或两者的大小(例如,高于某一阈值的变换系数的绝对值的数目和/或总和)。可选择产生变换过程之后的部分的最小大小的掩码。可针对一个或两个部分计算大小,例如两个部分的大小的总和。
对变换过程的结果的估计可包含输入到变换过程的残差数据的绝对差分总和(SAD)。
对变换过程的结果的估计可包含沿残差数据的水平和/或垂直方向的一阶、二阶和/或更高阶导数的绝对值的总和。
估计可基于来自使用相同掩码的先前编码部分的值。
可通过已知变换过程(例如,由压缩标准定义的变换过程)估计变换过程的结果。
替代地或另外,在910处,媒体编码器用于基于应用于旋转对称块对的至少一个部件的变换系数的量化过程和/或熵编码过程的结果和/或结果的估计来选择旋转对称掩码。
可选择产生量化和/或熵编码过程之后的部分的最小大小的掩码,例如,分别为:量化之后的非零系数的数目和/或所生成比特的大小。可针对一个或两个部分计算大小,例如两个部分的大小的总和。
估计可基于来自使用相同掩码的先前量化和/或熵编码部分的值。
替代地或另外,在912处,媒体编码器用于根据块中的像素值图案选择旋转对称掩码。例如,可通过图像分段方法(例如,用于定位边界和/或边缘的方法)从块提取像素值图案,例如,基于强度阈值化、边缘检测或其它适合的方法。像素值图案可包含块内的已识别线的方向和/或线(或曲线)的图案。例如,可基于用于识别与所提取像素图案最类似的图案的掩码的最低成本函数将所提取像素图案匹配于某一对称掩码,例如具有与块的已识别线相同的方向和/或图案的匹配掩码。基于像素值图案的选择生成两个互补部分,其中每一相应部分内的像素相互类似,例如,类似强度和/或色彩。
例如,重新参考图4,基于边缘检测方法提取块404中的房顶与天空之间的边缘。基于成本函数将经检测边缘映射至掩码402。在掩码库当中,掩码402内的图案是最类似于所提取边缘的图案。
替代地或另外,在914处,基于经估计的率测度选择旋转对称掩码,所述经估计的率测度指示当将某一旋转掩码应用于具有正在被处理的块的大小和形状的示例性块时所传输的比特的数目。较低的比特数目表示关于某一掩码的更高效压缩。不同旋转对称掩码中的每一个与经估计的率测度相关联,所述经估计的率测度指示当将掩码应用于具有所述大小和形状的示例性块时所传输的比特的数目。
可关于每一掩码存储率测度,从而允许基于经估计的率测度值快速选择掩码。可针对每一掩码提前计算率测度而非在运行时间期间重新计算,从而减少选择所需要的计算。可基于示例性块计算率测度,所述示例性块可为基于块的先前样本的平均值(或其它测度)的预定义块。可基于正在被处理的块的类似性(例如,基于成本函数)从块库中选择示例性块。
替代地或另外,在916处,媒体编码器用于基于统计分类器选择旋转对称掩码。通过应用不同旋转对称掩码中的至少一些的训练集记录结果的分析来生成统计分类器。例如,(可使其加权的)结果可包含压缩性能指标(例如,大小、复杂度、质量)、处理器资源利用率和存储器利用率。统计分类器可改善基于包含多个不同所要结果的结果的预测对掩码的选择。
可基于由***处理的实际帧的历史记录获得训练集。替代地,可基于对将处理的帧的类型的预测获得训练集,例如,自然频道可训练关于自然视频的分类器。
分类的结果可用作用于进一步训练和更新分类器的输入。
可基于监督式学习和/或非监督式学习方法训练统计分类器。
可将分类器应用于块本身以将块内的像素分类成两个群组中的一个。可基于旋转对称掩码的旋转对称约束划分两个群组。掩码经选择以匹配块内的两个群组的布置。从使用掩码***块生成的两个互补部分中的每一部分包含来自相应群组的像素。
替代地或另外,在918处,媒体编码器用于基于从块的空间和/或时间相邻块提取的内容选择旋转对称掩码。相邻者可为图像内和/或图像间块。空间块可为沿相对于块的一个、数个或所有方向的块的相邻者。时间相邻块可来自先前帧(例如,时间上较早)和/或后续帧(例如,时间上较晚)中的相邻块。块可为直接相邻者或隔开两个或两个以上块(或帧)而定位。含有用作预测器的类似像素图案的相邻块改善了***性能和/或需要较少资源。
可选地,相邻者包含先前所处理的块。先前所处理的块可用作用于选择目前正处理的块的掩码的预测器。可选地,基于与块的空间和/或时间相邻块相关联的信息执行旋转对称掩码的选择。可选地,与空间和/或时间相邻块相关联的信息与预测相关。例如,信息可包含用于减少正在被处理的当前块与相邻者中的一个或多个之间的差分的数据,其中忽略冗余信息。可基于差分数据选择掩码。
可选地,所提取的内容是根据空间和/或时间相邻块中的像素值图案。相邻块的像素图案可充当用于当前块中的掩码的选择的预测器。例如,像素图案包含房顶与天空之间的边界和/或边缘(如参考图4所论述)。房顶与天空之间的边缘连续穿过数个相邻块。
基于预测器的编码改善了***效率和/或利用了较少资源。
现在重新参考图1,在106处,基于旋转对称掩码将块***成两个互补部分。可选地,块***器模块212C含有供媒体编码器202执行如本文所描述的块***的程序指令。
在108处,生成旋转对称块对,每一旋转对称块具有两个互补部分中的一个。可选地,对生成器模块212D含有供媒体编码器202执行如本文所描述的对生成的程序指令。
媒体编码器用于基于两个互补部分中的一个和经添加以形成具有块的大小和/或形状的块的另一部分生成所述旋转对称块对中的每一部件。
可选地,所添加的部分是由其构建旋转对称块的部分的2D镜像。
可选地,所添加的部分是由其构建旋转对称块但添加有负号的部分的2D镜像。在此情况下,旋转对称块含有两个反对称部分。
可选地,所添加的部分包含具有预定义序列的垫补,例如,全部为零。
可选地,基于由其构建旋转对称块的部分的180度旋转生成所添加的部分。
可选地,所添加的部分的维度是基于互补部分的维度,例如,二维。
所生成的旋转对称块对中的每一部件由具有围绕主对角线或基于所选掩码的其它切割线图案成2D镜像的值的矩阵表示。
在110处,计算用于所述旋转对称块对中的一个或两个部件的一个或多个变换系数。可选地,针对旋转对称块中的每一个计算变换系数。可选地,系数计算模块212E含有供媒体编码器202执行如本文所描述的变换系数计算的程序指令。
可基于一个或多个基于标准的计算方法、基于一个或多个编码技术和/或基于专有方法执行变换系数的计算。编码技术的示例包含二维离散余弦变换(DCT),例如,当旋转对称块表示为矩阵时可(例如)基于沿每一维度应用的两个可分离快速DCT计算所述二维离散余弦变换,可沿行和然后列或沿列且然后沿行计算2D-DCT。变换方法的其它示例包含:2D离散正弦变换(DST)和维持镜像条件的其它正交和/或标准正交变换方案,例如:
Tp,q(M-m-1,N-n-1)=(-1)(p+q)Tp,q(m,n),
其中{Tp,q(m,n)}是2D变换依据;(m,n)是像素位置,m=0,1,…,M-1;n=0,1,…,N-1;p和q是空间频率:p=0,1,…,M-1;q=0,1,…,N-1;分别对于对称和反对称情况,p+q是偶数或奇数。
基于标准的编码技术的示例是对于整数变换和/或逆变换的HEVC和/或H.265标准。
可选地,当2D镜像部分添加有负号(即,反对称)时针对两个互补部分中的每一个计算正交变换系数集。用于变换系数的计算的对称和反对称变换函数的集合可以是不同的。当计算变换系数时,使用相应对称或反对称变换函数。
可选地,媒体编码器用于使用一个或多个空间预测器编码变换系数,所述一个或多个空间预测器用于旋转对称掩码的相应部分。可针对预测块、针对预测向量、针对预测误差和/或针对预测残差计算变换。可基于正在被处理的旋转对称块中的部分与对应预测块之间的差分针对时间和/或空间块(即,图像间和/或图像内块)计算预测残差。
可选地,媒体编码器用于使用一个或多个时间预测器编码变换系数,所述一个或多个时间预测器用于旋转对称掩码的相应部分。替代地或另外,媒体编码器用于使用空间预测器编码旋转对称块中的每一个的变换系数,所述空间预测器与相应对应部分相关。替代地或另外,媒体编码器用于使用运动向量编码旋转对称块对中的每一个的变换系数,所述运动向量与相应对应部分相关。运动向量可用于计算时间预测。
应注意,可基于用于所有变换系数的一个方法、用于不同变换系数(或变换系数集)的不同方法和/或多个方法的组合计算变换系数。
可选地,媒体编码器用于使用熵上下文模型编码变换系数,所述熵上下文模型用于旋转对称掩码。可基于选定掩码的知识定义熵上下文模型以(例如)基于霍夫曼(Huffman)编码和/或算术编码来编码具有无损数据压缩的变换系数。由于掩码的熵特性是编码器提前知道的,因此可计算较简单的代码。
熵上下文模型可为专有指定模型和/或基于标准的模型,例如,上下文自适应二进制算术编码(CABAC)方案,例如H.265/HEVC、H.264/MPEG-4或其它标准的CABAC。
在112处,提供经计算的变换系数以用于进一步处理、存储和/或传输。可选地,耦合到媒体编码器202的输出输入接口214用于提供经计算的变换系数216,如本文所描述。
可选地,在114处,针对帧内的其它块重复方框102-112。可针对其它帧重复方框102-112。应注意,可并行处理某一帧的块。
现在参考图10,图10是本发明的一些实施例提供的包含有系数编码器/解码器1002的用于图像压缩和解压缩的示例性***1000的方框图。编码器/解码器1002可包含如参考图2所描述的媒体编码器202的变换部分、编码器202的变体(例如,不具有处理器204,使用另一编码器/解码器的处理器)和/或图1的方法的另一实施方案。***1000内编码器1002的集成改善了图像和/或视频的编码效率,例如,此通过改善压缩性能、通过降低处理器资源要求、传输器/接收器要求和/或存储器要求来改善***1000的整体性能。***1000内编码器1002的集成允许较高图像质量、较高图像分辨率和/或待使用相同资源处理的较大数目个图像。
系数编码器/解码器1002可实施于与数字图像和/或视频相关联的设备和/或***内,例如,数码相机内、电视(例如,高清TV)内、数码摄像机内、电视广播单元内、智能手机(或其它移动设备)内、网页浏览器内、用于观看和/或编辑图像和/或视频的计算机软件内、网络设备内(用于改善网络性能)、实时对话应用(例如,视频聊天、视频会议和智真***)内。编码器/解码器1002的实现形式可通过降低资源要求(例如,存储器)改善设备和/或***的性能,例如,从而允许在存储器上保存更多图片和/或视频、允许保存具有较高质量和/或分辨率的图片和/或视频且减小每一图片和/或视频的大小因此允许图片和/或视频在网络连接上更快地传输。
编码器/解码器1002与图像编码器/解码器1004集成在一起,图像编码器/解码器1004用于通过压缩和/或解压缩来编码和/或解码图像和/或视频。编码器/解码器1004可以是基于标准(例如,HVEC、MPEG-4、JPEG)和/或基于一个或多个专有协议。系数编码器/解码器1002可与图像编码器/解码器1004集成在一起,例如,如集成于编码器/解码器1004内的硬件内的芯片或其它硬件元件、如***到编码器/解码器1004中的芯片或其它硬件元件、如外部软件模块、如集成于编码器/解码器1004的代码内的软件模块和/或其组合。
图像编码器/解码器1004可包含编码和/或解码组件,例如,以下各项中的一个或多个:量化(例如,通过量化模块)、系数扫描(例如,通过系数扫描模块)、熵编码(例如,通过熵编码模块)、图像内和/或图像间预测(例如,通过预测模块)。
***1000包含耦合到图像编码器/解码器1004的数据接口1006,数据接口1006用于接收一个或多个图像,例如,从图像生成器1008、从传输器/接收器1010(例如,网络接口、电视电缆、无线收发器)和/或从其上存储图像的存储器1012。
所接收图像由图像编码器/解码器1004处理,其中针对一个或多个图像帧的一个或多个块生成变换系数,如参考图1和/或图2所描述。
经压缩图像可存储于存储器1012上和/或使用传输器/接收器1010传输。
当解码时,可从存储器1012上的存储检索和/或从传输器/接收器1010接收图像。由图像编码器/解码器1004进行解码,其中由系数编码器/解码器1002解码变换系数,如本文所描述。经解码的图像可显示在显示器1014上、由传输器/接收器1010传输和/或存储于存储器1012上。
现在参考图11,图11是本发明的一些实施例提供的用于从变换系数集重建帧中的块的方法的流程图。图11的方法是基于图1的方法且是对图1的方法的补充。图1的方法绘示了变换块,其是基于图11的方法的逆变换。图11的方法可由媒体编码器的图2变换部分202执行,所述媒体编码器用于充当媒体解码器的逆变换部分。可由相应变换模块和/或用于执行逆变换处理组件中的一个或多个的其它模块执行逆变换。
在1102处,接收表示旋转对称块对中的一个或多个部件的变换系数。应注意,在一些情况下,可接收和/或不接收(例如,可跳过不具有系数的块)不具有任何系数的一个或多个旋转对称块,例如,可接收表示没有变换系数表示旋转对称块的信号。替代地或另外,应注意,在一些情况下,针对整个块仅接收一个系数(例如,DC系数)。
可接收表示相关联的选定旋转对称掩码的信号或假定当故意不接收所述信号时知道所述信号(例如,从预测器的方向推断掩码)。旋转对称掩码定义了具有如帧的经解码块的大小和/或形状的多维空间中的旋转对称。
在1104处,基于所接收变换系数计算旋转对称块对。旋转对称块对中的每一部件包含两个互补部分中的一个。
在1106处,从旋转对称块对中的每一相应部件提取两个互补部分中的每一部分。
在1108处,从两个互补部分重建块。可基于旋转对称掩码引导重建。替代地,由不具有掩码的部分重建块,基于形成正方形或矩形块来引导所述重建,例如,如同拼图散片将两个部分拟合在一起。
可选地,在帧内指定块。
在1112处,提供经解码块以用于进一步处理、存储和/或传输。可从经重建块来重建帧。例如,帧可作为视频的一部分显示在屏幕上。
现在参考图12A-12I,此等图包含执行本文所描述的方法和/或***的实验结果的图像和图解。图解表明相对于使用基于压缩标准的方法的图像压缩而言使用本文所描述的***和/或方法的性能改善。实验是基于使用帧内编码方法的个别帧。
实验执行如下:
获得来自每一YUV视频序列的一个帧。如由不同标准所定义,使用各种帧大小,包含:共用中间格式(CIF)、四等分-CIF(QCIF)和高清晰度(HD)。将每一帧均匀地分割成固定NxN大小的块,包含8x8、16x16和32x32个像素的大小。
生成含有2x(N-1)个不同线定向的旋转对称掩码库以用于掩码选择和应用。
基于H.265标准应用整数变换、按比例缩放和量化方案。
通过将NxN变换系数矩阵细分成4x4变换系数子矩阵来执行系数扫描。在每一4x4矩阵中使用之字型扫描同时跳过零系数来执行系数扫描。
基于H.264CAVLC标准编码变换系数,所述标准也定义了用于预测模式、掩码类型和MB类型的信号(本文定义为选择的经编码块(即,标准NxN块或***成两个互补部分的块,如本文所描述)。
针对NxN个块的块内部预测是基于四个模式:垂直(V)、水平(H)、DC(即,平直)、(D)和平面(P)。旋转对称块对的编码部件是基于单独和/或共用内部预测器。共用内部预测器包含4个内部模式:V、H、D和P。单独内部预测器包含基于4个内部模式的组合的排列的16个内部模式:VV、VH、…和PP。
基于标准NxN编码方法编码某一块还是应用旋转对称掩码且编码旋转对称块对(如本文所描述)的决定是基于定义如下的率失真(RD)成本函数:SSE+λ*比特,其中:SSE指示经重建块与输入块之间的平方误差的总和、λ指示取决于量化参数(Qp)的项且比特指示包含信令比特的块中的经编码比特的数目。编码决定也是基于非零系数的百分比(图解中由PerNZ Coeff表示)做出的。
结果概括如下:
展示对于相同PSNR而言比特率降低最高达15%。对于35个QCIF序列帧(划分成大小为16x16的块),实现对于35-45dB的PSNR范围而言比特率平均降低约7%。对于10个较大大小序列帧(划分成大小为16x16的块),实现平均降低约7.5%。
图12A是作为本文所描述的实验的一部分根据本文所描述的***和/或方法处理图像(即,帧)的示例。图像对应于CIF序列名称akiyo.cif的第十帧。CIF帧具有352x288个像素的大小。基于正方形NxN块将帧均匀地分割成块,其中N=16个像素(由1202绘示示例性块)。使用Qp=30编码帧。含有2(N-1)=30个不同线定向的旋转对称掩码库为用于***块的掩码的选择提供依据。图中绘示具有带线定向的相关联选定掩码的块,例如,具有掩码的块1204。在许多情况下,掩码线沿着块内的边缘。未选择掩码的块编码为单个NxN块,且在图像中绘示为无掩码,例如,块1202。
图12B-I的图解包含基于图12A的处理的实验结果。
图12B是绘示在相同目标质量水平(PSNR表示)下使用标准NxN变换块在图12A的编码图像上当选择掩码以将块***成用于编码的两个互补部分时对于图12A的整个帧而言在比特率方面的改善的图解。图解绘示了随PSNR的函数而变的比特率改善的百分率。应注意,对于图12A的图像而言使用本文所描述的***和/或方法实现10%以上的比特率改善。
图12C是在相同目标质量水平(PSNR表示)下使用标准NxN变换块在图12A的编码图像上当选择掩码以将块***成用于编码的两个互补部分时对于图12A的整个帧而言在每个非零(PerNZ)系数方面的改善的图解。在量化之后非零的变换系数的数目用于估计用于编码变换系数的经编码比特的数目。应注意,非零系数测度不包含信令比特的开销(例如,预测模式、掩码选择模式和MB类型)。图解表明了使用本文所描述的***和/或方法在非零变换系数的百分比方面约15%的改善。
图12D是绘示对于C2处理方案和对于NxN处理方案而言随比特率的函数而变的Y-PSNR的图解。C2处理方案是本文所描述的基于用于变换块的两个互补部分的掩码选择和生成或使用标准方法编码NxN块的方法和/或***。基于掩码的编码或基于NxN块的编码的选择是基于与每一基于掩码的分区和每一NxN块相关联的某一测度。NxN处理方案是基于将每一块编码为单个NxN块的标准方法。图解表明了对于相同PSNR值而言C2方法实现低于NxN方法的比特率,这表示对于相同比特率而言改善了质量。
图12E是绘示基于C2方法和NxN方法对于整个帧而言随非零变换系数的百分率的函数而变的Y-PSNR的图解。图解绘示了对于相同PSNR而言在非零变换系数的较低百分比方面基于C2方法(即,本文所描述的***和/或方法)的经改善压缩性能,这表示对于非零变换系数的相同百分比而言改善了质量。
图12F是绘示对于NxN标准情况而言内部预测模式的应用频率的直方图。在x轴上,1指示无预测、2指示垂直预测、3指示水平预测、4指示DC预测且5指示平面预测。
图12G是绘示对于本文所描述的方法和/或***的C2方案而言内部预测模式的应用频率的直方图,对于16个单独预测器模式:1指示无预测、2指示VV预测、3指示VH预测、4指示VD预测、5指示VP预测、6指示HV预测、…、17指示PP预测。
图12H是绘示30个旋转对称掩码的库的每一掩码的应用频率的直方图。
图12I是绘示随Qp的函数而变的三个变量的比率的图解。
线1214指示对于图像的块而言选择C2方法超过标准NxN方法的块的百分比。例如,在Qp=30下,基于C2方法(基于掩码选择和对两个互补部分的编码)编码帧中的块的约35%,而其余部分(约65%)编码为单个16x16块。
线1212指示基于C2方法编码的帧的比特的百分比。例如,在Qp=30下,基于C2方法编码帧中的比特的约45%。
线1210指示使用C2方法编码的帧的每个非零变换系数的百分比。例如,在Qp=30下,使用C2方法编码帧中的每个非零变换系数的45%以上。
已出于说明目的呈现了本发明的各种实施例的描述,但并非打算为穷举性或限制所揭示的实施例。在不背离所描述实施例的范围和精神的情况下,许多修改和变化对本领域的普通技术人员而言是显而易见的。挑选本文所用的术语最佳地解释优于市场上所发现的技术的实施例、实际应用或技术改善的原理或使得本领域的其它普通技术人员能够理解本文所揭示的实施例。
应预计到,在从本申请案走向成熟的专利的有效期期间,将开发许多相关图像编码器和/或图像解码器且术语“编码器”的范围打算包含推理的所有此类新技术。
如本文所用,术语“约”是指±10%。
术语“包括”、“包含”、“具有”及其同源词意指“包含但不限于”。此术语囊括术语“由…组成”以及“基本上由……组成”。
短语“基本上由…组成”意指组合物或方法可包含额外成分和/或步骤,但前提是,额外成分和/或步骤实质上不变更所申请组合物或方法的基本和新颖特性。
除非上下文另有明确指示,否则如本文所用,单数形式“一(a/an)”和“所述(the)”包含复数含义。例如,术语“复合物”或“至少一个复合物”可包含多个复合物,包含其混合物。
本文使用词语“示例性”来指“充当示例、实例或说明”。描述为“示例性”的任何实施例未必理解为优先于或优越于其它实施例和/或并不排除来自其它实施例的特征的并入。
本文使用词语“可选地”来指“在一些实施例中提供且在其它实施例中不提供”。本发明的任何特定实施例可包含多个“可选”特征,除非此类特征相互冲突。
通篇本申请案中,可以范围格式呈现本发明的各种实施例。应理解,以范围格式进行描述仅为方便和简洁起见且不应视为对本发明范围的不可变的限制。因此,范围的描述应视为已具体地揭示所有可能子范围以及所述范围内的个别数值。例如,例如从1至6的范围的描述应视为已具体地揭示例如从1至3、从1至4、从1至5、从2至4、从2至6、从3至6等子范围以及所述范围内的个别数字,例如,1、2、3、4、5和6。无论范围的广度如何此情况均适用。
每当本文指示数字范围时,均意指包含所指示范围内的任何所列举的数字(分数或整数)。短语“介于第一指示数与第二指示数之间的范围内”和“介于从第一指示数至第二指示数的范围内”在本文中交换地使用且意指包含第一和第二指示数以及此二者之间的所有分数和整数。
应了解,也可在单个实施例中提供本发明的出于清楚起见在单独实施例的上下文中描述的某些特征。相反地,也可单独地或在任何适合子组合中或作为在本发明的任何其它所描述实施例中适合地提供本发明的出于简洁起见在单个实施例的上下文中描述的各种特征。在各种实施例的上下文中所描述的某些特征不应视为所述实施例的必要特征,除非在没有这些元件的情况下实施例无效。
尽管本发明已连同其具体实施例加以描述,但显然,许多替代、修改和变化对本领域的技术人员而言是显而易见的。因此,打算包含归属于所附权利要求书的精神和广泛范围内的所有此类替代、修改和变化。
本说明书中所提及的所有出版物、专利和专利申请案均以引用其全部内容的方式并入到本说明书中,同样,每一个别出版物、专利或专利申请案也具体且个别地指示为以引用方式并入本文中。另外,对本申请案中的任何参考的引用或识别不应视为允许此类参考可用作本发明的背景技术。就使用节段标题而言,不应将节段标题视为必需的限制。

Claims (22)

1.一种用于生成用于编码帧或其中一部分中的块的变换系数集的装置,其特征在于,包括:
媒体编码器,其耦合到用于接收帧或其中一部分的数据接口,所述媒体编码器用于:
从多个旋转对称掩码中选择用于所述块的旋转对称掩码,所述多个旋转对称掩码定义具有如所述块的大小和形状的多维空间中的多个不同旋转对称;
基于所述旋转对称掩码将所述块***成两个互补部分;
生成旋转对称块对,所述旋转对称块对中的每一旋转对称块具有所述两个互补部分中的各一个;
计算用于所述旋转对称块对中的至少一个旋转对称块的至少一个变换系数;
所述媒体编码器还用于基于所述两个互补部分中的各一个对应的互补部分和经添加以形成具有所述块的大小和形状的块的另一部分,生成所述旋转对称块对中的每一对应的旋转对称块。
2.根据上述权利要求1所述的装置,其特征在于,所述媒体编码器用于通过将所述两个互补部分中的各一个和所述两个互补部分中的所述一个的二维(2D)镜像相加形成所述块大小和形状的所述旋转对称块对中的每一旋转对称块。
3.根据上述权利要求1-2中任一项所述的装置,其特征在于,所述多个旋转对称掩码是在旋转对称掩码库中;其中所述媒体编码器用于基于所述块的大小和形状中的至少一个从多个旋转对称掩码库中选择所述旋转对称掩码库。
4.根据权利要求1-2中任一项所述的装置,其特征在于,所述媒体编码器用于基于针对所述块的压缩偏好从多个旋转对称掩码库中选择所述旋转对称掩码库。
5.根据权利要求1-2中任一项所述的装置,其特征在于,所述媒体编码器用于基于包括所述帧或其中一部分的视频数据的分类从多个旋转对称掩码库中选择所述旋转对称掩码库。
6.根据权利要求1-2中任一项所述的装置,其特征在于,所述多维空间是二维空间,其中所述多个不同旋转对称掩码包括多个矩阵,每一矩阵定义不同的线,所述线连接所述二维空间的相对边缘以将所述二维空间***成两个互补部分。
7.根据上述权利要求1-2中任一项所述的装置,其特征在于,所述媒体编码器用于使用至少一个空间预测器编码所述至少一个变换系数,所述至少一个空间预测器用于所述块的所述两个互补部分中的至少一个。
8.根据上述权利要求1-2中任一项所述的装置,其特征在于,所述媒体编码器用于使用至少一个时间预测器编码所述至少一个变换系数,所述至少一个时间预测器用于所述块的所述两个互补部分中的至少一个。
9.根据上述权利要求1-2中任一项所述的装置,其特征在于,所述媒体编码器用于使用与所述两个互补部分中的相应一个相关的空间预测器编码所述旋转对称块对中的每一个的所述变换系数中的至少一个。
10.根据上述权利要求1-2中任一项所述的装置,其特征在于,所述媒体编码器用于使用与所述两个互补部分中的相应一个相关的运动向量编码所述旋转对称块对中的每一个的所述变换系数中的至少一个。
11.根据上述权利要求1-2中任一项所述的装置,其特征在于,所述媒体编码器用于基于变换过程的结果和/或应用于所述两个旋转对称块中的至少一个的变换过程的结果的估计来选择所述旋转对称掩码。
12.根据上述权利要求1-2中任一项所述的装置,其特征在于,所述媒体编码器用于基于应用于所述旋转对称块对的至少一个旋转对称块的所述至少一个变换系数的量化过程和编码过程中的至少一个的结果和/或结果的估计来选择所述旋转对称掩码。
13.根据上述权利要求1-2中任一项所述的装置,其特征在于,所述媒体编码器用于根据所述块中的像素值图案选择所述旋转对称掩码。
14.根据上述权利要求1-2中任一项所述的装置,其特征在于,所述媒体编码器用于基于从所述块的空间相邻块和所述块的时间相邻块中的至少一个提取的内容选择所述旋转对称掩码。
15.根据上述权利要求1-2中任一项所述的装置,其特征在于,所述媒体编码器用于选择旋转对称掩码,所述选择旋转对称掩码是基于与所述块的空间相邻块和所述块的时间相邻块中的至少一个相关联的信息来执行。
16.根据权利要求15所述的装置,其特征在于,与由空间和时间相邻块组成的群组中的至少一个相关联的所述信息与预测相关。
17.根据上述权利要求1-2中任一项所述的装置,其特征在于,所述媒体编码器用于选择旋转对称掩码,所述选择旋转对称掩码是基于针对所述块的压缩偏好来执行。
18.根据上述权利要求1-2中任一项所述的装置,其特征在于,所述旋转对称掩码用于定义线,所述线连接矩形的相对边缘以将矩形块***成两个2D镜像互补部分。
19.根据上述权利要求1-2中任一项所述的装置,其特征在于:
所述数据接口还用于接收表示旋转对称块对的至少一个旋转对称块的至少一个变换系数和表示相关联的选定旋转对称掩码的信号,所述旋转对称掩码定义具有如帧或其中一部分的块的大小和形状的多维空间中的旋转对称;
所述媒体编码器还用于:
基于所述所接收的至少一个变换系数的逆变换来计算所述旋转对称块对,所述旋转对称块对中的每一旋转对称块具有两个互补部分中的一个;
基于所述旋转对称掩码从所述两个互补部分重建块。
20.一种用于生成帧或其中一部分中的块的变换系数集的方法,其特征在于,包括:
从旋转对称掩码库中选择旋转对称掩码,所述旋转对称掩码库包括多个不同旋转对称掩码,所述多个不同旋转对称掩码定义具有如所述块的大小和形状的多维空间中的多个不同旋转对称;
基于所述旋转对称掩码将所述块***成两个互补部分;
生成旋转对称块对,每一旋转对称块具有所述两个互补部分中的各一个;
计算用于所述旋转对称块对的每一旋转对称块的至少一个变换系数,
所述旋转对称块对中的每一对应的旋转对称块是基于所述两个互补部分中的各一个对应的互补部分和经添加以形成具有所述块的大小和形状的块的另一部分而生成的。
21.一种用于解码帧或其中一部分的块的装置,其特征在于,包括:
媒体解码器,其耦合到数据接口,所述数据接口用于接收表示旋转对称块对的至少一个旋转对称块的至少一个变换系数和表示相关联的选定旋转对称掩码的信号,所述旋转对称掩码定义具有如帧或其中一部分的块的大小和形状的多维空间中的旋转对称,所述媒体解码器用于:
基于所述所接收的至少一个变换系数的逆变换来计算所述旋转对称块对,所述旋转对称块对中的每一旋转对称块具有两个互补部分中的各一个;
所述旋转对称块对中的每一对应的旋转对称块是基于所述两个互补部分中的各一个对应的互补部分和经添加以形成具有所述块的大小和/或形状的块的另一部分而生成的;
基于所述旋转对称掩码从所述两个互补部分重建块。
22.一种用于重建帧或其中一部分的块的方法,其特征在于,包括:
接收表示旋转对称块对的至少一个旋转对称块的至少一个变换系数和表示相关联的选定旋转对称掩码的信号,所述旋转对称掩码定义具有如帧或其中一部分的块的大小和形状的多维空间中的旋转对称;
基于所述所接收的至少一个变换系数的逆变换来计算所述旋转对称块对,所述旋转对称块对中的每一旋转对称块具有两个互补部分中的各一个;
所述旋转对称块对中的每一对应的旋转对称块是基于所述两个互补部分中的各一个对应的互补部分和经添加以形成具有所述块的大小和/或形状的块的另一部分而生成的;
基于所述旋转对称掩码从所述两个互补部分重建块;
所述变换系数经解码用以重建所述旋转对称块对。
CN201480083420.9A 2014-11-14 2014-11-14 用于处理数字图像的块的***和方法 Active CN107005702B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2014/074639 WO2016074745A1 (en) 2014-11-14 2014-11-14 Systems and methods for processing a block of a digital image

Publications (2)

Publication Number Publication Date
CN107005702A CN107005702A (zh) 2017-08-01
CN107005702B true CN107005702B (zh) 2020-10-16

Family

ID=51900444

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480083420.9A Active CN107005702B (zh) 2014-11-14 2014-11-14 用于处理数字图像的块的***和方法

Country Status (7)

Country Link
US (2) US10742976B2 (zh)
EP (1) EP3207699B1 (zh)
JP (1) JP6496821B2 (zh)
KR (2) KR102012906B1 (zh)
CN (1) CN107005702B (zh)
BR (1) BR112017010007B1 (zh)
WO (1) WO2016074745A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3207700B1 (en) * 2014-11-14 2020-01-08 Huawei Technologies Co., Ltd. Systems and methods for mask based processing of a block of a digital image
WO2016074745A1 (en) * 2014-11-14 2016-05-19 Huawei Technologies Co., Ltd. Systems and methods for processing a block of a digital image
WO2016074744A1 (en) * 2014-11-14 2016-05-19 Huawei Technologies Co., Ltd. Systems and methods for processing a digital image
CN110268714B (zh) 2017-02-02 2021-12-21 华为技术有限公司 图像处理装置、视频编解码装置及相关方法和存储介质
CN110876083B (zh) * 2018-08-29 2021-09-21 浙江大学 指定参考图像的方法及装置及处理参考图像请求的方法及装置
CN113344092B (zh) * 2021-06-18 2022-10-11 中科迈航信息技术有限公司 Ai的图像识别方法及终端装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101771868A (zh) * 2008-12-31 2010-07-07 华为技术有限公司 对图像的量化处理方法及装置
CN102215396A (zh) * 2010-04-09 2011-10-12 华为技术有限公司 一种视频编解码方法和***
CN102640498A (zh) * 2009-12-04 2012-08-15 汤姆森特许公司 纹理图案自适应分区块变换
CN102763415A (zh) * 2010-02-18 2012-10-31 高通股份有限公司 起因于几何运动划分的平滑重叠区域

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0530022B1 (en) * 1991-08-30 1998-05-06 Fuji Xerox Co., Ltd. Apparatus for encoding am image signal
JPH0783478B2 (ja) * 1992-01-30 1995-09-06 松下電器産業株式会社 画像符号化装置
JP3196906B2 (ja) * 1992-08-21 2001-08-06 富士ゼロックス株式会社 画像信号の符号化装置
JPH0787493A (ja) 1993-09-14 1995-03-31 Oki Electric Ind Co Ltd フレーム内挿方法
EP1274254B1 (en) * 1995-08-29 2011-07-06 Sharp Kabushiki Kaisha Video coding device and video decoding device with a motion compensated interframe prediction
KR100417507B1 (ko) 1996-01-29 2004-02-05 마쯔시다덴기산교 가부시키가이샤 화소치 보전(補塡) 방법, 화상 부호화 장치 및 화상복호화 장치
JP4092734B2 (ja) 1997-11-05 2008-05-28 ソニー株式会社 ディジタル信号変換方法およびディジタル信号変換装置
JP2008109700A (ja) 1997-11-05 2008-05-08 Sony Corp ディジタル信号変換方法およびディジタル信号変換装置
US8050329B2 (en) * 1998-06-26 2011-11-01 Mediatek Inc. Method and apparatus for generic scalable shape coding
JP2002325170A (ja) * 2001-04-24 2002-11-08 Canon Inc 画像処理装置及びその方法並びにプログラムコード、記憶媒体
JP4147789B2 (ja) 2002-03-07 2008-09-10 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラムおよび記録媒体
JP4025570B2 (ja) * 2002-04-03 2007-12-19 日本電信電話株式会社 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、動画像復号プログラム、動画像符号化プログラムを記録した記録媒体、動画像復号プログラムを記録した記録媒体
JP2004297416A (ja) 2003-03-26 2004-10-21 Monolith Co Ltd 対応点情報圧縮方法および装置
JP2006094053A (ja) * 2004-09-22 2006-04-06 Fuji Photo Film Co Ltd フォトムービー作成方法および装置、並びにフォトムービー作成プログラム
US7756348B2 (en) 2006-10-30 2010-07-13 Hewlett-Packard Development Company, L.P. Method for decomposing a video sequence frame
JP2012089905A (ja) 2009-01-13 2012-05-10 Hitachi Ltd 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法
KR20110045949A (ko) * 2009-10-28 2011-05-04 삼성전자주식회사 회전 변환을 이용한 영상 부호화, 복호화 방법 및 장치
EP2509319A4 (en) * 2009-12-01 2013-07-10 Humax Co Ltd METHOD AND APPARATUS FOR ENCODING / DECODING HIGH RESOLUTION IMAGES
WO2011088593A1 (en) * 2010-01-25 2011-07-28 Thomson Licensing Method and device for encoding of an image block and method and device for decoding of an image block
JP2013524730A (ja) 2010-04-12 2013-06-17 クゥアルコム・インコーポレイテッド 幾何学的動き区分のための固定小数点実装形態
US9020043B2 (en) * 2010-05-10 2015-04-28 Google Inc. Pathway indexing in flexible partitioning
JP5590390B2 (ja) 2010-07-15 2014-09-17 ソニー株式会社 画像処理装置および方法
CN102957907B (zh) * 2011-08-31 2016-06-29 华为技术有限公司 一种变换块位置信息的获取方法和模块
ES2664746T3 (es) 2011-11-11 2018-04-23 Ge Video Compression, Llc Predicción eficaz usando codificación de particiones
US9179162B2 (en) * 2011-12-02 2015-11-03 Futurewei Technologies, Inc. Image transform zero coefficient selection and zero-skip transmission for arbitrary shape transform coding
ES2729781T3 (es) 2012-06-01 2019-11-06 Velos Media Int Ltd Dispositivo de decodificación aritmética, aparato de decodificación de imágenes, dispositivo de codificación aritmética y aparato de codificación de imágenes
EP2920969A4 (en) * 2012-11-13 2016-07-13 Intel Corp VIDEO CODEC ARCHITECTURE FOR VIDEOS OF THE NEXT GENERATION
US20140307780A1 (en) 2013-04-11 2014-10-16 Mitsubishi Electric Research Laboratories, Inc. Method for Video Coding Using Blocks Partitioned According to Edge Orientations
EP3022908B1 (en) * 2013-07-19 2017-11-01 Huawei Technologies Co., Ltd. Method and apparatus for encoding and decoding a texture block using depth based block partitioning
WO2015142075A1 (ko) * 2014-03-19 2015-09-24 삼성전자 주식회사 3d 영상에 관련된 블록의 파티션 경계에서 필터링 수행 방법
KR102445242B1 (ko) * 2014-03-19 2022-09-21 삼성전자주식회사 경계 필터링을 수반한 비디오 부호화 및 비디오 복호화 방법 및 장치
US9584814B2 (en) * 2014-05-15 2017-02-28 Intel Corporation Content adaptive background foreground segmentation for video coding
EP3207700B1 (en) * 2014-11-14 2020-01-08 Huawei Technologies Co., Ltd. Systems and methods for mask based processing of a block of a digital image
WO2016074744A1 (en) * 2014-11-14 2016-05-19 Huawei Technologies Co., Ltd. Systems and methods for processing a digital image
WO2016074745A1 (en) * 2014-11-14 2016-05-19 Huawei Technologies Co., Ltd. Systems and methods for processing a block of a digital image
KR101618795B1 (ko) 2014-11-28 2016-05-12 주식회사 폴라리언트 이동체의 3차원 자세 및 위치 인식 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101771868A (zh) * 2008-12-31 2010-07-07 华为技术有限公司 对图像的量化处理方法及装置
CN102640498A (zh) * 2009-12-04 2012-08-15 汤姆森特许公司 纹理图案自适应分区块变换
CN102763415A (zh) * 2010-02-18 2012-10-31 高通股份有限公司 起因于几何运动划分的平滑重叠区域
CN102215396A (zh) * 2010-04-09 2011-10-12 华为技术有限公司 一种视频编解码方法和***

Also Published As

Publication number Publication date
US20170251210A1 (en) 2017-08-31
JP6496821B2 (ja) 2019-04-10
CN107005702A (zh) 2017-08-01
US11153564B2 (en) 2021-10-19
US20200162732A1 (en) 2020-05-21
EP3207699A1 (en) 2017-08-23
EP3207699B1 (en) 2021-06-09
KR20190098276A (ko) 2019-08-21
KR102012906B1 (ko) 2019-08-21
BR112017010007A2 (pt) 2018-01-02
US10742976B2 (en) 2020-08-11
WO2016074745A1 (en) 2016-05-19
KR20170084213A (ko) 2017-07-19
KR102138650B1 (ko) 2020-07-28
BR112017010007B1 (pt) 2023-04-11
JP2018501696A (ja) 2018-01-18

Similar Documents

Publication Publication Date Title
US10523951B2 (en) Systems and methods for processing a digital image
US11638006B2 (en) Method and device for encoding or decoding image
US10602186B2 (en) Systems and methods for mask based processing of a block of a digital image
US10616603B2 (en) Methods and apparatuses for encoding and decoding digital images through superpixels
CN107005702B (zh) 用于处理数字图像的块的***和方法
US20200288133A1 (en) Video coding method and apparatus
US20160269725A1 (en) Adaptive Prediction Of Coefficients Of A Video Block
CN104704826A (zh) 两步量化和编码方法和装置
Astola et al. Coding of light fields using disparity-based sparse prediction
EP3535973A1 (en) Image and video processing apparatuses and methods
JP2019134457A (ja) デジタル画像のブロックを処理するためのシステムおよび方法
BR112017010163B1 (pt) Aparelho para a geração de um conjunto de coeficientes de transformada de um bloco em um quadro ou uma porção do mesmo, método para a geração de um conjunto de coeficientes de um bloco em um quadro ou uma porção do mesmo e meio de armazenamento legível por computador

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant