CN114450949A - 图像编码方法、图像编码装置、图像解码方法和图像解码装置 - Google Patents

图像编码方法、图像编码装置、图像解码方法和图像解码装置 Download PDF

Info

Publication number
CN114450949A
CN114450949A CN202080068186.8A CN202080068186A CN114450949A CN 114450949 A CN114450949 A CN 114450949A CN 202080068186 A CN202080068186 A CN 202080068186A CN 114450949 A CN114450949 A CN 114450949A
Authority
CN
China
Prior art keywords
division
block
image
unit
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080068186.8A
Other languages
English (en)
Inventor
村上智一
清水拓也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maxell Ltd
Original Assignee
Maxell Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Maxell Ltd filed Critical Maxell Ltd
Publication of CN114450949A publication Critical patent/CN114450949A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/107Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供一种更合适的图像编码技术、图像解码技术。为此,在图像编码中的块划分方法中,在对于相同块划分状态存在多种描述方法的情况下,使用划分的种类、划分的方向、划分的深度作为划分模式来选择块的划分方法,由此自适应地进行高效率的动态图像的压缩。

Description

图像编码方法、图像编码装置、图像解码方法和图像解码装置
技术领域
本发明涉及对图像进行编码的图像编码方法、图像编码装置,和对编码图像数据进行解码的图像解码方法和图像解码装置。
背景技术
作为将图像、声音信息数字数据化以记录、传输的方法,至今已制定了H.264/AVC(Advanced Video Coding)和H.265/HEVC(High Efficiency Video Coding)标准等。而ISO/IEC MPEG和ITU-T VCEG正在研究可实现进一步超过上述标准的压缩率的称为VVC(Versatile Video Coding,多功能视频编码)的下一代标准(参考非专利文献1)。
作为VVC的候选技术之一,人们提出了将多种树结构组合得到的块划分方式。该方式中,用四叉树(Quadtree)、三叉树(Ternary tree)、二叉树(Binary tree)的树结构来管理块划分方法。通过这样组合多种树结构,能够将块划分为符合图像特征的尺寸、形状,能够提高编码效率。
现有技术文献
非专利文献
非专利文献1:Xiaozhong Xu and Shan Liu,“Recent advances in videocoding beyond the HEVC standard”SIP(2019),vol.8
发明内容
发明要解决的技术问题
但是,在目前提出的方法中,因为对同一块划分方法能够用多种树结构表达,所以存在为了确定块划分方法导致码量(code amount)增大的问题。另外,还有一个问题是并未提供一种手段用于唯一地确定存在多种表达的块划分方法。
本发明是鉴于上述问题作出的,本发明的目的在于提供一种更合适的图像编码解码技术。
解决问题的技术手段
为实现上述目的,本发明的一个实施方式例如可以构成为,在图像编码中的块划分方法中,在对于相同块划分状态存在多种描述方法的情况下,使用划分的种类、划分的方向、划分的深度作为划分模式来选择块的划分方法,由此自适应地进行高效率的动态图像的压缩。
发明效果
采用本发明,能够提供一种更合适的图像编码技术、图像解码技术。
附图说明
图1是本发明实施例1的图像编码装置之一例的说明图。
图2是本发明实施例2的图像解码装置之一例的说明图。
图3是本发明实施例1的图像编码方法之一例的说明图。
图4是本发明实施例2的图像解码方法之一例的说明图。
图5是本发明实施例3的数据记录介质之一例的说明图。
图6是本发明实施例1的图像编码装置之一例的详细说明图。
图7是本发明实施例2的图像解码装置之一例的详细说明图。
图8是本发明实施例1的图像编码方法之一例的详细说明图。
图9是本发明实施例2的图像解码方法之一例的详细说明图。
图10是本发明一个实施例的块划分方法的说明图。
具体实施方式
下面参照附图对本发明的实施例进行说明。
各附图中标注了相同标记的构成要素具有相同功能。
本说明书各处和各附图中的“0vec”或“0矢量”表示各成分的值为0的矢量,或者变换、设定为这样的矢量。
另外,本说明书各处和各附图中的“不可参照”表示因块位置位于画面范围外等导致不能取得块的信息。“可参照”表示能够取得块的信息,块的信息包括像素值、矢量、参照帧编号和/或预测模式等信息。
另外,本说明书各处和各附图中的“残差成分”这一表述也包含与“预测误差”同样的含义。
另外,本说明书各处和各附图中的“区域”这一表述也包含与“图像”同样的含义。
另外,本说明书各处和各附图中的“与标志一同传输”这一表这也包含“将标志包含在内地传输”这样的含义。
(实施例1)
首先,对本发明实施例1参照附图进行说明。
图1表示本发明实施例1的图像编码装置的框图之一例。
图像编码装置例如包括图像输入部101、块划分部102、模式管理部103、帧内预测部104、帧间预测部105、块处理部106、变换/量化部107、逆量化/逆变换部108、图像合成/滤波部109、解码图像管理部110、熵编码部111、数据输出部112。
下面详细说明图像编码装置的各构成要素的动作。
其中,图像编码装置的各构成要素的动作,例如可以如下所述视作各构成要素自主的动作。另外,例如也可以通过控制部和存储在存储部中的软件协作来实现动作。
首先,图像输入部101取得并输入作为编码对象的原图像。接着,块划分部102将输入的原图像划分为被称作CTU(Coding Tree Unit,编码树单元)的一定尺寸的块,进而对输入的图像进行分析来将各CTU按照其特征划分为更详细的块。这些作为编码单位的块被称作CU(Coding Unit,编码单元)。CTU到CU的划分被基于四叉树(Quadtree)、三叉树(Ternarytree)、二叉树(Binary tree)等树结构管理。也可以将CU的内部进一步划分为用于预测的子块、和用于频率变换、量化等的TU(Transform Unit,变换单元)。关于本实施例相对于现有的块划分方法新追加的块划分方式,将在后文中叙述。
模式管理部103管理用于决定各CU的编码方法的模式(mode)。使用多种帧内预测方式、帧间预测方式进行编码处理,决定对该CU进行编码效率最高的模式。效率最高的模式指的是相对于一定的码量能够使编码误差最小的模式。在存在多个最优模式的情况,可按照状况相应地适当选择。关于哪个模式效率高,能够将帧内预测部104和帧间预测部105的多个模式的预测处理、以及利用其他处理部得到的对残差成分和各种标志的码量的计测、以及解码时的再现图像误差预测组合来进行判断。一般而言,模式按CU单位决定,但也可以将CU划分为子块,对各子块分别决定模式。
关于编码对象块(CU或子块)的预测方法,一般而言有帧内(intra)预测和帧间(inter)预测,它们分别由帧内预测部104和帧间预测部105进行。帧内预测使用已在编码对象块之前编码的同一帧的信息,帧间预测使用已在编码对象帧之前编码的、从再现时间来看位于之前或之后的帧的信息。此处,关于帧内预测部104和帧间预测部105,为便于说明而仅记载了1个,但也可以对每个编码模式、每个帧分别具备。
帧内预测部104进行画面内预测处理。其中,在“预测处理”中,进行预测图像的生成。画面内预测处理使用已在编码对象块之前编码的同一帧的信息,对编码对象块的像素进行预测。帧内预测包括方向预测、矩阵预测、跨分量预测、多行预测、画面内块复制等。在帧内预测模式的传输中,根据已编码块的帧内预测模式进行可能性最高的模式的推定等。
帧间预测部105进行画面间预测处理。其中,在“预测处理”中,进行预测图像的生成。画面间预测处理使用已在编码对象帧之前编码的、从再现时间看来位于之前或之后的帧的信息,对编码对象块的像素进行预测。帧间预测包括运动补偿预测、合并模式(mergemode)预测、基于仿射变换的预测、基于三角形块划分的预测、帧内/帧间组合预测、光流预测、基于解码器方运动预测的预测等。
块处理部106对各编码对象块求取预测图像与从块划分部102获得的编码对象块的原图像之间的差异来计算并输出残差成分,其中,预测图像是通过帧内预测部104的帧内预测而生成的预测图像、或通过帧间预测部105的帧间预测而生成的预测图像。
变换/量化部107对从块处理部106输入的残差成分进行频率变换和量化处理,输出系数组。频率变换可以使用DCT(Discrete Cosine Transform,离散余弦变换)或DST(Discrete Sine Transform,离散正弦转换)、或将它们变换为能够用整数运算处理的形式等。系数组被发送至为了生成预测中使用的解码图像而还原图像的过程、和用于输出数据的过程这双方。变换和量化也可以根据模式的指定而跳过。
逆量化/逆变换部108为了生成预测中使用的解码图像,对从变换/量化部107取得的系数组进行逆量化和逆变换,输出还原的残差成分。逆量化、逆变换分别进行与变换/量化部的量化、变换对应的相反方向的处理即可。逆量化和逆变换也可以根据模式的指定而跳过。
图像合成/滤波部109将通过帧内预测部104的帧内预测而生成的预测图像、或通过帧间预测部105的帧间预测而生成的预测图像,与由逆量化/逆变换部108还原的残差成分合成,并进而进行环路滤波等处理而生成解码图像。
解码图像管理部110保持解码图像,并管理为了进行帧内预测和帧间预测而参照的图像、模式的信息等。
熵编码部111对模式的信息和系数组的信息进行熵编码处理,将其输出为比特串。作为熵编码方式可使用CABAC(Context Adaptive Binary Arithmetic Code,上下文自适应二进制算术码)等方式。也可以组合使用可变长度编码、固定长度编码。至于上下文的判断,可参照规定的表。
数据输出部112对记录介质和传输通路输出编码后的数据。
接着,使用图3对本发明实施例1的图像编码装置中的编码方法的流程进行说明。
首先,在步骤301中输入作为编码对象的原图像,分析图像的内容来决定划分方法并进行块划分。图像内容的分析可以针对整个图像进行,也可以组合多帧进行,也可以按将图像划分得到的slice或tile、brick、CTU等块单位进行。块的划分一般是划分为一定尺寸的CTU之后,用树结构划分为CU。关于本实施例相对于现有的块划分方法新追加的块划分方式,将在后文中叙述。
接着,在步骤302中,对于步骤301中取得的原图像的编码对象块进行帧内预测。帧内预测模式如上所述。按各帧内预测模式对于多个模式进行预测。
接着,在步骤303中,对于步骤301中取得的原图像的编码对象块进行帧间预测。帧间预测模式如上所述。按各帧间预测模式对于多个模式进行预测。
接着,在步骤304中,与各模式对应地,针对实施了帧内预测、帧间预测的编码对象块的像素分离出残差成分,进行残差成分的变换处理和量化处理、熵编码处理,计算编码数据。
接着,在步骤305中,与各模式对应地进行逆量化、逆变换处理,将残差成分与预测图像合成,由此生成解码图像。将解码图像与帧内预测和帧间预测中的预测数据和各种编码数据一同管理,用于其他编码对象块的预测。
接着,在步骤306中,对各模式进行比较,决定能够最高效率地进行编码的模式。模式中存在帧内预测模式、帧间预测模式等,将其统称为编码模式。模式选择方法如上所述。
在步骤307中,按照决定的编码模式输出编码对象块的编码数据。对整个图像反复进行上述各编码对象块的编码过程,进行图像的编码。
使用图6说明本实施例的块划分方法。其用于详细地说明块划分部102的动作的一部分。
块划分方法决定部601分析图像的特征,为了能够进行高效率的编码而调整块的尺寸、位置,决定块划分方法。
块划分重复判断部602判断所决定的块划分方法是否能够用多种方法表达,在能够有多种表达方法的情况下,仅使1种表达有效并禁止其他表达,或者排定处理的优先顺序来选择划分方法。关于判断重复的方法以及排定优先顺序的方法,将在后文中叙述。
使用图8说明本实施例的块划分方法。其用于详细地说明进行块划分的步骤301的一部分。
在步骤801中,分析图像的特征并为了能够进行高效率的编码而调整块的尺寸、位置,决定块划分方法。
在步骤802中,判断所决定的块划分方法是否能够用多种方法表达,在能够有多种表达方法的情况下,仅使1种表达有效并禁止其他表达,或者排定处理的优先顺序来选择划分方法。关于判断重复的方法,以及排定优先顺序的方法,将在后文中叙述。
使用图10说明能够用多种方法表达的块划分方法。作为块的划分方法,假定使用四叉树(Quadtree)划分的QT划分、使用三叉树(Ternary tree)划分的TT划分、使用二叉树(Binary tree)划分的BT划分。TT划分和BT划分中存在水平方向的划分(horizontal)和垂直方向的划分(vertical)。
例如,在使用TT于垂直方向划分之后、对中央的块使用BT于垂直方向上划分的情况下,和使用BT于垂直方向划分之后、对各块再次使用BT于垂直方向上划分的情况下,二者发生重复。
除此以外,如1001所示,进行了QT划分的情况,和使用BT于垂直方向划分之后、对各块使用BT于水平方向划分的情况,或者使用BT于水平方向划分之后、对各块使用BT于垂直方向划分的情况,块的划分结果相同,作为表达方法是重复的。
另外,1002和1003所示的模式也发生重复。1002中,使用TT于垂直方向划分,对各块使用BT于水平方向划分,进而对于分为上下的各块组的中央的块使用BT于垂直方向划分。1003中,使用BT于垂直方向划分,对各块使用BT再次于垂直方向划分,进而对各块使用BT于水平方向划分。
能够用多种方法表达的块划分方法并不仅有上述例子。
在像这样发生重复的情况下,通过仅允许1种表达方法并禁止其他表达方法,能够排除重复。作为表达方法的禁止方法存在这样的方法,即,在进行块划分时检查该划分方法是否可执行。
例如,如果禁止在使用TT于垂直方向划分之后、对中央的块使用BT于垂直方向划分的情况,则能够避免与使用BT于垂直方向划分之后、对各块再次使用BT于垂直方向划分的情况发生重复。该情况下,可以在关注块的上1级的划分方法是TT的情况下,在进行中央块(处理顺序第二)的划分时,禁止与上1级的划分方向相同方向的划分。
但是,在像这样仅检查上1级的划分、或者仅观察关注块的上级节点的方法中,不能排除其他重复。因此,本实施例中,作为检查是否可以进行块的划分的方法,使用多个树层级的划分模式的信息。
划分模式的信息是划分的种类(QT、TT、BT)、划分的方向(水平、垂直)、表示各划分进行了多少次的划分的深度(也包括将TT和BT一同计为多叉树(MT)的情况)。多个树层级的信息是当前关注的块的划分模式、该块的树上级(父节点)的划分模式、与该块邻接的块的划分模式、和与该块位于树的同一层级的块的划分模式。其中也包括关注块的位置的信息。
例如,在使用BT于垂直方向划分的情况下,如果禁止之后使用BT于水平方向划分,则可以避免1001这样的重复。该情况下,在关注块的上1级的划分模式是BT的情况下,禁止对双方的块在与上1级的划分的方向相反的方向上划分。该情况下,要检查的划分模式是父节点、邻接的块的节点、或同一层级的块的节点。
作为其他排除重复的方法,存在对划分的种类和划分的方向排定优先顺序并禁止相反顺序的处理的方法。
例如,按QT、TT、BT的顺序排定优先顺序,如果在QT之后进行了TT或BT则不能再次进行QT。或者,如果在TT之后进行了BT则不能再次进行TT。例如,按水平方向、垂直方向的顺序排定优先顺序,若在水平划分之后进行了垂直划分,则不能再次进行水平划分。但是也可以附加条件,例如在变更了划分的种类的情况下可以进行,只要不是对全部块进行划分即可等。当然,也可以将它们组合起来排定优先顺序。
另外,作为其他排除重复的方法,也存在这样的方法,即,对于使用BT或TT于某一方向划分后的全部块,禁止全部在另一方向上划分。还存在将其与上述优先顺序组合,在首次进行BT或TT的情况下(MT的划分深度的第1级)可以划分,但其他情况下禁止对同一层级的块全部用同一方法划分的方法。
例如,1002、1003的情况与QT划分后对全部块使用BT于垂直方向划分的情况相同,但如果附加上述条件,则1002和1003的情况被排除,所以能够唯一地决定划分方法。
按照以上说明,进行本实施例中的编码处理。
根据以上说明的实施例1的图像编码装置和图像编码方法,能够在实现多种多样的划分方法的同时唯一地决定块的划分方法,能够实现一种压缩效率比现有方式更高的图像编码装置和图像编码方法。
实施例1的图像编码装置和图像编码方法能够应用于使用它们的记录装置、移动电话、数字相机等。
根据以上说明的本发明实施例1的图像编码装置和图像编码方法,能够减少编码数据的码量,防止对该编码数据解码的情况下发生解码图像的画质劣化。即,能够实现高压缩率和更好的画质。
由此,采用本发明实施例1的图像编码装置和图像编码方法,能够提供一种更合适的图像编码技术。
(实施例2)
接着,图2表示本发明实施例2的图像解码装置的框图之一例。
图像解码装置例如包括流分析部201、块管理部202、模式判断部203、帧内预测部204、帧间预测部205、系数分析部206、逆量化/逆变换部207、图像合成/滤波部208、解码图像管理部209和图像输出部210。
以下详细说明图像解码装置的各构成要素的动作。
其中,图像解码装置的各构成要素的动作,例如可以如下所述视作各构成要素自主的动作。另外,例如也可以通过控制部和存储在存储部中的软件协作来实现动作。
首先,流分析部201分析输入的编码流。此处,流分析部201也进行从数据包中提取数据的处理和各种头、标志的信息取得处理。
另外,此时输入到流分析部201的编码流,例如是通过实施例1的图像编码装置和图像编码方法生成的编码流。其生成方法如实施例1所述故省略说明。也可以是从实施例3所示的数据记录介质读取的编码流。其记录方法在后文中叙述。
接着,块管理部202按照由流分析部201分析得到的块划分信息来对块的处理进行管理。一般而言编码后的图像被划分为块,各编码对象块用树结构等管理。块的处理顺序大多按光栅扫描顺序进行,但也可以按锯齿扫描等任意决定的顺序处理。关于本实施例相对于现有的块划分方法新追加的块划分方式的细节,将在后文中叙述。
接着,模式判断部203对各编码对象块判断通过标志等指定的编码模式。在以下解码处理中,进行与该判断结果的编码模式对应的处理。以下说明关于各编码模式的处理。
首先,在编码模式是帧内编码的情况下,由帧内预测部204进行帧内预测和预测图像的合成。帧内预测模式如实施例1所述。
在编码模式是基于帧间预测的编码的情况下,由帧间预测部205进行帧间预测和预测图像的合成。帧间预测模式如实施例1所述。
另一方面,系数分析部206分析输入编码流中包含的各编码对象块的编码数据,进行经熵编码后的数据的解码,输出包括残差成分的系数组的编码数据。此时,进行与模式判断部203的判别结果的编码模式对应的处理。
逆量化/逆变换部207对包括残差成分的系数组的编码数据进行逆量化处理和逆变换,还原得到残差成分。逆量化、逆变换的方法如上所述。逆量化和逆变换也可以根据模式的指定而跳过。
如上所述还原得到的残差成分,被图像合成/滤波部208与从帧内预测部204和帧间预测部205输出的预测图像合成,进而进行环路滤波等处理,作为解码图像输出。
解码图像管理部209保持解码图像,并管理为了进行帧内预测和帧间预测而参照的图像、模式的信息等。
最后解码得到的图像被图像输出部210输出,由此实现图像的解码。
接着,使用图4对本发明实施例2的图像解码装置中的图像解码方法的流程进行说明。
首先,在步骤401中取得作为解码对象的编码流,进行数据的分析。并且,按照分析得到的块划分信息对块的处理进行管理。本实施例相对于现有的块划分方法新追加的块划分方式如实施例1所述。
接着,在步骤402中,使用步骤401中分析得到的编码模式的信息,判断该编码数据中所含的每1个编码单位(块单位或像素单位等)的编码模式。此处,在采用帧内编码模式的情况下前进至步骤403,在采用帧间编码模式的情况下前进至步骤404。
在步骤403中,按照由编码模式指定的方法通过帧内预测生成预测图像。帧内预测模式如实施例1所述。
在步骤404中,按照由编码模式指定的方法通过帧间预测生成预测图像。帧间预测模式如实施例1所述。
在步骤405中,按照由编码模式指定的方法分析各编码对象块的编码数据,进行经熵编码后的数据的解码,输出包括残差成分的系数组的编码数据。进而,对包括残差成分的系数组的编码数据进行逆量化处理和逆变换,还原得到残差成分。逆量化、逆变换的方法如上所述。逆量化和逆变换也可以根据模式的指定而跳过。
在步骤406中,对于各编码对象块,将通过帧内预测或帧间预测等生成的预测图像与还原得到的残差成分合成,进而进行环路滤波等处理来生成解码图像。对整个图像进行上述按编码对象块单位进行的解码的过程,由此生成解码图像。
在步骤407中输出、显示生成的解码图像。
使用图7说明本实施例的块划分方法。其用于详细地说明块管理部202的动作的一部分。
块划分重复判断部701判断当前的块划分状况是否能够用多种方法表达,在能够有多种表达方法的情况下,仅使1种表达有效并禁止其他表达,或者排定处理的优先顺序来选择划分方法。关于判断重复的方法以及排定优先顺序的方法,其细节如实施例1中使用图10所说明。
块划分处理部702按照上述块划分重复判断部701的判断,进行块的划分处理。
使用图9说明本实施例的块划分方法。其用于详细地说明进行块划分的步骤401的一部分。
在步骤901中,判断当前的块划分状况是否能够用多种方法表达,在能够有多种表达方法的情况下,仅使1种表达有效并禁止其他表达,或者排定处理的优先顺序来选择划分方法。关于判断重复的方法以及排定优先顺序的方法,其细节如实施例1中使用图10所说明。
在步骤902中,按照所决定的块划分方法进行块的划分处理。
另外,在本实施例中,除举例示出的以外,其作为解码对象的解码对象流,也可以是将编码模式中使用的块的尺寸等作为参数而细分化地规定了各编码模式的编码流。
按照以上说明,进行本实施例中的解码处理。
根据以上说明的实施例2的图像解码装置和图像解码方法,能够在实现多种多样的划分方法的同时唯一地决定块的划分方法,能够实现一种压缩效率比现有方式更高的图像解码装置和图像解码方法。
实施例2的图像解码装置和图像解码方法能够应用于使用它们的再现装置、移动电话、数字相机等。
根据以上说明的本发明实施例2的图像解码装置和图像解码方法,能够对码量少的编码数据更高画质地进行解码。
由此,采用本发明实施例2的图像解码装置和图像解码方法,能够提供一种更合适的图像解码技术。
(实施例3)
接着,图5表示本发明实施例3的数据记录介质之一例。
本发明的本实施例的编码流,是用实施例1的图像编码装置或图像编码方法生成的编码流。该生成方法如实施例1所示,所以省略说明。
此处,本实施例的编码流例如在数据记录介质501中被记录为数据串502。数据串502例如被记录为符合规定语法的编码流。
以首先,将编码流导出为比特串,该比特串是按照被称作NAL(NetworkAbstraction Layer)单元503的一定大小的单位划分的。NAL单元的比特串按照可变长度编码等一定规则读取,变换为RBSP(Raw Byte Sequence Payload,原始字节序列负荷)。RBSP的数据由序列参数集504、图像参数集505、解码参数集、视频参数集等信息和slice数据506构成。
在各slice的内部,例如包括关于各块的信息507。在关于块的信息的内部,例如存在按每个块记录各自的编码模式的区域,令其为编码模式标志508。
根据以上说明的实施例3的数据记录介质,能够在实现多种多样的划分方法的同时唯一地决定块的划分方法,能够相比现有方式更提高压缩效率进行记录。
采用以上说明的本发明实施例3的数据记录介质,能够减少码量,防止画质劣化。即,能够实现一种记录了压缩率高、画质更好的编码流的数据记录介质。
另外,将以上说明的各图、各方法等的实施例任意组合,也可以成为本发明的一个实施方式。
根据以上说明的本发明的各实施例,能够减少码量,防止画质劣化。即,能够实现高压缩率和更好的画质。
附图标记说明
101……图像输入部,102……块划分部,103……模式管理部,104……帧内预测部,105……帧间预测部,106……块处理部,107……变换/量化部,108……逆量化/逆变换部,109……图像合成/滤波部,110……解码图像管理部,111……熵编码部,112……数据输出部,201……流分析部,202……块管理部,203……模式判断部,204……帧内预测部,205……帧间预测部,206……系数分析部,207……逆量化/逆变换部,208……图像合成/滤波部,209……解码图像管理部,210……图像输出部,601……块划分方法决定部,602……块划分重复判断部,701……块划分重复判断部,702……块划分处理部。

Claims (6)

1.一种对输入图像进行编码的图像编码装置,其特征在于,包括:
块划分部,其将多种块划分方法组合来进行块划分;和
块划分重复判断部,其在对于相同块划分状态存在多种描述方法的情况下,从中选择1种描述方法,其中,
作为块划分的判断方法,使用划分的种类、划分的方向、划分的深度作为划分模式来选择块的划分方法。
2.如权利要求1所述的图像编码装置,其特征在于:
判断中使用的划分模式,是关注块和关注块的上级或周边块的划分模式。
3.一种对输入图像进行编码的图像编码方法,其特征在于,包括:
将多种块划分方法组合来进行块划分的步骤;和
在对于相同块划分状态存在多种描述方法的情况下,从中选择1种描述方法的步骤,其中,
作为块划分的判断方法,使用划分的种类、划分的方向、划分的深度作为划分模式来选择块的划分方法。
4.一种对由图像编码得到的编码流进行解码的图像解码装置,其特征在于,包括:
块划分重复判断部,其在对于相同块划分状态存在多种描述方法的情况下,从中选择1种描述方法;和
块划分部,其将多种块划分方法组合来进行块划分,其中,
作为块划分的判断方法,使用划分的种类、划分的方向、划分的深度作为划分模式来选择块的划分方法。
5.如权利要求4所述的图像解码装置,其特征在于:
判断中使用的划分模式,是关注块和关注块的上级或周边块的划分模式。
6.一种对由图像编码得到的编码流进行解码的图像解码方法,其特征在于,包括:
在对于相同块划分状态存在多种描述方法的情况下,从中选择1种描述方法的步骤;和
将多种块划分方法组合来进行块划分的步骤,其中,
作为块划分的判断方法,使用划分的种类、划分的方向、划分的深度作为划分模式来选择块的划分方法。
CN202080068186.8A 2019-09-30 2020-09-24 图像编码方法、图像编码装置、图像解码方法和图像解码装置 Pending CN114450949A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019-178614 2019-09-30
JP2019178614A JP7519767B2 (ja) 2019-09-30 2019-09-30 画像符号化方法および画像復号方法
PCT/JP2020/035955 WO2021065655A1 (ja) 2019-09-30 2020-09-24 画像符号化方法、画像符号化装置、画像復号方法および画像復号装置

Publications (1)

Publication Number Publication Date
CN114450949A true CN114450949A (zh) 2022-05-06

Family

ID=75272791

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080068186.8A Pending CN114450949A (zh) 2019-09-30 2020-09-24 图像编码方法、图像编码装置、图像解码方法和图像解码装置

Country Status (4)

Country Link
US (1) US20220353501A1 (zh)
JP (1) JP7519767B2 (zh)
CN (1) CN114450949A (zh)
WO (1) WO2021065655A1 (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3763128A4 (en) * 2018-03-14 2022-04-06 Mediatek Inc. METHOD AND APPARATUS PROVIDING AN OPTIMIZED DIVISION STRUCTURE FOR VIDEO CODING
US20190306506A1 (en) * 2018-04-02 2019-10-03 Qualcomm Incorporated Limitation on the coding tree unit/block for next-generation video coding
US10972758B2 (en) * 2018-04-02 2021-04-06 Qualcomm Incorporated Multi-type-tree framework for transform in video coding
WO2019203610A1 (ko) * 2018-04-19 2019-10-24 엘지전자 주식회사 영상의 처리 방법 및 이를 위한 장치

Also Published As

Publication number Publication date
US20220353501A1 (en) 2022-11-03
JP7519767B2 (ja) 2024-07-22
JP2021057729A (ja) 2021-04-08
WO2021065655A1 (ja) 2021-04-08

Similar Documents

Publication Publication Date Title
KR101542588B1 (ko) 영상 부호화/복호화 방법 및 그 장치
JP2021520117A (ja) 角度モードで拡張された位置依存型イントラ予測組合せ
JP2022521809A (ja) ビデオコーディングにおける係数領域ブロック差分パルスコード変調
US11778177B2 (en) Adaptive loop filter with fixed filters
KR20220051341A (ko) 비디오/영상 코딩 시스템에서 변환 계수 코딩 방법 및 장치
US20220337814A1 (en) Image encoding/decoding method and device using reference sample filtering, and method for transmitting bitstream
US20230117245A1 (en) Image encoding method and image decoding method
US20240007662A1 (en) Coding enhancement in cross-component sample adaptive offset
US20230336785A1 (en) Coding enhancement in cross-component sample adaptive offset
US20230319315A1 (en) Coding enhancement in cross-component sample adaptive offset
CN113632475A (zh) 图像解码装置
WO2019188464A1 (ja) 画像符号化装置、画像符号化方法、画像復号装置、および画像復号方法
WO2021065656A1 (ja) 画像符号化方法、画像符号化装置、画像復号方法および画像復号装置
US20230028160A1 (en) Image encoding method and image decoding method
CN114830642A (zh) 图像编码方法和图像解码方法
JP7519767B2 (ja) 画像符号化方法および画像復号方法
US20240137546A1 (en) Coding enhancement in cross-component sample adaptive offset
US20240195996A1 (en) Coding enhancement in cross-component sample adaptive offset
US20220377354A1 (en) Image encoding method and image decoding method
US20230028434A1 (en) Image encoding method and image decoding method
US20240259578A1 (en) Cross-component sample adaptive offset
US20240205438A1 (en) Coding enhancement in cross-component sample adaptive offset
US20240214595A1 (en) Coding enhancement in cross-component sample adaptive offset
US20230038870A1 (en) Image encoding method and image decoding method
CN114830650A (zh) 图像编码方法和图像解码方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination