JP2022542855A - フィルタリングを用いた画像符号化/復号化方法、装置、及びビットストリームを伝送する方法 - Google Patents

フィルタリングを用いた画像符号化/復号化方法、装置、及びビットストリームを伝送する方法 Download PDF

Info

Publication number
JP2022542855A
JP2022542855A JP2022503901A JP2022503901A JP2022542855A JP 2022542855 A JP2022542855 A JP 2022542855A JP 2022503901 A JP2022503901 A JP 2022503901A JP 2022503901 A JP2022503901 A JP 2022503901A JP 2022542855 A JP2022542855 A JP 2022542855A
Authority
JP
Japan
Prior art keywords
block
filter
length
determined
target boundary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022503901A
Other languages
English (en)
Inventor
ヒョン ムン チャン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of JP2022542855A publication Critical patent/JP2022542855A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

Figure 2022542855000001
【課題】画像符号化/復号化方法及び装置が提供される。
【解決手段】本開示による画像復号化方法は、画像復号化装置によって行われる画像復号化方法であって、現在ブロックに対する復元ブロックを誘導するステップと、前記復元ブロックに対するターゲット境界(target boundary)を誘導するステップと、前記ターゲット境界に適用されるデブロッキングフィルタ(deblocking filter)のフィルタ長(filter length)を決定するステップと、決定された前記フィルタ長に基づいて前記ターゲット境界に対して前記デブロッキングフィルタを適用するステップと、を含み、前記フィルタ長は、前記ターゲット境界に隣接する変換ブロックの幅又は高さのうちの少なくとも一つに基づいて決定されることができる。
【選択図】図12

Description

本開示は、画像符号化/復号化方法、装置、及びビットストリームを伝送する方法に係り、より詳細には、フィルタリングを用いて画像を符号化/復号化する方法、装置、及び本開示の画像符号化方法/装置によって生成されたビットストリームを伝送する方法に関する。
最近、高解像度、高品質の画像、例えばHD(High Definition)画像及びUHD(Ultra High Definition)画像への需要が多様な分野で増加している。画像データが高解像度、高品質になるほど、従来の画像データに比べて、伝送される情報量又はビット量が相対的に増加する。伝送される情報量又はビット量の増加は、伝送費用と保存費用の増加をもたらす。
これにより、高解像度、高品質画像の情報を効果的に伝送又は保存し、再生するための高効率の画像圧縮技術が求められる。
本開示は、符号化/復号化効率が向上した画像符号化/復号化方法及び装置を提供することを目的とする。
また、本開示は、フィルタリングを用いて画像を符号化/復号化する方法及び装置を提供することを目的とする。
また、本開示は、本開示による画像符号化方法又は装置によって生成されたビットストリームを伝送する方法を提供することを目的とする。
また、本開示は、本開示による画像符号化方法又は装置によって生成されたビットストリームを保存した記録媒体を提供することを目的とする。
また、本開示は、本開示による画像復号化装置によって受信され、復号化されて画像の復元に利用されるビットストリームを保存した記録媒体を提供することを目的とする。
本開示で解決しようとする技術的課題は上述した技術的課題に制限されず、上述していない別の技術的課題は以降の記載から本開示の属する技術分野における通常の知識を有する者に明確に理解できるであろう。
本開示の一態様による画像符号化/復号化方法によれば、変換ブロックのサイズが小さくなり、フィルタリングの並列処理が不可能になる状況、又は互いに異なるターゲット境界によるフィルタ長さ間の重畳が生じる状況などが発生しないので、画像符号化/復号化装置は、常にフィルタ並列処理を行うことができ、画像符号化/復号化効率を増大させることができる。
本開示の一態様による画像復号化方法は、現在ブロックに対する復元ブロックを誘導するステップと、前記復元ブロックに対するターゲット境界(target boundary)を誘導するステップと、前記ターゲット境界に適用されるデブロッキングフィルタ(deblocking filter)のフィルタ長(filter length)を決定するステップと、決定された前記フィルタ長に基づいて前記ターゲット境界に対して前記デブロッキングフィルタを適用するステップとを含み、前記フィルタ長は、前記ターゲット境界に隣接する変換ブロックの幅又は高さのうちの少なくとも一つに基づいて決定されることができる。
本開示の画像復号化方法において、前記現在ブロックは、ISP(Intra Sub-partitions)モードが適用されたブロックであることを特徴とする。
本開示の画像復号化方法は、前記ターゲット境界の境界タイプを決定するステップをさらに含み、前記境界タイプは、垂直境界及び水平境界のうちのいずれか一つに決定されることができる。
本開示の画像復号化方法において、前記ターゲット境界が垂直境界であり、前記変換ブロックの幅が第1値以下である場合、前記フィルタ長は第1長さに決定されることができる。
本開示の画像復号化方法において、前記変換ブロックの幅が第2値以上である場合、前記フィルタ長は第2長さに決定されることができる。
本開示の画像復号化方法において、前記変換ブロックの幅が前記第1値超過、前記第2値未満である場合、前記フィルタ長は第3長さに決定されることができる。
本開示の画像復号化方法において、前記第1値は4であり、前記第1長さは1であることができる。
本開示の画像復号化方法において、前記ターゲット境界が水平境界であり、前記変換ブロックの高さが第1値以下である場合、前記フィルタ長は第1長さに決定されることができる。
本開示の画像復号化方法において、前記変換ブロックの高さが第2値以上である場合、前記フィルタ長は第2長さに決定されることができる。
本開示の画像復号化方法において、前記変換ブロックの高さが前記第1値超過、前記第2値未満である場合、前記フィルタ長は第3長さに決定されることができる。
本開示の画像復号化方法において、前記第1値は4であり、前記第1長さは1であることができる。
本開示の他の態様による画像復号化装置は、メモリと、少なくとも一つのプロセッサとを含む画像復号化装置であって、前記少なくとも一つのプロセッサは、
現在ブロックに対する復元ブロックを誘導し、前記復元ブロックに対するターゲット境界(target boundary)を誘導し、前記ターゲット境界に適用されるデブロッキングフィルタ(deblocking filter)のフィルタ長(filter length)を決定し、決定された前記フィルタ長に基づいて前記ターゲット境界に対して前記デブロッキングフィルタを適用し、前記フィルタ長は、前記ターゲット境界に隣接する変換ブロックの幅又は高さのうちの少なくとも一つに基づいて決定されることができる。
本開示の別の態様による画像符号化方法は、現在ブロックに対する復元ブロックを誘導するステップと、前記復元ブロックに対するターゲット境界(target boundary)を誘導するステップと、前記ターゲット境界に適用されるデブロッキングフィルタ(deblocking filter)のフィルタ長(filter length)を決定するステップと、決定された前記フィルタ長に基づいて前記ターゲット境界に対して前記デブロッキングフィルタを適用するステップ、を含み、前記フィルタ長は、前記ターゲット境界に隣接する変換ブロックの幅又は高さのうちの少なくとも一つに基づいて決定されることができる。
本開示の画像符号化方法において、前記現在ブロックは、ISP(Intra Sub-partitions)モードが適用されたブロックであり得る。
本開示の別の態様によるコンピュータ可読記録媒体は、本開示の画像符号化方法又は画像符号化装置によって生成されたビットストリームを保存することができる。
本開示について簡略に要約して上述した特徴は、後述する本開示の詳細な説明の例示的な態様に過ぎず、本開示の範囲を制限するものではない。
本開示によれば、符号化/復号化効率が向上した画像符号化/復号化方法及び装置が提供されることができる。
また、本開示によれば、フィルタリングを用いて画像を符号化/復号化する方法及び装置が提供されることができる。
また、本開示によれば、本開示による画像符号化方法又は装置によって生成されたビットストリームを伝送する方法が提供されることができる。
また、本開示によれば、本開示による画像符号化方法又は装置によって生成されたビットストリームを保存した記録媒体が提供されることができる。
また、本開示によれば、本開示による画像復号化装置によって受信され、復号化されて画像の復元に利用されるビットストリームを保存した記録媒体が提供されることができる。
本開示で得られる効果は、上述した効果に限定されず、上述していない別の効果は、以降の記載から、本開示の属する技術分野における通常の知識を有する者に明確に理解できるだろう。
本開示による実施例が適用できるビデオコーディングシステムを概略的に示す図である。 本開示による実施例が適用できる画像符号化装置を概略的に示す図である。 本開示による実施例が適用できる画像復号化装置を概略的に示す図である。 マルチタイプツリー構造によるブロックの分割タイプを示す図である。 本開示によるマルチタイプツリーを伴う四分木(quadtree with nested multi-type tree)構造のパーティション分割情報のシグナリングメカニズムを例示する図である。 デブロッキングフィルタの適用方法を説明するための図である。 デブロッキングフィルタのフィルタ強度決定方法を説明するための図である。 イントラ予測技法のうちのイントラサブパーティション(ISP)を説明するための図である。 ターゲット境界に適用されるデブロッキングフィルタのフィルタ長決定方法を説明するための図である。 ターゲット境界に適用されるデブロッキングフィルタのフィルタ長決定方法を説明するための図である。 ターゲット境界に適用されるデブロッキングフィルタのフィルタ長決定方法を説明するための図である。 本開示の一実施例による画像符号化/復号化方法を説明するための図である。 本開示の他の一実施例によるデブロッキングフィルタ長の決定方法を説明するための図である。 本開示の他の一実施例によるデブロッキングフィルタ長の決定方法を説明するための図である。 本開示の他の一実施例によるデブロッキングフィルタ長の決定方法を説明するための他の図である。 本開示の他の一実施例によるデブロッキングフィルタ長の決定方法を説明するための他の図である。 本開示の実施例が適用できるコンテンツストリーミングシステムを例示する図である。
以下、添付図面を参照して、本開示の実施例について、本開示の属する技術分野における通常の知識を有する者が容易に実施し得るように詳細に説明する。しかし、本開示は、様々な異なる形態で実現でき、ここで説明する実施例に限定されない。
本開示の実施例を説明するにあたり、公知の構成又は機能についての具体的な説明が本開示の要旨を不明確にするおそれがあると判断される場合には、それについての詳細な説明は省略する。そして、図面において、本開示についての説明と関係ない部分は省略し、同様の部分には同様の図面符号を付した。
本開示において、ある構成要素が他の構成要素と「連結」、「結合」又は「接続」されているとするとき、これは、直接的な連結関係だけでなく、それらの間に別の構成要素が存在する間接的な連結関係も含むことができる。また、ある構成要素が他の構成要素を「含む」又は「有する」とするとき、これは、特に反対される記載がない限り、別の構成要素を排除するのではなく、別の構成要素をさらに含むことができることを意味する。
本開示において、「第1」、「第2」などの用語は、一つの構成要素を他の構成要素から区別する目的のみで使用され、特に言及されない限り、構成要素間の順序又は重要度などを限定しない。したがって、本開示の範囲内において、一実施例の第1構成要素は、他の実施例で第2構成要素と呼んでもよく、これと同様に、一実施例の第2構成要素を、他の実施例で第1構成要素と呼んでもよい。
本開示において、互いに区別される構成要素は、それぞれの特徴を明確に説明するためのものであり、構成要素が必ずしも分離されることを意味するものではない。つまり、複数の構成要素が統合されて一つのハードウェア又はソフトウェア単位で構成されてもよく、一つの構成要素が分散されて複数のハードウェア又はソフトウェア単位で構成されてもよい。よって、別に言及しなくても、このように統合された又は分散された実施例も本開示の範囲に含まれる。
本開示において、さまざまな実施例で説明する構成要素が必ず必要不可欠な構成要素を意味するものではなく、一部は選択的な構成要素であり得る。したがって、一実施例で説明する構成要素の部分集合で構成される実施例も本開示の範囲に含まれる。また、様々な実施例で説明する構成要素にさらに他の構成要素を含む実施例も、本開示の範囲に含まれる。
本開示は、画像の符号化及び復号化に関するものであって、本開示で使用される用語は、本開示で新たに定義されない限り、本開示の属する技術分野における通常の意味を持つことができる。
本開示において、「ピクチャ(picture)」は、一般的に、特定の時間帯のいずれか一つの画像を示す単位を意味し、スライス(slice)/タイル(tile)は、ピクチャの一部を構成する符号化単位であって、一つのピクチャは、一つ以上のスライス/タイルで構成できる。また、スライス/タイルは、一つ以上のCTU(coding tree unit)を含むことができる。
本開示において、「ピクセル(pixel)」又は「ペル(pel)」は、一つのピクチャ(又は画像)を構成する最小の単位を意味することができる。また、ピクセルに対応する用語として「サンプル(sample)」が使用できる。サンプルは、一般的に、ピクセル又はピクセルの値を示すことができ、ルマ(luma)成分のピクセル/ピクセル値のみを示すこともでき、クロマ(chroma)成分のピクセル/ピクセル値のみを示すこともできる。
本開示において、「ユニット(unit)」は、画像処理の基本単位を示すことができる。ユニットは、ピクチャの特定の領域及び当該領域に関連する情報のうちの少なくとも一つを含むことができる。ユニットは、場合に応じて、「サンプルアレイ」、「ブロック(block)」又は「領域(area)」などの用語と混用して使用できる。一般な場合、M×Nブロックは、M個の列とN個の行からなるサンプル(又はサンプルアレイ)又は変換係数(transform coefficient)のセット(又はアレイ)を含むことができる。
本開示において、「現在ブロック」は、「現在コーディングブロック」、「現在コーティングユニット」、「符号化対象ブロック」、「復号化対象ブロック」又は「処理対象ブロック」のうちのいずれか一つを意味することができる。予測が行われる場合、「現在ブロック」は、「現在予測ブロック」又は「予測対象ブロック」を意味することができる。変換(逆変換)/量子化(逆量子化)が行われる場合、「現在ブロック」は「現在変換ブロック」又は「変換対象ブロック」を意味することができる。フィルタリングが行われる場合、「現在ブロック」は「フィルタリング対象ブロック」を意味することができる。
本開示において、「/」と「、」は「及び/又は」と解釈されることができる。例えば、「A/B」と「A、B」は「A及び/又はB」と解釈されることができる。また、「A/B/C」と「A、B、C」は、「A、B及び/又はCのうちの少なくとも一つ」を意味することができる。
本開示において、「又は」は「及び/又は」と解釈されることができる。例えば、「A又はB」は、1)「A」のみを意味するか、2)「B」のみを意味するか、3)「A及びB」を意味することができる。又は、本開示において、「又は」は、「追加的に又は代替的に(additionally or alternatively)」を意味することができる。
ビデオコーディングシステムの概要
図1は本開示によるビデオコーディングシステムを示す図である。
一実施例によるビデオコーディングシステムは、符号化装置10及び復号化装置20を含むことができる。符号化装置10は、符号化されたビデオ(video)及び/又は画像(image)情報又はデータをファイル又はストリーミング形式でデジタル記憶媒体又はネットワークを介して復号化装置20へ伝達することができる。
一実施例による符号化装置10は、ビデオソース生成部11、符号化部12及び伝送部13を含むことができる。一実施例による復号化装置20は、受信部21、復号化部22及びレンダリング部23を含むことができる。前記符号化部12は、ビデオ/画像符号化部と呼ばれることができ、前記復号化部22は、ビデオ/画像復号化部と呼ばれることができる。伝送部13は、符号化部12に含まれることができる。受信部21は、復号化部22に含まれることができる。レンダリング部23は、ディスプレイ部を含むこともでき、ディスプレイ部は、別個のデバイス又は外部コンポーネントとして構成されることもできる。
ビデオソース生成部11は、ビデオ/画像のキャプチャ、合成又は生成過程などを介してビデオ/画像を取得することができる。ビデオソース生成部11は、ビデオ/画像キャプチャデバイス及び/又はビデオ/画像生成デバイスを含むことができる。ビデオ/画像キャプチャデバイスは、例えば、一つ以上のカメラ、以前にキャプチャされたビデオ/画像を含むビデオ/画像アーカイブなどを含むことができる。ビデオ/画像生成デバイスは、例えば、コンピュータ、タブレット及びスマートフォンなどを含むことができ、(電子的に)ビデオ/画像を生成することができる。例えば、コンピュータなどを介して、仮想のビデオ/画像が生成されることができ、この場合、ビデオ/画像キャプチャ過程は、関連データが生成される過程に置き換えられることができる。
符号化部12は、入力ビデオ/画像を符号化することができる。符号化部12は、圧縮及び符号化効率のために、予測、変換、量子化などの一連の手順を行うことができる。符号化部12は、符号化されたデータ(符号化されたビデオ/画像情報)をビットストリーム(bitstream)形式で出力することができる。
伝送部13は、ビットストリーム形式で出力された、符号化されたビデオ/画像情報又はデータを、ファイル又はストリーミング形式でデジタル記憶媒体又はネットワークを介して復号化装置20の受信部21に伝達することができる。デジタル記憶媒体は、USB、SD、CD、DVD、Blu-ray(登録商標)、HDD、SSDなどのさまざまな記憶媒体を含むことができる。伝送部13は、予め決められたファイルフォーマットを介してメディアファイルを生成するためのエレメントを含むことができ、放送/通信ネットワークを介して伝送するためのエレメントを含むことができる。受信部21は、前記記憶媒体又はネットワークから前記ビットストリームを抽出/受信して復号化部22に伝達することができる。
復号化部22は、符号化部12の動作に対応する逆量子化、逆変換、予測などの一連の手順を行ってビデオ/画像を復号化することができる。
レンダリング部23は、復号化されたビデオ/画像をレンダリングすることができる。レンダリングされたビデオ/画像は、ディスプレイ部を介して表示されることができる。
画像符号化装置の概要
図2は本開示による実施例が適用できる画像符号化装置を概略的に示す図である。
図2に示されているように、画像符号化装置100は、画像分割部110、減算部115、変換部120、量子化部130、逆量子化部140、逆変換部150、加算部155、フィルタリング部160、メモリ170、インター予測部180、イントラ予測部185及びエントロピー符号化部190を含むことができる。インター予測部180及びイントラ予測部185は、合わせて「予測部」と呼ばれることができる。変換部120、量子化部130、逆量子化部140及び逆変換部150は、レジデュアル(residual)処理部に含まれることができる。レジデュアル処理部は減算部115をさらに含むこともできる。
画像符号化装置100を構成する複数の構成部の全部又は少なくとも一部は、実施例によって一つのハードウェアコンポーネント(例えば、エンコーダ又はプロセッサ)で実現されることができる。また、メモリ170は、DPB(decoded picture buffer)を含むことができ、デジタル記憶媒体によって実現できる。
画像分割部110は、画像符号化装置100に入力された入力画像(又は、ピクチャ、フレーム)を一つ以上の処理ユニット(processing unit)に分割することができる。一例として、前記処理ユニットは、コーディングユニット(coding unit、CU)と呼ばれることができる。コーディングユニットは、コーディングツリーユニット(coding tree unit、CTU)又は最大コーディングユニット(largest coding unit、LCU)をQT/BT/TT(Quad-tree/binary-tree/ternary-tree)構造によって再帰的に(recursively)分割することにより取得されることができる。例えば、一つのコーディングニットは、四分木構造、二分木構造及び/又は三分木構造に基づいて、下位(deeper)デプスの複数のコーディングユニットに分割されることができる。コーディングユニットの分割のために、四分木構造が先に適用され、二分木構造及び/又は三分木構造が後で適用されることができる。それ以上分割されない最終コーディングユニットを基に、本開示によるコーディング手順が行われることができる。最大コーディングユニットが最終コーディングユニットとして使用されることができ、最大コーディングユニットを分割して取得した下位デプスのコーディングユニットが最終コーディングユニットとして使用されることもできる。ここで、コーディング手順とは、後述する予測、変換及び/又は復元などの手順を含むことができる。他の例として、前記コーディング手順の処理ユニットは、予測ユニット(PU:Prediction Unit)又は変換ユニット(TU:Transform Unit)であることができる。前記予測ユニット及び前記変換ユニットは、それぞれ前記最終コーディングユニットから分割又はパーティショニングされることができる。前記予測ユニットは、サンプル予測の単位であることができ、前記変換ユニットは、変換係数を誘導する単位、及び/又は変換係数からレジデュアル信号(residual signal)を誘導する単位であることができる。
予測部(インター予測部180又はイントラ予測部185)は、処理対象ブロック(現在ブロック)に対する予測を行い、前記現在ブロックに対する予測サンプルを含む予測されたブロック(predicted block)を生成することができる。予測部は、現在ブロック又はCU単位でイントラ予測が適用されるか、或いはインター予測が適用されるかを決定することができる。予測部は、現在ブロックの予測に関するさまざまな情報を生成してエントロピー符号化部190に伝達することができる。予測に関する情報は、エントロピー符号化部190で符号化されてビットストリーム形式で出力されることができる。
イントラ予測部185は、現在ピクチャ内のサンプルを参照して現在ブロックを予測することができる。参照される前記サンプルは、イントラ予測モード及び/又はイントラ予測技法に従って、前記現在ブロックの周辺(neighbor)に位置することもでき、或いは離れて位置することもできる。イントラ予測モードは、複数の非方向性モードと複数の方向性モードを含むことができる。非方向性モードは、例えば、DCモード及びPlanarモードを含むことができる。方向性モードは、予測方向の細密な程度に応じて、例えば33個の方向性予測モード又は65個の方向性予測モードを含むことができる。ただし、これは例示に過ぎず、設定に基づいてそれ以上又はそれ以下の個数の方向性予測モードが使用できる。イントラ予測部185は、周辺ブロックに適用された予測モードを用いて、現在ブロックに適用される予測モードを決定することもできる。
インター予測部180は、参照ピクチャ上で動きベクトルによって特定される参照ブロック(参照サンプルアレイ)に基づいて、現在ブロックに対する予測されたブロックを誘導することができる。この時、インター予測モードで伝送される動き情報の量を減らすために、周辺ブロックと現在ブロックとの動き情報の相関性に基づいて動き情報をブロック、サブブロック又はサンプル単位で予測することができる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向(L0予測、L1予測、Bi予測など)情報をさらに含むことができる。インター予測の場合、周辺ブロックは、現在ピクチャ内に存在する空間周辺ブロック(spatial neighboring block)と、参照ピクチャに存在する時間周辺ブロック(temporal neighboring block)を含むことができる。前記参照ブロックを含む参照ピクチャと、前記時間周辺ブロックを含む参照ピクチャとは、同一でもよく、互いに異なってもよい。前記時間周辺ブロックは、コロケート参照ブロック(collocated reference block)、コロケートCU(colCU)などの名前で呼ばれることができる。前記時間周辺ブロックを含む参照ピクチャは、コロケートピクチャ(collocated picture、colPic)と呼ばれることができる。例えば、インター予測部180は、周辺ブロックに基づいて動き情報候補リストを構成し、前記現在ブロックの動きベクトル及び/又は参照ピクチャインデックスを導出するために、どの候補が使用されるかを指示する情報を生成することができる。様々な予測モードに基づいてインター予測が行われることができ、例えばスキップモードとマージモードの場合に、インター予測部180は、周辺ブロックの動き情報を現在ブロックの動き情報として用いることができる。スキップモードの場合、マージモードとは異なり、レジデュアル信号が伝送されないことができる。動き情報予測(motion vector prediction、MVP)モードの場合、周辺ブロックの動きベクトルを動きベクトル予測子(motion vector predictor)として用い、動きベクトル差分(motion vector difference)及び動きベクトル予測子に対するインジケータ(indicator)を符号化することにより、現在ブロックの動きベクトルをシグナリングすることができる。動きベクトル差分は、現在ブロックの動きベクトルと動きベクトル予測子との差を意味することができる。
予測部は、後述する様々な予測方法及び/又は予測技法に基づいて予測信号を生成することができる。例えば、予測部は、現在ブロックの予測のために、イントラ予測又はインター予測を適用することができるだけでなく、イントラ予測とインター予測を同時に適用することができる。現在ブロックの予測のためにイントラ予測とインター予測を同時に適用する予測方法は、CIIP(combined inter and intra prediction)と呼ばれることができる。また、予測部は、現在ブロックの予測のためにイントラブロックコピー(intra block copy、IBC)を行うこともできる。イントラブロックコピーは、例えば、SCC(screen content coding)などのようにゲームなどのコンテンツ画像/動画コーディングのために使用できる。IBCは、現在ブロックから所定の距離だけ離れた位置の現在ピクチャ内の既に復元された参照ブロックを用いて現在ブロックを予測する方法である。IBCが適用される場合、現在ピクチャ内の参照ブロックの位置は前記所定の距離に該当するベクトル(ブロックベクトル)として符号化されることができる。
予測部によって生成された予測信号は、復元信号を生成するために用いられるか、或いはレジデュアル信号を生成するために用いられることができる。減算部115は、入力画像信号(原本ブロック、原本サンプルアレイ)から、予測部から出力された予測信号(予測されたブロック、予測サンプルアレイ)を減算して、レジデュアル信号(residual signal、残余ブロック、残余サンプルアレイ)を生成することができる。生成されたレジデュアル信号は、変換部120に伝送されることができる。
変換部120は、レジデュアル信号に変換技法を適用して変換係数(transform coefficients)を生成することができる。例えば、変換技法は、DCT(Discrete Cosine Transform)、DST(Discrete Sine Transform)、KLT(Karhunen-Loeve Transform)、GBT(Graph-Based Transform)、又はCNT(Conditionally Non-linear Transform)のうちの少なくとも一つを含むことができる。ここで、GBTは、ピクセル間の関係情報をグラフで表現するとするとき、このグラフから得られた変換を意味する。CNTは、以前に復元されたすべてのピクセル(all previously reconstructed pixel)を用いて予測信号を生成し、それに基づいて取得される変換を意味する。変換過程は、正方形の同じサイズを有するピクセルブロックに適用されることもでき、正方形ではない、可変サイズのブロックに適用されることもできる。
量子化部130は、変換係数を量子化してエントロピー符号化部190に伝送することができる。エントロピー符号化部190は、量子化された信号(量子化された変換係数に関する情報)を符号化してビットストリーム形式で出力することができる。前記量子化された変換係数に関する情報は、レジデュアル情報と呼ばれることができる。量子化部130は、係数スキャン順序(scan order)に基づいて、ブロック形式の量子化された変換係数を1次元ベクトル形式で再整列することができ、前記1次元ベクトル形式の量子化された変換係数に基づいて、前記量子化された変換係数に関する情報を生成することもできる。
エントロピー符号化部190は、例えば、指数ゴロム(exponential Golomb)、CAVLC(context-adaptive variable length coding)、CABAC(context-adaptive binary arithmetic coding)などの様々な符号化方法を行うことができる。エントロピー符号化部190は、量子化された変換係数の他に、ビデオ/画像復元に必要な情報(例えば、シンタックス要素(syntax elements)の値など)を一緒に又は別々に符号化することもできる。符号化された情報(例えば、符号化されたビデオ/画像情報)は、ビットストリーム形式でNAL(network abstraction layer)ユニット単位で伝送又は保存されることができる。前記ビデオ/画像情報は、適応パラメータセット(APS)、ピクチャパラメータセット(PPS)、シーケンスパラメータセット(SPS)又はビデオパラメータセット(VPS)などの様々なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ/画像情報は、一般制限情報(general constraint information)をさらに含むことができる。本開示で言及されたシグナリング情報、伝送される情報及び/又はシンタックス要素は、上述した符号化手順を介して符号化されて前記ビットストリームに含まれることができる。
前記ビットストリームは、ネットワークを介して伝送されることができ、又はデジタル記憶媒体に保存されることができる。ここで、ネットワークは、放送網及び/又は通信網などを含むことができ、デジタル記憶媒体は、USB、SD、CD、DVD、Blu-ray、HDD、SSDなどのさまざまな記憶媒体を含むことができる。エントロピー符号化部190から出力された信号を伝送する伝送部(図示せず)及び/又は保存する保存部(図示せず)が画像符号化装置100の内/外部要素として備えられることができ、又は伝送部はエントロピー符号化部190の構成要素として備えられることもできる。
量子化部130から出力された、量子化された変換係数は、レジデュアル信号を生成するために用いられることができる。例えば、量子化された変換係数に逆量子化部140及び逆変換部150を介して逆量子化及び逆変換を適用することにより、レジデュアル信号(レジデュアルブロック又はレジデュアルサンプル)を復元することができる。
加算部155は、復元されたレジデュアル信号をインター予測部180又はイントラ予測部185から出力された予測信号に加えることにより、復元(reconstructed)信号(復元ピクチャ、復元ブロック、復元サンプルアレイ)を生成することができる。スキップモードが適用された場合のように処理対象ブロックに対するレジデュアルがない場合、予測されたブロックが復元ブロックとして使用されることができる。加算部155は、復元部又は復元ブロック生成部と呼ばれることができる。生成された復元信号は、現在ピクチャ内の次の処理対象ブロックのイントラ予測のために使用されることができ、後述するようにフィルタリングを経て次のピクチャのインター予測のために使用されることもできる。
一方、後述するようにピクチャ符号化過程でLMCS(luma mapping with chroma scaling)が適用されることもできる。
フィルタリング部160は、復元信号にフィルタリングを適用して主観的/客観的画質を向上させることができる。例えば、フィルタリング部160は、復元ピクチャに様々なフィルタリング方法を適用して、修正された(modified)復元ピクチャを生成することができ、前記修正された復元ピクチャをメモリ170、具体的にはメモリ170のDPBに保存することができる。前記様々なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット(sample adaptive offset)、適応的ループフィルタ(adaptive loop filter)、双方向フィルタ(bilateral filter)などを含むことができる。フィルタリング部160は、各フィルタリング方法についての説明で後述するようにフィルタリングに関する様々な情報を生成してエントロピー符号化部190に伝達することができる。フィルタリングに関する情報は、エントロピー符号化部190で符号化されてビットストリーム形式で出力されることができる。
メモリ170に伝送された、修正された復元ピクチャは、インター予測部180で参照ピクチャとして使用されることができる。画像符号化装置100は、これを介してインター予測が適用される場合、画像符号化装置100と画像復号化装置での予測ミスマッチを回避することができ、符号化効率も向上させることができる。
メモリ170内のDPBは、インター予測部180での参照ピクチャとして使用するために、修正された復元ピクチャを保存することができる。メモリ170は、現在ピクチャ内の動き情報が導出された(又は符号化された)ブロックの動き情報及び/又は既に復元されたピクチャ内ブロックの動き情報を保存することができる。前記保存された動き情報は、空間周辺ブロックの動き情報又は時間周辺ブロックの動き情報として活用するために、インター予測部180に伝達されることができる。メモリ170は、現在ピクチャ内の復元されたブロックの復元サンプルを保存することができ、イントラ予測部185に伝達することができる。
画像復号化装置の概要
図3は本開示による実施例が適用できる画像復号化装置を概略的に示す図である。
図3に示されているように、画像復号化装置200は、エントロピー復号化部210、逆量子化部220、逆変換部230、加算部235、フィルタリング部240、メモリ250、インター予測部260及びイントラ予測部265を含んで構成できる。インター予測部260及びイントラ予測部265を合わせて「予測部」と呼ばれることができる。逆量子化部220、逆変換部230はレジデュアル処理部に含まれることができる。
画像復号化装置200を構成する複数の構成部の全部又は少なくとも一部は、実施例によって一つのハードウェアコンポーネント(例えば、デコーダ又はプロセッサ)で実現されることができる。また、メモリ170は、DPBを含むことができ、デジタル記憶媒体によって実現できる。
ビデオ/画像情報を含むビットストリームを受信した画像復号化装置200は、図1の画像符号化装置100で行われたプロセスに対応するプロセスを実行して画像を復元することができる。例えば、画像復号化装置200は、画像符号化装置で適用された処理ユニットを用いて復号化を行うことができる。したがって、復号化の処理ユニットは、例えばコーディングユニットであることができる。コーディングユニットは、コーディングツリーユニット又は最大コーディングユニットを分割して取得できる。そして、画像復号化装置200を介して復号化及び出力された復元画像信号は、再生装置(図示せず)を介して再生できる。
画像復号化装置200は、図1の画像符号化装置から出力された信号をビットストリーム形式で受信することができる。受信された信号は、エントロピー復号化部210を介して復号化できる。例えば、エントロピー復号化部210は、前記ビットストリームをパーシングして画像復元(又はピクチャ復元)に必要な情報(例えば、ビデオ/画像情報)を導出することができる。前記ビデオ/画像情報は、適応パラメータセット(APS)、ピクチャパラメータセット(PPS)、シーケンスパラメータセット(SPS)又はビデオパラメータセット(VPS)などの様々なパラメータセットに関する情報をさらに含むことができる。また、前記ビデオ/画像情報は、一般制限情報(general constraint information)をさらに含むことができる。画像復号化装置は、画像を復号化するために、前記パラメータセットに関する情報及び/又は前記一般制限情報をさらに用いることができる。本開示で言及されたシグナリング情報、受信される情報及び/又はシンタックス要素は、前記復号化手順を介して復号化されることにより、前記ビットストリームから取得されることができる。例えば、エントロピー復号化部210は、指数ゴロム符号化、CAVLC又はCABACなどのコーディング方法に基づいてビットストリーム内の情報を復号化し、画像復元に必要なシンタックス要素の値、レジデュアルに関する変換係数の量子化された値を出力することができる。より詳細には、CABACエントロピー復号化方法は、ビットストリームから各シンタックス要素に該当するビン(bin)を受信し、復号化対象シンタックス要素情報と周辺ブロック及び復号化対象ブロックの復号化情報、或いは以前ステップで復号化されたシンボル/ビンの情報を用いてコンテキスト(context)モデルを決定し、決定されたコンテキストモデルに基づいてビン(bin)の発生確率を予測してビンの算術復号化(arithmetic decoding)を行うことにより、各シンタックス要素の値に該当するシンボルを生成することができる。この時、CABACエントロピー復号化方法は、コンテキストモデルの決定後、次のシンボル/ビンのコンテキストモデルのために、復号化されたシンボル/ビンの情報を用いてコンテキストモデルを更新することができる。エントロピー復号化部210で復号化された情報のうち、予測に関する情報は、予測部(インター予測部260及びイントラ予測部265)に提供され、エントロピー復号化部210でエントロピー復号化が行われたレジデュアル値、すなわち量子化された変換係数及び関連パラメータ情報は、逆量子化部220に入力されることができる。また、エントロピー復号化部210で復号化された情報のうち、フィルタリングに関する情報は、フィルタリング部240に提供されることができる。一方、画像符号化装置から出力された信号を受信する受信部(図示せず)が画像復号化装置200の内/外部要素としてさらに備えられることができ、又は受信部はエントロピー復号化部210の構成要素として備えられることもできる。
一方、本開示による画像復号化装置は、ビデオ/画像/ピクチャ復号化装置と呼ばれることができる。前記画像復号化装置は、情報デコーダ(ビデオ/画像/ピクチャ情報デコーダ)及び/又はサンプルデコーダ(ビデオ/画像/ピクチャサンプルデコーダ)を含むこともできる。前記情報デコーダは、エントロピー復号化部210を含むことができ、前記サンプルデコーダは、逆量子化部220、逆変換部230、加算部235、フィルタリング部240、メモリ250、インター予測部260及びイントラ予測部265のうちの少なくとも一つを含むことができる。
逆量子化部220では、量子化された変換係数を逆量子化して変換係数を出力することができる。逆量子化部220は、量子化された変換係数を2次元のブロック形式で再整列することができる。この場合、前記再整列は、画像符号化装置で行われた係数スキャン順序に基づいて行われることができる。逆量子化部220は、量子化パラメータ(例えば、量子化ステップサイズ情報)を用いて、量子化された変換係数に対する逆量子化を行い、変換係数(transform coefficient)を取得することができる。
逆変換部230では、変換係数を逆変換してレジデュアル信号(レジデュアルブロック、レジデュアルサンプルアレイ)を取得することができる。
予測部は、現在ブロックに対する予測を行い、前記現在ブロックに対する予測サンプルを含む予測されたブロック(predicted block)を生成することができる。予測部は、エントロピー復号化部210から出力された前記予測に関する情報に基づいて、前記現在ブロックにイントラ予測が適用されるか或いはインター予測が適用されるかを決定することができ、具体的なイントラ/インター予測モード(予測技法)を決定することができる。
予測部が後述の様々な予測方法(技法)に基づいて予測信号を生成することができるのは、画像符号化装置100の予測部についての説明で述べたのと同様である。
イントラ予測部265は、現在ピクチャ内のサンプルを参照して現在ブロックを予測することができる。イントラ予測部185についての説明は、イントラ予測部265に対しても同様に適用されることができる。
インター予測部260は、参照ピクチャ上で動きベクトルによって特定される参照ブロック(参照サンプルアレイ)に基づいて、現在ブロックに対する予測されたブロックを誘導することができる。この時、インター予測モードで伝送される動き情報の量を減らすために、周辺ブロックと現在ブロックとの動き情報の相関性に基づいて動き情報をブロック、サブブロック又はサンプル単位で予測することができる。前記動き情報は、動きベクトル及び参照ピクチャインデックスを含むことができる。前記動き情報は、インター予測方向(L0予測、L1予測、Bi予測など)情報をさらに含むことができる。インター予測の場合に、周辺ブロックは、現在ピクチャ内に存在する空間周辺ブロック(spatial neighboring block)と参照ピクチャに存在する時間周辺ブロック(temporal neighboring block)を含むことができる。例えば、インター予測部260は、周辺ブロックに基づいて動き情報候補リストを構成し、受信した候補選択情報に基づいて前記現在ブロックの動きベクトル及び/又は参照ピクチャインデックスを導出することができる。様々な予測モード(技法)に基づいてインター予測が行われることができ、前記予測に関する情報は、前記現在ブロックに対するインター予測のモード(技法)を指示する情報を含むことができる。
加算部235は、取得されたレジデュアル信号を予測部(インター予測部260及び/又はイントラ予測部265を含む)から出力された予測信号(予測されたブロック、予測サンプルアレイ)に加えることにより、復元信号(復元ピクチャ、復元ブロック、復元サンプルアレイ)を生成することができる。加算部155についての説明は、加算部235に対しても同様に適用されることもできる。
一方、後述するようにピクチャ復号化過程でLMCS(luma mapping with chroma scaling)が適用されることもできる。
フィルタリング部240は、復元信号にフィルタリングを適用して主観的/客観的画質を向上させることができる。例えば、フィルタリング部240は、復元ピクチャに様々なフィルタリング方法を適用して、修正された(modified)復元ピクチャを生成することができ、前記修正された復元ピクチャをメモリ250、具体的にはメモリ250のDPBに保存することができる。前記様々なフィルタリング方法は、例えば、デブロッキングフィルタリング、サンプル適応的オフセット(sample adaptive offset)、適応的ループフィルタ(adaptive loop filter)、双方向フィルタ(bilateral filter)などを含むことができる。
メモリ250のDPBに保存された(修正された)復元ピクチャは、インター予測部260で参照ピクチャとして使用されることができる。メモリ250は、現在ピクチャ内の動き情報が導出された(又は復号化された)ブロックの動き情報及び/又は既に復元されたピクチャ内のブロックの動き情報を保存することができる。前記保存された動き情報は、空間周辺ブロックの動き情報又は時間周辺ブロックの動き情報として活用するために、インター予測部260に伝達することができる。メモリ250は、現在ピクチャ内の復元されたブロックの復元サンプルを保存することができ、イントラ予測部265に伝達することができる。
本明細書において、画像符号化装置100のフィルタリング部160、インター予測部180及びイントラ予測部185で説明された実施例は、それぞれ画像復号化装置200のフィルタリング部240、インター予測部260及びイントラ予測部265にも、同様に又は対応するように適用されることができる。
CTU分割の概要
前述したように、コーディングユニットは、コーディングツリーユニット(CTU)又は最大コーディングユニット(LCU)をQT/BT/TT(Quad-tree/binary-tree/ternary-tree)構造によって再帰的に分割することにより取得できる。例えば、CTUは、まず、四分木構造に分割されることができる。その後、四分木構造のリーフノードは、マルチタイプツリー構造によってさらに分割されることができる。
四分木による分割は、現在CU(又はCTU)を4等分する分割を意味する。四分木による分割によって、現在CUは、同じ幅と同じ高さを有する4つのCUに分割されることができる。現在CUがそれ以上四分木構造に分割されない場合、現在CUは、四分木構造のリーフノードに該当する。四分木構造のリーフノードに該当するCUは、それ以上分割されず、前述した最終コーディングユニットとして使用できる。又は、四分木構造のリーフノードに該当するCUは、マルチタイプツリー構造によってさらに分割されることができる。
図4はマルチタイプツリー構造によるブロックの分割タイプを示す図である。マルチタイプツリー構造による分割は、二分木構造による2つの分割と三分木構造による2つの分割を含むことができる。
二分木構造による2つの分割は、垂直バイナリ分割(vertical binary splitting、SPLIT_BT_VER)と水平バイナリ分割(horizontal binary splitting、SPLIT_BT_HOR)を含むことができる。垂直バイナリ分割(SPLIT_BT_VER)は、現在CUを垂直方向に二等分する分割を意味する。図4に示されているように、垂直バイナリ分割によって、現在CUの高さと同じ高さ及び現在CUの幅の半分の幅を有する2つのCUが生成されることができる。水平バイナリ分割(SPLIT_BT_HOR)は、現在CUを水平方向に二等分する分割を意味する。図4に示されているように、水平バイナリ分割によって、現在CUの高さの半分の高さ、及び現在CUの幅と同じ幅を有する2つのCUが生成されることができる。
三分木構造による2つの分割は、垂直ターナリ分割(vertical ternary splitting、SPLIT_TT_VER)と水平ターナリ分割(horizontal ternary splitting、SPLIT_TT_HOR)を含むことができる。垂直ターナリ分割(SPLIT_TT_VER)は、現在CUを垂直方向に1:2:1の割合で分割する。図4に示されているように、垂直ターナリ分割によって、現在CUの高さと同じ高さ及び現在CUの幅の1/4の幅を有する2つのCUと、現在CUの高さと同じ高さ及び現在CUの幅の半分の幅を有するCUが生成されることができる。水平ターナリ分割(SPLIT_TT_HOR)は、現在CUを水平方向に1:2:1の割合で分割する。図4に示されているように、水平ターナリ分割によって、現在CUの高さの1/4の高さ、及び現在CUの幅と同じ幅を有する2つのCUと、現在CUの高さの半分の高さ、及び現在CUの幅と同じ幅を有する1つのCUが生成されることができる。
図5は本開示によるマルチタイプツリーを伴う四分木(quadtree with nested multi-type tree)構造のパーティション分割情報のシグナリングメカニズムを例示する図である。
ここで、CTUは四分木のルート(root)ノードとして扱われ、四分木構造に初めてパーティショニングされる。現在CU(CTU又は四分木のノード(QT_node))に対して四分木分割を行うか否かを指示する情報(例えば、qt_split_flag)がシグナリングされることができる。例えば、qt_split_flagが第1値(例えば、「1」)であれば、現在CUは四分木に分割されることができる。また、qt_split_flagが第2値(例えば、「0」)であれば、現在CUは、四分木に分割されず、四分木のリーフノード(QT_leaf_node)になる。各四分木のリーフノードは、以後、マルチタイプツリー構造にさらにパーティショニングされることができる。つまり、四分木のリーフノードは、マルチタイプツリーのノード(MTT_node)になることができる。マルチタイプツリー構造で、現在ノードがさらにパーティショニングされるかを指示するために、第1フラグ(a first flag、例えば、mtt_split_cu_flag)がシグナリングされることができる。もし当該ノードがさらにパーティショニングされる場合(例えば、第1フラグが1である場合)には、分割方向(splitting direction)を指示するために、第2フラグ(a second flag、例えば、mtt_split_cu_verticla_flag)がシグナリングされることができる。例えば、第2フラグが1である場合には、分割方向は垂直方向であり、第2フラグが0である場合には、分割方向は水平方向であることができる。その後、分割タイプがバイナリ分割タイプであるかターナリ分割タイプであるかを指示するために、第3フラグ(a third flag、例えば、mtt_split_cu_binary_flag)がシグナリングされることができる。例えば、第3フラグが1である場合には、分割タイプはバイナリ分割タイプであり、第3フラグが0である場合には、分割タイプはターナリ分割タイプであることができる。バイナリ分割又はターナリ分割によって取得されたマルチタイプツリーのノードは、マルチタイプツリー構造にさらにパーティショニングされることができる。しかし、マルチタイプツリーのノードは四分木構造にパーティショニングされることはできない。前記第1フラグが0である場合、マルチタイプツリーの該当ノードは、それ以上分割されず、マルチタイプツリーのリーフノード(MTT_leaf_node)になる。マルチタイプツリーのリーフノードに該当するCUは、前述した最終コーディングユニットとして使用できる。
前述したmtt_split_cu_vertical_flag及びmtt_split_cu_binary_flagに基づいて、CUのマルチタイプツリー分割モード(multi-type tree splitting mode、MttSplitMode)が表1のとおりに導出されることができる。
Figure 2022542855000002
一つのCTUは、ルマサンプルのコーディングブロック(以下、「ルマブロック」という)と、これに対応するクロマサンプルの二つのコーディングブロック(以下、「クロマブロック」という)と、を含むことができる。前述したコーディングツリースキームは、現在CUのルマブロック及びクロマブロックに対して同様に適用されることもでき、個別的に(separate)適用されることもできる。具体的には、一つのCTU内のルマブロック及びクロマブロックが同じブロックツリー構造に分割されることができ、この場合のツリー構造は、シングルツリー(SINGLE_TREE)と表すことができる。又は、一つのCTU内のルマブロック及びクロマブロックは、個別ブロックツリー構造に分割されることができ、この場合のツリー構造は、デュアルツリー(DUAL_TREE)と表すことができる。つまり、CTUがデュアルツリーに分割される場合、ルマブロックに対するブロックツリー構造とクロマブロックに対するブロックツリー構造が別個に存在することができる。このとき、ルマブロックに対するブロックツリー構造は、デュアルツリールマ(DUAL_TREE_LUMA)と呼ばれることができ、クロマブロックに対するブロックツリー構造は、デュアルツリークロマ(DUAL_TREE_CHROMA)と呼ばれることができる。P及びBスライス/タイルグループに対して、一つのCTU内のルマブロック及びクロマブロックは、同じコーディングツリー構造を持つように制限されることができる。しかし、Iスライス/タイルグループに対して、ルマブロック及びクロマブロックは、互いに個別ブロックツリー構造を持つことができる。もし個別ブロックツリー構造が適用される場合、ルマCTB(Coding Tree Block)は、特定のコーディングツリー構造に基づいてCUに分割され、クロマCTBは、他のコーディングツリー構造に基づいてクロマCUに分割されることができる。すなわち、個別ブロックツリー構造が適用されるIスライス/タイルグループ内のCUは、ルマ成分のコーディングブロック又は2つのクロマ成分のコーディングブロックで構成されることができる。また、同一ブロックツリー構造が適用されるIスライス/タイルグループ内のCUとP又はBスライス/タイルグループのCUは、三つのカラー成分(ルマ成分及び二つのクロマ成分)のブロックで構成されることができる。
上記において、マルチタイプツリーを伴った四分木コーディングツリー構造について説明したが、CUが分割される構造はこれに限定されない。例えば、BT構造及びTT構造は、多数の分割ツリー(Multiple Partitioning Tree、MPT)構造に含まれる概念と解釈されることができ、CUはQT構造及びMPT構造によって分割されると解釈することができる。QT構造及びMPT構造によってCUが分割される一例において、QT構造のリーフノードが幾つかのブロックに分割されるかに関する情報を含むシンタックス要素(例えば、MPT_split_type)及びQT構造のリーフノードが垂直及び水平のうちのどの方向に分割されるかに関する情報を含むシンタックス要素(例えば、MPT_split_mode)がシグナリングされることにより、分割構造が決定されることができる。
別の例において、CUは、QT構造、BT構造又はTT構造とは異なる方法で分割されることができる。つまり、QT構造によって下位デプスのCUが上位デプスのCUの1/4サイズに分割されるか、或いはBT構造によって下位デプスのCUが上位デプスのCUの1/2サイズに分割されるか、或いはTT構造によって下位デプスのCUが上位デプスのCUの1/4又は1/2サイズに分割されるのとは異なり、下位デプスのCUは、場合によって、上位デプスのCUの1/5、1/3、3/8、3/5、2/3又は5/8のサイズに分割されることができ、CUが分割される方法は、これに限定されない。
フィルタリングの概要
以下、本開示によるフィルタリング方法について説明する。
本開示の幾つかの実施例によれば、画像符号化/復号化装置によって生成された復元ピクチャに対して、フィルタリングが行われることができる。フィルタリングの実行結果、修正された(modified)復元ピクチャが生成でき、画像復号化装置では、修正された復元ピクチャが最終復号化ピクチャとして決定されることができる。また、画像符号化/復号化装置では、修正された復元ピクチャが復号化ピクチャバッファ(DPB)或いはメモリに保存され、以後、ピクチャの符号化/復号化時に参照ピクチャとして使用されることができる。
本開示の幾つかの実施例によるフィルタリングは、インループフィルタリングと同じ意味で使用されることができる。フィルタリングに使用されるフィルタは、デブロッキングフィルタ(deblocking filter)、SAOフィルタ(sample offset filter)、ALF(adaptive loop filter)、及び/又はバイラテラルフィルタ(bi-lateral filter)のうちの少なくとも一つを含むことができる。上述したデブロッキングフィルタ、SAOフィルタ、ALFフィルタ及び/又はバイラテラルフィルタのうちの少なくとも一つが復元ピクチャに対して順次適用されて修正された復元ピクチャが生成されることができる。フィルタの適用順序は、画像符号化/復号化装置で予め設定されることができる。一例として、復元ピクチャに対してデブロッキングフィルタが適用された後、SAOフィルタが適用されることができる。他の例として、復元ピクチャに対してデブロッキングフィルタが適用された後、ALFフィルタが適用されることができる。本開示の幾つかの実施例によるフィルタリングは、図2のフィルタリング部160及び/又は図3のフィルタリング部240のうちの少なくとも一つによって行われることができる。
一例として、デブロッキングフィルタは、復元ピクチャのブロック境界に生じた歪みを除去するフィルタであり得る。例えば、デブロッキングフィルタは、復元ピクチャからブロック間の境界であるターゲット境界を導出し、ターゲット境界に対するフィルタ強度(boundary strength又はfilter strength)を設定することができる。画像符号化/復号化装置は、設定されたフィルタ強度に基づいたフィルタリングをターゲット境界に適用して、ターゲット境界に対するデブロッキングフィルタリングを行うことができる。このときのフィルタ強度は、ターゲット境界に隣接する2つのブロックの予測モード、動きベクトルの差、参照ピクチャが同一であるか否か、0ではない有効係数の存否のうちの少なくとも一つに基づいて決定されることができる。
他の例として、SAOフィルタは、サンプル単位で復元ピクチャと原本ピクチャとのオフセット差を補償するフィルタであり得る。例えば、SAOフィルタは、バンドオフセット(band offset)フィルタ又はオフセット(offset)フィルタなどのフィルタタイプに実現できる。SAOフィルタが適用される場合、SAOタイプによって、サンプルが互いに異なるカテゴリーに分類され、カテゴリーに基づいて各サンプルに対してオフセット値が加わることができる。SAOフィルタに関する情報は、SAOフィルタの適用有無に関する情報、SAOフィルタタイプ情報、及び/又はSAOオフセット値情報のうちの少なくとも一つを含むことができる。一方、一例として、SAOフィルタは、デブロッキングフィルタが適用された復元ピクチャに限って適用されるように制限できる。
別の例として、ALFフィルタは、復元ピクチャに対してフィルタ形状によるフィルタ係数を適用するサンプル単位フィルタであり得る。画像符号化装置は、復元ピクチャと原本ピクチャとを比較して、ALFフィルタの適用有無、ALFフィルタの形状及び/又はフィルタ係数のうちの少なくとも一つをシグナリングすることができる。すなわち、ALFフィルタに関する情報は、ALFフィルタの適用有無に関する情報、ALFフィルタ形状情報及び/又はALFフィルタリング係数情報のうちの少なくとも一つを含むことができる。一方、一例として、ALFフィルタは、デブロッキングフィルタが適用された復元ピクチャに限って適用されるように制限されることができる。
図6はデブロッキングフィルタの適用方法を説明するための図である。
上述したように、デブロッキングフィルタが復元ピクチャに適用されることができる。デブロッキングフィルタは、ピクチャの復号化/符号化順序に基づいて、現在ブロックに含まれるそれぞれのCU又はTUの境界に対して適用されることができる。
図6を参照すると、本開示の幾つかの実施例によるデブロッキングフィルタ適用方法は、デブロッキングフィルタリングを適用するターゲット境界を誘導するステップ(S610)、フィルタ強度を決定するステップ(S620)、及び決定されたフィルタ強度に基づいてターゲット境界に対してデブロッキングフィルタを適用するステップ(S630)を含むことができる。
以下、ターゲット境界に適用されるフィルタ強度を決定するステップ(S620)について説明する。本開示の幾つかの実施例によれば、フィルタ強度は、ターゲット境界に隣接する変換ブロック条件に応じて決定されることができる。以下の説明において、ターゲット境界が垂直境界である場合、ターゲット境界を基準として左側ブロックをPブロック、右側ブロックをQブロックと定義することができる。また、ターゲット境界が水平境界である場合、ターゲット境界を基準として上側ブロックをPブロック、下側ブロックをQブロックと定義することができる。また、以下の説明において、フィルタ強度の第1値、第2値及び第3値はそれぞれ0、1、2を意味することができるが、このような定義に本開示の権利範囲が制限されるものではない。
一例として、一つの輝度CUに含まれるPブロックサンプル及びQブロックサンプルに対してBDPCM(block based quantized residual domain differential pulse-code modulation)が適用される場合、ターゲット境界に対するフィルタ強度は、第1値に決定されることができる。他の例として、一つのCUに含まれるPブロックサンプル及びQブロックサンプルがイントラ予測される場合、ターゲット境界に対するフィルタ強度は、第3値に決定されることができる。別の例として、ターゲット境界がTUの境界であり、一つのCUに含まれるPブロックサンプル及びQブロックサンプルにCIP(combined inter and intra prediction)が適用される場合、ターゲット境界に対するフィルタ強度は、第3値に決定されることができる。別の例として、ターゲット境界がTUの境界であり、一つのTUに含まれるPブロックサンプル及びQブロックサンプルのうちの少なくとも一つが0ではない変換係数レベルを有する場合、ターゲット境界に対するフィルタ強度は、第2値に決定されることができる。別の例として、Pブロックサンプルを含むCUのサブブロックの予測モードがQブロックサンプルを含むCUのサブブロックの予測モードと異なる場合、ターゲット境界に対するフィルタ強度は、第2値に決定されることができる。
別の例として、現在ブロックが輝度ブロックであり、次の条件のうちの少なくとも一つを満たす場合、ターゲット境界に対するフィルタ強度は、第2値に決定されることができる。一方、次の条件を全て満たさない場合、ターゲット境界に対するフィルタ強度は、第1値に決定されることができる。例えば、Pブロックサンプルを含むCUのサブブロック及びQブロックサンプルを含むCUのサブブロックが全てIBCモードに符号化/復号化され、各サブブロックの動きベクトルの水平値或いは垂直値の差が1.4輝度サンプル4単位以上である場合、ターゲット境界に対するフィルタ強度は、第2値に決定されることができる。Pブロックサンプルを含むCUのサブブロック及びQブロックサンプルを含むCUのサブブロックが互いに異なる参照ピクチャを参照するか、互いに異なる数の動きベクトルを有する場合、ターゲット境界に対するフィルタ強度は、第2値に決定されることができる。Pブロックサンプルを含むCUのサブブロック及びQブロックサンプルを含むCUのサブブロックを予測するためにそれぞれ1つの動きベクトルが用いられ、各サブブロックの動きベクトルの水平値或いは垂直値の差が1/4輝度サンプル4単位以上である場合、ターゲット境界に対するフィルタ強度は、第2値に決定されることができる。Pブロックサンプルを含むCUのサブブロックを予測するために2つの動きベクトル及び2つの互いに異なる参照ピクチャが用いられ、Qブロックサンプルを含むCUのサブブロックを予測するために2つの動きベクトル及び2つの同じ参照ピクチャが用いられ、同じ参照ピクチャに対する動きベクトルの水平値或いは垂直値の差が1/4輝度サンプル4単位以上である場合、ターゲット境界に対するフィルタ強度は、第2値に決定されることができる。
Pブロックサンプルを含むCUのサブブロックを予測するために2つの動きベクトル及び2つの同じ参照ピクチャが用いられ、Qブロックサンプルを含むCUのサブブロックを予測するために2つの動きベクトル及び2つの同じ参照ピクチャが用いられる場合、次の2つの条件を満たすとき、ターゲット境界に対するフィルタ強度は、第2値に決定されることができる。第1条件は、各サブブロックのリスト0動きベクトルの水平値或いは垂直値の差が1/4輝度サンプル4単位以上であるか、各サブブロックのリスト1動きベクトルの水平値或いは垂直値の差が1/4輝度サンプル4単位以上である場合の条件を意味することができる。第2条件は、Pブロックサンプルを含むCUのサブブロックを予測するためのリスト0動きベクトル及びQブロックサンプルを含むCUのサブブロックを予測するためのリスト1動きベクトルの水平値或いは垂直値の差が1/4輝度サンプル4単位以上であるか、或いはPブロックサンプルを含むCUのサブブロックを予測するためのリスト1動きベクトル及びQブロックサンプルを含むCUのサブブロックを予測するためのリスト0動きベクトルの水平値又は垂直値の差が1/4輝度サンプル4単位以上である場合の条件を意味することができる。
画像符号化/復号化装置は、上述した条件に基づいてターゲット境界に対するフィルタ強度を決定することができる。一方、フィルタ強度が第1値を有する場合、ターゲット境界に対してフィルタリングが行われないことができる。本開示の幾つかの実施例によるデブロッキングフィルタは、フィルタ強度及び/又はフィルタ長(filter length)のうちの少なくとも一つに基づいて適用されることができる。
以下では、復元輝度サンプル値によるフィルタ強度決定方法について説明する。
図7はデブロッキングフィルタのフィルタ強度決定方法を説明するための図である。
本開示の幾つかの実施例において、デブロッキングフィルタは、変数βとtCによって決定されることができる。ここで、変数βとtCは、量子化パラメータqP_Lによって決定される値であり得る。一例として、デブロッキングフィルタのフィルタ強度は、復元された輝度サンプル値に応じて決定されるオフセットをqP_Lに加えて誘導されることができる。一例として、復元輝度レベルはLLと定義されることができ、LLは次の数式1によって誘導されることができる。
[数1]
LL=((p_0,0+p_0,3+q_0,0+q_0,3)>>2)/(1<<bitDepth)
数式1のp_i,k及びq_i,kは、図7によって決定されるPブロック或いはQブロックのサンプル値を意味することができる。
一方、qP_Lは、次の数式2によって誘導されることができる。
[数2]
qP_L=((Q_p_Q+Q_p_P+1)>>1)+qpOffset
数式2のQ_p_Q及びQ_p_Pは、q_0,0及びp_0,0を含むCUの量子化パラメータを意味することができ、qpOffsetは、SPSレベルで伝送されるオフセット値であり得る。
本開示の幾つかの実施例によれば、デブロッキングフィルタは、8×8領域に対して適用できる。デブロッキングフィルタは、CUの境界だけでなく、CUを構成するサブブロック或いは変換ブロックの境界に対しても適用できる。この場合、サブブロックは、サブブロックベースのマージモード、アフィンモード、ISP(Intra Sub Partitions)モード及び/又はサブブロックベースの変換によって生成されるサブブロック或いは変換ブロックのうちの少なくとも一つを意味することができる。
ISPモード又はサブブロックベースの変換によって生成されたサブブロックに対して、デブロッキングフィルタは、TUの境界を横切る境界に0ではない係数が存在する場合に適用されることができる。一方、サブブロックベースのマージモード或いはアフィンモードによるサブブロックに対して、デブロッキングフィルタは、隣接するサブブロックの動きベクトル及び参照ピクチャに基づいて適用されることができる。
ISP(Intra Sub-partitions)の概要
図8はイントラ予測技法のうちのイントラサブパーティション(ISP)を説明するための図である。
従来のイントラ予測は、現在符号化/復号化対象ブロック(現在ブロック)を一つのユニットとして見なして分割なしに符号化/復号化を行う。ところが、ISPが適用される場合、現在ブロックを水平方向或いは垂直方向に分割してイントラ予測符号化/復号化が行われることができる。この際、分割されたISPサブブロック単位で符号化/復号化を行って復元されたISPサブブロックが生成され、復元されたISPサブブロックは、次の分割されたISPサブブロックの参照ブロックとして使用されることができる。
現在ブロックに対してISPモードが適用される場合、現在ブロックを水平方向又は垂直方向に分割して取得されたISPサブブロックのそれぞれに対してイントラ予測が行われることができる。すなわち、ISPサブブロック単位でイントラ予測、レジデュアル信号生成及び復元信号生成が行われ、復元されたサブパーティションの復元信号は、次のサブパーティションのイントラ予測の参照サンプルとして使用されることができる。
画像符号化装置は、様々な方法(例えば、RDOベースの方法)でISP分割方向を決定することができる。決定された分割方向は、ISPの分割方向に関する情報であって、ビットストリームを介して明示的にシグナリングされることができる。画像復号化装置は、シグナリングされた分割方向に関する情報に基づいて現在ブロックのISP分割方向を決定することができる。現在ブロックのサイズ(幅又は高さ)など、現在ブロックの符号化パラメータによってISP分割方向が暗黙的に決定される場合、画像符号化装置と画像復号化装置は、同じ方法で現在ブロックのISP分割方向を決定することができる。
現在ブロックを分割して取得されたISPサブブロックは、それぞれ少なくとも16個のサンプルを含むことが要求されることができる。例えば、現在ブロックが4×4ブロックである場合、ISPが適用されないものと暗黙的に決定されることができる。また、現在ブロックが4×8ブロック又は8×4ブロックである場合、図8(a)に示すように、ISPが適用される現在ブロックは2つのISPサブブロックに分割されることができる。また、現在ブロックが4×4ブロック、4×8ブロック又は8×4ブロックでない場合には、図8(b)に示すように、ISPが適用される現在ブロックは4つのISPサブブロックに分割されることができる。図8(a)及び図8(b)に示された例において、ISP分割方向が水平方向である場合、上側のISPサブブロックから下側のISPサブブロックへの順に符号化及び/又は復号化が行われることができる。また、分割方向が垂直方向である場合、左側のISPサブブロックから右側のISPサブブロックへの順に符号化及び/又は復号化が行われることができる。
一例として、現在ブロックのサイズによるISPサブブロック或いは係数グループ(Coefficient Group)のサイズは、下記表2に基づいて決定されることができる。
Figure 2022542855000003
実施例#1
以下、上述したデブロッキングフィルタを用いて、画像を符号化/復号する方法について説明する。本開示の一実施例によれば、デブロッキングフィルタのフィルタ長が決定されることができる。以下の説明において、変換ブロック、Pブロック及び/又はQブロックがISPモードに基づいて誘導されたサブブロックであることを例として説明するが、本開示の権利範囲はこれに限定されない。ここで、変換ブロックは、ターゲット境界に隣接するPブロックとQブロックのうちの少なくとも一つを指し示すことができる。また、以下の説明は、現在ブロック又は変換ブロックは輝度ブロックであることを例として説明するが、本開示の権利範囲はこれに限定されるものではない。
本開示の一実施例によれば、Pブロックの幅又はQブロックの幅が4である場合、垂直境界であるターゲット境界に適用されるQブロックフィルタ長は1と決定されることができる。これに対し、Qブロックの幅が32以上である場合、ターゲット境界に適用されるQブロックフィルタ長は7と決定されることができる。その他の場合には、ターゲット境界に適用されるQブロックフィルタ長は3と決定されることができる。
一方、Pブロックの幅又はQブロックの幅が4である場合、垂直境界であるターゲット境界に適用されるPブロックフィルタ長は1と決定されることができる。これに対し、Pブロックの幅が32以上である場合、ターゲット境界に適用されるPブロックフィルタ長は7と決定されることができる。その他の場合には、ターゲット境界に適用されるPブロックフィルタ長は3と決定されることができる。
一方、Pブロックの高さ又はQブロックの高さが4である場合、水平境界であるターゲット境界に適用されるQブロックフィルタ長は1と決定されることができる。これに対し、Qブロックの高さが32以上である場合、ターゲット境界に適用されるフィルタ長は7と決定されることができる。その他の場合には、ターゲット境界に適用されるQブロックフィルタ長は3と決定されることができる。
一方、Pブロックの高さ又はQブロックの高さが4である場合、水平境界であるターゲット境界に適用されるPブロックフィルタ長は1と決定されることができる。これに対し、Pブロックの高さが32以上である場合、ターゲット境界に適用されるフィルタ長は7と決定されることができる。その他の場合には、ターゲット境界に適用されるPブロックフィルタ長は3と決定されることができる。
本開示の一実施例によれば、変換ブロックの幅又はサイズが、予め設定された値以下である場合には、フィルタの並列化が実行できないという問題点が発生するおそれがある。以下、上述した実施例において発生し得るデブロッキングフィルタの問題点について詳細に説明する。
図9~図11はターゲット境界に適用されるデブロッキングフィルタのフィルタ長決定方法を説明するための図である。
図9~図11は、16×16のブロックが4つの4×16ブロックに分割され、2番目及び4番目の4×16ブロックがISPモードによってそれぞれ2つの2×16及び4つの1×16のサブブロックに分割された様子を示す。
図9を参照すると、1番目のフィルタ境界に対しては、Pブロックフィルタ長が1と決定され、Qブロックフィルタ境界が3と決定されることができる。図10を参照すると、2番目のフィルタ境界に対してPブロックフィルタ長が3と決定され、Qブロックフィルタ長が1と決定されることができる。図11を参照すると、3番目のフィルタ境界に対してQブロックフィルタ長が3と決定され、4番目のフィルタ境界に対してPブロックフィルタ長が3と決定されることができる。
図10と図11の場合、サブブロックの幅が4より小さいにも拘らず、当該ブロックがPブロックである場合のフィルタ長とQブロックである場合のフィルタ長との和が4を超えるので、両境界によって適用されるフィルタリング間の重畳が発生する可能性がある。このようなフィルタ長の重畳によってフィルタリングに対する並列処理が実行できないという問題点が生じるおそれがある。以下では、かかる問題点を解決する方法について詳細に説明する。
特に、現在ブロックに対してISPモードが適用される場合、イントラ予測結果として発生した変換ブロックが、従来で定義した最大変換ブロックのサイズよりも小さいサイズを有する場合が生じることがある。すなわち、本開示の幾つかの実施例によれば、ISPモードが適用されたブロックに対しても、フィルタリングに対する並列処理が実行できる。
図12は本開示の一実施例による画像復号化方法を説明するための図である。
図12を参照すると、本開示の一実施例による画像符号化/復号化方法は、現在ブロックに対する復元ブロックを誘導するステップ(S1210)、復元ブロックに対するターゲット境界(target boundary)を誘導するステップ(S1220)、ターゲット境界に適用されるデブロッキングフィルタ(deblocking filter)のフィルタ長を決定するステップ(S1230)、及び/又は決定されたフィルタ長に基づいてデブロッキングフィルタを適用するステップ(S1240)を含むことができる。
この場合、フィルタ長は、前記ターゲット境界に隣接する変換ブロックの幅又は高さのうちの少なくとも一つに基づいて決定されることができる。
実施例#2
本開示の他の一実施例によれば、変換ブロックの幅又は高さが所定の条件を満たす場合、これを考慮して、ターゲット境界に適用されるフィルタ長が決定されることができる。
一例として、変換ブロックの幅又は高さが最小変換ブロックのサイズよりも小さい場合、ターゲット境界に適用されるフィルタ長は、予め設定された値に決定されることができる。例えば、変換ブロックの幅又は高さが4より小さい場合、ターゲット境界に適用されるフィルタ長は1と決定されることができる。
図13及び図14は本開示の他の一実施例によるデブロッキングフィルタ長の決定方法を説明するための図である。
図13は、図10の実施例による問題点を解決したデブロッキングフィルタ長の決定方法を示す。変換ブロックの幅又は高さが4以下である場合、ターゲット境界のフィルタ長は1と決定されることができる。図13を参照すると、2×16のサブブロックの幅は4以下であるので、1番目のターゲット境界のQブロックフィルタ長及び2番目のターゲット境界のPブロックフィルタ長はいずれも1と決定されることができる。これにより、1番目のターゲット境界のQブロックフィルタと2番目のターゲット境界のPブロックフィルタとの重畳が発生しないことができる。
図14は図11の実施例による問題点を解決したデブロッキングフィルタ長の決定方法を示す。図13を参照すると、1×16のISPサブブロックの幅は4以下であるので、1番目のターゲット境界のQブロックフィルタ長及び2番目のターゲット境界のPブロックフィルタ長はいずれも1と決定されることができる。これにより、3番目のターゲット境界のQブロックフィルタ及び4番目のターゲット境界のPブロックフィルタとの重畳が発生しないことができる。
図15及び図16は本開示の他の一実施例によるデブロッキングフィルタ長の決定方法を説明するための他の図である。
図15を参照すると、まず、誘導されたターゲット境界が垂直境界であるか或いは水平境界であるかが判断できる(S1510)。ターゲット境界が水平境界である場合(S1510-N)、水平境界のフィルタ長誘導プロセス(S1525)が行われることができる。水平境界のフィルタ長誘導プロセスについては、図16を参照して説明する。
一例として、画像符号化/復号化装置は、Qブロックフィルタ長を先に決定することができる。ターゲット境界が垂直境界である場合(S1510-Y)、Pブロックの幅又はQブロックの幅のうちの少なくとも一つが第1値以下であるか否かが判断できる(S1520)。Pブロックの幅又はQブロックの幅のうちの少なくとも一つが第1値以下である場合(S1520-Y)、ターゲット境界に対するQブロックフィルタ長は第1長さに決定されることができる(S1521)。一方、Pブロックの幅及びQブロックの幅が第1値を超える場合(S1520-N)、Qブロックの幅が第2値以上であるか否かが判断できる(S1530)。Qブロックの幅が第2値以上である場合(S1530-Y)、ターゲット境界に対するQブロックフィルタ長は第2長さに決定されることができる(S1531)。一方、Qブロックの幅が第1値超過、第2値未満である場合(S1530-N)、ターゲット境界に対するQブロックフィルタ長は第3長さに決定されることができる(S1532)。
次に、画像符号化/復号化装置は、Pブロックフィルタ長を決定することができる。Qブロックフィルタ長の決定後、Pブロックの幅又はQブロックの幅のうちの少なくとも一つが第1値以下であるか否かが判断できる(S1540)。Pブロックの幅又はQブロックの幅のうちの少なくとも一つが第1値以下である場合(S1540-Y)、ターゲット境界に対するPブロックフィルタ長は第1長さに決定されることができる(S1541)。一方、Pブロックの幅及びQブロックの幅が第1値を超える場合(S1540-N)、Pブロックの幅が第2値以上であるか否かが判断できる(S1550)。Pブロックの幅が第2値以上である場合(S1550-Y)、ターゲット境界に対するPブロックフィルタ長は第2長さに決定されることができる(S1551)。一方、Pブロックの幅が第1値超過、第2値未満である場合(S1550-N)、ターゲット境界に対するPブロックフィルタ長は第3長さに決定されることができる(S1552)。
一例として、上述した第1値及び第2値は、それぞれ4及び32であり得る。また、第1長さ、第2長さ及び第3長さはそれぞれ1、7、3の値を持つことができるが、これは例示に過ぎず、これに限定されるものではない。また、上述した例示では、Qブロックフィルタ長を先に誘導し、Pブロックフィルタ長を誘導する実施例について説明したが、これは例示に過ぎず、Qブロックフィルタ長の誘導後にPブロックフィルタ長を誘導する実施例や、Qブロックフィルタ長とPブロックフィルタ長を同時に誘導する実施例も、本開示の権利範囲に含まれることができる。
図16を参照すると、まず、誘導されたターゲット境界が垂直境界であるか或いは水平境界であるかが判断できる(S1610)。図16のS1620~S1651は、図15のS1525を詳細に説明したものであり得る。また、図16のS1610と図15のS1510は同じ構成を示すものであり得る。
一例として、画像符号化/復号化装置は、Qブロックフィルタ長を先に決定することができる。ターゲット境界が水平境界である場合(S1610-Y)、Pブロックの高さ又はQブロックの高さのうちの少なくとも一つが第1値以下であるか否かが判断できる(S1620)。Pブロックの幅又はQブロックの幅のうちの少なくとも一つが第1値以下である場合(S1620-Y)、ターゲット境界に対するQブロックフィルタ長は第1長さに決定されることができる(S1621)。一方、Pブロックの高さ及びQブロックの高さが第1値を超える場合(S1620-N)、Qブロックの高さが第2値以上であるか否かが判断できる(S1630)。Qブロックの高さが第2値以上である場合(S1630-Y)、ターゲット境界に対するQブロックフィルタ長は第2長さに決定されることができる(S1631)。一方、Qブロックの高さが第1値超過、第2値未満である場合(S1530-N)、ターゲット境界に対するQブロックフィルタ長は、第3長さに決定されることができる(S1532)。
次に、画像符号化/復号化装置は、Pブロックフィルタ長を決定することができる。Qブロックフィルタ長の決定後、Pブロックの高さ又はQブロックの高さのうちの少なくとも一つが第1値以下であるか否かが判断できる(S1640)。Pブロックの高さ又はQブロックの高さのうちの少なくとも一つが第1値以下である場合(S1640-Y)、ターゲット境界に対するPブロックフィルタ長は第1長さに決定されることができる(S1641)。一方、Pブロックの高さ及びQブロックの高さが第1値を超える場合(S1640-N)、Pブロックの高さが第2値以上であるか否かが判断できる(S1650)。Pブロックの高さが第2値以上である場合(S1650-Y)、ターゲット境界に対するPブロックフィルタ長は第2長さに決定されることができる(S1651)。一方、Pブロックの高さが第1値超過、第2値未満である場合(S1650-N)、ターゲット境界に対するPブロックフィルタ長は第3長さに決定されることができる(S1652)。
一例として、上述した第1値及び第2値はそれぞれ4及び32であり得る。また、第1長さ、第2長さ及び第3長さはそれぞれ1、7及び3の値を持つことができるが、これは例示に過ぎず、これに限定されるものではない。また、上述した例示では、Qブロックフィルタ長を先に誘導し、Pブロックフィルタ長を誘導する実施例を説明したが、これは例示に過ぎず、Qブロックフィルタ長の誘導後にPブロックフィルタ長を誘導する実施例や、Qブロックフィルタ長とPブロックフィルタ長を同時に誘導する実施例も、本開示の権利範囲に含まれることができる。
本実施例によれば、変換ブロックのサイズが小さくなり(例えば、ISPモードが適用されて生成されたサブブロックの場合)、デブロッキングフィルタの並列処理が不可能になる状況、又は互いに異なるターゲット境界によるフィルタ間の重畳が生じる状況などが発生しないので、画像符号化/復号化装置は、常にフィルタ並列処理を行うことができ、画像符号化/復号化効率を増大させることができる。
本明細書において、並列化或いは並列処理が行われるというのは、画像符号化/復号化装置が常に並列処理を行うことを意味するものではない。並列処理が支援される場合でも、画像符号化/復号化装置のハードウェア性能、サービスタイプ及びサービス品質を考慮して、並列処理を行うか否かが決定されることができる。例えば、画像符号化/復号化装置が多重プロセッサを用いて実現される場合、本開示による実施例を介してデブロッキングフィルタの並列処理が行われることができる。一方、画像符号化/復号化装置が単一プロセッサを用いて実現される場合には、上述した実施例を適用せず、順次ターゲット境界に対してデブロッキングフィルタが適用できる。
本開示の例示的な方法は、説明の明確性のために動作のシリーズで表現されているが、これは、ステップが行われる順序を制限するためのものではなく、必要な場合には、それぞれのステップが同時に又は異なる順序で行われることもできる。本開示による方法を実現するために、例示するステップにさらに他のステップを含むか、一部のステップを除いて残りのステップを含むか、又は一部のステップを除いて追加の他のステップを含むこともできる。
本開示において、所定の動作(ステップ)を行う画像符号化装置又は画像復号化装置は、当該動作(ステップ)の実行条件や状況を確認する動作(ステップ)を行うことができる。例えば、所定の条件が満足される場合、所定の動作を行うと記載された場合、画像符号化装置又は画像復号化装置は、前記所定の条件が満足されるか否かを確認する動作を行った後、前記所定の動作を行うことができる。
本開示の様々な実施例は、すべての可能な組み合わせを羅列したものではなく、本開示の代表的な態様を説明するためのものであり、様々な実施例で説明する事項は、独立して適用されてもよく、2つ以上の組み合わせで適用されてもよい。
また、本開示の様々な実施例は、ハードウェア、ファームウェア(firmware)、ソフトウェア、又はそれらの組み合わせなどによって実現できる。ハードウェアによる実現の場合、1つ又はそれ以上のASICs(Application Specific Integrated Circuits)、DSPs(Digital Signal Processors)、DSPDs(Digital Signal Processing Devices)、PLDs(Programmable Logic Devices)、FPGAs(Field Programmable Gate Arrays)、汎用プロセッサ(general processor)、コントローラ、マイクロコントローラ、マイクロプロセッサなどによって実現できる。
また、本開示の実施例が適用された画像復号化装置及び画像符号化装置は、マルチメディア放送送受信装置、モバイル通信端末、ホームシネマビデオ装置、デジタルシネマビデオ装置、監視用カメラ、ビデオ会話装置、ビデオ通信などのリアルタイム通信装置、モバイルストリーミング装置、記憶媒体、カムコーダ、注文型ビデオ(VoD)サービス提供装置、OTTビデオ(Over the top video)装置、インターネットストリーミングサービス提供装置、3次元(3D)ビデオ装置、画像電話ビデオ装置、及び医療用ビデオ装置などに含まれることができ、ビデオ信号又はデータ信号を処理するために使用できる。例えば、OTTビデオ(Over the top video)装置としては、ゲームコンソール、ブルーレイプレーヤー、インターネット接続TV、ホームシアターシステム、スマートフォン、タブレットPC、DVR(Digital Video Recoder)などを含むことができる。
図17は本開示の実施例が適用できるコンテンツストリーミングシステムを例示する図である。
図17に示されているように、本開示の実施例が適用されたコンテンツストリーミングシステムは、大きく、符号化サーバ、ストリーミングサーバ、Webサーバ、メディアストレージ、ユーザ装置及びマルチメディア入力装置を含むことができる。
前記符号化サーバは、スマートフォン、カメラ、カムコーダなどのマルチメディア入力装置から入力されたコンテンツをデジタルデータに圧縮してビットストリームを生成し、これを前記ストリーミングサーバに伝送する役割を果たす。他の例として、スマートフォン、カメラ、ビデオカメラなどのマルチメディア入力装置がビットストリームを直接生成する場合、前記符号化サーバは省略できる。
前記ビットストリームは、本開示の実施例が適用された画像符号化方法及び/又は画像符号化装置によって生成でき、前記ストリーミングサーバは、前記ビットストリームを伝送又は受信する過程で一時的に前記ビットストリームを保存することができる。
前記ストリーミングサーバは、Webサーバを介してユーザの要求に基づいてマルチメディアデータをユーザ装置に伝送し、前記Webサーバは、ユーザにどんなサービスがあるかを知らせる媒介体の役割を果たすことができる。ユーザが前記Webサーバに所望のサービスを要求すると、前記Webサーバは、これをストリーミングサーバに伝達し、前記ストリーミングサーバは、ユーザにマルチメディアデータを伝送することができる。この時、前記コンテンツストリーミングシステムは、別途の制御サーバを含むことができ、この場合、前記制御サーバは、前記コンテンツストリーミングシステム内の各装置間の命令/応答を制御する役割を果たすことができる。
前記ストリーミングサーバは、メディアストレージ及び/又は符号化サーバからコンテンツを受信することができる。例えば、前記符号化サーバからコンテンツを受信する場合、前記コンテンツをリアルタイムで受信することができる。この場合、円滑なストリーミングサービスを提供するために、前記ストリーミングサーバは、前記ビットストリームを一定時間の間保存することができる。
前記ユーザ装置の例としては、携帯電話、スマートフォン(smart phone)、ノートパソコン(laptop computer)、デジタル放送用端末、PDA(personal digital assistants)、PMP(portable multimedia player)、ナビゲーション、スレートPC(slate PC)、タブレットPC(tablet PC)、ウルトラブック(ultrabook)、ウェアラブルデバイス(wearable device)、例えば、スマートウォッチ(smartwatch)、スマートグラス(smart glass)、HMD(head mounted display)、デジタルTV、デスクトップコンピュータ、デジタルサイネージなどがあり得る。
前記コンテンツストリーミングシステム内の各サーバは、分散サーバとして運営されることができ、この場合、各サーバから受信するデータは、分散処理されることができる。
本開示の範囲は、様々な実施例の方法による動作が装置又はコンピュータ上で実行されるようにするソフトウェア又はマシン-実行可能なコマンド(例えば、オペレーティングシステム、アプリケーション、ファームウェア(firmware)、プログラムなど)、及びこのようなソフトウェア又はコマンドなどが保存されて装置又はコンピュータ上で実行できる非一時的なコンピュータ可読媒体(non-transitory computer-readable medium)を含む。
本開示による実施例は、画像を符号化/復号化するために利用可能である。

Claims (15)

  1. 画像復号化方法によって行われる画像復号化方法であって、
    前記画像復号化方法は、
    現在ブロックに対する復元ブロックを誘導するステップと、
    前記復元ブロックに対するターゲット境界(target boundary)を誘導するステップと、
    前記ターゲット境界に適用されるデブロッキングフィルタ(deblocking filter)のフィルタ長(filter length)を決定するステップと、
    決定された前記フィルタ長に基づいて前記ターゲット境界に対して前記デブロッキングフィルタを適用するステップと、を含み、
    前記フィルタ長は、前記ターゲット境界に隣接する変換ブロックの幅又は高さのうちの少なくとも一つに基づいて決定されることを特徴とする、画像復号化方法。
  2. 前記現在ブロックは、ISP(Intra Sub-partitions)モードが適用されたブロックであることを特徴とする、請求項1に記載の画像復号化方法。
  3. 前記ターゲット境界の境界タイプを決定するステップをさらに含み、
    前記境界タイプは、垂直境界及び水平境界のうちのいずれか一つに決定されることを特徴とする、請求項1に記載の画像復号化方法。
  4. 前記ターゲット境界が垂直境界であり、前記変換ブロックの幅が第1値以下である場合、前記フィルタ長は第1長さに決定されることを特徴とする、請求項3に記載の画像復号化方法。
  5. 前記変換ブロックの幅が第2値以上である場合、前記フィルタ長は第2長さに決定されることを特徴とする、請求項4に記載の画像復号化方法。
  6. 前記変換ブロックの幅が前記第1値超過、前記第2値未満である場合、前記フィルタ長は第3長さに決定されることを特徴とする、請求項5に記載の画像復号化方法。
  7. 前記第1値は4であり、前記第1長さは1であることを特徴とする、請求項6に記載の画像復号化方法。
  8. 前記ターゲット境界が水平境界であり、前記変換ブロックの高さが第1値以下である場合、前記フィルタ長は第1長さに決定されることを特徴とする、請求項3に記載の画像復号化方法。
  9. 前記変換ブロックの高さが第2値以上である場合、前記フィルタ長は第2長さに決定されることを特徴とする、請求項8に記載の画像復号化方法。
  10. 前記変換ブロックの高さが前記第1値超過、前記第2値未満である場合、前記フィルタ長は第3長さに決定されることを特徴とする、請求項9に記載の画像復号化方法。
  11. 前記第1値は4であり、前記第1長さは1であることを特徴とする、請求項10に記載の画像復号化方法。
  12. メモリと、少なくとも一つのプロセッサとを含む画像復号化装置であって、
    前記少なくとも一つのプロセッサは、
    現在ブロックに対する復元ブロックを誘導し、
    前記復元ブロックに対するターゲット境界(target boundary)を誘導し、
    前記ターゲット境界に適用されるデブロッキングフィルタ(deblocking filter)のフィルタ長(filter length)を決定し、
    決定された前記フィルタ長に基づいて前記ターゲット境界に対して前記デブロッキングフィルタを適用し、
    前記フィルタ長は、前記ターゲット境界に隣接する変換ブロックの幅又は高さのうちの少なくとも一つに基づいて決定されることを特徴とする、画像復号化装置。
  13. 画像符号化装置によって行われる画像符号化方法であって、
    前記画像復号化方法は、
    現在ブロックに対する復元ブロックを誘導するステップと、
    前記復元ブロックに対するターゲット境界(target boundary)を誘導するステップと、
    前記ターゲット境界に適用されるデブロッキングフィルタ(deblocking filter)のフィルタ長(filter length)を決定するステップと、
    決定された前記フィルタ長に基づいて前記ターゲット境界に対して前記デブロッキングフィルタを適用するステップ、を含み、
    前記フィルタ長は、前記ターゲット境界に隣接する変換ブロックの幅又は高さのうちの少なくとも一つに基づいて決定されることを特徴とする、画像符号化方法。
  14. 前記現在ブロックは、ISP(Intra Sub-partitions)モードが適用されたブロックであることを特徴とする、請求項14に記載の画像符号化方法。
  15. 請求項13に記載の画像符号化方法によって生成されたビットストリームを伝送する方法。
JP2022503901A 2019-07-19 2020-07-20 フィルタリングを用いた画像符号化/復号化方法、装置、及びビットストリームを伝送する方法 Pending JP2022542855A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962875974P 2019-07-19 2019-07-19
US62/875,974 2019-07-19
PCT/KR2020/009523 WO2021015513A1 (ko) 2019-07-19 2020-07-20 필터링을 이용한 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법

Publications (1)

Publication Number Publication Date
JP2022542855A true JP2022542855A (ja) 2022-10-07

Family

ID=74194029

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022503901A Pending JP2022542855A (ja) 2019-07-19 2020-07-20 フィルタリングを用いた画像符号化/復号化方法、装置、及びビットストリームを伝送する方法

Country Status (9)

Country Link
US (3) US11539945B2 (ja)
EP (1) EP4002852A4 (ja)
JP (1) JP2022542855A (ja)
KR (1) KR20220027986A (ja)
CN (1) CN114402598A (ja)
BR (1) BR112022001077A2 (ja)
CA (2) CA3240495A1 (ja)
MX (1) MX2022000820A (ja)
WO (1) WO2021015513A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3139212A1 (fr) * 2022-08-29 2024-03-01 Commissariat à l'Energie Atomique et aux Energies Alternatives Système et procédé de construction de structures adaptatives de partitionnement de données en flux

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010510748A (ja) * 2006-11-22 2010-04-02 サムスン エレクトロニクス カンパニー リミテッド デブロッキング・フィルタリング方法及び装置
WO2019137751A1 (en) * 2018-01-10 2019-07-18 Telefonaktiebolaget Lm Ericsson (Publ) Determining filter length for deblocking during encoding and/or decoding of video

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100678958B1 (ko) 2005-07-29 2007-02-06 삼성전자주식회사 인트라 bl 모드를 고려한 디블록 필터링 방법, 및 상기방법을 이용하는 다 계층 비디오 인코더/디코더
TWI600318B (zh) * 2010-05-18 2017-09-21 Sony Corp Image processing apparatus and image processing method
PH12015501384A1 (en) * 2010-12-07 2015-09-28 Sony Corp Image processing device and image processing method
CN107197262B (zh) 2011-07-19 2018-10-23 太格文-Ii有限责任公司 解码方法以及解码装置
CN103947203B (zh) * 2011-09-20 2018-08-07 Lg电子株式会社 用于编码/解码图像信息的方法和装置
EP3654647A1 (en) * 2011-11-03 2020-05-20 Sun Patent Trust Efficient rounding for deblocking
RU2602986C2 (ru) * 2012-01-17 2016-11-20 Инфобридж Пте. Лтд. Способ применения краевого смещения
US9832467B2 (en) * 2014-10-07 2017-11-28 Qualcomm Incorporated Deblock filtering for intra block copying
KR102437742B1 (ko) * 2016-08-21 2022-08-29 엘지전자 주식회사 영상 부호화/복호화 방법 및 이를 위한 장치
US11153607B2 (en) * 2018-01-29 2021-10-19 Mediatek Inc. Length-adaptive deblocking filtering in video coding
US10750171B2 (en) * 2018-06-25 2020-08-18 Google Llc Deblocking filtering

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010510748A (ja) * 2006-11-22 2010-04-02 サムスン エレクトロニクス カンパニー リミテッド デブロッキング・フィルタリング方法及び装置
WO2019137751A1 (en) * 2018-01-10 2019-07-18 Telefonaktiebolaget Lm Ericsson (Publ) Determining filter length for deblocking during encoding and/or decoding of video

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JANG, HYEONGMUN ET AL.: "CE5-2.3 and CE5-2.4: Filter Length Decision which Support Parallel Processing and Aligned Filtering", JVET-O0091 (VERSION 4), JPN6023007141, 21 June 2019 (2019-06-21), pages 1 - 13, ISSN: 0005001654 *
KOTRA, ANAND MEHER ET AL.: "CE5-1.1: Modification of Sub-PU Deblocking and Longer Tap Filter", JVET-O0083 (VERSION 1), JPN6023007139, 18 June 2019 (2019-06-18), pages 1 - 5, ISSN: 0005001655 *

Also Published As

Publication number Publication date
US20230047287A1 (en) 2023-02-16
EP4002852A1 (en) 2022-05-25
US20240163430A1 (en) 2024-05-16
US11539945B2 (en) 2022-12-27
CN114402598A (zh) 2022-04-26
US20220201293A1 (en) 2022-06-23
US11924419B2 (en) 2024-03-05
BR112022001077A2 (pt) 2022-03-15
CA3240495A1 (en) 2021-01-28
CA3148076A1 (en) 2021-01-28
WO2021015513A1 (ko) 2021-01-28
MX2022000820A (es) 2022-04-06
EP4002852A4 (en) 2023-08-09
KR20220027986A (ko) 2022-03-08

Similar Documents

Publication Publication Date Title
JP2023073437A (ja) Mip及びlfnstを行う画像符号化/復号化方法、装置、及びビットストリームを伝送する方法
JP7197728B2 (ja) 変換インデックスを利用する映像コーディング
JP7362786B2 (ja) 単純化されたmpmリスト生成方法を用いる画像符号化/復号化方法、装置、及びビットストリームを伝送する方法
US11546583B2 (en) Image encoding/decoding method and device for determining division mode on basis of color format, and method for transmitting bitstream
JP2023025271A (ja) 映像コーディングにおけるマトリクスベースのイントラ予測のための変換
JP7230189B2 (ja) シンタックスデザイン方法及びシンタックスを用いてコーディングを行う装置
US11770537B2 (en) Image encoding/decoding method and apparatus for performing intra prediction, and method for transmitting bitstream
JP2022535161A (ja) ルマサンプル位置を参照してクロマブロックの予測モードを決定する画像符号化/復号化方法、装置、及びビットストリームを伝送する方法
JP7488399B2 (ja) 変換カーネルセットに関する情報に対するコーディング
JP2022542083A (ja) パレットモードの適用有無に応じてクロマ成分予測情報をシグナリングする画像符号化/復号化方法、装置、及びビットストリームを伝送する方法
JP2022549263A (ja) パレットモードを用いた画像符号化/復号化方法、装置、及びビットストリームの伝送方法
JP2023516617A (ja) サインデータハイディング関連映像デコーディング方法及びその装置
JP2024036479A (ja) 変換に基づく映像コーディング方法及びその装置
US20240163430A1 (en) Image encoding/decoding method and device using filtering, and method for transmitting bitstream
JP7493612B2 (ja) レジデュアルコーディングに対する映像デコーディング方法及びその装置
RU2809518C2 (ru) Способ и устройство кодирования/декодирования изображений с использованием фильтрации и способ для передачи потока битов
US11483573B2 (en) Image encoding/decoding method and device for determining division mode on basis of prediction mode type determined according to color format, and method for transmitting bitstream
RU2811456C2 (ru) Способ и оборудование кодирования/декодирования изображений и способ передачи потока битов
KR20220161427A (ko) 픽처 분할 정보 및 서브픽처 정보에 기반하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장하는 기록 매체
JP2023508178A (ja) Pdpcを行う画像符号化/復号化方法、装置、及びビットストリームを伝送する方法
JP2023509053A (ja) リーフノードの再設定された予測モードタイプに基づいて予測を行う画像符号化/復号化方法、装置、及びビットストリームを伝送する方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220304

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220304

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230524

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230912

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231208

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20240312