JP2024503192A - ビデオ符号化・復号化方法及びシステム、ビデオ符号器並びにビデオ復号器 - Google Patents

ビデオ符号化・復号化方法及びシステム、ビデオ符号器並びにビデオ復号器 Download PDF

Info

Publication number
JP2024503192A
JP2024503192A JP2023533962A JP2023533962A JP2024503192A JP 2024503192 A JP2024503192 A JP 2024503192A JP 2023533962 A JP2023533962 A JP 2023533962A JP 2023533962 A JP2023533962 A JP 2023533962A JP 2024503192 A JP2024503192 A JP 2024503192A
Authority
JP
Japan
Prior art keywords
component
intra prediction
current block
prediction mode
mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023533962A
Other languages
English (en)
Inventor
ワン、ファン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Publication of JP2024503192A publication Critical patent/JP2024503192A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/107Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本出願において、ビデオ符号化・復号化方法及びシステム、ビデオ符号器並びにビデオ復号器が提供される。現在ブロックの第一コンポーネントの初期イントラ予測モードが導出モードであると特定する場合、現在ブロックに対応する第二コンポーネントのイントラ予測中に用いられる少なくとも2種のイントラ予測モードを取得する。第二コンポーネントの少なくとも2種のイントラ予測モードに基づいて、現在ブロックの第一コンポーネントの目標イントラ予測モードを特定する。当該目標イントラ予測モードを利用して現在ブロックの第一コンポーネントに対してイントラ予測を行うことにより、現在ブロックの第一コンポーネントのイントラ予測モードを簡単且つ効率的に特定する。

Description

本出願は、ビデオ符号化・復号化技術分野に関し、特に、ビデオ符号化・復号化方法及びシステム、ビデオ符号器並びにビデオ復号器に関する。
デジタルビデオ技術は、デジタルテレビ、スマートフォン、コンピュータ、電子リーダー、又はビデオプレーヤなどの様々なビデオ装置に組み込まれることができる。ビデオ技術の発展に伴い、ビデオデータのデータ量が大きくなっている。ビデオデータの伝送を容易にするために、ビデオ装置がビデオ圧縮技術を利用することにより、ビデオデータがより効果的に伝送され又は記憶される。
現在、空間予測又は時間予測により、ビデオデータにおける冗長情報が削減又は削除されることで、ビデオデータの圧縮が実現される。予測方法は、インター予測及びイントラ予測を含む。イントラ予測では、同一の画像内で復号された隣接ブロックに基づいて現在ブロックが予測される。
現在ブロックを予測する際に、通常では、当該現在ブロックの輝度コンポーネント及び彩度コンポーネントをそれぞれ予測することにより、対応の輝度予測ブロック及び/又は彩度予測ブロックをそれぞれ取得する。輝度コンポーネント及び彩度コンポーネントという両者の関連をうまく利用しておらず、彩度コンポーネントを簡単且つ効率的に予測することができない。
本出願の実施形態において、ビデオ符号化・復号化方法及びシステム、ビデオ符号器並びにビデオ復号器が提供される。それによって、2種のイントラ予測モードが現在ブロックに対応する第二コンポーネントに用いられる場合、第二コンポーネントの2種のイントラ予測モードに基づいて、現在ブロックの第一コンポーネントのイントラ予測モードを簡単且つ効率的に特定することが実現される。
第一様態において、本出願では、ビデオ符号化方法が提供される。当該方法は以下の内容を含む。第一コンポーネントを含む現在ブロックを取得する。現在ブロックの第一コンポーネントの初期イントラ予測モードを特定する。初期イントラ予測モードが導出モードであると特定する場合、現在ブロックに対応する第二コンポーネントの少なくとも2種のイントラ予測モードを取得する。第二コンポーネントの少なくとも2種のイントラ予測モードに基づいて、現在ブロックの第一コンポーネントのイントラ予測モードを特定する。現在ブロックの第一コンポーネントのイントラ予測モードを利用して現在ブロックの第一コンポーネントに対してイントラ予測を行うことにより、現在ブロックの第一コンポーネントの最終予測値を取得する。
第二様態において、本出願の実施形態では、ビデオ復号化方法が提供される。当該方法は以下の内容を含む。ビットストリームを解析することにより、第一コンポーネントを含む現在ブロックと現在ブロックに対応する第二コンポーネントの少なくとも2種のイントラ予測モードとを取得する。現在ブロックの第一コンポーネントの初期イントラ予測モードを特定する。初期イントラ予測モードが導出モードである場合、第二コンポーネントの少なくとも2種のイントラ予測モードに基づいて、現在ブロックの第一コンポーネントのイントラ予測モードを特定する。現在ブロックの第一コンポーネントのイントラ予測モードを利用して現在ブロックの第一コンポーネントに対してイントラ予測を行うことにより、現在ブロックの第一コンポーネントの最終予測値を取得する。
第三様態において、本出願では、ビデオ符号器が提供される。当該ビデオ符号器は、上記第一様態又はその各実施形態における方法を実行するように構成されている。具体的に、当該符号器は、上記第一様態又はその各実施形態における方法を実行するように構成された機能ユニットを備える。
第四様態において、本出願では、ビデオ復号器が提供される。当該ビデオ復号器は、上記第二様態又はその各実施形態における方法を実行するように構成されている。具体的に、当該復号器は、上記第二様態又はその各実施形態における方法を実行するように構成された機能ユニットを備える。
第五様態において、ビデオ符号器が提供される。当該ビデオ復号器は、プロセッサ及びメモリを備える。当該メモリは、コンピュータプログラムを記憶するように構成されている。当該プロセッサは、当該メモリに記憶されたコンピュータプログラムを呼び出して実行することにより、上記第一様態又はその各実施形態における方法を実行するように構成されている。
第六様態において、ビデオ復号器が提供される。当該ビデオ復号器は、プロセッサ及びメモリを備える。当該メモリは、コンピュータプログラムを記憶するように構成されている。当該プロセッサは、当該メモリに記憶されたコンピュータプログラムを呼び出して実行することにより、上記第二様態又はその各実施形態における方法を実行するように構成されている。
第七様態において、ビデオ符号化・復号化システムが提供される。当該ビデオ符号化・復号化システムは、ビデオ符号器及びビデオ復号器を含む。当該ビデオ符号器は、上記第一様態又はその各実施形態における方法を実行するように構成されている。当該ビデオ復号器は、上記第二様態又はその各実施形態における方法を実行するように構成されている。
第八様態において、チップが提供される。当該チップは、上記第一様態もしくは第二様態、又は第一様態もしくは第二様態の各実施形態における方法を実行するように構成されている。具体的に、当該チップはプロセッサを含み、当該プロセッサは、メモリからコンピュータプログラムを呼び出して実行することにより、当該チップが装着された装置に、上記第一様態もしくは第二様態、又は第一様態もしくは第二様態の各実施形態における方法を実行させるように構成されている。
第九様態において、コンピュータ可読記憶媒体が提供される。当該コンピュータ可読記憶媒体は、コンピュータプログラムを記憶するように構成されており、当該コンピュータプログラムは、コンピュータに上記第一様態もしくは第二様態、又は第一様態もしくは第二様態の各実施形態における方法を実行させるように構成されている。
第十様態において、コンピュータプログラム製品が提供される。当該コンピュータプログラム製品は、コンピュータプログラム命令を含み、当該コンピュータプログラム命令は、コンピュータに上記第一様態もしくは第二様態、又は第一様態もしくは第二様態の各実施形態における方法を実行させるように構成されている。
第十一様態において、コンピュータプログラムが提供される。当該コンピュータプログラムは、コンピュータで実行される場合、コンピュータに上記第一様態もしくは第二様態、又は第一様態もしくは第二様態の各実施形態における方法を実行させるように構成されている。
上記技術案に基づいて、ビデオ符号化・復号化におけるイントラ予測中に、現在ブロックの第一コンポーネントの初期イントラ予測モードが導出モードであると特定する場合、第二コンポーネントの少なくとも2種のイントラ予測モードに基づいて現在ブロックの第一コンポーネントのイントラ予測モードを特定する。それによって、現在ブロックの第一コンポーネントのイントラ予測モードを簡単且つ効率的に特定することができる。例えば、第二コンポーネントの少なくとも2種のイントラ予測モードをそのまま現在ブロックの第一コンポーネントのイントラ予測モードとすることで、現在ブロックの第一コンポーネントのイントラ予測モードを簡単且つ効率的に特定することができるだけではなく、少なくとも2種のイントラ予測モードを利用して現在ブロックの第一コンポーネントに対して予測を行う場合、複雑なテクスチャを正確に予測することもでき、さらに、イントラ予測の品質向上及び圧縮性能の向上を図ることもできる。また、第二コンポーネントのイントラ予測モードに基づいて現在ブロックの第一コンポーネントのイントラ予測モードを導出することにより、チャネル間の関連性を利用することができ、ひいては、ビットストリームにおける第一コンポーネントのモード情報の伝送を削減し、符号化効率を効果的に向上させることができる。
図1は、本出願の実施形態に係るビデオ符号化・復号化システム100を示すブロック図である。 図2は、本出願の実施形態に係るビデオ符号器200を示すブロック図である。 図3は、本出願の実施形態に係る復号化フレームワーク300を示すブロック図である。 図4Aは、正方形のブロックの幾何分割モード(geometric partitioning mode、GPM)における64種のモードの重みマップである。 図4Bは、正方形のブロックの角度重み付け予測(angular weighted prediction、AWP)における56種のモードの重みマップである。 図5は、本出願の実施形態に係る参照画素を示す概略図である。 図6は、本出願実施形態に係るマルチ参照ライン(multiple-reference-line、MRL)イントラ予測方法を示す概略図である。 図7は、H.264における9種のイントラ予測モードを示す概略図である。 図8は、HEVCにおける35種のイントラ予測モードを示す概略図である。 図9は、VVCにおける67種のイントラ予測モードを示す概略図である。 図10は、AVS3における66種のイントラ予測モードを示す概略図である。 図11Aは、本出願の実施形態に係る輝度ブロックのイントラ予測の原理を示す概略図である。 図11Bは、本出願の実施形態に係るイントラ予測モードの記憶方法を示す概略図である。 図12は、本出願の実施形態に係るビデオ符号化方法400を示すフローチャートである。 図13は、本出願の実施形態に係る第一コンポーネント及び第二コンポーネントの分割を示す概略図である。 図14は、本出願の実施形態に係るビデオ符号化方法500を示す別のフローチャートである。 図15は、本出願の実施形態に係るビデオ符号化方法600を示す他のフローチャートである。 図16は、本出願の実施形態に係るビデオ復号化方法700を示すフローチャートである。 図17は、本出願の実施形態に係るビデオ復号化方法800を示すフローチャートである。 図18は、本出願の実施形態に係るビデオ復号化方法900を示すフローチャートである。 図19は、本出願の実施形態に係るビデオ符号器10を示すプロック図である。 図20は、本出願の実施形態に係るビデオ復号器20を示すブロック図である。 図21は、本出願の実施形態に係る電子機器30を示すブロック図である。 図22は、本出願の実施形態に係るビデオ符号化・復号化システム40を示すブロック図である。
本出願は、画像符号化・復号化分野、ビデオ符号化・復号化分野、ハードウェアビデオ符号化・復号化分野、専用回路ビデオ符号化・復号化分野、リアルタイムビデオ符号化・復号化分野などに適用可能である。例えば、本出願の技術案は、オーディオ・ビデオ符号化規格(audio video coding standard、AVS)に組み合わせられることが可能であり、AVSの例として、H.264/オーディオ・ビデオ符号化(audio video coding、AVC)規格、H.265/高効率ビデオ符号化(high efficiency video coding、HEVC)規格、及びH.266/多用途ビデオ符号化(versatile video coding、VVC)規格が挙げられる。又は、本出願の技術案は、他の専用の規格又は業界規格に組み合わせられることが可能であり、上記規格は、ITU-TH.261、ISO/IECMPEG-1Visual、ITU-TH.262又はISO/IECMPEG-2Visual、ITU-TH.263、ISO/IECMPEG-4Visual,ITU-TH.264(ISO/IECMPEG-4AVCとも呼ばれる)を含み、スケーラブルビデオ符号化・復号化(scalable video coding、SVC)、及びマルチビュービデオ符号化・復号化(multi-view video coding、MVC)拡張を含む。なお、本出願の技術は、特定の符号化・復号化規格又は技術に限定されない。
理解を容易にするため、まず図1を参照しながら、本出願の実施形態に係るビデオ符号化・復号化システムを紹介する。
図1は、本出願の実施形態に係るビデオ符号化・復号化システム100を示すブロック図である。図1は一例にすぎず、本出願の実施形態に係るビデオ符号化・復号化システムは図1に示されるものを含むが、それに限定されない。図1に示されるように、当該ビデオ符号化・復号化システム100は、符号化装置110及び復号化装置120を含む。符号化装置は、ビデオデータを符号化(圧縮と理解されてもよい)してビットストリームを生成し、且つビットストリームを復号化装置に伝送するように構成されている。復号化装置は、符号化装置によって生成されたビットストリームを復号化し、復号されたビデオデータを得るように構成されている。
本出願の実施形態に係る符号化装置110は、ビデオ符号化機能を有する装置であると理解されることができ、復号化装置120は、ビデオ復号化機能を有する装置であると理解されることができる。即ち、本出願の実施形態に係る符号化装置110及び復号化装置120は、より広範な装置を含み、例えば、スマートフォン、デスクトップコンピュータ、モバイルコンピューティング装置、ノートブック(例えば、ラップトップ)コンピュータ、タブレットコンピュータ、セットトップボックス(set top box、STB)、テレビ、カメラ、表示装置、デジタルメディアプレーヤ、ビデオゲームコンソール、車載コンピュータなどを含む。
いくつかの実施形態において、符号化装置110は、符号化されたビデオデータ(例えば、ビットストリーム)をチャネル130を介して復号化装置120に伝送することができる。チャネル130は、符号化されたビデオデータを符号化装置110から復号化装置120に伝送することができる1つ又は複数の媒体及び/又は装置を含むことができる。
一例において、チャネル130は、符号化装置110に符号化されたビデオデータをリアルタイムで復号化装置120に直接に送信させることを可能にする1つ又は複数の通信媒体を含む。この例では、符号化装置110は、通信規格に従って符号化されたビデオデータを変調し、変調されたビデオデータを復号化装置120に送信することができる。通信媒体は、無線周波数スペクトルなどの無線通信媒体を含む。選択的に、通信媒体は、1つ又は複数の物理的伝送線路などの有線通信媒体含むこともできる。
別の例において、チャネル130は記憶媒体を含む。当該記憶媒体は、符号化装置110によって符号化されたビデオデータを記憶することができる。記憶媒体は、様々なローカルにアクセス可能なデータ記憶媒体を含み、例えば、光ディスク、デジタル多用途ディスク(digital versatile disc、DVD)、フラッシュメモリなどが挙げられる。この例では、復号化装置120は、当該記憶媒体から符号化されたビデオデータを取得することができる。
別の例において、チャネル130はストレージサーバを含むことができ、当該ストレージサーバは、符号化装置110によって符号化されたビデオデータを記憶することができる。この例では、復号化装置120は、当該ストレージサーバに記憶されている、符号化されたビデオデータを当該ストレージサーバからダウンロードすることができる。選択的に、当該ストレージサーバは、符号化されたビデオデータを記憶し、且つ当該符号化されたビデオデータを復号化装置120に送信することができ、復号化装置120の例としては、ウェブサーバ(例えば、ウェブサイト用)、ファイル転送プロトコル(file transfer protocol、FTP)サーバなどが挙げられる。
いくつかの実施形態において、符号化装置110は、ビデオ符号器112及び出力インタフェース113を含む。出力インタフェース113は、変調器/復調器(モデム)及び/又は送信器を含むことができる。
いくつかの実施形態において、符号化装置110は、ビデオ符号器112及び出力インタフェース113に加えて、ビデオソース(video source)111を含むことができる。
ビデオソース111は、ビデオ収集装置(例えば、ビデオカメラ)、ビデオアーカイブ(video archive)、ビデオ入力インターフェース、及びコンピュータグラフィクスシステム(computer graphics system)のうちの少なくとも1つを含むことができる。ビデオ入力インターフェースは、ビデオコンテンツプロバイダからビデオデータを受信ように構成されており、コンピュータグラフィックスシステムは、ビデオデータを生成するように構成されている。
ビデオ符号器112は、ビデオソース111からのビデオデータを符号化することにより、ビットストリームを生成する。ビデオデータは、1つもしくは複数の画像(picture)又は画像シーケンス(sequence of pictures)含むことができる。ビットストリームは、画像又は画像シーケンスの符号化情報を含む。符号化情報は、符号化画像データ及び関連データを含むことができる。関連データは、シーケンスパラメータセット(sequence parameter set、SPSと略称)、画像パラメータセット(picture parameter set、PPSと略称)、及び他のシンタックス構造を含むことができる。SPSは、1つ又は複数のシーケンスに適用されるパラメータを含むことができ、PPSは、1つ又は複数の画像に適用されるパラメータを含むことができる。シンタックス構造は、ビットストリームにおける、指定された順序で配列される0又は複数のシンタックス要素の集合である。
ビデオ符号器112は、符号化されたビデオデータを、出力インターフェース113を介して復号化装置120に直接に伝送する。符号化されたビデオデータは、後続に復号化装置120で読み取られるように、記憶媒体又はストレージサーバに記憶されることもできる。
いくつかの実施形態において、復号化装置120は、入力インタフェース121及びビデオ復号器122を含む。
いくつかの実施形態において、復号化装置120は、入力インタフェース121及びビデオ復号器122に加えて、表示装置123を含むことができる。
入力インターフェース121は、受信器及び/又はモデムを含む。入力インターフェース121は、チャネル130を介して符号化されたビデオデータを受信することができる。
ビデオ復号器122は、符号化されたビデオデータを復号化することにより、復号化されたビデオデータを取得し、且つ復号化されたビデオデータを表示装置123に伝送するように構成されている。
表示装置123は、復号化されたビデオデータを表示する。表示装置123は、復号化装置120に内蔵されてもよく、又は、復号化装置120の外部に設けられてもよい。表示装置123は、多種の表示装置を含むことができ、例えば、液晶ディスプレイ(liquid crystal display、LCD)、プラズマディスプレイ(plasma display)、有機発光ダイオード(organic light emitting diode、OLED)ディスプレイ、又は他の種類の表示装置が挙げられる。
また、図1は一例にすぎず、本出願の実施形態の技術案は図1に限定されるものではなく、例えば、本出願の技術は、片側のビデオ符号化又は片側のビデオ復号化にも適用可能である。
以下、本出願の実施形態に係るビデオ符号化フレームワークについて説明する。
図2は、本出願の実施形態に係るビデオ符号器200を示すブロック図である。当該ビデオ符号器200は、画像に対して非可逆圧縮(lossy compression)又は可逆圧縮(lossless compression)を行うように構成されることができる。当該可逆圧縮は、視覚的可逆圧縮(visually lossless compression)であってもよく、数学的可逆圧縮(mathematically lossless compression)であってもよい。
当該ビデオ符号器200は、輝度―彩度(YCbCr,YUV)フォーマットの画像データに適用可能である。例えば、YUVの比率は、4:2:0、4:2:2、又は4:4:4であることができ、Yは輝度(luma)を示し、Cb(U)は青色彩度を示し、Cr(V)は赤色彩度を示し、U、Vは、色及び飽和度を記述するための彩度(chroma)を示す。例えば、色フォーマットでは、4:2:0は、4つの画素ごとに4つの輝度コンポーネント、及び2つの彩度コンポーネント(YYYYCbCr)を有することを示し、4:2:2は、4つの画素ごとに4つの輝度コンポーネント、及び4つの彩度コンポーネント(YYYYCbCrCbCr)を有することを示し、4:4:4は、全画素表示(YYYYCbCrCbCrCbCrCbCr)を示す。
例えば、当該ビデオ符号器200はビデオデータを読み取り、ビデオデータにおける各画像に対して、各画像をいくつかの符号化ツリーユニット(coding tree unit、CTU)に分割する。いくつかの例では、CTUは「ツリーブロック」、「最大符号化ユニット(largest coding unit、LCU)」又は「符号化ツリーブロック(coding tree block、CTB)」と呼ばれることができる。各CTUは、画像内のCTUと同じサイズを有する画素ブロックに関連付けられることができ、各画素は、1つの輝度(luminance又はluma)サンプル、及び2つの彩度(chrominance又はchroma)サンプルに対応することができる。そのため、各CTUは、1つの輝度サンプルブロック及び2つの彩度サンプルブロックに関連付けられることができる。CTUのサイズは、例えば、128×128、64×64、32×32などである。CTUは、符号化されるように、いくつかの符号化ユニット(coding unit、CU)に引き続き分割されることができる。CUは、矩形のブロックであってもよく、方形のブロックであってもよい。CUは、さらに予測ユニット(prediction unit、PUと略称)及び変換ユニット(transform unit、TUと略称)に分割されることができ、その結果、符号化、予測及び変換が分離され、処理を柔軟にすることができる。一例において、CTUは、四分木方式でCUに分割され、CUは、四分木方式でTU、PUに分割される。
ビデオ符号器及びビデオ復号器は、様々なPUサイズをサポートすることができる。特定のCUのサイズが2N×2Nであると仮定し、ビデオ符号器及びビデオ復号器は、イントラ予測のために、2N×2N又はN×NのPUサイズをサポートし、また、インター予測のために、2N×2N、2N×N、N×2N、N×N又は類似のサイズを有する対称なPUをサポートすることができる。ビデオ符号器及びビデオ復号器はさらに、インター予測のために、2N×nU、2N×nD、nL×2N及びnR×2Nのサイズを有する非対称なPUをサポートすることもできる。
いくつかの実施形態において、図2に示されるように、当該ビデオ符号器200は、予測ユニット210、残差ユニット220、変換/量子化ユニット230、逆変換/量子化ユニット240、再構成ユニット250、ループフィルタリングユニット(loop filtering unit)260、復号化画像バッファ270及びエントロピー符号化ユニット280を含むことができる。なお、ビデオ符号器200は、より多くの、より少ない、又は異なる機能ブロックを含んでもよい。
選択的に、本出願では、現在ブロック(current block)は、現在CU又は現在PUなどと呼ばれてもよい。予測ブロックは、予測画像ブロック又は画像予測ブロックと呼ばれてもよい。再構成画像ブロックは、再構成ブロック又は画像再構成ブロックと呼ばれてもよい。
いくつかの実施形態において、予測ユニット210は、インター予測ユニット211及びイントラ推定ユニット212を含む。ビデオ画像(video picture)における隣接画素間に強い関連性があるため、ビデオ符号化・復号化技術において、イントラ予測の方法を利用して隣接画素間の空間的な冗長性を解消する。ビデオにおける隣接画像間に類似性が強いため、ビデオ符号化・復号化技術において、インター予測の方法を利用して隣接画像間の時間的な冗長性を解消し、符号化効率を向上させる。
インター予測ユニット211は、インター予測のために用いられることができる。インター予測では、異なる画像の画像情報を参照可能であり、動き情報を利用して参照画像から参照ブロックを見つけ、参照ブロックに基づいて予測ブロックを生成することにより、時間的な冗長性を解消する。インター予測に用いられる画像は、Pフレーム及び/又はBフレームであることができる。Pフレームは前方向予測画像を指し、Bフレームは双方向予測画像を指す。動き情報は、参照画像を含む参照画像リスト、参照画像インデックス、動きベクトルを含む。動きベクトルは、全画素動きベクトル又はサブ画素動きベクトルであることができる。動きベクトルがサブ画素動きベクトルである場合、必要なサブ画素ブロックを生成するように、参照画像に補間フィルターを利用する必要がある。動きベクトルに基づいて見つけられた、参照画像における全画素ブロック又はサブ画素ブロックが参照ブロックと呼ばれる。参照ブロックをそのまま予測ブロックとする技術があり、参照ブロックに基づいて処理して予測ブロックを生成する技術もある。参照ブロックに基づいて処理して予測ブロックを生成することは、参照ブロックを予測ブロックとし、次に予測ブロックに基づいて処理して新しい予測ブロックを生成することであると理解されることもできる。
現在最もよく使われているインター予測方法は、VVCビデオ符号化・復号化規格における幾何分割モード(geometric partitioning mode、GPM)と、AVS3ビデオ符号化・復号化規格における角度重み付け予測(angular weighted prediction、AWP)とを含む。これら2種のイントラ予測モードは、原理上で共通点がある。
従来の単方向予測では、現在ブロックのサイズと同じサイズを有する1つの参照ブロックのみが見つけられる。従来の双方向予測では、現在ブロックのサイズと同じサイズを有する2つの参照ブロックが見つけられ、予測ブロックの各画素の値は、2つの参照ブロックにおける対応位置にある値の平均値であり、即ち各参照ブロックにおける全ての画素の予測ブロックへの寄与率は50%である。双方向重み付け予測では、2つの参照ブロックの寄与率が異なるようにしてもよく、例えば、1番目の参照ブロックにおける全ての画素が75%寄与し、2番目の参照ブロックにおける全ての画素が25%寄与する。同じ参照ブロックにおける全ての画素が同じ寄与率を有する。GPM又はAWPでも、現在ブロックのサイズと同じサイズを有する2つの参照ブロックを利用するが、いくつかの画素位置では、1番目の参照ブロックの対応位置における画素値が100%利用され、別のいくつかの画素位置では、2番目の参照ブロックの対応位置における画素値が100%利用され、遷移領域(交差領域)では、これら2つの参照ブロックの対応位置における画素値が一定の割合で利用される。画素値の重みが具体的にどのように割り当てられるかは、GPM又はAWPのモードによって定められる。GPM又はAWPでは、現在ブロックのサイズと異なるサイズを有する2つの参照ブロックを利用し、即ち、それぞれ必要な一部を取って参照ブロックとする。即ち、重みが0ではない部分を参照ブロックとし、重みが0である部分を排除する。
図4Aは、正方形のブロックのGPMにおける64種のモードの重みマップである。黒は1番目の参照ブロックの対応位置の重み値が0%であることを示し、白は1番目の参照ブロックの対応位置の重み値が100%であることを示し、グレー領域は色の濃淡の違いで1番目の参照ブロックの対応位置の重み値が0%より大きく100%より小さいいずれかの重み値であることを示す。2番目の参照ブロックの対応位置の重み値は、100%から1番目の参照ブロックの対応位置の重み値を引いた値である。
図4Bは、正方形のブロックのAWPにおける56種のモードの重みマップである。黒は1番目の参照ブロックの対応位置の重み値が0%であることを示し、白は1番目の参照ブロックの対応位置の重み値が100%であることを示し、グレー領域は色の濃淡の違いで1番目の参照ブロックの対応位置の重み値が0%より大きく100%より小さいいずれかの重み値であることを示す。2番目の参照ブロックの対応位置の重み値は、100%から1番目の参照ブロックの対応位置の重み値を引いた値である。
GPMにおける重みの導出方法とAWPにおける重みの導出方法は異なる。GPMでは、各種のモードに基づいて角度及びオフセットを特定し、次に、各種のモードの重み付け行列を算出する。AWPでは、まず1次元の重みライン(one-dimensional weight line)を生成し、次に、イントラ角度予測に類似した方法を利用して1次元の重みラインを行列全体に敷き詰める。
先行する符号化・復号化技術に、CU、PU、TUの分割を問わず、矩形の分割方式のみが存在する。GPM及びAWPでは、分割されない場合に予測の非矩形の分割効果が実現される。GPM及びAWPでは、2つの参照ブロックの重みのマスク(mask)、即ち上記重みマップが利用される。このマスクから、予測ブロックを生成するための2つの参照ブロックの重みを特定する。又は、以下のように簡単に理解することができる。予測ブロックの一部の位置が1番目の参照ブロックに由来し、予測ブロックの一部の位置が2番目の参照ブロックに由来し、遷移領域(blending area)が、2つの参照ブロックの対応の位置を重み付けすることで取得され、遷移をよりスムーズにすることができる。GPM及びAWPでは、現在ブロックが分割線で2つのCU又はPUに分割されていないため、現在ブロックの全体に対して予測後の残差の変換、量子化、逆変換、逆量子化などが行われる。
イントラ推定ユニット212は、空間的な冗長性を解消するために、同一画像の情報のみを参照することにより、現在画像ブロック内の画素情報を予測する。イントラ予測に用いられる画像は、Iフレームであってもよい。例えば、図5に示されるように、白の4×4ブロックは現在ブロックであり、現在ブロックの左1行及び上1列の灰色の画素は、現在ブロックの参照画素であり、イントラ予測では、これらの参照画素を利用して、現在ブロックを予測する。これらの参照画素は全て利用可能であり、即ち、全て符号化・復号化されている可能性がある。これらの参照画素は一部が利用不可能である可能性があり、例えば、現在ブロックが画像全体の一番左にあり、現在ブロックの左の参照画素が利用不可能である。又は、現在ブロックを符号化・復号化する場合、現在ブロックの左下の部分がまだ符号化・復号化されていないため、左下の参照画素も利用不可能である。参照画素が利用不可能である場合、利用可能な参照画素を利用して、又は何らかの値、何らかの方法を利用して、充填を行ってもよく、充填を行わなくてもよい。
いくつかの実施形態において、イントラ予測方法は、マルチ参照ライン(multiple reference line、MRL)イントラ予測方法をさらに含む。図6に示されるように、MRLでは、より多くの参照画素を利用して符号化効率を向上させることができる。
イントラ予測に複数種の予測モードがあり、図7に示されるように、H.264における4×4のブロックに対してイントラ予測を行う9種のモードがある。モード0では、現在ブロックの上の画素を、垂直方向に沿って、現在ブロックにコピーして予測値とする。モード1では、左の参照画素を、水平方向に沿って、現在ブロックにコピーして予測値とする。モード2(DC)では、A~D及びI~Lという8つの画素の平均値を、全ての画素の予測値とする。モード3~8では、それぞれある角度に沿って、参照画素を現在ブロックの対応位置にコピーする。現在ブロックのいくつかの位置が参照画素に厳密に対応することができないため、参照画素の重み付け平均値、又は参照画素の補間されたサブ画素を利用する必要がある。
図8に示されるように、HEVCに用いられるイントラ予測モードは、平面モード(Planar)、DC及び33種の角度モード、合計で35種の予測モードを含む。
図9に示されるように、VVCに用いられるイントラモードは、Planar、DC及び65種の角度モード、合計で67種の予測モードを含む。
図10に示されるように、AVS3に用いられるイントラモードは、DC、Plane、バイリニア(Bilinear)及び63種の角度モード、合計で66種の予測モードを含む。
いくつかの実施態様において、イントラ予測モードは、いくつかの改善モードをさらに含み、例えば、参照画素のサブ画素補間を改善すること、予測画素をフィルタリングすることなどが挙げられる。例えば、AVS3におけるマルチイントラ予測フィルタ(multiple intra prediction filter、MIPF)では、異なるサイズを有するブロックに対して異なるフィルタを利用して予測値を生成することができる。具体的に、同一ブロック内の異なる位置における画素に対して、参照画素に近い画素に対して1種のフィルタを利用して予測値を生成し、参照画素から遠い画素に対して別のフィルタを利用して予測値を生成する。例えば、AVS3におけるイントラ予測フィルタ(intra prediction filter、IPF)では、参照画素を利用して予測値をフィルタリングすることができる。
なお、角度モードの数の増加に伴い、イントラ予測がより精確になり、高解像度及び超高解像度デジタルビデオの発展のニーズにもより適合する。
残差ユニット220は、CUの画素ブロック及びCUのPUの予測ブロックに基づいて、CUの残差ブロックを生成することができる。例えば、残差ユニット220は、残差ブロックにおける各サンプルが、CUの画素ブロックにおけるサンプルとCUのPUの予測ブロックにおける対応のサンプルとの差分に等しくなるように、CUの残差ブロックを生成することができる。
変換/量子化ユニット230は、変換係数を量子化することができる。変換/量子化ユニット230は、CUに関連付けられた量子化パラメータ(quantization parameter、QP)値に基づいて、CUのTUに関連付けられた変換係数を量子化することができる。ビデオ符号器200は、CUに関連付けられたQP値を調整することで、CUに関連付けられた変換係数に応用される量子化の度合いを調整することができる。
逆変換/量子化ユニット240は、量子化された変換係数に逆量子化及び逆変換をそれぞれ応用することで、量子化された変換係数から残差ブロックを再構成することができる。
再構成ユニット250は、再構成された残差ブロックにおけるサンプルを予測ユニット210により生成された1つ又は複数の予測ブロックにおける対応サンプルに加算することで、TUに関連付けられた再構成画像ブロックを生成することができる。このように、CUの各TUのサンプルブロックを再構成することにより、ビデオ符号器200はCUの画素ブロックを再構成することができる。
ループフィルタリングユニット260は、CUに関連付けられた画素ブロックのブロックアーチファクト(blocking artifact)を低減するように、デブロッキングフィルタリング(deblocking filtering)処理を実行することができる。
いくつかの実施形態において、ループフィルタリングユニット260は、デブロッキングフィルタリングユニット、及びサンプル適応オフセット(sample adaptive offset、SAO)/適応ループフィルタリング(adaptive loop filtering、ALF)ユニットを含み、デブロッキングフィルタリングユニットは、デブロッキングのために用いられ、SAO/ALFユニットは、リンギング効果(ringing effect)を除去するために用いられる。
復号化画像バッファ270は、再構成された画素ブロックを記憶することができる。インター予測ユニット211は、再構成された画素ブロックを含む参照画像を利用して、他の画像のPUに対してインター予測を行うことができる。また、イントラ推定ユニット212は、復号化画像バッファ270における再構成された画素ブロックを利用して、CUと同じである画像における他のPUに対してイントラ予測を行うことができる。
エントロピー符号化ユニット280は、変換/量子化ユニット230から量子化された変換係数を受信することができる。エントロピー符号化ユニット280は、量子化された変換係数に対して1つ又は複数のエントロピー符号化処理を実行することにより、エントロピー符号化されたデータを生成することができる。
図3は、本出願の実施形態に係る復号化フレームワーク300を示すブロック図である。
図3に示されるように、ビデオ復号器300は、ヘッダ情報復号化ユニット310、予測ユニット320、逆量子化・変換ユニット330、再構成ユニット340、ループフィルタリングユニット350及び復号化画像バッファ360を含む。なお、ビデオ復号器300は、より多くの、より少ない、又は異なる機能ブロックを含んでもよい。
ビデオ復号器300は、ビットストリームを受信することができる。ヘッダ情報復号化ユニット310は、ビットストリームを解析することにより、ビットストリームからシンタックス要素を抽出することができる。ビットストリームの解析の一部として、ヘッダ情報復号化ユニット310は、ビットストリームにおける、エントロピー符号化されたシンタックス要素を解析することができる。予測ユニット320、逆量子化・変換ユニット330、再構成ユニット340及びループフィルタリングユニット350は、ビットストリームから抽出されたシンタックス要素に基づいてビデオデータを復号化し、即ち、復号されたビデオデータを生成することができる。
いくつかの実施形態において、予測ユニット320は、イントラ推定ユニット322及びインター予測ユニット321を含む。
イントラ推定ユニット322は、イントラ予測を行うことによりPUの予測ブロックを生成することができる。イントラ推定ユニット322は、イントラ予測モードを利用して、空間的に隣接するPUの画素ブロックに基づいてPUの予測ブロックを生成することができる。イントラ推定ユニット322はさらに、ビットストリームから解析された1つ又は複数のシンタックス要素に基づいて、PUのイントラ予測モードを特定することができる。
インター予測ユニット321は、ビットストリームから解析されたシンタックス要素に基づいて、第一参照画像リスト(リスト0)及び第二参照画像リスト(リスト1)を構築することができる。また、PUがインター予測で符号化される場合、ヘッダ情報復号化ユニット310は、PUの動き情報を解析することができる。インター予測ユニット322は、PUの動き情報に基づいて、PUの1つ又は複数の参照ブロックを特定することができる。インター予測ユニット321は、PUの1つ又は複数の参照ブロックに基づいて、PUの予測ブロックを生成することができる。
逆量子化・変換ユニット330は、TUに関連付けられた変換係数を逆量子化(即ち、脱量子化)することができる。逆量子化・変換ユニット330は、TUのCUに関連付けられたQP値を利用して、量子化の度合いを特定することができる。
変換係数を逆量子化した後、逆量子化・変換ユニット330は、1つ又は複数の逆変換を逆量子化された変換係数に応用することで、TUに関連付けられた残差ブロックを生成することができる。
再構成ユニット340は、CUのTUに関連付けられた残差ブロック及びCUのPUの予測ブロックを利用して、CUの画素ブロックを再構成する。例えば、再構成ユニット340は、残差ブロックにおけるサンプルを予測ブロックにおける対応サンプルに加算することにより、CUの画素ブロックを再構成し、再構成画像ブロックを取得することができる。
ループフィルタリングユニット350は、CUに関連付けられた画素ブロックのブロックアーチファクトを低減するように、デブロッキングフィルタリング処理を実行することができる。
ビデオ復号器300は、CUの再構成画像を復号化画像バッファ360に記憶することができる。ビデオ復号器300は、復号化画像バッファ360における再構成画像を参照画像として後続の予測に用い、又は、再構成画像を表示装置に伝送して表示することができる。
ビデオ符号化・復号化の基本的な流れは、以下の通りである。符号化側では、1つの画像(フレーム)がブロックに分割され、現在ブロックに対して、予測ユニット210は、イントラ予測又はインター予測を実行して、現在ブロックの予測ブロックを生成する。残差ユニット220は、予測ブロックと現在ブロックのオリジナルブロック、即ち、予測ブロックと現在ブロックのオリジナルブロックとの間の差に基づいて、残差ブロックを計算することができ、残差ブロックは残差情報とも呼ばれる。当該残差ブロックは、変換/量子化ユニット230によって変換され且つ量子化されることにより、人間の目に敏感ではない情報が除去され、視覚的な冗長性が解消されることができる。選択的に、変換/量子化ユニット230によって変換され且つ量子化される前の残差ブロックは時間領域残差ブロック(time-domain residual block)と呼ばれることができ、変換/量子化ユニット230によって変換され且つ量子化された後の時間領域残差ブロックは周波数残差ブロック(frequency residual block)又は周波数領域残差ブロック(frequency-domain residual block)と呼ばれることができる。エントロピー符号化ユニット280は、変換/量子化ユニット230によって出力された、量子化された変化係数を受信し、当該量子化された変化係数をエントロピー符号化することにより、ビットストリームを出力することができる。例えば、エントロピー符号化ユニット280は、目標コンテキストモデル及び2進ビットストリームの確率情報に基づいて、文字冗長を削除することができる。
復号化側では、ヘッダ情報復号化ユニット310は、ビットストリームを解析することにより、現在ブロックの予測情報、量子化係数行列などを取得することができ、予測ユニット320は、予測情報に基づいて、現在ブロックに対してイントラ予測又はインター予測を行うことにより現在ブロックの予測ブロックを生成する。逆量子化・変換ユニット330は、ビットストリームから取得された量子化係数行列を利用して、量子化係数行列を逆量子化し、逆変換して残差ブロックを取得する。再構成ユニット340は、予測ブロックと残差ブロックとを加算して再構成ブロックを取得する。再構成ブロックは再構成画像を形成する。ループフィルタリングユニット350は、画像又はブロックに基づいて再構成画像をループフィルタリングして復号化画像を取得する。符号化側でも、復号化画像を取得するための、復号化側と類似の処理が必要である。当該復号化画像は再構成画像と呼ばれてもよく、再構成画像は後続の画像の、インター予測のための参照画像であることができる。
なお、符号化側で特定されたブロック分割情報、及び、予測、変換、量子化、エントロピー符号化、ループフィルタリングなどのモード情報又はパラメータ情報などは、必要に応じてビットストリームに携帯される。復号化側は、ビットストリームを解析し、既存情報から分析して、符号化側と同じブロック分割情報、予測、変換、量子化、エントロピー符号化、ループフィルタリングなどのモード情報又はパラメータ情報を特定する。それによって、符号化側で取得された復号化画像と復号化側で取得された復号化画像が同じであることが確保される。
上記は、ブロックに基づいた混合符号化フレームワークでのビデオ符号化・復号化の基本的な流れである。技術の発展に伴い、当該フレームワーク又は流れの一部のモジュールやステップが最適化される可能性がある。本出願は、当該ブロックに基づいた混合符号化フレームワークでのビデオ符号化・復号化の基本的な流れに適用されるが、当該フレームワーク又は流れに限定されない。
以上、本出願の実施形態に係るビデオ符号化システム、ビデオ符号器、ビデオ復号化、及びイントラ予測モードについて説明した。それに基づいて、本出願の実施形態に係る技術案を具体的な実施形態と合わせて以下に詳述する。
本出願の実施形態のビデオ符号器は、YUVフォーマット、YcbCrフォーマット、RGBフォーマットなど、異なるフォーマットを有する画像ブロックに適用されることができる。上記フォーマットを有する画像ブロックはいずれも、第一コンポーネント及び第二コンポーネントを含む。例えば、YUVフォーマットを有する画像ブロックの第二コンポーネントは、Yコンポーネント、即ち輝度コンポーネントであることができ、第一コンポーネントは、U及び/又はVコンポーネント、即ち彩度コンポーネントであることができる。第二コンポーネントは第一コンポーネントより重要である。例えば、人間の目は彩度より輝度に敏感であるため、ビデオ符号化・復号化では、U、Vコンポーネントより、Yコンポーネントはより多くの注目を集めている。例えば、通常のYUVフォーマットでは、YUVの比率は4:2:0であり、Uコンポーネント又はVコンポーネントにおけるサンプルの数がYコンポーネントにおけるサンプルの数より少ない。YUV4:2:0のブロックにおけるY、U、Vのサンプル比率が4:1:1である。この場合、画像ブロックの彩度コンポーネントのいくつかの符号化・復号化モードは、輝度コンポーネントの符号化・復号化モードの情報に基づいて特定されることができる。
他のフォーマット(例えば、RGBフォーマットなど)を有する画像ブロックについて、画像ブロックの第一コンポーネントのいくつかの符号化・復号化モードは、当該画像ブロックの第二コンポーネントの符号化・復号化モードの情報に基づいて特定されることができる。本出願の実施形態では、主にYUVフォーマットを例とするが、本出願はある特殊なフォーマットに限定されるものではない。
本出願では、画像ブロックの第二コンポーネントに対してイントラ予測を行う際に、画像ブロックの第二コンポーネントの少なくとも2種のイントラ予測モードを利用して予測を行うことにより、複雑なテクスチャの正確な予測を実現する。例えば、第二コンポーネントが輝度コンポーネントであり、本出願では、少なくとも2種のイントラ予測モードを利用して複雑な輝度テクスチャを有するブロックに対して予測を行い、複雑な輝度テクスチャを有するブロックの正確な予測を実現する。
画像ブロックの第二コンポーネントの少なくとも2種のイントラ予測モードは、上記DC、Planar、Plane、Bilinear、及び角度予測モードなどのイントラ予測モードを含むが、それらに限定されず、MIPF、IPFなどの改善予測モードをさらに含む。
画像ブロックの第二コンポーネントの少なくとも2種のイントラ予測モードを利用して第二コンポーネントに対してイントラ予測を行うプロセスは以下である。少なくとも2種のイントラ予測モードの各々を利用して、第二コンポーネントに対して予測を行うことにより、各種のイントラ予測モードに対応する予測ブロックを取得する。次に、各種のイントラ予測モードに対応する予測ブロックを処理することにより、当該画像ブロックの第二コンポーネントの最終予測ブロックを取得する。例えば、各種のイントラ予測モードに対応する予測ブロックを加算し、その平均値を取って当該画像ブロックの第二コンポーネントの最終予測ブロックとすることができる。例えば、1つの重み付け行列(即ち、第二重み付け行列)を特定し、当該第二重み付け行列に基づいて、各種のイントラ予測モードに対応する予測ブロックに対して重み付け演算を行うことにより、当該画像ブロックの第二コンポーネントの最終予測ブロックを取得する。例えば、第二コンポーネントが輝度コンポーネントであると仮定し、図11Aに示されるように、輝度ブロックの少なくとも2種のイントラ予測モードは、第一イントラ予測モード及び第二イントラ予測モードである。第一イントラ予測モードを利用して輝度ブロックに対してイントラ予測を行うことにより、第一予測ブロックを取得し、第二イントラ予測モードを利用して輝度ブロックに対してイントラ予測を行うことにより、第二予測ブロックを取得する。第二重み付け行列を利用して、第一予測ブロック及び第二予測ブロックに対して重み付け演算を行うことにより、輝度ブロックの最終予測ブロックを取得する。
本出願の一例において、異なるイントラ予測モードを利用して第二コンポーネントにおける各サンプルに対して予測を行うことにより、異なるイントラ予測モードに対応する、各サンプルの予測値を取得する。次に、第二重み付け行列における各サンプルに対応する重み値に基づいて、異なるイントラ予測モードに対応する、各サンプルの予測値に対して重み付け演算を行うことにより、第二コンポーネントにおける各サンプルの最終予測値を取得する。第二コンポーネントにおける各サンプルの最終予測値は、当該画像ブロックの第二コンポーネントの最終予測ブロックを形成する。このようにすれば、全ての予測ブロックの取得を待つ必要がなく、重み付けを行うことができ、さらに第一予測ブロック及び第二予測ブロックを記憶するための追加の記憶空間を必要とせず、ビデオ符号器の記憶リソースを節約することができる。
上記から分かるように、同一の画像ブロックの第一コンポーネントのいくつかの符号化・復号化モードは、当該画像ブロックの第二コンポーネントの符号化・復号化モードの情報に基づいて特定されることができる。即ち、いくつかの場合では、画像ブロックの第一コンポーネントのイントラ符号化モードは、画像ブロックの第二コンポーネントのイントラ予測モードの情報に基づいて特定されることができる。
上記に基づいて、図12を参照しながら符号化側について以下に説明する。
図12は、本出願の実施形態に係るビデオ符号化方法400を示すフローチャートである。本出願の実施形態は図1及び図2に示されたビデオ符号器に適用される。図12に示されるように、本出願の実施形態に係る方法は以下の内容を含む。
S401:第一コンポーネントを含む現在ブロックを取得する。
ビデオ符号化中に、ビデオ符号器は、一連の画像からなるビデオストリームを受信する。ビデオストリームにおける各画像に対してビデオ符号化を行う。説明の便宜のため、本出願では、符号化待ちの現在の画像を目標画像と記す。ビデオ符号器は、当該目標画像をブロックに分割することにより、現在ブロックを取得する。
ブロック分割の際に、従来方法で分割されたブロックは、現在ブロックの位置における第一コンポーネント(例えば彩度コンポーネント)と、現在ブロックの位置における第二コンポーネント(例えば輝度コンポーネント)とを含む。それに対し、分離ツリー技術(例えば、dual tree)では、単独コンポーネントのブロックが取得されることができ、例えば、単独の輝度ブロック及び単独の彩度ブロックが取得される。図13に示されるように、現在ブロック(現在画像ブロックとも呼ばれ)と同じ位置における輝度ブロックは、4つの輝度符号化ユニットに分割されているが、彩度ブロックは分割されていない。輝度ブロックは現在ブロックの位置における輝度コンポーネントのみを含むと理解されることができる。彩度ブロックは現在ブロックの位置における彩度コンポーネントのみを含むと理解されることができる。このように、同じ位置における輝度コンポーネントと彩度コンポーネントとは異なるブロックに属することができ、それによって、分割をより柔軟にすることができる。分離ツリーがCU分割に用いられる場合、一部のCUは第一コンポーネント及び第二コンポーネントの両方を含み、一部のCUは第一コンポーネントのみを含み、一部のCUは第二コンポーネントのみを含む。
いくつかの実施態様において、本出願の実施形態の現在ブロックは、第一コンポーネントのみを含む。例えば、現在ブロックは彩度コンポーネントのみを含み、この場合、現在ブロックは彩度ブロックであると理解されることができる。
いくつかの実施態様において、現在ブロックは、第一コンポーネント及び第二コンポーネントの両方を含む。例えば、現在ブロックは、彩度コンポーネント及び輝度コンポーネントの両方を含む。
S402:現在ブロックの第一コンポーネントの初期イントラ予測モードを特定する。
例として、第一コンポーネントは彩度コンポーネントであり、第二コンポーネントは輝度コンポーネントである。
彩度イントラ予測モードは単独的に選択されてもよく、同一のブロック又は同位置又は隣接ブロックの輝度イントラ予測モードに基づいて導出されてもよい。AVS3における彩度イントラ予測モードを例として、表1はAVS3における「輝度予測ブロックのイントラ予測モード」における複数のモードを示し、表2はAVS3における「彩度予測ブロックのイントラ予測モード」における複数のモードを示す。
Figure 2024503192000002
表1において、IntraLumaPredModeは、輝度コンポーネントのイントラ予測のモード番号を表し、Intra_Luma_DCは、イントラ輝度予測のDCモードを表し、Intra_Luma_Planeは、イントラ輝度予測の平面(Plane)モードを表し、Intra_Luma_Bilinearは、イントラ輝度予測のバイリニア(Bilinear)モードを表し、Intra_Luma_Verticalはイントラ輝度予測の垂直モードを表し、Intra_Luma_Horizontalはイントラ輝度予測の水平モードを表し、Intra_Luma_PCMはイントラ輝度予測のPCMモードを表し、Intra_Luma_Angularはイントラ輝度予測の角度モードを表す。
Figure 2024503192000003
表2において、IntraChromaPredModeは、彩度コンポーネントのイントラ予測のモード番号を表し、Intra_Chroma_DMは、イントラ彩度予測のDMモードを表し、DMモードは、1種の導出モードであり、即ち、DMモードがイントラ彩度予測モードとして用いられる場合、対応のイントラ輝度予測モードがイントラ彩度予測モードとされる。例えば、対応のイントラ輝度予測モードが角度モードであれば、イントラ彩度予測モードも当該角度モードである。DMモード以外に、イントラ彩度予測モードは、DCモード(Intra_Chroma_DC)、水平モード(Intra_Chroma_Horizontal)、垂直モード(Intra_Chroma_Vertical)、バイリニア(Bilinear)モード、PCMモード、及びクロスコンポーネント予測モードなどをさらに含む。
彩度コンポーネントに対応するDCモード、バイリニアモード、水平モード及び垂直モードはそれぞれ、輝度コンポーネントに対応するDCモード、バイリニアモード、水平モード及び垂直モードと同様である。このようなモード設計により、同じ予測モードが彩度イントラ予測及び輝度イントラ予測の両方に用いられることができる。IntraLumaPredModeの値が33に等しいことは、PCMモードが対応の輝度予測ブロックに用いられることを意味する。PCMモードが輝度予測ブロックに用いられ、且つIntraChromaPredModeが0である場合、PCMモードが彩度コンポーネントのイントラ予測にも用いられる。
当該ビデオ符号器は、彩度コンポーネントに対してイントラ予測を行う場合、表2における各可能なイントラ予測モードを試み、例えば、DMモード、DCモード(Intra_Chroma_DC)、水平モード(Intra_Chroma_Horizontal)、垂直モード(Intra_Chroma_Vertical)、バイリニア(Bilinear)モード、PCMモード、及びクロスコンポーネント予測モード(TSCPM(two-step cross-component prediction mode)、PMC(prediction from multiple cross-component)、VVCにおけるクロスコンポーネント線形モデル(cross-component linear model、CCLM))などが挙げられる。ビデオ符号器は、歪みコストが最小であるイントラ予測モードを、現在ブロックの彩度コンポーネントの初期イントラ予測モードとして選択する。
ビデオ符号器は、現在ブロックの彩度コンポーネントの初期イントラ予測モードがDMモードではなく、例えば、DCモード又は垂直モードであると特定する場合、ビデオ符号器は、特定された初期イントラ予測モードのモード情報をビットストリームに書き込む。復号器は、彩度イントラ予測のモード情報を解析して彩度イントラ予測モードを特定する。
ビデオ符号器は、現在ブロックの彩度コンポーネントの初期イントラ予測モードがDMモードであると特定する場合、以下のステップS403を実行する。
S403:初期イントラ予測モードが導出モードである場合、現在ブロックに対応する第二コンポーネントの少なくとも2種のイントラ予測モードを取得する。
当該導出モードは、現在ブロックの第一コンポーネントのイントラ予測モードが現在ブロックに対応する第二コンポーネントのイントラ予測モードに基づいて導出されることを指示するために用いられる。例えば、現在ブロックの第一コンポーネントのイントラ予測モードは、第二コンポーネントのイントラ予測モードと同じであり、又は、第二コンポーネントのイントラ予測モードに基づいて特定される。
本出願の実施形態に記載される現在ブロックに対応する第二コンポーネントは、以下の2つのケースを含む。1つ目のケースでは、現在ブロックは第一コンポーネント及び第二コンポーネントの両方を含み、この場合、現在ブロックに対応する第二コンポーネントは、当該現在ブロックに含まれる第二コンポーネントである。2つ目のケースでは、現在ブロックは、第二コンポーネントを含まず、第一コンポーネントのみを含み、例えば、第一コンポーネントが彩度コンポーネントであれば、現在ブロックは彩度ブロックであると理解されることができる。この場合、現在ブロックは、符号化待ちのオリジナル画像における1つ又は複数の画素に対応し、当該1つ又は複数の画素に対応する第二コンポーネントは、現在ブロックに対応する第二コンポーネントである。
現在ブロックが第一コンポーネント及び第二コンポーネントの両方を含む場合、同じブロックの第二コンポーネントのイントラ予測モードが、現在ブロックのモード情報から直接的に取得されることができる。現在ブロックに対応する第二コンポーネントのイントラ予測モードが既に特定され且つ既に現在ブロックのモード情報に記憶された場合、現在ブロックに対応する第二コンポーネントのイントラ予測モードに用いられる少なくとも2種のイントラ予測モードは、現在ブロックのモード情報から直接的に取得されることができる。
符号器が現在ブロックに対応する第二コンポーネントを符号化する際に、第二コンポーネントの符号化に用いられる少なくとも2種のイントラ予測モードのモード情報が記憶される。従って、現在ブロックは、第二コンポーネントを含まず、第一コンポーネントのみを含む場合、符号器は、記憶された第二コンポーネントの少なくとも2種のイントラ予測モードを取得することができる。
第二コンポーネントの少なくとも2種のイントラ予測モードにおける各々は異なっている。
第二コンポーネントのイントラ予測に用いられる少なくとも2種のイントラ予測モードは、上記DC、Planar、Plane、Bilinear、及び角度モードなどのイントラ予測モードを含むが、それらに限定されず、MIPF、IPFなどの改善予測モードをさらに含む。説明の便宜上、本出願では、DC、Planar、Plane、Bilinear、及び角度モードなどのイントラ予測モードを基本イントラ予測モードと称し、MIPF、IPFなどを改善イントラ予測モードと称する。基本イントラ予測モードを利用して、他のイントラ予測モードに依存せずに予測ブロックを独立して生成可能であり、即ち、参照サンプル及び基本イントラ予測モードが特定されれば、予測ブロックが特定されることができる。それに対し、改善イントラ予測モードを利用して、予測ブロックを独立して生成することができず、予測ブロックを特定するには、基本イントラ予測モードに依存する必要がある。例えば、ある角度予測モードを利用して参照サンプルに基づいて予測ブロックを特定し又は生成することができるが、MIPFでは、この角度予測モードに基づいて、異なる位置におけるサンプルに対して異なるフィルタを利用して予測ブロックを生成し又は特定することができる。
1つの実施形態において、第二コンポーネントの少なくとも2種のイントラ予測モードはいずれも基本イントラ予測モードである。即ち、2つの異なる基本イントラ予測モード、例えば第一イントラ予測モード及び第二イントラ予測モードが本出願の第二コンポーネントに用いられる。選択的に、改善イントラ予測モードは、第一イントラ予測モード及び第二イントラ予測モードのそれぞれと組み合わせられることができる。選択的に、少なくとも2種の基本イントラ予測モードを利用して第二コンポーネントの最終予測ブロックを取得した後、さらに改善イントラ予測モードを利用して最終予測ブロックを改善し、更新された最終予測ブロックを取得することができる。
1つの実施形態において、第二コンポーネントの少なくとも2種のイントラ予測モードは、基本イントラ予測モードと改善イントラ予測モードとの組合せである。例えば、第二コンポーネントの少なくとも2種のイントラ予測モードは、第一イントラ予測モード及び第二イントラ予測モードである。第一イントラ予測モードはある角度イントラ予測モードであり、第二イントラ予測モードはIPFなどの改善イントラ予測モードである。選択的に、第一イントラ予測モード及び第二イントラ予測モードは同一の角度予測モードに基づくが、第一イントラ予測モードはある改善イントラ予測モードの1つの選択であり、第二イントラ予測モードは当該改善イントラ予測モードの別の選択である。選択的に、第一イントラ予測モード及び第二イントラ予測モードを利用して第二コンポーネントの最終予測ブロックを取得した後に、さらに、改善イントラ予測モードを利用して最終予測ブロックを改善し、更新された最終予測ブロックを取得することができる。
1つの実施形態において、第二コンポーネントの少なくとも2種のイントラ予測モードは、いずれも改善イントラ予測モードの組み合わせである。
S404:第二コンポーネントの少なくとも2種のイントラ予測モードに基づいて、現在ブロックの第一コンポーネントのイントラ予測モードを特定する。
S405:目標イントラ予測モードを利用して現在ブロックの第一コンポーネントに対してイントラ予測を行うことにより、現在ブロックの第一コンポーネントの最終予測ブロックを取得する。
本出願のいくつかの実施形態において、目標イントラ予測モードは少なくとも2種のイントラ予測モードを含む。この場合、第二コンポーネントの少なくとも2種のイントラ予測モードに基づいて、現在ブロックの第一コンポーネントの目標イントラ予測モードを特定する上記S404は以下のいくつかの方式を含むが、これらに限定されない。
方式1では、第二コンポーネントの少なくとも2種のイントラ予測モードを、目標イントラ予測モードとする。例えば、第二コンポーネントの少なくとも2種のイントラ予測モードが、第一イントラ予測モード及び第二イントラ予測モードを含む場合、第一イントラ予測モード及び第二イントラ予測モードを、目標イントラ予測モードとする。
方式2では、第二コンポーネントの少なくとも2種のイントラ予測モードに基づいて、目標イントラ予測モードを導出する。例えば、第二コンポーネントに用いられる角度と比べて、第一コンポーネントに用いられる角度はより大きいギャップを有し、即ち、第二コンポーネントのいくつかのイントラ予測モードを利用して、第一コンポーネントの同一のイントラ予測モードを導出することができる。例えば、第二コンポーネントの近水平(near-horizontal)モード(例えば、AVS3におけるモード番号11に対応するイントラ予測モード)を利用して、第一コンポーネントの水平モードを導出することができる。それに踏まえて、第二コンポーネントの少なくとも2種のイントラ予測モードに基づいて、現在ブロックの第一コンポーネントの少なくとも2種のイントラ予測モードを導出することができる。例えば、第二コンポーネントの第一イントラ予測モードから、現在ブロックの第一コンポーネントの第三イントラ予測モードを導出し、第二コンポーネントの第二イントラ予測モードから、現在ブロックの第一コンポーネントの第四イントラ予測モードを導出する。
目標イントラ予測モードが少なくとも2種のイントラ予測モードを含む場合、上記S405は以下の内容を含む。
S405-A1:現在ブロックの第一コンポーネントの少なくとも2種のイントラ予測モードの各々を利用して、現在ブロックの第一コンポーネントに対してイントラ予測を行うことにより、各種のイントラ予測モードに対応する予測ブロックを取得する。
S405-A2:各種のイントラ予測モードに対応する予測ブロックに基づいて、現在ブロックの第一コンポーネントの最終予測ブロックを取得する。
例として、現在ブロックの第一コンポーネントの少なくとも2種のイントラ予測モードは、2種のイントラ予測モードを含み、例えば、第一イントラ予測モード及び第二イントラ予測モードを含む。
1つの実施形態において、第一イントラ予測モードを利用して現在ブロックの第一コンポーネントに対してイントラ予測を行うことにより、現在ブロックの第一コンポーネントの第一予測ブロックを取得し、第二イントラ予測モードを利用して現在ブロックの第一コンポーネントに対してイントラ予測を行うことにより、現在ブロックの第一コンポーネントの第二予測ブロックを取得する。予め設定された演算規則に従って、第一予測ブロック及び第二予測ブロックを演算して、現在ブロックの第一コンポーネントの最終予測ブロックを取得する。例えば、1:1の割合に従って、即ち、第一予測ブロックと第二予測ブロックとの平均値を、現在ブロックの第一コンポーネントの最終予測ブロックとする。
1つの実施形態において、第一コンポーネントにおける各サンプルに対して、第一イントラ予測モードを利用してサンプルを予測して、第一コンポーネントにおけるサンプルの第一予測値を取得し、第二イントラ予測モードを利用してサンプルを予測して、第一コンポーネントにおけるサンプルの第二予測値を取得する。予め設定された演算規則に従って、第一予測値及び第二予測値を演算して、第一コンポーネントにおけるサンプルの最終予測値を取得する。例えば、第一予測値と第二予測値との平均値を、第一コンポーネントにおけるサンプルの最終予測値とする。同様の方法により、第一コンポーネントにおける各サンプルの最終予測値を取得し、さらに、当該現在ブロックの第一コンポーネントの最終予測ブロックを形成することができる。
1つの実施形態において、上記S405-A2は、S405-A21、及びS405-A22を含む。
S405-A21:第一重み付け行列を特定する。
S405-A22:第一重み付け行列に基づいて、各種のイントラ予測モードに対応する予測ブロックに対して重み付け演算を行うことにより、現在ブロックの第一コンポーネントの最終予測ブロックを取得する。
当該実施形態では、第一重み付け行列を特定し、且つ当該第一重み付け行列に基づいて各種のイントラ予測モードに対応する予測ブロックに対して重み付け演算を行うことにより、現在ブロックの第一コンポーネントの最終予測ブロックを取得する。例として、現在ブロックの第一コンポーネントの少なくとも2種のイントラ予測モードは第一イントラ予測モード及び第二イントラ予測モードである。第一イントラ予測モードを利用して現在ブロックの第一コンポーネントに対してイントラ予測を行うことにより、第一予測ブロックを取得し、第二イントラ予測モードを利用して現在ブロックの第一コンポーネントに対してイントラ予測を行うことにより、第二予測ブロックを取得する。第一コンポーネントにおける各サンプルについて、第一予測ブロックにおけるサンプルの第一予測値と、第二予測ブロックにおけるサンプルの第二予測値と、第一重み付け行列におけるサンプルの重み値とを取得し、当該重み値を利用して第一予測値及び第二予測値に対して重み付け演算を行うことにより、サンプルの最終予測値を取得する。同様の方法により、第一コンポーネントにおける各サンプルの最終予測値を取得し、さらに、現在ブロックの第一コンポーネントの最終予測ブロックを取得することができる。
1つの可能な実施形態において、第一重み付け行列における各重み値は、予め設定された値であり、例えば、いずれも1である。それは、各種のイントラ予測モードに対応する重み値がいずれも1であることを示す。
1つの可能な実施形態において、重み付け行列導出モードに基づいて、第一重み付け行列を導出する。重み付け行列導出モードは、重み付け行列を導出するモードであると理解されることができ、各種の重み付け行列導出モードでは、所定の長さ及び幅を有するブロックの重み付け行列が導出される。異なる重み付け行列導出モードでは、同じサイズを有するブロックの異なる重み付け行列が導出されることができる。例えば、AVS3のAWPに56種の重み付け行列導出モードがあり、VVCのGPMに64種の重み付け行列導出モードがある。この例では、重み付け行列導出モードに基づいて、第一重み付け行列を導出するプロセスと、第二重み付け行列を導出するプロセスとがほぼ同じである。例えば、第二重み付け行列は輝度コンポーネントであり、輝度コンポーネントの第二重み付け行列を導出するプロセスについては、以下のS905の説明を参照することができ、説明を省略する。なお、S905における方式を参照して第一重み付け行列を導出する際に、第一コンポーネントの符号化情報に基づいてS905における関連パラメータを修正し、さらに第一重み付け行列を導出することができる。
1つの可能な実施形態において、第一重み付け行列は、第二コンポーネントの重み付け行列(即ち、第二重み付け行列)から導出される。この場合、上記S405-A21は以下の内容を含む。
S405-A211:現在ブロックに対応する第二コンポーネントの第二重み付け行列を取得する。
S405-A212:第二重み付け行列に基づいて第一重み付け行列を取得する。
一例において、第二重み付け行列は、少なくとも2つの異なる重み値を含む。例えば、最小重み値が0であり、最大重み値が8である場合、当該第二重み付け行列において、一部のサンプルの重み値は0であり、一部のサンプルの重み値は8であり、一部のサンプルの重み値は0~8の間のいずれかの値であり、例えば、2である。
一例において、第二重み付け行列における全ての重み値が同じである。例えば、最小重み値が0、最大重み値が8である場合、第二重み付け行列における全てのサンプルの重み値は、最小重み値と最大重み値との間の値であり、例えば、4である。
一例において、第二コンポーネントにおける、第二重み付け行列における各重み値に対応するサンプルの予測値は、第二コンポーネントの少なくとも2種のイントラ予測モードで予測を行うことにより取得される。例えば、第二コンポーネントに2種のイントラ予測モードが用いられる。第二重み付け行列に対して最小重み値及び最大重み値の制限が設定され、例えば、最小重み値が0に設定され、最大重み値が8に設定され、0~8という9レベルが設定される。0は、現在ブロックに対応する第二コンポーネントにおけるサンプルの予測値が完全に1種のイントラ予測モードから導出された予測値から取得されることを示し、8は、現在ブロックに対応する第二コンポーネントにおけるサンプルの予測値が完全に別のイントラ予測モードから導出された予測値から取得されることを示す。当該第二重み付け行列における各重み値は、いずれも0より大きく且つ8より小さく、例えば、第二重み付け行列における最小重み値が1に設定され、最大重み値が7に設定される。選択的に、当該第二重み付け行列は、少なくとも2つの異なる重み値を含む。
一例において、第二コンポーネントの少なくとも2種のイントラ予測モードは、N種のイントラ予測モードを含み、Nは2以上の正の整数である。第二重み付け行列はN種の異なる重み値を含み、第i種の重み値は、第二コンポーネントにおける、第i種の重み値に対応するサンプルの予測値が、完全に第i種のイントラ予測モードで取得されることを指示し、iは2以上且つN以下の正の整数である。例えば、Nが2であり、即ち、2種のイントラ予測モードを利用して第二コンポーネントに対して予測を行い、その2種のイントラ予測モードが第一イントラ予測モード及び第二イントラ予測モードであると仮定すれば、第二重み付け行列は2種の重み値を含み、そのうちの1種の重み値は、第二コンポーネントにおける対応のサンプルの予測値が完全に第一イントラ予測モードで予測を行うことにより取得されることを指示し、もう1種の重み値は、第二コンポーネントにおける対応のサンプルの予測値が完全に第二イントラ予測モードで予測を行うことにより取得されることを指示する。選択的に、上記2種の重み値は、それぞれ0及び1である。
一例において、第二コンポーネントの少なくとも2種のイントラ予測モードは、第一イントラ予測モード及び第二イントラ予測モードを含む。第二重み付け行列は、最大重み値(例えば、8)、最小重み値(例えば、0)、及び少なくとも1つの中間重み値を含む。最大重み値は、第二コンポーネントにおける対応のサンプルの予測値が、完全に第一イントラ予測モードで予測を行うことにより取得されることを指示するために用いられる。最小重み値は、第二コンポーネントにおける対応のサンプルの予測値が、完全に第二イントラ予測モードで予測を行うことにより取得されることを指示するために用いられる。中間重み値は、第二コンポーネントにおける対応のサンプルの予測値が、第一イントラ予測モード及び第二イントラ予測モードで予測を行うことにより取得されることを指示するために用いられる。選択的に、最大重み値又は最小重み値によって形成される領域は遷移領域と呼ばれることができる。
一例において、第二重み付け行列は複数種の重み値を含み、重み値が変化する位置は、直線又は曲線を形成する。例えば、第二重み付け行列が2種の重み値のみを含む場合、重み値が変化する位置は、直線又は曲線を形成する。又は、第二重み付け行列が3種以上の重み値を含む場合、遷移領域における重み値が同じ位置が直線又は曲線を形成する。選択的に、上記形成された直線は全て水平直線又は垂直直線であり、選択的に、上記形成された直線は全て水平直線又は垂直直線であるというわけではない。
一例において、第二重み付け行列は、AWPモード又はGPMモードに対応する重み付け行列である。即ち、GPM又はAWPのうちの1つが、本出願の方案が適用されるビデオ符号化・復号化規格又は符号器・復号器に用いられる場合、本出願では、GPM又はAWPの重み付け行列が特定される論理と同様の論理に基づいて、第二重み付け行列を特定することができる。例えば、AWPがAVS3におけるインター予測に用いられ、本出願の方案がAVS3に適用される場合、本出願では、AWPの重み付け行列が特定される方法と同様の方法を利用して、第二重み付け行列を特定することができる。選択的に、本出願では、AWPの重み付け行列が再利用されることができる。例えば、AWPの重み付け行列が56種あり、64種の重み付け行列が本出願のイントラ予測に用いられると仮定し、これら64種の重み付け行列のうちの56種がAWPの重み付け行列と同じである。例えば、前の56種がAWPの重み付け行列と同じであり、残りの8種の重み付け行列の各々はそれぞれ1種の重み値のみを有し、その重み値はそれぞれ1、2、....、7、8である。それら8種の重み付け行列について、合計の重み値が16であり、即ち、重み値が1であることは、1:15の重みであることを示し、重み値が2であることは、2:14の重みであることを示す。このように、6ビットの符号語が64種の重み付け行列のモード番号の2値化に用いられることができる。それに基づいて、本出願の実施形態の第二重み付け行列は、AWPモードに対応する重み付け行列であり得る。選択的に、本出願がAVS3に適用され、GPMがAVS3におけるインター予測に用いられる場合、本出願の実施形態では、GPMの重み付け行列が再利用されることができる。この場合、上記第二重み付け行列は、GPMに対応する重み付け行列であり得る。
また、イントラ予測が空間領域における関連性を利用するため、現在ブロックの周辺の再構成済みのサンプルが参照サンプルとして用いられる。空間領域において、距離が近いほど関連性が強くなり、距離が遠いほど関連性が悪くなる。従って、GPMモードに対応する重み付け行列又はAWPモードに対応する重み付け行列が再利用される際に、1つの予測ブロックによりある重み付け行列を利用することで、予測ブロックのサンプル位置が参照サンプルから遠ざけるようになる場合、本出願では当該重み付け行列が利用されなくてもよい。
なお、第二重み付け行列は、上記方法以外に、他の方法で取得されることもでき、本出願の実施形態ではそれについては限定されない。
第二重み付け行列を取得した後、第二重み付け行列に基づいて第一重み付け行列を取得する上記S405-A212を実行する。本出願において、第二重み付け行列に基づいて第一重み付け行列を取得する方式は以下のいくつかを含むが、これらに限定されない。
方式1では、現在ブロックに対応する第二コンポーネントに含まれるサンプルの総数と、現在ブロックの第一コンポーネントに含まれるサンプルの総数とが同じである場合、第二重み付け行列を第一重み付け行列とする。
方式2では、現在ブロックの第一コンポーネントに含まれるサンプルの総数が、現在ブロックに対応する第二コンポーネントに含まれるサンプルの総数より少ない場合、第二重み付け行列をダウンサンプリングすることにより、第一重み付け行列を取得する。例えば、現在ブロックの第一コンポーネントに含まれるサンプルの総数及び現在ブロックに対応する第二コンポーネントに含まれるサンプルの総数に基づいて、第二重み付け行列をダウンサンプリングすることにより、第一重み付け行列を取得する。
上記方法で第一重み付け行列を取得した後、第一重み付け行列に基づいて、各種のイントラ予測モードに対応する予測ブロックに対して重み付け演算を行うことにより、現在ブロックの第一コンポーネントの最終予測ブロックを取得するS405-A22を実行する。
一例において、第一イントラ予測モード及び第二イントラ予測モードが、現在ブロックの第一コンポーネントに用いられると仮定すれば、以下の数1に基づいて、現在ブロックの第一コンポーネントの最終予測ブロックを取得する。
Figure 2024503192000004
Cは第一コンポーネントを表し、predMatrixSawpC[x][y]は、第一コンポーネントにおけるサンプル[x][y]の最終予測値であり、predMatrixC0[x][y]は、現在ブロックの第一コンポーネントの第一予測ブロックにおけるサンプル[x][y]の第一予測値であり、predMatrixC1[x][y]は、現在ブロックの第一コンポーネントの第二予測ブロックにおけるサンプル[x][y]の第二予測値であり、AwpWeightArrayC[x][y]は、第一重み付け行列におけるpredMatrixC0[x][y]の重み値であり、2は予め設定された重みの合計であり、nは正の整数である。第一予測ブロックは、第一イントラ予測モードを利用して予測することにより取得され、第二予測ブロックは、第二イントラ予測モードを利用して予測することにより取得される。
1つの実施形態において、第一コンポーネントは、第一サブコンポーネント及び第二サブコンポーネントを含む。
第一サブコンポーネントについて、上記ステップS405-A1は、以下の内容を含む。現在ブロックの第一コンポーネントの少なくとも2種のイントラ予測モードの各々を利用して、現在ブロックの第一サブコンポーネントに対してイントラ予測を行うことにより、現在ブロックの第一サブコンポーネントの、各種のイントラ予測モードに対応する予測ブロックを取得する。それに応じて、上記S405-A22は、以下の内容を含む。第一重み付け行列に基づいて、現在ブロックの第一サブコンポーネントの、各種のイントラ予測モードに対応する予測ブロックに対して重み付け演算を行うことにより、現在ブロックの第一サブコンポーネントの最終予測ブロックを取得する。
例えば、第一イントラ予測モードを利用して現在ブロックの第一サブコンポーネントに対してイントラ予測を行うことにより、現在ブロックの第一サブコンポーネントの第一予測ブロックを取得する。第二イントラ予測モードを利用して現在ブロックの第一サブコンポーネントに対してイントラ予測を行うことにより、現在ブロックの第一サブコンポーネントの第二予測ブロックを取得する。次に、第一重み付け行列に基づいて、現在ブロックの第一サブコンポーネントの第一予測ブロック及び第二予測ブロックに対して重み付け演算を行うことにより、現在ブロックの第一サブコンポーネントの最終予測ブロックを取得する。
具体的な一例において、以下の数2に基づいて、現在ブロックの第一サブコンポーネントの最終予測ブロックを取得する。
Figure 2024503192000005
Aは第一サブコンポーネントであり、predMatrixSawpA[x][y]は、第一サブコンポーネントにおけるサンプル[x][y]の最終予測値であり、predMatrixA0[x][y]は、現在ブロックの第一サブコンポーネントの第一予測ブロックにおけるサンプル[x][y]の第一予測値であり、predMatrixA1[x][y]は、現在ブロックの第一サブコンポーネントの第二予測ブロックにおけるサンプル[x][y]の第二予測値であり、AwpWeightArrayAB[x][y]は、第一重み付け行列AwpWeightArrayABにおけるpredMatrixA0[x][y]の重み値であり、2は予め設定された重みの合計であり、nは正の整数である。例えば、n=1、2、3などの正の整数である。
第二サブコンポーネントについて、上記ステップS405-A1は、以下の内容を含む。現在ブロックの第一コンポーネントの少なくとも2種のイントラ予測モードの各々を利用して、現在ブロックの第二サブコンポーネントに対してイントラ予測を行うことにより、現在ブロックの第二サブコンポーネントの、各種のイントラ予測モードに対応する予測ブロックを取得する。それに応じて、上記S405-A22は、以下の内容を含む。第一重み付け行列に基づいて、現在ブロックの第二サブコンポーネントの、各種のイントラ予測モードに対応する予測ブロックに対して重み付け演算を行うことにより、現在ブロックの第二サブコンポーネントの最終予測ブロックを取得する。
例えば、第一イントラ予測モードを利用して現在ブロックの第二サブコンポーネントに対してイントラ予測を行うことにより、現在ブロックの第二サブコンポーネントの第一予測ブロックを取得する。第二イントラ予測モードを利用して現在ブロックの第二サブコンポーネントに対してイントラ予測を行うことにより、現在ブロックの第二サブコンポーネントの第二予測ブロックを取得する。次に、第一重み付け行列に基づいて、現在ブロックの第二サブコンポーネントの第一予測ブロック及び第二予測ブロックに対して重み付け演算を行うことにより、現在ブロックの第二サブコンポーネントの最終予測ブロックを取得する。
具体的な一例において、以下の数3に基づいて、現在ブロックの第二サブコンポーネントの最終予測ブロックを取得する。
Figure 2024503192000006
Bは第二サブコンポーネントであり、predMatrixSawpB[x][y]は、第二サブコンポーネントにおけるサンプル[x][y]の最終予測値であり、predMatrixB0[x][y]は、現在ブロックの第二サブコンポーネントの第一予測ブロックにおけるサンプル[x][y]の第一予測値であり、predMatrixB1[x][y]は、現在ブロックの第二サブコンポーネントの第二予測ブロックにおけるサンプル[x][y]の第二予測値であり、AwpWeightArrayAB[x][y]は、第一重み付け行列におけるpredMatrixB0[x][y]の重み値であり、2は予め設定された重みの合計であり、nは正の整数である。
本出願では、少なくとも2種のイントラ予測モードが現在ブロックに対応する第二コンポーネントの予測に用いられ、且つ現在ブロックの第一コンポーネントの初期イントラ予測モードが導出モードであると特定された場合、上記実施形態に記載の方法を利用して、第二コンポーネントの少なくとも2種のイントラ予測モードに基づいて、現在ブロックの第一コンポーネントの少なくとも2種のイントラ予測モードを取得し、且つ現在ブロックの第一コンポーネントの少なくとも2種のイントラ予測モードを利用して現在ブロックの第一コンポーネントに対してイントラ予測を行う。それによって、現在ブロックの第一コンポーネントのイントラ予測モードを簡単且つ効率的に特定することができるだけではなく、複雑なテクスチャの正確な予測を実現することもでき、さらに、ビデオ符号化の効率を向上させる。また、本出願では、現在ブロックの第一コンポーネントの少なくとも2種のイントラ予測モードは、第二コンポーネントの少なくとも2種のイントラ予測モードから導出されるため、後続のビットストリームに、現在ブロックの第一コンポーネントの少なくとも2種のイントラ予測モードのモード情報が携帯される必要がなくなり、オーバーヘッドが低減されることができる。
本出願では、少なくとも2種のイントラ予測モードを利用して少なくとも2つの予測ブロックを生成し、次に、重み付け行列に基づいて少なくとも2つの予測ブロッククに対して重み付けを行うことにより最終予測ブロックを取得する。1種のイントラ予測モードに基づいて1つの予測ブロックを生成する従来の方法と比べて、上記の複雑度が増す。システム全体への複雑度の影響を低減するために、同時に、圧縮性能と複雑度との両方のバランスを考慮に入れて、いくつかの特定のサイズを有するブロックに本出願が適用されないという制限を設けることができ、即ち、本出願の現在ブロックのサイズが予め設定された条件を満たす。
予め設定された条件は、以下の任意の1つ又は複数を含む。
条件1:現在ブロックの幅が第一予め設定された幅TH1以上であり、且つ現在ブロックの高さが第一予め設定された高さTH2以上である。例えば、TH1及びTH2が8、16、32などであってもよい。選択的に、TH1がTH2に等しくてもよい。例えば、現在ブロックの高さが8以上に設定され、現在ブロックの幅が8以上に設定される。
条件2:現在ブロックにおけるサンプルの数が第一予め設定された数TH3以上である。TH3の値は8、16、32などであってもよい。
条件3:現在ブロックの幅が第二予め設定された幅TH4以下であり、且つ現在ブロックの高さが第二予め設定された高さTH5以上である。TH4及びTH5の値が8、16、32などであってもよく、TH4がTH5に等しくてもよい。
条件4:現在ブロックの幅に対する長さの比が第一予め設定された比率である。例えば、第一予め設定された比率は1:1、1:2、2:1、4:1、1:4のうちのいずれかである。
条件5:現在ブロックのサイズが第二予め設定された値ではない。例えば、第二予め設定された値は、16×32、32×32、16×64、64×16のうちのいずれかである。
条件6:現在ブロックの高さが第三予め設定された高さ以上であり、現在ブロックの幅が第三予め設定された幅以上であり、現在ブロックの高さに対する幅の比が第三予め設定された値以下であり、且つ現在ブロックの幅に対する高さの比が第三予め設定された値以下である。例えば、現在ブロックの高さが8以上であり、且つ幅が8以上であり、幅に対する高さの比が4以下であり、且つ高さに対する幅の比が4以下である。
本出願の実施形態の方法は、正方形のブロック又はほぼ正方形のブロック、例えば1:1又は1:2のブロッに対して予測を行う際の予測効果が顕著であるが、幅に対する長さの比が16:1や32:1であるような細長いブロックに対して予測を行う際の予測効果が顕著ではない。そのため、システム全体への複雑度の影響を低減するために、同時に、圧縮性能と複雑度との両方のバランスを考慮に入れて、本出願では主に、上記予め設定された条件を満たす正方形のブロック又はほぼ正方形のブロックに対して、イントラ予測を行う。
本出願のいくつかの実施態様において、現在ブロックの第一コンポーネントの目標イントラ予測モードは、1種のイントラ予測モードを含むことができる。この場合、上記S404は以下のいくつかの方式を含むが、これらに限定されない。
方式1では、第二コンポーネントの少なくとも2種のイントラ予測モードのうちの1種を目標イントラ予測モードとする。例えば、第一イントラ予測モード及び第二イントラ予測モードが第二コンポーネントに用いられる場合、当該第一イントラ予測モードを常に目標イントラ予測モードとし、又は、当該第二イントラ予測モードを常に目標イントラ予測モードとする。
方式2では、第二コンポーネントの少なくとも2種のイントラ予測モードに基づいて1種のイントラ予測モードを導出し、導出された当該イントラ予測モードを目標イントラ予測モードとする。例えば、第二コンポーネントに用いられる角度と比べて、第一コンポーネントに用いられる角度はより大きいギャップを有し、即ち、いくつかの異なる輝度イントラ予測モードから、同一の彩度イントラ予測モードを導出する可能性がある。
方式3では、現在ブロックの第一サンプル位置に対応する第二コンポーネントのイントラ予測モードに基づいて、目標イントラ予測モードを特定する。第一サンプル位置は、例えば、現在ブロックの右下隅又は中間におけるあるサンプルの位置である。
方式3の1つの可能性として、第一サンプル位置に対応する第二コンポーネントの予測ブロックが完全に1種のイントラ予測モードで予測を行うことにより取得される場合、当該1種のイントラ予測モードを目標イントラ予測モードとする。
方式3の1つの可能性として、第一サンプル位置に対応する第二コンポーネントの予測ブロックが複数種のイントラ予測モードで予測を行うことにより取得される場合、複数種のイントラ予測モードのうちの重み値が最も大きいイントラ予測モードを目標イントラ予測モードとする。
方式3の1つの可能性として、第一サンプル位置に対応する最小ユニットに記憶された第二コンポーネントのイントラ予測モードを、目標イントラ予測モードとする。第一サンプル位置に対応する第二コンポーネントの予測ブロックが完全に1種のイントラ予測モードで予測を行うことにより取得される場合、当該1種のイントラ予測モードのモード情報が最小ユニットに記憶される。第一サンプル位置に対応する第二コンポーネントの予測ブロックが複数種のイントラ予測モードで予測を行うことにより取得される場合、複数種のイントラ予測モードのうちの重み値が最も大きいイントラ予測モードのモード情報が最小ユニットに記憶される。
即ち、本出願のイントラ予測において、後続の符号化・復号化ブロックによって参照されるように、イントラ予測モードなどの情報を記憶することができる。隣接位置関係に基づいて、前の符号化・復号化済みのブロック(例えば、隣接ブロック)のイントラ予測モードが現在画像の後続の符号化・復号化ブロックに用いられることができる。位置に基づいて、前の符号化・復号化済みの輝度ブロック(符号化ユニット)のイントラ予測モードが彩度ブロック(符号化ユニット)に用いられることができる。ここで記憶されるこれらの情報は、後続の符号化・復号化ブロックによって参照されるためのものである。同一のブロック(符号化ユニット)における符号化モード情報は直接に取得されることができるが、異なるブロック(符号化ユニット)における符号化モード情報は直接に取得されることができないため、記憶される必要がある。これらの情報は、位置に基づいて、後続の符号化・復号化ブロックのために読み取られる。現在画像の各ブロックに用いられるイントラ予測モードの記憶方法は、4×4行列のような固定サイズの行列を最小ユニットとして、各最小ユニットに単独的に1種のイントラ予測モードが記憶されることである。このように、1つのブロックを符号化・復号化するたびに、そのブロックの位置に対応するそれらの最小ユニットは、そのブロックのイントラ予測モードを記憶しておくことができる。図11Bに示されるように、1つの16×16のブロックにイントラ予測モード5が用いられる場合、当該ブロックに対応する全ての4×4の最小ユニットに記憶されるイントラ予測モードはいずれもイントラ予測モード5である。YUVフォーマットでは、一般的に、輝度イントラ予測モードのみが記憶される。
例として、第二コンポーネントの少なくとも2種のイントラ予測モードが第一イントラ予測モード及び第二イントラ予測モードを含む場合、イントラ予測モードが以下の方式で最小ユニットに記憶されることができる。
1つの方式では、一部の最小ユニットは第一イントラ予測モードを記憶し、一部の最小ユニットは第二イントラ予測モードを記憶する。具体的な実現方法は、GPM又はAWPに類似する。GPM又はAWPのうちの1つが、本出願の技術が適用されるビデオ符号化・復号化規格又は符号器・復号器に用いられる場合、本出願では、GPM又はAWPに類似した論理を利用することができ、又は同じ論理の一部を再利用することができる。例えば、AWPがAVS3におけるインター予測に用いられる場合、AVS3において、AWPのために2つの異なる動き情報を記憶するものと類似な論理を利用して第二コンポーネントの2つの異なるイントラ予測モードを記憶することができる。即ち、1つの最小ユニットに対応する位置では、第一イントラ予測モードのみを利用して予測ブロックを特定する場合、この最小ユニットは第一イントラ予測モードを記憶する。1つの最小ユニットに対応する位置では、第二イントラ予測モードのみを利用して予測ブロックを特定する場合、この最小ユニットは第二イントラ予測モードを記憶する。1つの最小ユニットに対応する位置では、第一イントラ予測モード及び第二イントラ予測モードの両方を利用して予測ブロックを特定する場合、一定の判断方法に応じて、そのうちの1つを記憶し、例えば、第一イントラ予測モード及び第二イントラ予測モードのうちの重みが大きいほうを選択して記憶する。
もう1つの方式では、現在ブロックの全体に対応する全ての最小ユニットが同一のイントラ予測モードのみを選択して記憶する。例えば、第二重み付け行列の導出モードに基づいて、現在ブロックの全ての最小ユニットが第一イントラ予測モードを記憶するか第二イントラ予測モードを記憶するかが特定される。本出願の第二重み付け行列の導出モードが、56種の重み付け行列導出モードを含む(具体的に図4Bを参照)AWPの重み付け行列導出モードと同じであることを仮定する。下記の表3に示されるように、第二重み付け行列の導出モードのモード番号が0に対応すれば、現在ブロックの全ての最小ユニットがいずれも第一イントラ予測モードを記憶し、行列導出モードのモード番号が1に対応すれば、現在ブロックの全ての最小ユニットがいずれも第二イントラ予測モードを記憶する。
Figure 2024503192000007
上記説明に基づいて、本出願では、第二コンポーネントのイントラ予測モードが位置に基づいて、対応の最小ユニットに記憶されている。このように、現在ブロックの第一コンポーネントのイントラ予測モードを特定する際に、第一サンプル位置に対応する最小ユニットに記憶された第二コンポーネントのイントラ予測モードを、現在ブロックの第一コンポーネントのイントラ予測モードとすることができる。
いくつかの実施形態において、本出願の現在ブロックは第二コンポーネントを含まず、第一コンポーネントのみを含む場合、例えば、輝度コンポーネントを含まず、彩度コンポーネントのみを含む(即ち、本出願の現在ブロックが彩度ブロックである)場合、以下の方式で現在ブロックの第一コンポーネントのイントラ予測モードを特定することができる。例えば、既存の方式に基づいて現在ブロックの第一コンポーネントのイントラ予測モードを特定する。例として、1つの位置に基づいて第二コンポーネントのイントラ予測モードを見つけ、見つけられた当該第二コンポーネントのイントラ予測モードを現在ブロックの第一コンポーネントのイントラ予測モードとする。当該現在ブロックの第一コンポーネントのイントラ予測モードは1種のイントラ予測モードを含む。
図14は、本出願の実施形態に係るビデオ符号化方法500を示す別のフローチャートである。本出願の実施形態では、例として、少なくとも2種のイントラ予測モードが第一コンポーネントに用いられる。図14に示されるように、当該方法は以下の内容を含む。
S501:第一コンポーネントと第二コンポーネントとを含む現在ブロックを取得する。例えば、目標画像を取得し、且つ目標画像をブロックに分割して、現在ブロックを取得する。選択的に、当該現在ブロックは第二コンポーネントを含む。
S502:現在ブロックに対応する第二コンポーネントの少なくとも2種のイントラ予測モード、及び第二重み付け行列を特定する。
符号化側では、符号化器は、現在ブロックに対応する第二コンポーネントの少なくとも2種のイントラ予測モード及び第二重み付け行列を特定する際に、全部又は一部の異なるイントラ予測モードと異なる重み付け行列との組み合わせを試みる。各組み合わせの符号化コストに基づいて、符号化器は、符号化コストが最小である組み合わせに対応する少なくとも2種のイントラ予測モードを、現在ブロックに対応する第二コンポーネントの少なくとも2種のイントラ予測モードとし、且つ当該組み合わせに対応する重み付け行列を第二重み付け行列とする。
例として、現在ブロックに対応する第二コンポーネントの少なくとも2種のイントラ予測モードは、第一イントラ予測モード及び第二イントラ予測モードを含む。上記全ての可能な組み合わせは、第一イントラ予測モードの全ての可能なモードと、第二イントラ予測モードの全ての可能なモードと、重み付け行列導出モードの全ての可能なモードとの組み合わせを含む。本出願において、全ての利用可能なイントラ予測モードが66種あり、第一イントラ予測モードが66種あると仮定し、第二イントラ予測モードと第一イントラ予測モードが異なるため、第二イントラ予測モードが65種ある。重み付け行列導出モード(AWPを例として)が56種あると仮定し、任意の2種の異なるイントラ予測モードと、いずれかの重み付け行列導出モードとを組み合わせることが可能であり、合計で66×65×56種の可能な組み合わせがある。
1つの可能な方式において、全ての可能な組み合わせに対してレート歪み最適化(rate distortion optimization、RDOと略称する)を行い、コストが最小である1つの組み合わせを特定する。当該組み合わせに対応する2つのイントラ予測モードを第一イントラ予測モード及び第二イントラ予測モードとして特定し、当該組み合わせに対応する重み付け行列を第二重み付け行列とする。
もう1つの可能な方式において、上記全ての可能な組み合わせに対して最初の選択を行い、例えば、差分絶対値和(sum of absolute difference、SAD)、差分変換絶対値和(sum of absolute transformed difference、SATD)などの近似のコストを利用して最初の選択を行うことにより、予め設定された数の、第一イントラ予測モードと、第二イントラ予測モードと、重み付け行列導出モードとの候補組み合わせを特定する。次に、RDOで精選を行い、コストが最小である、第一イントラ予測モードと、第二イントラ予測モードと、重み付け行列導出モードとの組み合わせを特定する。いくつかの高速アルゴリズムが最初の選択に用いられ、試みの回数を減らすことができる。例えば、1つのイントラ角度予測モードが高コストを引き起こす場合、イントラ角度予測モードに隣接する複数のイントラ予測モードを試みない。
上記最初の選択及び精選中に、第一イントラ予測モードに基づいて第一予測ブロックを特定し、第二イントラ予測モードに基づいて第二予測ブロックを特定し、重み付け行列導出モードに基づいて重み付け行列を導出する。第一予測ブロック、第二予測ブロック及び重み付け行列に基づいて最終予測ブロックを特定する。SAD及びSATDを利用する最初の選択中に、現在ブロック及び予測ブロックを利用してSAD及びSATDを特定する。
選択的に、符号器は、現在ブロックのテクスチャを先に分析することができ、例えば、勾配を利用して分析する。分析されたデータは、最初の選択の役に立つ。例えば、現在ブロックのテクスチャのうち、ある方向のテクスチャが強い場合、上記最初の選択中に、その方向に近似した方向におけるイントラ予測モードがより多く選択される。現在ブロックのテクスチャのうち、ある方向のテクスチャが弱い場合、上記最初の選択中に、その方向に近似した方向におけるイントラ予測モードがより少なく選択され又は選択されない。
上記符号化コストは、第一イントラ予測モード、第二イントラ予測モード、及び重み付け行列導出モードによってビットストリームにおいて占有される符号語のコスト、予測残差の変換、量子化、エントロピー符号化などのためにビットストリームで伝送される各種のフラグ及び量子化係数のコスト、再構成ブロックの歪みのコストなどを含む。
さらに、符号器は、上記特定された、現在ブロックに対応する第二コンポーネントの第一イントラ予測モード、第二イントラ予測モード及び第二重み付け行列導出モードの情報をシンタックス(syntax)に基づいてビットストリームに書き込む。
S503:現在ブロックに対応する第二コンポーネントの少なくとも2種のイントラ予測モードを利用して、現在ブロックに対応する第二コンポーネントに対してイントラ予測を行うことにより、現在ブロックに対応する第二コンポーネントの各種のイントラ予測モードに対応する予測ブロックを取得する。
S504:第二重み付け行列に基づいて、現在ブロックに対応する第二コンポーネントの各種のイントラ予測モードに対応する予測ブロックに対して重み付けを行うことにより、現在ブロックに対応する第二コンポーネントの最終予測ブロックを取得する。
S505:現在ブロックの第一コンポーネントの初期イントラ予測モードを特定する。
S506:現在ブロックの第一コンポーネントの初期イントラ予測モードが導出モードであると特定する場合、現在ブロックに対応する第二コンポーネントの少なくとも2種のイントラ予測モードを取得する。
S507:現在ブロックに対応する第二コンポーネントの少なくとも2種のイントラ予測モードに基づいて、現在ブロックの第一コンポーネントの少なくとも2種のイントラ予測モードを特定する。例えば、現在ブロックに対応する第二コンポーネントの少なくとも2種のイントラ予測モードをそのまま現在ブロックの第一コンポーネントの少なくとも2種のイントラ予測モードとする。
S508:第二重み付け行列に基づいて第一重み付け行列を取得する。例えば、現在ブロックに対応する第二コンポーネントに含まれるサンプルの総数と、現在ブロックの第一コンポーネントに含まれるサンプルの総数とが同じである場合、第二重み付け行列を第一重み付け行列とする。現在ブロックの第一コンポーネントに含まれるサンプルの総数が、現在ブロックに対応する第二コンポーネントに含まれるサンプルの総数より少ない場合、第二重み付け行列をダウンサンプリングすることにより、第一重み付け行列を取得する。又は、重み付け行列導出モードに基づいて、第一重み付け行列を導出する。
なお、上記S507の操作及び上記S508の操作は、任意の順序で実行され得る。
S509:現在ブロックの第一コンポーネントの少なくとも2種のイントラ予測モードを利用して、現在ブロックの第一コンポーネントに対してイントラ予測を行うことにより、現在ブロックの第一コンポーネントの各種のイントラ予測モードに対応する予測ブロックを取得する。
S510:第一重み付け行列に基づいて、現在ブロックの第一コンポーネントの各種のイントラ予測モードに対応する予測ブロックに対して重み付けを行うことにより、現在ブロックの第一コンポーネントの最終予測ブロックを取得する。
S511:ビットストリームを生成する。ビットストリームに重み付け予測フラグが含まれており、当該重み付け予測フラグは、第二コンポーネントの予測ブロックが少なくとも2種のイントラ予測モードで予測を行うことにより取得されるか否かを指示するために用いられる。
選択的に、当該ビットストリームに、現在ブロックに対応する第二コンポーネントの少なくとも2種のイントラ予測モードのモード情報がさらに携帯されている。
選択的に、当該ビットストリームに、第二重み付け行列の導出モードのモード情報がさらに携帯されている。
選択的に、ビットストリームに、現在ブロックの第一コンポーネントの導出モードのモード情報が携帯されている。
選択的に、第一重み付け行列が重み付け行列導出モードに基づいて特定される場合、ビットストリームに、第一重み付け行列の導出モードのモード情報が携帯されることができる。
いくつかの実施形態において、少なくとも2種のイントラ予測モードが現在ブロックに対応する第二コンポーネントの予測に用いられると特定された場合、現在ブロックの第一コンポーネントの初期イントラ予測モードがDMモードなどの導出モードであると特定される。この場合、現在ブロックの第一コンポーネントのイントラ予測モードが導出モードであると特定された場合、ビットストリームに導出モードのモード情報が携帯されない。
現在ブロックの最終予測ブロックを取得した後、符号器は、量子化係数の復号化、逆変換及び逆量子化による残差ブロックの特定、残差ブロックと予測ブロックとの組み合わせによる再構成ブロックの取得、後続のループフィルタリングなどを含む後続の処理を実行する。
本出願では、第一コンポーネント及び第二コンポーネントはいずれも、少なくとも2種のイントラ予測モードで予測されることができ、それによって、より複雑な予測ブロックを取得することができ、イントラ予測の品質を向上させて圧縮性能を向上させることができる。従来技術と比べて、複雑なテクスチャの予測を可能にし、且つチャネル間の関連性を利用してビットストリームにおけるモード情報の伝送を低減し、符号化効率を効果的に向上させることができる。
図15は、本出願の実施形態に係るビデオ符号化方法600を示す他のフローチャートである。本出願の実施形態において、例として、第一コンポーネントは彩度コンポーネントであり、第二コンポーネントは輝度コンポーネントであり、現在ブロックの輝度コンポーネントの少なくとも2種のイントラ予測モードは、第一イントラ予測モード及び第二イントラ予測モードを含み、2種のイントラ予測モードが彩度コンポーネントに用いられる。図15に示されるように、当該方法は以下の内容を含む。
S601:彩度コンポーネントと輝度コンポーネントとを含む現在ブロックを取得する。
S602:現在ブロックの輝度コンポーネントの第一イントラ予測モード及び第二イントラ予測モードを特定し、第二重み付け行列を特定する。
S603:第一イントラ予測モードを利用して現在ブロックの輝度コンポーネントに対してイントラ予測を行うことにより、現在ブロックの輝度コンポーネントの第一予測ブロックを取得し、第二イントラ予測モードを利用して現在ブロックの輝度コンポーネントに対してイントラ予測を行うことにより、現在ブロックの輝度コンポーネントの第二予測ブロックを取得する。
S604:第二重み付け行列に基づいて、現在ブロックの輝度コンポーネントの第一予測ブロック及び第二予測ブロックに対して重み付け演算を行うことにより、現在ブロックの輝度コンポーネントの最終予測ブロックを取得する。
S605:現在ブロックの彩度コンポーネントの初期イントラ予測モードを特定する。
S606:現在ブロックの彩度コンポーネントの初期イントラ予測モードが導出モードであると特定する場合、現在ブロックの輝度コンポーネントの第一イントラ予測モード及び第二イントラ予測モードを取得する。
S607:現在ブロックの輝度コンポーネントの第一イントラ予測モード及び第二イントラ予測モードを、現在ブロックの彩度コンポーネントの第一イントラ予測モード及び第二イントラ予測モードとして特定する。
S608:現在ブロックの輝度コンポーネントの第二重み付け行列に基づいて、現在ブロックの彩度コンポーネントの第一重み付け行列を取得する。
S609:第一イントラ予測モードを利用して現在ブロックの彩度コンポーネントに対してイントラ予測を行うことにより、現在ブロックの彩度コンポーネントの第一予測ブロックを取得し、第二イントラ予測モードを利用して現在ブロックの彩度コンポーネントに対してイントラ予測を行うことにより、現在ブロックの彩度コンポーネントの第二予測ブロックを取得する。
S610:第一重み付け行列に基づいて、現在ブロックの彩度コンポーネントの第一予測ブロック及び第二予測ブロックに対して重み付け演算を行うことにより、現在ブロックの彩度コンポーネントの最終予測ブロックを取得する。
S611:ビットストリームを生成する。ビットストリームに重み付け予測フラグが含まれており、当該重み付け予測フラグは、現在ブロックの輝度コンポーネントの予測ブロックが少なくとも2種のイントラ予測モードで予測を行うことにより取得されるか否かを指示するために用いられる。
選択的に、当該ビットストリームに、現在ブロックの輝度コンポーネントの少なくとも2種のイントラ予測モードのモード情報がさらに携帯されている。
選択的に、ビットストリームに、現在ブロックの彩度コンポーネントの導出モードのモード情報が携帯されている。
いくつかの実施形態において、少なくとも2種のイントラ予測モードが現在ブロックの輝度コンポーネントの予測に用いられると特定された場合、現在ブロックの彩度コンポーネントのイントラ予測モードが導出モードであると特定される。
この場合、現在ブロックの彩度コンポーネントのイントラ予測モードが導出モードであると特定された場合、ビットストリームに導出モードのモード情報が携帯されない。
現在ブロックの最終予測ブロックを取得した後、符号器は、量子化係数の復号化、逆変換及び逆量子化による残差ブロックの特定、残差ブロックと予測ブロックとの組み合わせによる再構成ブロックの取得、後続のループフィルタリングなどを含む後続の処理を実行する。
以上、本出願の実施形態に係るビデオ符号化方法について説明したが、それに基づいて、以下、本出願に係る復号化側におけるビデオ復号化方法について説明する。
図16は、本出願の実施形態に係るビデオ復号化方法700を示すフローチャートである。図16に示されるように、本出願の実施形態に係る方法は以下の内容を含む。
S701:ビットストリームを解析することにより、第一コンポーネントを含む現在ブロックと現在ブロックに対応する第二コンポーネントの少なくとも2種のイントラ予測モードとを取得する。
本出願のビットストリームに、現在ブロックに対応する第二コンポーネントのイントラ予測中に用いられる少なくとも2種のイントラ予測モードのモード情報が携帯されているため、ビットストリームを解析することにより、現在ブロックに対応する第二コンポーネントの少なくとも2種のイントラ予測モードのモード情報を取得することができ、さらに、現在ブロックに対応する第二コンポーネントのイントラ予測中に用いられる少なくとも2種のイントラ予測モードを取得することができる。
いくつかの実施態様において、本出願の現在ブロックのサイズは、予め設定された条件を満たす。
予め設定された条件は、以下の任意の1つを含む。
条件1:現在ブロックの幅が第一予め設定された幅TH1以上であり、且つ現在ブロックの高さが第一予め設定された高さTH2以上である。例えば、TH1及びTH2が8、16、32などであってもよい。選択的に、TH1がTH2に等しくてもよい。例えば、現在ブロックの高さが8以上に設定され、現在ブロックの幅が8以上に設定される。
条件2:現在ブロックにおけるサンプルの数が第一予め設定された数TH3以上である。TH3の値は8、16、32などであってもよい。
条件3:現在ブロックの幅が第二予め設定された幅TH4以下であり、且つ現在ブロックの高さが第二予め設定された高さTH5以上である。TH4及びTH5の値が8、16、32などであってもよく、TH4がTH5に等しくてもよい。
条件4:現在ブロックの幅に対する長さの比が第一予め設定された比率である。例えば、第一予め設定された比率は1:1、1:2、2:1、4:1、1:4のうちのいずれかである。
条件5:現在ブロックのサイズが第二予め設定された比率である。例えば、第二予め設定された値は、16×32、32×32、16×64、64×16のうちのいずれかである。
条件6:現在ブロックの高さが第三予め設定された高さ以上であり、現在ブロックの幅が第三予め設定された幅以上であり、現在ブロックの高さに対する幅の比が第三予め設定された値以下であり、且つ現在ブロックの幅に対する高さの比が第三予め設定された値以下である。例えば、現在ブロックの高さが8以上であり、且つ幅が8以上であり、幅に対する高さの比が4以下であり、且つ高さに対する幅の比が4以下である。
S702:現在ブロックの第一コンポーネントの初期イントラ予測モードを特定する。
具体的に、ビットストリームに携帯される現在ブロックの第一コンポーネントの初期イントラ予測モードが導出モードではない場合、ビットストリームに携帯される初期イントラ予測モードを利用して現在ブロックの第一コンポーネントに対してイントラ予測が行われる。ビットストリームに携帯される現在ブロックの第一コンポーネントの初期イントラ予測モードが導出モードである場合、S703が実行される。ビットストリームに現在ブロックの第一コンポーネントの初期イントラ予測モードのモード情報が携帯されていない場合、現在ブロックの第一コンポーネントの初期イントラ予測モードが導出モードであるとデフォルトし、S703が実行される。
S703:初期イントラ予測モードが導出モードである場合、現在ブロックに対応する第二コンポーネントの少なくとも2種のイントラ予測モードに基づいて、現在ブロックの第一コンポーネントのイントラ予測モードを特定する。
いくつかの実施形態において、現在ブロックの第一コンポーネントのイントラ予測モードは少なくとも2種のイントラ予測モードを含む。この場合、上記S703は、以下のいくつかを含むが、それらに限定されない。
方式1では、第二コンポーネントの少なくとも2種のイントラ予測モードを、現在ブロックの第一コンポーネントのイントラ予測モードとする。
方式2では、第二コンポーネントの少なくとも2種のイントラ予測モードに基づいて、現在ブロックの第一コンポーネントのイントラ予測モードを導出する。
いくつかの実施形態において、現在ブロックの第一コンポーネントのイントラ予測モードは1種のイントラ予測モードを含む可能性がある。この場合、上記S404は、以下のいくつかの方式を含むが、それらに限定されない。
方式1では、第二コンポーネントの少なくとも2種のイントラ予測モードのうちの1種を、現在ブロックの第一コンポーネントのイントラ予測モードとする。例えば、第一イントラ予測モード及び第二イントラ予測モードが第二コンポーネントに用いられる場合、当該第一イントラ予測モードを常に現在ブロックの第一コンポーネントのイントラ予測モードとし、又は、当該第二イントラ予測モードを常に現在ブロックの第一コンポーネントのイントラ予測モードとする。
方式2では、第二コンポーネントの少なくとも2種のイントラ予測モードに基づいて1種のイントラ予測モードを導出し、導出された当該イントラ予測モードを現在ブロックの第一コンポーネントのイントラ予測モードとする。例えば、第二コンポーネントに用いられる角度と比べて、第一コンポーネントに用いられる角度はより大きいギャップを有し、即ち、いくつかの異なる輝度イントラ予測モードから、同一の彩度イントラ予測モードを導出する可能性がある。
方式3では、現在ブロックの第一サンプル位置に対応する第二コンポーネントのイントラ予測モードに基づいて、現在ブロックの第一コンポーネントのイントラ予測モードを特定する。
方式3の1つの可能性として、第一サンプル位置に対応する第二コンポーネントの予測ブロックが完全に1種のイントラ予測モードで予測を行うことにより取得される場合、当該1種のイントラ予測モードを現在ブロックの第一コンポーネントのイントラ予測モードとする。
方式3の1つの可能性として、第一サンプル位置に対応する第二コンポーネントの予測ブロックが複数種のイントラ予測モードで予測を行うことにより取得される場合、複数種のイントラ予測モードのうちの重み値が最も大きいイントラ予測モードを現在ブロックの第一コンポーネントのイントラ予測モードとする。
方式3の1つの可能性として、第一サンプル位置に対応する最小ユニットに記憶された第二コンポーネントのイントラ予測モードを、現在ブロックの第一コンポーネントのイントラ予測モードとする。第一サンプル位置に対応する第二コンポーネントの予測ブロックが完全に1種のイントラ予測モードで予測を行うことにより取得される場合、当該1種のイントラ予測モードのモード情報が最小ユニットに記憶される。第一サンプル位置に対応する第二コンポーネントの予測ブロックが複数種のイントラ予測モードで予測を行うことにより取得される場合、複数種のイントラ予測モードのうちの重み値が最も大きいイントラ予測モードのモード情報が最小ユニットに記憶される。
S704:現在ブロックの第一コンポーネントのイントラ予測モードを利用して現在ブロックの第一コンポーネントに対してイントラ予測を行うことにより、現在ブロックの第一コンポーネントの最終予測ブロックを取得する。
現在ブロックの第一コンポーネントのイントラ予測モードが少なくとも2種のイントラ予測モードを含む場合、上記S704は以下の内容を含む。
S704-A1:現在ブロックの第一コンポーネントの少なくとも2種のイントラ予測モードの各々を利用して、現在ブロックの第一コンポーネントに対してイントラ予測を行うことにより、各種のイントラ予測モードに対応する予測ブロックを取得する。
S704-A2:各種のイントラ予測モードに対応する予測ブロックに基づいて、現在ブロックの第一コンポーネントの最終予測ブロックを取得する。
1つの実施形態において、上記S704-A2は、S704-A21及びS704-A22を含む。
S704-A21:第一重み付け行列を特定する。
S704-A22:第一重み付け行列に基づいて、各種のイントラ予測モードに対応する予測ブロックに対して重み付け演算を行うことにより、現在ブロックの第一コンポーネントの最終予測ブロックを取得する。
1つの可能な実施形態において、重み付け行列導出モードに基づいて、第一重み付け行列を導出する。
1つの可能な実施形態において、第一重み付け行列は、第二コンポーネントの重み付け行列(即ち、第二重み付け行列)から導出される。この場合、上記S704-A21は、以下の内容を含む。
S704-A211:現在ブロックに対応する第二コンポーネントの第二重み付け行列を取得する。
S704-A212:第二重み付け行列に基づいて第一重み付け行列を取得する。
一例において、第二重み付け行列は、少なくとも2つの異なる重み値を含む。例えば、最小重み値が0であり、最大重み値が8である場合、当該第二重み付け行列において、一部のサンプルの重み値は0であり、一部のサンプルの重み値は8であり、一部のサンプルの重み値は0~8の間のいずれかの値であり、例えば、2である。
一例において、第二重み付け行列における全ての重み値が同じである。例えば、最小重み値が0、最大重み値が8である場合、第二重み付け行列における全てのサンプルの重み値は、最小重み値と最大重み値との間の値であり、例えば、4である。
一例において、第二コンポーネントにおける、第二重み付け行列における各重み値に対応するサンプルの予測値は、第二コンポーネントの少なくとも2種のイントラ予測モードで予測を行うことにより取得される。
一例において、第二コンポーネントの少なくとも2種のイントラ予測モードは、N種のイントラ予測モードを含み、Nは2以上の正の整数である。第二重み付け行列はN種の異なる重み値を含み、第i種の重み値は、第二コンポーネントにおける、第i種の重み値に対応するサンプルの予測値が、完全に第i種のイントラ予測モードで取得されることを指示し、iは2以上且つN以下の正の整数である。
一例において、第二コンポーネントの少なくとも2種のイントラ予測モードは、第一イントラ予測モード及び第二イントラ予測モードを含む。第二重み付け行列は、最大重み値(例えば、8)、最小重み値(例えば、0)、及び少なくとも1つの中間重み値を含む。最大重み値は、第二コンポーネントにおける対応のサンプルの予測値が、完全に第一イントラ予測モードで予測を行うことにより取得されることを指示するために用いられる。最小重み値は、第二コンポーネントにおける対応のサンプルの予測値が、完全に第二イントラ予測モードで予測を行うことにより取得されることを指示するために用いられる。中間重み値は、第二コンポーネントにおける対応のサンプルの予測値が、第一イントラ予測モード及び第二イントラ予測モードで予測を行うことにより取得されることを指示するために用いられる。選択的に、最大重み値又は最小重み値によって形成される領域は遷移領域と呼ばれることができる。
一例において、第二重み付け行列は複数種の重み値を含み、重み値が変化する位置は、直線又は曲線を形成する。
一例において、第二重み付け行列は、AWPモード又はGPMモードに対応する重み付け行列である。
第二重み付け行列を取得した後、第二重み付け行列に基づいて第一重み付け行列を取得する上記S704-A212を実行する。本出願において、第二重み付け行列に基づいて第一重み付け行列を取得する方式は以下のいくつかを含むが、これらに限定されない。
方式1では、現在ブロックに対応する第二コンポーネントに含まれるサンプルの総数と、現在ブロックの第一コンポーネントに含まれるサンプルの総数とが同じである場合、第二重み付け行列を第一重み付け行列とする。
方式2では、現在ブロックの第一コンポーネントに含まれるサンプルの総数が、現在ブロックに対応する第二コンポーネントに含まれるサンプルの総数より少ない場合、第二重み付け行列をダウンサンプリングすることにより、第一重み付け行列を取得する。例えば、現在ブロックの第一コンポーネントに含まれるサンプルの総数及び現在ブロックに対応する第二コンポーネントに含まれるサンプルの総数に基づいて、第二重み付け行列をダウンサンプリングすることにより、第一重み付け行列を取得する。
1つの実施形態において、第一コンポーネントは、第一サブコンポーネント及び第二サブコンポーネントを含む。
第一サブコンポーネントについて、上記ステップS704-A1は、以下の内容を含む。現在ブロックの第一コンポーネントの少なくとも2種のイントラ予測モードの各々を利用して、現在ブロックの第一サブコンポーネントに対してイントラ予測を行うことにより、現在ブロックの第一サブコンポーネントの、各種のイントラ予測モードに対応する予測ブロックを取得する。それに応じて、上記S704-A22は、以下の内容を含む。第一重み付け行列に基づいて、現在ブロックの第一サブコンポーネントの、各種のイントラ予測モードに対応する予測ブロックに対して重み付け演算を行うことにより、現在ブロックの第一サブコンポーネントの最終予測ブロックを取得する。
例えば、第一イントラ予測モードを利用して現在ブロックの第一サブコンポーネントに対してイントラ予測を行うことにより、現在ブロックの第一サブコンポーネントの第一予測ブロックを取得する。第二イントラ予測モードを利用して現在ブロックの第一サブコンポーネントに対してイントラ予測を行うことにより、現在ブロックの第一サブコンポーネントの第二予測ブロックを取得する。次に、第一重み付け行列に基づいて、現在ブロックの第一サブコンポーネントの第一予測ブロック及び第二予測ブロックに対して重み付け演算を行うことにより、現在ブロックの第一サブコンポーネントの最終予測ブロックを取得する。
具体的な一例において、上記数2に基づいて、現在ブロックの第一サブコンポーネントの最終予測ブロックを取得する。
第二サブコンポーネントについて、上記ステップS704-A1は、以下の内容を含む。現在ブロックの第一コンポーネントの少なくとも2種のイントラ予測モードの各々を利用して、現在ブロックの第二サブコンポーネントに対してイントラ予測を行うことにより、現在ブロックの第二サブコンポーネントの、各種のイントラ予測モードに対応する予測ブロックを取得する。それに応じて、上記S704-A22は、以下の内容を含む。第一重み付け行列に基づいて、現在ブロックの第二サブコンポーネントの、各種のイントラ予測モードに対応する予測ブロックに対して重み付け演算を行うことにより、現在ブロックの第二サブコンポーネントの最終予測ブロックを取得する。
例えば、第一イントラ予測モードを利用して現在ブロックの第二サブコンポーネントに対してイントラ予測を行うことにより、現在ブロックの第二サブコンポーネントの第一予測ブロックを取得する。第二イントラ予測モードを利用して現在ブロックの第二サブコンポーネントに対してイントラ予測を行うことにより、現在ブロックの第二サブコンポーネントの第二予測ブロックを取得する。次に、第一重み付け行列に基づいて、現在ブロックの第二サブコンポーネントの第一予測ブロック及び第二予測ブロックに対して重み付け演算を行うことにより、現在ブロックの第二サブコンポーネントの最終予測ブロックを取得する。
具体的な一例において、上記数3に基づいて、現在ブロックの第二サブコンポーネントの最終予測ブロックを取得する。
復号化側の一部のステップは、上記符号化側の一部のステップと同様であり、それについては、上記符号化側の関連説明を参照することができ、ここで説明を省略する。
現在ブロックの最終予測ブロックを取得した後、復号器は、量子化係数の復号化、逆変換及び逆量子化による残差ブロックの特定、残差ブロックと予測ブロックとの組み合わせによる再構成ブロックの取得、後続のループフィルタリングなどを含む後続の処理を実行する。
図17は、本出願の実施形態に係るビデオ復号化方法800を示すフローチャートである。図17に示されるように、本出願の実施形態の方法は以下の内容を含む。
S801:ビットストリームを解析し、第一コンポーネントと第二コンポーネントとを含む現在ブロックに対してイントラ予測を行うか否かを判断する。
S802:現在ブロックに対してイントラ予測を行うと特定する場合、重み付け予測フラグを解析する。重み付け予測フラグは、第二コンポーネントの予測ブロックが少なくとも2種のイントラ予測モードで予測を行うことにより取得されるか否かを指示するために用いられる。
S803:当該重み付け予測フラグが、第二コンポーネントの予測ブロックが少なくとも2種のイントラ予測モードで予測を行うことにより取得されることを指示するために用いられる場合、現在ブロックに対応する第二コンポーネントのイントラ予測に用いられる少なくとも2種のイントラ予測モードと、第二重み付け行列の導出モード情報とを解析する。
S804:現在ブロックに対応する第二コンポーネントの少なくとも2種のイントラ予測モードを利用して、現在ブロックに対応する第二コンポーネントに対して予測を行うことにより、現在ブロックに対応する第二コンポーネントの各種のイントラ予測モードに対応する予測ブロックを取得する。
S805:第二重み付け行列の導出モード情報に基づいて、第二重み付け行列を取得する。
なお、上記S804の操作及び上記S805の操作は、任意の順序で実行され得る。
S806:第二重み付け行列に基づいて、現在ブロックに対応する第二コンポーネントの各種のイントラ予測モードに対応する予測ブロックに対して重み付けを行うことにより、現在ブロックに対応する第二コンポーネントの最終予測ブロックを取得する。
S807:現在ブロックの第一コンポーネントの初期イントラ予測モードを特定する。具体的に、ビットストリームに携帯される現在ブロックの第一コンポーネントの初期イントラ予測モードが導出モードではない場合、ビットストリームに携帯される現在ブロックの第一コンポーネントの初期イントラ予測モードを利用して第一コンポーネントに対してイントラ予測が行われる。ビットストリームに携帯される現在ブロックの第一コンポーネントの初期イントラ予測モードが導出モードである場合、S808が実行される。ビットストリームに現在ブロックの第一コンポーネントの初期イントラ予測モードのモード情報が携帯されていない場合、現在ブロックの第一コンポーネントの初期イントラ予測モードが導出モードであるとデフォルトし、S808が実行される。
S808:初期イントラ予測モードが導出モードである場合、現在ブロックに対応する第二コンポーネントの少なくとも2種のイントラ予測モードに基づいて、現在ブロックの第一コンポーネントの少なくとも2種のイントラ予測モードを特定する。例えば、第二コンポーネントの少なくとも2種のイントラ予測モードをそのまま現在ブロックの第一コンポーネントの少なくとも2種のイントラ予測モードとする。
S809:第二重み付け行列に基づいて第一重み付け行列を特定する。例えば、現在ブロックに対応する第二コンポーネントに含まれるサンプルの総数と、現在ブロックの第一コンポーネントに含まれるサンプルの総数とが同じである場合、第二重み付け行列を第一重み付け行列とする。現在ブロックの第一コンポーネントに含まれるサンプルの総数が、現在ブロックに対応する第二コンポーネントに含まれるサンプルの総数より少ない場合、第二重み付け行列をダウンサンプリングすることにより、第一重み付け行列を取得する。
なお、上記S808の操作及び上記S809の操作は、任意の順序で実行され得る。
S810:現在ブロックの第一コンポーネントの少なくとも2種のイントラ予測モードを利用して、現在ブロックの第一コンポーネントに対してイントラ予測を行うことにより、現在ブロックの第一コンポーネントの各種のイントラ予測モードに対応する予測ブロックを取得する。
S811:第一重み付け行列に基づいて、現在ブロックの第一コンポーネントの各種のイントラ予測モードに対応する予測ブロックに対して重み付けを行うことにより、現在ブロックの第一コンポーネントの最終予測ブロックを取得する。
図18は、本出願の実施形態に係るビデオ復号化方法900を示すフローチャートである。本出願の実施形態において、例として、第一コンポーネントは彩度コンポーネントであり、第二コンポーネントは輝度コンポーネントであり、輝度コンポーネントの少なくとも2種のイントラ予測モードは、第一イントラ予測モード及び第二イントラ予測モードを含み、2種のイントラ予測モードが彩度コンポーネントに用いられる。図18に示されるように、本出願の実施形態に係る方法は以下の内容を含む。
S901:ビットストリームを解析し、輝度コンポーネントと彩度コンポーネントとを含む現在ブロックに対してイントラ予測を行うか否かを判断する。
S902:現在ブロックに対してイントラ予測を行うと特定する場合、重み付け予測フラグを解析する。重み付け予測フラグは、輝度コンポーネントに対応する予測ブロックが2種のイントラ予測モードで予測を行うことにより取得されるか否かを指示するために用いられる。
一例において、本出願の技術が空間的角度重み付け予測(spatial angular weighted prediction、SAWP)と呼ばれる。ビットストリームにシーケンスレベルのフラグ(flag)を携帯することにより、SAWP技術が現在ブロックに用いられるか否かを特定することができる。例えば、表4にシーケンスヘッダの定義が示されている。
Figure 2024503192000008
表4において、sawp_enable_flagはSAWP使用フラグであり、2値変数である。sawp_enable_flagの値が「1」であることは、SAWPが利用可能であることを示し、sawp_enable_flagの値が「0」であることは、SAWPが利用不可であることを示す。SawpEnableFlagの値はsawp_enable_flagに等しい。ビットストリームにsawp_enable_flagが存在しない場合、SawpEnableFlagの値は0となる。
選択的に、SAWP技術が復号化待ちの現在画像に用いられるか否かを特定するためのフレームレベルのフラグが存在することができる。例えば、SAWP技術がイントラフレーム(例えば、Iフレーム)に用いられ、インターフレーム(例えば、Bフレーム、Pフレーム)に用いられないように構成されることができる。又は、SAWP技術がイントラフレームに用いられず、インターフレームに用いられるように構成されることができる。又は、SAWP技術が一部のインターフレームに用いられ、一部のインターフレームに用いられないように構成されることができる。
選択的に、フレームレベル以下且つCUレベル以上(例えば、tile、slice、patch、LCUなど)のフラグが存在することができ、そのフラグは、SAWP技術がフラグに対応する領域に用いられるか否かを指示する。
例えば、復号器は以下のプログラムを実行する。
Figure 2024503192000009
intra_cu_flagはイントラ予測フラグであり、sawp_flagは重み付け予測フラグであり、2値変数である。sawp_flagの値が「1」であることはSAWPが実行されるべきであることを示し、即ち、少なくとも2種のイントラ予測モードが輝度コンポーネントに用いられる。sawp_flagの値が「0」であることは、SAWPが実行されるべきではないことを示し、即ち、1種のイントラ予測モードのみが輝度コンポーネントに用いられる。SawpFlagの値はsawp_flagの値に等しい。ビットストリームにsawp_flagが存在しない場合、SawpFlagの値が0である。
具体的に、復号器は現在ブロックを復号化する。イントラ予測が現在ブロックに用いられると特定する場合、復号器は、現在ブロックのSAWP使用フラグ(即ち、sawp_flagの値)を復号化する。そうではない場合、即ち、イントラ予測が現在ブロックに用いられないと特定する場合、復号器は、現在ブロックのSAWP使用フラグを復号化する必要がない。選択的に、SAWPが現在ブロックに用いられる場合、復号器は、DT、IPFに関する情報を処理する必要がなく、それは、DT又はIPFとSAWPとが相互に排他的であるためである。
S903:当該重み付け予測フラグは2種のイントラ予測モードが輝度コンポーネントの予測に用いられることを指示する場合、現在ブロックの輝度コンポーネントのイントラ予測中に用いられる第一イントラ予測モード、第二イントラ予測モード、及び第二重み付け行列の導出モード情報を解析する。
当該重み付け予測フラグは2種のイントラ予測モードが輝度コンポーネントの予測に用いられることを指示する場合、復号器は、現在ブロックの輝度コンポーネントのイントラ予測中に用いられる第一イントラ予測モード、第二イントラ予測モード、及び第二重み付け行列の導出モード情報を解析する。
いくつかの実施形態において、復号器は、以下のプログラムを実行することにより、現在ブロックの輝度コンポーネントの第一イントラ予測モード、第二イントラ予測モードのモード情報を取得する。
Figure 2024503192000010
sawp_idxは第二重み付け行列の導出モード情報であり、SawpIdxの値はsawp_idxの値に等しい。ビットストリームにsawp_idxが存在しない場合、SawpIdxの値は0となる。intra_luma_pred_mode0は、現在ブロックの輝度コンポーネントの第一イントラ予測モードのモード情報であり、intra_luma_pred_mode1は、現在ブロックの輝度コンポーネントの第二イントラ予測モードのモード情報である。
本ステップにおいて、sawp_idxの解析方法はawp_idxと同様であり、intra_luma_pred_mode0の解析方法はintra_luma_pred_modeと同様であり、intra_luma_pred_mode1の解析方法はintra_luma_pred_modeと同様である。選択的に、AVS3におけるMPMが2つしかないため、intra_luma_pred_mode0とintra_luma_pred_mode1の両方がMPMとして用いられ、intra_luma_pred_mode0が2つのMPMのうち1つのMPMとして用いられる場合、intra_luma_pred_mode1がもう1つのMPMとして用いられるとデフォルトし、それで、intra_luma_pred_mode1が2つのMPMのうちの1番目であるか2番目であるかを特定するためにintra_luma_pred_mode1を解析する必要がなくなる。
いくつかの実施形態において、復号器は、以下のプログラムを実行することにより、現在ブロックの輝度コンポーネントの第一イントラ予測モード及び第二イントラ予測モード
Figure 2024503192000011
具体的に、復号器は現在ブロックを復号化する。イントラ予測が現在ブロックに用いられる場合、復号器は、現在ブロックのDTの使用フラグ、IPFの使用フラグ、及び、現在方法における各予測ユニットの唯一の輝度予測モードintra_luma_pred_modeを復号化する。DTもIPFも現在ブロックに用いられない場合、復号器は、現在ブロックのSAWP使用フラグを復号化する。SAWPが現在ブロックに用いられる場合、復号器は、第二重み付け行列の導出モード及びintra_luma_pred_modelを復号化する必要がある。intra_luma_pred_modeを現在ブロックの輝度コンポーネントの第一イントラ予測モードのモード情報とし、intra_luma_pred_modelを現在ブロックの輝度コンポーネントの第二イントラ予測モードのモード情報とする。
intra_luma_pred_mode0及びintra_luma_pred_modelのそれぞれに基づいて、IntraLumaPredMode0及びIntraLumaPredModelをそれぞれ特定する。表1を検索することにより、現在ブロックの輝度コンポーネントの第一イントラ予測モード及び第二イントラ予測モードを取得することができる。
なお、AVS3の1番目のバージョンは34種のイントラ予測モードのみをサポートするため、例えば、図8に示されたように、インデックスが0から始まる場合、第34種のモードはPCMモードである。図10に示されるように、AVS3の2番目のバージョンに、より多くのイントラ予測モードが追加され、66種のイントラ予測モードまで拡張される。第一バージョンに適合するために、第二バージョンでは、intra_luma_pred_modeのオリジナル復号化方法を変更することなく、intra_luma_pred_modeが1より大きい場合、もう1つのフラグ(即ち、eipm_pu_flag)をさらに追加する必要がある。
Figure 2024503192000012
eipm_pu_flagはイントラ輝度予測モード拡張フラグであり、2値変数である。eipm_pu_flagの値が「1」であることは、イントラ角度予測拡張モードが利用されるべきであることを示し、eipm_pu_flagの値が「0」であることは、イントラ輝度予測拡張モードが利用されないことを示す。EipmPuFlagの値はeipm_pu_flagの値に等しい。ビットストリームにeipm_pu_flagが存在しない場合、EipmPuFlagの値は0に等しくなる。
従って、AVS3の2番目のバージョンに対応するテキスト記述では、上記シンタックスintra_luma_pred_mode、intra_luma_pred_mode0、intra_luma_pred_mode1に、いずれもeipm_pu_flag、eipm_pu_flag0、eipm_pu_flag1の記述が追加されるべきである。IntraLumaPredMode0は、intra_luma_pred_mode0及びeipm_pu_flag0に基づいて特定され、IntraLumaPredMode1は、intra_luma_pred_mode1及びeipm_pu_flag1に基づいて特定される。
S904:第一イントラ予測モードを利用して現在ブロックの輝度コンポーネントに対してイントラ予測を行うことにより、現在ブロックの輝度コンポーネントの第一予測ブロックを取得し、第二イントラ予測モードを利用して現在ブロックの輝度コンポーネントに対してイントラ予測を行うことにより、現在ブロックの輝度コンポーネントの第二予測ブロックを取得する。
S905:第二重み付け行列の導出モード情報に基づいて、第二重み付け行列を取得する。
例えば、復号器は、以下のプログラムを実行することにより、現在ブロックの輝度コンポーネントの第二重み付け行列を取得する。
Figure 2024503192000013
Figure 2024503192000014
Mは現在ブロックの幅を表し、Nは現在ブロックの高さを表し、AwpWeightArrayYは輝度コンポーネントYの第二重み付け行列を表す。参照重みReferenceWeights[x]は、以下のプログラムに基づいて取得されることができる。
Figure 2024503192000015
Figure 2024503192000016
なお、上記S904の操作及び上記S905の操作は、任意の順序で実行され得る。
S906:第二重み付け行列に基づいて、現在ブロックの輝度コンポーネントの第一予測ブロック及び第二予測ブロックに対して重み付け演算を行うことにより、現在ブロックの輝度コンポーネントの最終予測ブロックを取得する。
一例において、以下の数4に基づいて、現在ブロックの輝度コンポーネントの最終予測ブロックを取得する。
Figure 2024503192000017
Yは輝度コンポーネントであり、predMatrixSawpY[x][y]は、輝度コンポーネントにおけるサンプル[x][y]の最終予測値であり、predMatrixY0[x][y]は、現在ブロックの輝度コンポーネントの第一予測ブロックにおけるサンプル[x][y]の第一予測値であり、predMatrixY1[x][y]は、現在ブロックの輝度コンポーネントの第二予測ブロックにおけるサンプル[x][y]の第二予測値であり、AwpWeightArrayY[x][y]は、第二重み付け行列AwpWeightArrayYにおけるpredMatrixY0[x][y]の重み値である。
S907:現在ブロックの彩度コンポーネントの初期イントラ予測モードを特定する。具体的に、ビットストリームに携帯される現在ブロックの彩度コンポーネントの初期イントラ予測モードが導出モードではない場合、ビットストリームに携帯される現在ブロックの彩度コンポーネントの初期イントラ予測モードを利用して現在ブロックの彩度コンポーネントに対してイントラ予測が行われる。ビットストリームに携帯される現在ブロックの彩度コンポーネントの初期イントラ予測モードが導出モードである場合、S908が実行される。
ビットストリームに現在ブロックの彩度コンポーネントの初期イントラ予測モードのモード情報が携帯されていない場合、現在ブロックの彩度コンポーネントの初期イントラ予測モードが導出モードであるとデフォルトし、S908が実行される。
いくつかの実施態様において、本出願では、現在ブロックの彩度コンポーネントのイントラ予測モードIntraChromaPredModeを特定する際に、以下のプロセスを実行する。
1)現在ブロックのSawpFlagが1である(即ち、本出願の技術案が現在ブロックに用いられる)場合、isRedundantは0に等しく、ステップ3)に進む。そうではない場合、ステップ2)に進む。
2)PredBlockOrderの値が0である、現在ブロックの予測ブロックの輝度予測モードIntraLumaPredModeが0、2、12又は24に等しい場合、isRedundantは1に等しい。そうではない場合、isRedundantは0に等しい。
3)tscpm_enable_flagの値が「1」に等しく又はpmc_enable_flagの値が「1」に等しく、且つ、intra_chroma_pred_modeの値が1に等しい場合、IntraChromaPredModeは、(5+IntraChromaEnhancedMode+3*IntraChromaPmcFlag)に等しい。
4)そうではない場合、
・tscpm_enable_flagの値が「1」に等しく、且つintra_chroma_pred_modeの値が0に等しくない場合、intra_chroma_pred_modeの値を1減算する。
・isRedundantが0に等しい場合、IntraChromaPredModeはintra_chroma_pred_modeに等しい。そうではない場合、以下の操作が順次実行される。
IntraLumaPredModeが0に等しければ、predIntraChromaPredModeは1に等しく、IntraLumaPredModeが2に等しければ、predIntraChromaPredModeは4に等しく、IntraLumaPredModeが12に等しければ、predIntraChromaPredModeは3に等しく、IntraLumaPredModeが24に等しければ、predIntraChromaPredModeは2に等しい。
intra_chroma_pred_modeの値が0に等しければ、IntraChromaPredModeは0に等しく、そうでなければ、intra_chroma_pred_modeの値がpredIntraChromaPredModeより小さければ、IntraChromaPredModeはintra_chroma_pred_modeに等しく、そうでなければ、IntraChromaPredModeはintra_chroma_pred_modeに1を加算した値となる。
a)IntraChromaPredModeの値に基づいて、表2を検索して現在ブロックの彩度コンポーネントのイントラ予測モードを取得する。
現在ブロックのSawpFlagが1であり、且つIntraChromaPredModeが0である場合、現在ブロックの彩度コンポーネントのイントラ予測モードは、PCMではなく、Intra_Chroma_DMとなる。
本出願では、少なくとも2種のイントラ予測モードが現在ブロックの第一コンポーネントに用いられることにより予測ブロックを特定する場合、後続の現在ブロックの第一コンポーネントのイントラ予測モードに冗長モードがなくなる。イントラ彩度予測モードの2値化中に、冗長モードのチェック及び削除を必要とせず、即ち上記ステップ2)を実行する必要がなくなる。
S908:現在ブロックの彩度コンポーネントの初期イントラ予測モードが導出モードであると特定する場合、現在ブロックの輝度コンポーネントの第一イントラ予測モード及び第二イントラ予測モードを、現在ブロックの彩度コンポーネントの第一イントラ予測モード及び第二イントラ予測モードとして特定する。
S909:第二重み付け行列に基づいて、第一重み付け行列を特定する。
例えば、現在ブロックの輝度コンポーネントに含まれるサンプルの総数と、現在ブロックの彩度コンポーネントに含まれるサンプルの総数とが同じである場合、第二重み付け行列を第一重み付け行列とする。現在ブロックの彩度コンポーネントに含まれるサンプルの総数が、現在ブロックの輝度コンポーネントに含まれるサンプルの総数より少ない場合、第二重み付け行列をダウンサンプリングすることにより、第一重み付け行列を取得する。
例えば、YUV4:2:0の場合、復号器は、以下のプログラムを実行することにより、第一重み付け行列を取得する。
Figure 2024503192000018
AwpWeightArrayUVは第一重み付け行列であり、AwpWeightArrayYは第二重み付け行列である。
なお、上記S908の操作及び上記S909の操作は、任意の順序で実行され得る。
S910:第一イントラ予測モードを利用して現在ブロックの彩度コンポーネントに対してイントラ予測を行うことにより、現在ブロックの彩度コンポーネントの第一予測ブロックを取得し、第二イントラ予測モードを利用して現在ブロックの彩度コンポーネントに対してイントラ予測を行うことにより、現在ブロックの彩度コンポーネントの第二予測ブロックを取得する。
S911:第一重み付け行列に基づいて、現在ブロックの彩度コンポーネントの第一予測ブロック及び第二予測ブロックに対して重み付け演算を行うことにより、現在ブロックの彩度コンポーネントの最終予測ブロックを取得する。
例えば、彩度コンポーネントはUコンポーネント、及びVコンポーネントを含む。以下の数5に基づいて現在ブロックのUコンポーネントの最終予測ブロックを取得することができる。
Figure 2024503192000019
predMatrixSawpU[x][y]は、Uコンポーネントにおけるサンプル[x][y]の最終予測値であり、predMatrixU0[x][y]は、現在ブロックのUコンポーネントの第一予測ブロックにおけるサンプル[x][y]の第一予測値であり、predMatrixU1[x][y]は、現在ブロックのUコンポーネントの第二予測ブロックにおけるサンプル[x][y]の第二予測値であり、AwpWeightArrayUV[x][y]は、第一重み付け行列AwpWeightArrayUVにおけるpredMatrixU0[x][y]の重み値である。
以下の数6に基づいて現在ブロックのVコンポーネントの最終予測ブロックを取得する。
Figure 2024503192000020
predMatrixSawpV[x][y]は、Vコンポーネントにおけるサンプル[x][y]の最終予測値であり、predMatrixV0[x][y]は、現在ブロックのVコンポーネントの第一予測ブロックにおけるサンプル[x][y]の第一予測値であり、predMatrixV1[x][y]は、現在ブロックのVコンポーネントの第二予測ブロックにおけるサンプル[x][y]の第二予測値であり、AwpWeightArrayUV[x][y]は、第一重み付け行列AwpWeightArrayUVにおけるpredMatrixV0[x][y]の重み値である。
最後に、復号器は、量子化係数の復号化、逆変換及び逆量子化による残差ブロックの特定、残差ブロックと予測ブロックとの組み合わせによる再構成ブロックの取得、後続のループフィルタリングなどを含む後続の処理を実行する。
なお、図12、及び図14~図18は本出願の例示にすぎず、本出願を限定するものであると理解されるべきではない。
以上、添付図面を参照しながら本出願の好適な実施形態について詳細に説明したが、本出願は上記実施形態の詳細な内容に限定されるものではなく、本出願の技術的思想の範囲内において、本出願の技術案に様々な簡単な変更を加えることが可能であり、それらの簡単な変更はいずれも本出願の保護範囲に属する。例えば、上記具体的な実施形態で述べられた各具体的な技術的特徴は、矛盾のない場合、いかなる適当な手段により組み合わせてもよく、不要な重複を避けるために、本出願では様々な可能な組合せについて改めて説明しない。また、例えば、本出願の様々な異なる実施形態間において、本出願の思想に反しない限り、いかなる組合せであっても本出願に開示されるものとみなされるべきである。
なお、本出願の様々な方法実施形態において、上記各プロセスのシーケンス番号の大きさは、実行順序を意味するものではないことを理解されたい。各プロセスの実行順序は、その機能及び内部論理によって特定されるべきであり、本出願の実施態様の実施プロセスに対するいかなる制限を構成すべきではない。また、本出願の実施形態では、用語「及び/又は」(及び/もしくは)は単に関連対象の関連関係を説明するものであり、3種類の関係が存在することを示す。具体的に、A及び/又はBの場合は、Aのみが存在すること、AとBが同時に存在すること、Bのみが存在することという3つの状況を示す。また、本明細書では、符号「/」は一般的に前後の関連対象が「又は」の関係にあることを示す。
以上、図14~図18を参照しながら、本出願の方法実施形態について詳細に説明した。以下、図19~図21を参照しながら、本出願の装置実施形態について詳細に説明する。
図19は、本出願の実施形態に係るビデオ符号器10を示すプロック図である。
図19に示されるように、ビデオ符号器10は第一取得ユニット11、第一特定ユニット12、第二取得ユニット13、第二特定ユニット14、及び予測ユニット15を備える。第一取得ユニット11は、第一コンポーネントを含む現在ブロックを取得するように構成されている。第一特定ユニット12は、現在ブロックの第一コンポーネントの初期イントラ予測モードを特定するように構成されている。第二取得ユニット13は、初期イントラ予測モードが導出モードである場合、現在ブロックに対応する第二コンポーネントの少なくとも2種のイントラ予測モードを取得するように構成されている。第二特定ユニット14は、第二コンポーネントの少なくとも2種のイントラ予測モードに基づいて、現在ブロックの第一コンポーネントの目標イントラ予測モードを特定するように構成されている。予測ユニット15は、目標イントラ予測モードを利用して現在ブロックの第一コンポーネントに対してイントラ予測を行うことにより、現在ブロックの第一コンポーネントの最終予測ブロックを取得するように構成されている。
いくつかの実施形態において、目標イントラ予測モードは、少なくとも2種のイントラ予測モードを含む。
一例において、第二特定ユニット14は具体的に、第二コンポーネントの少なくとも2種のイントラ予測モードを、現在ブロックの第一コンポーネントの目標イントラ予測モードとするように構成されている。
一例において、第二特定ユニット14は具体的に、第二コンポーネントの少なくとも2種のイントラ予測モードに基づいて、現在ブロックの第一コンポーネントの目標イントラ予測モードを導出するように構成されている。
この場合、予測ユニット15は具体的に、現在ブロックの第一コンポーネントの少なくとも2種のイントラ予測モードの各々を利用して、現在ブロックの第一コンポーネントに対してイントラ予測を行うことにより、各種のイントラ予測モードに対応する予測ブロックを取得し、各種のイントラ予測モードに対応する予測ブロックに基づいて、現在ブロックの第一コンポーネントの最終予測ブロックを取得するように構成されている。
いくつかの実施形態において、予測ユニット15は具体的に、第一重み付け行列を特定し、第一重み付け行列に基づいて、各種のイントラ予測モードに対応する予測ブロックに対して重み付け演算を行うことにより、現在ブロックの第一コンポーネントの最終予測ブロックを取得するように構成されている。
いくつかの実施形態において、予測ユニット15は具体的に、重み付け行列導出モードに基づいて第一重み付け行列を導出するように構成されている。
いくつかの実施形態において、予測ユニット15は具体的に、現在ブロックに対応する第二コンポーネントの第二重み付け行列を取得し、
現在ブロックに対応する第二コンポーネントに含まれるサンプルの総数と、現在ブロックの第一コンポーネントに含まれるサンプルの総数とが同じである場合、第二重み付け行列を第一重み付け行列とし、
現在ブロックの第一コンポーネントに含まれるサンプルの総数が、現在ブロックに対応する第二コンポーネントに含まれるサンプルの総数より少ない場合、第二重み付け行列をダウンサンプリングすることにより、第一重み付け行列を取得するように構成されている。
いくつかの実施形態において、予測ユニット15は具体的に、現在ブロックの第一コンポーネントに含まれるサンプルの総数及び現在ブロックに対応する第二コンポーネントに含まれるサンプルの総数に基づいて、第二重み付け行列をダウンサンプリングすることにより、第一重み付け行列を取得するように構成されている。
選択的に、第二重み付け行列は、少なくとも2つの異なる重み値を含む。
選択的に、第二重み付け行列における全ての重み値が同じである。
選択的に、第二コンポーネントにおける、第二重み付け行列における各重み値に対応するサンプルの予測値は、第二コンポーネントの少なくとも2種のイントラ予測モードで予測を行うことにより取得される。
選択的に、第二コンポーネントの少なくとも2種のイントラ予測モードは、N種のイントラ予測モードを含み、Nは2以上の正の整数である。第二重み付け行列はN種の異なる重み値を含み、第i種の重み値は、第二コンポーネントにおける、第i種の重み値に対応するサンプルの予測値が、完全に第i種のイントラ予測モードで取得されることを指示し、iは2以上且つN以下の正の整数である。
選択的に、第二コンポーネントの少なくとも2種のイントラ予測モードは、第一イントラ予測モード及び第二イントラ予測モードを含み、第二重み付け行列は、最大重み値、最小重み値、及び少なくとも1つの中間重み値を含む。最大重み値は、第二コンポーネントにおける対応のサンプルの予測値が、完全に第一イントラ予測モードで予測を行うことにより取得されることを指示するために用いられる。最小重み値は、第二コンポーネントにおける対応のサンプルの予測値が、完全に第二イントラ予測モードで予測を行うことにより取得されることを指示するために用いられる。中間重み値は、第二コンポーネントにおける対応のサンプルの予測値が、第一イントラ予測モード及び第二イントラ予測モードで予測を行うことにより取得されることを指示するために用いられる。
選択的に、第二重み付け行列は複数種の重み値を含み、重み値が変化する位置は、直線又は曲線を形成する。
選択的に、第二重み付け行列は、AWPモード又はGPMモードに対応する重み付け行列である。
いくつかの実施形態において、目標イントラ予測モードは、1種のイントラ予測モードを含む。
一例において、第二特定ユニット14は具体的に、第二コンポーネントの少なくとも2種のイントラ予測モードのうちの1種を、目標イントラ予測モードとするように構成されている。
一例において、第二特定ユニット14は具体的に、現在ブロックの第一サンプル位置に対応する第二コンポーネントのイントラ予測モードに基づいて、目標イントラ予測モードを特定するように構成されている。
一例において、第二特定ユニット14は具体的に、第一サンプル位置に対応する第二コンポーネントの予測値が完全に1種のイントラ予測モードで予測を行うことにより取得される場合、当該1種のイントラ予測モードを目標イントラ予測モードとし、
第一サンプル位置に対応する第二コンポーネントの予測値が複数種のイントラ予測モードで予測を行うことにより取得される場合、複数種のイントラ予測モードのうちの重み値が最も大きいイントラ予測モードを目標イントラ予測モードとするように構成されている。
一例において、第二特定ユニット14は具体的に、第一サンプル位置に対応する最小ユニットに記憶された第二コンポーネントのイントラ予測モードを、目標イントラ予測モードとするように構成されている。
選択的に、第一サンプル位置に対応する第二コンポーネントの予測値が完全に1種のイントラ予測モードで予測を行うことにより取得される場合、当該1種のイントラ予測モードのモード情報が最小ユニットに記憶される。第一サンプル位置に対応する第二コンポーネントの予測値が複数種のイントラ予測モードで予測を行うことにより取得される場合、複数種のイントラ予測モードのうちの重み値が最も大きいイントラ予測モードのモード情報が最小ユニットに記憶される。
いくつかの実施形態において、第一コンポーネントは、第一サブコンポーネント及び第二サブコンポーネントを含む。この場合、予測ユニット15は具体的に、
現在ブロックの第一コンポーネントの少なくとも2種のイントラ予測モードの各々を利用して、現在ブロックの第一サブコンポーネントに対してイントラ予測を行うことにより、現在ブロックの第一サブコンポーネントの、各種のイントラ予測モードに対応する予測ブロックを取得し、
現在ブロックの第一コンポーネントの少なくとも2種のイントラ予測モードの各々を利用して、現在ブロックの第二サブコンポーネントに対してイントラ予測を行うことにより、現在ブロックの第二サブコンポーネントの、各種のイントラ予測モードに対応する予測ブロックを取得するように構成されている。
一例において、予測ユニット15は具体的に、
第一重み付け行列に基づいて、現在ブロックの第一サブコンポーネントの、各種のイントラ予測モードに対応する予測ブロックに対して重み付け演算を行うことにより、現在ブロックの第一サブコンポーネントの最終予測ブロックを取得し、
第一重み付け行列に基づいて、現在ブロックの第二サブコンポーネントの、各種のイントラ予測モードに対応する予測ブロックに対して重み付け演算を行うことにより、現在ブロックの第二サブコンポーネントの最終予測ブロックを取得するように構成されている。
一例において、予測ユニット15は具体的に、predMatrixSawpA[x][y]=(predMatrixA0[x][y]*AwpWeightArrayAB[x][y]+predMatrixA1[x][y]*(2-AwpWeightArrayAB[x][y])+2n-1)>>nという式に基づいて、現在ブロックの第一サブコンポーネントの最終予測ブロックを取得するように構成されている。Aは第一サブコンポーネントであり、predMatrixSawpA[x][y]は、第一サブコンポーネントにおけるサンプル[x][y]の最終予測値であり、predMatrixA0[x][y]は、現在ブロックの第一サブコンポーネントの第一予測ブロックにおけるサンプル[x][y]の第一予測値であり、predMatrixA1[x][y]は、現在ブロックの第一サブコンポーネントの第二予測ブロックにおけるサンプル[x][y]の第二予測値であり、AwpWeightArrayAB[x][y]は、第一重み付け行列AwpWeightArrayABにおけるpredMatrixA0[x][y]の重み値であり、2は予め設定された重みの合計であり、nは正の整数である。
一例において、予測ユニット15は具体的に、predMatrixSawpB[x][y]=(predMatrixB0[x][y]*AwpWeightArrayAB[x][y]+predMatrixB1[x][y]*(2-AwpWeightArrayAB[x][y])+2n-1)>>nという式に基づいて、現在ブロックの第二サブコンポーネントの最終予測ブロックを取得するように構成されている。Bは第二サブコンポーネントであり、predMatrixSawpB[x][y]は、第二サブコンポーネントにおけるサンプル[x][y]の最終予測値であり、predMatrixB0[x][y]は、現在ブロックの第二サブコンポーネントの第一予測ブロックにおけるサンプル[x][y]の第一予測値であり、predMatrixB1[x][y]は、現在ブロックの第二サブコンポーネントの第二予測ブロックにおけるサンプル[x][y]の第二予測値であり、AwpWeightArrayAB[x][y]は、第一重み付け行列AwpWeightArrayABにおけるpredMatrixB0[x][y]の重み値であり、2は予め設定された重みの合計であり、nは正の整数である。
一例において、予測ユニット15はさらに、ビットストリームを生成するように構成されている。ビットストリームに重み付け予測フラグが携帯されており、重み付け予測フラグは、第二コンポーネントの予測ブロックが少なくとも2種のイントラ予測モードで予測を行うことにより取得されるか否かを指示するために用いられる。
いくつかの実施形態において、第一特定ユニット12は具体的に、少なくとも2種のイントラ予測モードが第二コンポーネントの予測のために用いられると特定された場合、現在ブロックの第一コンポーネントの初期イントラ予測モードが導出モードであると特定する。ように構成されている。
いくつかの実施形態において、ビットストリームに、第二コンポーネントの少なくとも2種のイントラ予測モードのモード情報がさらに携帯されている。
いくつかの実施形態において、ビットストリームに、第二重み付け行列の導出モード情報がさらに携帯されている。
いくつかの実施形態において、現在ブロックのサイズは、予め設定された条件を満たす。
予め設定された条件は、以下のうちのいずれか1つ又は複数を含む。
条件1:現在ブロックの幅が第一予め設定された幅TH1以上であり、且つ現在ブロックの高さが第一予め設定された高さTH2以上である。
条件2:現在ブロックにおけるサンプルの数が第一予め設定された数TH3以上である。
条件3:現在ブロックの幅が第二予め設定された幅TH4以下であり、且つ現在ブロックの高さが第二予め設定された高さTH5以上である。
条件4:現在ブロックの幅に対する長さの比が第一予め設定された比率である。
条件5:現在ブロックのサイズが第二予め設定された比率である。
条件6:現在ブロックの高さが第三予め設定された高さ以上であり、現在ブロックの幅が第三予め設定された幅以上であり、現在ブロックの高さに対する幅の比が第三予め設定された値以下であり、且つ現在ブロックの幅に対する高さの比が第三予め設定された値以下である。
選択的に、第一予め設定された比率は、1:1、2:1、1:2、1:4、4:1のうちのいずれかである。
選択的に、第二予め設定された値は、16×32、32×32、16×64、64×16のうちのいずれかである。
選択的に、第一コンポーネントは輝度コンポーネントであり、第二コンポーネントは彩度コンポーネントである。
選択的に、彩度コンポーネントはUVコンポーネントであり、第一サブコンポーネントはUコンポーネントであり、第二サブコンポーネントはVコンポーネントである。
なお、装置実施形態と方法実施形態は互いに対応することができ、装置実施形態の類似の説明については、方法実施形態を参照することができる。重複を避けるため、ここではその説明を省略する。具体的に、図19に示されたビデオ符号器10は、本出願の実施形態における方法を実行することが可能であり、また、ビデオ符号器10における各ユニットの上記及び他の操作及び/又は機能はそれぞれ、方法400、500及び600などの各々における対応のプロセスを実現するために用いられる。簡潔のため、ここでの説明を省略する。
図20は、本出願の実施形態に係るビデオ復号器20を示すブロック図である。
図20に示されるように、当該ビデオ復号器20は、解析ユニット21、第一特定ユニット22、第二特定ユニット23、及び予測ユニット24を備える。解析ユニット21は、ビットストリームを解析することにより、第一コンポーネントを含む現在ブロックと現在ブロックに対応する第二コンポーネントの少なくとも2種のイントラ予測モードとを取得するように構成されている。第一特定ユニット22は、現在ブロックの第一コンポーネントの初期イントラ予測モードを特定するように構成されている。第二特定ユニット23は、初期イントラ予測モードが導出モードであると特定された場合、第二コンポーネントの少なくとも2種のイントラ予測モードに基づいて、現在ブロックの第一コンポーネントのイントラ予測モードを特定するように構成されている。予測ユニット24は、現在ブロックの第一コンポーネントのイントラ予測モードを利用して現在ブロックの第一コンポーネントに対してイントラ予測を行うことにより、現在ブロックの第一コンポーネントの最終予測ブロックを取得するように構成されている。
いくつかの実施形態において、ビットストリームに重み付け予測フラグが携帯されており、重み付け予測フラグは、第二コンポーネントの予測ブロックが少なくとも2種のイントラ予測モードで予測を行うことにより取得される否かを指示するために用いられる。
選択的に、ビットストリームに、現在ブロックの第一コンポーネントの初期イントラ予測モードのモード情報が携帯されている。
第一特定ユニット22は具体的に、ビットストリームに重み付け予測フラグが携帯されており、且つ現在ブロックの第一コンポーネントの初期イントラ予測モードのモード情報が携帯されていない場合、現在ブロックの第一コンポーネントの初期イントラ予測モードが導出モードであると特定するように構成されている。
いくつかの実施形態において、現在ブロックの第一コンポーネントのイントラ予測モードは、少なくとも2種のイントラ予測モードを含む。
一例において、第二特定ユニット23は具体的に、第二コンポーネントの少なくとも2種のイントラ予測モードを、現在ブロックの第一コンポーネントのイントラ予測モードとするように構成されている。
一例において、第二特定ユニット23は具体的に、第二コンポーネントの少なくとも2種のイントラ予測モードに基づいて、現在ブロックの第一コンポーネントのイントラ予測モードを導出するように構成されている。
この場合、予測ユニット24は具体的に、現在ブロックの第一コンポーネントの少なくとも2種のイントラ予測モードの各々を利用して、現在ブロックの第一コンポーネントに対してイントラ予測を行うことにより、各種のイントラ予測モードに対応する予測ブロックを取得し、各種のイントラ予測モードに対応する予測ブロックに基づいて、現在ブロックの第一コンポーネントの最終予測ブロックを取得するように構成されている。
いくつかの実施形態において、予測ユニット24は具体的に、第一重み付け行列を特定し、第一重み付け行列に基づいて、各種のイントラ予測モードに対応する予測ブロックに対して重み付け演算を行うことにより、現在ブロックの第一コンポーネントの最終予測ブロックを取得するように構成されている。
いくつかの実施形態において、予測ユニット24は具体的に、重み付け行列導出モードに基づいて第一重み付け行列を導出するように構成されている。
いくつかの実施形態において、予測ユニット24は具体的に、現在ブロックに対応する第二コンポーネントの第二重み付け行列を取得し、
現在ブロックに対応する第二コンポーネントに含まれるサンプルの総数と、現在ブロックの第一コンポーネントに含まれるサンプルの総数とが同じである場合、第二重み付け行列を第一重み付け行列とし、
現在ブロックの第一コンポーネントに含まれるサンプルの総数が、現在ブロックに対応する第二コンポーネントに含まれるサンプルの総数より少ない場合、第二重み付け行列をダウンサンプリングすることにより、第一重み付け行列を取得するように構成されている。
いくつかの実施形態において、予測ユニット24は具体的に、ビットストリームから第二重み付け行列の導出モード情報を取得し、第二重み付け行列の導出モード情報に基づいて、第二重み付け行列を取得するように構成されている。
いくつかの実施形態において、予測ユニット24は具体的に、現在ブロックの第一コンポーネントに含まれるサンプルの総数及び現在ブロックに対応する第二コンポーネントに含まれるサンプルの総数に基づいて、第二重み付け行列をダウンサンプリングすることにより、第一重み付け行列を取得するように構成されている。
選択的に、第二重み付け行列は、少なくとも2つの異なる重み値を含む。
選択的に、第二重み付け行列における全ての重み値が同じである。
選択的に、第二コンポーネントにおける、第二重み付け行列における各重み値に対応するサンプルの予測値は、第二コンポーネントの少なくとも2種のイントラ予測モードで予測を行うことにより取得される。
選択的に、第二コンポーネントの少なくとも2種のイントラ予測モードは、N種のイントラ予測モードを含み、Nは2以上の正の整数である。第二重み付け行列はN種の異なる重み値を含み、第i種の重み値は、第二コンポーネントにおける、第i種の重み値に対応するサンプルの予測値が、完全に第i種のイントラ予測モードで取得されることを指示し、iは2以上且つN以下の正の整数である。
選択的に、第二コンポーネントの少なくとも2種のイントラ予測モードは、第一イントラ予測モード及び第二イントラ予測モードを含み、第二重み付け行列は、最大重み値、最小重み値、及び少なくとも1つの中間重み値を含む。最大重み値は、第二コンポーネントにおける対応のサンプルの予測値が、完全に第一イントラ予測モードで予測を行うことにより取得されることを指示するために用いられる。最小重み値は、第二コンポーネントにおける対応のサンプルの予測値が、完全に第二イントラ予測モードで予測を行うことにより取得されることを指示するために用いられる。中間重み値は、第二コンポーネントにおける対応のサンプルの予測値が、第一イントラ予測モード及び第二イントラ予測モードで予測を行うことにより取得されることを指示するために用いられる。
選択的に、第二重み付け行列は複数種の重み値を含み、重み値が変化する位置は、直線又は曲線を形成する。
選択的に、第二重み付け行列は、AWPモード又はGPMモードに対応する重み付け行列である。
いくつかの実施形態において、目標イントラ予測モードは、1種のイントラ予測モードを含む。
一例において、第二特定ユニット23は具体的に、第二コンポーネントの少なくとも2種のイントラ予測モードのうちの1種を、目標イントラ予測モードとするように構成されている。
一例において、第二特定ユニット23は具体的に、現在ブロックの第一サンプル位置に対応する第二コンポーネントのイントラ予測モードに基づいて、目標イントラ予測モードを特定するように構成されている。
一例において、第二特定ユニット23は具体的に、第一サンプル位置に対応する第二コンポーネントの予測値が完全に1種のイントラ予測モードで予測を行うことにより取得される場合、当該1種のイントラ予測モードを目標イントラ予測モードとし、
第一サンプル位置に対応する第二コンポーネントの予測値が複数種のイントラ予測モードで予測を行うことにより取得される場合、複数種のイントラ予測モードのうちの重み値が最も大きいイントラ予測モードを目標イントラ予測モードとするように構成されている。
一例において、第二特定ユニット23は具体的に、第一サンプル位置に対応する最小ユニットに記憶された第二コンポーネントのイントラ予測モードを、目標イントラ予測モードとするように構成されている。
選択的に、第一サンプル位置に対応する第二コンポーネントの予測値が完全に1種のイントラ予測モードで予測を行うことにより取得される場合、当該1種のイントラ予測モードのモード情報が最小ユニットに記憶される。第一サンプル位置に対応する第二コンポーネントの予測値が複数種のイントラ予測モードで予測を行うことにより取得される場合、複数種のイントラ予測モードのうちの重み値が最も大きいイントラ予測モードのモード情報が最小ユニットに記憶される。
いくつかの実施形態において、第一コンポーネントは、第一サブコンポーネント及び第二サブコンポーネントを含む。予測ユニット24は具体的に、
現在ブロックの第一コンポーネントの少なくとも2種のイントラ予測モードの各々を利用して、現在ブロックの第一サブコンポーネントに対してイントラ予測を行うことにより、現在ブロックの第一サブコンポーネントの、各種のイントラ予測モードに対応する予測ブロックを取得し、
現在ブロックの第一コンポーネントの少なくとも2種のイントラ予測モードの各々を利用して、現在ブロックの第二サブコンポーネントに対してイントラ予測を行うことにより、現在ブロックの第二サブコンポーネントの、各種のイントラ予測モードに対応する予測ブロックを取得するように構成されている。
いくつかの実施形態において、予測ユニット24は具体的に、
第一重み付け行列に基づいて、現在ブロックの第一サブコンポーネントの、各種のイントラ予測モードに対応する予測ブロックに対して重み付け演算を行うことにより、現在ブロックの第一サブコンポーネントの最終予測ブロックを取得し、
第一重み付け行列に基づいて、第二サブコンポーネントの、各種のイントラ予測モードに対応する予測ブロックに対して重み付け演算を行うことにより、現在ブロックの第二サブコンポーネントの最終予測ブロックを取得するように構成されている。
いくつかの実施形態において、予測ユニット24は具体的に、predMatrixSawpA[x][y]=(predMatrixA0[x][y]*AwpWeightArrayAB[x][y]+predMatrixA1[x][y]*(2-AwpWeightArrayAB[x][y])+2n-1)>>nという式に基づいて、現在ブロックの第一サブコンポーネントの最終予測ブロックを取得するように構成されている。
Aは第一サブコンポーネントであり、predMatrixSawpA[x][y]は、第一サブコンポーネントにおけるサンプル[x][y]の最終予測値であり、predMatrixA0[x][y]は、現在ブロックの第一サブコンポーネントの第一予測ブロックにおけるサンプル[x][y]の第一予測値であり、predMatrixA1[x][y]は、現在ブロックの第一サブコンポーネントの第二予測ブロックにおけるサンプル[x][y]の第二予測値であり、AwpWeightArrayAB[x][y]は、第一重み付け行列AwpWeightArrayABにおけるpredMatrixA0[x][y]の重み値であり、2は予め設定された重みの合計であり、nは正の整数である。
いくつかの実施形態において、予測ユニット24は具体的に、predMatrixSawpB[x][y]=(predMatrixB0[x][y]*AwpWeightArrayAB[x][y]+predMatrixB1[x][y]*(2-AwpWeightArrayAB[x][y])+2n-1)>>nという式に基づいて、現在ブロックの第二サブコンポーネントの最終予測ブロックを取得するように構成されている。Bは第二サブコンポーネントであり、predMatrixSawpB[x][y]は、第二サブコンポーネントにおけるサンプル[x][y]の最終予測値であり、predMatrixB0[x][y]は、現在ブロックの第二サブコンポーネントの第一予測ブロックにおけるサンプル[x][y]の第一予測値であり、predMatrixB1[x][y]は、現在ブロックの第二サブコンポーネントの第二予測ブロックにおけるサンプル[x][y]の第二予測値であり、AwpWeightArrayAB[x][y]は、第一重み付け行列AwpWeightArrayABにおけるpredMatrixB0[x][y]の重み値であり、2は予め設定された重みの合計であり、nは正の整数である。
いくつかの実施形態において、現在ブロックのサイズは、予め設定された条件を満たす。
予め設定された条件は、以下のうちのいずれか1つ又は複数を含む。
条件1:現在ブロックの幅が第一予め設定された幅TH1以上であり、且つ現在ブロックの高さが第一予め設定された高さTH2以上である。
条件2:現在ブロックにおけるサンプルの数が第一予め設定された数TH3以上である。
条件3:現在ブロックの幅が第二予め設定された幅TH4以下であり、且つ現在ブロックの高さが第二予め設定された高さTH5以上である。
条件4:現在ブロックの幅に対する長さの比が第一予め設定された比率である。
条件5:現在ブロックのサイズが第二予め設定された比率である。
条件6:現在ブロックの高さが第三予め設定された高さ以上であり、現在ブロックの幅が第三予め設定された幅以上であり、現在ブロックの高さに対する幅の比が第三予め設定された値以下であり、且つ現在ブロックの幅に対する高さの比が第三予め設定された値以下である。
選択的に、第一予め設定された比率は、1:1、2:1、1:2、1:4、4:1のうちのいずれかである。
選択的に、第二予め設定された値は、16×32、32×32、16×64、64×16のうちのいずれかである。
選択的に、第一コンポーネントは輝度コンポーネントであり、第二コンポーネントは彩度コンポーネントである。
選択的に、彩度コンポーネントはUVコンポーネントであり、第一サブコンポーネントはUコンポーネントであり、第二サブコンポーネントはVコンポーネントである。
なお、装置実施形態と方法実施形態は互いに対応することができ、装置実施形態の類似の説明については、方法実施形態を参照することができる。重複を避けるため、ここではその説明を省略する。具体的に、図20に示されるビデオ符号器20は、本出願の実施形態における方法700、800又は900を実行する主体に対応してもよい。また、ビデオ符号器20における各ユニットの上記及び他の操作及び/又は機能はそれぞれ方法700、800又は900などの各々における対応のプロセスを実現するために用いられる。簡潔のため、ここでの説明を省略する。
以上、図面を参照しながら、本出願の実施形態の装置及びシステムについて機能ユニットの角度から説明した。当該機能ユニットは、ハードウェア形態によって実現されてもよく、ソフトウェア形態の命令によって実現されてもよく、ハードウェアとソフトウェアモジュールの組み合わせによって実現されてもよい。具体的に、本出願の実施形態における方法実施形態の各ステップは、プロセッサにおけるハードウェアの集積論理回路(integrated logic circuit)又はソフトウェア形態の命令によって完成されることができる。本出願の実施形態に開示された方法のステップは、直接にハードウェア復号化プロセッサによって実行且つ完成されることができ、又は復号化プロセッサにおけるハードウェアとソフトウェアモジュールの組み合わせによって実行且つ完成されることができる。選択的に、ソフトウェアは、ランダムアクセスメモリ、フラッシュメモリ、読み取り専用メモリ、プログラム可能な読み取り専用メモリ、電気的に消去可能なプログラム可能なメモリ、レジスタなど本技術分野におけるマチュアな記憶媒体に位置することができる。記憶媒体はメモリに位置する。プロセッサは、メモリにおける情報を読み取り、プロセッサのハードウェアとともに上記方法実施形態のステップを完成する。
図21は、本出願の実施形態に係る電子機器30を示すブロック図である。
図32に示されるように、当該電子機器30は、本出願の実施形態に記載のビデオ符号器であってもよく、又は、ビデオ復号器であってもよい。当該電子機器30は、メモリ33及びプロセッサ32を備えることができる。当該メモリ33は、コンピュータプログラム34を記憶し、且つ当該コンピュータプログラム34を当該プロセッサ32に伝送するために用いられる。換言すれば、当該プロセッサ32は、メモリ33からコンピュータプログラム34を呼び出して実行することにより、本出願の実施形態における方法を実現することができる。
例えば、当該プロセッサ32は、当該コンピュータプログラム34における命令に基づいて、上記方法200のステップを実行するために用いられることができる。
本出願のいくつかの実施形態において、当該プロセッサ32は、汎用プロセッサ、デジタル信号プロセッサ(digital signal processor、DSP)、特定用途向け集積回路(application specific integrated circuit、ASIC)、フィールドプログラム可能なゲートアレイ(field programmable gate array、FPGA)又は他のプログラム可能なロジックデバイス、ディスクリートゲート又はトランジスタロジックデバイス、ディスクリートハードウェアコンポーネントなどを含むことができるが、それらに限定されない。
本出願のいくつかの実施形態において、当該メモリ33は、揮発性メモリ及び/又は不揮発性メモリを含むが、それらに限定されない。不揮発性メモリは、読み取り専用メモリ(read only memory、ROM)、プログラム可能な読み取り専用メモリ(programmable ROM、PROM)、消去可能なプログラム可能な読み取り専用メモリ(erasable PROM、EPROM)、電気的に消去可能なプログラム可能な読み取り専用メモリ(electrically EPROM、EEPROM)、又はフラッシュメモリ(flash memory)であることができる。揮発性メモリは、外部高速キャッシュとして機能するランダムアクセスメモリ(random access memory、RAM)であることができる。例示的であるが限定的ではない例として、様々なRAMが利用可能であり、例えば、スタティックランダムアクセスメモリ(static RAM、SRAM)、ダイナミックランダムアクセスメモリ(dynamic RAM、DRAM)、同期ダイナミックランダムアクセスメモリ(synchronous DRAM、SDRAM)、ダブルデータレート同期ダイナミックランダムアクセスメモリ(double data rate SDRAM、DDRSDRAM)、強化された同期ダイナミックランダムアクセスメモリ(enhanced SDRAM、ESDRAM)、同期リンクダイナミックランダムアクセスメモリ(synch-link DRAM、SLDRAM)、ダイレクトランバスランダムアクセスメモリ(dierct rambus RAM、DRRAM)が挙げられる。
本出願のいくつかの実施形態において、当該コンピュータプログラム34は、1つ又は複数のユニットに分割されることができ、当該1つ又は複数のユニットは当該メモリ33に記憶されており、当該プロセッサ32によって実行されることにより、本出願に係る方法を完成する。当該1つ又は複数のユニットは、特定の機能を果たすことが可能な一連のコンピュータプログラム命令セグメントであってもよく、当該命令セグメントは、当該電子機器30における当該コンピュータプログラム34の実行プロセスを記述するために用いられる。
図32に示されるように、当該電子機器30は、トランシーバー33をさらに備えることができる。当該トランシーバー33は、当該プロセッサ32又はメモリ33に接続可能である。
プロセッサ32は、当該トランシーバー33が他のデバイスと通信するように制御することができる。具体的に、トランシーバー33は、他のデバイスに情報やデータを送信することができ、又は他のデバイスによって送信された情報やデータを受信することができる。トランシーバー33は送信機及び受信機を含むことができる。トランシーバー33は、アンテナをさらに含むことができる。アンテナの数は一つ又は複数であることができる。
なお、電子機器30における各コンポーネントはバスシステムを介して接続される。バスシステムはデータバス以外に、電力バス、制御バス及びステータス信号バスをさらに含む。
図22は、本出願の実施形態に係るビデオ符号化・復号化システム40を示すブロック図である。
図22に示されるように、当該ビデオ符号化・復号化システム40は、ビデオ符号器41及びビデオ復号器42を含むことができる。ビデオ符号器41は、本出願の実施形態に係るビデオ符号化方法を実行するために用いられ、ビデオ復号器42は、本出願の実施形態に係るビデオ復号化方法を実行するために用いられる。
本出願において、コンピュータ記憶媒体がさらに提供される。コンピュータ記憶媒体にコンピュータプログラムが記憶されている。当該コンピュータプログラムはコンピュータによって実行されるとき、当該コンピュータに、上記方法実施形態における方法を実行させる、ことを可能にする。又は、本出願の実施形態において、命令を含むコンピュータプログラム製品がさらに提供される。当該命令はコンピュータによって実行されるとき、コンピュータに、上記方法実施形態における方法を実行させる。
ソフトウェアによって実現される場合、上記実施形態の全部又は一部は、コンピュータプログラム製品の形式で実現されることができる。当該コンピュータプログラム製品は、一つ又は複数のコンピュータ命令を含む。コンピュータプログラム命令がコンピュータでロードされ且つ実行されるとき、本出願の実施形態のプロセス又は機能の全部又は一部が生成される。当該コンピュータは、汎用コンピュータ、専用コンピュータ、コンピュータネットワーク又は他のプログラム可能な装置であることができる。当該コンピュータ命令は、コンピュータ可読記憶媒体に記憶され、又は一つのコンピュータ可読記憶媒体から別のコンピュータ可読記憶媒体に伝送されることができる。例えば、当該コンピュータ命令は、一つのウェブサイト、コンピュータ、サーバ又はデータセンターから有線(例えば、同軸ケーブル、光ファイバー、デジタル加入者線(digital subscriber line、DSL)など)又は無線(例えば、赤外線、無線、マイクロ波など)で別のウェブサイト、コンピュータ、サーバ又はデータセンターに伝送されることができる。当該コンピュータ可読記憶媒体は、コンピュータがアクセスできる任意の利用可能な媒体であることができ、又はサーバ、データセンターなどのような一つ又は複数の利用可能な媒体が統合されたデータ記憶装置であることができる。利用可能な媒体は、磁気媒体(例えば、フロッピーディスク、ハードディスク又は磁気テープ)、光学媒体(例えば、デジタルビデオディスク(digital versatile disc、DVD))、又は半導体媒体(例えば、ソリッドステートディスク(solid state disk、SSD))などであることができる。
本明細書に開示された実施形態に記載される各例示的なユニット及びアルゴリズム操作と結びつけて、本出願が電子ハードウェア、又はコンピュータソフトウェアと電子ハードウェアとの組み合わせにより実現され得ることは、当業者が意識することができる。これらの機能が、ハードウェアにより実行されるかソフトウェアにより実行されるかについては、技術案の特定応用や設計の制限条件などによって決められる。当業者は、特定応用ごとに異なる方法を使用して記載される機能を実現できるが、これらの実現は、本出願の範囲を超えると見なされるべきではない。
本出願に係るいくつかの実施形態において、開示されるシステム、装置、方法は、他の形態により実現され得ると理解されるべきである。例えば、上記装置の実施形態は、例示的なものに過ぎない。例えば、ユニットの分割はロジック機能の分割に過ぎず、実際に実現される場合、別の分割形態を有してもよい。例えば、複数のユニット又はコンポーネントを組み合わせ、又は別のシステムに集積させ、又はその若干の特徴を無視し、又は実行しなくてもよい。さらに、示される又は検討される相互間の結合や直接結合や通信接続は、いくつかのインタフェース、装置、又はユニットによる間接結合や通信接続であってもよく、電気、機械又は他の形態であってもよい。
分離コンポーネントとして説明されたユニットは、物理的に分離してもよく、分離しなくてもよい。ユニットとして表示されるコンポーネントは、物理的なユニットであってもよく、物理的なユニットではなくてもよい。即ち、一つの場所に位置してもよく、複数のネットワークユニットに配置されてもよい。実際のニーズに応じて一部又は全部のユニットを選択して本実施形態の技術案の目的を実現することができる。例えば、本出願の各実施形態に係る各機能ユニットは、1つの処理ユニットに集積されてもよく、各ユニットは単独に物理的に存在してもよく、2つ以上のユニットは1つのユニットに集積されてもよい。
上記内容は、ただ本出願の具体的な実施形態であり、本出願の保護範囲はそれに限定されない。当業者が本出願に開示された技術範囲内で容易に想到し得る変更又は置換はすべて本出願の保護範囲内に含まれるべきである。従って、本出願の保護範囲は特許請求の保護範囲に準じるべきである。
第一様態において、本出願では、ビデオ符号化方法が提供される。当該方法は以下の内容を含む。第一コンポーネントを含む現在ブロックを取得する。現在ブロックの第一コンポーネントの初期イントラ予測モードを特定する。初期イントラ予測モードが導出モードであると特定する場合、現在ブロックに対応する第二コンポーネントの少なくとも2種のイントラ予測モードを取得する。第二コンポーネントの少なくとも2種のイントラ予測モードに基づいて、現在ブロックの第一コンポーネントのイントラ予測モードを特定する。現在ブロックの第一コンポーネントのイントラ予測モードを利用して現在ブロックの第一コンポーネントに対してイントラ予測を行うことにより、現在ブロックの第一コンポーネントの最終予測ブロックを取得する。
第二様態において、本出願の実施形態では、ビデオ復号化方法が提供される。当該方法は以下の内容を含む。ビットストリームを解析することにより、第一コンポーネントを含む現在ブロックと現在ブロックに対応する第二コンポーネントの少なくとも2種のイントラ予測モードとを取得する。現在ブロックの第一コンポーネントの初期イントラ予測モードを特定する。初期イントラ予測モードが導出モードである場合、第二コンポーネントの少なくとも2種のイントラ予測モードに基づいて、現在ブロックの第一コンポーネントのイントラ予測モードを特定する。現在ブロックの第一コンポーネントのイントラ予測モードを利用して現在ブロックの第一コンポーネントに対してイントラ予測を行うことにより、現在ブロックの第一コンポーネントの最終予測ブロックを取得する。
インター予測ユニット321は、ビットストリームから解析されたシンタックス要素に基づいて、第一参照画像リスト(リスト0)及び第二参照画像リスト(リスト1)を構築することができる。また、PUがインター予測で符号化される場合、ヘッダ情報復号化ユニット310は、PUの動き情報を解析することができる。インター予測ユニット321は、PUの動き情報に基づいて、PUの1つ又は複数の参照ブロックを特定することができる。インター予測ユニット321は、PUの1つ又は複数の参照ブロックに基づいて、PUの予測ブロックを生成することができる。
S405:現在ブロックの第一コンポーネントのイントラ予測モードを利用して現在ブロックの第一コンポーネントに対してイントラ予測を行うことにより、現在ブロックの第一コンポーネントの最終予測ブロックを取得する。
本出願のいくつかの実施形態において、現在ブロックの第一コンポーネントのイントラ予測モードは少なくとも2種のイントラ予測モードを含む。この場合、第二コンポーネントの少なくとも2種のイントラ予測モードに基づいて、現在ブロックの第一コンポーネントのントラ予測モードを特定する上記S404は以下のいくつかの方式を含むが、これらに限定されない。
方式1では、第二コンポーネントの少なくとも2種のイントラ予測モードを、現在ブロックの第一コンポーネントのイントラ予測モードとする。例えば、第二コンポーネントの少なくとも2種のイントラ予測モードが、第一イントラ予測モード及び第二イントラ予測モードを含む場合、第一イントラ予測モード及び第二イントラ予測モードを、現在ブロックの第一コンポーネントのイントラ予測モードとする。
方式2では、第二コンポーネントの少なくとも2種のイントラ予測モードに基づいて、現在ブロックの第一コンポーネントのイントラ予測モードを導出する。例えば、第二コンポーネントに用いられる角度と比べて、第一コンポーネントに用いられる角度はより大きいギャップを有し、即ち、第二コンポーネントのいくつかのイントラ予測モードを利用して、第一コンポーネントの同一のイントラ予測モードを導出することができる。例えば、第二コンポーネントの近水平(near-horizontal)モード(例えば、AVS3におけるモード番号11に対応するイントラ予測モード)を利用して、第一コンポーネントの水平モードを導出することができる。それに踏まえて、第二コンポーネントの少なくとも2種のイントラ予測モードに基づいて、現在ブロックの第一コンポーネントの少なくとも2種のイントラ予測モードを導出することができる。例えば、第二コンポーネントの第一イントラ予測モードから、現在ブロックの第一コンポーネントの第三イントラ予測モードを導出し、第二コンポーネントの第二イントラ予測モードから、現在ブロックの第一コンポーネントの第四イントラ予測モードを導出する。
現在ブロックの第一コンポーネントのイントラ予測モードが少なくとも2種のイントラ予測モードを含む場合、上記S405は以下の内容を含む。
1つの可能な実施形態において、重み付け行列導出モードに基づいて、第一重み付け行列を導出する。重み付け行列導出モードは、重み付け行列を導出するモードであると理解されることができ、各種の重み付け行列導出モードでは、所定の高さ及び幅を有するブロックの重み付け行列が導出される。異なる重み付け行列導出モードでは、同じサイズを有するブロックの異なる重み付け行列が導出されることができる。例えば、AVS3のAWPに56種の重み付け行列導出モードがあり、VVCのGPMに64種の重み付け行列導出モードがある。この例では、重み付け行列導出モードに基づいて、第一重み付け行列を導出するプロセスと、第二重み付け行列を導出するプロセスとがほぼ同じである。例えば、第二重み付け行列は輝度コンポーネントであり、輝度コンポーネントの第二重み付け行列を導出するプロセスについては、以下のS905の説明を参照することができ、説明を省略する。なお、S905における方式を参照して第一重み付け行列を導出する際に、第一コンポーネントの符号化情報に基づいてS905における関連パラメータを修正し、さらに第一重み付け行列を導出することができる。
条件4:現在ブロックの幅に対する高さの比が第一予め設定された比率である。例えば、第一予め設定された比率は1:1、1:2、2:1、4:1、1:4のうちのいずれかである。
条件5:現在ブロックのサイズが第二予め設定された値である。例えば、第二予め設定された値は、16×32、32×32、16×64、64×16のうちのいずれかである。
本出願の実施形態の方法は、正方形のブロック又はほぼ正方形のブロック、例えば1:1又は1:2のブロッに対して予測を行う際の予測効果が顕著であるが、幅に対する高さの比が16:1や32:1であるような細長いブロックに対して予測を行う際の予測効果が顕著ではない。そのため、システム全体への複雑度の影響を低減するために、同時に、圧縮性能と複雑度との両方のバランスを考慮に入れて、本出願では主に、上記予め設定された条件を満たす正方形のブロック又はほぼ正方形のブロックに対して、イントラ予測を行う。
本出願のいくつかの実施態様において、現在ブロックの第一コンポーネントのントラ予測モードは、1種のイントラ予測モードを含むことができる。この場合、上記S404は以下のいくつかの方式を含むが、これらに限定されない。
方式1では、第二コンポーネントの少なくとも2種のイントラ予測モードのうちの1種を、現在ブロックの第一コンポーネントのイントラ予測モードとする。例えば、第一イントラ予測モード及び第二イントラ予測モードが第二コンポーネントに用いられる場合、当該第一イントラ予測モードを常に現在ブロックの第一コンポーネントのイントラ予測モードとし、又は、当該第二イントラ予測モードを常に現在ブロックの第一コンポーネントのイントラ予測モードとする。
方式2では、第二コンポーネントの少なくとも2種のイントラ予測モードに基づいて1種のイントラ予測モードを導出し、導出された当該イントラ予測モードを現在ブロックの第一コンポーネントのイントラ予測モードとする。例えば、第二コンポーネントに用いられる角度と比べて、第一コンポーネントに用いられる角度はより大きいギャップを有し、即ち、いくつかの異なる輝度イントラ予測モードから、同一の彩度イントラ予測モードを導出する可能性がある。
方式3では、現在ブロックの第一サンプル位置に対応する第二コンポーネントのイントラ予測モードに基づいて、現在ブロックの第一コンポーネントのイントラ予測モードを特定する。第一サンプル位置は、例えば、現在ブロックの右下隅又は中間におけるあるサンプルの位置である。
方式3の1つの可能性として、第一サンプル位置に対応する第二コンポーネントの予測が完全に1種のイントラ予測モードで予測を行うことにより取得される場合、当該1種のイントラ予測モードを現在ブロックの第一コンポーネントのイントラ予測モードとする。
方式3の1つの可能性として、第一サンプル位置に対応する第二コンポーネントの予測が複数種のイントラ予測モードで予測を行うことにより取得される場合、複数種のイントラ予測モードのうちの重み値が最も大きいイントラ予測モードを、現在ブロックの第一コンポーネントのイントラ予測モードとする。
方式3の1つの可能性として、第一サンプル位置に対応する最小ユニットに記憶された第二コンポーネントのイントラ予測モードを、現在ブロックの第一コンポーネントのイントラ予測モードとする。第一サンプル位置に対応する第二コンポーネントの予測が完全に1種のイントラ予測モードで予測を行うことにより取得される場合、当該1種のイントラ予測モードのモード情報が最小ユニットに記憶される。第一サンプル位置に対応する第二コンポーネントの予測が複数種のイントラ予測モードで予測を行うことにより取得される場合、複数種のイントラ予測モードのうちの重み値が最も大きいイントラ予測モードのモード情報が最小ユニットに記憶される。
条件4:現在ブロックの幅に対する高さの比が第一予め設定された比率である。例えば、第一予め設定された比率は1:1、1:2、2:1、4:1、1:4のうちのいずれかである。
条件5:現在ブロックのサイズが第二予め設定されたである。例えば、第二予め設定された値は、16×32、32×32、16×64、64×16のうちのいずれかである。
方式3の1つの可能性として、第一サンプル位置に対応する第二コンポーネントの予測が完全に1種のイントラ予測モードで予測を行うことにより取得される場合、当該1種のイントラ予測モードを現在ブロックの第一コンポーネントのイントラ予測モードとする。
方式3の1つの可能性として、第一サンプル位置に対応する第二コンポーネントの予測が複数種のイントラ予測モードで予測を行うことにより取得される場合、複数種のイントラ予測モードのうちの重み値が最も大きいイントラ予測モードを現在ブロックの第一コンポーネントのイントラ予測モードとする。
方式3の1つの可能性として、第一サンプル位置に対応する最小ユニットに記憶された第二コンポーネントのイントラ予測モードを、現在ブロックの第一コンポーネントのイントラ予測モードとする。第一サンプル位置に対応する第二コンポーネントの予測が完全に1種のイントラ予測モードで予測を行うことにより取得される場合、当該1種のイントラ予測モードのモード情報が最小ユニットに記憶される。第一サンプル位置に対応する第二コンポーネントの予測が複数種のイントラ予測モードで予測を行うことにより取得される場合、複数種のイントラ予測モードのうちの重み値が最も大きいイントラ予測モードのモード情報が最小ユニットに記憶される。
図19に示されるように、ビデオ符号器10は第一取得ユニット11、第一特定ユニット12、第二取得ユニット13、第二特定ユニット14、及び予測ユニット15を備える。第一取得ユニット11は、第一コンポーネントを含む現在ブロックを取得するように構成されている。第一特定ユニット12は、現在ブロックの第一コンポーネントの初期イントラ予測モードを特定するように構成されている。第二取得ユニット13は、初期イントラ予測モードが導出モードである場合、現在ブロックに対応する第二コンポーネントの少なくとも2種のイントラ予測モードを取得するように構成されている。第二特定ユニット14は、第二コンポーネントの少なくとも2種のイントラ予測モードに基づいて、現在ブロックの第一コンポーネントのントラ予測モードを特定するように構成されている。予測ユニット15は、現在ブロックの第一コンポーネントのイントラ予測モードを利用して現在ブロックの第一コンポーネントに対してイントラ予測を行うことにより、現在ブロックの第一コンポーネントの最終予測ブロックを取得するように構成されている。
いくつかの実施形態において、現在ブロックの第一コンポーネントのイントラ予測モードは、少なくとも2種のイントラ予測モードを含む。
一例において、第二特定ユニット14は具体的に、第二コンポーネントの少なくとも2種のイントラ予測モードを、現在ブロックの第一コンポーネントのントラ予測モードとするように構成されている。
一例において、第二特定ユニット14は具体的に、第二コンポーネントの少なくとも2種のイントラ予測モードに基づいて、現在ブロックの第一コンポーネントのントラ予測モードを導出するように構成されている。
いくつかの実施形態において、現在ブロックの第一コンポーネントのイントラ予測モードは、1種のイントラ予測モードを含む。
一例において、第二特定ユニット14は具体的に、第二コンポーネントの少なくとも2種のイントラ予測モードのうちの1種を、現在ブロックの第一コンポーネントのイントラ予測モードとするように構成されている。
一例において、第二特定ユニット14は具体的に、現在ブロックの第一サンプル位置に対応する第二コンポーネントのイントラ予測モードに基づいて、現在ブロックの第一コンポーネントのイントラ予測モードを特定するように構成されている。
一例において、第二特定ユニット14は具体的に、第一サンプル位置に対応する第二コンポーネントの予測値が完全に1種のイントラ予測モードで予測を行うことにより取得される場合、当該1種のイントラ予測モードを現在ブロックの第一コンポーネントのイントラ予測モードとし、
第一サンプル位置に対応する第二コンポーネントの予測値が複数種のイントラ予測モードで予測を行うことにより取得される場合、複数種のイントラ予測モードのうちの重み値が最も大きいイントラ予測モードを現在ブロックの第一コンポーネントのイントラ予測モードとするように構成されている。
一例において、第二特定ユニット14は具体的に、第一サンプル位置に対応する最小ユニットに記憶された第二コンポーネントのイントラ予測モードを、現在ブロックの第一コンポーネントのイントラ予測モードとするように構成されている。
予め設定された条件は、以下のうちのいずれか1つ又は複数を含む。
条件1:現在ブロックの幅が第一予め設定された幅TH1以上であり、且つ現在ブロックの高さが第一予め設定された高さTH2以上である。
条件2:現在ブロックにおけるサンプルの数が第一予め設定された数TH3以上である。
条件3:現在ブロックの幅が第二予め設定された幅TH4以下であり、且つ現在ブロックの高さが第二予め設定された高さTH5以上である。
条件4:現在ブロックの幅に対する高さの比が第一予め設定された比率である。
条件5:現在ブロックのサイズが第二予め設定されたである。
条件6:現在ブロックの高さが第三予め設定された高さ以上であり、現在ブロックの幅が第三予め設定された幅以上であり、現在ブロックの高さに対する幅の比が第三予め設定された値以下であり、且つ現在ブロックの幅に対する高さの比が第三予め設定された値以下である。
選択的に、第一コンポーネントは彩度コンポーネントであり、第二コンポーネントは輝度コンポーネントである。
いくつかの実施形態において、現在ブロックの第一コンポーネントのイントラ予測モードは、1種のイントラ予測モードを含む。
一例において、第二特定ユニット23は具体的に、第二コンポーネントの少なくとも2種のイントラ予測モードのうちの1種を、現在ブロックの第一コンポーネントのイントラ予測モードとするように構成されている。
一例において、第二特定ユニット23は具体的に、現在ブロックの第一サンプル位置に対応する第二コンポーネントのイントラ予測モードに基づいて、現在ブロックの第一コンポーネントのイントラ予測モードを特定するように構成されている。
一例において、第二特定ユニット23は具体的に、第一サンプル位置に対応する第二コンポーネントの予測値が完全に1種のイントラ予測モードで予測を行うことにより取得される場合、当該1種のイントラ予測モードを現在ブロックの第一コンポーネントのイントラ予測モードとし、
第一サンプル位置に対応する第二コンポーネントの予測値が複数種のイントラ予測モードで予測を行うことにより取得される場合、複数種のイントラ予測モードのうちの重み値が最も大きいイントラ予測モードを、現在ブロックの第一コンポーネントのイントラ予測モードとするように構成されている。
一例において、第二特定ユニット23は具体的に、第一サンプル位置に対応する最小ユニットに記憶された第二コンポーネントのイントラ予測モードを、現在ブロックの第一コンポーネントのイントラ予測モードとするように構成されている。
予め設定された条件は、以下のうちのいずれか1つ又は複数を含む。
条件1:現在ブロックの幅が第一予め設定された幅TH1以上であり、且つ現在ブロックの高さが第一予め設定された高さTH2以上である。
条件2:現在ブロックにおけるサンプルの数が第一予め設定された数TH3以上である。
条件3:現在ブロックの幅が第二予め設定された幅TH4以下であり、且つ現在ブロックの高さが第二予め設定された高さTH5以上である。
条件4:現在ブロックの幅に対する高さの比が第一予め設定された比率である。
条件5:現在ブロックのサイズが第二予め設定されたである。
条件6:現在ブロックの高さが第三予め設定された高さ以上であり、現在ブロックの幅が第三予め設定された幅以上であり、現在ブロックの高さに対する幅の比が第三予め設定された値以下であり、且つ現在ブロックの幅に対する高さの比が第三予め設定された値以下である。
選択的に、第一コンポーネントは彩度コンポーネントであり、第二コンポーネントは輝度コンポーネントである。
21に示されるように、当該電子機器30は、本出願の実施形態に記載のビデオ符号器であってもよく、又は、ビデオ復号器であってもよい。当該電子機器30は、メモリ31及びプロセッサ32を備えることができる。当該メモリ31は、コンピュータプログラム34を記憶し、且つ当該コンピュータプログラム34を当該プロセッサ32に伝送するために用いられる。換言すれば、当該プロセッサ32は、メモリ31からコンピュータプログラム34を呼び出して実行することにより、本出願の実施形態における方法を実現することができる。
本出願のいくつかの実施形態において、当該メモリ31は、揮発性メモリ及び/又は不揮発性メモリを含むが、それらに限定されない。不揮発性メモリは、読み取り専用メモリ(read only memory、ROM)、プログラム可能な読み取り専用メモリ(programmable ROM、PROM)、消去可能なプログラム可能な読み取り専用メモリ(erasable PROM、EPROM)、電気的に消去可能なプログラム可能な読み取り専用メモリ(electrically EPROM、EEPROM)、又はフラッシュメモリ(flash memory)であることができる。揮発性メモリは、外部高速キャッシュとして機能するランダムアクセスメモリ(random access memory、RAM)であることができる。例示的であるが限定的ではない例として、様々なRAMが利用可能であり、例えば、スタティックランダムアクセスメモリ(static RAM、SRAM)、ダイナミックランダムアクセスメモリ(dynamic RAM、DRAM)、同期ダイナミックランダムアクセスメモリ(synchronous DRAM、SDRAM)、ダブルデータレート同期ダイナミックランダムアクセスメモリ(double data rate SDRAM、DDRSDRAM)、強化された同期ダイナミックランダムアクセスメモリ(enhanced SDRAM、ESDRAM)、同期リンクダイナミックランダムアクセスメモリ(synch-link DRAM、SLDRAM)、ダイレクトランバスランダムアクセスメモリ(dierct rambus RAM、DRRAM)が挙げられる。
本出願のいくつかの実施形態において、当該コンピュータプログラム34は、1つ又は複数のユニットに分割されることができ、当該1つ又は複数のユニットは当該メモリ31に記憶されており、当該プロセッサ32によって実行されることにより、本出願に係る方法を完成する。当該1つ又は複数のユニットは、特定の機能を果たすことが可能な一連のコンピュータプログラム命令セグメントであってもよく、当該命令セグメントは、当該電子機器30における当該コンピュータプログラム34の実行プロセスを記述するために用いられる。
21に示されるように、当該電子機器30は、トランシーバー33をさらに備えることができる。当該トランシーバー33は、当該プロセッサ32又はメモリ31に接続可能である。

Claims (75)

  1. ビデオ符号化方法であって、
    第一コンポーネントを含む現在ブロックを取得することと、
    前記現在ブロックの前記第一コンポーネントの初期イントラ予測モードを特定することと、
    前記初期イントラ予測モードが導出モードである場合、前記現在ブロックに対応する第二コンポーネントの少なくとも2種のイントラ予測モードを取得することと、
    前記第二コンポーネントの前記少なくとも2種のイントラ予測モードに基づいて、前記現在ブロックの前記第一コンポーネントの目標イントラ予測モードを特定することと、
    前記目標イントラ予測モードを利用して前記現在ブロックの前記第一コンポーネントに対してイントラ予測を行うことにより、前記現在ブロックの前記第一コンポーネントの最終予測ブロックを取得することと、を含む、
    ことを特徴とするビデオ符号化方法。
  2. 前記目標イントラ予測モードは、少なくとも2種のイントラ予測モードを含む、
    ことを特徴とする請求項1に記載の方法。
  3. 前記第二コンポーネントの前記少なくとも2種のイントラ予測モードに基づいて、前記現在ブロックの前記第一コンポーネントの前記目標イントラ予測モードを特定することは、
    前記第二コンポーネントの前記少なくとも2種のイントラ予測モードを、前記現在ブロックの前記第一コンポーネントの前記目標イントラ予測モードとすること、を含む、
    ことを特徴とする請求項2に記載の方法。
  4. 前記第二コンポーネントの前記少なくとも2種のイントラ予測モードに基づいて、前記現在ブロックの前記第一コンポーネントの前記目標イントラ予測モードを特定することは、
    前記第二コンポーネントの前記少なくとも2種のイントラ予測モードに基づいて、前記現在ブロックの前記第一コンポーネントの前記目標イントラ予測モードを導出すること、を含む、
    ことを特徴とする請求項2に記載の方法。
  5. 前記目標イントラ予測モードを利用して前記現在ブロックの前記第一コンポーネントに対してイントラ予測を行うことにより、前記現在ブロックの前記第一コンポーネントの前記最終予測ブロックを取得することは、
    前記現在ブロックの前記第一コンポーネントの前記少なくとも2種のイントラ予測モードの各々を利用して、前記現在ブロックの前記第一コンポーネントに対してイントラ予測を行うことにより、各種の前記イントラ予測モードに対応する予測ブロックを取得することと、
    前記各種のイントラ予測モードに対応する前記予測ブロックに基づいて、前記現在ブロックの前記第一コンポーネントの前記最終予測ブロックを取得することと、を含む、
    ことを特徴とする請求項2に記載の方法。
  6. 前記各種のイントラ予測モードに対応する前記予測ブロックに基づいて、前記現在ブロックの前記第一コンポーネントの前記最終予測ブロックを取得することは、
    第一重み付け行列を特定することと、
    前記第一重み付け行列に基づいて、前記各種のイントラ予測モードに対応する前記予測ブロックに対して重み付け演算を行うことにより、前記現在ブロックの前記第一コンポーネントの前記最終予測ブロックを取得することと、を含む、
    ことを特徴とする請求項5に記載の方法。
  7. 前記第一重み付け行列を特定することは、
    重み付け行列導出モードに基づいて前記第一重み付け行列を導出することを含む、
    ことを特徴とする請求項6に記載の方法。
  8. 前記第一重み付け行列を特定することは、
    前記現在ブロックに対応する前記第二コンポーネントの第二重み付け行列を取得することと、
    前記現在ブロックに対応する前記第二コンポーネントに含まれるサンプルの総数と、前記現在ブロックの前記第一コンポーネントに含まれるサンプルの総数とが同じである場合、前記第二重み付け行列を前記第一重み付け行列とすることと、
    前記現在ブロックの前記第一コンポーネントに含まれる前記サンプルの総数が、前記現在ブロックに対応する前記第二コンポーネントに含まれる前記サンプルの総数より少ない場合、前記第二重み付け行列をダウンサンプリングすることにより、前記第一重み付け行列を取得することと、を含む、
    ことを特徴とする請求項6に記載の方法。
  9. 前記第二重み付け行列をダウンサンプリングすることにより、前記第一重み付け行列を取得することは、
    前記現在ブロックの前記第一コンポーネントに含まれる前記サンプルの総数及び前記現在ブロックに対応する前記第二コンポーネントに含まれる前記サンプルの総数に基づいて、前記第二重み付け行列をダウンサンプリングすることにより、前記第一重み付け行列を取得することを含む、
    ことを特徴とする請求項8に記載の方法。
  10. 前記第二重み付け行列は、少なくとも2つの異なる重み値を含む、
    ことを特徴とする請求項8に記載の方法。
  11. 前記第二重み付け行列における全ての重み値が同じである、
    ことを特徴とする請求項8に記載の方法。
  12. 前記第二コンポーネントにおける、前記第二重み付け行列における各重み値に対応するサンプルの予測値は、前記第二コンポーネントの前記少なくとも2種のイントラ予測モードで予測を行うことにより取得される、
    ことを特徴とする請求項8に記載の方法。
  13. 前記第二コンポーネントの前記少なくとも2種のイントラ予測モードは、N種のイントラ予測モードを含み、前記Nは2以上の正の整数であり、前記第二重み付け行列はN種の異なる重み値を含み、第i種の重み値は、前記第二コンポーネントにおける、前記第i種の重み値に対応するサンプルの予測値が、完全に第i種のイントラ予測モードで取得されることを指示し、前記iは2以上且つ前記N以下の正の整数である、
    ことを特徴とする請求項8に記載の方法。
  14. 前記第二コンポーネントの前記少なくとも2種のイントラ予測モードは、第一イントラ予測モード及び第二イントラ予測モードを含み、前記第二重み付け行列は、最大重み値、最小重み値、及び少なくとも1つの中間重み値を含み、
    前記最大重み値は、前記第二コンポーネントにおける対応のサンプルの予測値が、完全に前記第一イントラ予測モードで予測を行うことにより取得されることを指示するために用いられ、
    前記最小重み値は、前記第二コンポーネントにおける対応のサンプルの予測値が、完全に前記第二イントラ予測モードで予測を行うことにより取得されることを指示するために用いられ、
    前記中間重み値は、前記第二コンポーネントにおける対応のサンプルの予測値が、前記第一イントラ予測モード及び前記第二イントラ予測モードで予測を行うことにより取得されることを指示するために用いられる、
    ことを特徴とする請求項8に記載の方法。
  15. 前記第二重み付け行列は複数種の重み値を含み、前記重み値が変化する位置は、直線又は曲線を形成する、
    ことを特徴とする請求項8に記載の方法。
  16. 前記第二重み付け行列は、角度重み付け予測(AWP)モード又は幾何分割モード(GPM)モードに対応する重み付け行列である、
    ことを特徴とする請求項8に記載の方法。
  17. 前記目標イントラ予測モードは、1種のイントラ予測モードを含む、
    ことを特徴とする請求項1に記載の方法。
  18. 前記第二コンポーネントの前記少なくとも2種のイントラ予測モードに基づいて、前記現在ブロックの前記第一コンポーネントの前記目標イントラ予測モードを特定することは、
    前記第二コンポーネントの前記少なくとも2種のイントラ予測モードのうちの1種を、前記目標イントラ予測モードとすることを含む、
    ことを特徴とする請求項17に記載の方法。
  19. 前記第二コンポーネントの前記少なくとも2種のイントラ予測モードに基づいて、前記現在ブロックの前記目標イントラ予測モードを特定することは、
    前記現在ブロックの第一サンプル位置に対応する第二コンポーネントのイントラ予測モードに基づいて、前記目標イントラ予測モードを特定することを含む、
    ことを特徴とする請求項17に記載の方法。
  20. 前記現在ブロックの前記第一サンプル位置に対応する前記第二コンポーネントの前記イントラ予測モードに基づいて、前記目標イントラ予測モードを特定することは、
    前記第一サンプル位置に対応する前記第二コンポーネントの予測値が完全に1種のイントラ予測モードで予測を行うことにより取得される場合、前記1種のイントラ予測モードを前記目標イントラ予測モードとすることと、
    前記第一サンプル位置に対応する前記第二コンポーネントの前記予測値が複数種のイントラ予測モードで予測を行うことにより取得される場合、前記複数種のイントラ予測モードのうちの重み値が最も大きいイントラ予測モードを前記目標イントラ予測モードとすることと、を含む、
    ことを特徴とする請求項19に記載の方法。
  21. 前記現在ブロックの前記第一サンプル位置に対応する前記第二コンポーネントの前記イントラ予測モードに基づいて、前記目標イントラ予測モードを特定することは、
    前記第一サンプル位置に対応する最小ユニットに記憶された前記第二コンポーネントのイントラ予測モードを、前記目標イントラ予測モードとすること、を含む、
    ことを特徴とする請求項19に記載の方法。
  22. 前記第一サンプル位置に対応する前記第二コンポーネントの前記予測値が完全に1種のイントラ予測モードで予測を行うことにより取得される場合、前記1種のイントラ予測モードのモード情報が前記最小ユニットに記憶され、
    前記第一サンプル位置に対応する前記第二コンポーネントの前記予測値が複数種のイントラ予測モードで予測を行うことにより取得される場合、前記複数種のイントラ予測モードのうちの重み値が最も大きいイントラ予測モードのモード情報が前記最小ユニットに記憶される、
    ことを特徴とする請求項21に記載の方法。
  23. 前記第一コンポーネントは、第一サブコンポーネント及び第二サブコンポーネントを含み、前記現在ブロックの前記第一コンポーネントの前記少なくとも2種のイントラ予測モードの各々を利用して、前記第一コンポーネントに対して予測を行うことにより、前記各種のイントラ予測モードに対応する前記予測ブロックを取得することは、
    前記現在ブロックの前記第一コンポーネントの前記少なくとも2種のイントラ予測モードの各々を利用して、前記現在ブロックの前記第一サブコンポーネントに対してイントラ予測を行うことにより、前記現在ブロックの前記第一サブコンポーネントの、前記各種のイントラ予測モードに対応する予測ブロックを取得することと、
    前記現在ブロックの前記第一コンポーネントの前記少なくとも2種のイントラ予測モードの各々を利用して、前記現在ブロックの前記第二サブコンポーネントに対してイントラ予測を行うことにより、前記現在ブロックの前記第二サブコンポーネントの、前記各種のイントラ予測モードに対応する予測ブロックを取得することと、を含む、
    ことを特徴とする請求項6に記載の方法。
  24. 前記第一重み付け行列に基づいて、前記各種のイントラ予測モードに対応する前記予測ブロックに対して重み付け演算を行うことにより、前記現在ブロックの前記第一コンポーネントの前記最終予測ブロックを取得することは、
    前記第一重み付け行列に基づいて、前記現在ブロックの前記第一サブコンポーネントの、前記各種のイントラ予測モードに対応する前記予測ブロックに対して重み付け演算を行うことにより、前記現在ブロックの前記第一サブコンポーネントの最終予測ブロックを取得することと、
    前記第一重み付け行列に基づいて、前記現在ブロックの前記第二サブコンポーネントの、前記各種のイントラ予測モードに対応する前記予測ブロックに対して重み付け演算を行うことにより、前記現在ブロックの前記第二サブコンポーネントの最終予測ブロックを取得することと、を含む、
    ことを特徴とする請求項23に記載の方法。
  25. 前記現在ブロックの前記第一コンポーネントの前記少なくとも2種のイントラ予測モードは、第一イントラ予測モード及び第二イントラ予測モードを含み、前記第一重み付け行列に基づいて、前記現在ブロックの前記第一サブコンポーネントの、前記各種のイントラ予測モードに対応する前記予測ブロックに対して重み付け演算を行うことにより、前記現在ブロックの前記第一サブコンポーネントの前記最終予測ブロックを取得することは、
    predMatrixSawpA[x][y]=(predMatrixA0[x][y]*AwpWeightArrayAB[x][y]+predMatrixA1[x][y]*(2-AwpWeightArrayAB[x][y])+2n-1)>>nという式に基づいて、前記現在ブロックの前記第一サブコンポーネントの前記最終予測ブロックを取得することを含み、
    前記Aは前記第一サブコンポーネントであり、前記predMatrixSawpA[x][y]は、前記第一サブコンポーネントにおけるサンプル[x][y]の最終予測値であり、前記predMatrixA0[x][y]は、前記現在ブロックの前記第一サブコンポーネントの第一予測ブロックにおけるサンプル[x][y]の第一予測値であり、前記predMatrixA1[x][y]は、前記現在ブロックの前記第一サブコンポーネントの第二予測ブロックにおけるサンプル[x][y]の第二予測値であり、前記AwpWeightArrayAB[x][y]は、前記第一重み付け行列AwpWeightArrayABにおけるpredMatrixA0[x][y]の重み値であり、2は予め設定された重みの合計であり、nは正の整数である、
    ことを特徴とする請求項24に記載の方法。
  26. 前記第一重み付け行列に基づいて、前記現在ブロックの前記第二サブコンポーネントの、前記各種のイントラ予測モードに対応する前記予測ブロックに対して重み付け演算を行うことにより、前記現在ブロックの前記第二サブコンポーネントの前記最終予測ブロックを取得することは、
    predMatrixSawpB[x][y]=(predMatrixB0[x][y]*AwpWeightArrayAB[x][y]+predMatrixB1[x][y]*(2-AwpWeightArrayAB[x][y])+2n-1)>>nという式に基づいて、前記現在ブロックの前記第二サブコンポーネントの前記最終予測ブロックを取得することを含み、
    前記Bは前記第二サブコンポーネントであり、前記predMatrixSawpB[x][y]は、前記第二サブコンポーネントにおけるサンプル[x][y]の最終予測値であり、前記predMatrixB0[x][y]は、前記現在ブロックの前記第二サブコンポーネントの第一予測ブロックにおけるサンプル[x][y]の第一予測値であり、前記predMatrixB1[x][y]は、前記現在ブロックの前記第二サブコンポーネントの第二予測ブロックにおけるサンプル[x][y]の第二予測値であり、前記AwpWeightArrayAB[x][y]は、前記第一重み付け行列AwpWeightArrayABにおけるpredMatrixB0[x][y]の重み値であり、2は予め設定された重みの合計であり、nは正の整数である、
    ことを特徴とする請求項25に記載の方法。
  27. 前記方法は、ビットストリームを生成することをさらに含み、
    前記ビットストリームに重み付け予測フラグが含まれており、前記重み付け予測フラグは、前記第二コンポーネントの予測ブロックが前記少なくとも2種のイントラ予測モードで予測を行うことにより取得されるか否かを指示するために用いられる、
    ことを特徴とする請求項8に記載の方法。
  28. 前記現在ブロックの前記第一コンポーネントの前記初期イントラ予測モードを特定することとは、
    前記少なくとも2種のイントラ予測モードが前記第二コンポーネントの予測のために用いられると特定された場合、前記現在ブロックの前記第一コンポーネントの前記初期イントラ予測モードが前記導出モードであると特定することを含み、
    ことを特徴とする請求項27に記載の方法。
  29. 前記ビットストリームに、前記第二コンポーネントの前記少なくとも2種のイントラ予測モードのモード情報がさらに含まれている、
    ことを特徴とする請求項27に記載の方法。
  30. 前記ビットストリームに、前記第二重み付け行列の導出モード情報がさらに含まれている、
    ことを特徴とする請求項27に記載の方法。
  31. 前記現在ブロックのサイズは、予め設定された条件を満たす、
    ことを特徴とする請求項1に記載の方法。
  32. 前記予め設定された条件は、
    前記現在ブロックの幅が第一予め設定された幅TH1以上であり、且つ前記現在ブロックの高さが第一予め設定された高さTH2以上であるという条件1、
    前記現在ブロックにおけるサンプルの数が第一予め設定された数TH3以上であるという条件2、
    前記現在ブロックの幅が第二予め設定された幅TH4以下であり、且つ前記現在ブロックの高さが第二予め設定された高さTH5以上であるという条件3、
    前記現在ブロックの幅に対する長さの比が第一予め設定された比率であるという条件4、
    前記現在ブロックのサイズが第二予め設定された比率であるという条件5、
    前記現在ブロックの高さが第三予め設定された高さ以上であり、前記現在ブロックの幅が第三予め設定された幅以上であり、前記現在ブロックの高さに対する幅の比が第三予め設定された値以下であり、且つ前記現在ブロックの幅に対する高さの比が第三予め設定された値以下であるという条件6、
    のうちのいずれか1つ又は複数を含む、
    ことを特徴とする請求項31に記載の方法。
  33. 前記第一予め設定された比率は、1:1、2:1、1:2、1:4、4:1のうちのいずれかである、
    ことを特徴とする請求項32に記載の方法。
  34. 前記第二予め設定された値は、16×32、32×32、16×64、64×16のうちのいずれかである、
    ことを特徴とする請求項32に記載の方法。
  35. 前記第一コンポーネントは輝度コンポーネントであり、前記第二コンポーネントは彩度コンポーネントである、
    ことを特徴とする請求項23に記載の方法。
  36. 前記第一サブコンポーネントはUコンポーネントであり、前記第二サブコンポーネントはVコンポーネントである、
    ことを特徴とする請求項35に記載の方法。
  37. ビデオ復号化方法であって、
    ビットストリームを解析することにより、第一コンポーネントを含む現在ブロックと前記現在ブロックに対応する第二コンポーネントの少なくとも2種のイントラ予測モードとを取得することと、
    前記現在ブロックの前記第一コンポーネントの初期イントラ予測モードを特定することと、
    前記初期イントラ予測モードが導出モードであると特定された場合、前記第二コンポーネントの前記少なくとも2種のイントラ予測モードに基づいて、前記現在ブロックの前記第一コンポーネントの目標イントラ予測モードを特定することと、
    前記目標イントラ予測モードを利用して前記現在ブロックの前記第一コンポーネントに対してイントラ予測を行うことにより、前記現在ブロックの前記第一コンポーネントの最終予測ブロックを取得することと、を含む、
    ことを特徴とするビデオ復号化方法。
  38. 前記ビットストリームに重み付け予測フラグが携帯されており、前記重み付け予測フラグは、前記第二コンポーネントの予測ブロックが前記少なくとも2種のイントラ予測モードで予測を行うことにより取得される否かを指示するために用いられる、
    ことを特徴とする請求項37に記載の方法。
  39. 前記ビットストリームに、前記現在ブロックの前記第一コンポーネントの前記初期イントラ予測モードのモード情報が携帯されている、
    ことを特徴とする請求項38に記載の方法。
  40. 前記現在ブロックの前記第一コンポーネントの前記初期イントラ予測モードを特定することは、
    前記ビットストリームに前記重み付け予測フラグが携帯されており、且つ前記現在ブロックの前記第一コンポーネントの前記初期イントラ予測モードのモード情報が携帯されていない場合、前記現在ブロックの前記第一コンポーネントの前記初期イントラ予測モードが前記導出モードであると特定すること、を含む、
    ことを特徴とする請求項38に記載の方法。
  41. 前記目標イントラ予測モードは、少なくとも2種のイントラ予測モードを含む、
    ことを特徴とする請求項37に記載の方法。
  42. 前記第二コンポーネントの前記少なくとも2種のイントラ予測モードに基づいて、前記現在ブロックの前記第一コンポーネントの前記目標イントラ予測モードを特定することは、
    前記第二コンポーネントの前記少なくとも2種のイントラ予測モードを、前記目標イントラ予測モードとすること、を含む、
    ことを特徴とする請求項41に記載の方法。
  43. 前記第二コンポーネントの前記少なくとも2種のイントラ予測モードに基づいて、前記現在ブロックの前記第一コンポーネントの前記目標イントラ予測モードを特定することは、
    前記第二コンポーネントの前記少なくとも2種のイントラ予測モードに基づいて、前記目標イントラ予測モードを導出すること、を含む、
    ことを特徴とする請求項41に記載の方法。
  44. 前記目標イントラ予測モードを利用して前記現在ブロックの前記第一コンポーネントに対してイントラ予測を行うことは、
    前記現在ブロックの前記第一コンポーネントの前記少なくとも2種のイントラ予測モードの各々を利用して、前記現在ブロックの前記第一コンポーネントに対してイントラ予測を行うことにより、各種の前記イントラ予測モードに対応する予測ブロックを取得することと、
    前記各種のイントラ予測モードに対応する前記予測ブロックに基づいて、前記現在ブロックの前記第一コンポーネントの前記最終予測ブロックを取得することと、を含む、
    ことを特徴とする請求項41に記載の方法。
  45. 前記各種のイントラ予測モードに対応する前記予測ブロックに基づいて、前記現在ブロックの前記第一コンポーネントの前記最終予測ブロックを取得することは、
    第一重み付け行列を特定することと、
    前記第一重み付け行列に基づいて、前記各種のイントラ予測モードに対応する前記予測ブロックに対して重み付け演算を行うことにより、前記現在ブロックの前記第一コンポーネントの前記最終予測ブロックを取得することと、を含む、
    ことを特徴とする請求項44に記載の方法。
  46. 前記第一重み付け行列を特定することは、
    重み付け行列導出モードに基づいて前記第一重み付け行列を導出することを含む、
    ことを特徴とする請求項45に記載の方法。
  47. 前記第一重み付け行列を特定することは、
    前記現在ブロックに対応する前記第二コンポーネントの第二重み付け行列を取得することと、
    前記現在ブロックに対応する前記第二コンポーネントに含まれるサンプルの総数と、前記現在ブロックの前記第一コンポーネントに含まれるサンプルの総数とが同じである場合、前記第二重み付け行列を前記第一重み付け行列とすることと、
    前記現在ブロックの前記第一コンポーネントに含まれる前記サンプルの総数が、前記現在ブロックに対応する前記第二コンポーネントに含まれる前記サンプルの総数より少ない場合、前記第二重み付け行列をダウンサンプリングすることにより、前記第一重み付け行列を取得することと、を含む、
    ことを特徴とする請求項45に記載の方法。
  48. 前記現在ブロックに対応する前記第二コンポーネントの前記第二重み付け行列を取得することは、
    前記ビットストリームから前記第二重み付け行列の導出モード情報を取得することと、
    前記第二重み付け行列の前記導出モード情報に基づいて、前記第二重み付け行列を取得することと、を含む、
    ことを特徴とする請求項47に記載の方法。
  49. 前記第二重み付け行列をダウンサンプリングすることにより、前記第一重み付け行列を取得することは、
    前記現在ブロックの前記第一コンポーネントに含まれる前記サンプルの総数及び前記現在ブロックに対応する前記第二コンポーネントに含まれる前記サンプルの総数に基づいて、前記第二重み付け行列をダウンサンプリングすることにより、前記第一重み付け行列を取得することを含む、
    ことを特徴とする請求項47に記載の方法。
  50. 前記第二重み付け行列は、少なくとも2つの異なる重み値を含む、
    ことを特徴とする請求項47に記載の方法。
  51. 前記第二重み付け行列における全ての重み値が同じである、
    ことを特徴とする請求項47に記載の方法。
  52. 前記第二コンポーネントにおける、前記第二重み付け行列における各重み値に対応するサンプルの予測値は、前記第二コンポーネントの前記少なくとも2種のイントラ予測モードで予測を行うことにより取得される、
    ことを特徴とする請求項47に記載の方法。
  53. 前記第二コンポーネントの前記少なくとも2種のイントラ予測モードは、N種のイントラ予測モードを含み、前記Nは2以上の正の整数であり、前記第二重み付け行列はN種の異なる重み値を含み、第i種の重み値は、前記第二コンポーネントにおける、前記第i種の重み値に対応するサンプルの予測値が、完全に第i種のイントラ予測モードで取得されることを指示し、前記iは2以上且つ前記N以下の正の整数である、
    ことを特徴とする請求項47に記載の方法。
  54. 前記第二コンポーネントの前記少なくとも2種のイントラ予測モードは、第一イントラ予測モード及び第二イントラ予測モードを含み、前記第二重み付け行列は、最大重み値、最小重み値、及び少なくとも1つの中間重み値を含み、
    前記最大重み値は、前記第二コンポーネントにおける対応のサンプルの予測値が、完全に前記第一イントラ予測モードで予測を行うことにより取得されることを指示するために用いられ、
    前記最小重み値は、前記第二コンポーネントにおける対応のサンプルの予測値が、完全に前記第二イントラ予測モードで予測を行うことにより取得されることを指示するために用いられ、
    前記中間重み値は、前記第二コンポーネントにおける対応のサンプルの予測値が、前記第一イントラ予測モード及び前記第二イントラ予測モードで予測を行うことにより取得されることを指示するために用いられる、
    ことを特徴とする請求項47に記載の方法。
  55. 前記第二重み付け行列は複数種の重み値を含み、前記重み値が変化する位置は、直線又は曲線を形成する、
    ことを特徴とする請求項47に記載の方法。
  56. 前記第二重み付け行列は、角度重み付け予測(AWP)モード又は幾何分割モード(GPM)モードに対応する重み付け行列である、
    ことを特徴とする請求項47に記載の方法。
  57. 前記目標イントラ予測モードは、1種のイントラ予測モードを含む、
    ことを特徴とする請求項37に記載の方法。
  58. 前記第二コンポーネントの前記少なくとも2種のイントラ予測モードに基づいて、前記現在ブロックの前記第一コンポーネントの前記目標イントラ予測モードを特定することは、
    前記第二コンポーネントの前記少なくとも2種のイントラ予測モードのうちの1種を、前記目標イントラ予測モードとすることを含む、
    ことを特徴とする請求項57に記載の方法。
  59. 前記第二コンポーネントの前記少なくとも2種のイントラ予測モードに基づいて、前記現在ブロックの前記第一コンポーネントの前記目標イントラ予測モードを特定することは、
    前記現在ブロックの第一サンプル位置に対応する第二コンポーネントのイントラ予測モードに基づいて、前記目標イントラ予測モードを特定することを含む、
    ことを特徴とする請求項57に記載の方法。
  60. 前記現在ブロックの前記第一サンプル位置に対応する前記第二コンポーネントの前記イントラ予測モードに基づいて、前記目標イントラ予測モードを特定することは、
    前記第一サンプル位置に対応する前記第二コンポーネントの予測値が完全に1種のイントラ予測モードで予測を行うことにより取得される場合、前記1種のイントラ予測モードを前記目標イントラ予測モードとすることと、
    前記第一サンプル位置に対応する前記第二コンポーネントの前記予測値が複数種のイントラ予測モードで予測を行うことにより取得される場合、前記複数種のイントラ予測モードのうちの重み値が最も大きいイントラ予測モードを前記目標イントラ予測モードとすることと、を含む、
    ことを特徴とする請求項59に記載の方法。
  61. 前記現在ブロックの前記第一サンプル位置に対応する前記第二コンポーネントの前記イントラ予測モードに基づいて、前記目標イントラ予測モードを特定することは、
    前記第一サンプル位置に対応する最小ユニットに記憶された前記第二コンポーネントのイントラ予測モードを、前記目標イントラ予測モードとすること、を含む、
    ことを特徴とする請求項60に記載の方法。
  62. 前記第一サンプル位置に対応する前記第二コンポーネントの前記予測値が完全に1種のイントラ予測モードで予測を行うことにより取得される場合、前記1種のイントラ予測モードのモード情報が前記最小ユニットに記憶され、
    前記第一サンプル位置に対応する前記第二コンポーネントの前記予測値が複数種のイントラ予測モードで予測を行うことにより取得される場合、前記複数種のイントラ予測モードのうちの重み値が最も大きいイントラ予測モードのモード情報が前記最小ユニットに記憶される、
    ことを特徴とする請求項61に記載の方法。
  63. 前記第一コンポーネントは、第一サブコンポーネント及び第二サブコンポーネントを含み、前記現在ブロックの前記第一コンポーネントの前記少なくとも2種のイントラ予測モードの各々を利用して、前記第一コンポーネントに対して予測を行うことにより、前記各種のイントラ予測モードに対応する前記予測ブロックを取得することは、
    前記現在ブロックの前記第一コンポーネントの前記少なくとも2種のイントラ予測モードの各々を利用して、前記現在ブロックの前記第一サブコンポーネントに対してイントラ予測を行うことにより、前記現在ブロックの前記第一サブコンポーネントの、前記各種のイントラ予測モードに対応する予測ブロックを取得することと、
    前記現在ブロックの前記第一コンポーネントの前記少なくとも2種のイントラ予測モードの各々を利用して、前記現在ブロックの前記第二サブコンポーネントに対してイントラ予測を行うことにより、前記現在ブロックの前記第二サブコンポーネントの、前記各種のイントラ予測モードに対応する予測ブロックを取得することと、を含む、
    ことを特徴とする請求項45に記載の方法。
  64. 前記第一重み付け行列に基づいて、前記各種のイントラ予測モードに対応する前記予測ブロックに対して重み付け演算を行うことにより、前記現在ブロックの前記第一コンポーネントの前記最終予測ブロックを取得することは、
    前記第一重み付け行列に基づいて、前記現在ブロックの前記第一サブコンポーネントの、前記各種のイントラ予測モードに対応する前記予測ブロックに対して重み付け演算を行うことにより、前記現在ブロックの前記第一サブコンポーネントの最終予測ブロックを取得することと、
    前記第一重み付け行列に基づいて、前記第二サブコンポーネントの、前記各種のイントラ予測モードに対応する前記予測ブロックに対して重み付け演算を行うことにより、前記現在ブロックの前記第二サブコンポーネントの最終予測ブロックを取得することと、を含む、
    ことを特徴とする請求項63に記載の方法。
  65. 前記現在ブロックの前記第一コンポーネントの前記少なくとも2種のイントラ予測モードは、第一イントラ予測モード及び第二イントラ予測モードを含み、前記第一重み付け行列に基づいて、前記現在ブロックの前記第一サブコンポーネントの、前記各種のイントラ予測モードに対応する前記予測ブロックに対して重み付け演算を行うことにより、前記現在ブロックの前記第一サブコンポーネントの前記最終予測ブロックを取得することは、
    predMatrixSawpA[x][y]=(predMatrixA0[x][y]*AwpWeightArrayAB[x][y]+predMatrixA1[x][y]*(2-AwpWeightArrayAB[x][y])+2n-1)>>nという式に基づいて、前記現在ブロックの前記第一サブコンポーネントの前記最終予測ブロックを取得することを含み、
    前記Aは前記第一サブコンポーネントであり、前記predMatrixSawpA[x][y]は、前記第一サブコンポーネントにおけるサンプル[x][y]の最終予測値であり、前記predMatrixA0[x][y]は、前記現在ブロックの前記第一サブコンポーネントの第一予測ブロックにおけるサンプル[x][y]の第一予測値であり、前記predMatrixA1[x][y]は、前記現在ブロックの前記第一サブコンポーネントの第二予測ブロックにおけるサンプル[x][y]の第二予測値であり、前記AwpWeightArrayAB[x][y]は、前記第一重み付け行列AwpWeightArrayABにおけるpredMatrixA0[x][y]の重み値であり、2は予め設定された重みの合計であり、nは正の整数である、
    ことを特徴とする請求項64に記載の方法。
  66. 前記第一重み付け行列に基づいて、前記現在ブロックの前記第二サブコンポーネントの、前記各種のイントラ予測モードに対応する前記予測ブロックに対して重み付け演算を行うことにより、前記現在ブロックの前記第二サブコンポーネントの前記最終予測ブロックを取得することは、
    predMatrixSawpB[x][y]=(predMatrixB0[x][y]*AwpWeightArrayAB[x][y]+predMatrixB1[x][y]*(2-AwpWeightArrayAB[x][y])+2n-1)>>nという式に基づいて、前記現在ブロックの前記第二サブコンポーネントの前記最終予測ブロックを取得することを含み、
    前記Bは前記第二サブコンポーネントであり、前記predMatrixSawpB[x][y]は、前記第二サブコンポーネントにおけるサンプル[x][y]の最終予測値であり、前記predMatrixB0[x][y]は、前記現在ブロックの前記第二サブコンポーネントの第一予測ブロックにおけるサンプル[x][y]の第一予測値であり、前記predMatrixB1[x][y]は、前記現在ブロックの前記第二サブコンポーネントの第二予測ブロックにおけるサンプル[x][y]の第二予測値であり、前記AwpWeightArrayAB[x][y]は、前記第一重み付け行列AwpWeightArrayABにおけるpredMatrixB0[x][y]の重み値であり、2は予め設定された重みの合計であり、nは正の整数である、
    ことを特徴とする請求項65に記載の方法。
  67. 前記現在ブロックのサイズは、予め設定された条件を満たす、
    ことを特徴とする請求項37に記載の方法。
  68. 前記予め設定された条件は、
    前記現在ブロックの幅が第一予め設定された幅TH1以上であり、且つ前記現在ブロックの高さが第一予め設定された高さTH2以上であるという条件1、
    前記現在ブロックにおけるサンプルの数が第一予め設定された数TH3以上であるという条件2、
    前記現在ブロックの幅が第二予め設定された幅TH4以下であり、且つ前記現在ブロックの高さが第二予め設定された高さTH5以上であるという条件3、
    前記現在ブロックの幅に対する長さの比が第一予め設定された比率であるという条件4、
    前記現在ブロックのサイズが第二予め設定された比率であるという条件5、
    前記現在ブロックの高さが第三予め設定された高さ以上であり、前記現在ブロックの幅が第三予め設定された幅以上であり、前記現在ブロックの高さに対する幅の比が第三予め設定された値以下であり、且つ前記現在ブロックの幅に対する高さの比が第三予め設定された値以下であるという条件6、
    のうちのいずれか1つ又は複数を含む、
    ことを特徴とする請求項67に記載の方法。
  69. 前記第一予め設定された比率は、1:1、2:1、1:2、1:4、4:1のうちのいずれかである、
    ことを特徴とする請求項68に記載の方法。
  70. 前記第二予め設定された値は、16×32、32×32、16×64、64×16のうちのいずれかである、
    ことを特徴とする請求項68に記載の方法。
  71. 前記第一コンポーネントは輝度コンポーネントであり、前記第二コンポーネントは彩度コンポーネントである、
    ことを特徴とする請求項63に記載の方法。
  72. 前記彩度コンポーネントはUVコンポーネントであり、前記第一サブコンポーネントはUコンポーネントであり、前記第二サブコンポーネントはVコンポーネントである、
    ことを特徴とする請求項71に記載の方法。
  73. ビデオ符号器であって、第一取得ユニット、第一特定ユニット、第二取得ユニット、第二特定ユニット、及び予測ユニットを備え、
    前記第一取得ユニットは、第一コンポーネントを含む現在ブロックを取得するように構成されており、
    前記第一特定ユニットは、前記現在ブロックの前記第一コンポーネントの初期イントラ予測モードを特定するように構成されており、
    前記第二取得ユニットは、前記初期イントラ予測モードが導出モードである場合、前記現在ブロックに対応する第二コンポーネントの少なくとも2種のイントラ予測モードを取得するように構成されており、
    前記第二特定ユニットは、前記第二コンポーネントの前記少なくとも2種のイントラ予測モードに基づいて、前記現在ブロックの前記第一コンポーネントの目標イントラ予測モードを特定するように構成されており、
    前記予測ユニットは、前記目標イントラ予測モードを利用して前記現在ブロックの前記第一コンポーネントに対してイントラ予測を行うことにより、前記現在ブロックの前記第一コンポーネントの最終予測ブロックを取得するように構成されている、
    ことを特徴とするビデオ符号器。
  74. ビデオ復号器であって、解析ユニット、第一特定ユニット、第二特定ユニット、及び予測ユニットを備え、
    前記解析ユニットは、ビットストリームを解析することにより、第一コンポーネントを含む現在ブロックと前記現在ブロックに対応する第二コンポーネントの少なくとも2種のイントラ予測モードとを取得するように構成されており、
    前記第一特定ユニットは、前記現在ブロックの前記第一コンポーネントの初期イントラ予測モードを特定するように構成されており、
    前記第二特定ユニットは、前記初期イントラ予測モードが導出モードであると特定された場合、前記第二コンポーネントの前記少なくとも2種のイントラ予測モードに基づいて、前記現在ブロックの前記第一コンポーネントの目標イントラ予測モードを特定するように構成されており、
    前記予測ユニットは、前記目標イントラ予測モードを利用して前記現在ブロックの前記第一コンポーネントに対してイントラ予測を行うことにより、前記現在ブロックの前記第一コンポーネントの最終予測ブロックを取得するように構成されている、
    ことを特徴とするビデオ復号器。
  75. ビデオ符号化・復号化システムであって、
    請求項73に記載のビデオ符号器、及び請求項74に記載のビデオ復号器を含む、
    ことを特徴とするビデオ符号化・復号化システム。
JP2023533962A 2020-12-03 2020-12-03 ビデオ符号化・復号化方法及びシステム、ビデオ符号器並びにビデオ復号器 Pending JP2024503192A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/133677 WO2022116105A1 (zh) 2020-12-03 2020-12-03 视频编解码方法与***、及视频编码器与视频解码器

Publications (1)

Publication Number Publication Date
JP2024503192A true JP2024503192A (ja) 2024-01-25

Family

ID=81852811

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023533962A Pending JP2024503192A (ja) 2020-12-03 2020-12-03 ビデオ符号化・復号化方法及びシステム、ビデオ符号器並びにビデオ復号器

Country Status (7)

Country Link
US (1) US20230319267A1 (ja)
JP (1) JP2024503192A (ja)
KR (1) KR20230111256A (ja)
CN (2) CN116491118A (ja)
MX (1) MX2023005929A (ja)
WO (1) WO2022116105A1 (ja)
ZA (1) ZA202306216B (ja)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103369315B (zh) * 2012-04-06 2016-08-24 华为技术有限公司 色度分量的帧内预测模式的编码、解码方法、设备及***
US11190799B2 (en) * 2017-06-21 2021-11-30 Lg Electronics Inc. Intra-prediction mode-based image processing method and apparatus therefor
KR20190043482A (ko) * 2017-10-18 2019-04-26 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
CN118301339A (zh) * 2017-11-16 2024-07-05 英迪股份有限公司 图像编码/解码方法以及存储比特流的记录介质
TWI815927B (zh) * 2018-07-15 2023-09-21 大陸商北京字節跳動網絡技術有限公司 視頻編解碼的塊尺寸限制

Also Published As

Publication number Publication date
WO2022116105A1 (zh) 2022-06-09
US20230319267A1 (en) 2023-10-05
CN116491118A (zh) 2023-07-25
ZA202306216B (en) 2024-04-24
MX2023005929A (es) 2023-05-29
CN116962684A (zh) 2023-10-27
KR20230111256A (ko) 2023-07-25

Similar Documents

Publication Publication Date Title
US11611757B2 (en) Position dependent intra prediction combination extended with angular modes
CN110999291B (zh) 用于划分视频数据的帧间预测片段中的视频块的***和方法
AU2018282523B2 (en) Intra filtering applied together with transform processing in video coding
US10771813B2 (en) Reference frame encoding method and apparatus, and reference frame decoding method and apparatus
CN108464001B (zh) 用于视频译码的多类型树框架
TWI663869B (zh) 區塊可適性顏色空間轉換寫碼
WO2020262396A1 (en) Systems and methods for reducing a reconstruction error in video coding based on a cross-component correlation
CA3105383A1 (en) Position dependent intra prediction combination with wide angle intra prediction
TW201633787A (zh) 寫碼樹單元級可適性迴路濾波器
US11979554B2 (en) Intra prediction-based video signal processing method and device
CN116405686A (zh) 图像重建方法和装置
CN112997501B (zh) 导出用于对视频数据进行解码的预测亮度样本值的方法
CN116325734A (zh) 具有虚拟边界的跨分量样点自适应偏移中的色度编解码增强
WO2023044868A1 (zh) 视频编解码方法、设备、***、及存储介质
JP2024503192A (ja) ビデオ符号化・復号化方法及びシステム、ビデオ符号器並びにビデオ復号器
WO2023122968A1 (zh) 帧内预测方法、设备、***、及存储介质
US20230300329A1 (en) Picture processing method and video decoder
WO2024007128A1 (zh) 视频编解码方法、装置、设备、***、及存储介质
WO2023122969A1 (zh) 帧内预测方法、设备、***、及存储介质
RU2785816C2 (ru) Комбинация позиционно-зависимого интра-предсказания, расширенная угловыми режимами
WO2023197229A1 (zh) 视频编解码方法、装置、设备、***及存储介质
KR20230137825A (ko) 인접 정보 기반 팔레트 모드를 이용하는 비디오 코딩 방법 및 장치
CN114979628A (zh) 图像块预测样本的确定方法及编解码设备
KR20230137232A (ko) 컨텍스트 모델 초기화를 사용하는 비디오 코딩방법 및 장치
CN114979629A (zh) 图像块预测样本的确定方法及编解码设备

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231107

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231107