JP2021529462A - アフィン動きモデルを基にしたビデオコーディングのためのアダプティブ制御点の選択 - Google Patents

アフィン動きモデルを基にしたビデオコーディングのためのアダプティブ制御点の選択 Download PDF

Info

Publication number
JP2021529462A
JP2021529462A JP2020571756A JP2020571756A JP2021529462A JP 2021529462 A JP2021529462 A JP 2021529462A JP 2020571756 A JP2020571756 A JP 2020571756A JP 2020571756 A JP2020571756 A JP 2020571756A JP 2021529462 A JP2021529462 A JP 2021529462A
Authority
JP
Japan
Prior art keywords
control point
subblock
video block
affine
motion vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020571756A
Other languages
English (en)
Other versions
JPWO2020006304A5 (ja
Inventor
フ、ユーウェン
シウ、シャオユウ
ユー、ヤン
ハンハルト、フィリップ
Original Assignee
ヴィド スケール インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヴィド スケール インコーポレイテッド filed Critical ヴィド スケール インコーポレイテッド
Publication of JP2021529462A publication Critical patent/JP2021529462A/ja
Publication of JPWO2020006304A5 publication Critical patent/JPWO2020006304A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/527Global motion vector estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/537Motion estimation other than block-based
    • H04N19/54Motion estimation other than block-based using feature points or meshes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/55Motion estimation with spatial constraints, e.g. at image or region borders

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

システム、方法、および手段は、アフィン動きモードがビデオブロックに対して可能にされるときの動きベクトルのクリッピングに対して開示される。ビデオコーディングデバイスは、ビデオブロックに対してアフィンモードが可能にされることを決定することがある。ビデオコーディングデバイスは、ビデオブロックに関連付けられた複数の制御点アフィン動きベクトルを決定することがある。ビデオコーディングデバイスは、近隣の制御点アフィン動きベクトルについての動きベクトル予測のために複数のクリップされた制御点アフィン動きベクトルを格納することがある。ビデオコーディングデバイスは、ビデオブロックのサブブロックに関連付けられたサブブロック動きベクトルを導出し、導出されたサブブロック動きベクトルをクリップし、空間的動きベクトル予測および時間的動きベクトル予測のためにそれを格納することがある。例えば、ビデオコーディングデバイスは、ビット深度値に基づかれることがある動き場の範囲に基づいて、導出されたサブブロック動きベクトルをクリップすることがある。

Description

本発明は、動きベクトルのクリッピングの方法およびデバイスに関し、より詳細には、ビデオブロックに対する動きベクトルのクリッピングの方法およびデバイスに関する
関連出願の相互参照
本出願は、2018年6月29日に出願された米国特許仮出願第62/691,770号明細書、2018年9月21日に出願された米国特許仮出願第62/734,728号明細書、および2018年12月11日に出願された米国特許仮出願第62/778,055号明細書の利益を主張するものであり、それらの内容は、参照によって本明細書に組み込まれている。
デジタルビデオ信号を圧縮して、たとえば、そのような信号のために必要とされるストレージおよび/または送信バンド幅を低減するために、ビデオコーディングシステムが使用され得る。ビデオコーディングシステムは、ブロックベースのシステム、ウェーブレットベースのシステム、および/またはオブジェクトベースのシステムを含み得る。ブロックベースのハイブリッドビデオコーディングシステムが展開され得る。ブロックベースのビデオコーディングシステムにおいては、ビデオブロックのサブブロックに関連付けられている動きベクトルは、特定の範囲外であり得る値を有することがある。そのような値を使用することは、意図されていない結果をもたらすことがある。
ビデオブロック(たとえば、コーディングユニット(CU))に関してアフィン動きモードが有効にされている場合の動きベクトルのクリッピングのためのシステム、方法、および手段が開示される。ビデオコーディングデバイスが、ビデオブロック(たとえば、カレントビデオブロック(current video block))に関するアフィンモードが有効にされていると決定することがある。ビデオブロックは、複数のサブブロックを含み得る。ビデオコーディングデバイスは、ビデオブロックに関連付けられている複数の制御点アフィン動きベクトル(control point affine motion vector)を決定することがある。カレントビデオブロックに関連付けられている制御点アフィン動きベクトルのうちの少なくとも1つは、1つまたは複数の近隣のビデオブロックに関連付けられている1つまたは複数の制御点アフィン動きベクトルを使用して決定され得る。ビデオコーディングデバイスは、カレントビデオブロックに関連付けられている制御点アフィン動きベクトルをクリップすることがある。たとえば、制御点アフィン動きベクトルは、動き場の格納のために使用されるビット深度に基づいてクリップされ得る。ビデオコーディングデバイスは、近隣の制御点アフィン動きベクトルの動きベクトル予測のために、クリップされた制御点アフィン動きベクトルを格納することがある。
ビデオコーディングデバイスは、サブブロックに関連付けられているサブブロック動きベクトルを導出することがある。ビデオコーディングデバイスは、1つまたは複数の制御点アフィン動きベクトルに基づいてサブブロック動きベクトルを導出することがある。ビデオコーディングデバイスは、導出されたサブブロック動きベクトルをクリップすることがある。たとえば、ビデオコーディングデバイスは、導出されたサブブロック動きベクトルを動き場の範囲に基づいてクリップすることがある。動き場の範囲は、動き場の格納のために使用され得る。動き場の範囲は、ビット深度値に基づくことがある。ビデオコーディングデバイスは、空間的動きベクトル予測(spatial motion vector prediction)または時間的動きベクトル予測(temporal motion vector prediction)のために、クリップされたサブブロック動きベクトルを格納することがある。ビデオコーディングデバイスは、クリップされたサブブロック動きベクトルを使用してサブブロックを予測することがある。
ビデオコーディングデバイスは、ビデオブロックの形状に基づいて、ビデオブロックの制御点アフィン動きベクトルに関連付けられている制御点位置(control point position)を決定することがある。たとえば、制御点位置は、ビデオブロックの長さおよび/または幅に基づいて決定され得る。
たとえば、制御点位置は、たとえば、カレントビデオブロックの幅がカレントビデオブロックの長さよりも大きい場合に、左上の制御点および右上の制御点を含み得る。ビデオコーディングデバイスは、そのようなビデオブロックを水平の長方形のビデオブロックとして分類することがある。たとえば、制御点位置は、たとえば、カレントビデオブロックの幅がカレントビデオブロックの長さよりも小さい場合に、左上の制御点および左下の制御点を含み得る。ビデオコーディングデバイスは、カレントビデオブロックを垂直の長方形のビデオブロックとして分類することがある。制御点位置は、たとえば、カレントビデオブロックの幅がカレントビデオブロックの長さに等しい場合には、左下の制御点および右上の制御点を含み得る。ビデオコーディングデバイスは、カレントビデオブロックを正方形のビデオブロックとして分類することがある。
例示的な通信システムを示すシステム図である。 図1Aにおいて示されている通信システム内で使用され得る例示的なワイヤレス送信/受信ユニット(WTRU)を示すシステム図である。 図1Aにおいて示されている通信システム内で使用され得る例示的な無線アクセスネットワーク(RAN)および例示的なコアネットワーク(CN)を示すシステム図である。 図1Aにおいて示されている通信システム内で使用され得るさらなる例示的なRANおよびさらなる例示的なCNを示すシステム図である。 ブロックベースのビデオエンコーダの例示的な図である。 ビデオデコーダの例示的なブロック図である。 マルチタイプツリー構造における例示的なブロックパーティションを示す図である。 4つのパラメータのアフィンモードの例を示す図である。 アフィンマージ候補の例を示す図である。 アフィン動きモデル(affine motion model)に対する制御点における例示的な動きベクトル導出を示す図である。 アフィン動き予測子(affine motion predictor)の構築の例を示す図である。 アフィン動きベクトル(MV)予測子の生成のためのMVの時間的スケーリングの例を示す図である。 ブロック形状に基づくアダプティブ制御点(adaptive control point)の選択の例を示す図である。 最大制御点距離を用いたアフィンマージ選択の例を示す図である。 アフィンモードに対する動き場の生成の例示的なワークフローを示す図である。 MV予測およびデブロッキングのために使用された動き場を再利用してアフィンコーディングユニット(CU)に対する予測サンプルを生成する例示的なワークフローを示す図である。 予測サンプルを生成するための動き場を再利用してアフィンCUに対するMV予測およびデブロッキングを行う例示的なワークフローを示す図である。 参照ブロックをスケーリングするように1つまたは複数の制御点MVを修正することの例を示す図である。 参照ブロックを含むように制御点MVを修正することの例を示す図である。
例として添付の図面とともに与えられている以降の記述から、より詳細な理解が得られることがある。
図1Aは、1つまたは複数の開示されている例が実施され得る例示的な通信システム100を示す図である。通信システム100は、コンテンツ、たとえば、音声、データ、ビデオ、メッセージング、放送などを複数のワイヤレスユーザに提供するマルチプルアクセスシステムであることがある。通信システム100は、複数のワイヤレスユーザが、ワイヤレスバンド幅を含むシステムリソースの共有を通じてそのようなコンテンツにアクセスすることを可能にすることができる。たとえば、通信システム100は、1つまたは複数のチャネルアクセス方法、たとえば、符号分割多元接続(CDMA)、時分割多元接続(TDMA)、周波数分割多元接続(FDMA)、直交FDMA(OFDMA)、シングルキャリアFDMA(SC−FDMA)、ゼロテールユニークワードDFT−Spread OFDM(ZT UW DTS−s OFDM)、ユニークワードOFDM(UW−OFDM)、リソースブロックフィルタードOFDM、フィルタバンクマルチキャリア(FBMC)などを採用することがある。
図1Aにおいて示されているように、通信システム100は、ワイヤレス送信/受信ユニット(WTRU)102a、102b、102c、102d、RAN104/113、CN106/115、公衆交換電話ネットワーク(PSTN)108、インターネット110、および他のネットワーク112を含み得るが、開示されている例は、任意の数のWTRU、基地局、ネットワーク、および/またはネットワーク要素を想定することがあるということが理解されるであろう。WTRU102a、102b、102c、102dのそれぞれは、ワイヤレス環境において動作および/または通信するように構成されている任意のタイプのデバイスであることがある。例として、WTRU102a、102b、102c、102d(これらのいずれも、「ステーション」および/または「STA」と呼ばれることがある)は、ワイヤレス信号を送信および/または受信するように構成されてよく、ユーザ機器(UE)、移動局、固定式または移動式のサブスクライバーユニット、サブスクリプションベースのユニット、ページャー、セルラー電話、携帯情報端末(PDA)、スマートフォン、ラップトップ、ネットブック、パーソナルコンピュータ、ワイヤレスセンサ、ホットスポットまたはMi−Fiデバイス、インターネットオブシングス(IoT)デバイス、腕時計またはその他のウェアラブル、ヘッドマウントディスプレイ(HMD)、乗り物、ドローン、医療デバイスおよびアプリケーション(たとえば、遠隔手術)、工業デバイスおよびアプリケーション(たとえば、工業および/または自動化された処理チェーンのコンテキストにおいて動作するロボットおよび/またはその他のワイヤレスデバイス)、家庭用電子機器、商業および/または工業ワイヤレスネットワーク上で動作するデバイスなどを含み得る。WTRU102a、102b、102c、および102dのいずれも、UEと言い換え可能に呼ばれることがある。
通信システム100は、基地局114aおよび/または基地局114bを含むこともできる。基地局114a、114bのそれぞれは、1つまたは複数の通信ネットワーク、たとえば、CN106/115、インターネット110、および/またはその他のネットワーク112へのアクセスを容易にするために、WTRU102a、102b、102c、102dのうちの少なくとも1つとワイヤレスにインターフェース接続するように構成されている任意のタイプのデバイスであることがある。例として、基地局114a、114bは、ベーストランシーバステーション(BTS)、Node−B、eNode B、ホームNode B、ホームeNode B、gNB、NR NodeB、サイトコントローラ、アクセスポイント(AP)、ワイヤレスルータなどであることがある。基地局114a、114bは、それぞれ単一の要素として示されているが、基地局114a、114bは、任意の数の相互接続された基地局および/またはネットワーク要素を含み得るということが理解されるであろう。
基地局114aは、RAN104/113の一部であることがあり、RAN104/113は、その他の基地局および/またはネットワーク要素(図示せず)、たとえば、基地局コントローラ(BSC)、無線ネットワークコントローラ(RNC)、中継ノードなどを含むこともできる。基地局114aおよび/または基地局114bは、1つまたは複数のキャリア周波数上でワイヤレス信号を送信および/または受信するように構成されてよく、それらのキャリア周波数は、セル(図示せず)と呼ばれることがある。これらの周波数は、ライセンス供与されているスペクトル、ライセンス供与されていないスペクトル、またはライセンス供与されているスペクトルと、ライセンス供与されていないスペクトルとの組合せであることがある。セルは、比較的に固定されていることも、または時間とともに変わることもある特定の地理的エリアへのワイヤレスサービスのためのカバレッジを提供することがある。セルは、セルセクタへとさらに分割されることがある。たとえば、基地局114aに関連付けられているセルは、3つのセクタへと分割されることがある。したがって、例においては、基地局114aは、3つのトランシーバ、すなわち、セルのそれぞれのセクタごとに1つのトランシーバを含み得る。例においては、基地局114aは、多入力多出力(MIMO)テクノロジーを採用することがあり、セルのそれぞれのセクタごとに複数のトランシーバを利用することがある。たとえば、所望の空間方向において信号を送信および/または受信するためにビームフォーミングが使用され得る。
基地局114a、114bは、エアインターフェース116を介してWTRU102a、102b、102c、102dのうちの1つまたは複数と通信することがあり、エアインターフェース116は、任意の適切なワイヤレス通信リンク(たとえば、無線周波数(RF)、マイクロ波、センチメートル波、マイクロメートル波、赤外線(IR)、紫外線(UV)、可視光など)であることがある。エアインターフェース116は、任意の適切な無線アクセステクノロジー(RAT)を使用して確立されることがある。
より具体的には、上述されているように、通信システム100は、マルチプルアクセスシステムであることがあり、1つまたは複数のチャネルアクセススキーム、たとえば、CDMA、TDMA、FDMA、OFDMA、SC−FDMAなどを採用することがある。たとえば、RAN104/113における基地局114a、およびWTRU102a、102b、102cは、ユニバーサルモバイルテレコミュニケーションズシステム(UMTS)テレストリアルラジオアクセス(UTRA)などの無線テクノロジーを実施することがあり、この無線テクノロジーは、ワイドバンドCDMA(WCDMA)を使用してエアインターフェース115/116/117を確立することがある。WCDMAは、ハイスピードパケットアクセス(HSPA)および/またはエボルブドHSPA(HSPA+)などの通信プロトコルを含み得る。HSPAは、ハイスピードダウンリンク(DL)パケットアクセス(HSDPA)および/またはハイスピードULパケットアクセス(HSUPA)を含み得る。
例においては、基地局114aおよびWTRU102a、102b、102cは、ロングタームエボリューション(LTE)および/またはLTEアドバンスト(LTE−A)および/またはLTEアドバンストプロ(LTE−A Pro)を使用してエアインターフェース116を確立することがあるエボルブドUMTSテレストリアルラジオアクセス(E−UTRA)などの無線テクノロジーを実施することがある。
例においては、基地局114aおよびWTRU102a、102b、102cは、新無線(NR)を使用してエアインターフェース116を確立することがあるNR無線アクセスなどの無線テクノロジーを実施することがある。
例においては、基地局114aおよびWTRU102a、102b、102cは、複数の無線アクセステクノロジーを実施することがある。たとえば、基地局114aおよびWTRU102a、102b、102cは、たとえばデュアル接続(DC)原理を使用して、LTE無線アクセスおよびNR無線アクセスをともに実施することがある。したがって、WTRU102a、102b、102cによって利用されるエアインターフェースは、複数のタイプの無線アクセステクノロジー、および/または複数のタイプの基地局(たとえば、eNBおよびgNB)へ/から送られる送信によって特徴付けられることがある。
例においては、基地局114aおよびWTRU102a、102b、102cは、無線テクノロジー、たとえば、IEEE802.11(すなわち、ワイヤレスフィディリティー(WiFi)、IEEE802.16(すなわち、ワールドワイドインターオペラビリティーフォーマイクロウェーブアクセス(WiMAX))、CDMA2000、CDMA2000 1X、CDMA2000EV−DO、暫定標準2000(IS−2000)、暫定標準95(IS−95)、暫定標準856(IS−856)、グローバルシステムフォーモバイルコミュニケーションズ(GSM)、エンハンストデータレートフォーGSMエボリューション(EDGE)、GSM EDGE(GERAN)などを実施することがある。
図1Aにおける基地局114bは、たとえば、ワイヤレスルータ、ホームNode B、ホームeNode B、またはアクセスポイントであることがあり、局所的なエリア、たとえば、事業所、家庭、乗り物、キャンパス、工業施設、空中回廊(たとえば、ドローンによる使用のための)、車道などにおけるワイヤレス接続を容易にするために、任意の適切なRATを利用することがある。例においては、基地局114bおよびWTRU102c、102dは、ワイヤレスローカルエリアネットワーク(WLAN)を確立するために、IEEE802.11などの無線テクノロジーを実施することがある。例においては、基地局114bおよびWTRU102c、102dは、ワイヤレスパーソナルエリアネットワーク(WPAN)を確立するために、IEEE802.15などの無線テクノロジーを実施することがある。例においては、基地局114bおよびWTRU102c、102dは、ピコセルまたはフェムトセルを確立するために、セルラーベースのRAT(たとえば、WCDMA、CDMA2000、GSM、LTE、LTE−A、LTE−A Pro、NRなど)を利用することがある。図1Aにおいて示されているように、基地局114bは、インターネット110への直接接続を有することがある。したがって基地局114bは、CN106/115を介してインターネット110にアクセスすることを求められないことがある。
RAN104/113は、CN106/115と通信していることがあり、CN106/115は、音声、データ、アプリケーション、および/またはボイスオーバーインターネットプロトコル(VoIP)サービスをWTRU102a、102b、102c、102dのうちの1つまたは複数に提供するように構成されている任意のタイプのネットワークであることがある。データは、さまざまなサービス品質(QoS)要件、たとえば、別々のスループット要件、待ち時間要件、エラー許容範囲要件、信頼性要件、データスループット要件、モビリティー要件などを有することがある。CN106/115は、コール制御、料金請求サービス、モバイルロケーションベースサービス、プリペイドコーリング、インターネット接続、ビデオ配信などを提供すること、および/またはハイレベルセキュリティー機能、たとえばユーザ認証を行うことがある。図1Aにおいては示されていないが、RAN104/113および/またはCN106/115は、RAN104/113と同じRATまたは異なるRATを採用しているその他のRANと直接または間接に通信していることがあることが理解されるであろう。たとえば、CN106/115は、NR無線テクノロジーを利用していることがあるRAN104/113に接続されていることに加えて、GSM、UMTS、CDMA2000、WiMAX、E−UTRA、またはWiFi無線テクノロジーを採用している別のRAN(図示せず)と通信していることがある。
CN106/115は、WTRU102a、102b、102c、102dがPSTN108、インターネット110、および/またはその他のネットワーク112にアクセスするためのゲートウェイとしての役割を果たすこともある。PSTN108は、単純旧式電話サービス(POTS)を提供する回線交換電話ネットワークを含み得る。インターネット110は、一般的な通信プロトコル、たとえば、トランスミッション制御プロトコル(TCP)/インターネットプロトコル(IP)インターネットプロトコルスイートにおけるTCP、ユーザデータグラムプロトコル(UDP)、および/またはIPを使用する相互接続されたコンピュータネットワークおよびデバイスからなるグローバルシステムを含み得る。ネットワーク112は、その他のサービスプロバイダによって所有および/または運営されている有線通信ネットワークおよび/またはワイヤレス通信ネットワークを含み得る。たとえば、ネットワーク112は、RAN104/113と同じRATまたは異なるRATを採用することがある1つまたは複数のRANに接続されている別のCNを含み得る。
通信システム100におけるWTRU102a、102b、102c、102dのうちのいくつかまたはすべては、マルチモード機能を含み得る(たとえば、WTRU102a、102b、102c、102dは、別々のワイヤレスリンクを介して別々のワイヤレスネットワークと通信するために複数のトランシーバを含み得る)。たとえば、図1Aにおいて示されているWTRU102cは、セルラーベースの無線テクノロジーを採用することがある基地局114aと、およびIEEE802無線テクノロジーを採用することがある基地局114bと通信するように構成されてよい。
図1Bは、例示的なWTRU102を示すシステム図である。図1Bにおいて示されているように、WTRU102は、数ある中でも、プロセッサー118、トランシーバ120、送信/受信要素122、スピーカー/マイクロフォン124、キーパッド126、ディスプレイ/タッチパッド128、取り外し不可能なメモリー130、取り外し可能なメモリー132、電源134、グローバルポジショニングシステム(GPS)チップセット136、および/またはその他のペリフェラル138を含み得る。WTRU102は、前述の要素の任意の下位組合せを含み得るということが理解されるであろう。
プロセッサー118は、汎用プロセッサー、専用プロセッサー、従来型プロセッサー、デジタルシグナルプロセッサ(DSP)、複数のマイクロプロセッサ、DSPコアに関連付けられている1つもしくは複数のマイクロプロセッサ、コントローラ、マイクロコントローラ、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)回路、その他の任意のタイプの集積回路(IC)、状態マシンなどであることがある。プロセッサー118は、信号コーディング、データ処理、電力制御、入力/出力処理、および/または、WTRU102がワイヤレス環境において動作することを可能にするその他の任意の機能を行うことがある。プロセッサー118は、トランシーバ120に結合されることがあり、トランシーバ120は、送信/受信要素122に結合され得る。図1Bは、プロセッサー118およびトランシーバ120を別々のコンポーネントとして示しているが、プロセッサー118およびトランシーバ120は、電子パッケージまたはチップにおいてともに統合され得るということが理解されるであろう。
送信/受信要素122は、エアインターフェース116を介して、基地局(たとえば、基地局114a)に信号を送信するように、または基地局(たとえば、基地局114a)から信号を受信するように構成されてよい。たとえば、例においては、送信/受信要素122は、RF信号を送信および/または受信するように構成されているアンテナであることがある。例においては、送信/受信要素122は、たとえば、IR信号、UV信号、または可視光信号を送信および/または受信するように構成されているエミッタ/検知器であることがある。例においては、送信/受信要素122は、RF信号および光信号の両方を送信および/または受信するように構成されてよい。送信/受信要素122は、ワイヤレス信号の任意の組合せを送信および/または受信するように構成されてよいということが理解されるであろう。
送信/受信要素122は、図1Bにおいては単一の要素として示されているが、WTRU102は、任意の数の送信/受信要素122を含み得る。より具体的には、WTRU102は、MIMOテクノロジーを採用することがある。したがって、例においては、WTRU102は、エアインターフェース116を介してワイヤレス信号を送信および受信するために、2つ以上の送信/受信要素122(たとえば、複数のアンテナ)を含み得る。
トランシーバ120は、送信/受信要素122によって送信されることになる信号を変調するように、および送信/受信要素122によって受信される信号を復調するように構成されてよい。上述されているように、WTRU102は、マルチモード機能を有することがある。したがってトランシーバ120は、WTRU102が、たとえばNRおよびIEEE802.11などの複数のRATを介して通信することを可能にするために複数のトランシーバを含み得る。
WTRU102のプロセッサー118は、スピーカー/マイクロフォン124、キーパッド126、および/またはディスプレイ/タッチパッド128(たとえば、液晶ディスプレイ(LCD)ディスプレイユニットもしくは有機発光ダイオード(OLED)ディスプレイユニット)に結合されることがあり、そこからユーザ入力データを受信することがある。プロセッサー118は、ユーザデータをスピーカー/マイクロフォン124、キーパッド126、および/またはディスプレイ/タッチパッド128へ出力することもある。加えて、プロセッサー118は、任意のタイプの適切なメモリー、たとえば、取り外し不可能なメモリー130および/または取り外し可能なメモリー132からの情報にアクセスすること、およびそれらのメモリーにデータを格納することがある。取り外し不可能なメモリー130は、ランダムアクセスメモリ(RAM)、読み取り専用メモリー(ROM)、ハードディスク、またはその他の任意のタイプのメモリストレージデバイスを含み得る。取り外し可能なメモリー132は、サブスクライバーアイデンティティーモジュール(SIM)カード、メモリスティック、セキュアデジタル(SD)メモリカードなどを含み得る。例においては、プロセッサー118は、WTRU102上に物理的に配置されていない、たとえば、サーバまたはホームコンピュータ(図示せず)上のメモリーからの情報にアクセスすること、およびそのメモリーにデータを格納することがある。
プロセッサー118は、電源134から電力を受信することがあり、WTRU102におけるその他のコンポーネントへの電力を分配および/または制御するように構成されてよい。電源134は、WTRU102に電力供給するための任意の適切なデバイスであることがある。たとえば、電源134は、1つまたは複数の乾電池(たとえば、ニッケルカドミウム(NiCd)、ニッケル亜鉛(NiZn)、ニッケル水素(NiMH)、リチウムイオン(Li−ion)など)、太陽電池、燃料電池などを含み得る。
プロセッサー118は、GPSチップセット136に結合されることもあり、GPSチップセット136は、WTRU102の現在のロケーションに関するロケーション情報(たとえば、経度および緯度)を提供するように構成されてよい。WTRU102は、GPSチップセット136からの情報に加えて、またはその情報の代わりに、基地局(たとえば、基地局114a、114b)からエアインターフェース116を介してロケーション情報を受信すること、および/または2つ以上の近くの基地局から受信されている信号のタイミングに基づいてそれのロケーションを決定することがある。WTRU102は、任意の適切なロケーション決定方法を通じてロケーション情報を取得することがあるということが理解されるであろう。
プロセッサー118は、その他のペリフェラル138にさらに結合されることがあり、その他のペリフェラル138は、さらなる特徴、機能性、および/または有線接続もしくはワイヤレス接続を提供する1つまたは複数のソフトウェアモジュールおよび/またはハードウェアモジュールを含み得る。たとえば、ペリフェラル138は、加速度計、eコンパス、衛星トランシーバ、デジタルカメラ(写真および/またはビデオ用)、ユニバーサルシリアルバス(USB)ポート、振動デバイス、テレビジョントランシーバ、ハンドフリーヘッドセット、Bluetooth(登録商標)モジュール、周波数変調(FM)ラジオユニット、デジタルミュージックプレーヤ、メディアプレーヤ、ビデオゲームプレーヤモジュール、インターネットブラウザ、仮想現実および/または拡張現実(VR/AR)デバイス、アクティビティートラッカーなどを含み得る。ペリフェラル138は、1つまたは複数のセンサを含むことがあり、それらのセンサは、ジャイロスコープ、加速度計、ホール効果センサ、磁力計、方位センサ、プロキシミティーセンサ、温度センサ、時間センサ、ジオロケーションセンサ、高度計、光センサ、タッチセンサ、磁力計、バロメータ、ジェスチャーセンサ、バイオメトリックセンサ、および/または湿度センサのうちの1つまたは複数であることがある。
WTRU102は、(たとえば、UL(たとえば、送信用)およびダウンリンク(たとえば、受信用)の両方に関して特定のサブフレームに関連付けられている)信号のうちのいくつかまたはすべての送信および受信が並列および/または同時であることがある全二重無線を含み得る。全二重無線は、ハードウェア(たとえば、チョーク)、またはプロセッサーを介した(たとえば、別個のプロセッサ(図示せず)もしくはプロセッサー118を介した)信号処理を介して自己干渉を低減するおよびまたは実質的になくすための干渉管理ユニット139を含み得る。例においては、WRTU102は、(たとえば、UL(たとえば、送信用)またはダウンリンク(たとえば、受信用)のいずれかに関して特定のサブフレームに関連付けられている)信号のうちのいくつかまたはすべての送信および受信のための半二重無線を含み得る。
図1Cは、例示的なRAN104およびCN106を示すシステム図である。上述されているように、RAN104は、エアインターフェース116を介してWTRU102a、102b、102cと通信するためにE−UTRA無線テクノロジーを採用することがある。RAN104は、CN106と通信していることがある。
RAN104は、eNode−B160a、160b、160cを含み得るが、RAN104は、任意の数のeNode−Bを含み得るということが理解されるであろう。eNode−B160a、160b、160cはそれぞれ、エアインターフェース116を介してWTRU102a、102b、102cと通信するために1つまたは複数のトランシーバを含み得る。例においては、eNode−B160a、160b、160cは、MIMOテクノロジーを実施することがある。したがってeNode−B160aは、たとえば、WTRU102aにワイヤレス信号を送信するために、および/またはWTRU102aからワイヤレス信号を受信するために、複数のアンテナを使用することがある。
eNode−B160a、160b、160cのそれぞれは、特定のセル(図示せず)に関連付けられることがあり、無線リソース管理の決定、ハンドオーバーの決定、ULおよび/またはDLにおけるユーザのスケジューリングなどを取り扱うように構成されてよい。図1Cにおいて示されているように、eNode−B160a、160b、160cは、X2インターフェースを介して互いに通信することがある。
図1Cにおいて示されているCN106は、モビリティー管理エンティティー(MME)162、サービングゲートウェイ(SGW)164、およびパケットデータネットワーク(PDN)ゲートウェイ(またはPGW)166を含み得る。上述の要素のうちのそれぞれは、CN106の一部として示されているが、これらの要素のうちのいずれかが、CNオペレータ以外のエンティティーによって所有および/または運営されることがあるということが理解されるであろう。
MME162は、S1インターフェースを介してRAN104におけるeNode−B162a、162b、162cのそれぞれに接続されることがあり、制御ノードとしての役割を果たすことがある。たとえば、MME162は、WTRU102a、102b、102cのユーザを認証すること、ベアラのアクティブ化/非アクティブ化、WTRU102a、102b、102cの最初の接続中に特定のサービングゲートウェイを選択することなどを担当することがある。MME162は、RAN104と、GSMおよび/またはWCDMAなどのその他の無線テクノロジーを採用しているその他のRAN(図示せず)との間における切り替えを行うための制御プレーン機能を提供することがある。
SGW164は、S1インターフェースを介してRAN104におけるeNode B160a、160b、160cのそれぞれに接続されることがある。SGW164は一般に、ユーザデータパケットをWTRU102a、102b、102cへ/WTRU102a、102b、102cからルーティングおよび転送することがある。SGW164は、その他の機能、たとえば、eNode B間でのハンドオーバー中にユーザプレーンを固定すること、WTRU102a、102b、102cにとってDLデータが利用ある場合にページングをトリガーすること、WTRU102a、102b、102cのコンテキストを管理および格納することなどを行うことがある。
SGW164は、PGW166に接続されることがあり、PGW166は、WTRU102a、102b、102cと、IP対応デバイスとの間における通信を容易にするために、インターネット110などのパケット交換ネットワークへのアクセスをWTRU102a、102b、102cに提供することがある。
CN106は、その他のネットワークとの通信を容易にすることがある。たとえば、CN106は、WTRU102a、102b、102cと、従来の地上通信線通信デバイスとの間における通信を容易にするために、PSTN108などの回線交換ネットワークへのアクセスをWTRU102a、102b、102cに提供することがある。たとえば、CN106は、CN106とPSTN108との間におけるインターフェースとしての役割を果たすIPゲートウェイ(たとえば、IPマルチメディアサブシステム(IMS)サーバ)を含むことがあり、またはそうしたIPゲートウェイと通信することがある。加えて、CN106は、その他のネットワーク112へのアクセスをWTRU102a、102b、102cに提供することがあり、その他のネットワーク112は、その他のサービスプロバイダによって所有および/または運営されているその他の有線ネットワークおよび/またはワイヤレスネットワークを含み得る。
WTRUは、図1A〜図1Dにおいてはワイヤレス端末として記述されているが、特定の例においては、そのような端末は、通信ネットワークとの有線通信インターフェースを(たとえば、一時的にまたは永久に)使用することがあると想定される。
例においては、その他のネットワーク112は、WLANであることがある。
インフラストラクチャーベーシックサービスセット(BSS)モードにおけるWLANは、BSS用のアクセスポイント(AP)と、APに関連付けられている1つまたは複数のステーション(STA)とを有することがある。APは、BSSとの間で出入りするトラフィックを搬送する配信システム(DS)または別のタイプの有線/ワイヤレスネットワークへのアクセスまたはインターフェースを有することがある。BSSの外部から生じるSTAへのトラフィックは、APを通じて着信することがあり、STAへ配信されることがある。STAからBSSの外部の宛先へ生じるトラフィックは、APへ送られて、それぞれの宛先へ配信されることがある。BSS内のSTA間におけるトラフィックは、たとえば、ソースSTAがトラフィックをAPへ送ることがあり、APがそのトラフィックを宛先STAへ配信することがある場合には、APを通じて送られることがある。BSS内のSTA間におけるトラフィックは、ピアツーピアトラフィックとみなされること、および/または呼ばれることがある。ピアツーピアトラフィックは、ダイレクトリンクセットアップ(DLS)を用いてソースSTAと宛先STAとの間において(たとえば、間において直接)送られることがある。例においては、DLSは、802.11e DLSまたは802.11zトンネルドDLS(TDLS)を使用することがある。独立BSS(IBSS)モードを使用するWLANは、APを有さないことがあり、IBSS内のまたはIBSSを使用するSTA(たとえば、STAのうちのすべて)は、互いに直接通信することがある。通信のIBSSモードは、本明細書においては、時には通信の「アドホック」モードと呼ばれることがある。
802.11acインフラストラクチャー動作モードまたは同様の動作モードを使用する場合には、APは、プライマリーチャネルなどの固定されたチャネル上でビーコンを送信することがある。プライマリーチャネルは、固定された幅(たとえば、20MHzの幅のバンド幅)またはシグナリングを介した動的に設定される幅であることがある。プライマリーチャネルは、BSSの動作チャネルであることがあり、APとの接続を確立するためにSTAによって使用され得る。例においては、たとえば802.11システムにおいて、搬送波感知多重アクセス/衝突回避方式(CSMA/CA)が実施され得る。CSMA/CAに関しては、APを含むSTA(たとえば、あらゆるSTA)は、プライマリーチャネルを感知することがある。特定のSTAによってプライマリーチャネルが感知/検知され、および/またはビジーであると決定された場合には、その特定のSTAは、引き下がることがある。1つのSTA(たとえば、1つのステーションのみ)が、所与のBSSにおいて任意の所与の時点で送信を行うことがある。
高スループット(HT)STAは、たとえば、プライマリー20MHzチャネルを、隣り合っているまたは隣り合っていない20MHzのチャネルと組み合わせて40MHzの幅のチャネルを形成することを介して、通信のために40MHzの幅のチャネルを使用することがある。
超高スループット(VHT)STAは、20MHz、40MHz、80MHz、および/または160MHzの幅のチャネルをサポートすることがある。40MHzのチャネル、および/または80MHzのチャネルは、隣接している20MHzのチャネルを組み合わせることによって形成されることがある。160MHzのチャネルは、8つの隣接している20MHzのチャネルを組み合わせることによって、または2つの隣接していない80MHzのチャネルを組み合わせること(これは、80+80構成と呼ばれることがある)によって形成されることがある。80+80構成に関しては、データは、チャネルエンコーディングの後に、セグメントパーサに通されることがあり、セグメントパーサは、そのデータを2つのストリームへと分割することがある。逆高速フーリエ変換(IFFT)処理、および時間ドメイン処理が、それぞれのストリーム上で別々に行われることがある。それらのストリームは、2つの80MHzのチャネル上にマップされることがあり、データは、送信側STAによって送信されることがある。受信側STAの受信機においては、80+80構成に関する上述の動作は、逆にされることがあり、組み合わされたデータは、メディアアクセス制御(MAC)へ送られることがある。
サブ1GHz動作モードが、802.11afおよび802.11ahによってサポートされている。チャネル動作バンド幅、およびキャリアは、802.11afおよび802.11ahにおいては、802.11nおよび802.11acにおいて使用されるものに比べて低減される。802.11afは、TVホワイトスペース(TVWS)スペクトルにおける5MHz、10MHz、および20MHzのバンド幅をサポートし、802.11ahは、非TVWSスペクトルを使用する1MHz、2MHz、4MHz、8MHz、および16MHzのバンド幅をサポートする。例によれば、802.11ahは、マクロカバレッジエリアにおけるMTCデバイスなど、メータタイプ制御/マシンタイプ通信をサポートすることがある。MTCデバイスは、特定の能力、たとえば、特定のおよび/または限られたバンド幅に関するサポートを(たとえば、それらに関するサポートのみを)含む限られた能力を有することがある。MTCデバイスは、(たとえば、非常に長いバッテリー寿命を保持するために)しきい値を上回るバッテリー寿命を有するバッテリーを含み得る。
複数のチャネル、およびチャネルバンド幅、たとえば、802.11n、802.11ac、802.11af、および802.11ahをサポートすることがあるWLANシステムは、プライマリーチャネルとして指定されることがあるチャネルを含む。プライマリーチャネルは、BSSにおけるすべてのSTAによってサポートされている最大の共通動作バンド幅に等しいバンド幅を有することがある。プライマリーチャネルのバンド幅は、BSSにおいて動作しているすべてのSTAのうちで、最小のバンド幅動作モードをサポートしているSTAによって設定および/または制限されることがある。802.11ahの例においては、1MHzモードをサポートする(たとえば、サポートするだけである)STA(たとえば、MTCタイプデバイス)に関しては、たとえAP、およびBSSにおけるその他のSTAが、2MHz、4MHz、8MHz、16MHz、および/またはその他のチャネルバンド幅動作モードをサポートしていても、プライマリーチャネルは、1MHzの幅であることがある。キャリア感知および/またはネットワーク割り当てベクトル(NAV)の設定は、プライマリーチャネルのステータスに依存することがある。たとえば(1MHzの動作モードだけをサポートする)STAがAPへの送信を行っていることに起因して、プライマリーチャネルがビジーである場合には、利用可能な周波数バンドの全体は、たとえそれらの周波数バンドの大部分がアイドルのままであって利用ある可能性があっても、ビジーとみなされることがある。
米国においては、802.11ahによって使用され得る利用可能な周波数バンドは、902MHzから928MHzまでである。韓国においては、利用可能な周波数バンドは、917.5MHzから923.5MHzまでである。日本においては、利用可能な周波数バンドは、916.5MHzから927.5MHzまでである。802.11ahにとって利用可能な合計のバンド幅は、国コードに応じて6MHzから26MHzである。
図1Dは、例示的なRAN113およびCN115を示すシステム図である。上述されているように、RAN113は、エアインターフェース116を介してWTRU102a、102b、102cと通信するためにNR無線テクノロジーを採用することがある。RAN113は、CN115と通信していることがある。
RAN113は、gNB180a、180b、180cを含み得るが、RAN113は、任意の数のgNBを含み得るということが理解されるであろう。gNB180a、180b、180cはそれぞれ、エアインターフェース116を介してWTRU102a、102b、102cと通信するために1つまたは複数のトランシーバを含み得る。例においては、gNB180a、180b、180cは、MIMOテクノロジーを実施することがある。たとえば、gNB180a、180bは、gNB180a、180b、180cへ信号を送信するために、および/またはgNB180a、180b、180cから信号を受信するために、ビームフォーミングを利用することがある。したがってgNB180aは、たとえば、WTRU102aへワイヤレス信号を送信するために、および/またはWTRU102aからワイヤレス信号を受信するために、複数のアンテナを使用することがある。例においては、gNB180a、180b、180cは、キャリアアグリゲーションテクノロジーを実施することがある。たとえば、gNB180aは、複数のコンポーネントキャリアをWTRU102a(図示せず)へ送信することがある。これらのコンポーネントキャリアのサブセットが、ライセンス供与されていないスペクトル上にあることがあり、その一方で残りのコンポーネントキャリアは、ライセンス供与されているスペクトル上にあることがある。例においては、gNB180a、180b、180cは、協調マルチポイント(CoMP)テクノロジーを実施することがある。たとえば、WTRU102aは、gNB180aおよびgNB180b(および/またはgNB180c)から協調送信を受信することがある。
WTRU102a、102b、102cは、スケーラブルなニューメロロジーに関連付けられている送信を使用して、gNB180a、180b、180cと通信することがある。たとえば、OFDMシンボルスペーシングおよび/またはOFDMサブキャリアスペーシングは、別々の送信、別々のセル、および/またはワイヤレス送信スペクトルの別々の部分ごとに異なることがある。WTRU102a、102b、102cは、さまざまなまたはスケーラブルな長さのサブフレームまたは送信タイムインターバル(TTI)(たとえば、さまざまな数のOFDMシンボルおよび/または持続するさまざまな長さの絶対時間を含む)を使用して、gNB180a、180b、180cと通信することがある。
gNB180a、180b、180cは、スタンドアロンの構成および/またはスタンドアロンではない構成でWTRU102a、102b、102cと通信するように構成されてよい。スタンドアロンの構成においては、WTRU102a、102b、102cは、その他のRAN(たとえば、eNode−B160a、160b、160cなど)にアクセスすることも伴わずに、gNB180a、180b、180cと通信することがある。スタンドアロンの構成においては、WTRU102a、102b、102cは、gNB180a、180b、180cのうちの1つまたは複数をモビリティーアンカーポイントとして利用することがある。スタンドアロンの構成においては、WTRU102a、102b、102cは、ライセンス供与されていない帯域における信号を使用してgNB180a、180b、180cと通信することがある。スタンドアロンではない構成においては、WTRU102a、102b、102cは、gNB180a、180b、180cと通信する/それらに接続する一方で、eNode−B160a、160b、160cなどの別のRANと通信すること/それらに接続することもある。たとえば、WTRU102a、102b、102cは、DC原理を実施して、1つまたは複数のgNB180a、180b、180cおよび1つまたは複数のeNode−B160a、160b、160cと実質的に同時に通信することがある。スタンドアロンではない構成においては、eNode−B160a、160b、160cは、WTRU102a、102b、102cのためのモビリティーアンカーとしての役割を果たすことがあり、gNB180a、180b、180cは、WTRU102a、102b、102cにサービス提供するためのさらなるカバレッジおよび/またはスループットを提供することがある。
gNB180a、180b、180cのそれぞれは、特定のセル(図示せず)に関連付けられることがあり、無線リソース管理の決定、ハンドオーバーの決定、ULおよび/またはDLにおけるユーザのスケジューリング、ネットワークスライシングのサポート、デュアル接続、NRとE−UTRAとの間におけるインターワーキング、ユーザプレーン機能(UPF)184a、184bへのユーザプレーンデータのルーティング、アクセスおよびモビリティー管理機能(AMF)182a、182bへの制御プレーン情報のルーティングなどを取り扱うように構成されてよい。図1Dにおいて示されているように、gNB180a、180b、180cは、Xnインターフェースを介して互いに通信することがある。
図1Dにおいて示されているCN115は、少なくとも1つのAMF182a、182b、少なくとも1つのUPF184a、184b、少なくとも1つのセッション管理機能(SMF)183a、183b、および場合よってはデータネットワーク(DN)185a、185bを含み得る。上述の要素のうちのそれぞれは、CN115の一部として示されているが、これらの要素のうちのいずれかが、CNオペレータ以外のエンティティーによって所有および/または運営されることがあるということが理解されるであろう。
AMF182a、182bは、N2インターフェースを介してRAN113におけるgNB180a、180b、180cのうちの1つまたは複数に接続されることがあり、制御ノードとしての役割を果たすことがある。たとえば、AMF182a、182bは、WTRU102a、102b、102cのユーザを認証すること、ネットワークスライシングに関するサポート(たとえば、別々の要件を伴う別々のPDUセッションを取り扱うこと)、特定のSMF183a、183bを選択すること、登録エリアの管理、NASシグナリングの終了、モビリティー管理などを担当することがある。ネットワークスライシングは、WTRU102a、102b、102cによって利用されているサービスのタイプに基づいてWTRU102a、102b、102cのためにCNサポートをカスタマイズするためにAMF182a、182bによって使用され得る。たとえば、超高信頼低遅延(URLLC)アクセスに依存するサービス、拡張大容量モバイルブロードバンド(eMBB)アクセスに依存するサービス、マシンタイプ通信(MTC)アクセスに関するサービス等などの別々の使用事例に関して、別々のネットワークスライスが確立されることがある。AMF162は、RAN113と、LTE、LTE−A、LTE−A Proなどのその他の無線テクノロジー、および/またはWiFiなどの非3GPPアクセステクノロジーを採用しているその他のRAN(図示せず)との間において切り替えを行うための制御プレーン機能を提供することがある。
SMF183a、183bは、N11インターフェースを介してCN115におけるAMF182a、182bに接続されることがある。SMF183a、183bは、N4インターフェースを介してCN115におけるUPF184a、184bに接続されることもある。SMF183a、183bは、UPF184a、184bを選択および制御すること、ならびにUPF184a、184bを通るトラフィックのルーティングを構成することがある。SMF183a、183bは、その他の機能、たとえば、UE IPアドレスを管理することおよび割り当てること、PDUセッションを管理すること、ポリシー施行およびQoSを制御すること、ダウンリンクデータ通知を提供することなどを行うことがある。PDUセッションタイプは、IPベース、非IPベース、イーサネットベースなどであることがある。
UPF184a、184bは、N3インターフェースを介してRAN113におけるgNB180a、180b、180cのうちの1つまたは複数に接続されることがあり、N3インターフェースは、WTRU102a、102b、102cとIP対応デバイスとの間における通信を容易にするために、インターネット110などのパケット交換ネットワークへのアクセスをWTRU102a、102b、102cに提供することがある。UPF184、184bは、その他の機能、たとえば、パケットをルーティングおよび転送すること、ユーザプレーンポリシーを施行すること、マルチホームPDUセッションをサポートすること、ユーザプレーンQoSを取り扱うこと、ダウンリンクパケットをバッファリングすること、モビリティーアンカリングを提供することなどを行うことがある。
CN115は、その他のネットワークとの通信を容易にすることがある。たとえば、CN115は、CN115とPSTN108との間におけるインターフェースとしての役割を果たすIPゲートウェイ(たとえば、IPマルチメディアサブシステム(IMS)サーバ)を含むことがあり、またはそうしたIPゲートウェイと通信することがある。加えて、CN115は、その他のネットワーク112へのアクセスをWTRU102a、102b、102cに提供することがあり、その他のネットワーク112は、その他のサービスプロバイダによって所有および/または運営されているその他の有線ネットワークおよび/またはワイヤレスネットワークを含み得る。例においては、WTRU102a、102b、102cは、UPF184a、184bへのN3インターフェース、およびUPF184a、184bとローカルデータネットワーク(DN)185a、185bとの間におけるN6インターフェースを介して、UPF184a、184bを通じてDN185a、185bに接続されることがある。
図1A〜図1D、および図1A〜図1Dの対応する記述を考慮すると、WTRU102a〜d、基地局114a〜b、eNode−B160a〜c、MME162、SGW164、PGW166、gNB180a〜c、AMF182a〜ab、UPF184a〜b、SMF183a〜b、DN185a〜b、および/または本明細書において記述されているその他の任意のデバイスのうちの1つまたは複数に関連して本明細書において記述されている機能のうちの1つもしくは複数またはすべては、1つまたは複数のエミュレーションデバイス(図示せず)によって行われることがある。エミュレーションデバイスは、本明細書において記述されている機能のうちの1つもしくは複数またはすべてをエミュレートするように構成されている1つまたは複数のデバイスであることがある。たとえば、エミュレーションデバイスは、その他のデバイスをテストするために、ならびに/またはネットワーク機能および/もしくはWTRU機能をシミュレートするために使用され得る。
エミュレーションデバイスは、ラボ環境において、および/またはオペレータネットワーク環境においてその他のデバイスの1つまたは複数のテストを実施するように設計されることがある。たとえば、1つまたは複数のエミュレーションデバイスは、有線および/またはワイヤレスの通信ネットワーク内のその他のデバイスをテストするためにその通信ネットワークの一部として全体的にまたは部分的に実装および/または展開されている間に、1つもしくは複数のまたはすべての機能を行うことがある。1つまたは複数のエミュレーションデバイスは、有線および/またはワイヤレスの通信ネットワークの一部として一時的に実装/展開されている間に、1つもしくは複数のまたはすべての機能を行うことがある。エミュレーションデバイスは、テスティングの目的のために別のデバイスに直接結合されることがあり、および/またはオーバージエアーワイヤレス通信を使用してテスティングを行うことがある。
1つまたは複数のエミュレーションデバイスは、有線および/またはワイヤレスの通信ネットワークの一部として実装/展開されていない間に、すべての機能を含む1つまたは複数の機能を行うことがある。たとえば、エミュレーションデバイスは、1つまたは複数のコンポーネントのテスティングを実施するために、テスティングラボラトリーならびに/または展開されていない(たとえば、テスティングの)有線および/もしくはワイヤレスの通信ネットワークにおけるテスティングシナリオにおいて利用されることがある。1つまたは複数のエミュレーションデバイスは、テスト機器であることがある。直接RF結合、および/または、RF回路(たとえば、1つもしくは複数のアンテナを含み得る)を介したワイヤレス通信が、エミュレーションデバイスによってデータを送信および/または受信するために使用され得る。
ビデオコーディングシステムは、デジタルビデオ信号を圧縮して、たとえば、そのような信号の格納および/または配信に関連付けられている格納空間および/または送信バンド幅を低減することがある。ビデオコーディングシステムは、ブロックベースのシステム、ウェーブレットベースのシステム、オブジェクトベースのシステムなどを含み得る。
ビデオコーディングデバイスは、ブロックベースのハイブリッドビデオコーディングフレームワークに基づくことがある。マルチタイプツリーベースのブロック区分構造が採用されることがある。コーディングモジュール、たとえば、イントラ予測モジュール、インター予測モジュール、変換/逆変換モジュール、および量子化/逆量子化モジュールのうちの1つまたは複数が含まれることがある。ビデオコーディングデバイスは、インループフィルタを含むこともある。
ビデオコーディングデバイスは、例えば、65角度イントラ予測方向(65 angular intra prediction direction)、修正された係数コーディング、アドバンストマルチプル変換(AMT)+4×4の分離不可能な二次変換(NSST;non-separable secondary transform)、アフィン動きモデル(affine motion model)、一般化されたアダプティブループフィルタ(GALF;generalized adaptive loop filter)、高度時間的動きベクトル予測(ATMVP;advanced temporal motion vector prediction)、アダプティブ動きベクトル精度、デコーダサイド動きベクトルリファインメント(DMVR;decoder-side motion vector refinement)、および/または線形モデル(LM)クロマモードなどの1つまたは複数のコーディングツールを含み得る。
例示的なブロックベースのビデオコーディングシステムは、ブロックベースのハイブリッドビデオコーディングフレームワークを含み得る。図2は、エンコーダのための例示的なブロックベースのハイブリッドビデオエンコーディングフレームワーク200を示している。図2において示されているように、入力ビデオ信号202は、ブロックごとに処理されることがある。ブロックは、コーディングユニット(CU)と呼ばれることがある。CUは、ビデオブロックと呼ばれることもある。たとえば、CUは、最大で128×128ピクセルのサイズであることがある。コーディングフレームワークにおいては、CUは、予測ユニット(PU)へと区分されることがあり、および/または別々の予測が使用され得る。コーディングフレームワークにおいては、CUは、さらなる区分を伴うことなく、予測および変換の両方に関する基本単位として使用され得る。CTUは、たとえば、クアッド/バイナリー/ターナリーツリー構造に基づいてさまざまなローカル特徴を適応させるために、CUへと区分されることがある。マルチタイプツリー構造においては、CTUは、クアッドツリー構造によって区分されることがある。クアッドツリーのリーフノードは、バイナリーおよびターナリーツリー構造によってさらに区分されることがある。図4において示されているように、たとえば、クォーターナリー区分(図4(a))、水平バイナリー区分(図4(c))、垂直バイナリー区分(図4(b))、垂直ターナリー区分(図4(d))、および水平ターナリー区分(図4(e))を含む1つまたは複数の分割タイプが提供されることがある。
図2において示されているように、入力ビデオブロック(たとえば、マクロブロック(MB)および/またはCU)に関して、空間的予測260および/または時間的予測262が行われることがある。空間的予測260(たとえば、イントラ予測)は、ビデオ画像/スライスにおけるコード化されている近隣ブロックのサンプル(たとえば、参照サンプル)からのピクセルを使用して、カレントビデオブロックを予測することがある。空間的予測260は、たとえば、ビデオ信号において固有であることがある空間的冗長性を低減することがある。動き予測262(たとえば、インター予測および/または時間的予測)は、たとえば、カレントビデオブロックを予測するために、コード化されているビデオ画像からの再構築されたピクセルを使用することがある。動き予測262は、たとえば、ビデオ信号において固有であることがある時間的冗長性を低減することがある。ビデオブロック(たとえば、CU)に関する動き予測信号(たとえば、時間的予測信号)は、1つまたは複数の動きベクトル(MV)によってシグナリングされることがある。MVは、カレントブロックおよび/またはカレントブロックの参照ブロックまたはその時間的参照の間における動きの量および/または方向を示すことがある。(たとえば、それぞれの)ビデオブロックに関して複数の参照画像がサポートされている場合には、そのビデオブロックの参照画像インデックスが、エンコーダによって送られることがある。参照画像インデックスは、参照画像ストア264におけるどの参照画像から動き予測信号が派生し得るかを識別するために使用されてよい。
空間的予測260および/または動き予測262の後に、エンコーダにおけるモード決定ブロック280が、たとえば、レート歪み最適化に基づいて、予測モード(たとえば、最良の予測モード)を決定することがある。予測ブロックが、216においてカレントビデオブロックから差し引かれることがあり、および/または予測残差が、変換204および/または量子化206を使用して相関解除されて、目標ビットレートなどのビットレートを達成することがある。量子化された残差係数が、逆量子化210において逆量子化されて、および/または変換212において逆変換されて、たとえば、再構築された残差を形成することがあり、その再構築された残差が、226において予測ブロックに追加されて、たとえば、再構築されたビデオブロックを形成することがある。インループフィルタリング(たとえば、デブロッキングフィルタおよび/またはアダプティブループフィルタ)が、再構築されたビデオブロック上でループフィルタ266において適用されることがあり、その後に、再構築されたビデオブロックは、参照画像ストア264に置かれること、および/またはビデオブロック(たとえば、今後のビデオブロック)をコーディングするために使用され得る。出力ビデオビットストリーム220を形成するために、コーディングモード(たとえば、インターまたはイントラ)、予測モード情報、動き情報、および/または量子化された残差係数が、エントロピーコーディングモジュール208へ送られて(たとえば、すべて送られて)、たとえば、圧縮および/またはパックされてビットストリームを形成することがある。
図3は、デコーダのための例示的なブロックベースのビデオデコーディングフレームワークのブロック図を示している。ビデオビットストリーム302(たとえば、図2におけるビデオビットストリーム220)は、アンパックされること(たとえば、最初にアンパックされること)、および/またはエントロピーデコーディングモジュール308においてエントロピーデコードされることがある。コーディングモードおよび予測情報が、空間的予測モジュール360(たとえば、イントラコーディングされている場合)ならびに/または動き補償予測モジュール362(たとえば、インターコーディングおよび/もしくは時間コーディングされている場合)へ送られて、予測ブロックを形成することがある。残差変換係数が、逆量子化モジュール310へ、および/または逆変換モジュール312へ送られて、たとえば、残差ブロックを再構築することがある。予測ブロックおよび/または残差ブロックは、326においてともに追加されることがある。再構築されたブロックは、たとえば、その再構築されたブロックが参照画像ストア364に格納される前に、ループフィルタ366においてインループフィルタリングを経ることがある。参照画像ストア364における再構築されたビデオ320は、ディスプレイデバイスを駆動するために送られること、および/またはビデオブロック(たとえば、今後のビデオブロック)を予測するために使用され得る。
本明細書において記述されているように、アフィン動き補償が、インターコーディングツールとして使用され得る。
本明細書において記述されているように、ビデオコーディングのためのさまざまなアフィンモードおよびアフィン動きモデルが使用され得る。並進動きモデル(translation motion model)が動き補償予測に適用されることがある。さまざまな種類の動き(たとえば、ズームインもしくはズームアウト、回転、遠近法の動き、および/またはその他の不規則な動き)が存在し得る。アフィン変換(たとえば、単純化されたアフィン変換)の動き補償予測が予測に適用されることがある。インターコーディングされたCU(たとえば、それぞれのインターコーディングされたCU)に関するフラグがシグナリングされて、たとえば、並進動きまたはアフィン動きモデルがインター予測に適用されるかどうかを示すことがある。
単純化されたアフィン動きモデルは、4つのパラメータのモデルであることがある。このモデルの4つのパラメータのうちで、2つのパラメータが、並進運動(たとえば、水平方向および垂直方向における)のために使用されることがあり、1つのパラメータが、ズーム動きのために使用されてよく、1つのパラメータが、回転動きのために使用されてよい。水平ズームパラメータ値は、垂直ズームパラメータ値に等しくてよい。水平回転パラメータ値は、垂直回転パラメータ値に等しくてよい。4つのパラメータの動きモデルは、2つの制御点位置、たとえば、カレントビデオブロックまたはカレントのCUの左上隅の位置および右上隅の位置において、動きベクトルのペアとして2つの動きベクトルを使用してコーディングされることがある。図5において示されているように、CUまたはブロックのアフィン動き場が、2つの制御点動きベクトル(たとえば、
Figure 2021529462
)によって記述されることがある。制御点の動きに基づいて、動き場(vx,vy)が、下記のように決定され得る。
Figure 2021529462
ここで、(v0x,v0y)は、左上隅の制御点の動きベクトルであることがあり、(v1x,v1y)は、右上隅の制御点の動きベクトルであることがある。ブロックがアフィンモードでコーディングされている場合には、その動き場は、たとえば、サブブロックの粒度に基づいて導出されることがある。サブブロック(たとえば、それぞれのサブブロック)の動きベクトルが、たとえば、式(1)を使用してサブブロックの中心サンプルの動きベクトルを計算することによって導出されることがある。その動きベクトルは、精度値(たとえば、1/16ペル精度)に丸められることがある。導出された動きベクトルは、動き補償段階において使用されて、カレントブロック内のサブブロック(たとえば、それぞれのサブブロック)の予測信号を生成することがある。アフィン動き補償に適用されるサブブロックのサイズは、下記の式を使用して計算されることがある。
Figure 2021529462
ここで、(v2x,v2y)は、左下の制御点の動きベクトルであることがあり、wおよびhは、たとえば、式(1)によって計算されたCUの幅およびCUの高さであることがあり、MおよびNは、導出されたサブブロックサイズの幅および高さであることがある。
CUをコーディングするためにアフィンマージモードコーディングが使用され得る。それぞれの参照画像リストに関する2つの制御点に関連付けられている動きベクトルの2つのセットが、予測コーディングを伴ってシグナリングされることがある。アフィンマージモードが適用されることがあり、動きベクトルとその予測子との間における差が、ロスレスコーディングスキームを使用してコーディングされることがある。(たとえば、低いビットレートで)重大であることがあるシグナリングオーバーヘッドがシグナリングされることがある。たとえば、動き場の局所的な連続性を考慮することによって、シグナリングオーバーヘッドを低減するためにアフィンマージモードが適用されることがある。カレントのCUの2つの制御点における動きベクトルが導出されることがある。カレントのCUの動きベクトルは、その近隣ブロックから選択されることがあるCUのアフィンマージ候補のアフィン動きを使用して導出されることがある。
図6において示されているように、たとえば、アフィンマージモードでコーディングされているカレントのCUが、5つの近隣ブロック(N0からN4)を有することがある。近隣ブロックは、N0からN4、すなわち、N0、N1、N2、N3、N4の順にチェックされることがある。最初のアフィンコーディングされている近隣ブロックが、アフィンマージ候補として使用され得る。図7において示されているように、カレントのCUが、アフィンマージモードでコーディングされることがある。カレントのCUの左下の近隣ブロック(たとえば、N0)が、アフィンマージ候補として選択されることがある。左下の近隣ブロックN0は、近隣のCU、CU0に属していることがある。ブロックN0を含むCUの幅および高さは、nwおよびnhとして示されることがある。カレントのCUの幅および高さは、cwおよびchとして示されることがある。位置PiにおけるMVは、(vix,viy)として示されることがある。制御点P0におけるMV(v0x,v0y)は、下記の式に従って導出されることがある。
Figure 2021529462
制御点P1におけるMV(v1x,v1y)は、下記の式に従って導出されることがある。
Figure 2021529462
制御点P2におけるMV(v2x,v2y)は、下記の式に従って導出されることがある。
Figure 2021529462
2つの制御点(たとえば、P0およびP1)におけるMVが決定されると、カレントのCU内のサブブロック(たとえば、それぞれのサブブロック)のMVが導出されることがある。サブブロックの導出されたMVは、今後の画像コーディングのためのサブブロックベースの動き補償および時間的動きベクトル予測のために使用され得る。
アフィンMV予測が行われることがある。マージされていないアフィンコーディングされているCUに関しては、制御点におけるMVのシグナリングは、高いシグナリングコストに関連付けられることがある。シグナリングオーバーヘッドを低減するために予測コーディングが使用され得る。アフィンMV予測子が、その近隣のコーディングされているブロックの動きから生成されることがある。アフィンコーディングされているCUのMV予測のために、さまざまな種類の予測子がサポートされることがある。たとえば、制御点の近隣ブロックからの生成されたアフィン動き予測子および/またはMV予測のために使用される並進動き予測子である。並進動き予測子は、アフィン動き予測子に対する補足として使用され得る。
MVのセットが入手されて、複数のアフィン動き予測子を生成するために使用され得る。図8において示されているように、MVセットは、隅P0における近隣ブロック{A,B,C}からのMV(これは、セットS1を含むことがあり、{MVA,MVB,MVC}として示されることがある)、隅P1における近隣ブロック{D,E}からのMV(これは、セットS2を含むことがあり、{MVD,MVE}として示されることがある)、および/または隅P2における近隣ブロック{F,G}からのMV(これは、セットS3を含むことがあり、{MVF,MVG}として示されることがある)を含み得る。近隣ブロックからのMVは、次のように導出されることがある。空間的近隣ブロックが、たとえば、その近隣ブロックがインターコーディングブロックである場合に、チェックされることがある。MVは、直接使用され得る。近隣ブロックの参照画像は、カレントのCUの参照画像と同じであることがある。MVは、たとえば、近隣ブロックの参照画像がカレントのCUの参照画像とは異なる場合に、時間的距離に従ってスケーリングされることがある。図9において示されているように、カレントの画像902と、カレントのCUの参照画像904との間における時間的距離は、TBとして示されることがある。カレントの画像902と、近隣ブロック906の参照画像との間における時間的距離は、TDとして示されることがある。近隣ブロックのMV1は、下記を使用してスケーリングされることがある。
Figure 2021529462
ここで、MV2は、動きベクトルセットにおいて使用され得る。
併置されている参照画像における併置されているブロックは、たとえば、近隣ブロックがインターコーディングブロックではない場合に、チェックされることがある。MVは、たとえば、時間的に併置されているブロックがインターコーディングブロックである場合に、時間的距離に基づいて式(9)に従ってスケーリングされることがある。近隣ブロックにおけるMVは、たとえば、時間的に併置されているブロックがインターコーディングブロックではない場合に、ゼロに設定されることがある。
アフィンMV予測子が、MVのセットからMVを選択することによって生成されることがある。たとえば、MVの3つのセット、たとえば、S1、S2、およびS3があり得る。S1、S2、およびS3のサイズは、それぞれ、3、2、および2であり得る。そのような例においては、12個(たとえば、3×2×2)の可能な組合せがあり得る。候補MVが、たとえば、1つまたは複数のMVによって表されているズームまたは回転に関連したパラメータの大きさがしきい値よりも大きい場合に、破棄されることがある。しきい値は、事前に定義されることがある。組合せが、CUの3つの隅、たとえば、左上、右上、および左下に関して、(MV0,MV1,MV2)として示されることがある。条件MVが、下記のようにチェックされることがある。
(|(v1x−v0x)│>T*w)もしくは(|(v1y−v0y)│>T*h)
または(|(v2x−v0x)│>T*w)もしくは(|(v2y−v0y)│>T*h) (10)
ここで、Tは1/2であることがある。候補MVは、たとえば、条件が満たされている(たとえば、ズームまたは回転が大きすぎる)場合に、破棄されることがある。
残りの候補は、ソートされることがある。3つのMVからなるトリプレットが、6つのパラメータの動きモデル(たとえば、水平方向および垂直方向における並進、ズーム、および回転を含む)を表すことがある。順序付け基準は、(MV0,MV1)によって表される、6つのパラメータの動きモデルと4つのパラメータの動きモデルとの間における差であることがある。より小さな差を有する候補は、順序付けられている候補リストにおいて、より小さなインデックスを有することがある。(MV0,MV1,MV2)によって表されているアフィン動きと、(MV0,MV1)によって表されているアフィン動きモデルとの間における差は、下記の式に従って評価されることがある。
D=|(v1x−v0x)*h−(v2y−v0y)*w|+|(v1y−v0y)*h+(v2x−v0x)*w| (11)
コーディング効率を高めるためにアフィン動きモデルが使用され得る。たとえば、大きなCUに関して2つの制御点におけるMVがシグナリングされることがある。そのCU内のサブブロックに関する動きベクトルが補間されることがある。サブブロック(たとえば、それぞれのサブブロック)に関する動きは、たとえば、ズームまたは回転の運動に起因して異なることがある。制御点は、たとえば、コーディングブロックが並進動きモデルの代わりにアフィン動きモデルを選んだ場合にはアフィン動きモデルにおいて、固定され得る。利用される制御点は、たとえば、コーディングブロックの左上隅および右上隅に固定され得る。アフィンMVに関する動きベクトル精度は、固定され得る(たとえば、1/4ペル)。サブブロックの垂直位置yが、式(1)におけるブロック幅(w)よりも大きい場合には、アップスケーリング(y/w)が利用されることがある。
アフィンマージモードを使用している間には、{N0,N1,N2,N3,N4}からの第1の利用可能な近隣ブロックは、最良のブロックではないことがある。(たとえば、式()から()において提供されている)マージ候補からのアフィンMV導出から、精度は、(たとえば、式()から()において「nw」によって示されている)マージ候補の幅に関連していることがある。第1のアフィンマージ候補は、アフィンMV導出に関して最良の精度を有していないことがある。アフィンMV予測において、式(10)に基づく条件チェックは、大きなズームまたは回転を有する候補を破棄することがある。破棄された候補は、リストに再び追加されることがある。
アフィン動きモデルベースのコーディングのためのシステム、方法、および手段が、本明細書において開示されることがある。本明細書において開示されているように、アダプティブ制御点(adaptive control point selection)の選択を基にしたアフィン動きコーディングが使用され得る。アダプティブ制御点の選択を基にしたアフィン動きコーディングにおいては、制御点位置が、ブロックの形状に基づいて適応的に選択されることがある。たとえば、ブロックが水平の長方形のブロックであるか、垂直の長方形のブロックであるか、または正方形のブロックであるかに基づいて、1つまたは複数の制御点が選択されることがある。アフィンマージ候補が、2つの制御点の間における距離に基づいて近隣ブロックから選択されることがある。たとえば、最大の制御点距離を有するアフィンマージ候補が選択されることがある。アフィン予測子の生成は、大きなズームまたは回転の運動を有する候補が予測子リストの後ろに配置されることがあるように行われることがある。
アダプティブ制御点の選択を伴うアフィン動きベースのコーディングが使用され得る。アフィンモードでコーディングされているビデオブロックに関しては、たとえば、ビデオブロックの左上隅および右上隅が制御点として使用され得る。サブブロック(たとえば、ビデオブロックに関連付けられた各サブブロック)の動きは、たとえば式(1)に基づいて、2つの制御点においてMVを使用して導出されることがある。導出精度は、ブロック幅(たとえば、2つの制御点の間における距離)に関連されることがある。いくつかのサブブロックは、2つの制御点(たとえば、図10のビデオブロック1010によって示されているP0およびP1)から離れていることがある。したがって、P0およびP1におけるMVを使用する導出された動きが影響を受けることがある。
形状に依存した制御点の選択が行われることがある。ビデオブロックは、カテゴリー、たとえば、水平の長方形のブロック、垂直の長方形のブロック、または正方形のブロックへと分類されることがある。たとえば、ブロックの幅が高さよりも大きい場合には、そのブロックは、水平の長方形として分類されることがある。水平の長方形のブロックに対する制御点は、たとえば、図10のブロック1010によって示されているように、左上隅(たとえば、P0)および右上隅(たとえば、P1)によって定義されることがある。ブロックの幅が高さよりも小さい場合には、そのブロックは、垂直の長方形として分類されることがある。垂直の長方形のブロックに対する制御点は、たとえば、図10のブロック1020によって示されているように、左上隅(たとえば、P0)および左下隅(たとえば、P2)によって定義されることがある。たとえば、ブロックの幅が高さに等しい場合には、そのブロックは、正方形のブロックとして分類されることがある。正方形のブロックに対する制御点は、たとえば、図10のブロック1030によって示されているように、右上隅(たとえば、P1)および左下隅(たとえば、P2)によって定義されることがある。
水平の長方形のブロックに対して、制御点P0およびP1が使用され得る。水平の長方形のブロックに対するサブブロックのMVは、式(1)に基づいて導出されることがある。
垂直の長方形のブロックに関しては、制御点P0およびP2が使用され得る。垂直の長方形のブロックに関するサブブロックのMVは、下記のように導出されることがある。ブロックの左上隅に対するサブブロックの中心の位置が(x,y)によって示され、(x,y)を中心とするサブブロックのMVが(vx,vy)によって示されると想定する。さらに、ブロック幅がwとして示され、ブロック高さがhとして示され、P0およびP2におけるMVが(v0x,v0y)、(v2x,v2y)として示されると想定すると、(x,y)を中心とする水平の通常のブロックのサブブロックのMVは、下記のように導出される。
Figure 2021529462
正方形のブロックに関しては、制御点P1およびP2が使用され得る。正方形のブロックに属しているサブブロックのMVは、下記のように導出されることがある。
x=v1x+a*(x−w)−b*y (14)
y=v1y+b*(x−w)+a*y (15)
ここで、aおよびbは、下記のように計算されることがある。
a=(−(v2x−v1x)*w+(v2y−v1y)*h)/(w*w+h*h) (16)
b=(−(v2x−v1x)*h−(v2y−v1y)*w)/(w*w+h*h) (17)
正方形のブロックのケースにおいてwがhに等しいとすると、aおよびbは、下記のように簡略化されることがある。
a=(−(v2x−v1x)+(v2y−v1y))/(2w) (18)
b=(−(v2x−v1x)−(v2y−v1y))/(2w) (19)
アフィンコーディングされているCUに関する制御点の選択を示すモードがシグナリングされることがある。たとえば、アフィンコーディングされているCUに関して、どの制御点が使用されているかを示すモードがシグナリングされることがある。たとえば、そのモードは、制御点P0、P1が水平方向において使用されているということ、または制御点P0、P2が垂直方向において使用されているということ、または制御点P1、P2が斜めの方向において使用されているということを示すことがある。制御点モードは、動き推定コストまたはレート歪みコストに基づいて決定され得る。たとえば、ビデオブロック(たとえば、それぞれのブロック)に関して、エンコーダは、さまざまな制御点の選択モードを使用してアフィン動き推定を試みて、それぞれの可能な制御点の選択に関する予測エラーを得ることがある。エンコーダは、たとえば、動き予測歪みおよび制御点MVビットコストを合計することによって、最も低い動き推定コストを有するモードを選ぶことがある。
最大制御点距離を用いたアフィンマージ候補選択が使用され得る。カレントビデオブロックの制御点におけるMVが、式(3)〜(8)を使用してマージ候補のMVから導出されることがある。動きベクトル導出の精度は、その近隣ブロックの2つの制御点の間における距離に依存することがある。2つの制御点の間における距離は、ブロックの幅であることがある。本明細書において記載されている形状に依存した制御点の選択においては、2つの制御点の間における距離は、ブロック形状に基づいて測定されることがある。近隣ブロック、たとえば図6において示されている{N0,N1,N2,N3,N4}からアフィンマージ候補を選択するために、2つの制御点の間における距離の2乗が使用され得る。カレントブロックに関する動き導出の精度は、たとえば距離がより大きい場合には、より高くなることがある。たとえば図11において示されているように、MVを導出するために、最大制御点距離を有するアフィンマージ候補が選択されることがある。候補リストにおけるアフィンマージ候補(たとえば、すべてのアフィンマージ候補)が、たとえば図6において示されているように、順にチェックされることがある。図11において示されているように、1102において、候補の近隣ブロックNkが、利用可能な近隣ブロックのリストから選択されることがある。1104において、選択された近隣ブロックNkは、アフィンモードに関してチェックされることがある。選択された近隣ブロックNkに関してアフィンモードが有効にされていることをチェックした後に、1106において、2つの制御点の間における距離Dが計算されることがある。距離Dは、ブロック形状に基づいて計算されることがある。1106において、最大制御点距離を有するマージ候補が、カレントブロックの制御点におけるMVを導出するためにカレントブロックに関するアフィンマージ候補として選択されることがある。1110において、すべての候補が評価されていることのチェックが行われる。
アフィンマージインデックスがシグナリングされることがある。マージ候補リストにおける利用可能なマージ候補を順序付けるために、2つの制御点の間における距離が使用され得る。最終的なアフィンマージ候補が、下記の様式で導出されることがある。利用可能なアフィンマージ候補(たとえば、すべての利用可能なアフィンマージ候補)が、近隣ブロックから入手されることがある。リストにおける候補(たとえば、それぞれの候補)に関して、2つの制御点の間における距離が計算されることがある。アフィンマージ候補リストは、たとえば制御点距離の降順で、順序付けられることがある。最終的なアフィンマージ候補が、コーディングブロックに関してシグナリングされたマージインデックスを使用して、順序付けられているリストから選ばれることがある。
アフィンMV予測が、本明細書において記述されているように行われることがある。アフィンMV予測子の生成における候補の順序付けが、たとえば、条件(10)をチェックすることによって行うことによって、または下記の式において提供されている基準を使用することによって行われることがある。
D=max(|(v1x−v0x)*h−(v2y−v0y)*w|,|(v1y−v0y)*h+(v2x−v0x)*w|)+A1+A2 (20)
ここで、ズームまたは回転の運動が大きすぎる場合には、A1およびA2が調整であり得る。A1およびA2は、下記の式を使用して計算されることがある。
Figure 2021529462
ここで、T1およびT2は、事前に定義されたしきい値(たとえば、T1=3、T2=1/4)であることがあり、wおよびhは、コーディングブロックの幅および高さであることがある。式(20)において提供されている順序付け基準を使用して、大きなズームまたは回転の運動を有する候補が、予測子リストの後ろに配置されることがある。
アフィン動き補償、動きベクトル予測、および/またはデブロッキングのための統一された制御点MVが使用され得る。本明細書において記述されているように、アフィンモードが有効にされている場合には、CUが、等しいサイズを有する複数のサブブロック(たとえば、4×4個のサブブロック)へと分割されることがある。サブブロック(たとえば、それぞれのサブブロック)は、アフィンモードを使用して導出されることがあるMV(たとえば、1つの一意のMV)を割り振られることがある。たとえば、アフィンモードは、4つのパラメータのアフィンモードまたは6つのパラメータのアフィンモードであることがある。アフィンモードは、CUレベルでシグナリングされることがある。サブブロック(たとえば、それぞれのサブブロック)の中心位置が、選択されたアフィンモードに基づいてそのサブブロックの対応するMVを導出するために使用され得る。(i,j)サブブロックのMV
Figure 2021529462
は、下記のようにアフィンCUの左上隅、右上隅、および左下隅におけるv0、v1、およびv2という3つの制御点MVから導出されることがある。
Figure 2021529462
ここで、(i,j)は、CU内のサブブロックの水平および垂直のインデックスであることがあり、wsbおよびhsbは、(たとえば、1つの)サブブロックの幅および高さ(たとえば、4に等しいことがある)であることがある。CUは、制御点位置を含まないことがある1つまたは複数のサブロックを有することがある。たとえば、4つのパラメータのアフィンモードに関する左上および右上の位置、ならびに6つのパラメータのモードに関する左上、右上、および左下の位置は、制御点位置を含まないことがある。そのようなケースにおけるMVは、式(23)において提供されているように計算されることがある。これらのMVは、動き補償中にサブブロックの予測サンプルを生成するために使用され得る。MVは、CUの空間的なおよび時間的な近隣ブロックのMVを予測するために使用され得る。MVは、デブロッキングフィルタのために使用される境界強度値を計算するために使用され得る。制御点位置に配置されているサブブロックに関しては、それらのMVは、アフィンマージモードを通じてそれらの近隣ブロックの制御点MVを導出するためにシードとして使用され得る。アフィンマージモードのMV精度を保持するために、式(23)におけるMVは、制御点サブブロック(たとえば、それぞれの制御点サブブロック)に関する動き補償において使用され得る。空間的/時間的MV予測およびデブロッキングに関しては、それらのMVは、対応する制御点MVによって置き換えられることがある。たとえば、4つのパラメータのアフィンモデルによってコーディングされているCUに関しては、MV予測およびデブロッキングのために使用され得るその左上および右上のサブブロックのMVは、下記のように計算されることがある。
Figure 2021529462
6つのパラメータのアフィンモードでコーディングされているCUに関しては、MV予測および/またはデブロッキングのために使用され得る左上、右上、および左下のサブブロックのMVは、下記のように計算されることがある。
Figure 2021529462
図12は、アフィンモードでコーディングされることがあるCUの動き場を生成することの例を示している。図12において示されているワークフローに基づいて、アフィン動き補償およびMV予測のMV精度が保持されることがある。図12において示されているワークフローは、多くの方法で使用され得る。たとえば、CUの制御点位置を含むサブブロック(たとえば、CUに関連付けられているそれぞれのサブブロック)に関しては、1つまたは複数の異なるMVが導出および/または格納されることがある。例においては、MVが、式(23)に基づいて導出されることがあり、サブブロックの予測サンプルを生成するために使用され得る。例においては、MVが、式(24)および(25)に基づいて導出されることがあり、MV予測およびデブロッキングのために使用され得る。
制御点位置におけるサブブロック(たとえば、それぞれのサブブロック)に関して、そのMVが、対応する制御点MVに設定されること(たとえば、はじめに設定されること)がある。MVは、対応する制御点MVに設定されて、解析段階においてその近隣ブロックのMVを導出することがある。動き補償段階において、選択されたアフィンモデルへの入力として中心位置を使用することによって、サブブロックのMVが再計算されることがある。制御点位置(たとえば、それぞれの制御点位置)におけるサブブロックに関して、1つまたは複数の異なるMVが格納されることがある。制御点位置(たとえば、それぞれの制御点位置)におけるサブブロックに関するMVは、2回導出されることがある。
アフィンモードによってコーディングされるCUに対して別々のコーディングプロセスにおいて使用される動き場が統合されることがある。たとえば、図13において示されているように、空間的/時間的MV予測およびデブロッキングのために使用される(たとえば、式(24)および(25)によって示されている)MVは、アフィンCU内の制御点サブブロックの予測サンプルを生成するために再利用されることがある。アフィンCUの制御点位置に配置されているサブブロックに対して、そのサブブロックの中心位置に基づいて(たとえば、式(23)に従って)導出されるMVは、動き補償段階において再利用されることがある。MVは、空間的/時間的MV予測のためのMV予測子であることがある。MVは、デブロッキングプロセスのための境界強度を計算するために使用され得る。図14は、アフィンCUの動き場を導出するためのワークフローを示している。
動きベクトルクリッピングが使用され得る。たとえば、ビデオブロックまたはCUに関連付けられているアフィンモードが有効にされている場合には、動きベクトルクリッピングが使用され得る。アフィンモードが有効にされている場合には、CUは、1つまたは複数のサブブロックへと分割されることがある。CUに関連付けられているサブブロックは、サイズが等しい(たとえば、4×4である)ことがある。CUに関連付けられているサブブロックが、MVを割り振られることがある。たとえば、CUのMVのうちのそれぞれに割り振られるMVは、一意のMVであることがある。割り振られるMVは、たとえば、4つのパラメータのアフィンモードまたは6つのパラメータのアフィンモードを使用することによって導出されることがある。アフィンモードのタイプ(4つのパラメータのアフィンモードまたは6つのパラメータのアフィンモード)は、CUレベルでシグナリングされることがある。CUに関連付けられている導出されたMVは、動き場に格納されることがあり、制限されたビット深度(たとえば、VVCでの16ビット)を使用して表されることがある。サブブロックMVを導出する場合に、計算されたMVの値は、動き場のビット深度に基づいて表されることがある値の範囲外にある可能性がある。計算されたMVが値の範囲外にあることは、算術アンダーフローおよび/またはオーバーフローの問題をもたらす可能性がある。そのようなアンダーフローおよび/またはオーバーフローの問題は、制御点MVが、動き場のビット深度によって指定された範囲内にある場合でさえ、発生する可能性がある。MVは、たとえば、MVの導出後にクリップされ得る。MVをクリップすることは、さまざまなビット深度値を使用する可能性があるさまざまなシステムの間において同様の挙動をもたらすことがある。たとえば、ビデオエンコーディングデバイスが、ビデオデコーディングデバイスによって使用されるビット深度値よりも高いことがあるビット深度値を使用することがあり、またはその逆もまた同様である。
サブブロック(i,j)のMV
Figure 2021529462
が、下記のように式26に従ってクリップされ得る。
Figure 2021529462
ここで、Nは、動き場の格納のために使用されるビット深度であることがある(たとえば、N=16)。式(26)において示されているように、サブブロック(i,j)のMV
Figure 2021529462
は、動き場の範囲に基づいてクリップされ得る。動き場の範囲は、動き場格納ビット深度(MFSBD;motion field storage bit depth)値であることがある。MFSBDは、ビットの数(たとえば、16ビット、18ビット)で表されることがある。
1つまたは複数の制御点MVが、動き場の格納のために使用されるビット深度値と同じであることがあるビット深度値に基づいてクリップされ得る。制御点MVがクリップされ得る。たとえば、制御点MVが、サブブロックMVの導出後にクリップされ得る。導出されたMVの精度を保持するために、制御点MVがクリップされ得る。制御点MVが、動き場格納ビット深度よりも高い精度を有することがある。たとえば、サブブロック導出のために使用される制御点MVは、動き場格納ビット深度を考慮して表されることがある値の範囲よりも高い精度を有することがある(たとえば、より多くのビットを有することがある)。制御点MVは、近隣ブロックのアフィンマージ導出のためにクリップされて格納されることがある。たとえば、制御点MVは、導出後にクリップされて格納されることがある。
サブブロックMVを導出するために、さまざまなメカニズムが使用され得る。たとえば、平面動きベクトル予測および/または回帰ベースの動きベクトル場が使用され得る。CUにおけるそれぞれのサブブロックに関連付けられているMVは、CUの近隣ブロックのMVから導出されることがある。たとえば、それぞれのサブブロックに関連付けられているMVは、CUの近隣ブロックの制御点MVに基づいて導出されることがある。導出されたサブブロックMVは、今後のコーディングのために動き場に格納されることがある。導出されたMVは、オーバーフローおよび/またはアンダーフローの問題を回避するために、動き場格納ビット深度の値に基づいてクリップされ得る。
アフィンコーディングされているCUの制御点MVおよび/またはサブブロックMVは、MV予測において、たとえば、近隣ブロックを予測する際に、使用され得る。MVによって指し示される参照領域は、たとえば、MVが動き場格納ビット深度に基づいてクリップされる場合でさえ、画像境界の外側にある可能性があり、および/または画像境界から遠く離れている可能性がある。
アフィン制御点MVおよび/またはアフィンサブブロックMVは、範囲値内でクリップされ得る。範囲値は、アフィンコーディングされているCUのMVを導出する際にサブブロックの一部が画像の外側にあることを可能にするために画像境界+マージンによって指定されることがある。たとえば、制御点MVは、アフィン動き補償後の結果として生じる参照ブロックが画像境界によって境界付けられるように(たとえば、さらなるマージンを考慮して)クリップおよび/またはスケーリングされることがある。サブブロックMVは、動き補償後の結果として生じる参照サブブロックと参照画像とが少なくとも1つのサンプルだけ重なることがあるようにクリップされ得る。
図15は、参照ブロックをスケーリングするように1つまたは複数の制御点MVを修正することの例を示している。図15において示されているように、初期参照ブロック1506に関連付けられている1つまたは複数の初期制御点MV、viが、参照ブロックが所望の範囲内に完全に含まれるようにスケーリングされるように修正されることがある。たとえば、その範囲は、画像境界1502+マージン1504に基づくことがある。図15においてさらに示されているように、修正された制御点MV、vmは、スケーリングされた参照ブロック1508の座標に基づいて決定され得る。例においては、初期制御点MVが、参照ブロックが範囲値内に完全に含まれるようにスケーリングされるように修正されることがある。その範囲値は、画像境界1502+マージン1504に基づくことがある。
図16は、参照ブロックを含むように制御点MVを修正することの例を示している。図16において示されているように、初期制御点MV、v2 iが、初期参照ブロック1606が有効領域1604を超えるように修正されることがある。有効領域1604は、画像境界1602+マージン1604に基づくことがある。初期制御点MV、v2 iは、修正された参照ブロック1608の左下隅が初期参照ブロック1606と有効領域1604との間における交点として選択されるように修正されることがある。制御点MV(たとえば、すべての制御点MV)は、さまざまなメカニズムを使用して修正されることがある。さまざまな技術が評価されることがあり、最良のパフォーマンスを生み出すことがある技術が選択されることがある。たとえば、サブブロックMV(たとえば、それぞれのサブブロックMV)が、アフィン制御点MVから導出されることがある。導出されたサブブロックMVにクリッピングが適用されることがある。たとえば、画像境界に対するサブブロックのロケーションに基づいてクリッピングが適用されることがある。例においては、サブブロックMV(たとえば、それぞれのサブブロックMV)が、関連付けられている参照サブブロックと参照画像とが1つまたは複数のサンプルだけ重なるようにクリップされ得る。たとえば、サブブロックMVの水平成分は、式(27)および(28)を使用することによって、
Figure 2021529462
Figure 2021529462
との間においてクリップされ得る。
Figure 2021529462
ここで、WpicおよびWSBは、それぞれ画像の幅およびサブブロックの幅であることがある。xSBは、画像内のサブブロックの左上隅の水平座標であることがある。サブブロックMVの垂直成分は、式(29)および(30)を使用することによって、
Figure 2021529462
Figure 2021529462
との間においてクリップされ得る。
Figure 2021529462
ここで、HpicおよびHSBは、それぞれ画像の高さおよびサブブロックの高さであることがある。oは、フィルタリング操作に関するオフセットであることがある。ySBは、画像内のサブブロックの左上隅の垂直座標であることがある。画像境界に対するCUの左上のロケーションが(たとえば、サブブロックのロケーションの代わりに)使用され得る。
特徴および要素が特定の組合せで上述されているが、各特徴または各要素は、単独で、またはその他の特徴および要素との任意の組合せで使用されることが可能であるということを当技術分野における標準的な技術者なら理解するであろう。加えて、本明細書において記述されている方法は、コンピュータまたはプロセッサーによって実行するためにコンピュータ可読メディアに組み込まれているコンピュータプログラム、ソフトウェア、またはファームウェアで実施され得る。コンピュータ可読メディアの例は、電子信号(有線接続またはワイヤレス接続を介して送信される)およびコンピュータ可読ストレージメディアを含む。コンピュータ可読ストレージメディアの例は、読み取り専用メモリー(ROM)、ランダムアクセスメモリ(RAM)、レジスタ、キャッシュメモリ、半導体メモリデバイス、内蔵ハードディスクおよび取り外し可能ディスクなどの磁気メディア、光磁気メディア、ならびにCD−ROMディスク、およびデジタル多用途ディスク(DVD)などの光メディアを含むが、それらには限定されない。WTRU、UE、端末、基地局、RNC、または任意のホストコンピュータにおいて使用するための無線周波数トランシーバを実施するために、ソフトウェアに関連付けられているプロセッサーが使用され得る。

Claims (15)

  1. ビデオコーディングを行うためのビデオコーディングデバイスによって実装される方法であって、
    アフィンモードがカレントビデオブロックに対して可能にされると決定するステップであって、前記カレントビデオブロックは、複数のサブブロックを含む、ステップと、
    前記ビデオブロックに関連付けられた複数の制御点アフィン動きベクトルを決定するステップと、
    前記複数の制御点アフィン動きベクトルのうちの少なくとも1つに基づいて、前記複数のサブブロックのうちのサブブロックに関連付けられたサブブロック動きベクトルを導出するステップと、
    動き場の範囲に基づいて前記サブブロック動きベクトルをクリップするステップと、
    前記クリップされたサブブロック動きベクトルを使用して前記サブブロックを予測するステップと
    を備えることを特徴とする方法。
  2. 空間的動きベクトル予測または時間的動きベクトル予測のために前記クリップされたサブブロック動きベクトルを格納するステップをさらに備えることを特徴とする請求項1に記載の方法。
  3. 前記カレントビデオブロックに関連付けられた前記複数の制御点アフィン動きベクトルのうちの少なくとも1つは、1つまたは複数の近隣のビデオブロックに関連付けられた1つまたは複数の制御点アフィン動きベクトルを使用して決定されることを特徴とする請求項1に記載の方法。
  4. 動き場の格納のために使用されるビット深度に基づいて、前記カレントビデオブロックに関連付けられた前記複数の制御点アフィン動きベクトルをクリップするステップをさらに備えることを特徴とする請求項1に記載の方法。
  5. 近隣の制御点アフィン動きベクトルについての動きベクトル予測のために前記複数のクリップされた制御点アフィン動きベクトルを格納するステップをさらに備えることを特徴とする請求項4に記載の方法。
  6. 前記動き場の範囲は、動き場の格納のために使用されることを特徴とする請求項1に記載の方法。
  7. 前記動き場の範囲は、ビット深度値に基づくことを特徴とする請求項1に記載の方法。
  8. 前記カレントビデオブロックについての長さと前記カレントビデオブロックについての幅とを決定するステップと、
    前記カレントビデオブロックについての前記長さと前記カレントビデオブロックについての前記幅とに基づいて、前記カレントビデオブロックについての前記複数の制御点アフィン動きベクトルに関連付けられた複数の制御点位置を決定するステップと
    をさらに備えることを特徴とする請求項1に記載の方法。
  9. 前記複数の制御点位置は、前記カレントビデオブロックについての前記幅が前記カレントビデオブロックについての前記長さよりも大きいという条件で左上の制御点と右上の制御点とを含むように決定されることを特徴とする請求項8に記載の方法。
  10. 前記複数の制御点位置は、前記カレントビデオブロックについての前記幅が前記カレントビデオブロックについての前記長さよりも小さいという条件で左上の制御点と左下の制御点とを含むように決定されることを特徴とする請求項8に記載の方法。
  11. 前記複数の制御点位置は、前記カレントビデオブロックについての前記幅が前記カレントビデオブロックについての前記長さに等しいという条件で左下の制御点と右上の制御点とを含むように決定されることを特徴とする請求項8に記載の方法。
  12. 少なくとも、
    アフィンモードがカレントビデオブロックに対して可能にされると決定し、前記カレントビデオブロックが複数のサブブロックを含み、
    前記ビデオブロックに関連付けられた複数の制御点アフィン動きベクトルを決定し、
    前記複数の制御点アフィン動きベクトルのうちの少なくとも1つに基づいて、前記複数のサブブロックのうちのサブブロックに関連付けられたサブブロック動きベクトルを導出し、
    動き場の範囲に基づいて前記サブブロック動きベクトルをクリップし、
    前記クリップされたサブブロック動きベクトルを使用して前記サブブロックを予測する
    ように構成されたプロセッサー
    を備えたことを特徴とするビデオコーディングデバイス。
  13. 前記プロセッサーは、空間的動きベクトル予測または時間的動きベクトル予測のために前記クリップされたサブブロック動きベクトルを格納するようにさらに構成されることを特徴とする請求項12に記載のビデオコーディングデバイス。
  14. 前記カレントビデオブロックに関連付けられた前記複数の制御点アフィン動きベクトルのうちの少なくとも1つは、1つまたは複数の近隣のビデオブロックに関連付けられた1つまたは複数の制御点アフィン動きベクトルを使用して決定されることを特徴とする請求項12に記載のビデオコーディングデバイス。
  15. 前記プロセッサーは、動き場の格納のために使用されるビット深度に基づいて、前記カレントビデオブロックに関連付けられた前記複数の制御点アフィン動きベクトルをクリップするようにさらに構成されることを特徴とする請求項12に記載のビデオコーディングデバイス。
JP2020571756A 2018-06-29 2019-06-27 アフィン動きモデルを基にしたビデオコーディングのためのアダプティブ制御点の選択 Pending JP2021529462A (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201862691770P 2018-06-29 2018-06-29
US62/691,770 2018-06-29
US201862734728P 2018-09-21 2018-09-21
US62/734,728 2018-09-21
US201862778055P 2018-12-11 2018-12-11
US62/778,055 2018-12-11
PCT/US2019/039611 WO2020006304A1 (en) 2018-06-29 2019-06-27 Adaptive control point selection for affine motion model based video coding

Publications (2)

Publication Number Publication Date
JP2021529462A true JP2021529462A (ja) 2021-10-28
JPWO2020006304A5 JPWO2020006304A5 (ja) 2022-07-05

Family

ID=67263124

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020571756A Pending JP2021529462A (ja) 2018-06-29 2019-06-27 アフィン動きモデルを基にしたビデオコーディングのためのアダプティブ制御点の選択

Country Status (9)

Country Link
US (2) US11503328B2 (ja)
EP (1) EP3815375A1 (ja)
JP (1) JP2021529462A (ja)
KR (1) KR20210038846A (ja)
CN (1) CN112335247A (ja)
CA (1) CA3105072A1 (ja)
SG (1) SG11202012967VA (ja)
WO (1) WO2020006304A1 (ja)
ZA (1) ZA202100014B (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020233662A1 (en) 2019-05-21 2020-11-26 Beijing Bytedance Network Technology Co., Ltd. Syntax signaling for optical-flow based inter coding
KR20210158400A (ko) * 2019-06-19 2021-12-30 엘지전자 주식회사 영상 코딩에서 변환 커널 세트를 나타내는 정보의 시그널링
US11432002B2 (en) * 2019-07-08 2022-08-30 Hyundai Motor Company Method and apparatus for encoding and decoding video using inter-prediction
US11317111B2 (en) * 2019-09-29 2022-04-26 Qualcomm Incorporated Affine coding with vector clipping
EP4032290A4 (en) 2019-10-18 2022-11-30 Beijing Bytedance Network Technology Co., Ltd. SYNTAX CONSTRAINTS IN REPORTING SUBPICTURE PARAMETER SETS
CN115567709A (zh) * 2020-07-30 2023-01-03 北京达佳互联信息技术有限公司 对子块中的像素位置处的样点进行编码的方法和装置
WO2023171988A1 (ko) * 2022-03-11 2023-09-14 현대자동차주식회사 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014509479A (ja) * 2011-01-31 2014-04-17 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート 動きベクトルを利用する映像符号化/復号化方法及び装置
WO2018061563A1 (ja) * 2016-09-27 2018-04-05 シャープ株式会社 アフィン動きベクトル導出装置、予測画像生成装置、動画像復号装置、および動画像符号化装置

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7206346B2 (en) 1997-06-25 2007-04-17 Nippon Telegraph And Telephone Corporation Motion vector predictive encoding method, motion vector decoding method, predictive encoding apparatus and decoding apparatus, and storage media storing motion vector predictive encoding and decoding programs
US9083983B2 (en) * 2011-10-04 2015-07-14 Qualcomm Incorporated Motion vector predictor candidate clipping removal for video coding
WO2016008157A1 (en) 2014-07-18 2016-01-21 Mediatek Singapore Pte. Ltd. Methods for motion compensation using high order motion model
US10681379B2 (en) * 2015-09-29 2020-06-09 Qualcomm Incorporated Non-separable secondary transform for video coding with reorganizing
GB2561507B (en) * 2016-01-07 2021-12-22 Mediatek Inc Method and apparatus for affine merge mode prediction for video coding system
WO2017147765A1 (en) * 2016-03-01 2017-09-08 Mediatek Inc. Methods for affine motion compensation
WO2017156705A1 (en) * 2016-03-15 2017-09-21 Mediatek Inc. Affine prediction for video coding
US10638152B2 (en) 2016-03-15 2020-04-28 Mediatek Inc. Method and apparatus of video coding with affine motion compensation
CN109804630A (zh) * 2016-10-10 2019-05-24 夏普株式会社 对视频数据编码执行运动补偿的***以及方法
US10681370B2 (en) * 2016-12-29 2020-06-09 Qualcomm Incorporated Motion vector generation for affine motion model for video coding
US10873760B2 (en) * 2017-04-07 2020-12-22 Futurewei Technologies, Inc. Motion vector (MV) constraints and transformation constraints in video coding
EP3410717A1 (en) 2017-05-31 2018-12-05 Thomson Licensing Methods and apparatus for candidate list pruning
US11877001B2 (en) * 2017-10-10 2024-01-16 Qualcomm Incorporated Affine prediction in video coding
US20190116376A1 (en) * 2017-10-12 2019-04-18 Qualcomm Incorporated Motion vector predictors using affine motion model in video coding
US11381834B2 (en) * 2018-04-02 2022-07-05 Hfi Innovation Inc. Video processing methods and apparatuses for sub-block motion compensation in video coding systems
HRP20230521T1 (hr) * 2018-06-03 2023-08-04 Lg Electronics Inc. Postupak i uređaj za obradu video signala pomoću smanjene transformacije
KR20230156805A (ko) * 2018-06-06 2023-11-14 엘지전자 주식회사 인트라 예측 모드에 기초하여 변환 인덱스 코딩을 수행하는 방법 및 이를 위한 장치
US10798394B2 (en) * 2018-06-27 2020-10-06 Avago Technologies International Sales Pte. Limited Low complexity affine merge mode for versatile video coding
US10863193B2 (en) * 2018-06-29 2020-12-08 Qualcomm Incorporated Buffer restriction during motion vector prediction for video coding
US10462488B1 (en) * 2018-07-13 2019-10-29 Tencent America LLC Method and apparatus for video coding
CN112640452B (zh) * 2018-08-29 2024-06-18 Vid拓展公司 用于基于仿射运动模型的视频译码的自适应运动向量精度
TWI729483B (zh) 2018-09-04 2021-06-01 聯發科技股份有限公司 視訊編解碼系統的運動向量湊整統一的方法以及裝置
EP3852374A4 (en) * 2018-09-23 2021-12-08 Lg Electronics Inc. PROCESS FOR ENCODING / DECODING VIDEO SIGNALS AND ASSOCIATED EQUIPMENT
CN112740663B (zh) * 2018-09-24 2022-06-14 华为技术有限公司 图像预测方法、装置以及相应的编码器和解码器
KR20210104895A (ko) * 2018-12-28 2021-08-25 텔레호낙티에볼라게트 엘엠 에릭슨(피유비엘) 인코더 및 디코더에서 변환 선택을 선택하기 위한 방법 및 장치
US11089325B2 (en) * 2019-02-08 2021-08-10 Qualcomm Incorporated Constrained affine motion inheritance for video coding
US10986334B2 (en) * 2019-03-09 2021-04-20 Tencent America LLC Method and apparatus for video coding
US20220053206A1 (en) * 2019-05-15 2022-02-17 Wilus Institute Of Standards And Technology Inc. Video signal processing method and apparatus using adaptive motion vector resolution
US11032572B2 (en) * 2019-05-17 2021-06-08 Qualcomm Incorporated Low-frequency non-separable transform signaling based on zero-out patterns for video coding
US11949870B2 (en) * 2019-06-21 2024-04-02 Qualcomm Incorporated Context modeling for low-frequency non-separable transformation signaling for video coding
US11677984B2 (en) * 2019-08-20 2023-06-13 Qualcomm Incorporated Low-frequency non-separable transform (LFNST) signaling
US11184617B2 (en) * 2019-09-19 2021-11-23 Qualcomm Incorporated Transform unit design for video coding
US11153576B2 (en) * 2019-09-20 2021-10-19 Qualcomm Incorporated Scaling matrices and signaling for video coding
US11206400B2 (en) * 2019-09-26 2021-12-21 Qualcomm Incorporated Low-frequency non-separable transform (LFNST) simplifications
US11228787B2 (en) * 2019-11-27 2022-01-18 Mediatek Inc. Signaling multiple transmission selection

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014509479A (ja) * 2011-01-31 2014-04-17 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート 動きベクトルを利用する映像符号化/復号化方法及び装置
WO2018061563A1 (ja) * 2016-09-27 2018-04-05 シャープ株式会社 アフィン動きベクトル導出装置、予測画像生成装置、動画像復号装置、および動画像符号化装置

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
HAN HUANG, ET AL.: ""CE4-related: Affine clean-up and constrained affine inheritance for local and line buffer reduction", DOCUMENT: JVET-L0690, [ONLINE], vol. JVET-L0690 (version 1), JPN6023024624, 8 October 2018 (2018-10-08), pages 1 - 4, ISSN: 0005087016 *
JIANLE CHEN, ET AL.: ""Algorithm Description of Joint Exploration Test Model 3"", DOCUMENT: JVET-C1001_V3, [ONLINE], vol. JVET-C1001 (version 3), JPN6023024625, 6 July 2016 (2016-07-06), pages 16 - 18, ISSN: 0005087015 *
LI JINGYA, ET AL.: ""AHG5: Reduction of worst case memory bandwidth"", DOCUMENT: JVET-L0122-V2, [ONLINE], vol. JVET-L0122 (version 2), JPN6023024626, 5 October 2018 (2018-10-05), pages 1 - 7, XP030194934, ISSN: 0005087014 *
MIN GAO, ET AL.: ""CE4-related: Sub-block MV clipping in affine prediction"", DOCUMENT: JVET-L0317-R1, [ONLINE], vol. JVET-L0317 (version 2), JPN6023003953, 30 September 2018 (2018-09-30), pages 1 - 3, ISSN: 0005087018 *
SRI NITCHITH AKULA, ET AL.: ""Description of SDR, HDR and 360°video coding technology proposal considering mobile application sc", DOCUMENT: JVET-J0024_V2, [ONLINE], vol. JVET-J0024 (version 5), JPN6022029455, 14 April 2018 (2018-04-14), pages 54 - 57, ISSN: 0005087019 *
村上 篤道(外2名)編, 「高効率映像符号化技術 HEVC/H.265とその応用」, vol. 第1版, JPN6023024623, 25 February 2013 (2013-02-25), JP, pages 125 - 136, ISSN: 0005087017 *

Also Published As

Publication number Publication date
CN112335247A (zh) 2021-02-05
ZA202100014B (en) 2023-10-25
US20210274209A1 (en) 2021-09-02
US20230073342A1 (en) 2023-03-09
US11991384B2 (en) 2024-05-21
SG11202012967VA (en) 2021-01-28
US11503328B2 (en) 2022-11-15
WO2020006304A1 (en) 2020-01-02
EP3815375A1 (en) 2021-05-05
KR20210038846A (ko) 2021-04-08
CA3105072A1 (en) 2020-01-02

Similar Documents

Publication Publication Date Title
JP7390300B2 (ja) ビデオコーディングにおける適応ループフィルタを簡略化する方法
JP7398442B2 (ja) ビデオコーディングのための双予測
US10917660B2 (en) Prediction approaches for intra planar coding
JP2021520710A (ja) 簡易化された勾配導出による双方向オプティカルフロー方法
JP2020526964A (ja) 双方向オプティカルフローに基づいた動き補償予測
JP2021502038A (ja) マージモード用のサブブロック動き導出およびデコーダサイド動きベクトル精緻化
JP2021529462A (ja) アフィン動きモデルを基にしたビデオコーディングのためのアダプティブ制御点の選択
JP2022516433A (ja) 対称的な動きベクトル差分符号化
JP7432505B2 (ja) マルチタイプツリーコーディング
US20220070441A1 (en) Combined inter and intra prediction
JP2023130415A (ja) オプティカルフローを用いたインター予測リファインメントのためのシステム、装置、および方法
JP2022525401A (ja) 対称的マージモード動きベクトル符号化
JP2022516091A (ja) 履歴ベースの動きベクトル予測
KR20210074280A (ko) 아핀 모델 기반 비디오 코딩에 대한 아핀 모션 추정
TWI842802B (zh) 結合的間和內預測的裝置及方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210225

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20210120

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20210423

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220627

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220627

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230620

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230920

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231220

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20240312