JP2023522845A - 参照領域を使用する映像符号化の方法及びシステム - Google Patents
参照領域を使用する映像符号化の方法及びシステム Download PDFInfo
- Publication number
- JP2023522845A JP2023522845A JP2022560403A JP2022560403A JP2023522845A JP 2023522845 A JP2023522845 A JP 2023522845A JP 2022560403 A JP2022560403 A JP 2022560403A JP 2022560403 A JP2022560403 A JP 2022560403A JP 2023522845 A JP2023522845 A JP 2023522845A
- Authority
- JP
- Japan
- Prior art keywords
- region
- decoder
- independent
- frame
- sub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 81
- 239000000872 buffer Substances 0.000 claims description 75
- 230000001131 transforming effect Effects 0.000 claims description 33
- 238000012512 characterization method Methods 0.000 claims description 15
- 230000007774 longterm Effects 0.000 claims description 10
- 230000009466 transformation Effects 0.000 claims description 9
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 5
- 230000003139 buffering effect Effects 0.000 claims 1
- 239000000284 extract Substances 0.000 abstract description 3
- 230000033001 locomotion Effects 0.000 description 24
- 238000012545 processing Methods 0.000 description 24
- 230000008569 process Effects 0.000 description 17
- 230000011664 signaling Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 230000006835 compression Effects 0.000 description 8
- 238000007906 compression Methods 0.000 description 8
- 230000003044 adaptive effect Effects 0.000 description 7
- 238000013139 quantization Methods 0.000 description 7
- 239000013598 vector Substances 0.000 description 7
- 238000000638 solvent extraction Methods 0.000 description 6
- 238000013459 approach Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000002093 peripheral effect Effects 0.000 description 5
- 241000023320 Luma <angiosperm> Species 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 238000007792 addition Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000003066 decision tree Methods 0.000 description 2
- 230000001934 delay Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 241000473391 Archosargus rhomboidalis Species 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
デコーダは、ビットストリームを受信することと、第1のフレームを特定することと、第1のフレーム内の第1の独立した参照領域を見つけることと、第1のフレームから第1の独立した参照領域を抽出することと、第2のフレームの参照として第1の独立した参照領域を使用して第2のフレームを復号化することとを行うように構成されている回路を含む。
Description
(関連出願)
本願は、2021年4月14日に出願され、「METHODS AND SYSTEMS OF VIDEO CODING USING REFERENCE REGIONS」と題された米国非仮出願第17/229,957の優先権の利益を主張し、その全体を参照により本明細書に援用し、2020年4月14日に出願され、「METHODS AND SYSTEMS OF VIDEO CODING USING REFERENCE REGIONS」と題された米国仮特許出願第63/009,978の優先権の利益を主張し、その全体を参照により本明細書に援用する。
本願は、2021年4月14日に出願され、「METHODS AND SYSTEMS OF VIDEO CODING USING REFERENCE REGIONS」と題された米国非仮出願第17/229,957の優先権の利益を主張し、その全体を参照により本明細書に援用し、2020年4月14日に出願され、「METHODS AND SYSTEMS OF VIDEO CODING USING REFERENCE REGIONS」と題された米国仮特許出願第63/009,978の優先権の利益を主張し、その全体を参照により本明細書に援用する。
本発明は、概して、ビデオ圧縮の分野に関する。特に、本発明は、参照領域を使用する映像符号化の方法及びシステムを対象にする。
ビデオコーデックは、デジタルビデオを圧縮し、或いは解凍する電子回路又はソフトウェアを含み得る。それは、圧縮されていないビデオを圧縮されたフォーマットに変換することができ、或いはその逆も同様であり得る。ビデオ圧縮のコンテキストでは、ビデオを圧縮する(且つ/或いはそのいくつかの機能を実行する)デバイスは典型的に、エンコーダと呼ばれることがあり、ビデオを解凍する(且つ/或いはそのいくつかの機能を実行する)デバイスは、デコーダと呼ばれることがある。
圧縮されたデータのフォーマットは、標準的なビデオ圧縮仕様に準拠し得る。圧縮は、圧縮されたビデオが元のビデオに存在するいくつかの情報を欠くという点で非可逆的であり得る。この結果は、元のビデオを正確に再構成するための情報が不十分であるので、解凍されたビデオは、元の圧縮されていないビデオよりも低い品質を有し得ることを含み得る。
ビデオ品質、(例えば、ビットレートによって判定される)ビデオを表すために使用されるデータ量、符号化及び復号化アルゴリズムの複雑さ、データ損失及びエラーに対する感度、編集の容易さ、ランダムアクセス、エンドツーエンド遅延(例えば、遅延)などの間に複雑な関係が存在し得る。
動き補償は、ビデオにおけるカメラ及び/又はオブジェクトの動きを考慮することによって、以前の且つ/或いは未来のフレームなどの、参照フレームを与えられたビデオフレーム又はその一部分を予測するアプローチを含み得る。それは、ビデオ圧縮のためのビデオデータの符号化及び復号化、例えば、(H.264とも呼ばれる)Motion Picture Experts Group(MPEG)のadvanced video coding(AVC)規格を使用した符号化及び復号化で採用され得る。動き補償は、参照ピクチャから現在のピクチャへの変換という観点からピクチャを記述し得る。参照ピクチャは、現在のピクチャと比較すると時間的に以前のものであることがあり、現在のピクチャと比較すると未来からのものであることがある。画像が、以前に伝送され且つ/或いは格納された画像から正確に画像を合成され得るとき、圧縮効率は向上され得る。
一態様では、デコーダは、符号化されたビデオビットストリームを受信することであって、符号化されたビデオストリームは、符号化された参照ピクチャ及び第1のサイズを有する符号化された現在のピクチャを含む、受信することと、参照ピクチャを復号化することと、ビットストリームから参照ピクチャのサブ領域を特定することであって、サブ領域は、第2のサイズを有し、第2のサイズは、第1のサイズとは異なる、特定することと、再スケーリングされた参照ピクチャを形成するためにサブ領域を第3のサイズに再スケーリングすることであって、第3のサイズは、第1のサイズに等しい、再スケーリングすることと、再スケーリングされた参照ピクチャを使用して現在のピクチャを復号化することと、を行うように構成されている回路を含む。
別の態様では、デコーダは、符号化された第1の参照ピクチャ及び符号化された現在のピクチャを含む符号化されたビデオビットストリームを受信することと、参照ピクチャを復号化することと、ビットストリームから参照ピクチャの第1のサブ領域を特定することと、第2の参照ピクチャを形成するために第1のサブ領域を変換することと、第2の参照ピクチャを使用して現在のピクチャを復号化することと、を行うように構成されている回路を含む。
別の態様では、参照領域を使用する映像符号化の方法は、デコーダによって、符号化されたビデオビットストリームを受信することであって、符号化されたビデオストリームは、符号化された参照ピクチャ及び第1のサイズを有する符号化された現在のピクチャを含む、受信することと、デコーダによって、参照ピクチャを復号化することと、デコーダによって且つビットストリームから、参照ピクチャのサブ領域を特定することであって、サブ領域は、第2のサイズを有し、第2のサイズは、第1のサイズとは異なる、特定することと、デコーダによって、再スケーリングされた参照ピクチャを形成するためにサブ領域を第3のサイズに再スケーリングすることであって、第3のサイズは、第1のサイズに等しい、再スケーリングすることと、デコーダによって、再スケーリングされた参照ピクチャを使用して現在のピクチャを復号化することと、を含む。
別の態様では、デコーダは、ビットストリームを受信することと、第1のフレームを特定することと、第1のフレーム内の第1の独立した参照領域を見つけることと、第1のフレームから第1の独立した参照領域を抽出することと、第2のフレームの参照として第1の独立した参照領域を使用して第2のフレームを復号化することと、を行うように構成されている回路を含む。
別の態様では、参照領域を使用する映像符号化の方法は、ビットストリームを受信することと、第1のフレームを特定することと、第1のフレーム内の第1の独立した参照領域を見つけることと、第1のフレームから第1の独立した参照領域を抽出することと、第2のフレームの参照として第1の独立した参照領域を使用して第2のフレームを復号化することと、を含む。
本発明の非限定的な実施形態のこれら及び他の態様及び特徴は、添付の図面と共に本発明の特定の非限定的な実施形態の以下の説明を検討することにより、当業者に明らかになるであろう。
本発明を説明する目的で、図面は、本発明の1つ又は複数の実施形態の態様を示す。しかしながら、本発明は、図面に示される正確な配置及び手段に限定されないことを理解されたい。
図1は、参照フレームを使用して復号化する一実施形態を示すブロックダイアグラムである。
図2は、独立した参照領域を有する参照フレームの例示的な一実施形態の説明図である。
図3は、独立した参照領域及び予測フレームの例示的な一実施形態の説明図である。
図4は、独立した参照領域及び予測フレームの例示的な一実施形態の説明図である。
図5は、独立した参照領域及び予測フレームの例示的な一実施形態の説明図である。
図6は、LTRバッファの例示的な一実施形態の説明図である。
図7は、本対象のいくつかの実装形態による、ビデオを復号化する例示的なプロセスを示すプロセスフローダイアグラムである。
図8は、本対象のいくつかの実装形態による、ビットストリームを復号化することができる例示的なデコーダを示すシステムブロックダイアグラムである。
図9は、本対象のいくつかの実装形態による、ビデオを符号化する例示的なプロセスを示すプロセスフローダイアグラムである。
図10は、本対象のいくつかの実装形態による、例示的なビデオエンコーダを示すシステムブロックダイアグラムである。
図11は、本明細書に開示される任意の1つ又は複数の方法論、及び任意の1つ又は複数のその部分を実装するために使用され得るコンピューティングシステムのブロックダイアグラムである。
図面は、必ずしも縮尺通りではなく、想像線、図表示、及び部分図によって説明され得る。場合によっては、実施形態の理解に必要でない詳細、又は他の詳細を把握することを困難にする詳細は、省略され得る。
従来の映像符号化方式では、ビデオシーケンスは、Group-of-Pictures(GOP)に分割される。各GOPは、時間的な且つ空間的な予測という意味で自己完結されている。通常、グループにおける最初のピクチャは、後続のピクチャのための参照ピクチャとして使用される。ピクチャ間の時間的な且つ空間的な関係は、予測符号化を使用して非常に効率的な圧縮を可能にする。
ここで、図1を参照すると、各GOPは、参照として使用される参照フレーム104又はイントラフレーム(I-フレーム)、及び参照から他のフレーム108を予測するために使用可能な情報を含み得る。予測のために使用可能な情報は、限定されないが、グローバル及び/又はローカル動きベクトル及び/又は変換、ならびにさらに説明されるように残差を含んでもよい。参照フレーム104又はIフレームの伝送は、GOPの伝送に使用される帯域幅の実質的な部分を表し得る。
いくつかの実施形態では、長期参照(LTR)フレームを使用して、伝送帯域幅が低減されてもよく、且つ/或いは、復号化及び/又は符号化効率が改善されてもよい。本開示で使用されるように、LTRフレームは、1つ又は複数のグループオブピクチャ(GOP)において、予測フレーム及び/又はピクチャを作成するために使用されるフレーム及び/又はピクチャであるが、それ自体はビデオピクチャに表示されないことがある。ビデオビットストリームにおいてLTRフレームとしてマークされたフレームは、ビットストリームシグナリングによって明示的に削除されるまで、参照として利用可能であってもよい。LTRフレームは、長期間にわたって静的な背景を有するシーン(例えば、ビデオ会議の背景又は駐車場監視のビデオ)における予測及び圧縮効率を向上させ得る。
H.264及びH.265などの現在の規格は、格納され、参照フレーム104として利用可能にする新たに復号化されたフレームをシグナリングすることによって、LTRフレームなどの、類似フレームの更新を可能にする。そのような更新は、エンコーダによってシグナリングされ、フレーム全体が更新される。しかしながら、フレーム全体を更新することは、特に、静的背景のほんの一部分しか変化していない場合、コストがかかり得る。
ここで、図2を参照すると、本明細書に開示される実施形態は、現在のフレームの参照として参照フレーム104の少なくとも参照領域を使用して予測を実行することによって、上述された予測プロセスの効率及び柔軟性を改善し、参照領域又は「サブ領域」は、サイズを有し、サイズは、参照フレーム104のエリアよりも小さい、例えば、画素で定義される、エリアを含んでもよい。予測フレームが参照フレーム104全体から生成される、現在の符号化規格とは対照的に、上述されたアプローチは、デコーダが、より効率的に、より大きなバリエーションで復号化動作を実行することを可能にし得る。少なくともサブ領域204は、GOP内の任意の位置に、任意のフレーム数に使用されてもよく、したがって、I-フレームの再符号化及び/又は再伝送の要件を除外する。
引き続き図2を参照すると、ビデオビューのクロップされた部分を表すサブ領域204を有する参照フレーム104の例示的な一実施形態が示される。サブ領域204は、例えば、以下にさらに詳細に説明されるように、デコーダによって、参照フレーム104内で特定されてもよい。サブ領域204は、クロップされた参照フレーム104が別々に伝送されることを必要とせず、クロップされた参照フレーム104の使用に類似する方法において参照領域として使用されてもよい。
また、図2を参照すると、非限定的且つ例示的な一実施例として、参照フレーム104は、第1の幅D1及び第1の高さD2によって定義される第1の解像度を有してもよく、D1及びD2は、限定されないが、画素及び/又は画素の端数などの、測定単位の数であってもよい。参照フレーム104のエリアは、解像度D1×D2として定義される、測定単位D1及びD2の長方形の配列のエリアとして定義されてもよい。サブ領域204は、W×Hのエリア又は解像度を定義する、幅W及び高さHを有してもよい。サブ領域204は、同じ、或いは、より小さい寸法を有する参照ピクチャ内のサブピクチャを定義してもよく、「より小さい寸法」は、W及びHの少なくとも1つが参照フレームの対応する寸法よりも小さいことを意味する。言い換えれば、WがD1よりも小さいか、或いはHがD2よりも小さいかのいずれかである。その結果、解像度又はエリアW×Hは、解像度又はエリアD1×D2よりも小さくてもよい。サブ領域204は、4項組(X,Y,W,H)によって定義されてもよく、X,Yは、参照ピクチャの左上隅に対するサブ領域204の左上隅の座標であり、W,Hは、測定単位で表されるサブ領域204の幅及び高さである。代替の4項組は、限定されないが、サブ領域204の代替の隅の座標、2つの対角線上に対向する頂点のセット、及び/又は任意の定義された点へのベクトルなどの、サブ領域204を定義するために選択され得ることに留意されたい。サブ領域204を定義するデータは、GOPにわたって静的であってもよい。例えば、4項組(X,Y,W,H)又は同等のものが、GOPにわたって静的であってもよい。代替的に或いは追加的に、サブ領域204を定義するデータは、動的であってもよい。例えば、限定されないが、サブ領域204は、ビデオピクチャにおける関心のある、オブジェクト及び/又は人物の動きにしたがうように、GOPの後続のピクチャ間で変化する。これは、概して、映像符号化に使用される動きベクトル及び/又は変換と同様に符号化されてもよい。グループオブピクチャの各ピクチャに対してサブ領域204を定義するデータが提供されてもよい。これは、限定されないが、例えば、上述されたように、1つのピクチャにおけるサブ領域204を定義するデータのセットによって、1つのピクチャから前又は後続のピクチャへのサブ領域204の動きを記述するさらなるデータによってなど、グループオブピクチャの各ピクチャに対して、サブ領域204を定義するデータのセットによって、達成されてもよい。サブ領域204を定義するデータは、シーケンスパラメータセット(SPS)において指定されてもよく、且つ/或いはシグナリングされてもよい。サブ領域204を定義する更新データは、GOPの1つ又は複数の選択されたピクチャ及び/又はフレームに対してピクチャパラメータセット(PPS)において提供されてもよい。
引き続き図2を参照すると、デコーダは、解像度D1×D2で参照フレームを受信しているところであってもよく、まさに受信しようとしていてもよく、或いは既に受信していてもよく、上述されたように、4項組を使用してサブ領域204を選択してもよい。いくつかの実装形態では、エンコーダは、ビットストリームにおける余分なビットを使用して、デコーダにサブ領域204の幾何学的特性をシグナリングしてもよい。シグナリングビットは、以下にさらに詳細に説明されるように、LTRバッファ及び/又は参照バッファなどのバッファ内の、参照フレーム104インデックス及び/又はGOPを特定するインデックスと、デコーダでピクチャインデックスを特定することと、サブ領域204の4項組とを示してもよい。次いで、デコーダは、独立した参照領域としてサブ領域204を抽出してもよい。後続のフレームは、抽出された独立した参照領域から予測されてもよい。サブ領域204を定義するデータが上述されたように動的である場合、後続のフレームはさらに、そのようなデータ及び参照領域を使用して予測されてもよい。有利には、単一の参照領域は、参照領域の再伝送を必要とすることなく、ピクチャに関連して移動するサブ領域204に使用されてもよい。代替的に或いは追加的に、サブ領域204、参照フレーム104などのサイズ及び/又は位置は、高さオフセット、高さ、長さオフセット、及び/又は長さなどの、ビットストリームにおいてシグナリングされ得る、パラメータを使用して特徴付けられてもよい。
また、図2を参照すると、サブ領域204は、少なくとも1つの垂直オフセット及び少なくとも1つの水平オフセットを使用してシグナリングされてもよい。例えば、限定されないが、上述されたように、4項組は、フレームの上端からの垂直オフセット、フレームの下端からの垂直オフセット、フレームの左端からの水平オフセット、及びフレームの右端からの水平オフセットを指定してもよく、オフセットは、以下にさらに詳細に説明されるように、再スケーリングの前又は後続のいずれかのフレームの画素で測定されてもよい。非限定的な一実施例として、少なくとも1つの垂直オフセットは、sps_conf_win_top_offset及びsps_conf_win_bottom_offsetを含んでもよく、これらは、SPSにおいてシグナリングされてもよく、フレームの上端からの垂直オフセット及びフレームの下端からの垂直オフセットをそれぞれ特定してもよい。さらなる非限定的な一実施例として、少なくとも1つの水平オフセットは、sps_conf_win_left_offset及びsps_conf_win_right_offsetを含んでもよく、これらは、SPSにおいてシグナリングされてもよく、フレームの左端からの水平オフセット及びフレームの右端からの水平オフセットをそれぞれ特定してもよい。
引き続き図2を参照すると、代替的又は追加的に、サブ領域204は、サブ領域204に含まれるべき且つ/或いはサブ領域204から除外されるべき1つ又は複数のタイル又はスライスの指定によって特定されてもよい。フレーム内のタイル数及び位置は、ピクチャヘッダにおいてシグナリングされてもよい。一実施形態では、シグナリングは、明示的であってもよい。代替的に或いは追加的に、PPSは、タイル行、列、行の高さ、及び/又は列幅、タイルカウント及び/又は数を判定するためにデコーダによって結び付けられ、且つ/或いは利用され得る任意の或いは全てのそれらをシグナリングしてもよい。例えば、限定されないが、1が加えられた、pps_num_exp_tile_columns_minus1として示されるPPSパラメータは、明示的に提供されたタイル列幅の数を指定してもよい。さらなる非限定的な一実施例として、1が加えられた、パラメータpps_tile_column_width_minus1[i]は、例えば、0からpps_num_exp_tile_columns_minus1までの範囲におけるiに関して、コーディングツリーブロック(CTB)の単位で、i番目のタイル列幅を指定してもよい。1が加えられた、パラメータpps_tile_row_height_minus1[i]は、例えば、iに関して、CTBの単位で、i番目のタイル行の高さを指定してもよい。代替的に或いは追加的に、シグナリングされたパラメータは、1つ又は複数のタイル内のスライスの数及び/又は寸法を指定してもよい。例えば、pps_num_exp_slices_in_tile[i]で示されるパラメータは、i番目のスライスを含むタイルにおけるスライスに関して、明示的に提供されたスライスの高さの数を指定してもよい。1が加えられた、pps_slice_width_in_tiles_minus1[i]で示されるパラメータは、タイル列の単位で、i番目の長方形のスライスの幅を指定してもよい。1が加えられた、pps_slice_height_in_tiles_minus1[i]で示されるパラメータは、例えば、pps_num_exp_slices_in_tile[i]が0に等しいとき、タイル行の単位で、i番目の長方形のスライスの高さを指定してもよい。当業者は、本開示の全体を検討する際に、タイル及び/又はスライスパラメータが、暗示的に或いは明示的に関わらず、ビットストリーム及び/又はヘッダパラメータにおいて、且つ/或いは、ビットストリーム及び/又はヘッダパラメータから、シグナリングされ、且つ/或いは判定され得る様々な代替の或いは追加の方法を承知するであろう。
また、図2を参照すると、サブ領域204の変換がサブ領域204を再スケーリングすることを含む場合、より小さい、且つ/或いは、より大きいサブ領域の幅及び高さが、サブ領域204の幅及び高さに、任意の再スケーリング定数(Rc)を乗じることによって取得されてもよく、再スケーリング定数(Rc)は、スケーリング因子及び/又は定数とも呼ばれ、代替的に或いは追加的に、RefPicScaleなどの変数名で呼ばれ得る。より小さいサブ領域204の場合、Rcは、0-1の間の値を有してもよい。より大きいフレームの場合、Rcは、1よりも大きい値を有してもよい。例えば、Rcは、1-4の間の値を有してもよい。他の値であってもよい。再スケーリング定数は、1つの解像度次元と別の解像度次元とで異なっていてもよい。例えば、再スケーリング定数Rchは、高さを再スケーリングするために使用されてもよく、別の再スケーリング定数Rcwは、幅を再スケーリングするために使用されてもよい。
また、図2を参照すると、再スケーリングは、モードとして実装されてもよい。いくつかの実装形態では、エンコーダは、例えば、pps_pic_width_in_luma_samplesパラメータ、pps_scaling_win_right_offsetパラメータ、及び/又はpps_scaling_win_left_offsetパラメータなどの、ピクチャパラメータの関数として、使用する再スケーリング定数をデコーダにシグナリングしてもよい。シグナリングは、現在のピクチャを含むGOPに対応するシーケンスパラメータセット(SPS)及び/又は現在のピクチャに対応するピクチャパラメータセット(PPS)において実行されてもよい。例えば、限定されないが、エンコーダは、pps_pic_width_in_luma_samples、pps_pic_height_in_luma_samples、pps_scaling_win_left_offset、pps_scaling_win_right_offset、pps_scaling_win_top_offset、pps_scaling_win_bottom_offset、及び/又はsps_num_subpics_minus1などの、フィールドを使用して再スケーリングされたパラメータをシグナリングしてもよい。pps_scaling_window_explicit_signalling_flagなどのパラメータが1に等しいことは、スケーリングウィンドウオフセットパラメータがPPSにおいて存在することを指定してもよい。pps_scaling_window_explicit_signalling_flagが0に等しいことは、スケーリングウィンドウオフセットパラメータがPPSにおいて存在しないことを示してもよい。sps_ref_pic_resampling_enabled_flagが0に等しいとき、pps_scaling_window_explicit_signalling_flagの値は、0に等しくてもよい。pps_scaling_win_left_offset、pps_scaling_win_right_offset、pps_scaling_win_top_offset、及びpps_scaling_win_bottom_offsetは、スケーリング比率計算のためにピクチャサイズに適用されるオフセットを指定してもよい。存在しないとき、pps_scaling_win_left_offset、pps_scaling_win_right_offset、pps_scaling_win_top_offset、及びpps_scaling_win_bottom_offsetの値は、それぞれ、pps_conf_win_left_offset、pps_conf_win_right_offset、pps_conf_win_top_offset、及びpps_conf_win_bottom_offsetに等しいと推定されてもよい。
さらに図2を参照すると、上述されたように、W及びHパラメータは、限定されないが、それぞれ、変数CurrPicScalWinWidthL及びCurrPicScalWinHeightLを使用して表されてもよい。これらの変数は、シグナリングされたパラメータと変数との間の1つ又は複数の数学的関係を使用して、上述されたように、シグナリングされたパラメータから導き出されてもよい。例えば、限定されないが、CurrPicScalWinWidthLは、以下の式にしたがって導き出され得る。
CurrPicScalWinWidthL = pps_pic_width_in_luma_samples - SubWidthC * (pps_scaling_win_right_offset + pps_scaling_win_left_offset)
CurrPicScalWinWidthL = pps_pic_width_in_luma_samples - SubWidthC * (pps_scaling_win_right_offset + pps_scaling_win_left_offset)
さらなる非限定的な一実施例として、CurrPicScalWinHeightLは、以下の式にしたがって導き出され得る。
CurrPicScalWinWidthL = pps_pic_width_in_luma_samples - SubWidthC * (pps_scaling_win_right_offset + pps_scaling_win_left_offset)
再スケーリング動作は、符号化されたフレーム及び/又はサブ領域204のブロックレベルで実行されてもよい。例えば、参照フレーム104として使用されるべきサブ領域204は、最初に再スケーリングされ、その後、予測が実行されてもよい。ブロック予測プロセスは、元の参照フレーム104ではなく、(スケーリングされた解像度を有する)スケーリングされた参照フレーム104上で実行されてもよい。参照フレーム104及び/又はサブ領域204の再スケーリングは、上述されたように、エンコーダによってシグナリングされた任意のパラメータにしたがった再スケーリングを含んでもよい。例えば、限定されないが、参照フレーム104に関連付けられたインデックス値への参照を介してなど、現在のピクチャと共に使用されるべき参照フレーム104がシグナリングされる場合、シグナリングされた参照フレーム104は、上述された再スケーリングの任意の方法にしたがって、予測に先立って、再スケーリングされてもよい。再スケーリングされた参照フレーム104は、メモリ及び/又はバッファに格納されてもよく、バッファは、限定されないが、フレーム検索が実行され得るインデックスによってそこに含まれるフレームを特定するバッファを含んでもよい。バッファは、復号ピクチャバッファ(DCB)及び/又はデコーダによって実装される1つ又は複数のさらなるバッファを含んでもよい。例えば、予測プロセスは、動き補償を含むインターピクチャ予測を含んでもよい。
CurrPicScalWinWidthL = pps_pic_width_in_luma_samples - SubWidthC * (pps_scaling_win_right_offset + pps_scaling_win_left_offset)
再スケーリング動作は、符号化されたフレーム及び/又はサブ領域204のブロックレベルで実行されてもよい。例えば、参照フレーム104として使用されるべきサブ領域204は、最初に再スケーリングされ、その後、予測が実行されてもよい。ブロック予測プロセスは、元の参照フレーム104ではなく、(スケーリングされた解像度を有する)スケーリングされた参照フレーム104上で実行されてもよい。参照フレーム104及び/又はサブ領域204の再スケーリングは、上述されたように、エンコーダによってシグナリングされた任意のパラメータにしたがった再スケーリングを含んでもよい。例えば、限定されないが、参照フレーム104に関連付けられたインデックス値への参照を介してなど、現在のピクチャと共に使用されるべき参照フレーム104がシグナリングされる場合、シグナリングされた参照フレーム104は、上述された再スケーリングの任意の方法にしたがって、予測に先立って、再スケーリングされてもよい。再スケーリングされた参照フレーム104は、メモリ及び/又はバッファに格納されてもよく、バッファは、限定されないが、フレーム検索が実行され得るインデックスによってそこに含まれるフレームを特定するバッファを含んでもよい。バッファは、復号ピクチャバッファ(DCB)及び/又はデコーダによって実装される1つ又は複数のさらなるバッファを含んでもよい。例えば、予測プロセスは、動き補償を含むインターピクチャ予測を含んでもよい。
また、図2を参照すると、ブロックベースの再スケーリングのいくつかの実装形態は、フレーム全体に同じフィルタを適用する代わりに、各ブロックに最適なフィルタを適用する柔軟性を可能にしてもよい。いくつかの実装形態では、(例えば、画素の均一性及びビットレートコストに基づいて)いくつかのブロックが、(再スケーリングがビットレートを変更しないように)スキップ-再スケーリングモードであり得ることを可能にしてもよい。スキップ-再スケーリングモードは、ビットストリームにおいてシグナリングされてもよい。例えば、限定されないが、スキップ-再スケーリングモードは、PPSパラメータにおいてシグナリングされてもよい。代替的に或いは追加的に、デコーダは、デコーダによって設定された且つ/或いはビットストリームにおいてシグナリングされた1つ又は複数のパラメータに基づいて、スキップ-再スケーリングモードがアクティブであると判定してもよい。
また、図2を参照すると、再スケーリングは、空間フィルタを使用するアップサンプリング又はその他の方法を含んでもよい。再スケーリングにおいて使用される空間フィルタは、限定されないが、バイキュービック補間を適用するバイキュービック空間フィルタ、バイリニア解釈を適用するバイリニア空間フィルタ、sincフィルタ、sinc関数補間及び/又は信号再構成技術などの組み合わせを使用する、Lanczosフィルタリング及び/又はLanczos再サンプリングを使用する、Lanczosフィルタを含んでもよい。当業者は、本開示の全体を検討する際に、本開示と一貫する補間に使用され得る様々なフィルタを承知するであろう。非限定的な一実施例として、補間フィルタは、上述された任意のフィルタ、ローパスフィルタを含んでもよく、ローパスフィルタは、限定されないが、スケーリング前のブロック及び/又はフレームの画素間の画素がゼロに初期化され得るアップサンプリング処理として使用されてもよく、次いで、ローパスフィルタの出力が入力されてもよい。代替的に或いは追加的に、任意のルーマサンプル補間フィルタリング処理が使用されてもよい。ルーマサンプル解釈は、スケーリングされていないサンプル配列の2つの連続するサンプル値の間に位置する、ハーフサンプル補間フィルタインデックスで補間値の計算を含んでもよい。補間値の計算は、限定されないが、ルックアップテーブルから係数及び/又は重みの検索によって、実行されてもよい。ルックアップテーブルの選択は、例えば、上述されたように、スケーリング定数を使用して判定されるように、コーディングユニット及び/又はスケーリング比率量の動きモデルの関数として実行されてもよい。計算は、限定されないが、隣接する画素値の重み付き和を実行することを含んでもよく、重みは、ルックアップテーブルから検索される。代替的に或いは追加的に、計算された値は、シフトされてもよい。例えば、限定されないが、値は、Min(4,BitDepth-8),6,Max(2,14-BitDepth)などによってシフトされてもよい。当業者は、本開示の全体を検討する際に、補間フィルタに使用され得る様々な代替の或いは追加の実装形態を承知するであろう。
ここで、図3を参照すると、予測ピクチャ108は、抽出された独立した参照領域304と同一の或いは類似の解像度及び/又はサイズを有し得る。このアプローチは、ビデオ解像度をダウンスケーリングし、したがってビットレートを低減するために、視聴者にとって関心のある、領域に焦点を合わせるために、且つ/或いは、いくつかの目的及び/又はタスクに、より大きな関連性がある、視覚データを含むものとして自動検出又はユーザにとって容易な検出によって特定される領域に焦点を合わせるために、使用されてもよい。代替的に或いは追加的に、このアプローチは、ネットワーク速度が低下した場合、ビデオの表示を継続することを可能にしてもよい。このアプローチによって与えられる利点は、ビデオ伝送に使用される帯域幅を節約すること、映像符号化に使用される資源を節約すること、及び/又はビデオを復号化し、再生するのに必要とされる時間を節約することを含み得る。開示された実施形態を実装するデバイス及び/又はネットワークにおいて、資源の、より有効な使用だけでなく、優れたユーザエクスペリエンスという結果になり得る。
また、図3を参照すると、その後、予測ピクチャ108は、より小さい、或いは、より大きいピクチャに再スケーリングされ得る。より小さいピクチャ、或いは、より大きいピクチャの幅及び高さは、W及びHに、任意の再スケーリング定数(Rc)(スケーリング係数とも呼ばれる)を乗じることによって取得されてもよい。非限定的な一実施例として、より小さいピクチャの場合、Rcは、0-1の間の値を有してもよい。さらなる非限定的な一実施例として、より大きいフレームの場合、Rcは、1-4の間の値を有してもよい。他の値であってもよい。再スケーリング動作は、エンドユーザ、及び/又は、エンドユーザにビデオを表示するコンピューティングデバイス上で動作するさらなるプログラム及び/又はモジュールのオプションとして残されてもよく、一実施例では、ディスプレイ解像度に合うように画像を再スケーリングし得る。
ここで、図4を参照すると、デコーダは、独立した参照領域304を再スケーリングし、例えば、上述されたように、再スケーリング定数を使用して、再スケーリングされた領域404を生成し、元のビデオピクチャのフル解像度及び/又は目標解像度に一致してもよい。例えば、W及びHはそれぞれ、限定されないが、Rc=D1/Wなどの、上述されたようにD1及びD2と同じサイズにW及びHをスケーリングするために選択されたRcを乗じてもよい。予測及び他の演算は、再スケーリングされたサブ領域を使用して予測ピクチャを取得するために実行されてもよい。
ここで、図5を参照すると、独立した参照領域204は、ピクチャ全体ではなく、ピクチャの一部分を予測するために使用され得る。例えば、限定されないが、360度ビデオピクチャ及び/又は仮想現実で使用されるビデオピクチャなどの、ピクチャは、ユーザの視野を越えて拡張することがあり、そのような状況では、ビデオピクチャの所定のフレームは、予測された且つ/或いは検出された、ユーザの現在の視野に対応する独立した参照領域204と共にレンダリングされてもよい。他の実施形態では、独立した参照領域は、第1のフレームの重要な、非常に詳細な、且つ/或いは動きの多い部分に対応してもよい。予測されたフレームの残余は、任意の他の適切な予測及び/又は復号化方法を使用して生成されてもよい。画素は、符号化されないことがあり、限定されないが、黒などのデフォルト色で符号化されてもよく、且つ/或いは、隣接する画素のクロマ値及び/又はルーマ値が与えられてもよく、例えば、画面いっぱいに、独立した参照領域のエッジからクロマ値及びルーマ値を拡張してもよい。代替的に或いは追加的に、部分は、参照フレーム、残差、動きベクトルなどの他の部分から予測されてもよい。
また、図5を参照すると、デコーダは、ここでは例示的な目的のために「1」として示される、第1の独立した参照領域204を変換することによって、第2のフレームの全て又は一部を復号化し得る。第1の独立した参照領域204を変換することは、例えば、上述されたように、第1の独立した参照領域204をスケーリングすることを含んでもよい。代替的に或いは追加的に、第1の独立した参照領域204を変換することは、ビデオピクチャにおける位置に対して第1の独立した参照領域204を移動させることを含んでもよく、ビデオピクチャにおける位置は、ビデオピクチャにおけるエッジ及び/又は任意の座標を含んでもよい。非限定的な一実施例として、図5に例示的な目的のために示されるように、第1の独立した参照領域204は、例えば、アフィン変換などの線形変換を使用して、ビデオピクチャ座標系における元の位置から変位されてもよく、且つ/或いは、エッジ及び/又は画素数に対して新規の位置に変位されてもよく、本開示で使用される「アフィン動き変換」は、動いている間に見かけの形状を変化することなくビデオにおけるビューにわたって動くオブジェクトを示す画素のセットなどの、ビデオピクチャ及び/又はピクチャにおいて表される画素又は点のセットの均一な変位を記述する行列及び/又はベクトルなどの変換である。行列又は他の数学的記述子を使用して記述可能な任意の変換を含む、任意の変換は、第1の独立した参照領域を移動させ、或いはその他の方法で変換するために、本開示と一貫して使用されてもよい。例えば、限定されないが、第1の独立した参照領域を変換することは、ビデオピクチャにおける位置に対して第1の独立した参照領域を回転させること、第1の独立した参照領域を反転させることなどを含んでもよい。
また、図5を参照すると、復号化は、ここでは例示的な目的のために「2」として示される、第2の独立した参照領域204の使用を含み得る。一実施形態では、デコーダは、第1のフレームにおける第2の独立した参照領域204を見つけてもよく、第1の独立した参照領域204に関して上述された任意の方法で実行されてもよい。代替的に或いは追加的に、第2の独立した参照領域204は、以下にさらに詳細に説明されるように、別の参照フレームから抽出され、且つ/或いは参照バッファ及び/又はLTRバッファなどの、バッファから検索されてもよい。第2の独立した参照領域204からの復号化は、第1の独立した参照領域に関して上述されたように、任意の方法及び/又は方法ステップを使用して実行されてもよい。第1の独立した参照領域204と第2の独立した参照領域204との組み合わせは、様々な方法において使用されてもよく、例えば、第1の独立した参照領域204は、ユーザの視野を超えるサイズを有するピクチャのユーザに対する第1の視野を描いてもよく、第2の独立した参照領域204は、連続し得る、別の視野を描いてもよい。さらなる独立した参照領域204はまた、復号化されたフレームのさらなる部分を提供するために使用されてもよい。複数の独立した参照領域は、抽出され且つ/或いは検索され、ピクチャを復号化してもよく、連続してもよく、上述された任意の方法を使用して予測された画素によって接続されてもよく、或いはその他の方法で組み合わせられてもよい。代替的に或いは追加的に、複数の独立した参照領域204は、フレームのシーケンスに順次使用されてもよい。
ここで、図6を参照すると、1つ又は複数の独立した参照領域204は、参照バッファ及び/又はLTRバッファ604などの、バッファに格納され得る。LTRバッファ604は、複数のフレームを含み得る。一実施形態では、LTRバッファ604は、複数のフレーム及び/又は独立した参照領域204を含んでもよい。複数のフレーム及び/又は独立した参照領域の各々は、例えば、以下にさらに詳細に説明されるように、検索を許可する対応するインデックス及び/又は検索のためのシグナリングを有してもよい。参照バッファ及び/又はLTRバッファ604は、例えば、フレーム及び/又は独立した参照領域の追加及び/又は削除によって、定期的に更新され、且つ/或いは修正されてもよい。
また、図6を参照すると、独立した参照領域204及び/又は参照フレーム104の使用は、例えば、エンコーダによって、ビットストリームにおいてシグナリングされてもよい。例えば、限定されないが、独立した参照領域の使用、ピクチャにおける独立した参照領域の存在は、例えば、シーケンスパラメータセットなどにおけるビデオシーケンスのヘッダにおいてエンコーダによってシグナリングされてもよい。単一のフラグは、独立した領域の存在を示すために使用されてもよい。フラグの不存在は、任意の独立した領域の欠如として解釈されてもよい。独立した領域の総数はまた、シーケンスヘッダにおいてシグナリングされてもよい。例えば、上述されたように、バッファからの検索に関して、独立した参照領域の幾何学的特性、独立した参照領域の識別子はまた、シーケンスヘッダにおいてシグナリングされてもよい。代替的に或いは追加的に、1つ又は複数の信号は、ピクチャパラメータセットなどにおけるピクチャヘッダにおいて提供されてもよい。一実施形態では、ピクチャヘッダにおいてシグナリングすることは、デコーダの柔軟性を拡張し、ピクチャレベルでの決定を可能にし得る。領域IDのリストは、所定の順序で領域IDを表す連続した番号のシーケンスを含んでもよい。デコーダは、シグナリングされたリストを使用し、独立した領域、及び独立した領域から予測されたピクチャ領域を再配置し、再構成してもよい。
ここで、図7を参照すると、参照領域を使用する映像符号化の方法700の例示的な一実施形態が示される。ステップ705で、デコーダは、例えば、以下にさらに詳細に説明されるように、ビットストリームを受信する。ビットストリームは、符号化されたビデオビットストリームを含んでもよい。ビットストリームは、代替的に「参照ピクチャ」及び/又は「LTRピクチャ」と呼ばれ得る、少なくとも1つの符号化された参照ピクチャ及び/又はLTRフレーム、ならびに少なくとも1つの符号化された現在のピクチャを含んでもよい。符号化された現在のピクチャは、第1のサイズを有してもよく、第1のサイズは、エリアを含む、上述されたように任意のサイズを含んでもよい。ステップ710で、デコーダは、参照ピクチャ及び/又はLTRフレームを復号化する。これは、本開示で説明されるように復号化のための任意のプロセスにしたがって実行されてもよい。デコーダは、ビットストリームにおいて参照フレーム及び/又はLTRフレームを特定してもよい。代替的に、参照フレーム及び/又はLTRフレームは、復号化されないことがあり、独立した参照領域のみが復号化されてもよい。
また、図7を参照すると、ステップ715で、デコーダは、参照フレーム及び/又はLTRフレーム内の第1のサブ領域を見つける。これは、限定されないが、図1-図6を参照して上述されたように達成されてもよい。例えば、限定されないが、第1のサブ領域を見つけることは、ビットストリームにおいて、参照フレーム及び/又はLTRフレーム内の独立した参照領域の幾何学的特徴付けを特定することを含んでもよい。ビットストリームは、上述されたようにエンコーダによってシグナリングされてもよい。非限定的な一実施例として、第1のサブ領域は、長方形であってもよく、幾何学的特徴付けは、第1のサブ領域の頂点を特徴付ける数値の4項組を含んでもよい。さらなる非限定的な一実施例として、幾何学的特徴付けは、高さオフセット、高さ、長さオフセット、及び長さを含んでもよく、且つ/或いはサブ領域204は、高さオフセット、高さ、長さオフセット、及び長さによって特徴付けられてもよい。第1のサブ領域は、第2のサイズを有する。第2のサイズは、第1のサイズと異なっていてもよく、或いは言い換えれば、第1のサイズよりも大きいか、或いは小さいかのいずれかであってもよい。第1のサブ領域を特定することは、ビットストリームにおいて、第1のサブ領域が存在するという指示を受信することを含んでもよい。一実施形態では、ピクチャ内にゼロ領域があることをシグナリングするか、或いは元のピクチャと同じサイズを有する1つの領域を定義するかによって、参照フレームを使用する従来の予測は、依然としてサポートされてもよい。抽出され、そのようなものとして将来の予測のための独立した参照ピクチャとみなされる1つ又は複数の領域の指定を可能にすることによって、柔軟性が提供され得る。
引き続き図7を参照すると、ステップ720で、デコーダは、第1のサブ領域204を変換する。変換は、第2の且つ/或いは再スケーリングされた参照ピクチャ及び/又はその一部を生成してもよい。第1のサブ領域を変換することは、本開示で説明されるように、任意のサブ領域に対する任意の変換及び/又は修正を含んでもよい。第1のサブ領域を変換することは、限定されないが、第1のサブ領域を移動させることを含んでもよい。さらなる一実施例として、デコーダは、アフィン変換を適用することによって第1のサブ領域を変換するように構成されていてもよく、アフィン変換は、上述されたように、任意のアフィン変換を含んでもよい。さらなる非限定的な一実施例として、デコーダは、第1のサブ領域を第3のサイズに再スケーリングして、再スケーリングされた参照ピクチャを形成してもよい。第3のサイズは、第1のサイズに等しくてもよい。言い換えれば、デコーダは、現在のフレームの現在の且つ/或いはシグナリングされたサイズに一致するようにサブ領域を再スケーリングしてもよい。代替的に或いは追加的に、第1のサブ領域は、第1のサブ領域の現在のサイズのままであってもよく、デコーダは、第1のサブ領域を変換しないことがある。デコーダは、参照フレーム及び/又はLTRフレームから第1のサブ領域を抽出してもよい。これは、限定されないが、図1-図6を参照して上述されたように実装されてもよい。ステップ725で、デコーダは、現在のフレームの参照として第1のサブ領域を使用して現在のフレームを復号化する。これは、限定されないが、図1-図6を参照して上述されたように実装されてもよい。例えば、現在のフレームを復号化することは、第1のサブ領域と同じサイズを有する現在のフレームを復号化することを含んでもよい。第2のフレームを復号化することは、第1のサブ領域を変換することを含んでもよい。第1のサブ領域を変換することは、第1のサブ領域をスケーリングすること、第1のサブ領域を反転させること、ビデオピクチャにおける位置に対して第1のサブ領域を移動させること、及び/又はビデオピクチャにおける位置に対して第1のサブ領域を回転させることを含んでもよい。
また、図7を参照すると、デコーダは、参照フレーム及び/又はLTRフレームをバッファに格納してもよい。バッファは、長期参照バッファ及び/又は参照ピクチャバッファを含んでもよい。デコーダは、参照フレーム及び/又はLTRフレームにおける第2のサブ領域を見つけるようにさらに構成されていてもよい。デコーダは、第1のサブ領域及び/又は第2のサブ領域を使用して第2の現在のフレームを復号化してもよい。デコーダは、第2の独立した参照領域をバッファに格納してもよい。デコーダは、第1のサブ領域及び/又は第2のサブ領域及び/又は参照フレームを使用して第2の現在のフレームを復号化してもよく、第1のサブ領域及び/又は第2のサブ領域及び/又は参照フレームは、バッファから検索され、他のフレームから抽出されるなどでもよい。
図8は、隣接するブロックによって利用されるグローバル動きベクトル候補を使用して動きベクトル候補リストを構成することによって含むビットストリームを復号化することができる例示的なデコーダ700を示すシステムブロックダイアグラムである。デコーダ700は、エントロピーデコーダプロセッサ704、逆量子化及び逆変換プロセッサ708、デブロッキングフィルタ712、フレームバッファ716、動き補償プロセッサ720、及び/又はイントラ予測プロセッサ724を含み得る。
また、図8を参照すると、動作において、ビットストリーム728は、デコーダ700によって受信され、エントロピーデコーダプロセッサ704に入力されることができ、エントロピーデコーダプロセッサ704は、ビットストリームの部分を量子化係数にエントロピー復号化し得る。量子化係数は、逆量子化及び逆変換プロセッサ708に提供されることができ、逆量子化及び逆変換プロセッサ708は、逆量子化及び逆変換を実行し、残差信号を生成することができ、残差信号は、処理モードにしたがって動き補償プロセッサ720又はイントラ予測プロセッサ724の出力に追加され得る。動き補償プロセッサ720及びイントラ予測プロセッサ724の出力は、以前に復号化されたブロックに基づくブロック予測値を含み得る。予測値及び残差の和は、デブロッキングフィルタ712によって処理され、フレームバッファ716に格納され得る。
また、図8を参照すると、一実施形態では、デコーダ700は、任意の順序で、且つ任意の程度の繰り返しで、上述されたように任意の実施形態における上述されたような任意の動作を実装するように構成されている回路を含んでもよい。例えば、デコーダ700は、所望の或いは命令された結果が達成されるまで、単一のステップ又はシーケンスを繰り返し実行するように構成されていてもよい。ステップ又はステップのシーケンスの繰り返しは、前の繰り返しの出力を後続の繰り返しへの入力として使用し、集約結果を生成するために繰り返しの入力及び/又は出力を集約し、グローバル変数などの1つ又は複数の変数の削減又はデクリメントを行い、且つ/或いは、より大きな処理タスクを、反復的に対処される、より小さな処理タスクのセットに分割して、反復的に且つ/或いは再帰的に実行されてもよい。デコーダは、2つ以上の並列スレッド、プロセッサコアなどを使用してステップを2回以上、同時に且つ/或いは実質的に同時に実行するなど、本開示で説明されるように任意のステップ又はステップのシーケンスを並行して実行してもよい。並列スレッド及び/又はプロセス間のタスクの分割は、反復間のタスク分割に適した任意のプロトコルにしたがって実行されてもよい。当業者は、本開示の全体を検討する際、ステップ、ステップのシーケンス、処理タスク、及び/又はデータが、反復、再帰、及び/又は並列処理を使用して細分化され、共有され、或いはその他の方法で取り扱われ得る様々な方法を承知するであろう。
引き続き図8を参照すると、デコーダ700及び/又はその回路は、任意の順序で、且つ任意の程度の繰り返しで、本開示で説明される任意の実施形態における任意の方法、方法ステップ、又は方法ステップのシーケンスを実行するように設計され、且つ/或いは構成されていてもよい。例えば、デコーダ700及び/又はその回路は、所望の或いは命令された結果が達成されるまで、単一のステップ又はシーケンスを繰り返し実行するように構成されていてもよい。ステップ又はステップのシーケンスの繰り返しは、前の繰り返しの出力を後続の繰り返しへの入力として使用し、集約結果を生成するために繰り返しの入力及び/又は出力を集約し、グローバル変数などの1つ又は複数の変数の削減又はデクリメントを行い、且つ/或いは、より大きな処理タスクを、反復的に対処される、より小さな処理タスクのセットに分割して、反復的に且つ/或いは再帰的に実行されてもよい。デコーダ700及び/又はその回路は、2つ以上の並列スレッド、プロセッサコアなどを使用してステップを2回以上、同時に且つ/或いは実質的に同時に実行するなど、本開示で説明されるように任意のステップ又はステップのシーケンスを並行して実行してもよい。並列スレッド及び/又はプロセス間のタスクの分割は、反復間のタスク分割に適した任意のプロトコルにしたがって実行されてもよい。当業者は、本開示の全体を検討する際、ステップ、ステップのシーケンス、処理タスク、及び/又はデータが、反復、再帰、及び/又は並列処理を使用して細分化され、共有され、或いはその他の方法で取り扱われ得る様々な方法を承知するであろう。
図9は、様々なユースケースにおけるビットレートの節約を可能にするビデオエンコーダ/デコーダのためのさらなる柔軟性を可能にし得る適応クロッピングと共にビデオを符号化する例示的なプロセス800を示すプロセスフローダイアグラムである。ステップ805で、ビデオフレームは、例えば、ピクチャフレームをCTU及びCUに分割することを含み得るツリー構造のマクロブロックパーティショニングスキームを使用して、初期ブロック分割を受け得る。
また、図9を参照すると、ステップ810で、フレーム又はその一部分のサブ領域の選択を含む、第1の参照領域の特定が実行され得る。領域は、自動入力或いは専門家による入力の手段によって選択されてもよい。非限定的な一実施例として、自動選択は、特定のオブジェクトを検出するコンピュータビジョンアルゴリズムによって達成されてもよい。オブジェクト検出は、オブジェクト分類などのさらなる処理を含んでもよい。専門家による入力の選択は、限定されないが、例えば、監視ビデオにおける人物などの、ビデオにおける関心のある、人物及び/又はオブジェクトのクローズアップを選択するといった、人間の手動介入を使用して達成されてもよい。別の可能なユースケースは、ビットレート削減に最も寄与する最大注目領域を選択することであってもよい。適応クロッピングは、サブ領域の幾何学的特徴付けの選択をさらに含んでもよい。例えば、限定されないが、サブ領域の幾何学的特徴付けの選択は、限定されないが(X,Y,W,H)などの、上述されたような4項組の選択を含んでもよい。サブ領域の幾何学的特徴付けの選択は、更新情報、及び/又は、サブ領域を定義する動的データに関して上述されたように、1つのフレームから別のフレームへのサブ領域を定義するデータへの変更を示す情報を含んでもよい。
また、図9を参照すると、ステップ815で、ブロックは、符号化され、ビットストリームに含まれ得る。例えば、符号化は、インター予測モード及びイントラ予測モードを利用することを含み得る。例えば、符号化は、上述されたように、ビットストリームの特徴付け(X,Y,W,H)にビットを追加すること、適応クロッピングモードを特定することなどを含んでもよい。符号化は、サブ領域を定義する動的データに関して上述されたように、1つのフレームから別のフレームへのサブ領域を定義するデータへの変更を示す更新情報及び/又は情報を符号化することを含んでもよい。
図10は、様々なユースケースにおけるビットレートの節約を可能にするビデオエンコーダ/デコーダのためのさらなる柔軟性を可能にし得る適応クロッピングができる例示的なビデオエンコーダ1000を示すシステムブロックダイアグラムである。例示的なビデオエンコーダ1000は、入力ビデオ1005を受信し、入力ビデオ1005は、ツリー構造のマクロブロックパーティションスキーム(例えば、四分木プラス二分木)などの、処理スキームにしたがって最初にセグメント化され、或いは分割され得る。ツリー構造のマクロブロックパーティションスキームの一実施例は、コーディングツリーユニット(CTU)と呼ばれる大きなブロック要素にピクチャフレームを分割することを含み得る。いくつかの実装形態では、各CTUは、コーディングユニット(CU)と呼ばれる複数のサブブロックに1回又は複数回さらに分割され得る。この分割の最終結果は、予測ユニット(PU)と呼ばれ得るサブブロックのグループを含み得る。変換ユニット(TU)がまた、利用され得る。
また、図10を参照すると、例示的なビデオエンコーダ1000は、イントラ予測プロセッサ1015と、適応クロッピングをサポートすることができる動き推定/補償プロセッサ1020(インター予測プロセッサとも呼ばれる)と、変換/量子化プロセッサ1025と、逆量子化/逆変換プロセッサ1030と、インループフィルタ1035と、復号ピクチャバッファ1040と、エントロピー符号化プロセッサ1045とを含む。ビットストリームパラメータは、エントロピー符号化プロセッサ1045に入力され、出力ビットストリーム1050に含められ得る。
引き続き図10を参照すると、動作において、入力ビデオ1005のフレームの各ブロックに関して、イントラピクチャ予測を介してブロックを処理するか、或いは動き推定/補償を使用してブロックを処理するかが判定され得る。ブロックは、イントラ予測プロセッサ1010又は動き推定/補償プロセッサ1020に提供され得る。ブロックがイントラ予測を介して処理されるべきである場合、イントラ予測プロセッサ1010は、処理を実行し、予測子(predictor)を出力し得る。ブロックが動き推定/補償を介して処理されるべきである場合、動き推定/補償プロセッサ1020は、該当する場合、適応クロッピングを使用することを含む処理を実行し得る。
また、図10を参照すると、残差は、入力ビデオから予測子を減ずることによって形成され得る。残差は、変換/量子化プロセッサ1025によって受信されることができ、変換/量子化プロセッサ1025は、変換処理(例えば、離散コサイン変換(DCT))を実行し、量子化され得る係数を生成し得る。量子化係数及び任意の関連付けられたシグナリング情報は、エントロピー符号化のためにエントロピー符号化プロセッサ1045に提供され、出力ビットストリーム1050に含められ得る。エントロピー符号化プロセッサ1045は、現在のブロックを符号化することに関連するシグナリング情報の符号化をサポートし得る。さらに、量子化係数は、逆量子化/逆変換プロセッサ1030に提供されることができ、逆量子化/逆変換プロセッサ1030は、画素を再生成することができ、画素は、予測子と組み合わせられ、インループフィルタ1035によって処理されることができ、その出力は、適応クロッピングができる動き推定/補償プロセッサ1020によって使用するために、復号ピクチャバッファ1040に格納される。
引き続き図10を参照すると、いくつかの変形例が詳細に上述されたが、他の変更又は追加は可能である。例えば、いくつかの実装形態では、現在のブロックは、任意の非対称ブロック(8×4、16×8など)だけでなく、任意の対称ブロック(8×8、16×16、32×32、64×64、128×128など)も含んでもよい。
また、図10を参照すると、いくつかの実装形態では、四分木プラス二分決定木(QTBT)が実装されてもよい。QTBTでは、コーディングツリーユニットレベルで、QTBTのパーティションパラメータは、任意のオーバーヘッドを送信することなく、ローカル特性に適応するように動的に導き出される。その後、コーディングユニットレベルで、ジョイントクラシファイア決定木構造は、不必要な繰り返しを排除し、誤った予測のリスクを制御し得る。いくつかの実装形態では、LTRフレームブロック更新モードは、QTBTのリーフノード毎で利用可能な追加の選択として利用可能であり得る。
引き続き図10を参照すると、いくつかの実装形態では、さらなるシンタックス要素は、ビットストリームの異なる階層レベルでシグナリングされ得る。例えば、フラグは、シーケンスパラメータセット(SPS)において符号化されたイネーブルフラグを含むことによって、シーケンス全体に対して有効であり得る。さらに、CTUフラグは、コーディングツリーユニット(CTU)レベルで符号化され得る。
また、図10を参照すると、エンコーダ1000は、任意の順序で、且つ任意の程度の繰り返しで、任意の実施形態における図8又は図10を参照して上述されたように任意の動作を実装するように構成されている回路を含んでもよい。例えば、エンコーダ1000は、所望の或いは命令された結果が達成されるまで、単一のステップ又はシーケンスを繰り返し実行するように構成されていてもよい。ステップ又はステップのシーケンスの繰り返しは、前の繰り返しの出力を後続の繰り返しへの入力として使用し、集約結果を生成するために繰り返しの入力及び/又は出力を集約し、グローバル変数などの1つ又は複数の変数の削減又はデクリメントを行い、且つ/或いは、より大きな処理タスクを、反復的に対処される、より小さな処理タスクのセットに分割して、反復的に且つ/或いは再帰的に実行されてもよい。エンコーダ1000は、2つ以上の並列スレッド、プロセッサコアなどを使用してステップを2回以上、同時に且つ/或いは実質的に同時に実行するなど、本開示で説明されるように任意のステップ又はステップのシーケンスを並行して実行してもよい。並列スレッド及び/又はプロセス間のタスクの分割は、反復間のタスク分割に適した任意のプロトコルにしたがって実行されてもよい。当業者は、本開示の全体を検討する際、ステップ、ステップのシーケンス、処理タスク、及び/又はデータが、反復、再帰、及び/又は並列処理を使用して細分化され、共有され、或いはその他の方法で取り扱われ得る様々な方法を承知するであろう。
引き続き図10を参照すると、非一時的コンピュータプログラム製品(すなわち、物理的に具現化されたコンピュータプログラム製品)は、命令を格納してもよく、命令は、1つ又は複数のコンピューティングシステムの1つ又は複数のデータプロセッサによって実行されるとき、少なくとも1つのデータプロセッサに、本明細書に説明された動作及び/又はそのステップを実行させ、限定されないが、上述された任意の動作、及び/又はデコーダ700及び/又はエンコーダ1000の任意の動作を実行するように構成されていてもよいことを含む。同様に、コンピュータシステムはまた、1つ又は複数のデータプロセッサと、1つ又は複数のデータプロセッサに結合されたメモリとを含んでもよいと説明される。メモリは、少なくとも1つのプロセッサに、本明細書に説明される1つ又は複数の動作を実行させる命令を一時的に或いは恒久的に格納してもよい。さらに、方法は、単一のコンピューティングシステム内の1つ又は複数のデータプロセッサによって、或いは2つ以上のコンピューティングシステム間に分散された1つ又は複数のデータプロセッサによってのいずれかで実装され得る。そのようなコンピューティングシステムは、複数のコンピューティングシステムの1つ又は複数の間の直接接続などを介して、ネットワーク(例えば、インターネット、無線広域ネットワーク、ローカルエリアネットワーク、広域ネットワーク、有線ネットワークなど)を介した接続を含む、1つ又は複数の接続を介して、接続され、データ及び/又はコマンド又は他の命令などを交換し得る。
引き続き図10を参照すると、エンコーダ1000及び/又はその回路は、任意の順序で、且つ任意の程度の繰り返しで、本開示で説明される任意の実施形態における任意の方法、方法ステップ、又は方法ステップのシーケンスを実行するように設計され、且つ/或いは構成されていてもよい。例えば、エンコーダ1000及び/又はその回路は、所望の或いは命令された結果が達成されるまで、単一のステップ又はシーケンスを繰り返し実行するように構成されていてもよい。ステップ又はステップのシーケンスの繰り返しは、前の繰り返しの出力を後続の繰り返しへの入力として使用し、集約結果を生成するために繰り返しの入力及び/又は出力を集約し、グローバル変数などの1つ又は複数の変数の削減又はデクリメントを行い、且つ/或いは、より大きな処理タスクを、反復的に対処される、より小さな処理タスクのセットに分割して、反復的に且つ/或いは再帰的に実行されてもよい。エンコーダ1000及び/又はその回路は、2つ以上の並列スレッド、プロセッサコアなどを使用してステップを2回以上、同時に且つ/或いは実質的に同時に実行するなど、本開示で説明されるように任意のステップ又はステップのシーケンスを並行して実行してもよい。並列スレッド及び/又はプロセス間のタスクの分割は、反復間のタスク分割に適した任意のプロトコルにしたがって実行されてもよい。当業者は、本開示の全体を検討する際、ステップ、ステップのシーケンス、処理タスク、及び/又はデータが、反復、再帰、及び/又は並列処理を使用して細分化され、共有され、或いはその他の方法で取り扱われ得る様々な方法を承知するであろう。
いくつかの実施形態では、デコーダは、符号化されたビデオビットストリームを受信することであって、符号化されたビデオストリームは、符号化された参照ピクチャ及び第1のサイズを有する符号化された現在のピクチャを含む、受信することと、参照ピクチャを復号化することと、ビットストリームから参照ピクチャのサブ領域を特定することであって、サブ領域は、第2のサイズを有し、第2のサイズは、第1のサイズとは異なる、特定することと、再スケーリングされた参照ピクチャを形成するためにサブ領域を第3のサイズに再スケーリングすることであって、第3のサイズは、第1のサイズに等しい、再スケーリングすることと、再スケーリングされた参照ピクチャを使用して現在のピクチャを復号化することと、を行うように構成されている回路を含む。
サブ領域は、上オフセット、下オフセット、右オフセット、及び左オフセットによって特徴付けられてもよい。サブ領域を特定することは、ビットストリームにおいて、サブ領域が存在するという指示を受信することを含んでもよい。
いくつかの実施形態では、デコーダは、符号化された第1の参照ピクチャ及び符号化された現在のピクチャを含む符号化されたビデオビットストリームを受信することと、参照ピクチャを復号化することと、ビットストリームから参照ピクチャの第1のサブ領域を特定することと、第2の参照ピクチャを形成するために第1のサブ領域を変換することと、第2の参照ピクチャを使用して現在のピクチャを復号化することと、を行うように構成されている回路を含む。
現在のピクチャは、第1のサイズを有してもよく、第1のサブ領域は、第1のサイズとは異なる第2のサイズを有してもよく、デコーダは、第1のサイズに等しい第3のサイズに第1のサブ領域をスケーリングすることによってサブ領域を変換することを行うように構成されていてもよい。デコーダは、第1のサブ領域を移動させることによって第1のサブ領域を変換することを行うように構成されていてもよい。デコーダは、アフィン変換を適用することによって第1のサブ領域を変換することを行うように構成されていてもよい。デコーダは、第1の参照ピクチャをバッファに格納することを行うようにさらに構成されていてもよい。バッファは、長期参照バッファを含んでもよい。バッファは、参照ピクチャバッファを含んでもよい。デコーダは、第1の参照ピクチャにおいて第2のサブ領域を見つけることを行うようにさらに構成されていてもよい。デコーダは、第1の参照領域及び第2の独立した参照領域を使用して第2のフレームを復号化することを行うようにさらに構成されていてもよい。デコーダは、第2の独立した参照領域をバッファに格納することを行うようにさらに構成されていてもよい。現在のピクチャは、第1のピクチャであってもよく、デコーダは、第1のサブ領域及び第2のサブ領域を使用して第2のピクチャを復号化することを行うようにさらに構成されていてもよい。
いくつかの実施形態では、参照領域を使用する映像符号化の方法は、符号化されたビデオビットストリームを受信することであって、符号化されたビデオストリームは、符号化された参照ピクチャ及び第1のサイズを有する符号化された現在のピクチャを含む、受信することと、デコーダによって、参照ピクチャを復号化することと、デコーダによって且つビットストリームから、参照ピクチャのサブ領域を特定することであって、サブ領域は、第2のサイズを有し、第2のサイズは、第1のサイズとは異なる、特定することと、デコーダによって、再スケーリングされた参照ピクチャを形成するためにサブ領域を第3のサイズに再スケーリングすることであって、第3のサイズは、第1のサイズに等しい、再スケーリングすることと、デコーダによって、再スケーリングされた参照ピクチャを使用して現在のピクチャを復号化することと、を含む。
サブ領域は、高さオフセット、高さ、長さオフセット、及び長さによって特徴付けられてもよい。サブ領域を特定することは、ビットストリームにおいて、サブ領域が存在するという指示を受信することを含んでもよい。方法は、参照フレームをバッファに格納することを含んでもよい。バッファは、長期参照バッファを含んでもよい。バッファは、参照ピクチャバッファを含んでもよい。
いくつかの実施形態では、デコーダは、ビットストリームを受信することと、第1のフレームを特定することと、第1のフレーム内の第1の独立した参照領域を見つけることと、第1のフレームから第1の独立した参照領域を抽出することと、第2のフレームの参照として第1の独立した参照領域を使用して第2のフレームを復号化することと、を行うように構成されている回路を含む。
デコーダは、ビットストリームにおいて、第1のフレーム内の独立した参照領域の幾何学的特徴づけを特定することによって、第1の独立した参照領域を見つけることを行うようにさらに構成されていてもよい。第1の独立した参照領域は、長方形であってもよく、幾何学的特徴付けは、第1の独立した参照領域の頂点を特徴付ける数値の4項組を含んでもよい。第1の独立した参照領域を特定することは、ビットストリームにおいて、第1の独立した参照領域が存在するという指示を受信することを含んでもよい。第1の独立した参照領域は、サイズを有してもよく、デコーダは、第1の独立した参照領域と同じサイズを有する第2のフレームを復号化することによって第2のフレームを復号化することを行うように構成されていてもよい。デコーダは、第1の独立した参照領域を変換することによって第2のフレームを復号化することを行うように構成されていてもよい。第1の独立した参照領域を変換することは、第1の独立した参照領域をスケーリングすることを含んでもよい。第1の独立した参照領域を変換することは、第1の独立した参照領域を反転させることを含んでもよい。第1の独立した参照領域を変換することは、ビデオピクチャにおける位置に対して第1の独立した参照領域を移動させることを含んでもよい。第1の独立した参照領域を変換することは、ビデオピクチャにおける位置に対して第1の独立した参照領域を回転させることを含んでもよい。
デコーダは、第1のフレームをバッファに格納することを行うようにさらに構成されていてもよい。バッファは、長期参照バッファを含んでもよい。バッファは、参照ピクチャバッファを含んでもよい。デコーダは、第1のフレームにおいて第2の参照領域を見つけることを行うようにさらに構成されていてもよい。デコーダは、第1の参照領域及び第2の独立した参照領域を使用して第2のフレームを復号化することを行うようにさらに構成されていてもよい。デコーダは、第2の独立した参照領域をバッファに格納するようにさらに構成されていてもよい。デコーダは、第1の参照領域及び第2の参照領域を使用して第2のフレームを復号化することを行うようにさらに構成されていてもよい。
いくつかの実施形態では、参照領域を使用する映像符号化の方法は、ビットストリームを受信することと、第1のフレームを特定することと、第1のフレーム内の第1の独立した参照領域を見つけることと、第1のフレームから第1の独立した参照領域を抽出することと、第2のフレームの参照として第1の独立した参照領域を使用して第2のフレームを復号化することと、を含む。
第1の独立した参照領域を見つけることは、ビットストリームにおいて、第1のフレーム内の独立した参照領域の幾何学的特徴付けを特定することを含んでもよい。第1の独立した参照領域は、長方形であってもよく、幾何学的特徴付けは、第1の独立した参照領域の頂点を特徴付ける数値の4項組を含んでもよい。第1の独立した参照領域を特定することは、ビットストリームにおいて、第1の独立した参照領域が存在するという指示を受信することを含んでもよい。第1の独立した参照領域は、サイズを有してもよく、第2のフレームを復号化することは、第1の独立した参照領域と同じサイズを有する第2のフレームを復号化することを含んでもよい。方法は、第1の独立した参照領域を変換することによって第2のフレームを復号化することを含んでもよい。第1の独立した参照領域を変換することは、第1の独立した参照領域をスケーリングすることを含んでもよい。第1の独立した参照領域を変換することは、第1の独立した参照領域を反転させることを含んでもよい。第1の独立した参照領域を変換することは、ビデオピクチャにおける位置に対して第1の独立した参照領域を移動させることを含んでもよい。第1の独立した参照領域を変換することは、ビデオピクチャにおける位置に対して第1の独立した参照領域を回転させることを含んでもよい。
方法は、第1のフレームをバッファに格納することを含んでもよい。バッファは、長期参照バッファを含んでもよい。バッファは、参照ピクチャバッファを含んでもよい。デコーダは、第1のフレームにおいて第2の参照領域を見つけることを行うようにさらに構成されていてもよい。方法は、第1の参照領域及び第2の独立した参照領域を使用して第2のフレームを復号化することをさらに含んでもよい。方法は、第2の独立した参照領域をバッファに格納することを含んでもよい。方法は、第1の参照領域及び第2の参照領域を使用して第2のフレームを復号化することを含んでもよい。
本明細書に説明される任意の1つ又は複数の態様及び実施形態は、コンピュータ技術における当業者にとって明らかであるように、本明細書の教示にしたがってプログラムされた1つ又は複数の機械(例えば、電子文書に関するユーザコンピューティングデバイス、文書サーバなどの、1つ又は複数のサーバデバイスなどとして利用される1つ又は複数のコンピューティングデバイス)を使用して都合よく実装されてもよいことに留意されたい。適切なソフトウェアコーディングは、ソフトウェア技術における当業者に明らかであるように、本開示の教示に基づいて、熟練したプログラマによって容易に作成され得る。ソフトウェア及び/又はソフトウェアモジュールを採用して上述された態様及び実装形態はまた、ソフトウェア及び/又ソフトウェアモジュールの機械実行可能命令の実装形態を支援するために適切なハードウェアを含んでもよい。
そのようなソフトウェアは、機械可読記憶媒体を採用するコンピュータプログラム製品であってもよい。機械可読記憶媒体は、機械(例えば、コンピューティングデバイス)による実行のための命令シーケンスを格納し、且つ/或いは符号化することができ、本明細書に説明される方法論及び/又は実施形態の任意の1つを機械に実行させる任意の媒体であってもよい。機械可読記憶媒体の例は、磁気ディスク、光ディスク(例えば、CD、CD-R、DVD、DVD-Rなど)、光磁気ディスク、読み取り専用メモリ「ROM」デバイス、ランダムアクセスメモリ「RAM」デバイス、磁気カード、光カード、ソリッドステートメモリデバイス、EPROM、EEPROM、及びそれらの任意の組み合わせを含むが、それらに限定されない。本明細書に使用されるように、機械可読媒体は、例えば、コンピュータメモリと組み合わせた、コンパクトディスクの集まり又は1つ若しくは複数のハードディスクドライブなどの、物理的に別個の媒体の集まりだけでなく、単一の媒体も含むことが意図される。本明細書に使用されるように、機械可読記憶媒体は、信号伝送の一時的な形式を含まない。
そのようなソフトウェアはまた、搬送波などの、データキャリア上でデータ信号として搬送された情報(例えば、データ)を含んでもよい。例えば、機械実行可能な情報は、信号が、機械(例えば、コンピューティングデバイス)による実行のための命令シーケンス又はその一部分、及び、機械に、本明細書に説明される方法論及び/又は実施形態の任意の1つを実行させる任意の関連する情報(例えば、データ構造及びデータ)を符号化するデータキャリアに具現化されたデータ搬送信号として含まれてもよい。
コンピューティングデバイスの例は、電子書籍読み取りデバイス、コンピュータワークステーション、端末コンピュータ、サーバコンピュータ、携帯デバイス(例えば、タブレットコンピュータ、スマートフォンなど)、Webアプライアンス、ネットワークルータ、ネットワークスイッチ、ネットワークブリッジ、その機械によって行われるべきアクションを指定する命令シーケンスを実行できる任意の機械、及びそれらの任意の組み合わせを含むが、それらに限定されない。一実施例では、コンピューティングデバイスは、キオスクを含んでもよく、且つ/或いはキオスクに含まれてもよい。
図11は、制御システムに、本開示の任意の1つ又は複数の態様及び/又は方法論を実行させるための命令のセットが実行され得るコンピュータシステム1100の例示的な形態におけるコンピューティングデバイスの一実施形態の図表示を示す。複数のコンピューティングデバイスが、1つ又は複数のデバイスに、本開示の任意の1つ又は複数の態様及び/又は方法論を実行させるための特別に構成されている命令のセットを実行するために利用されてもよいことも考慮される。コンピュータシステム1100は、バス1112を介して、互いに、及び他のコンポーネントと通信するプロセッサ1104及びメモリ1108を含む。バス1112は、任意の様々なバスアーキテクチャを使用して、メモリバス、メモリコントローラ、周辺バス、ローカルバス、及びそれらの任意の組み合わせを含むが、それらに限定されない、任意のいくつかのタイプのバス構造を含んでもよい。
プロセッサ1104は、限定されないが、ステートマシンで調節され、メモリ及び/又はセンサからの動作入力によって指示され得る、算術及び論理演算装置(ALU)などの、算術及び論理演算を実行するための論理回路を組み込むプロセッサなどの、任意の適切なプロセッサを含み得る。非限定的な一実施例として、プロセッサ1104は、フォンノイマン及び/又はハーバードアーキテクチャにしたがって編成されてもよい。プロセッサ1104は、限定されないが、マイクロコントローラ、マイクロプロセッサ、デジタルシグナルプロセッサ(DSP)、フィールドプログラマブルゲートアレイ(FPGA)、複合プログラムプログラマブルロジックデバイス(CPLD)、グラフィックスプロセシングユニット(GPU)、汎用GPU、テンソルプロセシングユニット(TPU)、アナログ又は混合信号プロセッサ、トラステッドプラットフォームモジュール(TPM)、浮動小数点装置(FPU)、及び/又はシステムオンチップ(SoC)を含んでもよく、組み込んでもよく、且つ/或いは組み込まれてもよい。
メモリ1108は、ランダムアクセスメモリコンポーネント、読み取り専用コンポーネント、及びそれらの任意の組み合わせを含むが、それらに限定されない、様々なコンポーネント(例えば、機械可読媒体)を含んでもよい。一実施例では、起動中などの、コンピュータシステム1100内の要素間で情報を転送するのに役立つ基本ルーチンを含む、基本入出力システム1116(BIOS)が、メモリ1108に格納されてもよい。メモリ1108はまた、本開示の任意の1つ又は複数の態様及び/又は方法論を具体化する命令(例えば、ソフトウェア)1120を含んでもよい(例えば、1つ又は複数の機械可読媒体に格納される)。別の実施例では、メモリ1108は、オペレーティングシステム、1つ又は複数のアプリケーションプログラム、他のプログラムモジュール、プログラムデータ、及びそれらの任意の組み合わせを含むが、それらに限定されない、任意の数のプログラムモジュールをさらに含んでもよい。
コンピュータシステム1100はまた、記憶デバイス1124を含んでもよい。記憶デバイス(例えば、記憶デバイス1124)の例は、ハードディスクドライブ、磁気ディスクドライブ、光学媒体と組み合わせた光ディスクドライブ、ソリッドステートメモリデバイス、及びそれらの任意の組み合わせを含むが、それらに限定されない。記憶デバイス1124は、適切なインタフェース(図示せず)によってバス1112に接続されてもよい。例示的なインタフェースは、SCSI、アドバンスドテクノロジーアタッチメント(ATA)、シリアルATA、ユニバーサルシリアルバス(USB)、IEEE1394(FIREWIRE)、及びそれらの任意の組み合わせを含むが、それらに限定されない。一実施例では、記憶デバイス1124(又はその1つ若しくは複数のコンポーネント)は、(例えば、外部ポートコネクタ(図示せず)を介して)コンピュータシステム1100と取り外し可能にインタフェースされてもよい。特に、記憶デバイス1124及び関連付けられた機械可読媒体1128は、コンピュータシステム1100のための機械可読命令、データ構造、プログラムモジュール、及び/又は他のデータの、不揮発性且つ/或いは揮発性の記憶装置を提供してもよい。一実施例では、ソフトウェア1120は、完全に或いは部分的に、機械可読媒体1128内に存在してもよい。別の実施例では、ソフトウェア1120は、完全に或いは部分的に、プロセッサ1104内に存在してもよい。
コンピュータシステム1100はまた、入力デバイス1132を含んでもよい。一実施例では、コンピュータシステム1100のユーザは、入力デバイス1132を介してコンピュータシステム1100にコマンド及び/又は他の情報を入力してもよい。入力デバイス1132の例は、英数字入力デバイス(例えば、キーボード)、ポインティングデバイス、ジョイスティック、ゲームパッド、音声入力デバイス(例えば、マイク、音声応答システムなど)、カーソル制御デバイス(例えば、マウス)、タッチパッド、光学スキャナ、ビデオキャプチャデバイス(例えば、スチールカメラ、ビデオカメラ)、タッチスクリーン、及びそれらの任意の組み合わせを含むが、それらに限定されない。入力デバイス1132は、シリアルインタフェース、パラレルインタフェース、ゲームポート、USBインタフェース、FIREWIREインタフェース、バス1112へのダイレクトインタフェース、及びそれらの任意の組み合わせを含むが、それらに限定されない、任意の様々なインタフェース(図示せず)を介してバス1112にインタフェースされてもよい。入力デバイス1132は、以下にさらに議論される、ディスプレイ1136の一部であってもよく、或いは別個であってもよいタッチスクリーンインタフェースを含んでもよい。入力デバイス1132は、上述されたように、グラフィカルインタフェースにおいて1つ又は複数のグラフィカル表現を選択するためのユーザ選択デバイスとして利用されてもよい。
ユーザはまた、記憶デバイス1124(例えば、リムーバブルディスクドライブ、フラッシュドライブなど)及び/又はネットワークインタフェースデバイス1140を介して、コンピュータシステム1100にコマンド及び/又は他の情報を入力してもよい。ネットワークインタフェースデバイス1140などの、ネットワークインタフェースデバイスは、ネットワーク1144などの、1つ又は複数の様々なネットワーク、及びそれに接続された1つ又は複数のリモートデバイス1148にコンピュータシステム1100を接続するために利用されてもよい。ネットワークインタフェースデバイスの例は、ネットワークインタフェースカード(例えば、モバイルネットワークインタフェースカード、LANカード)、モデム、及びそれらの任意の組み合わせを含むが、それらに限定されない。ネットワークの例は、広域ネットワーク(例えば、インターネット、企業ネットワーク)、ローカルエリアネットワーク(例えば、オフィス、建物、キャンパス又は他の比較的小さな地理的空間に関連付けられたネットワーク)、電話ネットワーク、電話/音声プロバイダに関連付けられたデータネットワーク(例えば、移動通信プロバイダのデータ及び/又は音声ネットワーク)、2つのコンピューティングデバイス間の直接接続、及びそれらの任意の組み合わせを含むが、それらに限定されない。ネットワーク1144などの、ネットワークは、通信の有線モード及び/又は無線モードを採用してもよい。概して、任意のネットワークトポロジーが使用されてもよい。情報(例えば、データ、ソフトウェア1120など)は、ネットワークインタフェースデバイス1140を介して、コンピュータシステム1100へ且つ/或いはコンピュータシステム1100から通信されてもよい。
コンピュータシステム1100は、ディスプレイデバイス1136などの、ディスプレイデバイスに表示可能な画像を通信するためのビデオディスプレイアダプタ1152をさらに含んでもよい。ディスプレイデバイスの例は、液晶ディスプレイ(LCD)、陰極線管(CRT)、プラズマディスプレイ、発光ダイオード(LED)ディスプレイ、及びそれらの任意の組み合わせを含むが、それらに限定されない。ディスプレイアダプタ1152及びディスプレイデバイス1136は、本開示の態様のグラフィカル表現を提供するためにプロセッサ1104と組み合わせて利用されてもよい。ディスプレイデバイスに加えて、コンピュータシステム1100は、オーディオスピーカ、プリンタ、及びそれらの任意の組み合わせを含むが、それらに限定されない、1つ又は複数の他の周辺出力デバイスを含んでもよい。そのような周辺出力デバイスは、周辺インタフェース1156を介してバス1112に接続されてもよい。周辺機器インタフェースの例は、シリアルポート、USB接続、FIREWIRE接続、パラレル接続、及びそれらの任意の組み合わせを含むが、それらに限定されない。
前述は、本発明の例示的な実施形態の詳細な説明である。様々な変更及び追加は、本発明の精神及び範囲から逸脱することなく、行われ得る。上述された様々な実施形態の各々の特徴は、関連付けられた新たな実施形態における多様な特徴の組み合わせを提供するために、必要に応じて他の説明された実施形態の特徴と組み合わせられてもよい。さらに、前述は、複数の別個の実施形態を説明し、本明細書に説明されたものは、本発明の原理の適用の単なる例示に過ぎない。さらに、本明細書における特定の方法は、特定の順序で実行されるものとして説明されてもよく、且つ/或いは記載されてもよく、その順序は、本開示にしたがって方法、システム及びソフトウェアを達成するために通常の技術内で非常に可変的である。したがって、本説明は、例としてのみに捉えられ、その他の点で本発明の範囲を限定することを意図しない。
例示的な実施形態は、上記に開示され、添付の図面に説明されている。本発明の精神及び範囲から逸脱することなく、本明細書に具体的に開示されているものに対して様々な変更、省略及び追加を行い得ることは、当業者によって理解されるであろう。
Claims (54)
- 符号化されたビデオビットストリームを受信することであって、前記符号化されたビデオストリームは、符号化された参照ピクチャ及び第1のサイズを有する符号化された現在のピクチャを含む、前記受信することと、
前記参照ピクチャを復号化することと、
前記ビットストリームから前記参照ピクチャのサブ領域を特定することであって、前記サブ領域は、第2のサイズを有し、前記第2のサイズは、前記第1のサイズとは異なる、前記特定することと、
再スケーリングされた参照ピクチャを形成するために前記サブ領域を第3のサイズに再スケーリングすることであって、前記第3のサイズは、前記第1のサイズに等しい、前記再スケーリングすることと、
前記再スケーリングされた参照ピクチャを使用して前記現在のピクチャを復号化することと、を行うように構成されている回路を含む、デコーダ。 - 前記サブ領域は、上オフセット、下オフセット、右オフセット、及び左オフセットによって特徴付けられる、請求項1に記載のデコーダ。
- 前記サブ領域を特定することは、前記ビットストリームにおいて、前記サブ領域が存在するという指示を受信することをさらに含む、請求項1に記載のデコーダ。
- 符号化された第1の参照ピクチャ及び符号化された現在のピクチャを含む符号化されたビデオビットストリームを受信することと、
前記参照ピクチャを復号化することと、
前記ビットストリームから前記参照ピクチャの第1のサブ領域を特定することと、
第2の参照ピクチャを形成するために前記第1のサブ領域を変換することと、
前記第2の参照ピクチャを使用して前記現在のピクチャを復号化することと、を行うように構成されている回路を含む、デコーダ。 - 前記現在のピクチャは、第1のサイズを有し、前記第1のサブ領域は、前記第1のサイズとは異なる第2のサイズを有し、前記デコーダは、前記第1のサイズに等しい第3のサイズに前記第1のサブ領域をスケーリングすることによってサブ領域を変換することを行うように構成されている、請求項4に記載のデコーダ。
- 前記デコーダは、前記第1のサブ領域を移動させることによって前記第1のサブ領域を変換することを行うように構成されている、請求項4に記載のデコーダ。
- 前記デコーダは、アフィン変換を適用することによって前記第1のサブ領域を変換することを行うように構成されている、請求項4に記載のデコーダ。
- 前記第1の参照ピクチャをバッファに格納することを行うようにさらに構成されている、請求項1に記載のデコーダ。
- 前記バッファは、長期参照バッファをさらに含む、請求項8に記載のデコーダ。
- 前記バッファは、参照ピクチャバッファをさらに含む、請求項8に記載のデコーダ。
- 前記デコーダは、前記第1の参照ピクチャにおいて第2のサブ領域を見つけることを行うようにさらに構成されている、請求項1に記載のデコーダ。
- 前記第1の参照領域及び前記第2の独立した参照領域を使用して第2のフレームを復号化することを行うようにさらに構成されている、請求項11に記載のデコーダ。
- 前記第2の独立した参照領域をバッファに格納することを行うようにさらに構成されている、請求項12に記載のデコーダ。
- 前記現在のピクチャは、第1のピクチャであり、前記デコーダは、第1のサブ領域及び第2のサブ領域を使用して第2のピクチャを復号化することを行うようにさらに構成されている、請求項1に記載のデコーダ。
- 参照領域を使用する映像符号化の方法であって、
デコーダによって、符号化されたビデオビットストリームを受信することであって、前記符号化されたビデオストリームは、符号化された参照ピクチャ及び第1のサイズを有する符号化された現在のピクチャを含む、前記受信することと、
前記デコーダによって、前記参照ピクチャを復号化することと、
前記デコーダによって且つ前記ビットストリームから、前記参照ピクチャのサブ領域を特定することであって、前記サブ領域は、第2のサイズを有し、前記第2のサイズは、前記第1のサイズとは異なる、前記特定することと、
前記デコーダによって、再スケーリングされた参照ピクチャを形成するために前記サブ領域を第3のサイズに再スケーリングすることであって、前記第3のサイズは、前記第1のサイズに等しい、前記再スケーリングすることと、
前記デコーダによって、前記再スケーリングされた参照ピクチャを使用して前記現在のピクチャを復号化することと、を含む、方法。 - 前記サブ領域は、高さオフセット、高さ、長さオフセット、及び長さによって特徴付けられる、請求項15に記載の方法。
- 前記サブ領域を特定することは、前記ビットストリームにおいて、前記サブ領域が存在するという指示を受信することをさらに含む、請求項15に記載の方法。
- 前記参照フレームをバッファに格納することをさらに含む、請求項15に記載の方法。
- 前記バッファは、長期参照バッファをさらに含む、請求項18に記載の方法。
- 前記バッファは、参照ピクチャバッファをさらに含む、請求項18に記載の方法。
- ビットストリームを受信することと、
第1のフレームを特定することと、
前記第1のフレーム内の第1の独立した参照領域を見つけることと、
前記第1のフレームから前記第1の独立した参照領域を抽出することと、
第2のフレームの参照として前記第1の独立した参照領域を使用して前記第2のフレームを復号化することと、
を行うように構成されている回路を含む、デコーダ。 - 前記デコーダは、前記ビットストリームにおいて、前記第1のフレーム内の独立した参照領域の幾何学的特徴付けを特定することによって、前記第1の独立した参照領域を見つけることを行うようにさらに構成されている、請求項21に記載のデコーダ。
- 前記第1の独立した参照領域は、長方形であり、前記幾何学的特徴付けは、前記第1の独立したサブ領域の頂点を特徴付ける数値の4項組をさらに含む、請求項22に記載のデコーダ。
- 前記第1の独立した参照領域を特定することは、前記ビットストリームにおいて、前記第1の独立した参照領域が存在するという指示を受信することをさらに含む、請求項21に記載のデコーダ。
- 前記第1の独立した参照領域は、サイズを有し、前記デコーダは、前記第1の独立した参照領域と同じサイズを有する前記第2のフレームを復号化することによって前記第2のフレームを復号化することを行うように構成されている、請求項21に記載のデコーダ。
- 前記デコーダは、前記第1の独立した参照領域を変換することによって前記第2のフレームを復号化することを行うように構成されている、請求項21に記載のデコーダ。
- 前記第1の独立した参照領域を変換することは、前記第1の独立した参照領域をスケーリングすることをさらに含む、請求項26に記載のデコーダ。
- 前記第1の独立した参照領域を変換することは、前記第1の独立した参照領域を反転させることをさらに含む、請求項26に記載のデコーダ。
- 前記第1の独立した参照領域を変換することは、ビデオピクチャにおける位置に対して前記第1の独立した参照領域を移動させることをさらに含む、請求項26に記載のデコーダ。
- 前記第1の独立した参照領域を変換することは、ビデオピクチャにおける位置に対して前記第1の独立した参照領域を回転させることをさらに含む、請求項26に記載のデコーダ。
- 第1のフレームをバッファに格納することを行うようにさらに構成されている、請求項21に記載のデコーダ。
- 前記バッファは、長期参照バッファをさらに含む、請求項31に記載のデコーダ。
- 前記バッファは、参照ピクチャバッファをさらに含む、請求項31に記載のデコーダ。
- 前記デコーダは、前記第1のフレームにおいて第2の参照領域を見つけることを行うようにさらに構成されている、請求項21に記載のデコーダ。
- 前記第1の参照領域及び前記第2の独立した参照領域を使用して前記第2のフレームを復号化することを行うようにさらに構成されている、請求項34に記載のデコーダ。
- 前記第2の独立した参照領域をバッファに格納することを行うようにさらに構成されている、請求項35に記載のデコーダ。
- 前記第1の参照領域及び第2の参照領域を使用して第2のフレームを復号化することを行うようにさらに構成されている、請求項21に記載のデコーダ。
- 参照領域を使用する映像符号化の方法であって、
ビットストリームを受信することと、
第1のフレームを特定することと、
前記第1のフレーム内の第1の独立した参照領域を見つけることと、
前記第1のフレームから前記第1の独立した参照領域を抽出することと、
第2のフレームの参照として前記第1の独立した参照領域を使用して前記第2のフレームを復号化することと、を含む、方法。 - 前記第1の独立した参照領域を見つけることは、前記ビットストリームにおいて、前記第1のフレーム内の独立した参照領域の幾何学的特徴付けを特定することをさらに含む、請求項38に記載の方法。
- 前記第1の独立した参照領域は、長方形であり、前記幾何学的特徴付けは、前記第1の独立した参照領域の頂点を特徴付ける数値の4項組をさらに含む、請求項39に記載の方法。
- 前記第1の独立した参照領域を特定することは、前記ビットストリームにおいて、前記第1の独立した参照領域が存在するという指示を受信することをさらに含む、請求項38に記載の方法。
- 前記第1の独立した参照領域は、サイズを有し、前記第2のフレームを復号化することは、前記第1の独立した参照領域と同じサイズを有する前記第2のフレームを復号化することをさらに含む、請求項38に記載の方法。
- 前記第1の独立した参照領域を変換することによって前記第2のフレームを復号化することをさらに含む、請求項38に記載の方法。
- 前記第1の独立した参照領域を変換することは、前記第1の独立した参照領域をスケーリングすることをさらに含む、請求項43に記載の方法。
- 前記第1の独立した参照領域を変換することは、前記第1の独立した参照領域を反転させることをさらに含む、請求項43に記載の方法。
- 前記第1の独立した参照領域を変換することは、ビデオピクチャにおける位置に対して前記第1の独立した参照領域を移動させることをさらに含む、請求項43に記載の方法。
- 前記第1の独立した参照領域を変換することは、ビデオピクチャにおける位置に対して前記第1の独立した参照領域を回転させることをさらに含む、請求項43に記載の方法。
- 前記第1のフレームをバッファに格納することをさらに含む、請求項38に記載の方法。
- 前記バッファは、長期参照バッファをさらに含む、請求項48に記載の方法。
- 前記バッファは、参照ピクチャバッファをさらに含む、請求項48に記載の方法。
- 前記デコーダは、前記第1のフレームにおいて第2の参照領域を見つけることを行うようにさらに構成されている、請求項48に記載の方法。
- 前記第1の参照領域及び前記第2の独立した参照領域を使用して前記第2のフレームを復号化することをさらに含む、請求項31に記載の方法。
- 前記第2の独立した参照領域をバッファに格納することをさらに含む、請求項35に記載の方法。
- 前記第1の参照領域及び第2の参照領域を使用して第2のフレームを復号化することをさらに含む、請求項38に記載の方法。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202063009978P | 2020-04-14 | 2020-04-14 | |
US63/009,978 | 2020-04-14 | ||
PCT/US2021/027183 WO2021211651A1 (en) | 2020-04-14 | 2021-04-14 | Methods and systems of video coding using reference regions |
US17/229,957 US11356660B2 (en) | 2020-04-14 | 2021-04-14 | Methods and systems of video coding using reference regions |
US17/229,957 | 2021-04-14 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023522845A true JP2023522845A (ja) | 2023-06-01 |
JPWO2021211651A5 JPWO2021211651A5 (ja) | 2024-02-26 |
Family
ID=78006600
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022560403A Pending JP2023522845A (ja) | 2020-04-14 | 2021-04-14 | 参照領域を使用する映像符号化の方法及びシステム |
Country Status (8)
Country | Link |
---|---|
US (1) | US11356660B2 (ja) |
EP (1) | EP4136577A4 (ja) |
JP (1) | JP2023522845A (ja) |
KR (1) | KR20230003491A (ja) |
CN (1) | CN115917611B (ja) |
BR (1) | BR112022020770A2 (ja) |
MX (1) | MX2022012430A (ja) |
WO (1) | WO2021211651A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11616955B2 (en) * | 2020-07-14 | 2023-03-28 | Avago Technologies International Sales Pte. Limited | Signaling of rectangular slices in the VVC video compression standard |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2450309C (en) * | 2002-07-02 | 2012-08-21 | Shinya Kadono | Motion vector derivation method, moving picture coding method and moving picture decoding method |
JP4373702B2 (ja) * | 2003-05-07 | 2009-11-25 | 株式会社エヌ・ティ・ティ・ドコモ | 動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、動画像符号化プログラム及び動画像復号化プログラム |
CN102036070A (zh) * | 2005-12-08 | 2011-04-27 | 维德约股份有限公司 | 用于视频通信***中的差错弹性和随机接入的***和方法 |
CA2661981C (en) * | 2006-11-09 | 2013-01-15 | Lg Electronics Inc. | Method and apparatus for decoding/encoding a video signal |
MX2013008691A (es) * | 2011-02-10 | 2013-08-21 | Panasonic Corp | Metodo de codificacion de imagenes en movimiento, aparato de codificacion de imagenes en movimiento, metodo de decodificacion de imagenes en movimiento, aparato de decodificacion de imagenes en movimiento y aparato de codificacion y decodificacion de imagenes en movimiento. |
US9111376B2 (en) * | 2012-01-26 | 2015-08-18 | Samsung Electronics Co., Ltd. | Image processing method and apparatus for 3D video |
EP2837187A4 (en) * | 2012-04-13 | 2015-10-21 | Sharp Kk | DEVICES FOR SENDING AND RECEIVING A LONG-TERM REFERENCE GAME INDICATOR |
JP6190397B2 (ja) * | 2012-07-01 | 2017-08-30 | シャープ株式会社 | パラメータセットにおいて長期参照ピクチャをシグナリングするためのデバイス |
US9800857B2 (en) * | 2013-03-08 | 2017-10-24 | Qualcomm Incorporated | Inter-view residual prediction in multi-view or 3-dimensional video coding |
CN105284115B (zh) * | 2013-04-05 | 2018-11-23 | 三星电子株式会社 | 用于对多层视频进行解码的方法和设备以及用于对多层视频进行编码的方法和设备 |
US10368097B2 (en) * | 2014-01-07 | 2019-07-30 | Nokia Technologies Oy | Apparatus, a method and a computer program product for coding and decoding chroma components of texture pictures for sample prediction of depth pictures |
KR102553844B1 (ko) * | 2014-11-27 | 2023-07-10 | 주식회사 케이티 | 비디오 신호 처리 방법 및 장치 |
CN108141602B (zh) * | 2015-09-25 | 2021-02-23 | 华为技术有限公司 | 视频编解码器、编解码方法和计算机可读存储介质 |
FI20165547A (fi) * | 2016-06-30 | 2017-12-31 | Nokia Technologies Oy | Laitteisto, menetelmä ja tietokoneohjelma videokoodausta ja videokoodauksen purkua varten |
CN114531589B (zh) * | 2016-10-04 | 2023-03-24 | 有限公司B1影像技术研究所 | 图像数据编码/解码方法、介质和发送比特流的方法 |
US10798376B2 (en) * | 2018-07-17 | 2020-10-06 | Tencent America LLC | Method and apparatus for video coding |
WO2020185879A1 (en) * | 2019-03-11 | 2020-09-17 | Dolby Laboratories Licensing Corporation | Video coding using reference picture resampling supporting region of interest |
US11206404B2 (en) * | 2019-07-08 | 2021-12-21 | Fastvdo Llc | Adaptive resolution change in video streams |
-
2021
- 2021-04-14 MX MX2022012430A patent/MX2022012430A/es unknown
- 2021-04-14 BR BR112022020770A patent/BR112022020770A2/pt unknown
- 2021-04-14 CN CN202180028644.XA patent/CN115917611B/zh active Active
- 2021-04-14 EP EP21788027.7A patent/EP4136577A4/en active Pending
- 2021-04-14 US US17/229,957 patent/US11356660B2/en active Active
- 2021-04-14 WO PCT/US2021/027183 patent/WO2021211651A1/en active Application Filing
- 2021-04-14 KR KR1020227037500A patent/KR20230003491A/ko active Search and Examination
- 2021-04-14 JP JP2022560403A patent/JP2023522845A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
BR112022020770A2 (pt) | 2022-11-29 |
CN115917611A (zh) | 2023-04-04 |
EP4136577A4 (en) | 2024-05-01 |
CN115917611B (zh) | 2024-04-26 |
MX2022012430A (es) | 2022-11-30 |
WO2021211651A1 (en) | 2021-10-21 |
KR20230003491A (ko) | 2023-01-06 |
EP4136577A1 (en) | 2023-02-22 |
US20210321088A1 (en) | 2021-10-14 |
US11356660B2 (en) | 2022-06-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2022544164A (ja) | フレームタイプに基づく適応分解能管理の暗示的信号伝達 | |
US20230129532A1 (en) | Adaptive resolution management signaling | |
US11102498B2 (en) | Block-based adaptive resolution management | |
JP2022529508A (ja) | インタ予測における大域的運動制約運動ベクトル | |
US20240114161A1 (en) | Adaptive resolution management using sub-frames | |
US20220417545A1 (en) | Adaptive Resolution Management Prediction Rescaling | |
US20240137532A1 (en) | Methods and systems for adaptive cropping | |
JP2022529509A (ja) | 大域的運動を伴うフレームにおける候補 | |
US11356660B2 (en) | Methods and systems of video coding using reference regions | |
WO2021026361A1 (en) | Adaptive resolution management using sub-frames | |
US20230388483A1 (en) | Methods and Systems of Video Coding Using Reference Regions | |
TW202147850A (zh) | 用於組合無損和有損寫碼之方法和系統 | |
JP2023521678A (ja) | 組み合わせられた可逆及び非可逆符号化のための方法及びシステム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240215 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240215 |