JP7269257B2 - フレームレベル超解像ベースビデオ符号化 - Google Patents
フレームレベル超解像ベースビデオ符号化 Download PDFInfo
- Publication number
- JP7269257B2 JP7269257B2 JP2020555473A JP2020555473A JP7269257B2 JP 7269257 B2 JP7269257 B2 JP 7269257B2 JP 2020555473 A JP2020555473 A JP 2020555473A JP 2020555473 A JP2020555473 A JP 2020555473A JP 7269257 B2 JP7269257 B2 JP 7269257B2
- Authority
- JP
- Japan
- Prior art keywords
- block
- original
- frame
- video
- prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims description 188
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 85
- 230000008569 process Effects 0.000 claims description 55
- 238000005070 sampling Methods 0.000 claims description 33
- 238000003860 storage Methods 0.000 claims description 33
- 238000000638 solvent extraction Methods 0.000 claims description 28
- 230000011664 signaling Effects 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 14
- 230000001131 transforming effect Effects 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 4
- 239000013598 vector Substances 0.000 description 50
- 238000012545 processing Methods 0.000 description 45
- 238000013139 quantization Methods 0.000 description 25
- 238000010586 diagram Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 14
- 230000005540 biological transmission Effects 0.000 description 13
- 238000004891 communication Methods 0.000 description 12
- 230000006835 compression Effects 0.000 description 11
- 238000007906 compression Methods 0.000 description 11
- 239000011159 matrix material Substances 0.000 description 11
- 238000001914 filtration Methods 0.000 description 10
- 238000005457 optimization Methods 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 6
- 230000002123 temporal effect Effects 0.000 description 6
- 230000003044 adaptive effect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000013500 data storage Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000005192 partition Methods 0.000 description 3
- 238000012805 post-processing Methods 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 230000002441 reversible effect Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 241000023320 Luma <angiosperm> Species 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 244000025254 Cannabis sativa Species 0.000 description 1
- 206010011878 Deafness Diseases 0.000 description 1
- 241000196324 Embryophyta Species 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000013277 forecasting method Methods 0.000 description 1
- 238000012432 intermediate storage Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/002—Image coding using neural networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
y(k)=A(k)Hx
Claims (17)
- ビデオ・フレームを符号化してビットストリームにする方法であって、
前記方法は、インループ符号化処理を備え、
前記インループ符号化処理は、
第1低解像度(LR)オリジナル・フレーム及び1つ以上の第2LRオリジナル・フレームを判断するためのダウンサンプル方式を、第1解像度のオリジナル・ビデオ・フレームに適用するステップであって、前記第1LRオリジナル・フレーム及び前記1つ以上の第2LRオリジナル・フレームが、前記第1解像度より低い第2解像度を有する、ステップと、
前記第1LRオリジナル・フレームを第1オリジナル・ブロックに区分化し、また、前記1つ以上の第2LRフレームを第2オリジナル・ブロックに区分化するステップと、
前記第1LRオリジナル・フレームの前記第1オリジナル・ブロックの予測を定義する第1予測ブロックを判断するための予測法を使用するステップと、
前記第1予測ブロック及び前記第1オリジナル・ブロックに基づいて第1残余ブロックを判断し、その後に、前記第1残余ブロック及び前記第1予測ブロックに基づいて第1再構成ブロックを判断するステップと、
前記1つ以上の第2LRオリジナル・フレームの前記第2オリジナル・ブロックの予測を定義する第2予測ブロックを、前記第1再構成ブロックに基づいて判断するステップと、
前記第2予測ブロック及び前記第2オリジナル・ブロックに基づいて第2残余ブロックを判断するステップと、
前記第1残余ブロック及び前記第2残余ブロックをビットストリームに変換するステップであって、前記ビットストリームは、前記符号化中にダウンサンプリング方式が前記ビデオ・フレームをダウンサンプリングするために使用されたことを復号化装置にシグナリングするためのメタデータを含む、ステップと、
を含む、方法。 - 請求項1に記載の方法において、
前記ビデオ・フレームはIフレームであり、前記第1予測ブロックを判断するステップが前記第1予測ブロックを判断するためのイントラ予測法を使用するステップを含む、或いは、
前記ビデオ・フレームはPフレーム又はBフレームであり、前記第1予測ブロックを判断することが前記第1予測ブロックを判断するためのインター予測法を使用するステップを含む、方法。 - 請求項1又は2に記載の方法において、
前記第1再構成ブロックが第1LR再構成フレームを定義し、
前記第1LR再構成フレームが前記第2予測ブロックを判断するための基準フレームを定義する、方法。 - 請求項3に記載の方法において、
ブロックマッチング予測法が前記第2予測ブロックを判断するため使用される、
方法。 - 請求項1乃至3のいずれか一項に記載の方法において、
前記第1LRオリジナル・フレームに関連付けられた前記第1残余ブロックと、前記1つ以上の第2LRオリジナル・フレームに関連付けられた前記第2残余ブロックとが、データ構造を定義する、方法。 - 請求項1乃至5のいずれか一項に記載の方法において、
前記ダウンサンプリング方式が多相ダウンサンプリング方式であり、
前記ダウンサンプリング方式が複数の空間ダウンサンプリング格子を含む、方法。 - 請求項1乃至6のいずれか一項に記載の方法において、
前記第1LRオリジナル・フレーム及び前記1つ以上の第2LRオリジナル・フレームが空間的に多重化されて、前記第1解像度の多重化ビデオ・フレームとされる、方法。 - 請求項1乃至7のいずれか一項に記載の方法において、
前記メタデータが、符号化装置により使用されたダウンサンプリング方式のタイプを前記復号化装置にシグナリングするための1つ以上の第1パラメータを含み、及び/又は、
前記メタデータが、前記第1予測ブロックを予測するために使用された予測のタイプを前記復号化装置にシグナリングするための1つ以上の第2パラメータを含み、及び/又は、
前記メタデータは前記第2予測ブロックを予測するために使用された予測のタイプを前記復号化装置にシグナリングするための1つ以上の第3のパラメータを含む、方法。 - ビットストリームを復号化してビデオ・フレームにする方法であって、
前記方法は、インループ符号化処理を備え、
前記インループ符号化処理は、
第1低解像度(LR)オリジナル・フレームに関連付けられた第1符号化残余ブロックと、1つ以上の第2LRオリジナル・フレームに関連付けられた第2符号化残余ブロックとを含むビットストリームを受信するステップと、
前記第1符号化残余ブロック及び第2符号化残余ブロックに関連付けられたメタデータを受信するステップであって、前記メタデータは、第1解像度のオリジナル・フレームを前記第1LRオリジナル・フレーム及び前記1つ以上の第2LRオリジナル・フレームにダウンサンプリングするダウンサンプリング方式を符号化装置が使用したことを復号化装置にシグナリングし、前記第1LRオリジナル・フレーム及び前記1つ以上の第2LRオリジナル・フレームが、前記第1解像度より低い第2解像度を有する、ステップと、
前記第1LRオリジナル・フレームの第1オリジナル・ブロックの予測を定義する第1予測ブロックを判断するための予測法を使用するステップと、
前記第1符号化残余ブロックを第1残余ブロックに変換し、第1LR再構成フレームを定義する第1再構成ブロックを、前記第1残余ブロック及び前記第1予測ブロックに基づいて判断するステップと、
前記1つ以上の第2LRオリジナル・フレームの第2オリジナル・ブロックの予測を定義する第2予測ブロックを、前記第1再構成ブロックに基づいて判断するステップと、
前記第2符号化残余ブロックを第2残余ブロックに変換し、1つ以上の第2LR再構成フレームを定義する第2再構成ブロックを前記第2残余ブロック及び前記第2予測ブロックに基づいて判断するステップと、
再構成されたオリジナル・ビデオ・フレームを、前記第1LR再構成フレーム及び前記1つ以上の第2LR再構成フレームに基づいて判断するステップと、
を含む方法。 - 請求項9に記載の方法において、前記再構成ブロックを判断するステップが、
前記第1LR再構成フレーム及び前記1つ以上の第2LR再構成フレームをアップサンプリングする、ステップと、
前記アップサンプリングされた第1LR再構成フレーム及び前記アップサンプリングされた第2LR再構成フレームを、前記再構成されたオリジナル・ビデオ・フレームに合成するステップと、
を含む、方法。 - 請求項9又は10に記載の方法において、
ブロックマッチング予測法が前記第2予測ブロックを判断するため使用される、方法。 - 請求項1乃至8のいずれか一項に記載の方法において、前記ビットストリームは、高効率ビデオ符号化(HEVC)ベース・ビットストリーム、Alliance for Open Media Video(AV1)ベース・ビットストリーム、或いは、汎用ビデオ符号化(VVC)ベース・ビットストリームである、方法。
- 請求項9乃至11のいずれか一項に記載の方法において、前記ビットストリームは、高効率ビデオ符号化(HEVC)ベース・ビットストリーム、Alliance for Open Media Video(AV1)ベース・ビットストリーム、或いは、汎用ビデオ符号化(VVC)ベース・ビットストリームである、方法。
- ビデオ・フレームを符号化してビットストリームにするための装置であって、
プログラムの少なくとも一部分を具現化して有するコンピュータ可読ストレージ媒体と、
コンピュータ可読プログラム・コードを具現化して有するコンピュータ可読ストレージ媒体と、
前記コンピュータ可読ストレージ媒体に結合されたプロセッサと、を含み、
前記コンピュータ可読プログラム・コードを実行したことに応答して、前記プロセッサが、
第1低解像度(LR)オリジナル・フレーム及び1つ以上の第2LRオリジナル・フレームを判断するためのダウンサンプル方式を第1解像度のオリジナル・ビデオ・フレームに適用するステップであって、前記第1LRオリジナル・フレーム及び前記1つ以上の第2LRオリジナル・フレームが、前記第1解像度より低い第2解像度を有するステップと、
前記第1LRオリジナル・フレームを第1オリジナル・ブロックに区分化し、前記1つ以上の第2LRフレームを第2オリジナル・ブロックに区分化するステップと、
前記第1LRオリジナル・フレームの前記第1オリジナル・ブロックの予測を定義する第1予測ブロックを判断する予測法を使用するステップと、
前記第1予測ブロック及び前記第1オリジナル・ブロックに基づいて第1残余ブロックを判断し、その後に、前記第1残余ブロック及び前記第1予測ブロックに基づいて第1再構成ブロックを判断するステップと、
前記1つ以上の第2LRオリジナル・フレームの前記第2オリジナル・ブロックの予測を定義する第2予測ブロックを、前記第1再構成ブロックに基づいて判断するステップと、
前記第2予測ブロック及び前記第2オリジナル・ブロックに基づいて、第2残余ブロックを判断するステップと、
前記第1残余ブロック及び前記第2残余ブロックをビットストリームに変換するステップであって、前記ビットストリームは前記符号化中にダウンサンプリング方式が前記ビデオ・フレームをダウンサンプリングするために使用されたことを復号化装置にシグナリングするためのメタデータを含むステップと、
を含むインループ符号化処理に関連付けられた実行可能動作を実行するように構成される、装置。 - ビットストリームを復号化してビデオ・フレームにするための装置であって、
プログラムの少なくとも一部分を具現化して有するコンピュータ可読ストレージ媒体と、
コンピュータ可読プログラム・コードを具現化して有するコンピュータ可読ストレージ媒体と、
前記コンピュータ可読ストレージ媒体に結合されたプロセッサ、と、を含み、
前記コンピュータ可読プログラム・コードを実行したことに応答して、前記プロセッサが、
第1低解像度(LR)オリジナル・フレームに関連付けられた第1符号化残余ブロックと、1つ以上の第2LRオリジナル・フレームに関連付けられた第2符号化残余ブロックとを含むビットストリームを受信するステップと、
前記第1符号化残余ブロック及び前記第2符号化残余ブロックに関連付けられたメタデータを受信するステップであって、前記メタデータは、第1解像度のオリジナル・フレームを前記第1LRオリジナル・フレーム及び前記1つ以上の第2LRオリジナル・フレームにダウンサンプリングするダウンサンプリング方式を符号化装置が使用したことを復号化装置にシグナリングし、前記第1LRオリジナル・フレーム及び前記1つ以上の第2LRオリジナル・フレームが、前記第1解像度より低い第2解像度を有する、ステップと、
前記第1LRオリジナル・フレームの第1オリジナル・ブロックの予測を定義する第1予測ブロックを判断する予測法を使用するステップと、
前記第1符号化残余ブロックを第1残余ブロックに変換し、第1LR再構成フレームを定義する第1再構成ブロックを、前記第1残余ブロック及び前記第1予測ブロックに基づいて判断するステップと、
前記1つ以上の第2LRオリジナル・フレームの第2オリジナル・ブロックの予測を定義する第2予測ブロックを第1再構成ブロックに基づいて判断するステップと、
前記第2符号化残余ブロックを第2残余ブロックに変換し、1つ以上の第2LR再構成フレームを定義する第2再構成ブロックを、前記第2残余ブロック及び前記第2予測ブロックに基づいて判断するステップと、
再構成されたオリジナル・ビデオ・フレームを、前記第1LR再構成フレーム及び前記1つ以上のLR再構成フレームに基づいて判断するステップと、
を含むインループ符号化処理に関連付けられた実行可能動作を実行するように構成される、装置。 - コンピュータのメモリ内で起動されると請求項1乃至8および12のいずれか一項に記載の方法ステップを実行するように構成されるソフトウェアコード部を含む、コンピュータ・プログラム。
- コンピュータのメモリ内で起動されると請求項9乃至11および13のいずれか一項に記載の方法ステップを実行するように構成されるソフトウェアコード部を含む、コンピュータ・プログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP18167361.7 | 2018-04-13 | ||
EP18167361 | 2018-04-13 | ||
PCT/EP2019/059534 WO2019197661A1 (en) | 2018-04-13 | 2019-04-12 | Frame-level super-resolution-based video coding |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021520741A JP2021520741A (ja) | 2021-08-19 |
JP7269257B2 true JP7269257B2 (ja) | 2023-05-08 |
Family
ID=62002029
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020555473A Active JP7269257B2 (ja) | 2018-04-13 | 2019-04-12 | フレームレベル超解像ベースビデオ符号化 |
Country Status (5)
Country | Link |
---|---|
US (2) | US11438610B2 (ja) |
EP (2) | EP3777189A1 (ja) |
JP (1) | JP7269257B2 (ja) |
CN (2) | CN111937401B (ja) |
WO (2) | WO2019197661A1 (ja) |
Families Citing this family (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10474458B2 (en) | 2017-04-28 | 2019-11-12 | Intel Corporation | Instructions and logic to perform floating-point and integer operations for machine learning |
US10687083B2 (en) * | 2018-06-06 | 2020-06-16 | Intel Corporation | Loop restoration filtering for super resolution video coding |
US10645409B2 (en) * | 2018-06-26 | 2020-05-05 | Google Llc | Super-resolution loop restoration |
JP7116244B2 (ja) * | 2019-03-01 | 2022-08-09 | 株式会社ソニー・インタラクティブエンタテインメント | 画像送受信システム、画像送信装置、画像受信装置、画像送受信方法及びプログラム |
US11934342B2 (en) | 2019-03-15 | 2024-03-19 | Intel Corporation | Assistance for hardware prefetch in cache access |
CN113424148A (zh) | 2019-03-15 | 2021-09-21 | 英特尔公司 | 用于检测跨分片访问、提供多分片推理缩放和提供最佳页迁移的多分片存储器管理 |
JP7423644B2 (ja) | 2019-03-15 | 2024-01-29 | インテル コーポレイション | 行列アクセラレータアーキテクチャのためのスパース最適化 |
CN110662071B (zh) * | 2019-09-27 | 2023-10-24 | 腾讯科技(深圳)有限公司 | 视频解码方法和装置、存储介质及电子装置 |
US11663746B2 (en) * | 2019-11-15 | 2023-05-30 | Intel Corporation | Systolic arithmetic on sparse data |
US20230052774A1 (en) * | 2019-12-05 | 2023-02-16 | Electronics And Telecommunications Research Institute | Method, apparatus, and recording medium for region-based differential image encoding/decoding |
US12008732B2 (en) | 2020-04-02 | 2024-06-11 | Sony Group Corporation | Super-resolution of block-compressed texture for texture mapping applications |
WO2021249867A1 (en) * | 2020-06-12 | 2021-12-16 | Interdigital Vc Holdings France, Sas | A method and apparatus for encoding and decoding volumetric video as partitioned patch atlases |
CN113810763A (zh) * | 2020-06-15 | 2021-12-17 | 深圳市中兴微电子技术有限公司 | 一种视频处理方法、设备及存储介质 |
CN111738924A (zh) * | 2020-06-22 | 2020-10-02 | 北京字节跳动网络技术有限公司 | 图像处理方法及装置 |
WO2022016389A1 (en) * | 2020-07-21 | 2022-01-27 | Siemens Aktiengesellschaft | Multi-parameter dynamic sampling method and multi-parameter dynamic sampling device |
US11962784B2 (en) * | 2020-09-23 | 2024-04-16 | Ofinno, Llc | Intra prediction |
US20220201307A1 (en) * | 2020-12-23 | 2022-06-23 | Tencent America LLC | Method and apparatus for video coding |
EP4272435A1 (en) * | 2020-12-29 | 2023-11-08 | Koninklijke KPN N.V. | Adaptive resolution coding for video coding |
US11924408B2 (en) * | 2021-01-14 | 2024-03-05 | Tencent America LLC | Method and apparatus for video coding |
CN112950471A (zh) * | 2021-02-26 | 2021-06-11 | 杭州朗和科技有限公司 | 视频超分处理方法、装置、超分辨率重建模型、介质 |
CN117730533A (zh) * | 2021-07-01 | 2024-03-19 | 抖音视界有限公司 | 超分辨率上采样和下采样 |
US12041248B2 (en) * | 2021-08-02 | 2024-07-16 | Mediatek Singapore Pte. Ltd. | Color component processing in down-sample video coding |
CN114067258B (zh) * | 2022-01-18 | 2022-05-03 | 电子科技大学 | 一种面部通话视频的分层编码方法 |
CN115082322B (zh) * | 2022-07-26 | 2022-11-15 | 腾讯科技(深圳)有限公司 | 图像处理方法和装置、图像重建模型的训练方法和装置 |
CN116797462B (zh) * | 2023-08-18 | 2023-10-24 | 深圳市优森美科技开发有限公司 | 基于深度学习的实时视频超分辨率重建方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013229768A (ja) | 2012-04-25 | 2013-11-07 | Nippon Telegr & Teleph Corp <Ntt> | 映像符号化方法及び装置 |
WO2017129568A1 (en) | 2016-01-25 | 2017-08-03 | Koninklijke Kpn N.V. | Spatial scalable video coding |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3466032B2 (ja) * | 1996-10-24 | 2003-11-10 | 富士通株式会社 | 動画像符号化装置および復号化装置 |
WO2006078454A1 (en) * | 2005-01-14 | 2006-07-27 | Thomson Licensing | Method and apparatus for intra prediction for rru |
US8488680B2 (en) * | 2008-07-30 | 2013-07-16 | Stmicroelectronics S.R.L. | Encoding and decoding methods and apparatus, signal and computer program product therefor |
US20110002391A1 (en) * | 2009-06-11 | 2011-01-06 | Motorola, Inc. | Digital image compression by resolution-adaptive macroblock coding |
CN101710993B (zh) * | 2009-11-30 | 2012-04-11 | 北京大学 | 基于块的自适应超分辨率视频处理方法及*** |
EP2343897A1 (en) * | 2010-01-08 | 2011-07-13 | Research In Motion Limited | Method and Device for Motion Vector Prediction in Video Transcoding |
CN102823242B (zh) | 2010-01-22 | 2016-08-10 | 汤姆森特许公司 | 基于取样超分辨率视频编码和解码的方法和装置 |
CN102196256B (zh) * | 2010-03-11 | 2013-03-27 | 中国科学院微电子研究所 | 一种视频编码方法及装置 |
EP2479994B1 (en) * | 2011-01-19 | 2017-03-15 | BlackBerry Limited | Method and device for improved multi-layer data compression |
US8780976B1 (en) * | 2011-04-28 | 2014-07-15 | Google Inc. | Method and apparatus for encoding video using granular downsampling of frame resolution |
JP6242793B2 (ja) * | 2011-09-15 | 2017-12-06 | ヴィド スケール インコーポレイテッド | 空間的予測のためのシステムおよび方法 |
MY178305A (en) | 2013-10-11 | 2020-10-07 | Vid Scale Inc | High level syntax for hevc extensions |
US9589206B2 (en) * | 2013-12-05 | 2017-03-07 | Hochschule Pforzheim | Optimizing an image filter |
US20160127728A1 (en) * | 2014-10-30 | 2016-05-05 | Kabushiki Kaisha Toshiba | Video compression apparatus, video playback apparatus and video delivery system |
CN104702962B (zh) | 2015-03-03 | 2019-04-16 | 华为技术有限公司 | 帧内编解码方法、编码器和解码器 |
CN108495130B (zh) | 2017-03-21 | 2021-04-20 | 腾讯科技(深圳)有限公司 | 视频编码、解码方法和装置、终端、服务器和存储介质 |
-
2019
- 2019-04-12 WO PCT/EP2019/059534 patent/WO2019197661A1/en active Application Filing
- 2019-04-12 CN CN201980023251.2A patent/CN111937401B/zh active Active
- 2019-04-12 EP EP19716440.3A patent/EP3777189A1/en active Pending
- 2019-04-12 WO PCT/EP2019/059569 patent/WO2019197674A1/en active Application Filing
- 2019-04-12 JP JP2020555473A patent/JP7269257B2/ja active Active
- 2019-04-12 US US17/044,528 patent/US11438610B2/en active Active
- 2019-04-12 CN CN201980023891.3A patent/CN111937385B/zh active Active
- 2019-04-12 EP EP19716206.8A patent/EP3777166A1/en active Pending
- 2019-04-12 US US17/044,560 patent/US11330280B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013229768A (ja) | 2012-04-25 | 2013-11-07 | Nippon Telegr & Teleph Corp <Ntt> | 映像符号化方法及び装置 |
WO2017129568A1 (en) | 2016-01-25 | 2017-08-03 | Koninklijke Kpn N.V. | Spatial scalable video coding |
Non-Patent Citations (1)
Title |
---|
THOMAS, Emmanuel and VAN BUERENPLEIN, Anna,Polyphase subsampled signal for spatial scalability,Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 2nd Meeting: San Diego, USA, 20-26 February 2016, [JVET-B0043],JVET-B0043 (version 2),ITU-T,2016年02月,<URL: http://phenix.it-sudparis.eu/jvet/doc_end_user/documents/2_San%20Diego/wg11/JVET-B0043-v2.zip>: JVET-B0043_r1.doc: pp. 1-5 |
Also Published As
Publication number | Publication date |
---|---|
US11330280B2 (en) | 2022-05-10 |
CN111937401A (zh) | 2020-11-13 |
WO2019197674A1 (en) | 2019-10-17 |
CN111937401B (zh) | 2022-08-16 |
CN111937385B (zh) | 2024-04-16 |
JP2021520741A (ja) | 2021-08-19 |
EP3777189A1 (en) | 2021-02-17 |
CN111937385A (zh) | 2020-11-13 |
US11438610B2 (en) | 2022-09-06 |
US20210211643A1 (en) | 2021-07-08 |
US20210099722A1 (en) | 2021-04-01 |
WO2019197661A1 (en) | 2019-10-17 |
EP3777166A1 (en) | 2021-02-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7269257B2 (ja) | フレームレベル超解像ベースビデオ符号化 | |
KR102118718B1 (ko) | 주변 블록이 갖는 방향성을 기초로 인트라 예측을 수행하는 비디오 인코딩 장치, 비디오 디코딩 장치 및 비디오 디코딩 방법 | |
TWI724008B (zh) | 在視訊寫碼中限制雙向預測之方法及系統 | |
JP7341901B2 (ja) | ビデオコーディングにおける改善されたイントラ予測 | |
CN105379284B (zh) | 动态图像编码装置及其动作方法 | |
KR100772883B1 (ko) | 인트라 bl 모드를 고려한 디블록 필터링 방법, 및 상기방법을 이용하는 다 계층 비디오 인코더/디코더 | |
KR101662139B1 (ko) | 고효율 비디오 코딩을 위한 움직임 정보의 효율적인 저장 | |
JP7513641B2 (ja) | 切替え可能フィルタを用いる参照ピクチャリサンプリング | |
JP2014524707A (ja) | 非対称な空間解像度を持つ3次元ビデオ | |
KR102558495B1 (ko) | Hls를 시그널링하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 컴퓨터 판독 가능한 기록 매체 | |
KR20200128375A (ko) | 인트라 예측 모드 스케일러블 코딩 방법 및 장치 | |
TW202236852A (zh) | 高效視訊編碼器架構 | |
KR101850152B1 (ko) | 적응적 루프 필터 적용 방법 및 그를 이용한 스케일러블 비디오 부호화 장치 | |
KR20230123949A (ko) | 인핸스드 보간 필터들을 사용한 인트라 예측 | |
US20150010083A1 (en) | Video decoding method and apparatus using the same | |
JP2024522847A (ja) | ビデオ符号化復号化のためのサイドウィンドウバイラテラルフィルタリング | |
WO2024011065A1 (en) | Non-separable transform for inter-coded blocks | |
JP2023552980A (ja) | 高ビット深度ビデオコーディングのライスパラメータ導出のための低複雑度の履歴使用 | |
TW202316855A (zh) | 梯度長條圖的產生 | |
WO2024039803A1 (en) | Methods and devices for adaptive loop filter | |
WO2023212254A1 (en) | Methods and devices for high precision intra prediction | |
WO2023192336A1 (en) | Methods and devices for high precision intra prediction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201204 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201204 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220121 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220125 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220415 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220825 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221122 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230323 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230421 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7269257 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |