JP2023506057A - イントラ予測残差を用いたマルチスケールニューラル画像圧縮のための方法および装置、およびコンピュータプログラム - Google Patents
イントラ予測残差を用いたマルチスケールニューラル画像圧縮のための方法および装置、およびコンピュータプログラム Download PDFInfo
- Publication number
- JP2023506057A JP2023506057A JP2022536607A JP2022536607A JP2023506057A JP 2023506057 A JP2023506057 A JP 2023506057A JP 2022536607 A JP2022536607 A JP 2022536607A JP 2022536607 A JP2022536607 A JP 2022536607A JP 2023506057 A JP2023506057 A JP 2023506057A
- Authority
- JP
- Japan
- Prior art keywords
- prediction
- residual
- image
- processor
- code
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 230000001537 neural effect Effects 0.000 title claims abstract description 41
- 230000006835 compression Effects 0.000 title claims abstract description 21
- 238000007906 compression Methods 0.000 title claims abstract description 21
- 238000004590 computer program Methods 0.000 title 1
- 238000013528 artificial neural network Methods 0.000 claims description 24
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 20
- 238000005070 sampling Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 description 22
- 238000010586 diagram Methods 0.000 description 16
- 238000012549 training Methods 0.000 description 15
- 238000012545 processing Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 8
- 238000012360 testing method Methods 0.000 description 7
- 230000007246 mechanism Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- VBRBNWWNRIMAII-WYMLVPIESA-N 3-[(e)-5-(4-ethylphenoxy)-3-methylpent-3-enyl]-2,2-dimethyloxirane Chemical compound C1=CC(CC)=CC=C1OC\C=C(/C)CCC1C(C)(C)O1 VBRBNWWNRIMAII-WYMLVPIESA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000007596 consolidation process Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000001152 differential interference contrast microscopy Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000013442 quality metrics Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Algebra (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
本出願は、米国特許商標庁において、2020年9月3日に出願された米国仮特許出願第63/074,405号、および2021年5月28日に出願された米国特許出願第17/333,319号に基づいており、それらの優先権を主張し、上記の出願の開示内容は、参照によりその全体が本明細書に組み込まれる。
110 ユーザデバイス
120 プラットフォーム
122 クラウドコンピューティング環境
124 コンピューティングリソース
124-1 アプリケーション(APP)
124-2 仮想マシン(VM)
124-3 仮想化ストレージ(VS)
124-4 ハイパーバイザ(HYP)
130 ネットワーク
200 デバイス
210 バス
220 プロセッサ
230 メモリ
240 ストレージ
250 入力インターフェース
260 出力インターフェース
270 通信インターフェース
300 エンコーダ
310 ダウンサンプラ
320 イントラ予測部
330 減算器
340 DNN予測残差エンコーダ
350 DNN予測残差デコーダ
360 加算器
370 アップサンプラ
380 減算器
390 DNNスケール残差エンコーダ
400 装置
410 イントラ予測部
420 減算器
430 DNN予測残差エンコーダ
440 DNN予測残差デコーダ
500 デコーダ
510 DNNスケール残差デコーダ
520 DNN予測残差デコーダ
530 イントラ予測部
540 加算器
550 アップサンプラ
560 加算器
610 ニューラルスケール残差エンコーダ
620 スケール残差エンコーダ
630 ニューラル予測残差エンコーダ
640 予測残差エンコーダ
710 スケール残差デコーダ
720 ニューラルスケール残差デコーダ
730 予測残差デコーダ
740 ニューラル予測残差デコーダ
800 方法
900 装置
910 ダウンサンプリングコード
920 第1の生成コード
930 第2の生成コード
940 第1の符号化コード
950 第1の復号化コード
960 第3の生成コード
970 アップサンプリングコード
980 第4の生成コード
990 第2の符号化コード
Claims (20)
- イントラ予測残差を用いたマルチスケールニューラル画像圧縮の方法であって、前記方法は、少なくとも1つのプロセッサによって実施され、
入力画像をダウンサンプリングするステップと、
以前に復元された予測画像に基づいて、現在の予測画像を生成するステップと、
前記ダウンサンプリングされた入力画像と前記生成された現在の予測画像との間の差に基づいて、予測残差を生成するステップと、
前記生成された予測残差を符号化するステップと、
前記符号化された予測残差を復号化するステップと、
前記現在の予測画像と前記復号化された予測残差との加算に基づいて、現在復元されている予測画像を生成するステップと、
前記現在復元されている予測画像をアップサンプリングするステップと、
前記入力画像と前記アップサンプリングされた現在復元されている予測画像との間の差に基づいて、スケール残差を生成するステップと、
前記スケール残差を符号化するステップと
を含む、方法。 - 前記符号化されたスケール残差を復号化するステップと
前記アップサンプリングされた現在復元されている予測画像と前記復号化されたスケール残差との加算に基づいて、再構築画像を生成するステップと
をさらに含む、請求項1に記載の方法。 - 前記入力画像をダウンサンプリングする前記ステップ、前記現在の予測画像を生成する前記ステップ、前記生成された予測残差を符号化する前記ステップ、前記符号化された予測残差を復号化する前記ステップ、前記現在復元されている予測画像をアップサンプリングする前記ステップ、前記スケール残差を符号化する前記ステップ、および前記符号化されたスケール残差を復号化する前記ステップは、それぞれニューラルネットワークを使用する、請求項2に記載の方法。
- 前記ニューラルネットワークは、
前記復号化されたスケール残差と前記符号化されたスケール残差との間の再構築誤差、および前記復号化された予測残差と前記符号化された予測残差との間の再構築誤差に基づいて、正則化損失を決定するステップ、ならびに
前記決定された正則化損失を最小化するために、前記ニューラルネットワークの重み係数を更新するステップ
によって訓練される、請求項3に記載の方法。 - 前記ニューラルネットワークは、
前記入力画像および前記再構築画像に基づいて、歪み損失を決定するステップ、ならびに
前記符号化されたスケール残差および前記符号化された予測残差のビットレートに基づいて、レート損失を決定するステップ
によってさらに訓練され、
前記重み係数を更新する前記ステップは、前記決定された歪み損失、前記決定されたレート損失、および前記決定された正則化損失を最小化するために、前記ニューラルネットワークの前記重み係数を更新するステップを含む、
請求項4に記載の方法。 - 前記現在の予測画像を生成する前記ステップは、前記以前に復元された予測画像の以前に復元された予測ブロックのセットに基づいて、現在の予測ブロックを生成するステップを含み、
前記予測残差を生成する前記ステップは、前記生成された現在の予測ブロックと前記ダウンサンプリングされた入力画像の真画像ブロックとの間の差に基づいて、予測残差ブロックを生成するステップを含む、
請求項1に記載の方法。 - 前記生成された予測残差を符号化する前記ステップは、前記生成された予測残差ブロックを符号化するステップを含み、
前記符号化された予測残差を復号化する前記ステップは、前記符号化された前記予測残差ブロックを復号化するステップを含む、
請求項6に記載の方法。 - イントラ予測残差を用いたマルチスケールニューラル画像圧縮のための装置であって、
プログラムコードを記憶するように構成された少なくとも1つのメモリと、
前記プログラムコードを読み取り、前記プログラムコードによって命令されるように動作するように構成された少なくとも1つのプロセッサであって、前記プログラムコードは、
前記少なくとも1つのプロセッサに、入力画像をダウンサンプリングさせるように構成されたダウンサンプリングコード、
前記少なくとも1つのプロセッサに、以前に復元された予測画像に基づいて、現在の予測画像を生成させるように構成された第1の生成コード、
前記少なくとも1つのプロセッサに、前記ダウンサンプリングされた入力画像と前記生成された現在の予測画像との間の差に基づいて、予測残差を生成させるように構成された第2の生成コード、
前記少なくとも1つのプロセッサに、前記生成された予測残差を符号化させるように構成された第1の符号化コード、
前記少なくとも1つのプロセッサに、前記符号化された予測残差を復号化させるように構成された第1の復号化コード、
前記少なくとも1つのプロセッサに、前記現在の予測画像と前記復号化された予測残差との加算に基づいて、現在復元されている予測画像を生成させるように構成された第3の生成コード、
前記少なくとも1つのプロセッサに、前記現在復元されている予測画像をアップサンプリングさせるように構成されたアップサンプリングコード、
前記少なくとも1つのプロセッサに、前記入力画像と前記アップサンプリングされた現在復元されている予測画像との間の差に基づいて、スケール残差を生成させるように構成された第4の生成コード、および
前記少なくとも1つのプロセッサに、前記スケール残差を符号化させるように構成された第2の符号化コード
を含む少なくとも1つのプロセッサと
を備える、装置。 - 前記プログラムコードは、
前記少なくとも1つのプロセッサに、前記符号化されたスケール残差を復号化させるように構成された第2の復号化コードと、
前記少なくとも1つのプロセッサに、前記アップサンプリングされた現在復元されている予測画像と前記復号化されたスケール残差との加算に基づいて、再構築画像を生成させるように構成された第5の生成コードと
をさらに含む、請求項8に記載の装置。 - 前記ダウンサンプリングコード、前記第1の生成コード、前記第1の符号化コード、前記第1の復号化コード、前記アップサンプリングコード、前記第2の符号化コード、および前記第2の復号化コードは、それぞれニューラルネットワークを使用する、請求項9に記載の装置。
- 前記ニューラルネットワークは、
前記復号化されたスケール残差と前記符号化されたスケール残差との間の再構築誤差、および前記復号化された予測残差と前記符号化された予測残差との間の再構築誤差に基づいて、正則化損失を決定するステップ、ならびに
前記決定された正則化損失を最小化するために、前記ニューラルネットワークの重み係数を更新するステップ
によって訓練される、請求項10に記載の装置。 - 前記ニューラルネットワークは、
前記入力画像および前記再構築画像に基づいて、歪み損失を決定するステップ、ならびに
前記符号化されたスケール残差および前記符号化された予測残差のビットレートに基づいて、レート損失を決定するステップ
によってさらに訓練され、
前記重み係数を更新する前記ステップは、前記決定された歪み損失、前記決定されたレート損失、および前記決定された正則化損失を最小化するために、前記ニューラルネットワークの前記重み係数を更新するステップを含む、
請求項11に記載の装置。 - 前記第1の生成コードは、前記少なくとも1つのプロセッサに、前記以前に復元された予測画像の以前に復元された予測ブロックのセットに基づいて、現在の予測ブロックを生成させるようにさらに構成され、
前記第2の生成コードは、前記少なくとも1つのプロセッサに、前記生成された現在の予測ブロックと前記ダウンサンプリングされた入力画像の真画像ブロックとの間の差に基づいて、予測残差ブロックを生成させるようにさらに構成される、
請求項8に記載の装置。 - 前記第1の符号化コードは、前記少なくとも1つのプロセッサに、前記生成された予測残差ブロックを符号化させるようにさらに構成され、
前記第1の復号化コードは、前記少なくとも1つのプロセッサに、前記符号化された前記予測残差ブロックを復号化させるようにさらに構成される、
請求項13に記載の装置。 - イントラ予測残差を用いたマルチスケールニューラル画像圧縮のための少なくとも1つのプロセッサによって実行されると、前記少なくとも1つのプロセッサに、
入力画像をダウンサンプリングさせ、
以前に復元された予測画像に基づいて、現在の予測画像を生成させ、
前記ダウンサンプリングされた入力画像と前記生成された現在の予測画像との間の差に基づいて、予測残差を生成させ、
前記生成された予測残差を符号化させ、
前記符号化された予測残差を復号化させ、
前記現在の予測画像と前記復号化された予測残差との加算に基づいて、現在復元されている予測画像を生成させ、
前記現在復元されている予測画像をアップサンプリングさせ、
前記入力画像と前記アップサンプリングされた現在復元されている予測画像との間の差に基づいて、スケール残差を生成させ、
前記スケール残差を符号化させる
命令を記憶する、非一時的コンピュータ可読媒体。 - 前記命令は、前記少なくとも1つのプロセッサによって実行されると、前記少なくとも1つのプロセッサにさらに、
前記符号化されたスケール残差を復号化させ、
前記アップサンプリングされた現在復元されている予測画像と前記復号化されたスケール残差との加算に基づいて、再構築画像を生成させる、
請求項15に記載の非一時的コンピュータ可読媒体。 - 前記入力画像をダウンサンプリングする前記ステップ、前記現在の予測画像を生成する前記ステップ、前記生成された予測残差を符号化する前記ステップ、前記符号化された予測残差を復号化する前記ステップ、前記現在復元されている予測画像をアップサンプリングする前記ステップ、前記スケール残差を符号化する前記ステップ、および前記符号化されたスケール残差を復号化する前記ステップは、それぞれニューラルネットワークを使用する、請求項16に記載の非一時的コンピュータ可読媒体。
- 前記ニューラルネットワークは、
前記復号化されたスケール残差と前記符号化されたスケール残差との間の再構築誤差、および前記復号化された予測残差と前記符号化された予測残差との間の再構築誤差に基づいて、正則化損失を決定するステップ、ならびに
前記決定された正則化損失を最小化するために、前記ニューラルネットワークの重み係数を更新するステップ
によって訓練される、請求項17に記載の非一時的コンピュータ可読媒体。 - 前記命令は、前記少なくとも1つのプロセッサによって実行されると、前記少なくとも1つのプロセッサにさらに、
前記以前に復元された予測画像の以前に復元された予測ブロックのセットに基づいて、現在の予測ブロックを生成させ、
前記生成された現在の予測ブロックと前記ダウンサンプリングされた入力画像の真画像ブロックとの間の差に基づいて、予測残差ブロックを生成させる、
請求項15に記載の非一時的コンピュータ可読媒体。 - 前記命令は、前記少なくとも1つのプロセッサによって実行されると、前記少なくとも1つのプロセッサにさらに、
前記生成された予測残差ブロックを符号化させ、
前記符号化された前記予測残差ブロックを復号化させる、
請求項19に記載の非一時的コンピュータ可読媒体。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202063074405P | 2020-09-03 | 2020-09-03 | |
US63/074,405 | 2020-09-03 | ||
US17/333,319 US11582470B2 (en) | 2020-09-03 | 2021-05-28 | Method and apparatus for multi-scale neural image compression with intra-prediction residuals |
US17/333,319 | 2021-05-28 | ||
PCT/US2021/037398 WO2022051009A1 (en) | 2020-09-03 | 2021-06-15 | Method and apparatus for multi-scale neural image compression with intra-prediction residuals |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023506057A true JP2023506057A (ja) | 2023-02-14 |
Family
ID=80359099
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022536607A Pending JP2023506057A (ja) | 2020-09-03 | 2021-06-15 | イントラ予測残差を用いたマルチスケールニューラル画像圧縮のための方法および装置、およびコンピュータプログラム |
Country Status (6)
Country | Link |
---|---|
US (1) | US11582470B2 (ja) |
EP (1) | EP4038578A4 (ja) |
JP (1) | JP2023506057A (ja) |
KR (1) | KR20220082921A (ja) |
CN (1) | CN114730475A (ja) |
WO (1) | WO2022051009A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20210056179A (ko) * | 2019-11-08 | 2021-05-18 | 삼성전자주식회사 | Ai 부호화 장치 및 그 동작방법, 및 ai 복호화 장치 및 그 동작방법 |
US11900640B2 (en) * | 2020-07-15 | 2024-02-13 | Tencent America LLC | Method and apparatus for substitutional neural residual compression |
US20220405978A1 (en) * | 2021-06-18 | 2022-12-22 | Tencent America LLC | Non-linear quantization with substitution in neural image compression |
CN117615148B (zh) * | 2024-01-24 | 2024-04-05 | 华中科技大学 | 一种基于多尺度框架的端到端特征图分层压缩方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008104227A (ja) * | 2005-01-04 | 2008-05-01 | Samsung Electronics Co Ltd | イントラblモードを考慮したビデオエンコーディング方法、ビデオエンコーダ、及び、記録媒体 |
US20180124414A1 (en) * | 2016-05-05 | 2018-05-03 | Magic Pony Technology Limited | Video encoding using hierarchical algorithms |
JP2020022145A (ja) * | 2018-08-03 | 2020-02-06 | 日本放送協会 | 符号化装置、復号装置、学習装置及びプログラム |
US20200145661A1 (en) * | 2017-07-06 | 2020-05-07 | Samsung Electronics Co., Ltd. | Method for encoding/decoding image, and device therefor |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105580369B (zh) * | 2013-03-11 | 2019-04-26 | 杜比实验室特许公司 | 使用分层编码对多格式高动态范围视频进行编解码的方法、装置及*** |
CN107925762B (zh) | 2015-09-03 | 2020-11-27 | 联发科技股份有限公司 | 基于神经网络的视频编解码处理方法和装置 |
US10979718B2 (en) | 2017-09-01 | 2021-04-13 | Apple Inc. | Machine learning video processing systems and methods |
US10885630B2 (en) * | 2018-03-01 | 2021-01-05 | Intuitive Surgical Operations, Inc | Systems and methods for segmentation of anatomical structures for image-guided surgery |
KR20200114436A (ko) * | 2019-03-28 | 2020-10-07 | 국방과학연구소 | 스케일러블 영상 부호화를 수행하는 장치 및 방법 |
US11638032B2 (en) * | 2020-03-05 | 2023-04-25 | The Hong Kong University Of Science And Technology | VistGAN: unsupervised video super-resolution with temporal consistency using GAN |
-
2021
- 2021-05-28 US US17/333,319 patent/US11582470B2/en active Active
- 2021-06-15 JP JP2022536607A patent/JP2023506057A/ja active Pending
- 2021-06-15 WO PCT/US2021/037398 patent/WO2022051009A1/en unknown
- 2021-06-15 CN CN202180006197.8A patent/CN114730475A/zh active Pending
- 2021-06-15 KR KR1020227017458A patent/KR20220082921A/ko active Search and Examination
- 2021-06-15 EP EP21864850.9A patent/EP4038578A4/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008104227A (ja) * | 2005-01-04 | 2008-05-01 | Samsung Electronics Co Ltd | イントラblモードを考慮したビデオエンコーディング方法、ビデオエンコーダ、及び、記録媒体 |
US20180124414A1 (en) * | 2016-05-05 | 2018-05-03 | Magic Pony Technology Limited | Video encoding using hierarchical algorithms |
US20200145661A1 (en) * | 2017-07-06 | 2020-05-07 | Samsung Electronics Co., Ltd. | Method for encoding/decoding image, and device therefor |
JP2020022145A (ja) * | 2018-08-03 | 2020-02-06 | 日本放送協会 | 符号化装置、復号装置、学習装置及びプログラム |
Non-Patent Citations (2)
Title |
---|
DONG LIU ET AL.: "Deep Learning-Based Technology in Responses to the Joint Call for Proposals on Video Compression Wit", PUBLISHED IN: IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY (VOLUME: 30, ISSUE: 5,, JPN6023031822, 2 October 2019 (2019-10-02), pages 1267 - 1280, XP011786740, ISSN: 0005123070, DOI: 10.1109/TCSVT.2019.2945057 * |
FENG WU ET AL.: "Description of SDR video coding technology proposal by University of Science and Technology of China", JVET-J0032-V2, JPN6023031823, 12 April 2018 (2018-04-12), pages 1 - 5, ISSN: 0005123071 * |
Also Published As
Publication number | Publication date |
---|---|
US11582470B2 (en) | 2023-02-14 |
EP4038578A4 (en) | 2022-11-30 |
US20220070477A1 (en) | 2022-03-03 |
CN114730475A (zh) | 2022-07-08 |
EP4038578A1 (en) | 2022-08-10 |
KR20220082921A (ko) | 2022-06-17 |
WO2022051009A1 (en) | 2022-03-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11582470B2 (en) | Method and apparatus for multi-scale neural image compression with intra-prediction residuals | |
JP7374340B2 (ja) | ニューラル画像圧縮のためのタスク適応型前処理のための方法、装置およびコンピュータプログラム | |
JP7483030B2 (ja) | 潜在特徴領域におけるイントラ予測によるニューラル画像圧縮 | |
US11900640B2 (en) | Method and apparatus for substitutional neural residual compression | |
CN115461768A (zh) | 用于具有质量输入的环路滤波器的掩蔽神经网络的模型共享 | |
US20230186081A1 (en) | System, method, and computer program for iterative content adaptive online training in neural image compression | |
US11652994B2 (en) | Neural image compression with adaptive intra-prediction | |
KR20230108335A (ko) | 신경 이미지 압축을 위한 잠재 공간에서의 대체 품질 인자 학습 | |
JP2023526180A (ja) | 滑らかな品質制御による適応ニューラル画像圧縮のための代替の入力最適化 | |
JP2022553250A (ja) | エンドツーエンド画像圧縮のための特徴置換のための方法、装置およびコンピュータプログラム | |
JP7471730B2 (ja) | メタ学習によるレート制御を用いた適応ニューラル画像圧縮のための方法、装置及びプログラム | |
US20220405978A1 (en) | Non-linear quantization with substitution in neural image compression | |
US20220222505A1 (en) | Multi-task neural network by micro-structured parameter sharing for multi-quality loop filter | |
JP2024512652A (ja) | ニューラル画像圧縮における複数ブロック用のコンテンツ適応型オンライン訓練のためのシステム、方法、およびコンピュータプログラム | |
JP2024513432A (ja) | ニューラルネットワークを使用する、エンドツーエンド(e2e)ニューラル画像圧縮(nic)用のコンテンツ適応型オンライン訓練の方法、装置及びコンピュータプログラム | |
CN116249986A (zh) | 神经图像压缩中具有替代项的依赖标量量化 | |
CN115715463A (zh) | 用于神经图像压缩中的替代的动态学习率的方法和装置 | |
CN115485729A (zh) | 用于神经图像压缩中多次学习替换率的方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220614 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220614 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230804 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230807 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20231107 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20240109 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240207 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240430 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240723 |