JP6960548B2 - ニューラルネットワークを利用したコーデック - Google Patents
ニューラルネットワークを利用したコーデック Download PDFInfo
- Publication number
- JP6960548B2 JP6960548B2 JP2020570848A JP2020570848A JP6960548B2 JP 6960548 B2 JP6960548 B2 JP 6960548B2 JP 2020570848 A JP2020570848 A JP 2020570848A JP 2020570848 A JP2020570848 A JP 2020570848A JP 6960548 B2 JP6960548 B2 JP 6960548B2
- Authority
- JP
- Japan
- Prior art keywords
- parameters
- neural network
- encoding
- encoding parameters
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/70—Media network packetisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/75—Media network packet handling
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/75—Media network packet handling
- H04L65/762—Media network packet handling at the source
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/75—Media network packet handling
- H04L65/764—Media network packet handling at the destination
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/563—Motion estimation with padding, i.e. with filling of non-object values in an arbitrarily shaped picture block or region for estimation purposes
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
本発明の実施形態は、エンコードされたビットストリーム内に含まれる情報量を減らすために、1つ以上の訓練されたニューラルネットワークを使用することを含む新しいエンコードプロトコルを実施する。訓練されたニューラルネットワークにより、コーデックが、前のエンコードパラメータからエンコードパラメータを予測することが可能になり得る。したがって、本開示の態様によれば、ニューラルネットワークによって正確に予測されたエンコードパラメータがエンコードされない場合があり、誤って予測されたパラメータは、ビットストリーム内にエンコードされたエンコード誤差ストリームによって修正され得る。
本開示の態様によれば、エンコードパラメータ、例えば、動きベクトル、イントラ予測モード動きベクトル、及び変換係数を含めることは、現在のフレーム及び/または前のフレームのエンコードパラメータから次のフレームのエンコードパラメータを予測するように訓練されたニューラルネットワークの使用によって低減させることが可能であり、及び/または現在のフレームのエンコードパラメータを、現在のフレームの他のエンコードパラメータから予測することができる。本エンコードシステムでは、以下に詳述する標準的な手段によりエンコードパラメータを導出するエンコード方式が、現在のセクションに対して実行され得、次に、このエンコードパラメータが、現在のエンコードパラメータのセットから次のエンコードパラメータのセットを予測するように訓練されたニューラルネットワーク(以下、第2のNNと呼ばれる)に提供され得る。その後、本システムでは、エンコードされていないビデオストリームの次のセクションのためのエンコードパラメータが導出され得、NNによって行われた次のセクションのためのエンコードパラメータの予測結果が点検され得る。予測が正確であった場合、本システムは、符号化されたビットストリームにそのエンコードパラメータを含めない。予測が正確でなかった場合、本システムは、ビットストリームにエンコードパラメータを含め得る。いくつかの実施形態では、予測が正確でない場合、ニューラルネットワークによって予測されたエンコードパラメータと、標準のエンコードプロセスによって導出される実際のエンコードパラメータとの差(以下、エンコード誤差と呼ぶ)が、符号化されたビットストリームに含められる。このようにして、符号化されたビットストリーム内にエンコードパラメータの削減されたセットが含められ得、したがってビデオストリームのメモリフットプリントが削減され得る。
図2は、エンコードパラメータを認識して正しく予測するように新しいニューラルネットワークを訓練するための方法200を示す。ニューラルネットワーク(NN)の訓練は、NN210の重みの初期化から始める。初期の重みは、活性化関数のタイプ及びノードへの入力の数によって決まる。NNの初期の重みは、隠れ層での非対称の計算を招くために、これを0にすることはできない。一般に、初期の重みはランダムに分散させる必要がある。例えば、tanh活性化関数を用いるNNは、−1/√nから1/√nの間に分布する乱数値を有するべきである。ただし、nはノードへの入力の数である。
デジタルピクチャは、図4に説明される一般化された方法400に従ってエンコードされ得る。エンコーダは、複数のデジタル画像401を受け取り、各画像をエンコードする。デジタルピクチャ401のエンコードは、セクション単位で進行し得る。セクションごとのエンコードプロセスは、任意選択で、パディング402、画像圧縮404、及びピクセル再構成406を含み得る。イントラ符号化ピクチャ及びインター符号化ピクチャの両方に共通のプロセスフローを促進するために、現在処理中のピクチャ401のうちのデコードされていない全てのピクセルは、仮ピクセル値でパディングされて、402において示すようにパディングされたピクチャが生成される。パディングされたピクチャは、バッファに格納された参照ピクチャのリスト403に追加される。ピクチャを402でパディングすることにより、現在処理中のピクチャを、画像圧縮404時及びピクセル再構成406時の後続処理において参照ピクチャとして使用することが容易になる。そのようなパディングは、参照により本明細書に組み込まれる、本発明の譲受人に譲渡された米国特許第8,218,641号に詳細に記載されている。
本デコーダシステムは、第2の訓練されたNNを使用して、上記のようにエンコードされたビットストリームから正しいエンコードパラメータを予測する。最初に、エンコードされたビットストリームは、パラメータ値をビットストリームから抽出できるようにするエントロピーデコーダでデコードされ得る。ビデオストリームのまさしく最初のセクションまたはいくつかのセクションのパラメータ値には、ビットストリームに含まれる全てのビデオエンコードパラメータを有している場合があることに留意されたい。これにより、NNは次のセクションの次のパラメータ値を正確に予測できるようになる。エンコードパラメータは、限定としてではなく一例として、符号化されたスライスデータ、またはビットストリーム内のビデオの各フレームのフレームヘッダ、またはビットストリーム内の他の任意の適切な位置に含まれ得る。エンコードされたビットストリームはまた、次のセクションのためのエンコードパラメータの修正されたセットを生成するためにNNによって行われた予測と組み合わされ得る予測誤差ストリームを含み得る。予測誤差は、例えば、ピクチャのヘッダ情報にエンコードされ得る。
図5は、本発明の実施形態と併せて使用し得るストリーミングデータ501のデコードのための方法500における可能なプロセスフローの例を説明する。この特定の例は、例えば、AVC(H.264)規格を使用したビデオデコードのプロセスフローを示す。符号化されたストリーミングデータ501は、最初はバッファに格納され得る。符号化されたストリーミングデータ501(例えば、ビデオデータビットストリーム)がネットワーク、例えばインターネットを介して転送された場合、データ501は、最初に、502で示されるネットワーク抽象化層(NAL)デコードと呼ばれるプロセスを受け得る。NALデコードは、データの伝送を補助するために追加された情報をデータ501から取り除き得る。「ネットワークラッパー」と呼ばれるそのような情報は、データ501をビデオデータとして識別し、またはビットストリームの開始または終了、データの整列のためのビット、及び/またはビデオデータ自体に関するメタデータを示し得る。そのようなメタデータは、パッチフレームを形成するために使用できるイントラ符号化サブセクションを含む2つ以上の連続する継続的なフレームのシーケンスにおける最初の符号化フレームとして特定の符号化フレームを識別するビットをヘッダ内に含み得る。メタデータはまた、エンコードパラメータが変更されていない初期エンコードパラメータであるか、または予測誤差であるかを伝える上記のフラグをヘッダ内に含み得る。
図6は、本開示の態様によるシステムを示す。本システムは、ユーザ入力デバイス602に結合されたコンピューティングデバイス600を含み得る。ユーザ入力デバイス602は、コントローラ、タッチスクリーン、マイクロフォン、キーボード、マウス、ライトペン、またはユーザがシステムに制御データを入力することを可能にする他のデバイスであり得る。
Claims (7)
- ビデオエンコーダ/デコーダシステムを訓練する方法であって、
a)少なくとも2セットのビデオエンコードパラメータを生成することであって、前記少なくとも2セットのビデオエンコードパラメータが有効である、前記少なくとも2セットのビデオエンコードパラメータを生成することと、
b)前記少なくとも2セットのエンコードパラメータのセットを無効値でマスクして、ビデオエンコードパラメータの無効セットを生成することと、
c)前記少なくとも2セットのビデオエンコードパラメータを、1つ以上のニューラルネットワークに提供することと、
d)反復訓練アルゴリズムを使用して、前記無効セットの値に対応する有効値を予測するように、前記1つ以上のニューラルネットワークを訓練することと、
e)前記1つ以上のニューラルネットワークの予測誤差の分析に基づいて、エンコードされる必要のあるエンコードパラメータを判定することと、
f)前記1つ以上のニューラルネットワークによって正確に予測されると判定された前記エンコードされたデータから、前記エンコードパラメータを削除することと、
g)前記削除したエンコードパラメータを使用せずに新しいビデオストリームをエンコードすることと
を含む、方法。 - 前記1つ以上のニューラルネットワークが、双予測ニューラルネットワーク及び予測ニューラルネットワークを含み、c)は、予測すべき現在のパラメータの前の1つ以上のパラメータを、前記予測ニューラルネットワークに提供することと、予測すべき前記現在のパラメータの前の1つ以上のパラメータと、予測すべき前記現在のパラメータの後の1つ以上のパラメータとを、前記双予測ニューラルネットワークに提供することとを含み、予測すべき前記現在のパラメータの後の前記1つ以上のパラメータが、前記予測ニューラルネットワークによって予測された1つ以上のパラメータを含む、請求項1に記載の方法。
- ビデオエンコードパラメータの前記無効セットが、現在のセクションのものであり、d)は、予測すべき前記現在のパラメータの前と予測すべき前記現在のパラメータの後のパラメータを使用して、前記現在のセクションのエンコードパラメータを予測するように、前記双予測ニューラルネットワークを繰り返し訓練することを含む、請求項2に記載の方法。
- ビデオエンコードパラメータの前記無効セットが、現在のセクションのものであり、d)は、前記現在のセクションの前及び後のセクションのパラメータを使用して、前記現在のセクションのエンコードパラメータを予測するように、前記双予測ニューラルネットワークを繰り返し訓練することと、前記現在のセクションの前のセクションのパラメータを使用して、前記現在のセクションのパラメータを予測するように、前記予測ニューラルネットワークを訓練することとを含む、請求項2に記載の方法。
- エンコードパラメータの前記無効セットは、単一タイプのエンコードパラメータであり、前記少なくとも2セットのビデオエンコードパラメータの内の別のセットは、少なくとも別の異なるエンコードパラメータタイプであり、前記1つ以上のニューラルネットワークは、反復訓練を使用して、ビデオエンコードパラメータの前記別のセットから、エンコードパラメータの正しいセットを予測するように訓練される、請求項1に記載の方法。
- 予測誤差成分が、e)で前記ビデオストリームに追加される、請求項1に記載の方法。
- 前記マスクされたエンコードパラメータのセットは、全ての前記有効なエンコードパラメータの後に、前記ニューラルネットワークに提供される、請求項1に記載の方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021137441A JP7098805B2 (ja) | 2018-06-19 | 2021-08-25 | ニューラルネットワークを利用したコーデック |
JP2022104352A JP7336004B2 (ja) | 2018-06-19 | 2022-06-29 | ニューラルネットワークを利用したコーデック |
JP2023112837A JP2023126970A (ja) | 2018-06-19 | 2023-07-10 | ニューラルネットワークを利用したコーデック |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/012,570 US10499081B1 (en) | 2018-06-19 | 2018-06-19 | Neural network powered codec |
US16/012,570 | 2018-06-19 | ||
PCT/US2019/036589 WO2019245805A1 (en) | 2018-06-19 | 2019-06-11 | Neural network powered codec |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021137441A Division JP7098805B2 (ja) | 2018-06-19 | 2021-08-25 | ニューラルネットワークを利用したコーデック |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021522756A JP2021522756A (ja) | 2021-08-30 |
JP6960548B2 true JP6960548B2 (ja) | 2021-11-05 |
Family
ID=68695758
Family Applications (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020570848A Active JP6960548B2 (ja) | 2018-06-19 | 2019-06-11 | ニューラルネットワークを利用したコーデック |
JP2021137441A Active JP7098805B2 (ja) | 2018-06-19 | 2021-08-25 | ニューラルネットワークを利用したコーデック |
JP2022104352A Active JP7336004B2 (ja) | 2018-06-19 | 2022-06-29 | ニューラルネットワークを利用したコーデック |
JP2023112837A Pending JP2023126970A (ja) | 2018-06-19 | 2023-07-10 | ニューラルネットワークを利用したコーデック |
Family Applications After (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021137441A Active JP7098805B2 (ja) | 2018-06-19 | 2021-08-25 | ニューラルネットワークを利用したコーデック |
JP2022104352A Active JP7336004B2 (ja) | 2018-06-19 | 2022-06-29 | ニューラルネットワークを利用したコーデック |
JP2023112837A Pending JP2023126970A (ja) | 2018-06-19 | 2023-07-10 | ニューラルネットワークを利用したコーデック |
Country Status (5)
Country | Link |
---|---|
US (3) | US10499081B1 (ja) |
EP (2) | EP3811614B1 (ja) |
JP (4) | JP6960548B2 (ja) |
CN (2) | CN112715027B (ja) |
WO (1) | WO2019245805A1 (ja) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10499081B1 (en) | 2018-06-19 | 2019-12-03 | Sony Interactive Entertainment Inc. | Neural network powered codec |
US11829869B2 (en) * | 2018-07-25 | 2023-11-28 | Servicenow Canada Inc. | Multiple task transfer learning |
US11334798B2 (en) * | 2018-07-31 | 2022-05-17 | Dell Products L.P. | Configurable layered neural network engine for customer support |
US10740901B2 (en) * | 2018-12-17 | 2020-08-11 | Nvidia Corporation | Encoder regularization of a segmentation model |
US10965945B2 (en) * | 2019-03-29 | 2021-03-30 | Bitmovin, Inc. | Optimized multipass encoding |
JP7412419B2 (ja) * | 2019-04-11 | 2024-01-12 | 株式会社Nttドコモ | ネットワークノード |
CN111222561B (zh) * | 2019-12-31 | 2023-06-09 | 深圳云天励飞技术股份有限公司 | 图像识别神经网络处理方法、装置与*** |
US11240465B2 (en) * | 2020-02-21 | 2022-02-01 | Alibaba Group Holding Limited | System and method to use decoder information in video super resolution |
US20220094977A1 (en) * | 2020-09-23 | 2022-03-24 | Electronics And Telecommunications Research Institute | Method, apparatus and storage medium for image encoding/decoding |
CN114868386B (zh) * | 2020-12-03 | 2024-05-28 | Oppo广东移动通信有限公司 | 编码方法、解码方法、编码器、解码器以及电子设备 |
WO2022116165A1 (zh) * | 2020-12-04 | 2022-06-09 | 深圳市大疆创新科技有限公司 | 视频编码方法、解码方法、编码器、解码器以及ai加速器 |
US20220353521A1 (en) * | 2021-04-30 | 2022-11-03 | Tencent America LLC | Method and apparatus for content-adaptive online training in neural image compression |
CN113783876B (zh) * | 2021-09-13 | 2023-10-03 | 国网数字科技控股有限公司 | 基于图神经网络的网络安全态势感知方法及相关设备 |
CN113743595B (zh) * | 2021-10-09 | 2023-08-15 | 福州大学 | 基于物理驱动自编码器神经网络的结构参数识别方法 |
CN115407874B (zh) * | 2022-08-18 | 2023-07-28 | 中国兵器工业标准化研究所 | 一种基于神经网络的vr维修训练操作熟练度预测方法 |
WO2024142897A1 (ja) * | 2022-12-26 | 2024-07-04 | ソニーセミコンダクタソリューションズ株式会社 | 情報処理装置、及び情報処理方法 |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6553566B1 (en) * | 1998-08-27 | 2003-04-22 | X Out Corporation | Viewer controlled multi-function system for processing television signals |
KR100529311B1 (ko) * | 2003-01-21 | 2005-11-17 | 삼성전자주식회사 | 신경 회로망을 이용하여 가변 길이 부호화 비트 스트림의길이를 선택하는 장치 및 방법 |
US8749409B2 (en) | 2006-08-25 | 2014-06-10 | Sony Computer Entertainment Inc. | Entropy decoding methods and apparatus using most probable and least probable signal cases |
US8218641B2 (en) | 2006-10-31 | 2012-07-10 | Sony Computer Entertainment Inc. | Picture encoding using same-picture reference for pixel reconstruction |
JP2009111691A (ja) | 2007-10-30 | 2009-05-21 | Hitachi Ltd | 画像符号化装置及び符号化方法、画像復号化装置及び復号化方法 |
US8711933B2 (en) | 2010-08-09 | 2014-04-29 | Sony Computer Entertainment Inc. | Random access point (RAP) formation using intra refreshing technique in video coding |
US8787459B2 (en) * | 2010-11-09 | 2014-07-22 | Sony Computer Entertainment Inc. | Video coding methods and apparatus |
US8819525B1 (en) | 2012-06-14 | 2014-08-26 | Google Inc. | Error concealment guided robustness |
GB201603144D0 (en) * | 2016-02-23 | 2016-04-06 | Magic Pony Technology Ltd | Training end-to-end video processes |
CN107925762B (zh) * | 2015-09-03 | 2020-11-27 | 联发科技股份有限公司 | 基于神经网络的视频编解码处理方法和装置 |
CN116546221A (zh) * | 2016-02-05 | 2023-08-04 | 渊慧科技有限公司 | 使用神经网络压缩图像 |
US10499056B2 (en) | 2016-03-09 | 2019-12-03 | Sony Corporation | System and method for video processing based on quantization parameter |
EP3459021B1 (en) * | 2016-05-20 | 2023-12-20 | Deepmind Technologies Limited | Training neural networks using synthetic gradients |
US10121103B2 (en) * | 2016-12-09 | 2018-11-06 | Cisco Technologies, Inc. | Scalable deep learning video analytics |
US10332001B2 (en) * | 2016-12-15 | 2019-06-25 | WaveOne Inc. | Enhanced coding efficiency with progressive representation |
JP2018125718A (ja) | 2017-02-01 | 2018-08-09 | 日本放送協会 | モード予測情報生成装置およびプログラム |
US10382770B2 (en) * | 2017-02-06 | 2019-08-13 | Google Llc | Multi-level machine learning-based early termination in partition search for video encoding |
CN107396124B (zh) * | 2017-08-29 | 2019-09-20 | 南京大学 | 基于深度神经网络的视频压缩方法 |
CN107734333A (zh) * | 2017-09-29 | 2018-02-23 | 杭州电子科技大学 | 一种利用生成网络提高视频错误隐藏效果的方法 |
US10721471B2 (en) * | 2017-10-26 | 2020-07-21 | Intel Corporation | Deep learning based quantization parameter estimation for video encoding |
US10499081B1 (en) | 2018-06-19 | 2019-12-03 | Sony Interactive Entertainment Inc. | Neural network powered codec |
-
2018
- 2018-06-19 US US16/012,570 patent/US10499081B1/en active Active
-
2019
- 2019-06-11 WO PCT/US2019/036589 patent/WO2019245805A1/en unknown
- 2019-06-11 CN CN201980048796.9A patent/CN112715027B/zh active Active
- 2019-06-11 CN CN202211111736.7A patent/CN115623200B/zh active Active
- 2019-06-11 EP EP19821617.8A patent/EP3811614B1/en active Active
- 2019-06-11 JP JP2020570848A patent/JP6960548B2/ja active Active
- 2019-06-11 EP EP22211114.8A patent/EP4171032A3/en active Pending
- 2019-11-14 US US16/684,279 patent/US11032569B2/en active Active
-
2021
- 2021-06-08 US US17/341,825 patent/US11432008B2/en active Active
- 2021-08-25 JP JP2021137441A patent/JP7098805B2/ja active Active
-
2022
- 2022-06-29 JP JP2022104352A patent/JP7336004B2/ja active Active
-
2023
- 2023-07-10 JP JP2023112837A patent/JP2023126970A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
CN115623200A (zh) | 2023-01-17 |
US20210297695A1 (en) | 2021-09-23 |
EP4171032A3 (en) | 2023-06-07 |
US11032569B2 (en) | 2021-06-08 |
EP4171032A2 (en) | 2023-04-26 |
EP3811614B1 (en) | 2024-03-06 |
WO2019245805A1 (en) | 2019-12-26 |
JP2023126970A (ja) | 2023-09-12 |
US11432008B2 (en) | 2022-08-30 |
EP3811614A4 (en) | 2022-08-24 |
JP7336004B2 (ja) | 2023-08-30 |
JP2022133346A (ja) | 2022-09-13 |
JP2022003775A (ja) | 2022-01-11 |
EP3811614A1 (en) | 2021-04-28 |
CN112715027A (zh) | 2021-04-27 |
JP2021522756A (ja) | 2021-08-30 |
US20190387252A1 (en) | 2019-12-19 |
CN115623200B (zh) | 2023-05-12 |
US20200084473A1 (en) | 2020-03-12 |
CN112715027B (zh) | 2022-09-30 |
JP7098805B2 (ja) | 2022-07-11 |
US10499081B1 (en) | 2019-12-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6960548B2 (ja) | ニューラルネットワークを利用したコーデック | |
US9872018B2 (en) | Random access point (RAP) formation using intra refreshing technique in video coding | |
US8218640B2 (en) | Picture decoding using same-picture reference for pixel reconstruction | |
US8218641B2 (en) | Picture encoding using same-picture reference for pixel reconstruction | |
US8787459B2 (en) | Video coding methods and apparatus | |
JP2022523925A (ja) | 映像コンテンツを処理するための方法及びシステム | |
JP7295289B2 (ja) | 高速dst-7 | |
US10616583B2 (en) | Encoding/decoding digital frames by down-sampling/up-sampling with enhancement information | |
JP2009544225A (ja) | ビデオ圧縮用並列処理装置 | |
US8594189B1 (en) | Apparatus and method for coding video using consistent regions and resolution scaling | |
US11212536B2 (en) | Negative region-of-interest video coding | |
JP2023542029A (ja) | 低ビット精度のニューラルネットワーク(nn)に基づくクロスコンポーネント予測のための方法、機器、及びコンピュータプログラム | |
JP2022538968A (ja) | ビデオデータの変換スキップ残差符号化 | |
CN115956363A (zh) | 用于后滤波的内容自适应在线训练方法及装置 | |
JP6708211B2 (ja) | 動画像符号化装置、動画像符号化方法および動画像符号化プログラムを記憶する記録媒体 | |
JP2023507935A (ja) | パレットモードで映像データを符号化するための方法及び装置 | |
JP2023542332A (ja) | 倍率を有するdnnに基づくクロスコンポーネント予測のためのコンテンツ適応型オンライントレーニング | |
JP2023527672A (ja) | ビデオ復号のための方法、装置及びコンピュータプログラム | |
WO2020255771A1 (ja) | 画像処理装置および方法 | |
US11582478B2 (en) | Video encoding technique utilizing user guided information in cloud environment | |
KR20080008137A (ko) | 영상 복원 장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210205 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20210205 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210629 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210825 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210914 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211011 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6960548 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |