JP7483030B2 - 潜在特徴領域におけるイントラ予測によるニューラル画像圧縮 - Google Patents

潜在特徴領域におけるイントラ予測によるニューラル画像圧縮 Download PDF

Info

Publication number
JP7483030B2
JP7483030B2 JP2022556241A JP2022556241A JP7483030B2 JP 7483030 B2 JP7483030 B2 JP 7483030B2 JP 2022556241 A JP2022556241 A JP 2022556241A JP 2022556241 A JP2022556241 A JP 2022556241A JP 7483030 B2 JP7483030 B2 JP 7483030B2
Authority
JP
Japan
Prior art keywords
block
residual
blocks
latent
reconstructed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022556241A
Other languages
English (en)
Other versions
JP2023518542A (ja
Inventor
ウェイ・ジアン
ウェイ・ワン
ディン・ディン
シャン・リュウ
シャオジョン・シュ
Original Assignee
テンセント・アメリカ・エルエルシー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テンセント・アメリカ・エルエルシー filed Critical テンセント・アメリカ・エルエルシー
Publication of JP2023518542A publication Critical patent/JP2023518542A/ja
Application granted granted Critical
Publication of JP7483030B2 publication Critical patent/JP7483030B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/002Image coding using neural networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/047Probabilistic or stochastic networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/082Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

関連出願の相互参照
本願は、2021年1月4日に出願された米国仮特許出願第63/133,704号、及び2021年8月31日に出願された米国特許出願第17/462,287号に基づくものであり、それらの優先権を主張するものであり、それらの開示全体が参照により本明細書に組み込まれるものとする。
規格グループ及び企業は、将来のビデオコーディング技術の標準化に対する潜在的なニーズを積極的に探している。これらの規格グループ及び企業は、JPEG-AIグループを確立し、該JPEG-AIグループは、ディープニューラルネットワーク(DNN)を使用したAIベースのエンドツーエンドのニューラル画像圧縮に重点を置いている。最近のアプローチの成功により、高度なニューラル画像及びビデオ圧縮の方法論に対する産業の関心がますます高まっている。
入力画像xが与えられると、NICのターゲットは、画像xをDNNエンコーダへの入力として使用して、記憶及び伝送のためにコンパクトである圧縮表現
Figure 0007483030000001
を計算し、
Figure 0007483030000002
をDNNデコーダへの入力として使用して、画像
Figure 0007483030000003
を再構成する。従来のNIC方法は、変分オートエンコーダ(VAE)構造を採用する。この構造では、DNNエンコーダは、画像x全体をその入力として直接使用し、画像x全体に、ブラックボックスのように機能するネットワーク層のセットを通過させて出力表現
Figure 0007483030000004
を計算する。それに応じて、DNNデコーダは、表現全体
Figure 0007483030000005
をその入力として使用し、表現全体に、別のブラックボックスのように機能する別のネットワーク層のセットを通過させて、再構成される
Figure 0007483030000006
を計算する。
ブロックベースのイントラ予測及び残差コーディングメカニズムは、元画像全体を直接エンコードすることではなく、予測ブロックと元のブロックとの間の残差をエンコードする。このメカニズムは、HEVC及びVVCなどの最新のビデオコーディング規格で画像フレームを圧縮するのに非常に効果的であることが証明されている。画像全体を様々なサイズのブロックに分割し、以前圧縮されたブロックの境界ピクセルを様々な角度方向に沿ってコピーすることにより予測ブロックを生成し、元のブロックと予測ブロックとの間の残差を圧縮する。元のピクセルと比較して、残差をより効率的にエンコードできるため、より優れたコーディング性能を実現できる。
実施形態に係る、潜在特徴領域におけるイントラ予測メカニズムを使用したニューラル画像圧縮の方法は、少なくとも1つのプロセッサにより実行される。該方法は、潜在ブロックのセットを受信し、前記潜在ブロックのセット内のブロックごとに、第1のニューラルネットワークを使用して、以前復元されたブロックのセットに基づいてブロックを予測するステップと、現在復元されたブロックを示す選択信号を受信するステップと、前記受信された選択信号に基づいて、(1)コンパクト残差、残差コンテキストパラメータのセット及びデコードされた残差を生成し、前記予測されたブロック及び前記デコードされた残差に基づいて、第1のデコードされたブロックを生成することと、(2)コンパクト表現ブロック及びコンテキストパラメータのセットに基づいて、第2のデコードされたブロックを生成することと、のうちの1つを実行するステップと、を含む。該方法は、前記現在復元されたブロックのそれぞれを含む、復元されたブロックのセットを生成するステップと、前記復元されたブロックのセット内の全てのブロックをマージして、復元された潜像を生成するステップと、第2のニューラルネットワークを使用して、前記生成された復元された潜像をデコードして、再構成された画像を取得するステップと、を更に含む。
実施形態に係る、潜在特徴領域におけるイントラ予測メカニズムを使用したニューラル画像圧縮の装置は、プログラムコードを記憶するように構成された少なくとも1つのメモリと、前記プログラムコードを読み取り、前記プログラムコードの命令どおりに動作するように構成された少なくとも1つのプロセッサとを含み、前記プログラムコードは、前記少なくとも1つのプロセッサに潜在ブロックのセットを受信させるように構成された受信コードと、前記少なくとも1つのプロセッサに、第1のニューラルネットワークを使用して、以前復元されたブロックのセットに基づいてブロックを予測させるように構成された予測コードと、前記少なくとも1つのプロセッサに、前記潜在ブロックのセット内のブロックごとに現在復元されたブロックを示す選択信号を受信させ、前記受信された選択信号に基づいて、(1)と(2)のうちの1つを実行させるように構成された選択コードであって、(1)は、前記少なくとも1つのプロセッサにコンパクト残差を生成させるように構成された第1の生成コードと、前記少なくとも1つのプロセッサに残差コンテキストパラメータのセットを生成させるように構成された第2の生成コードと、前記少なくとも1つのプロセッサにデコードされた残差を生成させるように構成された第3の生成コードと、前記少なくとも1つのプロセッサに、前記予測されたブロック及び前記デコードされた残差に基づいて、第1のデコードされたブロックを生成させるように構成された第1のデコードコードとを含み、(2)は、前記少なくとも1つのプロセッサに、コンパクト表現ブロック及びコンテキストパラメータのセットに基づいて、第2のデコードされたブロックを生成させるように構成された第2のデコードコードを含む選択コードと、を含む。前記プログラムコードは、前記少なくとも1つのプロセッサに、前記現在復元されたブロックのそれぞれを含む、復元されたブロックのセットを生成させるように構成された復元されたブロック生成コードと、前記少なくとも1つのプロセッサに、前記復元されたブロックのセット内の全てのブロックをマージさせて、復元された潜像を生成させるように構成されたマージコードと、前記少なくとも1つのプロセッサに、第2のニューラルネットワークを使用して、前記生成された復元された潜像をデコードさせて、再構成された画像を取得させるように構成された第3のデコードコードと、を更に含む。
実施形態に係る、命令を記憶する非一時的なコンピュータ可読媒体では、前記命令は、少なくとも1つのプロセッサにより実行されると、前記少なくとも1つのプロセッサに、潜在ブロックのセットを受信するステップと、第1のニューラルネットワークを使用して、以前復元されたブロックのセットに基づいてブロックを予測するステップと、前記潜在ブロックのセット内のブロックごとに現在復元されたブロックを示す選択信号を受信するステップと、前記受信された選択信号に基づいて、(1)コンパクト残差、残差コンテキストパラメータのセット及びデコードされた残差を生成し、前記予測されたブロック及び前記デコードされた残差に基づいて、第1のデコードされたブロックを生成することと、(2)コンパクト表現ブロック及びコンテキストパラメータのセットに基づいて、第2のデコードされたブロックを生成することと、のうちの1つを実行するステップとを実行させる。前記非一時的なコンピュータ可読媒体は、前記少なくとも1つのプロセッサにより実行されると、前記少なくとも1つのプロセッサに、前記現在復元されたブロックのそれぞれを含む、復元されたブロックのセットを生成するステップと、前記復元されたブロックのセット内の全てのブロックをマージして、復元された潜像を生成するステップと、第2のニューラルネットワークを使用して、前記生成された復元された潜像をデコードして、再構成された画像を取得するステップとを実行させる、命令を更に含む。
実施形態に係る、本明細書に記載の方法、装置及びシステムを実施できる環境の図である。 図1における1つ又は複数のデバイスの例示的なコンポーネントのブロック図である。 実施形態に係る、試験段階中の、潜在特徴領域におけるイントラ予測によるニューラル画像圧縮のための試験用NICエンコーダ/NICデコーダ装置のブロック図である。 実施形態に係る、試験段階中の、図3の試験用NICエンコーダ/NICデコーダ装置のデコーダ側のブロック図である。 実施形態に係る、トレーニング段階中の、潜在特徴領域におけるイントラ予測によるニューラル画像圧縮のためのトレーニング装置のブロック図である。 実施形態に係る、潜在特徴領域におけるイントラ予測によるニューラル画像圧縮の方法のフローチャートである。 実施形態に係る、潜在特徴領域におけるイントラ予測によるニューラル画像圧縮の装置のブロック図である。
実施形態は、潜在特徴表現にブロックベースのイントラ予測メカニズムを使用して、ディープニューラルネットワーク(DNN)により入力画像を圧縮するニューラル画像圧縮(NIC)フレームワークに関する。以下、図面を参照して本発明の例示的な実施形態を説明する。図面では、同じモジュールが同じ参照番号で示されるため、必要に応じて繰り返しの説明は省略されてもよい。図1は、実施形態に係る、本明細書において説明される方法、装置及びシステムを実施できる環境100の図である。
図1に示すように、環境100は、ユーザデバイス110と、プラットフォーム120と、ネットワーク130とを含んでもよい。環境100のデバイスは、有線接続、無線接続、又は有線接続と無線接続との組み合わせを介して相互接続することができる。
ユーザデバイス110は、プラットフォーム120に関連する情報を受信、生成、記憶、処理及び/又は提供することができる1つ又は複数のデバイスを含む。例えば、ユーザデバイス110は、コンピューティングデバイス(例えば、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、ハンドヘルドコンピュータ、スマートスピーカ、サーバ)、携帯電話(例えば、スマートフォン、無線電話)、ウェアラブルデバイス(例えば、スマートグラス又はスマートウォッチ)、又は類似するデバイスを含んでもよい。一部の実装では、ユーザデバイス110は、プラットフォーム120から情報を受信し、及び/又はプラットフォーム120に情報を送信することができる。
プラットフォーム120は、本明細書の他の部分で説明されるように、1つ又は複数のデバイスを含む。一部の実装では、プラットフォーム120は、単一のクラウドサーバ又はクラウドサーバのグループを含んでもよい。一部の実装では、プラットフォーム120は、ソフトウェアコンポーネントをスワップイン又はスワップアウトすることができるようにモジュール式であるように設計されてもよい。このように、プラットフォーム120は、異なる用途のために容易に、及び/又は迅速に再構成することができる。
一部の実装では、示すように、プラットフォーム120は、クラウドコンピューティング環境122でホストされてもよい。特に、本明細書に説明される実装は、プラットフォーム120がクラウドコンピューティング環境122でホストされる場合を説明するが、一部の実装では、プラットフォーム120は、クラウドベースのものでなくてもよく(即ち、クラウドコンピューティング環境の外部で実装されてもよく)、部分的にクラウドベースのものであってもよい。
クラウドコンピューティング環境122は、プラットフォーム120をホストする環境を含む。クラウドコンピューティング環境122は、プラットフォーム120をホストするシステム及び/又はデバイスの物理位置及び構成のエンドユーザ(例えば、ユーザデバイス110)知識を必要としない、計算、ソフトウェア、データアクセス、ストレージなどのサービスを提供してもよい。示すように、クラウドコンピューティング環境122は、コンピューティングリソース124のグループ(まとめて「コンピューティングリソーセス124」と呼ばれ、個別に「コンピューティングリソース124」と呼ばれる)を含んでもよい。
コンピューティングリソース124は、1つ又は複数のパーソナルコンピュータ、ワークステーションコンピュータ、サーバデバイス、又は他のタイプの計算及び/又は通信デバイスを含む。一部の実装では、コンピューティングリソース124は、プラットフォーム120をホストしてもよい。クラウドリソースは、コンピューティングリソース124で実行されるコンピューティングインスタンス、コンピューティングリソース124内に設けられたストレージデバイス、コンピューティングリソース124により提供されるデータ転送デバイスなどを含んでもよい。一部の実装では、コンピューティングリソース124は、有線接続、無線接続、又は有線接続と無線接続との組み合わせを介して他のコンピューティングリソーセス124と通信してもよい。
図1に更に示すように、コンピューティングリソース124は、例えば、1つ又は複数のアプリケーション(「APP」)124-1、1つ又は複数の仮想マシン(「VM」)124-2、仮想化ストレージ(「VS」)124-3、1つ又は複数のハイパーバイザ(「HYP」)124-4等のクラウドリソースのグループを含む。
アプリケーション124-1は、ユーザデバイス110及び/又はプラットフォーム120に対して提供されてもよく、ユーザデバイス110及び/又はプラットフォーム120によりアクセスされてもよい、1つ又は複数のソフトウェアアプリケーションを含む。アプリケーション124-1は、ユーザデバイス110にソフトウェアアプリケーションをインストールして実行する必要性を排除することができる。例えば、アプリケーション124-1は、プラットフォーム120に関連するソフトウェア、及び/又はクラウドコンピューティング環境122を介して提供できる他の任意のソフトウェアを含んでもよい。一部の実装では、1つのアプリケーション124-1は、仮想マシン124-2を介して、1つ又は複数の他のアプリケーション124-1に/から情報を送信/受信してもよい。
仮想マシン124-2は、物理マシンのようにプログラムを実行するマシン(例えば、コンピュータ)のソフトウェア実装を含む。仮想マシン124-2は、用途、及び仮想マシン124-2の任意の実マシンとの対応の程度に応じて、システム仮想マシン又はプロセス仮想マシンのいずれかであってもよい。システム仮想マシンは、完全なオペレーティングシステム(「OS」)の実行をサポートする完全なシステムプラットフォームを提供することができる。プロセス仮想マシンは、単一のプログラムを実行でき、単一のプロセスをサポートできる。一部の実装では、仮想マシン124-2は、ユーザ(例えば、ユーザデバイス110)の代わりに実行してもよく、データ管理、同期化、又は長期データ転送など、クラウドコンピューティング環境122のインフラストラクチャの管理をしてもよい。
仮想化ストレージ124-3は、1つ又は複数のストレージシステム、及び/又はコンピューティングリソース124のストレージシステム又はデバイス内で仮想化技術を使用する1つ又は複数のデバイスを含む。一部の実装では、ストレージシステムのコンテキスト内で、仮想化のタイプは、ブロック仮想化及びファイル仮想化を含んでもよい。ブロック仮想化は、物理ストレージからの論理ストレージの抽象化(又は分離)を指してもよく、その結果、物理ストレージ又は異種構造にかかわらずストレージシステムにアクセスできる。この分離は、ストレージシステムの管理者がエンドユーザに対しどのようにストレージを管理するかの点で、柔軟性を管理者に認めてもよい。ファイル仮想化は、ファイルレベルでアクセスされるデータと、ファイルが物理的に記憶される場所との間の依存関係を排除することができる。これは、ストレージ使用の最適化、サーバコンソリデーション及び/又は無停止ファイルマイグレーションの実行を可能にすることができる。
ハイパーバイザ124-4は、複数のオペレーティングシステム(例えば、「ゲストオペレーティングシステム」)が、コンピューティングリソース124などのホストコンピュータで同時に実行することを可能にする、ハードウェア仮想化技術を提供してもよい。ハイパーバイザ124-4は、仮想オペレーティングプラットフォームをゲストオペレーティングシステムに提示してもよく、ゲストオペレーティングシステムの実行を管理してもよい。様々なオペレーティングシステムの複数のインスタンスは、仮想化ハードウェアリソースを共有してもよい。
ネットワーク130は、1つ又は複数の有線及び/又は無線ネットワークを含む。例えば、ネットワーク130は、セルラーネットワーク(例えば、第5世代(5G)ネットワーク、ロングタームエボリューション(LTE)ネットワーク、第3世代(3G)ネットワーク、符号分割多元接続(CDMA)ネットワークなど)、公衆陸上移動体通信網(PLMN)、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、メトロポリタンエリアネットワーク(MAN)、電話網(例えば、公衆交換電話網(PSTN))、プライベートネットワーク、アドホックネットワーク、イントラネット、インターネット、光ファイバーベースのネットワークなど、及び/又はこれらのネットワーク又は他のタイプのネットワークの組み合わせを含んでもよい。
図1に示されるデバイス及びネットワークの数及び配置は、一例として提供される。実際には、図1に示されるものと比較して、追加のデバイス及び/又はネットワーク、より少ないデバイス及び/又はネットワーク、異なるデバイス及び/又はネットワーク、又は別様に配置されたデバイス及び/又はネットワークがあってもよい。更に、図1に示される2つ以上のデバイスは、単一のデバイス内に実装されてもよく、図1に示される単一のデバイスは、複数の分散型デバイスとして実装されてもよい。追加的又は代替的に、環境100のデバイスのセット(例えば、1つ又は複数のデバイス)は、環境100のデバイスの別のセットにより実行されるものとして説明された1つ又は複数の機能を実行することができる。
図2は、図1における1つ又は複数のデバイスの例示的なコンポーネントのブロック図である。
デバイス200は、ユーザデバイス110及び/又はプラットフォーム120に対応してもよい。図2に示すように、デバイス200は、バス210と、プロセッサ220と、メモリ230と、ストレージコンポーネント240と、入力コンポーネント250と、出力コンポーネント260と、通信インタフェース270とを含んでもよい。
バス210は、デバイス200のコンポーネント間の通信を可能にするコンポーネントを含む。プロセッサ220は、ハードウェア、ファームウェア、又はハードウェアとソフトウェアとの組み合わせで実装される。プロセッサ220は、中央処理装置(CPU)、グラフィック処理装置(GPU)、加速処理装置(APU)、マイクロプロセッサ、マイクロコントローラ、デジタルシグナルプロセッサ(DSP)、フィールドプログラマブルゲートアレイ(FPGA)、特定用途向け集積回路(ASIC)又は他のタイプの処理コンポーネントである。一部の実装では、プロセッサ220は、機能を実行するようにプログラムできる1つ又は複数のプロセッサを含む。メモリ230は、プロセッサ220により使用される情報及び/又は命令を記憶するランダムアクセスメモリ(RAM)、読み出し専用メモリ(ROM)、及び/又は他のタイプの動的若しくは静的ストレージデバイス(例えば、フラッシュメモリ、磁気メモリ、及び/又は光学メモリ)を含む。
ストレージコンポーネント240は、デバイス200の動作及び使用に関係する情報及び/又はソフトウェアを記憶する。例えば、ストレージコンポーネント240は、ハードディスク(例えば、磁気ディスク、光学ディスク、光磁気ディスク、及び/又はソリッドステートディスク)、コンパクトディスク(CD)、デジタル多用途ディスク(DVD)、フロッピーディスク、カートリッジ、磁気テープ、及び/又は別のタイプの非一時的なコンピュータ可読媒体を対応するドライブと共に含んでもよい。
入力コンポーネント250は、デバイス200が例えばユーザ入力(例えば、タッチスクリーンディスプレイ、キーボード、キーパッド、マウス、ボタン、スイッチ、及び/又はマイクロホン)を介して情報を受信することを可能にするコンポーネントを含む。追加的又は代替的に、入力コンポーネント250は、情報を感知するためのセンサ(例えば、全地球測位システム(GPS)コンポーネント、加速度計、ジャイロスコープ及び/又はアクチュエータ)を含んでもよい。出力コンポーネント260は、デバイス200からの出力情報を提供するコンポーネント(例えば、ディスプレイ、スピーカ、及び/又は1つ又は複数の発光ダイオード(LED))を含む。
通信インタフェース270は、デバイス200が有線接続、無線接続、又は有線接続と無線接続との組み合わせなどを介して他のデバイスと通信することを可能にする、送受信機のようなコンポーネント(例えば、送受信機及び/又は別個の受信機及び送信機)を含む。通信インタフェース270は、デバイス200が別のデバイスから情報を受信し、及び/又は別のデバイスに情報を提供することを可能にすることができる。例えば、通信インタフェース270は、イーサネットインタフェース、光インタフェース、同軸インタフェース、赤外線インタフェース、無線周波数(RF)インタフェース、ユニバーサルシリアルバス(USB)インタフェース、Wi-Fiインタフェース、セルラーネットワークインタフェースなどを含んでもよい。
デバイス200は、本明細書において説明される1つ又は複数のプロセスを実行することができる。デバイス200は、メモリ230及び/又はストレージコンポーネント240などの非一時的なコンピュータ可読媒体により記憶されたソフトウェア命令をプロセッサ220が実行することに応答して、これらのプロセスを実行することができる。本明細書で使用されるとき、コンピュータ可読媒体は、非一時的なメモリデバイスとして定義される。メモリデバイスは、単一の物理ストレージデバイス内のメモリ空間、又は複数の物理ストレージデバイスに広がるメモリ空間を含む。
ソフトウェア命令は、通信インタフェース270を介して、別のコンピュータ可読媒体から又は別のデバイスから、メモリ230及び/又はストレージコンポーネント240に読み込まれてもよい。メモリ230及び/又はストレージコンポーネント240に記憶されたソフトウェア命令は、実行されると、本明細書において説明される1つ又は複数のプロセスをプロセッサ220に実行させることができる。追加的又は代替的に、本明細書において説明される1つ又は複数のプロセスを実行するために、ハードワイヤード回路はソフトウェア命令の代わりに、又はソフトウェア命令と組み合わせて使用されてもよい。したがって、本明細書において説明される実装は、ハードウェア回路とソフトウェアとのいかなる特定の組み合わせにも限定されない。
図2に示されるコンポーネントの数及び配置は、一例として提供される。実際には、デバイス200は、図2に示されるものと比較して、追加のコンポーネント、より少ないコンポーネント、異なるコンポーネント又は別様に配置されたコンポーネントを含んでもよい。追加的又は代替的に、デバイス200のコンポーネントのセット(例えば、1つ又は複数のコンポーネント)は、デバイス200のコンポーネントの別のセットにより実行されるものとして説明された1つ又は複数の機能を、実行することができる。
以下、潜在特徴領域ブロックベースのイントラ予測及び残差コーディングによるNICの方法及び装置について詳細に説明する。
実施形態は、NICのための、潜在特徴領域ブロックベースのイントラ予測及び残差コーディングフレームワークに関連する。NICコーディング効率を改善するために、元のブロックをエンコードする代わりに予測ブロックと元のブロックとの間の残差をエンコードするメカニズムと、潜在特徴領域においてイントラ予測を実行するメカニズムとの2つのメカニズムを使用する。
図3は、実施形態に係る、試験段階中の、潜在特徴領域におけるイントラ予測によるニューラル画像圧縮のための試験用NICエンコーダ/NICデコーダ装置300のブロック図である。
図3に示すように、試験用装置300は、DNNメインエンコードモジュール301と、分割モジュール302と、イントラ予測モジュール303と、残差Qモジュール304と、残差AEモジュール305と、計算残差コンテキストモジュール306と、Qモジュール307と、AEモジュール308と、計算コンテキストモジュール309と、残差ADモジュール310と、残差IQモジュール311と、ADモジュール312と、IQモジュール313と、ブロック選択モジュール314と、マージモジュール315と、DNNメインデコードモジュール316とを含む。
サイズ(h、w、c)(ここで、h、w、cは、それぞれ、高さ、幅、チャネルの数である)の入力画像xが与えられると、DNNメインエンコードモジュール301は、DNNメインエンコーダを使用することにより潜在表現yを計算する。潜在表現yは、サイズ(h、w、c)の3Dテンソルであり、yは、分割モジュール302を通過し、n個のブロック
Figure 0007483030000007
に分割され、各分割潜在ブロック
Figure 0007483030000008
は、サイズ
Figure 0007483030000009
を有する。
Figure 0007483030000010
が以前復元されたブロックのセットを表すとすると、予測DNNを使用することにより、
Figure 0007483030000011
をイントラ予測モジュール303を通過させて予測されたブロック
Figure 0007483030000012
を計算する。予測残差
Figure 0007483030000013
を、予測されたブロック
Figure 0007483030000014
と分割潜在ブロック
Figure 0007483030000015
との間の差分に基づいて計算することができる。予測残差
Figure 0007483030000016
は、残差Qモジュール304を通過し、量子化法で量子化される。これに続いて、残差AEモジュール305は、算術エンコード法で、エントロピーエンコードされたコンパクト残差表現
Figure 0007483030000017
を生成する。同時に、計算残差コンテキストモジュール306は、残差コンテキストDNNを使用することにより、予測残差
Figure 0007483030000018
に基づいて残差コンテキストパラメータ
Figure 0007483030000019
のセットを計算する。
一方、潜在表現yの分割潜在ブロック
Figure 0007483030000020
は、Qモジュール307を通過し、続いてAEモジュール308を通過して、(量子化法でQモジュール307により)量子化されてから(算術エンコード法でAEモジュール308により)エントロピーエンコードされたコンパクト表現
Figure 0007483030000021
を生成することができる。同時に、計算コンテキストモジュール309は、コンテキストDNNを使用することにより、分割潜在ブロック
Figure 0007483030000022
に基づいてコンテキストパラメータ
Figure 0007483030000023
のセットを計算する。
コンパクト残差表現
Figure 0007483030000024
及び残差コンテキストパラメータ
Figure 0007483030000025
を使用して、残差ADモジュール310(算術デコード法で)とそれに続く残差IQモジュール311(逆量子化法で)は、デコードされた残差
Figure 0007483030000026
を計算する。デコードされた残差
Figure 0007483030000027
を予測されたブロック
Figure 0007483030000028
に追加して、デコードされたブロック
Figure 0007483030000029
を取得することができる。コンパクト表現
Figure 0007483030000030
及びコンテキストパラメータ
Figure 0007483030000031
を使用すると、ADモジュール312(算術デコード法で)とそれに続くIQモジュール313(逆量子化法で)は、デコードされたブロック
Figure 0007483030000032
を計算する。ブロック選択モジュール314は、デコードされたブロック
Figure 0007483030000033

Figure 0007483030000034
のどちらが現在復元されたブロック
Figure 0007483030000035
として使用されるかを示す選択信号
Figure 0007483030000036
を生成する。これは、例えば、選択信号
Figure 0007483030000037
をバイナリ0又は1として設定することによって行われる。以下、選択信号
Figure 0007483030000038
を生成するプロセスを説明する。デコードされたブロック
Figure 0007483030000039
が使用される場合、選択信号
Figure 0007483030000040
を、コンパクト残差表現
Figure 0007483030000041
及び残差コンテキストパラメータ
Figure 0007483030000042
と共に、デコーダ側に送信する。デコードされたブロック
Figure 0007483030000043
が使用される場合、選択信号
Figure 0007483030000044
を、コンパクト表現
Figure 0007483030000045
及びコンテキストパラメータ
Figure 0007483030000046
と共に、デコーダ側に送信する。次に、現在復元されたブロック
Figure 0007483030000047
を使用して、以前復元されたブロックのセット
Figure 0007483030000048
を現在復元されたブロックのセット
Figure 0007483030000049
に更新し、エンコーダは、次のブロック
Figure 0007483030000050
の処理を続行する。
n個のブロックが全て復元された後、マージモジュール315は、全ての復元されたブロックを組み合わせることにより、復元された潜在表現
Figure 0007483030000051
を生成する。次に、DNNメインデコードモジュール316は、DNNメインデコーダを使用することにより、復元された潜在表現
Figure 0007483030000052
に基づいて、再構成された画像
Figure 0007483030000053
を計算する。
図4は、具体的に、実施形態に係る、試験段階中の、図3において説明されるNICエンコーダ/NICデコーダ装置300のデコーダ側のブロック図である。
図4に示すように、デコーダ側は、イントラ予測モジュール303と、残差ADモジュール310と、残差IQモジュール311と、ADモジュール312と、IQモジュール313と、マージモジュール315と、DNNメインデコードモジュール316とを含む。
デコーダ側では、図4に示すように、ブロックの選択信号
Figure 0007483030000054
を受信した後、システムは、次の方法のうちの1つを選択して、復元されたブロック
Figure 0007483030000055
を計算する。選択信号
Figure 0007483030000056
が、復元されたブロック
Figure 0007483030000057
がコンパクト残差表現
Figure 0007483030000058
と残差コンテキストパラメータ
Figure 0007483030000059
に基づくデコードされたブロックからのものであることを示す場合、残差ADモジュール310とそれに続く残差IQモジュール311を使用して、デコードされた残差
Figure 0007483030000060
を計算する。同時に、イントラ予測モジュール303は、以前復元されたブロックのセット
Figure 0007483030000061
に基づいて、予測DNNを使用することにより、予測されたブロック
Figure 0007483030000062
を計算する。デコードされた残差
Figure 0007483030000063
を、予測されたブロック
Figure 0007483030000064
に追加して、復元されたブロック
Figure 0007483030000065
を取得する。選択信号
Figure 0007483030000066
が、復元されたブロック
Figure 0007483030000067
がコンパクト表現
Figure 0007483030000068
及びコンテキストパラメータ
Figure 0007483030000069
に基づくデコードされたブロックからのものであることを示す場合、ADモジュール312とそれに続くIQモジュール313を使用して、復元されたブロック
Figure 0007483030000070
を計算する。次に、復元されたブロック
Figure 0007483030000071
を使用して、以前復元されたブロックのセット
Figure 0007483030000072
を現在復元されたブロックのセット
Figure 0007483030000073
に更新し、デコーダは、次の復元されたブロック
Figure 0007483030000074
のデコードを続行する。
ブロックが全て復元された後、マージモジュール315は、全ての復元されたブロックを組み合わせることにより、復元された潜在表現
Figure 0007483030000075
を生成する。次に、DNNメインデコードモジュール316は、DNNメインデコーダを使用することにより、復元された潜在表現
Figure 0007483030000076
に基づいて、再構成された画像
Figure 0007483030000077
を計算する。
好ましい実施形態では、DNNメインエンコーダ及びDNNメインデコーダは、VAE構造をとる。この開示は、DNNメインエンコーダ及びDNNメインデコーダの特定のネットワーク構造を何ら制限しない。
潜在表現yを、異なる方法で分割できる。例えば、yは、サイズ(h、w、c)の3Dテンソルであり、ここで、h、w、cは、潜在表現の高さ、幅、チャネルである。潜在表現yは、チャネル軸に沿って(h、w、k)ブロック(即ち、
Figure 0007483030000078
)に分割されたり、高さ及び幅の寸法で
Figure 0007483030000079
ブロック(即ち、
Figure 0007483030000080
)に分割されたり、各チャネルの高さ及び幅の寸法内で
Figure 0007483030000081
ブロックに分割されたり、一般的な
Figure 0007483030000082
ブロックに分割されたりすることができる。
分割ブロックを、幾つかのスキャン方法で、事前に決定されたスキャン順序又は適応的に決定された順序に応じて様々な順序で処理することができる。例えば、高さ軸に沿って上から下へ、幅軸に沿って左から右へ、又はチャネル軸に沿って浅いところから深いところへ処理する。スキャン順序が決定されると、予測DNNは、以前復元されたブロックのセット
Figure 0007483030000083
を使用して、順序に応じて現在の予測されたブロック
Figure 0007483030000084
を計算する。予測DNNは、異なるネットワークアーキテクチャを持つことができ、アーキテクチャは、通常、ブロックが分割される特定の形状に関連する。例えば、サイズ
Figure 0007483030000085
の2Dブロックの場合、ブロックを、チャネルごとに次々に処理してもよく、復元されたブロックのセット
Figure 0007483030000086
は、以前のチャネルと現在のチャネルの両方からのブロックを含んでもよい。したがって、予測DNNは、チャネル空間関係とクロスチャネル関係の両方を利用するモジュールを含んでもよい。したがって、この開示は、予測DNNの特定のネットワーク構造を何ら制限しない。
コンテキストDNNは、コンテキストパラメータ
Figure 0007483030000087
を計算し、該コンテキストパラメータ
Figure 0007483030000088
は、ADモジュール312及びIQモジュール313がエンコードされたコンパクト表現
Figure 0007483030000089
に基づいて復元されたブロック
Figure 0007483030000090
を計算するために使用される。好ましい実施形態では、コンテキストパラメータ
Figure 0007483030000091
は、分割潜在ブロック
Figure 0007483030000092
の確率密度を密度推定法で計算するパラメータのセットである。同様に、残差コンテキストDNNは、残差コンテキストパラメータ
Figure 0007483030000093
を計算し、該残差コンテキストパラメータは、残差ADモジュール310及び残差IQモジュール311がエンコードされたコンパクト残差表現
Figure 0007483030000094
に基づいて復元された残差
Figure 0007483030000095
を計算するために使用される。好ましい実施形態では、残差コンテキストパラメータ
Figure 0007483030000096
は、潜在残差
Figure 0007483030000097
の確率密度を密度推定法で計算するパラメータのセットである。この開示は、特定の密度推定法、潜在ブロック又は潜在残差の分布フォーマット、又はコンテキストDNN及び残差コンテキストDNNのネットワーク構造を何ら制限しない。
ブロック選択モジュールは、現在の分割潜在ブロックbをエンコードするためにコンパクト残差表現
Figure 0007483030000098
又はコンパクト表現
Figure 0007483030000099
のいずれかを使用する損失を計算することにより、選択信号
Figure 0007483030000100
を生成し、損失の少ないものを選択する。好ましい実施形態では、R-D損失を使用して歪みとビットレートの両方を考慮に入れる。
Figure 0007483030000101
Figure 0007483030000102
Figure 0007483030000103
及び
Figure 0007483030000104
は、それぞれ、エンコードされたコンパクト残差表現
Figure 0007483030000105
とコンパクト表現
Figure 0007483030000106
とに基づいて、分割潜在ブロックbと復元されたブロック
Figure 0007483030000107
との間の歪み(例えば、MSE又はSSIM)を測定する。
Figure 0007483030000108
及び
Figure 0007483030000109
は、それぞれ、コンパクト残差表現
Figure 0007483030000110
とコンパクト表現
Figure 0007483030000111
とのビットレートを計算する。
Figure 0007483030000112
及び
Figure 0007483030000113
は、トレードオフハイパーパラメータである。
実施形態における様々なDNNのトレーニングプロセスを説明する。トレーニングプロセスの目標は、DNNメインエンコーダ、DNNメインデコーダ、予測DNN、コンテキストDNN及び残差コンテキストDNNを学習することである。図5は、実施形態による、トレーニング段階中の、潜在特徴領域ブロックベースのイントラ予測及び残差コーディングによるニューラル画像圧縮のためのトレーニング装置500のブロック図である。
図5に示すように、トレーニング装置500は、DNNメインエンコードモジュール301と、分割モジュール302と、イントラ予測モジュール303と、トレーニング残差Qモジュール501と、トレーニング残差AEモジュール502と、計算残差コンテキストモジュール306と、トレーニングQモジュール503と、トレーニングAEモジュール504と、計算コンテキストモジュール309と、トレーニング残差ADモジュール505と、トレーニング残差IQモジュール506と、トレーニングADモジュール507と、トレーニングIQモジュール508と、ブロック選択モジュール314と、計算ブロック歪みモジュール509と、計算レートモジュール510と、マージモジュール315と、DNNメインデコードモジュール316と、計算入力歪みモジュール511と、重み更新モジュール512とを含む。
トレーニングの場合、まず、上記学習されるDNNの重み係数を、事前にトレーニングされた対応するDNNモデルを使用するか又はランダムな数値に設定することなどにより、初期化する。次に、試験段階と同様に、入力トレーニング画像
Figure 0007483030000114
が与えられると、DNNメインエンコードモジュール301は、現在のDNNメインエンコーダを使用することにより、潜在表現
Figure 0007483030000115
を計算する。潜在表現
Figure 0007483030000116
は、分割モジュール302を通過し、n個のブロック
Figure 0007483030000117
に分割され、各分割潜在ブロック
Figure 0007483030000118
は、サイズ
Figure 0007483030000119
を有する。以前復元されたブロックのセット
Figure 0007483030000120
を使用すると、イントラ予測モジュール303は、現在の予測DNNを使用することにより、予測されたブロック
Figure 0007483030000121
を計算する。次に、予測残差
Figure 0007483030000122
を、予測されたブロック
Figure 0007483030000123
と分割潜在ブロック
Figure 0007483030000124
との間の差分に基づいて計算する。この予測残差
Figure 0007483030000125
を、トレーニング残差Qモジュール501を通過させ、続いてトレーニング残差AEモジュール502を通過させて、コンパクト残差表現
Figure 0007483030000126
を生成する。同時に、計算残差コンテキストモジュール306は、現在の残差コンテキストDNNを使用することにより、予測残差
Figure 0007483030000127
に基づいて残差コンテキストパラメータ
Figure 0007483030000128
のセットを計算する。
一方、潜在表現yの分割潜在ブロック
Figure 0007483030000129
を、トレーニングQモジュール503とそれに続くトレーニングAEモジュール504を通過させて、コンパクト表現
Figure 0007483030000130
を生成する。同時に、計算コンテキストモジュール309は、現在のコンテキストDNNを使用することにより、分割潜在ブロック
Figure 0007483030000131
に基づいてコンテキストパラメータ
Figure 0007483030000132
のセットを計算する。
コンパクト残差表現
Figure 0007483030000133
及び残差コンテキストパラメータ
Figure 0007483030000134
を使用すると、トレーニング残差ADモジュール505とそれに続くトレーニング残差IQモジュール506は、デコードされた残差
Figure 0007483030000135
を計算し、デコードされた残差は、予測されたブロック
Figure 0007483030000136
に追加されてデコードされたブロック
Figure 0007483030000137
を取得する。また、コンパクト表現
Figure 0007483030000138
及びコンテキストパラメータ
Figure 0007483030000139
を使用すると、トレーニングADモジュール507とそれに続くトレーニングIQモジュール508は、デコードされたブロック
Figure 0007483030000140
を計算する。ブロック選択モジュール314は、デコードされたブロック
Figure 0007483030000141

Figure 0007483030000142
とのどちらが現在復元されたブロック
Figure 0007483030000143
として使用されるかを示す選択信号
Figure 0007483030000144
を生成する。これは、選択信号
Figure 0007483030000145
をバイナリ0又は1として設定することなどによって行われる。ブロック歪み損失
Figure 0007483030000146
を計算ブロック歪みモジュール509で計算して、典型的なMSE、MS-SSIM、又は両方の重み付き組み合わせなど、元の分割潜在ブロック
Figure 0007483030000147
と比較した復元された潜在ブロック
Figure 0007483030000148
の歪みを測定する。また、レート損失
Figure 0007483030000149
を計算レートモジュール510により計算して、圧縮表現のビット消費を測定することができる。選択信号
Figure 0007483030000150
がデコードされたブロック
Figure 0007483030000151
を使用する場合、コンパクト残差表現
Figure 0007483030000152
及び残差コンテキストパラメータ
Figure 0007483030000153
を使用して、レート損失
Figure 0007483030000154
を計算する。デコードされたブロック
Figure 0007483030000155
を使用する場合、コンパクト表現
Figure 0007483030000156
及びコンテキストパラメータ
Figure 0007483030000157
を使用して、レート損失
Figure 0007483030000158
を計算する。
次に、現在復元されたブロック
Figure 0007483030000159
を使用して、以前復元されたブロックのセット
Figure 0007483030000160
を現在復元されたブロックのセット
Figure 0007483030000161
に更新し、エンコーダは、次のブロック
Figure 0007483030000162
の処理を続行する。ブロックが全て復元された後、マージモジュール315は、全ての復元されたブロックを組み合わせることにより、復元された潜在表現
Figure 0007483030000163
を生成する。次に、DNNメインデコードモジュール316は、現在のDNNメインデコーダを使用することにより、復元された潜在表現
Figure 0007483030000164
に基づいて、再構成された画像
Figure 0007483030000165
を計算する。次に、入力歪み損失
Figure 0007483030000166
を計算入力歪みモジュール511(図5においてCIDモジュール511として示される)で計算して、典型的なPSNR、MS-SSIM又は両方の重み付き組み合わせなど、最終的な再構成品質を測定する。
トレードオフハイパーパラメータλ及び正則化ハイパーパラメータ
Figure 0007483030000167
が与えられると、結合R-D損失を以下のように計算できる。
Figure 0007483030000168
大きなトレードオフハイパーパラメータλを使用してトレーニングすると、歪みが小さいがビット消費が多い圧縮モデルを生成し、その逆も同じである。大きな正則化ハイパーパラメータ
Figure 0007483030000169
を使用してトレーニングすると、ブロック単位の歪みに対して、大きなペナルティを追加の制約として引き起こす。次に、結合R-D損失の勾配を計算できる。この勾配は、重み更新モジュール512を介して逆伝播することにより、DNNメインエンコーダ、DNNメインデコーダ、予測DNN、コンテキストDNN及び残差コンテキストDNNの重みパラメータを更新するために使用される。異なるDNNを、異なる更新ペースで異なる時間に更新できる。追加的に、任意のDNNを個別に学習できる。例えば、いくつかのデータセット(上記トレーニングプロセスで使用されたデータセットと同一又は異なるもの)を使用して、予測DNN、DNNメインエンコーダ及びDNNメインデコーダを個別にトレーニングすることができる。上記トレーニングプロセスは、残りのDNNの重みパラメータのみを更新するように修正できる。上記トレーニングプロセスにおける重みパラメータの一部を微調整することもできる。
好ましい実施形態では、トレーニング残差Qモジュール501、トレーニング残差AEモジュール502、トレーニング残差ADモジュール505及びトレーニング残差IQモジュール506は、試験段階におけるそれらの対応するモジュールとは異なる。例えば、トレーニングの場合、トレーニング残差Qモジュール501、トレーニング残差AEモジュール502、トレーニング残差ADモジュール505及びトレーニング残差IQモジュール506は、残差Qモジュール304、残差AEモジュール305、残差ADモジュール310及び残差IQモジュール311の実際のエンコード/デコード効果を概算するための統計データサンプラであり得る。同様に、トレーニングQモジュール503、トレーニングAEモジュール504、トレーニングADモジュール507及びトレーニングIQモジュール508は、試験段階におけるそれらの対応するモジュールとは異なる。例えば、トレーニングの場合、トレーニングQモジュール503、トレーニングAEモジュール504、トレーニングADモジュール507及びトレーニングIQモジュール508は、Qモジュール307、AEモジュール308、ADモジュール312及びIQモジュール313の実際のエンコード/デコード効果を概算するための統計データサンプラであり得る。
図6は、実施形態に係る、潜在特徴領域におけるイントラ予測によるニューラル画像圧縮の方法600のフローチャートである。
一部の実装では、図6における1つ又は複数のプロセスブロックは、プラットフォーム120により実行されてもよい。一部の実装では、図6における1つ又は複数のプロセスブロックは、ユーザデバイス110など、プラットフォーム120とは別のデバイス又はデバイスのグループ、又はプラットフォーム120を含む別のデバイス又はデバイスのグループにより実行されてもよい。図6が方法の例示的なブロックを示すが、一部の実装では、方法は、図6に示されるものと比較して、追加のブロック、より少ないブロック、異なるブロック又は別様に配置されたブロックを含んでもよい。追加的又は代替的に、方法の2つ以上のブロックは、並行して実行されてもよい。
図6に示すように、動作601において、方法600は、DNNメインエンコーダを使用して、入力画像の潜在表現を生成することを含む。
動作602において、図6の方法は、潜在表現を潜在ブロックのセットに分割することを含む。
動作603において、図6の方法は、現在復元されたブロックとして第1のデコードされたブロックと第2のデコードされたブロックとのどちらを使用するかを示す選択信号を受信することを含む。
動作603に続いて、方法は、動作604~609及び動作610~612に進む。図6には、動作ブロック604~609及び動作ブロック610~612は並行して実行されることが示されるが、動作ブロック604~609は、動作ブロック610~612の前又は後に実行されてもよい。この開示は、上記動作ブロックの順序に限定されない。
動作604において、図6の方法は、予測DNNを使用して、以前復元されたブロックのセットに基づいてブロックを予測することを含む。
動作605において、図6の方法は、予測残差を計算することを含む。
動作606において、図6の方法は、予測残差を量子化してからエントロピーエンコードしたコンパクト残差表現であるコンパクト残差を生成することを含む。
動作607において、図6の方法は、残差コンテキストDNNを使用して、生成された予測残差に基づいて残差コンテキストパラメータのセットを生成することを含む。
動作608において、図6の方法は、デコードしてから逆量子化法を使用して、生成されたコンパクト残差及び残差コンテキストパラメータに基づいて、デコードされた残差を生成することを含む。
動作609において、図6の方法は、動作604からの予測ブロックと動作608からのデコードされた残差とに基づいて、第1のデコードされたブロックを生成することを含む。
動作610において、図6の方法は、動作602で分割された潜在ブロックのセット内のブロックを量子化してからエントロピーエンコードすることにより、コンパクト表現を生成することを含む。
動作611において、図6の方法は、コンテキストDNNを使用して、動作602で分割された潜在ブロックのセット内のブロックに基づいて、コンテキストパラメータのセットを生成することを含む。
動作612において、図6の方法は、動作610からのコンパクト表現と動作611からのコンテキストパラメータのセットに基づいて、第2のデコードされたブロックを生成することを含む。
動作613において、図6の方法は、現在のブロックが、動作602で分割された潜在ブロックのセット内の最後のブロックであるか否かを判断する。そうであれば、最後のブロックを処理し、方法は、動作614に進む。そうでなければ、方法は、動作602で分割された潜在ブロックのセット内の次のブロックに対して動作604~612を繰り返す。
動作614において、図6の方法は、動作604~612で出力された、復元されたブロックのそれぞれを含む復元されたブロックのセットを生成することを含む。
動作615において、図6の方法は、復元されたブロックのセット内のブロックをマージして、入力画像の復元された潜在表現を生成することを含む。
動作616において、図6の方法は、DNNメインデコーダを使用して、生成された復元された潜在表現をデコードして、再構成された画像を取得することを含む。
図7は、実施形態に係る、潜在特徴領域におけるイントラ予測によるニューラル画像圧縮の装置のブロック図である。
図7に示すように、装置は、潜像生成コード700と、分割コード701と、予測コード702と、選択コード703と、計算コード704と、第1の生成コード705と、第2の生成コード706と、第3の生成コード707と、第1のデコードコード708と、コンパクトブロック生成コード709と、第4の生成コード710と、第2のデコードコード711と、復元されたブロック生成コード712と、マージコード713と、第3のデコードコード714とを含む。
潜像生成コード700は、少なくとも1つのプロセッサに、DNNメインエンコーダを使用して入力画像の潜在表現を生成させるように構成される。
分割コード701は、少なくとも1つのプロセッサに、潜在表現を潜在ブロックのセットに分割させるように構成される。
予測コード702は、少なくとも1つのプロセッサに、予測DNNを使用して、以前復元されたブロックのセットに基づいてブロックを予測させるように構成される。
選択コード703は、少なくとも1つのプロセッサに、現在復元されたブロックとして第1のデコードされたブロックと第2のデコードされたブロックとのどちらを使用するかを示す選択信号を受信させるように構成される。
計算コード704は、少なくとも1つのプロセッサに予測残差を計算させるように構成される。
第1の生成コード705は、少なくとも1つのプロセッサに、予測残差を量子化してエントロピーエンコードしたコンパクト残差表現であるコンパクト残差を生成させるように構成される。
第2の生成コード706は、少なくとも1つのプロセッサに、残差コンテキストDNNを使用して、計算された予測残差に基づいて残差コンテキストパラメータのセットを生成させるように構成される。
第3の生成コード707は、少なくとも1つのプロセッサに、デコードさせてから逆量子化法を使用して、生成されたコンパクト残差及び残差コンテキストパラメータに基づいて、デコードされた残差を生成させるように構成される。
第1のデコードコード708は、少なくとも1つのプロセッサに、予測されたブロック及びデコードされた残差に基づいて、第1のデコードされたブロックを生成させるように構成される。
コンパクトブロック生成コード709は、少なくとも1つのプロセッサに、潜在ブロックのセット内のブロックを量子化してからエントロピーエンコードすることにより、コンパクト表現を生成させるように構成される。
第4の生成コード710は、少なくとも1つのプロセッサに、コンテキストDNNを使用して、潜在ブロックのセット内のブロックに基づいてコンテキストパラメータのセットを生成させるように構成される。
第2のデコードコード711は、少なくとも1つのプロセッサに、コンパクト表現及びコンテキストパラメータのセットに基づいて、第2のデコードされたブロックを生成させるように構成される。
復元されたブロック生成コード712は、少なくとも1つのプロセッサに、復元されたブロックのそれぞれを含む、復元されたブロックのセットを生成させるように構成される。
マージコード713は、少なくとも1つのプロセッサに、復元されたブロックのセット内のブロックをマージさせて、入力画像の復元された潜在表現を生成させるように構成される。
第3のデコードコード714は、少なくとも1つのプロセッサに、DNNメインデコーダを使用して、復元された潜在表現を生成させて、再構成された画像を取得させるように構成される。
図7が装置の例示的なブロックを示すが、一部の実装では、装置は、図7に示されるものと比較して、追加のブロック、より少ないブロック、異なるブロック又は別様に配置されたブロックを含んでもよい。追加的又は代替的に、装置の2つ以上のブロックを組み合わせてもよい。
実施形態は、NICコーディング効率を改善するために、元のブロックをエンコードする代わりに予測ブロックと元のブロックとの間の残差をエンコードするメカニズムと、潜在特徴領域において予測を実行して、効果的な予測及び再構成のために空間情報とクロスチャネル情報の両方を便利に組み込むメカニズムとを利用するという考えを説明する。当該NICコーディングの方法は、様々なイントラ予測方法、様々なニューラルエンコード方法及び様々なタイプの品質メトリックに適応する、柔軟で一般的なフレームワークを有利に実現する。
提案されたNICコーディング方法は、単独で使用されてもよく、任意の順序で組み合わせて使用されてもよい。更に、方法(又は実施形態)、エンコーダ及びデコーダのそれぞれは、処理回路(例えば、1つ又は複数のプロセッサ又は1つ又は複数の集積回路)により実装されてもよい。一例では、1つ又は複数のプロセッサは、非一時的なコンピュータ可読媒体に記憶されるプログラムを実行する。
前述の開示は、例示及び説明を提供するものであるが、網羅的であることも、実装を開示された厳密な形態に限定することも意図していない。上記開示を考慮して修正及び変更を行ってもよい、又は実装の実践により修正及び変更を得てもよい。
本明細書において使用される場合、コンポーネントという用語は、ハードウェア、ファームウェア、又はハードウェアとソフトウェアとの組み合わせとして広く解釈されることが意図される。
本明細書において説明されるシステム及び/又は方法は、異なる形態のハードウェア、ファームウェア、又はハードウェアとソフトウェアとの組み合わせにおいて実装されてもよいことが明らかになる。これらのシステム及び/又は方法を実装するために使用される実際の専用制御ハードウェア又はソフトウェアコードは、実装を限定するものではない。したがって、システム及び/又は方法の動作及び挙動は、特定のソフトウェアコードを参照することなく本明細書において説明されたが、ソフトウェア及びハードウェアを、本明細書の説明に基づくシステム及び/又は方法を実装するように設計できることが理解される。
特徴の組み合わせが特許請求の範囲に記載され、及び/又は明細書に開示されているが、これらの組み合わせは、可能な実装の開示を限定することを意図するものではない。実際には、これらの特徴の多くが、具体的に特許請求の範囲に記載及び/又は明細書に開示されていない方式で組み合わされてもよい。以下に挙げられる各従属クレームは、1つのみのクレームに直接従属する可能性があるが、可能な実装の開示は、クレームセット中の全てのクレームと組み合わせた各従属クレームを含む。
本明細書において使用される要素、動作又は命令は、重要又は必須とは、そのように明示的に記載されない限り、解釈されるべきではない。加えて、本明細書において使用される場合、冠詞「a」及び「an」は、1つ又は複数の項目を含むことが意図され、「1つ又は複数」と交換可能に使用され得る。更に、本明細書において使用される場合、「セット」という用語は、1つ又は複数の項目(例えば、関連項目、非関連項目、関連項目と非関連項目との組み合わせなど)を含むことが意図され、「1つ又は複数」と交換可能に使用され得る。1つのみの項目が意図される場合、「1つ」という用語又は類似の言葉が使用される。加えて、本明細書において使用される場合、「has」、「have」又は「having」(含む、等)などの用語は、オープンエンド用語であることが意図される。更に、「based on」(に基づく)という語句は、特に明記されていない限り、「少なくとも部分的に基づく」ことを意味することが意図される。
100 環境
110 ユーザデバイス
120 プラットフォーム
122 クラウドコンピューティング環境
124 コンピューティングリソース
124-1 アプリケーション
124-2 仮想マシン
124-3 仮想化ストレージ
124-4 ハイパーバイザ
130 ネットワーク
200 デバイス
210 バス
220 プロセッサ
230 メモリ
240 ストレージコンポーネント
250 入力コンポーネント
260 出力コンポーネント
270 通信インタフェース

Claims (8)

  1. 少なくとも1つのプロセッサにより実行される、潜在特徴領域におけるイントラ予測による、ディープニューラルネットワークを使用したニューラル画像圧縮のための方法であって、
    第3のニューラルネットワークを使用して、入力画像の潜在表現を生成するステップと、
    前記潜在表現を潜在ブロックのセットに分割するステップと、
    前記潜在ブロックのセットを受信するステップと、
    前記潜在ブロックのセット内のブロックごとに、
    第1のニューラルネットワークを使用して、以前復元されたブロックのセットに基づいてブロックを予測し、
    現在復元されたブロックを示す選択信号を受信し、
    前記受信された選択信号に基づいて、
    (1)以前復元されたブロックと予測されたブロックとに基づいてコンパクト残差、残差コンテキストパラメータのセット及びデコードされた残差を生成し、前記予測されたブロック及び前記デコードされた残差に基づいて、第1のデコードされたブロックを生成することと、
    (2)前記潜在ブロックに基づいてコンパクト表現ブロック及びコンテキストパラメータのセットを生成し、前記コンパクト表現ブロック、及び前記コンテキストパラメータのセットに基づいて、第2のデコードされたブロックを生成することと、
    のうちの1つを実行するステップと、
    前記現在復元されたブロックのそれぞれを含む、復元されたブロックのセットを生成するステップと、
    前記復元されたブロックのセット内の全てのブロックをマージして、復元された潜像を生成するステップと、
    第2のニューラルネットワークを使用して、前記生成された復元された潜像をデコードして、再構成された画像を取得するステップと、を含み、
    前記第1のニューラルネットワークが以前復元されたブロックのセットに基づいてブロックを予測するようにトレーニングされ、前記第2のニューラルネットワークが生成された復元された潜像をデコードするようにトレーニングされ、前記第3のニューラルネットワークが入力画像から潜在表現を生成するようにトレーニングされ、それによって入力画像と再構成された画像との歪みまたはビット消費が小さくなるようにトレーニングされたニューラルネットワークである、方法。
  2. 前記コンパクト残差が、予測残差を量子化してからエントロピーエンコードすることにより生成され、
    前記残差コンテキストパラメータのセットが、第4のニューラルネットワークを使用して、予測残差に基づいて生成され、
    前記デコードされた残差が、前記コンパクト残差及び前記残差コンテキストパラメータをデコードしてから逆量子化することにより生成され、
    前記コンパクト残差と前記残差コンテキストパラメータのセットとが同時に生成され
    前記第4のニューラルネットワークが、予測残差に基づいて残差コンテキストパラメータのセットを生成するようにトレーニングされ、それによって入力画像と再構成された画像との歪みまたはビット消費が小さくなるようにトレーニングされたニューラルネットワークである、請求項1に記載の方法。
  3. 前記コンパクト表現ブロックが、前記潜在ブロックのセット内の現在の潜在ブロックを量子化してからエントロピーエンコードすることにより生成され、
    前記コンテキストパラメータのセットが、第5のニューラルネットワークを使用して、前記現在の潜在ブロックに基づいて生成され、
    前記コンテキストパラメータのセットと前記コンパクト表現ブロックとが同時に生成され
    前記第5のニューラルネットワークが、現在の潜在ブロックに基づいてコンテキストパラメータのセットを生成するようにトレーニングされ、それによって入力画像と再構成された画像との歪みまたはビット消費が小さくなるようにトレーニングされたニューラルネットワークである、請求項に記載の方法。
  4. 前記予測残差は、前記予測されたブロックと前記潜在ブロックのセット内の前記現在の潜在ブロックとの間の差分である、請求項に記載の方法。
  5. 前記復元されたブロックのセットは、前記以前復元されたブロックのセットを更新するために使用される、請求項1に記載の方法。
  6. 前記選択信号が前記第1のデコードされたブロックと前記第2のデコードされたブロックとのうちの少なくとも1つを前記現在復元されたブロックとして選択するステップと、
    前記第1のデコードされたブロックが選択された場合、前記コンパクト残差、前記残差コンテキストパラメータのセット及び前記選択信号を入力としてデコーダに送信するステップと、
    前記第2のデコードされたブロックが選択された場合、前記コンパクト表現ブロック、前記コンテキストパラメータのセット及び前記選択信号を入力として前記デコーダに送信するステップと、を更に含む請求項1に記載の方法。
  7. 潜在特徴領域におけるイントラ予測によるニューラル画像圧縮のための装置であって、
    プログラムコードを記憶するように構成された少なくとも1つのメモリと、
    前記プログラムコードを読み取り、前記プログラムコードの命令どおりに動作するように構成された少なくとも1つのプロセッサとを含み、
    前記プログラムコードは、
    前記少なくとも1つのプロセッサに、請求項1~のいずれか1項に記載の方法を実行させるように構成される、装置。
  8. 請求項1~のいずれか1項に記載の方法を少なくとも1つのプロセッサに実行させるように構成されるコンピュータプログラム。
JP2022556241A 2021-01-04 2021-09-07 潜在特徴領域におけるイントラ予測によるニューラル画像圧縮 Active JP7483030B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202163133704P 2021-01-04 2021-01-04
US63/133,704 2021-01-04
US17/462,287 2021-08-31
US17/462,287 US11810331B2 (en) 2021-01-04 2021-08-31 Neural image compression with latent feature-domain intra-prediction
PCT/US2021/049212 WO2022146501A1 (en) 2021-01-04 2021-09-07 Neural image compression with latent feature-domain intra-prediction

Publications (2)

Publication Number Publication Date
JP2023518542A JP2023518542A (ja) 2023-05-02
JP7483030B2 true JP7483030B2 (ja) 2024-05-14

Family

ID=82219774

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022556241A Active JP7483030B2 (ja) 2021-01-04 2021-09-07 潜在特徴領域におけるイントラ予測によるニューラル画像圧縮

Country Status (6)

Country Link
US (1) US11810331B2 (ja)
EP (1) EP4082192A4 (ja)
JP (1) JP7483030B2 (ja)
KR (1) KR20220123060A (ja)
CN (1) CN115299045A (ja)
WO (1) WO2022146501A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2022267299A1 (en) * 2021-04-28 2023-11-16 Insurance Services Office, Inc. Systems and methods for machine learning from medical records

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2509311B (en) * 2012-12-21 2016-12-14 Canon Kk Method and device for determining residual data for encoding or decoding at least part of an image
US11159789B2 (en) * 2018-10-24 2021-10-26 City University Of Hong Kong Generative adversarial network based intra prediction for video coding
GB2581808B (en) 2019-02-26 2022-08-10 Imperial College Innovations Ltd Scene representation using image processing
US11705226B2 (en) * 2019-09-19 2023-07-18 Tempus Labs, Inc. Data based cancer research and treatment systems and methods
US11238650B2 (en) * 2020-03-13 2022-02-01 Nvidia Corporation Self-supervised single-view 3D reconstruction via semantic consistency
WO2021220008A1 (en) * 2020-04-29 2021-11-04 Deep Render Ltd Image compression and decoding, video compression and decoding: methods and systems
US20220084204A1 (en) * 2020-09-11 2022-03-17 Nvidia Corporation Labeling images using a neural network

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CHOI, Hyomin and BAJIC, Ivan V.,Near-Lossless Deep Feature Compression for Collaborative Intelligence,2018 IEEE 20th International Workshop on Multimedia Signal Processing (MMSP),IEEE,2018年11月29日,pp.1-6,<URL:https://ieeexplore.ieee.org/document/8547134>,<DOI:10.1109/MMSP.2018.8547134>

Also Published As

Publication number Publication date
JP2023518542A (ja) 2023-05-02
WO2022146501A1 (en) 2022-07-07
EP4082192A1 (en) 2022-11-02
KR20220123060A (ko) 2022-09-05
US11810331B2 (en) 2023-11-07
EP4082192A4 (en) 2023-04-05
CN115299045A (zh) 2022-11-04
US20220215592A1 (en) 2022-07-07

Similar Documents

Publication Publication Date Title
US11582470B2 (en) Method and apparatus for multi-scale neural image compression with intra-prediction residuals
JP7374340B2 (ja) ニューラル画像圧縮のためのタスク適応型前処理のための方法、装置およびコンピュータプログラム
KR102633549B1 (ko) 대체 신경 잔차 압축을 위한 방법 및 장치
JP7483030B2 (ja) 潜在特徴領域におけるイントラ予測によるニューラル画像圧縮
US11652994B2 (en) Neural image compression with adaptive intra-prediction
JP7471733B2 (ja) 滑らかな品質制御による適応ニューラル画像圧縮のための代替の入力最適化
JP2024518239A (ja) ニューラル画像圧縮における反復的なコンテンツ適応型オンライントレーニングのためのシステム、方法、及びコンピュータプログラム
CN114930349A (zh) 用于端到端图像压缩的特征替换的方法和装置
JP7471730B2 (ja) メタ学習によるレート制御を用いた適応ニューラル画像圧縮のための方法、装置及びプログラム
JP7493617B2 (ja) ニューラル画像圧縮における置換の多学習率のための方法および装置
JP7438611B2 (ja) 品質適応型ニューラル・ネットワーク・ベースのループフィルタのための代替品質ファクター学習
US20220405978A1 (en) Non-linear quantization with substitution in neural image compression
JP2024513432A (ja) ニューラルネットワークを使用する、エンドツーエンド(e2e)ニューラル画像圧縮(nic)用のコンテンツ適応型オンライン訓練の方法、装置及びコンピュータプログラム
KR20230145147A (ko) 신경 이미지 압축에서 다수의 블록에 대한 콘텐츠 적응형 온라인 트레이닝을 위한 시스템, 방법 및 컴퓨터 프로그램
CN115715463A (zh) 用于神经图像压缩中的替代的动态学习率的方法和装置
JP2023527655A (ja) メタ学習による滑らかな品質管理を用いた品質適応型のニューラル・ネットワーク・ベースのループフィルタ

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220916

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220916

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231023

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231030

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240415

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240430

R150 Certificate of patent or registration of utility model

Ref document number: 7483030

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150