JP2023512570A - 画像処理方法および関連装置 - Google Patents
画像処理方法および関連装置 Download PDFInfo
- Publication number
- JP2023512570A JP2023512570A JP2022548020A JP2022548020A JP2023512570A JP 2023512570 A JP2023512570 A JP 2023512570A JP 2022548020 A JP2022548020 A JP 2022548020A JP 2022548020 A JP2022548020 A JP 2022548020A JP 2023512570 A JP2023512570 A JP 2023512570A
- Authority
- JP
- Japan
- Prior art keywords
- target
- values
- feature
- gain
- compression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims description 30
- 238000007906 compression Methods 0.000 claims abstract description 400
- 230000006835 compression Effects 0.000 claims abstract description 396
- 238000013139 quantization Methods 0.000 claims abstract description 45
- 238000000605 extraction Methods 0.000 claims abstract description 41
- 238000012545 processing Methods 0.000 claims description 134
- 238000000034 method Methods 0.000 claims description 133
- 239000013598 vector Substances 0.000 claims description 115
- 238000013507 mapping Methods 0.000 claims description 111
- 230000006870 function Effects 0.000 claims description 98
- 230000008569 process Effects 0.000 claims description 63
- 230000015654 memory Effects 0.000 claims description 55
- 238000013473 artificial intelligence Methods 0.000 abstract description 21
- 238000012549 training Methods 0.000 description 74
- 238000013461 design Methods 0.000 description 67
- 108091006146 Channels Proteins 0.000 description 30
- 238000013528 artificial neural network Methods 0.000 description 29
- 238000013527 convolutional neural network Methods 0.000 description 24
- 230000000694 effects Effects 0.000 description 23
- 239000011159 matrix material Substances 0.000 description 23
- 210000002569 neuron Anatomy 0.000 description 23
- 238000010586 diagram Methods 0.000 description 19
- 238000004590 computer program Methods 0.000 description 10
- 238000013500 data storage Methods 0.000 description 7
- 230000004913 activation Effects 0.000 description 6
- 239000000872 buffer Substances 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 230000009021 linear effect Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 230000006837 decompression Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000012886 linear function Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 238000013144 data compression Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000012952 Resampling Methods 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000009833 condensation Methods 0.000 description 1
- 230000005494 condensation Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012888 cubic function Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000008570 general process Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 230000009022 nonlinear effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 238000011017 operating method Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012887 quadratic function Methods 0.000 description 1
- 238000012889 quartic function Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/002—Image coding using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/48—Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Image Analysis (AREA)
- Electrical Discharge Machining, Electrochemical Machining, And Combined Machining (AREA)
- Farming Of Fish And Shellfish (AREA)
- Threshing Machine Elements (AREA)
Abstract
Description
第1の画像を取得するステップと、少なくとも1つの第1の特徴マップを取得するために、第1の画像に対して特徴抽出を実行するステップであって、少なくとも1つの第1の特徴マップがN個の第1の特徴値を含み、Nが正の整数である、ステップと、目標圧縮ビットレートを取得するステップであって、目標圧縮ビットレートがM個の目標ゲイン値に対応し、各目標ゲイン値が1つの第1の特徴値に対応し、MがN以下の正の整数である、ステップと、M個の第2の特徴値を取得するために、M個の目標ゲイン値に基づいて、対応する第1の特徴値をそれぞれ処理するステップであって、元の第1の特徴マップが、本出願の本実施形態において少なくとも1つの処理された第1の特徴マップと置き換えられてもよい、ステップと、符号化データを取得するために、少なくとも1つの処理された第1の特徴マップに対して量子化およびエントロピー符号化を実行するステップであって、少なくとも1つの処理された第1の特徴マップがM個の第2の特徴値を含む、ステップと、を含む。前述の方式では、圧縮ビットレート制御を実施するために、異なる目標圧縮ビットレートに対して異なる目標ゲイン値が設定される。
目標マッピング関係に基づいて、目標圧縮ビットレートに対応するM個の目標ゲイン値を決定するステップであって、目標マッピング関係が、圧縮ビットレートとM個の目標ゲイン値との間の相関関係を示すために使用される、ステップをさらに含み、
目標マッピング関係が、複数の圧縮ビットレート、複数のゲインベクトル、および複数の圧縮ビットレートと複数のゲインベクトルとの間の相関関係を含み、目標圧縮ビットレートが、複数の圧縮ビットレートのうちの1つであり、M個の目標ゲイン値が、複数のゲインベクトルのうちの1つの要素であり、または
目標マッピング関係が、目標関数マッピング関係を含み、目標関数関係の入力が目標圧縮ビットレートを含む場合、目標関数関係の出力がM個の目標ゲイン値を含む。
符号化データを取得するステップと、少なくとも1つの第2の特徴マップを取得するために、符号化データに対してエントロピー復号を実行するステップであって、少なくとも1つの第2の特徴マップがN個の第3の特徴値を含み、Nが正の整数である、ステップと、M個の目標逆ゲイン値を取得するステップであって、各目標逆ゲイン値が1つの第3の特徴値に対応し、MがN以下の正の整数である、ステップと、M個の第4の特徴値を取得するために、M個の目標逆ゲイン値に基づいて、対応する第3の特徴値をそれぞれ処理するステップと、第2の画像を取得するために、少なくとも1つの処理された第2の特徴マップに基づいて画像再構成を行うステップであって、少なくとも1つの処理された第2の特徴マップがM個の第4の特徴値を含む、ステップと、を含む。
目標圧縮ビットレートを取得するステップと、
目標マッピング関係に基づいて、目標圧縮ビットレートに対応するM個の目標逆ゲイン値を決定するステップであって、目標マッピング関係が、圧縮ビットレートと逆ゲインベクトルとの間の相関関係を示すために使用される、ステップをさらに含み、
目標マッピング関係が、複数の圧縮ビットレート、複数の逆ゲインベクトル、および複数の圧縮ビットレートと複数の逆ゲインベクトルとの間の相関関係を含み、
目標圧縮ビットレートが、複数の圧縮ビットレートのうちの1つであり、M個の目標逆ゲイン値が、複数の逆ゲインベクトルのうちの1つの要素であり、または
目標マッピング関係が、目標関数マッピング関係を含み、目標関数関係の入力が目標圧縮ビットレートを含む場合、目標関数関係の出力がM個の目標逆ゲイン値を含む。
第1の画像を取得するステップと、
少なくとも1つの第1の特徴マップを取得するために、符号化ネットワークに基づいて第1の画像に対して特徴抽出を実行するステップであって、少なくとも1つの第1の特徴マップがN個の第1の特徴値を含み、Nが正の整数である、ステップと、
目標圧縮ビットレートを取得するステップであって、目標圧縮ビットレートがM個の初期ゲイン値およびM個の初期逆ゲイン値に対応し、各初期ゲイン値が1つの第1の特徴値に対応し、各初期逆ゲイン値が1つの第3の特徴値に対応し、MがN以下の正の整数である、ステップと、
M個の第2の特徴値を取得するために、M個の初期ゲイン値に基づいて、対応する第1の特徴値をそれぞれ処理するステップと、
符号化データおよびビットレート損失を取得するために、量子化ネットワークおよびエントロピー符号化ネットワークに基づいて、少なくとも1つの処理された第1の特徴マップに対して量子化およびエントロピー符号化を実行するステップであって、ゲイン処理後に取得された少なくとも1つの第1の特徴マップがM個の第2の特徴値を含む、ステップと、
少なくとも1つの第2の特徴マップを取得するために、エントロピー復号ネットワークに基づいて符号化データに対してエントロピー復号を実行するステップであって、少なくとも1つの第2の特徴マップがM個の第3の特徴値を含み、各第3の特徴値が1つの第1の特徴値に対応する、ステップと、
M個の第4の特徴値を取得するために、M個の初期逆ゲイン値に基づいて対応する第3の特徴値をそれぞれ処理するステップと、
第2の画像を取得するために、復号ネットワークに基づいて、少なくとも1つの処理された第2の特徴マップに対して画像再構成を行うステップであって、少なくとも1つの処理された特徴マップがM個の第4の特徴値を含む、ステップと、
第1の画像に対する第2の画像の歪み損失を取得するステップと、
第1の画像と第2の画像との間の画像歪み値が第1の予め設定された程度に達するまで、損失関数を使用することによって、第1の符号化/復号ネットワーク、M個の初期ゲイン値、およびM個の初期逆ゲイン値に対して共同訓練を実行するステップであって、画像歪み値がビットレート損失および歪み損失に関連し、符号化/復号ネットワークが符号化ネットワーク、量子化ネットワーク、エントロピー符号化ネットワーク、およびエントロピー復号ネットワークを含む、ステップと、
第2の符号化/復号ネットワーク、M個の目標ゲイン値、およびM個の目標逆ゲイン値を出力するステップであって、第2の符号化/復号ネットワークが、第1の符号化/復号ネットワークに対して反復訓練が実行された後に取得されたモデルであり、M個の目標ゲイン値およびM個の目標逆ゲイン値が、M個の初期ゲイン値およびM個の初期逆ゲイン値に対して反復訓練が実行された後に取得される、ステップと、
を含む。
第1の画像を取得するように構成された取得モジュールと、
少なくとも1つの第1の特徴マップを取得するために、第1の画像に対して特徴抽出を実行し、少なくとも1つの第1の特徴マップがN個の第1の特徴値を含み、Nが正の整数である、ように構成された特徴抽出モジュールを備え、
取得モジュールが、目標圧縮ビットレートを取得し、目標圧縮ビットレートがM個の目標ゲイン値に対応し、各目標ゲイン値が1つの第1の特徴値に対応し、MがN以下の正の整数であり、
M個の第2の特徴値を取得するために、M個の目標ゲイン値に基づいて、対応する第1の特徴値をそれぞれ処理するように構成されたゲインモジュールと、
符号化データを取得するために、少なくとも1つの処理された第1の特徴マップに対して量子化およびエントロピー符号化を実行し、少なくとも1つの処理された第1の特徴マップがM個の第2の特徴値を含む、ように構成された量子化およびエントロピー符号化モジュールと、
を備える。
目標圧縮ビットレートが大きいほど、量子化されたデータの情報エントロピーがより大きくなることを示すことを含む。
目標マッピング関係に基づいて、目標圧縮ビットレートに対応するM個の目標ゲイン値を決定し、目標マッピング関係が、圧縮ビットレートとM個の目標ゲイン値との間の相関関係を示すために使用される、ように構成された決定モジュールをさらに備え、
目標マッピング関係が、複数の圧縮ビットレート、複数のゲインベクトル、および複数の圧縮ビットレートと複数のゲインベクトルとの間の相関関係を含み、目標圧縮ビットレートが、複数の圧縮ビットレートのうちの1つであり、M個の目標ゲイン値が、複数のゲインベクトルのうちの1つの要素であり、または
目標マッピング関係が、目標関数マッピング関係を含み、目標関数関係の入力が目標圧縮ビットレートを含む場合、目標関数関係の出力がM個の目標ゲイン値を含む。
少なくとも1つの第2の特徴マップを取得するために、符号化データに対してエントロピー復号を実行し、少なくとも1つの第2の特徴マップがN個の第3の特徴値を含み、各第3の特徴値が1つの第1の特徴値に対応する、ように構成された復号モジュールをさらに備え、
取得モジュールが、M個の目標逆ゲイン値を取得し、各目標逆ゲイン値が1つの第3の特徴値に対応する、ようにさらに構成され、
本装置は、
M個の第4の特徴値を取得するために、M個の目標逆ゲイン値に基づいて、対応する第3の特徴値に対してそれぞれゲイン処理を実行するように構成された逆ゲインモジュールと、
第2の画像を取得するために、逆ゲイン処理後に取得された少なくとも1つの第2の特徴マップに対して画像再構成を行い、逆ゲイン処理後に取得された少なくとも1つの第2の特徴マップがM個の第4の特徴値を含む、ように構成された再構成モジュールと、
をさらに備える。
目標マッピング関係に基づいて、目標圧縮ビットレートに対応するM個の目標逆ゲイン値を決定し、目標マッピング関係が圧縮ビットレートと逆ゲインベクトルとの間の相関関係を示すために使用される、ようにさらに構成されている。
符号化データを取得するように構成された取得モジュールと、
少なくとも1つの第2の特徴マップを取得するために、符号化データに対してエントロピー復号を実行し、少なくとも1つの第2の特徴マップがN個の第3の特徴値を含み、Nが正の整数である、ように構成された復号モジュールを備え、
取得モジュールが、M個の目標逆ゲイン値を取得し、各目標逆ゲイン値が1つの第3の特徴値に対応し、MがN以下の正の整数である、ようにさらに構成され、
M個の第4の特徴値を取得するために、M個の目標逆ゲイン値に基づいて、対応する第3の特徴値をそれぞれ処理するように構成された逆ゲインモジュールと、
第2の画像を取得するために、少なくとも1つの処理された第2の特徴マップに対して画像再構成を行い、少なくとも1つの処理された第2の特徴マップがM個の第4の特徴値を含む、ように構成された再構成モジュールと、
を備える。
本装置は、
目標マッピング関係に基づいて、目標圧縮ビットレートに対応するM個の目標逆ゲイン値を決定し、目標マッピング関係が、圧縮ビットレートと逆ゲインベクトルとの間の相関関係を示すために使用される、決定モジュールをさらに備え、
目標マッピング関係が、複数の圧縮ビットレート、複数の逆ゲインベクトル、および複数の圧縮ビットレートと複数の逆ゲインベクトルとの間の相関関係を含み、目標圧縮ビットレートが、複数の圧縮ビットレートのうちの1つであり、M個の目標逆ゲイン値が、複数の逆ゲインベクトルのうちの1つの要素であり、または
目標マッピング関係が、目標関数マッピング関係を含み、目標関数関係の入力が目標圧縮ビットレートを含む場合、目標関数関係の出力がM個の目標逆ゲイン値を含む。
第1の画像を取得するように構成された取得モジュールと、
少なくとも1つの第1の特徴マップを取得するために、符号化ネットワークに基づいて第1の画像に対して特徴抽出を実行し、少なくとも1つの第1の特徴マップがN個の第1の特徴値を含み、Nが正の整数である、ように構成された特徴抽出モジュールと、を備え、
取得モジュールが、目標圧縮ビットレートを取得し、目標圧縮ビットレートがM個の初期ゲイン値およびM個の初期逆ゲイン値に対応し、各初期ゲイン値が1つの第1の特徴値に対応し、各初期逆ゲイン値が1つの第3の特徴値に対応し、MがN以下の正の整数である、ようにさらに構成され、
M個の第2の特徴値を取得するために、M個の初期ゲイン値に基づいて、対応する第1の特徴値をそれぞれ処理するように構成されたゲインモジュールと、
符号化データおよびビットレート損失を取得するために、量子化ネットワークおよびエントロピー符号化ネットワークに基づいて、少なくとも1つの処理された第1の特徴マップに対して量子化およびエントロピー符号化を実行し、ゲイン処理後に取得された少なくとも1つの第1の特徴マップがM個の第2の特徴値を含む、ように構成された量子化およびエントロピー符号化モジュールと、
少なくとも1つの第2の特徴マップを取得するために、エントロピー復号ネットワークに基づいて符号化データに対してエントロピー復号を実行し、少なくとも1つの第2の特徴マップがM個の第3の特徴値を含み、各第3の特徴値が1つの第1の特徴値に対応する、ように構成された復号モジュールと、
M個の第4の特徴値を取得するために、M個の初期逆ゲイン値に基づいて、対応する第3の特徴値をそれぞれ処理するように構成された逆ゲインモジュールと、
第2の画像を取得するために、復号ネットワークに基づいて少なくとも1つの処理された第2の特徴マップに対して画像再構成を行い、少なくとも1つの処理された特徴マップがM個の第4の特徴値を含む、ように構成された再構成モジュールと、を備え、
取得モジュールが、第1の画像に対する第2の画像の歪み損失を取得するようにさらに構成され、
第1の画像と第2の画像との間の画像歪み値が第1の予め設定された程度に達するまで、損失関数を使用することによって、第1の符号化/復号ネットワーク、M個の初期ゲイン値、およびM個の初期逆ゲイン値に対して共同訓練を実行し、画像歪み値がビットレート損失および歪み損失に関連し、符号化/復号ネットワークが符号化ネットワーク、量子化ネットワーク、エントロピー符号化ネットワーク、およびエントロピー復号ネットワークを含む、ように構成された訓練モジュールと、
第2の符号化/復号ネットワーク、M個の目標ゲイン値、およびM個の目標逆ゲイン値を出力し、第2の符号化/復号ネットワークが、第1の符号化/復号ネットワークに対して反復訓練が実行された後に取得されたモデルであり、M個の目標ゲイン値およびM個の目標逆ゲイン値が、M個の初期ゲイン値およびM個の初期逆ゲイン値に対して反復訓練が実行された後に取得される、ように構成された出力モジュールと、
を備える。
目標圧縮ビットレートが大きいほど、量子化されたデータの情報エントロピーがより大きくなることを示すことを含む。
第1の画像を取得するステップと、
少なくとも1つの第1の特徴マップを取得するために、第1の画像に対して特徴抽出を実行するステップであって、少なくとも1つの第1の特徴マップがN個の第1の特徴値を含み、Nが正の整数である、ステップと、
目標圧縮ビットレートを取得するステップであって、目標圧縮ビットレートがM個の目標ゲイン値に対応し、各目標ゲイン値が1つの第1の特徴値に対応し、MがN以下の正の整数である、ステップと、
M個の第2の特徴値を取得するために、M個の目標ゲイン値に基づいて、対応する第1の特徴値をそれぞれ処理するステップと、
符号化データを取得するために、少なくとも1つの処理された第1の特徴マップに対して量子化およびエントロピー符号化を実行するステップであって、少なくとも1つの処理された第1の特徴マップがM個の第2の特徴値を含む、ステップと、
を含む。
符号化データを取得するステップと、
少なくとも1つの第2の特徴マップを取得するために、符号化データに対してエントロピー復号を実行するステップであって、少なくとも1つの第2の特徴マップがN個の第3の特徴値を含み、Nが正の整数である、ステップと、
M個の目標逆ゲイン値を取得するステップであって、各目標逆ゲイン値が1つの第3の特徴値に対応し、MがN以下の正の整数である、ステップと、
M個の第4の特徴値を取得するために、M個の目標逆ゲイン値に基づいて、対応する第3の特徴値をそれぞれ処理するステップと、
第2の画像を取得するために、少なくとも1つの処理された第2の特徴マップに対して画像再構成を行うステップであって、少なくとも1つの処理された第2の特徴マップがM個の第4の特徴値を含む、ステップと、
を含む。
第1の画像を取得するステップと、
少なくとも1つの第1の特徴マップを取得するために、符号化ネットワークに基づいて第1の画像に対して特徴抽出を実行するステップであって、少なくとも1つの第1の特徴マップがN個の第1の特徴値を含み、Nが正の整数である、ステップと、
目標圧縮ビットレートを取得するステップであって、目標圧縮ビットレートがM個の初期ゲイン値およびM個の初期逆ゲイン値に対応し、各初期ゲイン値が1つの第1の特徴値に対応し、各初期逆ゲイン値が1つの第3の特徴値に対応し、MがN以下の正の整数である、ステップと、
M個の第2の特徴値を取得するために、M個の初期ゲイン値に基づいて、対応する第1の特徴値をそれぞれ処理するステップと、
符号化データおよびビットレート損失を取得するために、量子化ネットワークおよびエントロピー符号化ネットワークに基づいて、少なくとも1つの処理された第1の特徴マップに対して量子化およびエントロピー符号化を実行するステップであって、ゲイン処理後に取得された少なくとも1つの第1の特徴マップがM個の第2の特徴値を含む、ステップと、
少なくとも1つの第2の特徴マップを取得するために、エントロピー復号ネットワークに基づいて符号化データに対してエントロピー復号を実行するステップであって、少なくとも1つの第2の特徴マップがM個の第3の特徴値を含み、各第3の特徴値が1つの第1の特徴値に対応する、ステップと、
M個の第4の特徴値を取得するために、M個の初期逆ゲイン値に基づいて対応する第3の特徴値をそれぞれ処理するステップと、
第2の画像を取得するために、復号ネットワークに基づいて少なくとも1つの処理された第2の特徴マップに対して画像再構成を行うステップであって、少なくとも1つの処理された特徴マップがM個の第4の特徴値を含む、ステップと、
第1の画像に対する第2の画像の歪み損失を取得するステップと、
第1の画像と第2の画像との間の画像歪み値が第1の予め設定された程度に達するまで、損失関数を使用することによって、第1の符号化/復号ネットワーク、M個の初期ゲイン値、およびM個の初期逆ゲイン値に対して共同訓練を実行するステップであって、画像歪み値がビットレート損失および歪み損失に関連し、符号化/復号ネットワークが符号化ネットワーク、量子化ネットワーク、エントロピー符号化ネットワーク、およびエントロピー復号ネットワークを含む、ステップと、
第2の符号化/復号ネットワーク、M個の目標ゲイン値、およびM個の目標逆ゲイン値を出力するステップであって、第2の符号化/復号ネットワークが、第1の符号化/復号ネットワークに対して反復訓練が実行された後に取得されたモデルであり、M個の目標ゲイン値およびM個の目標逆ゲイン値が、M個の初期ゲイン値およびM個の初期逆ゲイン値に対して反復訓練が実行された後に取得される、ステップと、
を含む。
インフラストラクチャは、人工知能システムに計算能力のサポートを提供し、外界と通信し、基本プラットフォームを使用することによってサポートを実施する。インフラストラクチャは、センサを使うことによって外部と通信する。計算能力は、インテリジェントチップ(CPU、NPU、GPU、ASIC、またはFPGAなどのハードウェアアクセラレーションチップ)によって提供される。ベースプラットフォームは、分散計算フレームワークおよびネットワークなどの関連するプラットフォームの保障およびサポートを含み、クラウドストレージおよび計算、相互接続および相互作用ネットワークなどを含むことができる。例えば、センサは、データを取得するために外部と通信し、データは、計算のために、基本プラットフォームによって提供される分散コンピューティングシステム内のインテリジェントチップに提供される。
インフラストラクチャの上位層からのデータは、人工知能分野におけるデータソースを示す。データは、グラフ、画像、音声、テキストに関連し、従来の装置のモノのインターネットデータにさらに関連し、既存のシステムのサービスデータと、力、変位、液位、温度、湿度などの知覚データと、を含む。
データ処理は、通常、データ訓練、機械学習、深層学習、検索、推論、および意思決定などの方式を含む。
データに対して上述のデータ処理が行われた後、翻訳、テキスト分析、コンピュータビジョン処理、音声認識、画像認識などを行うために、いくつかの一般的な能力が、データ処理結果、例えば、アルゴリズムまたは一般的なシステムに基づいてさらに形成されてもよい。
インテリジェント製品および産業応用とは、様々な分野における人工知能システムの製品および応用であり、人工知能ソリューション全体のカプセル化、インテリジェント情報意思決定の製品化、および着地応用の実現を示す。その応用分野は、主にインテリジェント端末、インテリジェント交通、インテリジェント医療、自動運転、安全都市などを含む。
本出願の実施形態において提供される画像圧縮方法は、端末装置における画像圧縮プロセスに適用されてもよく、具体的には、端末装置におけるアルバム、ビデオ監視などに適用されてよい。詳細については、図2aを参照されたい。図2aは、本出願の一実施形態による適用シナリオを示す。図2aに示されているように、端末装置は、圧縮対象の写真を取得することができる。圧縮対象の写真は、カメラによって撮影された写真またはビデオから抽出された写真のフレームであってもよい。端末装置は、埋め込みニューラルネットワーク処理ユニット(neural network processing unit、NPU)の人工知能(artificial intelligence、AI)符号化ユニットを使用することによって、取得された圧縮対象の写真に対して特徴抽出を実行し、画像データを冗長度がより低い出力特徴に変換し、出力特徴内の点の確率推定値を生成することができる。中央処理装置(central processing unit、CPU)は、出力特徴における各点の確率推定値を使用することによって、抽出された出力特徴に対して算術符号化を行い、出力特徴の符号化冗長度を低減し、画像圧縮プロセスにおけるデータ伝送量をさらに低減し、符号化後に得られた符号化データをデータファイルの形式で対応する記憶位置に記憶する。ユーザが記憶位置に記憶されたファイルを取得する必要がある場合、CPUは、対応する記憶位置から、記憶されたファイルを取得およびロードし、算術復号に基づいて復号された特徴マップを取得し、再構成画像を取得するために、NPU内のAI復号ユニットを使用することによって特徴マップに対して再構成を行うことができる。
本出願の実施形態において提供される画像圧縮方法は、クラウド側での画像圧縮プロセスに適用されてもよく、具体的には、クラウド側のサーバにおいてクラウドアルバムなどの機能に適用されてもよい。詳細については、図2bを参照されたい。図2bは、本出願の一実施形態による適用シナリオを示す。図2bに示されているように、端末装置は、圧縮対象の写真を取得することができる。圧縮対象の写真は、カメラによって撮影された写真またはビデオから抽出された写真のフレームであってもよい。端末装置は、符号化データを取得するために、CPUを使用することによって、圧縮対象の写真に対して可逆符号化圧縮を行うことができ、可逆符号化圧縮は、例えば、従来技術における任意の可逆圧縮方法に基づいて実行されてよいが、それに基づいて実行されることに限定されない。端末装置は、符号化データをクラウド側のサーバに送信することができる。サーバは、圧縮対象の画像を取得するために、受信された符号化データに対して対応する可逆復号を実行することができる。サーバは、グラフィックス処理ユニット(graphics processing unit、GPU)内のAI符号化ユニットを使用することによって、取得された圧縮対象の写真に対して特徴抽出を実行して、画像データを冗長度がより低い出力特徴に変換し、出力特徴内の点の確率推定値を生成することができる。CPUは、出力特徴内の点の確率推定値を使用することによって、抽出された出力特徴に対して算術符号化を実行して、出力特徴の符号化冗長度を低減し、画像圧縮プロセスにおけるデータ伝送量をさらに低減し、符号化後に得られた符号化データをデータファイルの形式で対応する記憶位置に記憶する。ユーザが記憶位置に記憶されたファイルを取得する必要がある場合、CPUは、対応する記憶位置から、記憶されたファイルを取得およびロードし、算術復号に基づいて復号された特徴マップを取得し、再構成画像を取得するために、NPU内のAI復号ユニットを使用することによって特徴マップに対して再構成を行うことができる。サーバは、符号化データを取得するために、CPUを使用することによって、圧縮対象の写真に対して可逆符号化圧縮を実行することができ、可逆符号化圧縮は、例えば、従来技術における任意の可逆圧縮方法に基づいて実行されてよいが、それに基づいて実行されることに限定されない。サーバは、符号化データを端末装置に送信することができ、端末装置は、復号画像を取得するために、受信された符号化データに対して対応する可逆復号を実行することができる。
ニューラルネットワークは、ニューロンを含むことができる。ニューロンは、xsおよび切片1を入力として使用する演算ユニットであってもよく、演算ユニットの出力は、以下の通りであってもよい。
s=1,2,…,nであり、nは1よりも大きい自然数であり、WsはXsの重みであり、bはニューロンのオフセットである。fはニューロンの活性化関数(activation function)であり、活性化関数は、非線形特性をニューラルネットワークに導入して、ニューロンの入力信号を出力信号に変換するために使用される。活性化関数の出力信号は、次の畳み込み層の入力として使用されてもよく、活性化関数は、sigmoid関数であってもよい。ニューラルネットワークは、複数の単一ニューロンを一緒に接続することによって構成されるネットワークである。具体的には、あるニューロンの出力が別のニューロンの入力であってもよい。各ニューロンの入力は、局所受容野の特徴を抽出するために前の層の局所受容野に接続され得る。局所受容野は、いくつかのニューロンを含む領域であってもよい。
多層ニューラルネットワークとも呼ばれる深層ニューラルネットワーク(deep neural network、DNN)は、複数の隠れ層を有するニューラルネットワークとして理解されてもよい。DNNは、異なる層の位置に基づいて分割される。DNN内部のニューラルネットワークは、入力層、隠れ層および出力層の3つのタイプに分類される。一般に、最初の層は入力層であり、最後の層は出力層であり、中間の層は隠れ層である。層は、完全に接続されている。具体的には、第i層の任意のニューロンは、必ず第(i+1)層の任意のニューロンに接続されている。
畳み込みニューラルネットワーク(convolutional neuron network、CNN)は、畳み込み構造を有する深層ニューラルネットワークである。畳み込みニューラルネットワークは、畳み込み層およびサブサンプリング層を含む特徴抽出器を含む。特徴抽出器は、フィルタとみなすことができる。畳み込み層は、畳み込みニューラルネットワークにおいて、入力信号に対して畳み込み処理を行うニューロン層である。畳み込みニューラルネットワークの畳み込み層では、1つのニューロンは、隣接する層のニューロンの一部にのみ接続されることがある。畳み込み層は、一般に、いくつかの特徴面を含み、各特徴面は、いくつかの矩形に配置されたニューロンを含むことができる。同じ特徴面内のニューロンは重みを共有し、ここで共有される重みは畳み込みカーネルである。重みの共有は、画像情報を抽出する方式が位置に無関係であると理解されてもよい。畳み込みカーネルは、ランダムなサイズの行列の形態で初期化されてもよい。畳み込みニューラルネットワークの訓練プロセスにおいて、学習を通じて畳み込みカーネルに対して適切な重みが取得され得る。加えて、重みの共有は、畳み込みニューラルネットワークの層間の接続が低減され、過剰適合のリスクが低減されるため有利である。
深層ニューラルネットワークを訓練するプロセスでは、深層ニューラルネットワークの出力が実際に予測された値に最大限近いことが期待されるため、現在のネットワークの予測値が、期待される目標値と比較されてもよく、次いで、ニューラルネットワークの各層における重みベクトルが、現在の予測値と目標値との差に基づいて更新される(通常、最初の更新の前に初期化プロセスがあり、言い換えれば、パラメータが深層ニューラルネットワークの各層に対して予め設定される)。例えば、ネットワークの予測値が大きい場合、深層ニューラルネットワークが実際に期待される目標値、または実際に期待される目標値に近い値を予測することができるまで、予測値を下げるように重みベクトルが調整される。したがって、「比較によってどのようにして予測値と目標値との差を得るか」は、予め定義される必要がある。これが、損失関数(loss function)または目的関数(objective function)である。損失関数および目的関数は、予測値と目標値との差を測定するために使用される重要な式である。損失関数が例として使用される。損失関数の出力値(loss)が大きいほど、差が大きいことを示す。したがって、深層ニューラルネットワークの訓練は、lossをできるだけ最小化するプロセスである。
訓練プロセスにおいて、ニューラルネットワークは、誤差逆伝播(back propagation、BP)アルゴリズムを使用することによって初期のニューラルネットワークモデルにおけるパラメータの値を補正することができ、それにより、ニューラルネットワークモデルの再構成誤差損失がますます小さくなる。具体的には、出力に誤差損失が生成されるまで入力信号が順方向に転送され、誤差逆伝播誤差損失情報に基づいて、誤差損失が小さくなるように初期のニューラルネットワークモデルのパラメータが更新される。逆伝播アルゴリズムは、主に誤差損失に依存する逆伝播の動きであり、最適なニューラルネットワークモデルのパラメータ、例えば、重み行列を取得することを目的とする。
本出願の本実施形態では、目標関数マッピング関係は、手動で決定されてもよい。各セマンティックチャネルに対応する第1の特徴マップに含まれる第1の特徴値が同じ目標ゲイン値に対応する場合、目標関数マッピング関係の入力は、セマンティックチャネルおよび目標圧縮ビットレートであってもよく、目標関数マッピング関係の出力は、対応する目標ゲイン値である(第1の特徴マップに含まれる第1の特徴値が同じ目標ゲイン値に対応するため、セマンティックチャネルに対応するすべての目標ゲイン値は、1つの目標ゲイン値を使用することによって表され得る)。例えば、各セマンティックチャネルに対応する目標ゲイン値は、線形関数、二次関数、三次関数、または四次関数を使用することによって決定され得る。図6は、本出願の一実施形態による目標関数マッピング関係を示す。図6に示されるように、目標関数マッピング関係は、線形関数であり、関数の入力は、セマンティックチャネルシーケンス番号(例えば、セマンティックチャネルシーケンス番号1~192がある)であり、関数の出力は、目標マッピング関数であり、各目標圧縮ビットレートは、異なる目標関数マッピング関係に対応する。目標圧縮ビットレートが大きいほど、目標関数マッピング関係の傾きがより小さくなることに対応する。二次非線形関数または三次非線形関数の近似分布則もこれと同様であり、詳細は、ここでは説明されない。
本出願の本実施形態では、各目標圧縮ビットレートに対応するM個の目標ゲイン値を訓練方式で取得することは、復号側の処理と組み合わされる必要がある。したがって、各目標圧縮ビットレートに対応するM個の目標ゲイン値を訓練方式で取得することは、後続の実施形態において詳細に説明され、詳細は、ここでは説明されない。
ml=[(mi)l・(mj)1-l]、ここで
mlは、第3の目標ゲイン値を表し、miは、第1の目標ゲイン値を表し、mjは、第2の目標ゲイン値を表し、ml、mi、およびmjは、同じ特徴値に対応し、l∈(0,1)は、調整係数であり、目標圧縮ビットレートのサイズに基づいて決定されてもよい。
loss=ld+β・lr、ここで
ldは、第1の画像に対する第2の画像の、評価指標に基づいて計算される歪み損失であり、lrは、計算を通してエントロピー推定ネットワークによって取得されるビットレート損失(またはビットレート推定値と呼ばれる)であり、βは、歪み損失とビットレート推定値との間のトレードオフを調整するためのラグランジュ係数である。
詳細については、図13を参照されたい。図13は、本出願の一実施形態による画像処理方法の概略流れ図である。本出願の本実施形態において提供される画像処理方法は、以下のステップを含むことができる。
目標圧縮ビットレートが大きいほど、量子化されたデータの情報エントロピーがより大きくなることを示すことを含む。
第1の画像を取得するように構成された取得モジュール1401と、
少なくとも1つの第1の特徴マップを取得するために、第1の画像に対して特徴抽出を実行し、少なくとも1つの第1の特徴マップがN個の第1の特徴値を含み、Nが正の整数である、ように構成された特徴抽出モジュール1402と、を備え、
取得モジュール1401が、目標圧縮ビットレートを取得するようにさらに構成され、目標圧縮ビットレートがM個の目標ゲイン値に対応し、各目標ゲイン値が1つの第1の特徴値に対応し、MがN以下の正の整数であり、
M個の第2の特徴値を取得するために、M個の目標ゲイン値に基づいて、対応する第1の特徴値をそれぞれ処理するように構成されたゲインモジュール1403と、
符号化データを取得するために、少なくとも1つの処理された第1の特徴マップに対して量子化およびエントロピー符号化を実行し、少なくとも1つの処理された第1の特徴マップがM個の第2の特徴値を含む、ように構成された量子化およびエントロピー符号化モジュール1404と、
を備える。
目標圧縮ビットレートが大きいほど、量子化されたデータの情報エントロピーがより大きくなることを示すことを含む。
目標マッピング関係に基づいて、目標圧縮ビットレートに対応するM個の目標ゲイン値を決定するように構成された決定モジュールであって、目標マッピング関係が、圧縮ビットレートとM個の目標ゲイン値との間の相関関係を示すために使用される、決定モジュールをさらに備え、
目標マッピング関係が、複数の圧縮ビットレート、複数のゲインベクトル、および複数の圧縮ビットレートと複数のゲインベクトルとの間の相関関係を含み、目標圧縮ビットレートが、複数の圧縮ビットレートのうちの1つであり、M個の目標ゲイン値が、複数のゲインベクトルのうちの1つの要素であり、または
目標マッピング関係が、目標関数マッピング関係を含み、目標関数関係の入力が目標圧縮ビットレートを含む場合、目標関数関係の出力がM個の目標ゲイン値を含む。
少なくとも1つの第2の特徴マップを取得するために、符号化データに対してエントロピー復号を実行し、少なくとも1つの第2の特徴マップがN個の第3の特徴値を含み、各第3の特徴値が1つの第1の特徴値に対応する、ように構成された復号モジュールをさらに備え、
取得モジュールが、M個の目標逆ゲイン値を取得し、各目標逆ゲイン値が1つの第3の特徴値に対応する、ようにさらに構成され、
本装置は、
M個の第4の特徴値を取得するために、M個の目標逆ゲイン値に基づいて、対応する第3の特徴値に対してそれぞれゲイン処理を実行するように構成された逆ゲインモジュールと、
第2の画像を取得するために、逆ゲイン処理後に取得された少なくとも1つの第2の特徴マップに対して画像再構成を行い、逆ゲイン処理後に取得された少なくとも1つの第2の特徴マップがM個の第4の特徴値を含む、ように構成された再構成モジュールと、
をさらに備える。
目標マッピング関係に基づいて、目標圧縮ビットレートに対応するM個の目標逆ゲイン値を決定し、目標マッピング関係が圧縮ビットレートと逆ゲインベクトルとの間の相関関係を示すために使用される、ようにさらに構成されている。
符号化データを取得するように構成された取得モジュール1501と、
少なくとも1つの第2の特徴マップを取得するために、符号化データに対してエントロピー復号を実行し、少なくとも1つの第2の特徴マップがN個の第3の特徴値を含み、Nが正の整数である、ように構成された復号モジュール1502と、を備え、
取得モジュール1501がM個の目標逆ゲイン値を取得し、各目標逆ゲイン値が1つの第3の特徴値に対応し、MがN以下の正の整数である、ようにさらに構成され、
M個の第4の特徴値を取得するために、M個の目標逆ゲイン値に基づいて、対応する第3の特徴値をそれぞれ処理するように構成された逆ゲインモジュール1503と、
第2の画像を取得するために、少なくとも1つの処理された第2の特徴マップに対して画像再構成を行い、少なくとも1つの処理された第2の特徴マップがM個の第4の特徴値を含む、ように構成された再構成モジュール1504と、
を備える。
本装置は、
目標マッピング関係に基づいて、目標圧縮ビットレートに対応するM個の目標逆ゲイン値を決定し、目標マッピング関係が、圧縮ビットレートと逆ゲインベクトルとの間の相関関係を示すために使用される、決定モジュールをさらに備え、
目標マッピング関係が、複数の圧縮ビットレート、複数の逆ゲインベクトル、および複数の圧縮ビットレートと複数の逆ゲインベクトルとの間の相関関係を含み、目標圧縮ビットレートが、複数の圧縮ビットレートのうちの1つであり、M個の目標逆ゲイン値が、複数の逆ゲインベクトルのうちの1つの要素であり、または
目標マッピング関係が、目標関数マッピング関係を含み、目標関数関係の入力が目標圧縮ビットレートを含む場合、目標関数関係の出力がM個の目標逆ゲイン値を含む。
第1の画像を取得するように構成された取得モジュール1601と、
少なくとも1つの第1の特徴マップを取得するために、符号化ネットワークに基づいて第1の画像に対して特徴抽出を実行し、少なくとも1つの第1の特徴マップがN個の第1の特徴値を含み、Nが正の整数である、ように構成された特徴抽出モジュール1602と、を備え、
取得モジュール1601が、目標圧縮ビットレートを取得し、目標圧縮ビットレートがM個の初期ゲイン値およびM個の初期逆ゲイン値に対応し、各初期ゲイン値が1つの第1の特徴値に対応し、各初期逆ゲイン値が1つの第3の特徴値に対応し、MがN以下の正の整数である、ようにさらに構成され、
M個の第2の特徴値を取得するために、M個の初期ゲイン値に基づいて、対応する第1の特徴値をそれぞれ処理するように構成されたゲインモジュール1603と、
符号化データおよびビットレート損失を取得するために、量子化ネットワークおよびエントロピー符号化ネットワークに基づいて、少なくとも1つの処理された第1の特徴マップに対して量子化およびエントロピー符号化を実行し、ゲイン処理後に取得された少なくとも1つの第1の特徴マップがM個の第2の特徴値を含む、ように構成された量子化およびエントロピー符号化モジュール1604と、
少なくとも1つの第2の特徴マップを取得するために、エントロピー復号ネットワークに基づいて符号化データに対してエントロピー復号を実行し、少なくとも1つの第2の特徴マップがM個の第3の特徴値を含み、各第3の特徴値が1つの第1の特徴値に対応する、ように構成された復号モジュール1605と、
M個の第4の特徴値を取得するために、M個の初期逆ゲイン値に基づいて、対応する第3の特徴値をそれぞれ処理するように構成された逆ゲインモジュール1606と、
第2の画像を取得するために、復号ネットワークに基づいて、少なくとも1つの処理された第2の特徴マップに対して画像再構成を行い、少なくとも1つの処理された特徴マップがM個の第4の特徴値を含む、ように構成された再構成モジュール1607と、を備え、
取得モジュール1601が第1の画像に対する第2の画像の歪み損失を取得するようにさらに構成され、
第1の画像と第2の画像との間の画像歪み値が第1の予め設定された程度に達するまで、損失関数を使用することによって、第1の符号化/復号ネットワーク、M個の初期ゲイン値、およびM個の初期逆ゲイン値に対して共同訓練を実行し、画像歪み値がビットレート損失および歪み損失に関連し、符号化/復号ネットワークが、符号化ネットワーク、量子化ネットワーク、エントロピー符号化ネットワーク、およびエントロピー復号ネットワークを含む、ように構成された訓練モジュール1608と、
第2の符号化/復号ネットワーク、M個の目標ゲイン値、およびM個の目標逆ゲイン値を出力し、第2の符号化/復号ネットワークが、第1の符号化/復号ネットワークに対して反復訓練が実行された後に取得されたモデルであり、M個の目標ゲイン値およびM個の目標逆ゲイン値が、M個の初期ゲイン値およびM個の初期逆ゲイン値に対して反復訓練が実行された後に取得される、ように構成された出力モジュール1609と、
を含む。
目標圧縮ビットレートが大きいほど、量子化されたデータの情報エントロピーがより大きくなることを示すことを含む。
少なくとも1つの第1の特徴マップを取得するために、第1の画像に対して特徴抽出を実行し、第1の特徴マップがN個の第1の特徴値を含み、Nが正の整数であり、
目標圧縮ビットレートを取得し、目標圧縮ビットレートがM個の目標ゲイン値に対応し、各目標ゲイン値が1つの第1の特徴値に対応し、MがN以下の正の整数であり、
M個の第2の特徴値を取得するために、M個の目標ゲイン値に基づいて、対応する第1の特徴値をそれぞれ処理し、
符号化データを取得するために、M個の第2の特徴値を含む少なくとも1つの処理された第1の特徴マップに対して量子化およびエントロピー符号化を実行する、
ように構成されている。
目標圧縮ビットレートが大きいほど、量子化されたデータの情報エントロピーがより大きくなることを示すことを含む。
目標マッピング関係に基づいて、目標圧縮ビットレートに対応するM個の目標ゲイン値を決定し、目標マッピング関係が、圧縮ビットレートとM個の目標ゲイン値との間の相関関係を示すために使用され、
目標マッピング関係が、複数の圧縮ビットレート、複数のゲインベクトル、および複数の圧縮ビットレートと複数のゲインベクトルとの間の相関関係を含み、目標圧縮ビットレートが、複数の圧縮ビットレートのうちの1つであり、M個の目標ゲイン値が、複数のゲインベクトルのうちの1つの要素であり、または
目標マッピング関係が、目標関数マッピング関係を含み、目標関数関係の入力が目標圧縮ビットレートを含む場合、目標関数関係の出力がM個の目標ゲイン値を含む、
ようにさらに構成されている。
少なくとも1つの第2の特徴マップを取得するために、符号化データに対してエントロピー復号を実行し、少なくとも1つの第2の特徴マップがN個の第3の特徴値を含み、各第3の特徴値が1つの第1の特徴値に対応し、M個の目標逆ゲイン値を取得し、各目標逆ゲイン値が1つの第3の特徴値に対応し、M個の第4の特徴値を取得するために、M個の目標逆ゲイン値に基づいて、対応する第3の特徴値に対してゲイン処理をそれぞれ実行し、第2の画像を取得するために、逆ゲイン処理後に取得された少なくとも1つの第2の特徴マップに対して画像再構成を行い、逆ゲイン処理後に取得された少なくとも1つの第2の特徴マップがM個の第4の特徴値を含む、
ようにさらに構成されている。
符号化データを取得し、
少なくとも1つの第2の特徴マップを取得するために、符号化データに対してエントロピー復号を実行し、少なくとも1つの第2の特徴マップがN個の第3の特徴値を含み、Nが正の整数であり、
M個の目標逆ゲイン値を取得し、各目標逆ゲイン値が1つの第3の特徴値に対応し、MがN以下の正の整数であり、
M個の第4の特徴値を取得するために、M個の目標逆ゲイン値に基づいて、対応する第3の特徴値をそれぞれ処理し、
第2の画像を取得するために、少なくとも1つの処理された第2の特徴マップに対して画像再構成を行い、少なくとも1つの処理された第2の特徴マップがM個の第4の特徴値を含む、
ように構成されている。
目標圧縮ビットレートを取得し、目標マッピング関係に基づいて、目標圧縮ビットレートに対応するM個の目標逆ゲイン値を決定し、目標マッピング関係が、圧縮ビットレートと逆ゲインベクトルとの間の相関関係を示すために使用され、目標マッピング関係が、複数の圧縮ビットレート、複数の逆ゲインベクトル、および複数の圧縮ビットレートと複数の逆ゲインベクトルとの相関関係を含み、目標圧縮ビットレートは、複数の圧縮ビットレートのうちの1つであり、M個の目標逆ゲイン値が、複数の逆ゲインベクトルのうちの1つの要素であり、または目標マッピング関係が、目標関数マッピング関係を含み、目標関数関係の入力が目標圧縮ビットレートを含む場合、目標関数関係の出力がM個の目標逆ゲイン値を含む、ようにさらに構成されている。
第1の画像を取得し、
少なくとも1つの第1の特徴マップを取得するために、符号化ネットワークに基づいて第1の画像に対して特徴抽出を実行し、少なくとも1つの第1の特徴マップがN個の第1の特徴値を含み、Nが正の整数であり、
目標圧縮ビットレートを取得し、目標圧縮ビットレートが、M個の初期ゲイン値およびM個の初期逆ゲイン値に対応し、各初期ゲイン値が1つの第1の特徴値に対応し、各初期逆ゲイン値が1つの第3の特徴値に対応し、MがN以下の正の整数であり、
M個の第2の特徴値を取得するために、M個の初期ゲイン値に基づいて、対応する第1の特徴値をそれぞれ処理し、
符号化データおよびビットレート損失を取得するために、量子化ネットワークおよびエントロピー符号化ネットワークに基づいて、少なくとも1つの処理された第1の特徴マップに対して量子化およびエントロピー符号化を実行し、ゲイン処理後に取得された少なくとも1つの第1の特徴マップがM個の第2の特徴値を含み、
少なくとも1つの第2の特徴マップを取得するために、エントロピー復号ネットワークに基づいて、符号化データに対してエントロピー復号を実行し、少なくとも1つの第2の特徴マップがM個の第3の特徴値を含み、各第3の特徴値が1つの第1の特徴値に対応し、
M個の第4の特徴値を取得するために、M個の初期逆ゲイン値に基づいて、対応する第3の特徴値をそれぞれ処理し、
第2の画像を取得するために、復号ネットワークに基づいて、少なくとも1つの処理された第2の特徴マップに対して画像再構成を行い、少なくとも1つの処理された第2の特徴マップがM個の第4の特徴値を含み、
第1の画像に対する第2の画像の歪み損失を取得し、
第1の画像と第2の画像との間の画像歪み値が第1の予め設定された程度に達するまで、損失関数を使用することによって、第1の符号化/復号ネットワーク、M個の初期ゲイン値、およびM個の初期逆ゲイン値に対して共同訓練を実行し、画像歪み値がビットレート損失および歪み損失に関連し、符号化/復号ネットワークが符号化ネットワーク、量子化ネットワーク、エントロピー符号化ネットワーク、およびエントロピー復号ネットワークを含み、
第2の符号化/復号ネットワーク、M個の目標ゲイン値、およびM個の目標逆ゲイン値を出力し、第2の符号化/復号ネットワークが、第1の符号化/復号ネットワークに対して反復訓練が実行された後に取得されたモデルであり、M個の目標ゲイン値およびM個の目標逆ゲイン値が、M個の初期ゲイン値およびM個の初期逆ゲイン値に対して反復訓練が実行された後に取得される、
ように構成されている。
目標圧縮ビットレートが大きいほど、量子化されたデータの情報エントロピーがより大きくなることを示すことを含む。
201 目標モデル/ルール
210 実行装置
211 計算モジュール
212 I/Oインターフェース
220 訓練装置
230 データベース
240 クライアント装置
250 データ記憶システム
401 第1の画像
402 CNN/層
403 マルチチャネルワイズ特徴マップ
1400 画像処理装置
1401 取得モジュール
1402 特徴抽出モジュール
1403 ゲインモジュール
1404 エントロピー符号化モジュール
1500 画像処理装置
1501 取得モジュール
1502 復号モジュール
1503 逆ゲインモジュール
1504 再構成モジュール
1600 画像処理装置
1601 取得モジュール
1602 特徴抽出モジュール
1603 ゲインモジュール
1604 エントロピー符号化モジュール
1605 復号モジュール
1606 逆ゲインモジュール
1607 再構成モジュール
1608 訓練モジュール
1609 出力モジュール
1700 実行装置
1701 受信機
1702 送信機
1703 プロセッサ
1704 メモリ
1800 訓練装置
1822 中央処理装置
1826 電源
1830 記憶媒体
1832 メモリ
1841 オペレーティングシステム
1842 アプリケーション
1844 データ
1850 無線ネットワークインターフェース
1858 出力インターフェース
2000 ニューラルネットワーク処理ユニット(NPU)
2001 入力メモリ
2002 重みメモリ
2003 演算回路
2004 コントローラ
2005 ダイレクトメモリアクセスコントローラ
2006 統合メモリ
2007 ベクトル計算ユニット
2008 アキュムレータ
2009 命令フェッチバッファ
2010 バスインターフェースユニット
17031 アプリケーションプロセッサ
17032 通信プロセッサ
Claims (33)
- 画像処理方法であって、
第1の画像を取得するステップと、
少なくとも1つの第1の特徴マップを取得するために、前記第1の画像に対して特徴抽出を実行するステップであって、前記少なくとも1つの第1の特徴マップがN個の第1の特徴値を含み、Nが正の整数である、ステップと、
目標圧縮ビットレートを取得するステップであって、前記目標圧縮ビットレートがM個の目標ゲイン値に対応し、各目標ゲイン値が1つの第1の特徴値に対応し、MがN以下の正の整数である、ステップと、
M個の第2の特徴値を取得するために、前記M個の目標ゲイン値に基づいて、対応する第1の特徴値をそれぞれ処理するステップと、
符号化データを取得するために、少なくとも1つの処理された第1の特徴マップに対して量子化およびエントロピー符号化を実行するステップであって、前記少なくとも1つの処理された第1の特徴マップが前記M個の第2の特徴値を含む、ステップと
を含む、画像処理方法。 - 前記少なくとも1つの処理された第1の特徴マップを量子化することによって取得された量子化データの情報エントロピーが予め設定された条件を満たし、前記予め設定された条件が前記目標圧縮ビットレートに関連する、請求項1に記載の方法。
- 前記予め設定された条件が、少なくとも、
目標圧縮ビットレートが大きいほど、前記量子化データの情報エントロピーがより大きくなることを示す、請求項2に記載の方法。 - 前記符号化データに対応する圧縮ビットレートと前記目標圧縮ビットレートとの差が、予め設定された範囲内に入る、請求項1から3のいずれか一項に記載の方法。
- 前記M個の第2の特徴値が、前記M個の目標ゲイン値と、前記対応する第1の特徴値に対して個々に乗算演算を実行することによって取得される、請求項1から4のいずれか一項に記載の方法。
- 前記少なくとも1つの第1の特徴マップが第1の目標特徴マップを含み、前記第1の目標特徴マップがP個の第1の特徴値を含み、前記P個の第1の特徴値のすべてが同じ目標ゲイン値に対応し、PがM以下の正の整数である、請求項1から5のいずれか一項に記載の方法。
- 前記方法が、
目標マッピング関係に基づいて、前記目標圧縮ビットレートに対応する前記M個の目標ゲイン値を決定するステップであって、前記目標マッピング関係が、圧縮ビットレートとM個の目標ゲイン値との間の相関関係を示すために使用される、ステップをさらに含み、
前記目標マッピング関係が、複数の圧縮ビットレート、複数のゲインベクトル、および前記複数の圧縮ビットレートと前記複数のゲインベクトルとの間の相関関係を含み、前記目標圧縮ビットレートが、前記複数の圧縮ビットレートのうちの1つであり、前記M個の目標ゲイン値が、前記複数のゲインベクトルのうちの1つの要素であり、または
前記目標マッピング関係が、目標関数マッピング関係を含み、前記目標関数関係の入力が前記目標圧縮ビットレートを含む場合、前記目標関数関係の出力が前記M個の目標ゲイン値を含む、
請求項1から6のいずれか一項に記載の方法。 - 前記目標圧縮ビットレートが、第1の圧縮ビットレートよりも大きく、第2の圧縮ビットレートよりも小さく、前記第1の圧縮ビットレートが、M個の第1のゲイン値に対応し、前記第2の圧縮ビットレートが、M個の第2のゲイン値に対応し、前記M個の目標ゲイン値が、前記M個の第1のゲイン値および前記M個の第2のゲイン値に対して補間演算を実行することによって取得される、請求項1から7のいずれか一項に記載の方法。
- 前記第1の画像が目標オブジェクトを含み、前記M個の第1の特徴値が、前記少なくとも1つの特徴マップ内の、前記目標オブジェクトに対応する特徴値である、請求項1から8のいずれか一項に記載の方法。
- 前記M個の目標ゲイン値のそれぞれが、1つの逆ゲイン値に対応し、前記逆ゲイン値が、前記符号化データの復号プロセスにおいて取得される特徴値を処理するために使用され、前記M個の目標ゲイン値のそれぞれと、前記対応する逆ゲイン値との積が、予め設定された範囲内に入る、請求項1から9のいずれか一項に記載の方法。
- 画像処理方法であって、
符号化データを取得するステップと、
少なくとも1つの第2の特徴マップを取得するために、前記符号化データに対してエントロピー復号を行うステップであって、前記少なくとも1つの第2の特徴マップが、N個の第3の特徴値を含み、Nが正の整数である、ステップと、
M個の目標逆ゲイン値を取得するステップであって、各目標逆ゲイン値が1つの第3の特徴値に対応し、MがN以下の正の整数である、ステップと、
M個の第4の特徴値を取得するために、前記M個の目標逆ゲイン値に基づいて、対応する第3の特徴値をそれぞれ処理するステップと、
第2の画像を取得するために、少なくとも1つの処理された第2の特徴マップに対して画像再構成を行うステップであって、前記少なくとも1つの処理された第2の特徴マップが、前記M個の第4の特徴値を含む、ステップと
を含む、画像処理方法。 - 前記M個の第4の特徴値が、前記M個の目標逆ゲイン値と、前記対応する第3の特徴値に対して個々に乗算演算を実行することによって取得される、請求項11に記載の方法。
- 前記少なくとも1つの第2の特徴マップが第2の目標特徴マップを含み、前記第2の目標特徴マップがP個の第3の特徴値を含み、前記P個の第3の特徴値のすべてが同じ目標逆ゲイン値に対応し、PがM以下の正の整数である、請求項11または12に記載の方法。
- 前記方法が、
目標圧縮ビットレートを取得するステップと、
目標マッピング関係に基づいて、前記目標圧縮ビットレートに対応する前記M個の目標逆ゲイン値を決定するステップであって、前記目標マッピング関係が、圧縮ビットレートと逆ゲインベクトルとの間の相関関係を示すために使用される、ステップをさらに含み
前記目標マッピング関係が、複数の圧縮ビットレート、複数の逆ゲインベクトル、および前記複数の圧縮ビットレートと前記複数の逆ゲインベクトルとの間の相関関係を含み、前記目標圧縮ビットレートが、前記複数の圧縮ビットレートのうちの1つであり、前記M個の目標逆ゲイン値が、前記複数の逆ゲインベクトルのうちの1つの要素であり、または
前記目標マッピング関係が、目標関数マッピング関係を含み、前記目標関数関係の入力が前記目標圧縮ビットレートを含む場合、前記目標関数関係の出力が前記M個の目標逆ゲイン値を含む、
請求項11から13のいずれか一項に記載の方法。 - 前記第2の画像が目標オブジェクトを含み、前記M個の第3の特徴値が、前記少なくとも1つの特徴マップ内の、前記目標オブジェクトに対応する特徴値である、請求項11から14のいずれか一項に記載の方法。
- 前記目標圧縮ビットレートが、第1の圧縮ビットレートよりも大きく、第2の圧縮ビットレートよりも小さく、前記第1の圧縮ビットレートが、M個の第1の逆ゲイン値に対応し、前記第2の圧縮ビットレートが、M個の第2の逆ゲイン値に対応し、前記M個の目標逆ゲイン値が、前記M個の第1の逆ゲイン値および前記M個の第2の逆ゲイン値に対して補間演算を実行することによって取得される、請求項11から15のいずれか一項に記載の方法。
- 画像処理装置であって、
第1の画像を取得するように構成された取得モジュールと、
少なくとも1つの第1の特徴マップを取得するために、前記第1の画像に対して特徴抽出を実行し、前記少なくとも1つの第1の特徴マップがN個の第1の特徴値を含み、Nが正の整数である、ように構成された特徴抽出モジュールを備え、
前記取得モジュールが、目標圧縮ビットレートを取得するようにさらに構成され、前記目標圧縮ビットレートがM個の目標ゲイン値に対応し、各目標ゲイン値が1つの第1の特徴値に対応し、MがN以下の正の整数であり、
M個の第2の特徴値を取得するために、前記M個の目標ゲイン値に基づいて、対応する第1の特徴値をそれぞれ処理するように構成されたゲインモジュールと、
符号化データを取得するために、少なくとも1つの処理された第1の特徴マップに対して量子化およびエントロピー符号化を実行し、前記少なくとも1つの処理された第1の特徴マップが前記M個の第2の特徴値を含む、ように構成された量子化およびエントロピー符号化モジュールと
を備える、画像処理装置。 - 前記少なくとも1つの処理された第1の特徴マップを量子化することによって取得された量子化データの情報エントロピーが予め設定された条件を満たし、前記予め設定された条件が前記目標圧縮ビットレートに関連する、請求項17に記載の装置。
- 前記予め設定された条件が、少なくとも、
目標圧縮ビットレートが大きいほど、前記量子化データの情報エントロピーがより大きくなることを示す、請求項18に記載の装置。 - 前記符号化データに対応する圧縮ビットレートと前記目標圧縮ビットレートとの差が、予め設定された範囲内に入る、請求項17から19のいずれか一項に記載の装置。
- 前記M個の第2の特徴値が、前記M個の目標ゲイン値と、前記対応する第1の特徴値に対して個々に乗算演算を実行することによって取得される、請求項17から20のいずれか一項に記載の装置。
- 前記少なくとも1つの第1の特徴マップが第1の目標特徴マップを含み、前記第1の目標特徴マップがP個の第1の特徴値を含み、前記P個の第1の特徴値のすべてが同じ目標ゲイン値に対応し、PがM以下の正の整数である、請求項17から21のいずれか一項に記載の装置。
- 前記装置が、
目標マッピング関係に基づいて、前記目標圧縮ビットレートに対応する前記M個の目標ゲイン値を決定し、前記目標マッピング関係が、圧縮ビットレートとM個の目標ゲイン値との間の相関関係を示すために使用される、決定モジュールをさらに備え、
前記目標マッピング関係が、複数の圧縮ビットレート、複数のゲインベクトル、および前記複数の圧縮ビットレートと前記複数のゲインベクトルとの間の相関関係を含み、前記目標圧縮ビットレートが、前記複数の圧縮ビットレートのうちの1つであり、前記M個の目標ゲイン値が、前記複数のゲインベクトルのうちの1つの要素であり、または
前記目標マッピング関係が、目標関数マッピング関係を含み、前記目標関数関係の入力が前記目標圧縮ビットレートを含む場合、前記目標関数関係の出力が前記M個の目標ゲイン値を含む、
請求項17から22のいずれか一項に記載の装置。 - 前記目標圧縮ビットレートが、第1の圧縮ビットレートよりも大きく、第2の圧縮ビットレートよりも小さく、前記第1の圧縮ビットレートが、M個の第1のゲイン値に対応し、前記第2の圧縮ビットレートが、M個の第2のゲイン値に対応し、前記M個の目標ゲイン値が、前記M個の第1のゲイン値および前記M個の第2のゲイン値に対して補間演算を実行することによって取得される、請求項17から23のいずれか一項に記載の装置。
- 前記第1の画像が目標オブジェクトを含み、前記M個の第1の特徴値が、前記少なくとも1つの特徴マップ内の、前記目標オブジェクトに対応する特徴値である、請求項17から24のいずれか一項に記載の装置。
- 前記M個の目標ゲイン値のそれぞれが、1つの逆ゲイン値に対応し、前記逆ゲイン値が、前記符号化データの復号プロセスにおいて取得される特徴値を処理するために使用され、前記M個の目標ゲイン値のそれぞれと、前記対応する逆ゲイン値との積が、予め設定された範囲内に入る、請求項17から25のいずれか一項に記載の装置。
- 画像処理装置であって、
符号化データを取得するように構成された取得モジュールと、
少なくとも1つの第2の特徴マップを取得するために、前記符号化データに対してエントロピー復号を実行し、前記少なくとも1つの第2の特徴マップがN個の第3の特徴値を含み、Nが正の整数である、ように構成された復号モジュールを備え、
前記取得モジュールがM個の目標逆ゲイン値を取得するようにさらに構成され、各目標逆ゲイン値が1つの第3の特徴値に対応し、MがN以下の正の整数であり、
M個の第4の特徴値を取得するために、前記M個の目標逆ゲイン値に基づいて、対応する第3の特徴値をそれぞれ処理するように構成された逆ゲインモジュールと、
第2の画像を取得するために、少なくとも1つの処理された第2の特徴マップに対して画像再構成を行い、前記少なくとも1つの処理された第2の特徴マップが前記M個の第4の特徴値を含む、ように構成された再構成モジュールと
を備える、画像処理装置。 - 前記M個の第4の特徴値が、前記M個の目標逆ゲイン値と、前記対応する第3の特徴値に対して個々に乗算演算を実行することによって取得される、請求項27に記載の装置。
- 前記少なくとも1つの第2の特徴マップが第2の目標特徴マップを含み、前記第2の目標特徴マップがP個の第3の特徴値を含み、前記P個の第3の特徴値のすべてが同じ目標逆ゲイン値に対応し、PがM以下の正の整数である、請求項27または28に記載の装置。
- 前記取得モジュールが目標圧縮ビットレートを取得するようにさらに構成され、
前記装置が、
目標マッピング関係に基づいて、前記目標圧縮ビットレートに対応する前記M個の目標逆ゲイン値を決定し、前記目標マッピング関係が、圧縮ビットレートと逆ゲインベクトルとの間の相関関係を示すために使用される、決定モジュールをさらに備え、
前記目標マッピング関係が、複数の圧縮ビットレート、複数の逆ゲインベクトル、および前記複数の圧縮ビットレートと前記複数の逆ゲインベクトルとの間の相関関係を含み、前記目標圧縮ビットレートが、前記複数の圧縮ビットレートのうちの1つであり、前記M個の目標逆ゲイン値が、前記複数の逆ゲインベクトルのうちの1つの要素であり、または
前記目標マッピング関係が、目標関数マッピング関係を含み、前記目標関数関係の入力が前記目標圧縮ビットレートを含む場合、前記目標関数関係の出力が前記M個の目標逆ゲイン値を含む、
請求項27から29のいずれか一項に記載の装置。 - 前記第2の画像が目標オブジェクトを含み、前記M個の第3の特徴値が、前記少なくとも1つの特徴マップ内の、前記目標オブジェクトに対応する特徴値である、請求項27から30のいずれか一項に記載の装置。
- 前記目標圧縮ビットレートが、第1の圧縮ビットレートよりも大きく、第2の圧縮ビットレートよりも小さく、前記第1の圧縮ビットレートが、M個の第1の逆ゲイン値に対応し、前記第2の圧縮ビットレートが、M個の第2の逆ゲイン値に対応し、前記M個の目標逆ゲイン値が、前記M個の第1の逆ゲイン値および前記M個の第2の逆ゲイン値に対して補間演算を実行することによって取得される、請求項27から31のいずれか一項に記載の装置。
- 互いに結合された不揮発性メモリおよびプロセッサを備える画像処理装置であって、前記プロセッサが請求項1から16のいずれか一項に記載の方法を実行するために、前記メモリに記憶されたプログラムコードを呼び出す、画像処理装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010082808.4A CN113259665B (zh) | 2020-02-07 | 2020-02-07 | 一种图像处理方法以及相关设备 |
CN202010082808.4 | 2020-02-07 | ||
PCT/CN2021/075405 WO2021155832A1 (zh) | 2020-02-07 | 2021-02-05 | 一种图像处理方法以及相关设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023512570A true JP2023512570A (ja) | 2023-03-27 |
Family
ID=77200542
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022548020A Pending JP2023512570A (ja) | 2020-02-07 | 2021-02-05 | 画像処理方法および関連装置 |
Country Status (10)
Country | Link |
---|---|
US (1) | US20220375133A1 (ja) |
EP (1) | EP4090022A4 (ja) |
JP (1) | JP2023512570A (ja) |
KR (1) | KR20220137076A (ja) |
CN (2) | CN113259665B (ja) |
AU (1) | AU2021215764A1 (ja) |
BR (1) | BR112022015510A2 (ja) |
CA (1) | CA3167227A1 (ja) |
MX (1) | MX2022009686A (ja) |
WO (1) | WO2021155832A1 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111988629B (zh) | 2019-05-22 | 2024-02-09 | 富士通株式会社 | 图像编码装置和图像解码装置 |
CN113840145B (zh) * | 2021-09-23 | 2023-06-09 | 鹏城实验室 | 一种面向人眼观看和视觉分析联合优化的图像压缩方法 |
CN115913245A (zh) * | 2021-09-30 | 2023-04-04 | 华为技术有限公司 | 数据编码方法、数据解码方法以及数据处理装置 |
CN114051082B (zh) * | 2021-10-19 | 2023-10-27 | 河南师范大学 | 基于失真度和信息增益比的隐写检测特征选取方法及装置 |
CN113822955B (zh) * | 2021-11-18 | 2022-02-22 | 腾讯医疗健康(深圳)有限公司 | 图像数据处理方法、装置、计算机设备及存储介质 |
CN116778003A (zh) * | 2022-03-10 | 2023-09-19 | 华为技术有限公司 | 一种特征图编码、特征图解码方法及装置 |
CN114630125B (zh) * | 2022-03-23 | 2023-10-27 | 徐州百事利电动车业有限公司 | 基于人工智能与大数据的车辆图像压缩方法与*** |
CN114944945A (zh) * | 2022-05-09 | 2022-08-26 | 江苏易安联网络技术有限公司 | 一种基于变分自编码器和属性的动态访问控制方法 |
CN118250463A (zh) * | 2022-12-23 | 2024-06-25 | 维沃移动通信有限公司 | 图像处理方法、装置及设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200027247A1 (en) * | 2018-07-20 | 2020-01-23 | Google Llc | Data compression using conditional entropy models |
JP2021535689A (ja) * | 2019-05-24 | 2021-12-16 | ネクストヴイピーユー(シャンハイ)カンパニー リミテッドNextvpu(Shanghai)Co., Ltd. | ディープ・ニューラル・ネットワークのための圧縮方法、チップ、電子デバイス、および媒体 |
US20220224926A1 (en) * | 2021-01-12 | 2022-07-14 | Qualcomm Incorporated | Variable bit rate compression using neural network models |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103903271B (zh) * | 2014-04-11 | 2017-01-18 | 北京航空航天大学 | 一种针对自然图像和基于dwt压缩篡改图像的图像的取证方法 |
ITUB20153912A1 (it) * | 2015-09-25 | 2017-03-25 | Sisvel Tech S R L | Metodi e apparati per codificare e decodificare immagini digitali mediante superpixel |
US10721471B2 (en) * | 2017-10-26 | 2020-07-21 | Intel Corporation | Deep learning based quantization parameter estimation for video encoding |
CN109996066A (zh) * | 2017-12-29 | 2019-07-09 | 富士通株式会社 | 图像编码装置,图像解码装置和电子设备 |
CN110225342B (zh) * | 2019-04-10 | 2021-03-09 | 中国科学技术大学 | 基于语义失真度量的视频编码的比特分配***及方法 |
CN110222717B (zh) * | 2019-05-09 | 2022-01-14 | 华为技术有限公司 | 图像处理方法和装置 |
CN110222758B (zh) * | 2019-05-31 | 2024-04-23 | 腾讯科技(深圳)有限公司 | 一种图像处理方法、装置、设备及存储介质 |
WO2022155245A1 (en) * | 2021-01-12 | 2022-07-21 | Qualcomm Incorporated | Variable bit rate compression using neural network models |
-
2020
- 2020-02-07 CN CN202010082808.4A patent/CN113259665B/zh active Active
-
2021
- 2021-02-05 WO PCT/CN2021/075405 patent/WO2021155832A1/zh unknown
- 2021-02-05 EP EP21751079.1A patent/EP4090022A4/en active Pending
- 2021-02-05 KR KR1020227030515A patent/KR20220137076A/ko active Search and Examination
- 2021-02-05 AU AU2021215764A patent/AU2021215764A1/en active Pending
- 2021-02-05 JP JP2022548020A patent/JP2023512570A/ja active Pending
- 2021-02-05 CA CA3167227A patent/CA3167227A1/en active Pending
- 2021-02-05 BR BR112022015510A patent/BR112022015510A2/pt unknown
- 2021-02-05 CN CN202180013213.6A patent/CN115088257A/zh active Pending
- 2021-02-05 MX MX2022009686A patent/MX2022009686A/es unknown
-
2022
- 2022-08-04 US US17/881,432 patent/US20220375133A1/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200027247A1 (en) * | 2018-07-20 | 2020-01-23 | Google Llc | Data compression using conditional entropy models |
JP2021535689A (ja) * | 2019-05-24 | 2021-12-16 | ネクストヴイピーユー(シャンハイ)カンパニー リミテッドNextvpu(Shanghai)Co., Ltd. | ディープ・ニューラル・ネットワークのための圧縮方法、チップ、電子デバイス、および媒体 |
US20220224926A1 (en) * | 2021-01-12 | 2022-07-14 | Qualcomm Incorporated | Variable bit rate compression using neural network models |
Non-Patent Citations (1)
Title |
---|
"Neural Image Compression via Non-Local Attention Optimization and Improved Context Modeling", ARXRIV.ORG, JPN7023003381, 11 October 2019 (2019-10-11), ISSN: 0005142918 * |
Also Published As
Publication number | Publication date |
---|---|
KR20220137076A (ko) | 2022-10-11 |
CA3167227A1 (en) | 2021-08-12 |
BR112022015510A2 (pt) | 2022-09-27 |
CN113259665A (zh) | 2021-08-13 |
WO2021155832A1 (zh) | 2021-08-12 |
CN113259665B (zh) | 2022-08-09 |
EP4090022A1 (en) | 2022-11-16 |
EP4090022A4 (en) | 2023-06-07 |
CN115088257A (zh) | 2022-09-20 |
US20220375133A1 (en) | 2022-11-24 |
AU2021215764A1 (en) | 2022-09-15 |
MX2022009686A (es) | 2022-11-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2023512570A (ja) | 画像処理方法および関連装置 | |
US11729406B2 (en) | Video compression using deep generative models | |
US20210125070A1 (en) | Generating a compressed representation of a neural network with proficient inference speed and power consumption | |
WO2022021938A1 (zh) | 图像处理方法与装置、神经网络训练的方法与装置 | |
WO2022179588A1 (zh) | 一种数据编码方法以及相关设备 | |
CN112887728A (zh) | 电子装置、电子装置的控制方法以及*** | |
CN114766035A (zh) | 频域数据的预处理和数据增强 | |
WO2022028197A1 (zh) | 一种图像处理方法及其设备 | |
WO2023207836A1 (zh) | 一种图像编码方法、图像解压方法以及装置 | |
CN111950700A (zh) | 一种神经网络的优化方法及相关设备 | |
WO2022022176A1 (zh) | 一种图像处理方法以及相关设备 | |
US20240078414A1 (en) | Parallelized context modelling using information shared between patches | |
WO2022001364A1 (zh) | 一种提取数据特征的方法和相关装置 | |
CN115409697A (zh) | 一种图像处理方法及相关装置 | |
US11403782B2 (en) | Static channel filtering in frequency domain | |
WO2023174256A1 (zh) | 一种数据压缩方法以及相关设备 | |
TWI826160B (zh) | 圖像編解碼方法和裝置 | |
WO2022100140A1 (zh) | 一种压缩编码、解压缩方法以及装置 | |
CN113554719B (zh) | 一种图像编码方法、解码方法、存储介质及终端设备 | |
WO2021189321A1 (zh) | 一种图像处理方法和装置 | |
CN114693811A (zh) | 一种图像处理方法以及相关设备 | |
WO2024032075A1 (zh) | 图像处理网络的训练、编解码方法及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220915 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220915 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230721 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230904 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20231201 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240304 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240430 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240723 |