JP2021170728A - Device, image processor, imaging device, mobile body, program, and method - Google Patents
Device, image processor, imaging device, mobile body, program, and method Download PDFInfo
- Publication number
- JP2021170728A JP2021170728A JP2020073149A JP2020073149A JP2021170728A JP 2021170728 A JP2021170728 A JP 2021170728A JP 2020073149 A JP2020073149 A JP 2020073149A JP 2020073149 A JP2020073149 A JP 2020073149A JP 2021170728 A JP2021170728 A JP 2021170728A
- Authority
- JP
- Japan
- Prior art keywords
- image
- spatial frequency
- trained neural
- frequency components
- coded data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000003384 imaging method Methods 0.000 title claims abstract description 21
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 58
- 230000008569 process Effects 0.000 claims abstract description 31
- 238000012545 processing Methods 0.000 claims abstract description 31
- 238000013528 artificial neural network Methods 0.000 claims description 81
- 238000013139 quantization Methods 0.000 claims description 55
- 238000012549 training Methods 0.000 claims description 12
- 239000000470 constituent Substances 0.000 claims description 11
- 238000010801 machine learning Methods 0.000 claims description 10
- 230000015556 catabolic process Effects 0.000 abstract 1
- 238000006731 degradation reaction Methods 0.000 abstract 1
- 230000015654 memory Effects 0.000 description 40
- 238000006243 chemical reaction Methods 0.000 description 16
- 230000033001 locomotion Effects 0.000 description 12
- 230000006835 compression Effects 0.000 description 10
- 238000007906 compression Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 230000001174 ascending effect Effects 0.000 description 4
- 230000006866 deterioration Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
本発明は、装置、画像処理装置、撮像装置、移動体、プログラム及び方法に関する。 The present invention relates to an apparatus, an image processing apparatus, an imaging apparatus, a moving body, a program and a method.
非特許文献1及び2には、動画像の符号化装置において、動き予測ループ内に機械学習によるフィルタを挿入した構成が記載されている。非特許文献3には、H.265(ISO/IEC 23008−2 HEVC)における画像符号化・復号化技術が記載されている。
[先行技術文献]
[特許文献]
[非特許文献1]Lulu Zhou, Xiaodan Song, Jiabao Yao, Li Wang, Fangdong Chen, "JVET−I0022: Convolutional neural network filter (CNNF) for intra frame", Joint Video Exploration Team (JVET) 9th Meeting: Gwangju, Korea, 2018年1月
[非特許文献2]Jiabao Yao, Xiaodan Song, Shuqing Fang, Li Wang, "AHG9: Convolutional Neural Network Filter for inter frame", ISO/IEC JTC1/SC29 WG11, JVET−K0222, 2018年7月
[非特許文献3]Gary J. Sullivan, Jens−Rainer Ohm, Woo−Jin Han, and Thomas Wiegand, "Overview of the High Efficiency Video Coding. (HEVC) Standard", IEEE Transactions on Circuits and Systems for Video Technology, 2012年12月
Non-Patent Documents 1 and 2 describe a configuration in which a filter by machine learning is inserted in a motion prediction loop in a moving image encoding device. Non-Patent Document 3 describes H. The image coding / decoding technique in 265 (ISO / IEC 23008-2 HEVC) is described.
[Prior art literature]
[Patent Document]
[Non-Patent Document 1] Lulu Zhou, Xiaodan Song, Jiabao Yao, Li Wang, Fangdong Chen, "JVET-I0022: Convolutional neural network Video filter (CNNF) for Korea, January 2018 [Non-Patent Document 2] Jiabao Yao, Xiaodan Song, Shuqing Fang, Li Wang, "AHG9: Convolutional Neural Network, Network, Network, 20S July [Non-Patent Document 3] Gary J. Sullivan, Jens-Rainer Ohm, Woo-Jin Han, and Thomas Wiegand, "Overview of the High Efficiency Video Coding. (HEVC) Standard", IEEE Transactions on Circuits and Systems for Video Technology, 12 May 2012
本発明の第1の形態に係る装置は、符号化された画像の空間周波数成分のうち大きさが予め定められた値を超える空間周波数成分の量に対応づけて、復号化された画像を処理するための複数の学習済みニューラルネットワークを記憶するように構成される回路を備える。回路は、画像の符号化により生成された符号化データを取得するように構成される。回路は、符号化データから、符号化された画像の複数の空間周波数成分を取得するように構成される。符号化データを復号化することにより、復号化画像を生成するように構成される。回路は、符号化データから取得した複数の空間周波数成分のうち大きさが予め定められた値を超える空間周波数成分の量を取得する。回路は、複数の学習済みニューラルネットワークのうち取得した空間周波数成分の量に対応づけられた学習済みニューラルネットワークを選択するように構成される。回路は、選択した学習済みニューラルネットワークを用いて、生成した復号化画像を処理するように構成される。 The apparatus according to the first aspect of the present invention processes a decoded image in association with the amount of spatial frequency components whose size exceeds a predetermined value among the spatial frequency components of the encoded image. It comprises a circuit configured to store a plurality of trained neural networks for the purpose. The circuit is configured to acquire the coded data generated by the coding of the image. The circuit is configured to obtain multiple spatial frequency components of the coded image from the coded data. It is configured to generate a decoded image by decoding the coded data. The circuit acquires the amount of spatial frequency components whose magnitude exceeds a predetermined value among the plurality of spatial frequency components acquired from the coded data. The circuit is configured to select a trained neural network associated with the amount of acquired spatial frequency components from a plurality of trained neural networks. The circuit is configured to process the generated decoded image using the trained neural network of choice.
回路は、符号化された画像の空間周波数成分のうち大きさが予め定められた値を超える空間周波数成分の割合に対応づけて、複数の学習済みニューラルネットワークを記憶するように構成されてよい。回路は、符号化データから取得した複数の空間周波数成分のうち大きさが予め定められた値を超える空間周波数成分の割合を取得するように構成されてよい。回路は、複数の学習済みニューラルネットワークのうち取得した空間周波数成分の割合に対応づけられた学習済みニューラルネットワークを選択するように構成されてよい。 The circuit may be configured to store a plurality of trained neural networks in association with the proportion of spatial frequency components of the encoded image whose magnitude exceeds a predetermined value. The circuit may be configured to acquire the proportion of spatial frequency components whose magnitude exceeds a predetermined value among the plurality of spatial frequency components acquired from the coded data. The circuit may be configured to select a trained neural network associated with the percentage of acquired spatial frequency components among the plurality of trained neural networks.
予め定められた値はゼロであってよい。 The predetermined value may be zero.
画像は、動画を構成する動画構成画像であってよい。符号化データは、動画構成画像のインター予測又はイントラ予測によって得られた複数の空間周波数成分の予測差分値の量子化によって得られた複数の量子化差分値を示す情報を含んでよい。回路は、複数の量子化差分値のうち大きさが予め定められた値を超える量子化差分値の量に対応づけて、複数の学習済みニューラルネットワークを記憶するように構成されてよい。回路は、符号化データから取得した複数の量子化差分値のうち大きさが予め定められた値を超える量子化差分値の量を取得するように構成されてよい。回路は、複数の学習済みニューラルネットワークのうち取得した空間周波数成分の量子化差分値の量に対応づけられた学習済みニューラルネットワークを選択するように構成されてよい。回路は、符号化データから取得した複数の量子化差分値の逆量子化によって得られた空間周波数成分の予測差分値に基づいて差分画像を生成し、生成した差分画像にインター予測画像又はイントラ予測画像を加算することにより、復号化された動画構成画像を生成するように構成されてよい。回路は、選択した学習済みニューラルネットワークを用いて、生成した動画構成画像を処理するように構成されてよい。 The image may be a moving image constituting a moving image. The coded data may include information indicating a plurality of quantization difference values obtained by quantization of the prediction difference values of the plurality of spatial frequency components obtained by inter-prediction or intra-prediction of the moving image constituent image. The circuit may be configured to store a plurality of trained neural networks in association with the amount of quantization difference values whose magnitude exceeds a predetermined value among the plurality of quantization difference values. The circuit may be configured to acquire the amount of the quantization difference value whose magnitude exceeds a predetermined value among the plurality of quantization difference values acquired from the coded data. The circuit may be configured to select a trained neural network associated with the amount of quantization difference values of the acquired spatial frequency components from a plurality of trained neural networks. The circuit generates a difference image based on the predicted difference value of the spatial frequency component obtained by inverse quantization of a plurality of quantization difference values obtained from the coded data, and the generated difference image is used as an inter-predicted image or an intra-predicted image. It may be configured to generate a decoded moving image configuration image by adding the images. The circuit may be configured to process the generated moving image construct using the trained neural network of choice.
画像は、動画を構成する動画構成画像であってよい。回路は、動画構成画像のピクチャ種別にさらに対応づけて、複数の学習済みニューラルネットワークを記憶するように構成されてよい。回路は、複数の学習済みニューラルネットワークのうち、符号化データのピクチャ種別と取得した空間周波数成分の量とに対応づけられた学習済みニューラルネットワークを選択するように構成されてよい。 The image may be a moving image constituting a moving image. The circuit may be configured to store a plurality of trained neural networks in association with the picture type of the moving image. The circuit may be configured to select a trained neural network associated with a picture type of encoded data and an amount of acquired spatial frequency components from a plurality of trained neural networks.
学習済みニューラルネットワークは、学習用画像と学習用画像の符号化データとを学習データとして用いて、学習データに含まれる符号化データから取得された複数の空間周波数成分のうち大きさが予め定められた値を超える空間周波数成分の量に応じて機械学習を行うことによって得られた畳み込みニューラルネットワークであってよい。 The trained neural network uses the training image and the coded data of the training image as training data, and the size of a plurality of spatial frequency components acquired from the coded data included in the training data is predetermined. It may be a convolutional neural network obtained by performing machine learning according to the amount of spatial frequency components exceeding the value.
本発明の第2の態様に係る装置は、符号化された画像の空間周波数成分のうち大きさが予め定められた値を超える空間周波数成分の量に対応づけて、復号化された画像を処理するための複数の学習済みニューラルネットワークを記憶するよう構成された回路を備える。回路は、符号化対象画像をインター予測又はイントラ予測を含む符号化処理で符号化することによって、複数の空間周波数成分の予測差分値を示す情報を含む符号化データを生成するよう構成される。回路は、符号化データを出力するよう構成される。回路は、符号化データを復号化することによって復号化画像を生成するよう構成される。回路は、複数の学習済みニューラルネットワークのうち複数の空間周波数成分の予測差分値のうち大きさが予め定められた値を超える空間周波数成分の予測差分値の量に対応づけられた学習済みニューラルネットワークを選択するよう構成される。回路は、選択した学習済みニューラルネットワークを用いて、生成した復号化画像を処理することによって、インター予測又はイントラ予測に用いられる参照用画像を生成するよう構成される。 The apparatus according to the second aspect of the present invention processes the decoded image in association with the amount of the spatial frequency component of the encoded image whose size exceeds a predetermined value. It comprises a circuit configured to store a plurality of trained neural networks for the purpose. The circuit is configured to generate coded data including information indicating predicted difference values of a plurality of spatial frequency components by coding the image to be coded by a coding process including inter-prediction or intra-prediction. The circuit is configured to output coded data. The circuit is configured to generate a decoded image by decoding the coded data. The circuit is a trained neural network in which the magnitude of the predicted difference value of a plurality of spatial frequency components in a plurality of trained neural networks exceeds a predetermined value and is associated with the amount of the predicted difference value of the spatial frequency component. Is configured to select. The circuit is configured to generate a reference image used for inter-prediction or intra-prediction by processing the generated decoded image using a selected trained neural network.
本発明の第3の態様に係る画像処理装置は、第1の態様に係る装置と、第2の態様に係る装置とを備える。 The image processing apparatus according to the third aspect of the present invention includes an apparatus according to the first aspect and an apparatus according to the second aspect.
本発明の第4の態様に係る撮像装置は、上記の装置と、画像を生成するイメージセンサとを備える。 The image pickup apparatus according to the fourth aspect of the present invention includes the above-mentioned apparatus and an image sensor for generating an image.
本発明の第5の態様に係る移動体は、上記の撮像装置を備えて移動する。 The moving body according to the fifth aspect of the present invention moves with the above-mentioned imaging device.
移動体は、無人航空機であってよい。 The moving body may be an unmanned aerial vehicle.
本発明の第6の態様に係るプログラムは、コンピュータを上記の装置として機能させる。プログラムは、非一時的記録媒体に記録されてよい。 The program according to the sixth aspect of the present invention causes the computer to function as the above-mentioned device. The program may be recorded on a non-temporary recording medium.
本発明の第7の態様に係る方法は、符号化された画像の空間周波数成分のうち大きさが予め定められた値を超える空間周波数成分の量に対応づけて、復号化された画像を処理するための複数の学習済みニューラルネットワークを記憶する段階を備える。方法は、画像の符号化により生成された符号化データを取得する段階を備える。方法は、符号化データから、符号化された画像の複数の空間周波数成分を取得する段階を備える。方法は、符号化データを復号化することにより、復号化画像を生成する段階を備える。方法は、符号化データから取得した複数の空間周波数成分のうち大きさが予め定められた値を超える空間周波数成分の量を取得する段階を備える。方法は、複数の学習済みニューラルネットワークのうち取得した空間周波数成分の量に対応づけられた学習済みニューラルネットワークを選択する段階を備える。方法は、選択した学習済みニューラルネットワークを用いて、生成した復号化画像を処理する段階を備える。 The method according to a seventh aspect of the present invention processes a decoded image in association with the amount of spatial frequency components whose size exceeds a predetermined value among the spatial frequency components of the encoded image. It is provided with a stage of storing a plurality of trained neural networks to be used. The method comprises the step of acquiring the coded data generated by the coding of the image. The method comprises the step of acquiring a plurality of spatial frequency components of a coded image from the coded data. The method comprises the step of generating a decoded image by decoding the encoded data. The method comprises a step of acquiring the amount of spatial frequency components whose magnitude exceeds a predetermined value among the plurality of spatial frequency components acquired from the coded data. The method comprises selecting a trained neural network associated with the amount of acquired spatial frequency components from a plurality of trained neural networks. The method comprises processing the generated decoded image using the trained neural network of choice.
本発明の第8の態様に係る方法は、符号化後の画像の空間周波数成分のうち大きさが予め定められた値を超える空間周波数成分の量に対応づけて、復号化後の画像を処理するための複数の学習済みニューラルネットワークを記憶する段階を備える。方法は、符号化対象画像をインター予測又はイントラ予測を含む符号化処理で符号化することによって、複数の空間周波数成分の予測差分値を示す情報を含む符号化データを生成する段階を備える。方法は、符号化データを出力する段階を備える。方法は、符号化データを復号化することによって復号化画像を生成する段階を備える。方法は、複数の学習済みニューラルネットワークのうち複数の空間周波数成分の予測差分値のうち大きさが予め定められた値を超える空間周波数成分の予測差分値の量に対応づけられた学習済みニューラルネットワークを選択する段階を備える。選択した学習済みニューラルネットワークを用いて、生成した復号化画像を処理することによって、インター予測又はイントラ予測に用いられる参照用画像を生成する段階を備える。 The method according to the eighth aspect of the present invention processes the decoded image in association with the amount of spatial frequency components whose size exceeds a predetermined value among the spatial frequency components of the encoded image. It is provided with a stage of storing a plurality of trained neural networks to be used. The method comprises a step of generating coded data including information indicating predicted difference values of a plurality of spatial frequency components by coding the image to be coded by a coding process including inter-prediction or intra-prediction. The method comprises a step of outputting encoded data. The method comprises the step of generating a decoded image by decoding the encoded data. The method is a trained neural network in which the magnitude of the predicted difference value of a plurality of spatial frequency components in a plurality of trained neural networks exceeds a predetermined value and is associated with the amount of the predicted difference value of the spatial frequency component. Prepare for the stage of selecting. It comprises a step of generating a reference image used for inter-prediction or intra-prediction by processing the generated decoded image using the selected trained neural network.
本発明の上記の態様によれば、画像の符号化又は復号化を適切に行うことができる。 According to the above aspect of the present invention, the image can be appropriately encoded or decoded.
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。 The outline of the above invention does not list all the necessary features of the present invention. Sub-combinations of these feature groups can also be inventions.
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施の形態は特許請求の範囲に係る発明を限定するものではない。また、実施の形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。以下の実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。 Hereinafter, the present invention will be described through embodiments of the invention, but the following embodiments do not limit the invention according to the claims. Also, not all combinations of features described in the embodiments are essential to the means of solving the invention. It will be apparent to those skilled in the art that various changes or improvements can be made to the following embodiments. It is clear from the description of the claims that such modified or improved forms may also be included in the technical scope of the present invention.
特許請求の範囲、明細書、図面、及び要約書には、著作権による保護の対象となる事項が含まれる。著作権者は、これらの書類の何人による複製に対しても、特許庁のファイルまたはレコードに表示される通りであれば異議を唱えない。ただし、それ以外の場合、一切の著作権を留保する。 The claims, description, drawings, and abstracts include matters that are subject to copyright protection. The copyright holder will not object to any person's reproduction of these documents as long as they appear in the Patent Office files or records. However, in other cases, all copyrights are reserved.
本発明の様々な実施形態は、フローチャート及びブロック図を参照して記載されてよく、ここにおいてブロックは、(1)操作が実行されるプロセスの段階または(2)操作を実行する役割を持つ装置の「部」を表わしてよい。特定の段階及び「部」が、プログラマブル回路、及び/またはプロセッサによって実装されてよい。専用回路は、デジタル及び/またはアナログハードウェア回路を含んでよい。集積回路(IC)及び/またはディスクリート回路を含んでよい。プログラマブル回路は、再構成可能なハードウェア回路を含んでよい。再構成可能なハードウェア回路は、論理AND、論理OR、論理XOR、論理NAND、論理NOR、及び他の論理操作、フリップフロップ、レジスタ、フィールドプログラマブルゲートアレイ(FPGA)、プログラマブルロジックアレイ(PLA)等の様なメモリ要素等を含んでよい。 Various embodiments of the present invention may be described with reference to flowcharts and block diagrams, wherein the block is (1) a stage of the process in which the operation is performed or (2) a device having a role of performing the operation. May represent the "part" of. Specific steps and "parts" may be implemented by programmable circuits and / or processors. Dedicated circuits may include digital and / or analog hardware circuits. It may include integrated circuits (ICs) and / or discrete circuits. Programmable circuits may include reconfigurable hardware circuits. Reconfigurable hardware circuits include logical AND, logical OR, logical XOR, logical NAND, logical NOR, and other logical operations, flip-flops, registers, field programmable gate arrays (FPGA), programmable logic arrays (PLA), etc. It may include a memory element such as.
コンピュータ可読媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよい。その結果、そこに格納される命令を有するコンピュータ可読媒体は、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読媒体のより具体的な例としては、フロッピー(登録商標)ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ(RAM)、リードオンリメモリ(ROM)、消去可能プログラマブルリードオンリメモリ(EPROMまたはフラッシュメモリ)、電気的消去可能プログラマブルリードオンリメモリ(EEPROM)、静的ランダムアクセスメモリ(SRAM)、コンパクトディスクリードオンリメモリ(CD−ROM)、デジタル多用途ディスク(DVD)、ブルーレイ(登録商標)ディスク、メモリスティック、集積回路カード等が含まれてよい。 The computer-readable medium may include any tangible device capable of storing instructions executed by the appropriate device. As a result, the computer-readable medium having the instructions stored therein will include the product, including instructions that can be executed to create means for performing the operation specified in the flowchart or block diagram. Examples of computer-readable media may include electronic storage media, magnetic storage media, optical storage media, electromagnetic storage media, semiconductor storage media, and the like. More specific examples of computer-readable media include floppy® disks, diskettes, hard disks, random access memory (RAM), read-only memory (ROM), erasable programmable read-only memory (EPROM or flash memory), Electrically erasable programmable read-only memory (EEPROM), static random access memory (SRAM), compact disc read-only memory (CD-ROM), digital versatile disc (DVD), Blu-ray® disc, memory stick, An integrated circuit card or the like may be included.
コンピュータ可読命令は、1または複数のプログラミング言語の任意の組み合わせで記述されたソースコードまたはオブジェクトコードの何れかを含んでよい。ソースコードまたはオブジェクトコードは、従来の手続型プログラミング言語を含む。従来の手続型プログラミング言語は、アセンブラ命令、命令セットアーキテクチャ(ISA)命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはSmalltalk(登録商標)、JAVA(登録商標)、C++等のようなオブジェクト指向プログラミング言語、及び「C」プログラミング言語または同様のプログラミング言語でよい。コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサまたはプログラマブル回路に対し、ローカルにまたはローカルエリアネットワーク(LAN)、インターネット等のようなワイドエリアネットワーク(WAN)を介して提供されてよい。プロセッサまたはプログラマブル回路は、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく、コンピュータ可読命令を実行してよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。 Computer-readable instructions may include either source code or object code written in any combination of one or more programming languages. Source code or object code includes traditional procedural programming languages. Traditional procedural programming languages are assembler instructions, instruction set architecture (ISA) instructions, machine instructions, machine-dependent instructions, microcodes, firmware instructions, state-setting data, or Smalltalk®, JAVA®, C ++. It may be an object-oriented programming language such as, and a "C" programming language or a similar programming language. Computer-readable instructions are applied locally or to a processor or programmable circuit of a general purpose computer, special purpose computer, or other programmable data processing device, or a wide area network (WAN) such as a local area network (LAN), the Internet, etc. ) May be provided. The processor or programmable circuit may execute computer-readable instructions to create means for performing the operations specified in the flowchart or block diagram. Examples of processors include computer processors, processing units, microprocessors, digital signal processors, controllers, microcontrollers and the like.
図1は、本実施形態に係る撮像装置100の外観斜視図の一例を示す図である。図2は、本実施形態に係る撮像装置100の機能ブロックを示す図である。
FIG. 1 is a diagram showing an example of an external perspective view of the
撮像装置100は、撮像部102、レンズ部200を備える。撮像部102は、イメージセンサ120、制御部110、メモリ130、指示部162、及び表示部160を有する。
The
イメージセンサ120は、CCDまたはCMOSにより構成されてよい。イメージセンサ120は、レンズ部200が有するレンズ210を介して光を受光する。イメージセンサ120は、レンズ210を介して結像された光学像の画像データを制御部110に出力する。
The
制御部110は、CPUまたはMPUなどのマイクロプロセッサ、MCUなどのマイクロコントローラなどにより構成されてよい。メモリ130は、コンピュータ可読可能な記録媒体でよく、SRAM、DRAM、EPROM、EEPROM、及びUSBメモリなどのフラッシュメモリの少なくとも1つを含んでよい。制御部110は回路に対応する。メモリ130は、制御部110がイメージセンサ120などを制御するのに必要なプログラム等を格納する。メモリ130は、撮像装置100の筐体の内部に設けられてよい。メモリ130は、撮像装置100の筐体から取り外し可能に設けられてよい。
The
指示部162は、撮像装置100に対する指示をユーザから受け付けるユーザインタフェースである。表示部160は、イメージセンサ120により撮像され、制御部110により処理された画像、撮像装置100の各種設定情報などを表示する。表示部160は、タッチパネルで構成されてよい。
The
制御部110は、レンズ部200及びイメージセンサ120を制御する。例えば、制御部110は、レンズ210の焦点の位置や焦点距離を制御する。制御部110は、ユーザからの指示を示す情報に基づいて、レンズ部200が備えるレンズ制御部220に制御命令を出力することにより、レンズ部200を制御する。
The
レンズ部200は、1以上のレンズ210、レンズ駆動部212、レンズ制御部220、及びメモリ222を有する。本実施形態において1以上のレンズ210のことを「レンズ210」と総称する。レンズ210は、フォーカスレンズ及びズームレンズを含んでよい。レンズ210が含むレンズのうちの少なくとも一部または全部は、レンズ210の光軸に沿って移動可能に配置される。レンズ部200は、撮像部102に対して着脱可能に設けられる交換レンズであってよい。
The
レンズ駆動部212は、レンズ210のうちの少なくとも一部または全部を、レンズ210の光軸に沿って移動させる。レンズ制御部220は、撮像部102からのレンズ制御命令に従って、レンズ駆動部212を駆動して、レンズ210全体又はレンズ210が含むズームレンズやフォーカスレンズを光軸方向に沿って移動させることで、ズーム動作やフォーカス動作の少なくとも一方を実行する。レンズ制御命令は、例えば、ズーム制御命令、及びフォーカス制御命令等である。
The
レンズ駆動部212は、複数のレンズ210の少なくとも一部または全部を光軸方向に移動させるボイスコイルモータ(VCM)を含んでよい。レンズ駆動部212は、DCモータ、コアレスモータ、または超音波モータ等の電動機を含んでよい。レンズ駆動部212は、電動機からの動力をカム環、ガイド軸等の機構部材を介して複数のレンズ210の少なくとも一部または全部に伝達して、レンズ210の少なくとも一部または全部を光軸に沿って移動させてよい。
The
メモリ222は、レンズ駆動部212を介して移動するフォーカスレンズやズームレンズ用の制御値を記憶する。メモリ222は、SRAM、DRAM、EPROM、EEPROM、及びUSBメモリなどのフラッシュメモリの少なくとも1つを含んでよい。
The
制御部110は、指示部162等を通じて取得したユーザの指示を示す情報に基づいて、イメージセンサ120に制御命令を出力することにより、イメージセンサ120に撮像動作の制御を含む制御を実行する。制御部110は、イメージセンサ120により撮像された画像を取得する。制御部110は、イメージセンサ120から取得した画像に画像処理を施してメモリ130に格納する。
The
制御部110が実行する符号化処理及び復号化処理について説明する。制御部110は、符号化された画像の空間周波数成分のうち大きさが予め定められた値を超える空間周波数成分の量に対応づけて、復号化された画像を処理するための複数の学習済みニューラルネットワークを記憶する。空間周波数成分は、例えば直交変換によって生成される空間周波数成分である。本実施形態において、空間周波数成分は、画像の離散コサイン変換(「DCT変換」と呼ぶ場合がある)によって生成されるDCT係数であるとする。なお、制御部110は、学習済みニューラルネットワークを外部のメモリ130に記憶してよい。制御部110は、学習済みニューラルネットワークを制御部110内の不揮発性メモリに記憶してよい。また、本実施形態において、符号化対象及び復号化対象の画像は、動画を構成する動画構成画像である。しかし、画像は静止画であってもよい。
The coding process and the decoding process executed by the
まず、制御部110が符号化対象画像を符号化する処理の概要を説明する。制御部110は、符号化対象画像をインター予測又はイントラ予測を含む符号化処理で符号化することによって、複数の空間周波数成分の予測差分値を示す情報を含む符号化データを生成する。制御部110は、生成した符号化データを出力する。例えば、制御部110は、生成した符号化データと、符号化に用いた動きベクトル等の圧縮情報とを含む圧縮画像データをメモリ130に記録する。
First, the outline of the process in which the
制御部110は、インター予測又はイントラ予測に用いる参照画像を生成する場合に、生成した符号化データを復号化することによって復号化画像を生成する。制御部110は、複数の学習済みニューラルネットワークのうち、複数の空間周波数成分の予測差分値のうち大きさが予め定められた値を超える空間周波数成分の予測差分値の量に対応づけられた学習済みニューラルネットワークを選択する。そして、制御部110は、生成した復号化画像を、選択した学習済みニューラルネットワークを用いて処理することによって、インター予測又はイントラ予測に用いる参照用画像を生成する。
The
次に、制御部110が復号化対象画像を復号化する処理の概要を説明する。制御部110は、画像の符号化により生成された符号化データを取得する。例えば、制御部110は、メモリ130から、画像の符号化データ及び圧縮情報とを含む圧縮画像データを読み出す。制御部110は、取得した符号化データから、符号化された画像の複数の空間周波数成分を取得する。例えば、制御部110は、エントロピー符号化された符号化データに対してエントロピー復号化を施すことにより、複数の空間周波数成分を取得する。制御部110は、複数の空間周波数成分に基づいて復号化画像を生成する。このように、制御部110は、符号化データを復号化することにより、復号化画像を生成する。
Next, the outline of the process in which the
制御部110は、符号化データから取得した複数の空間周波数成分のうち大きさが予め定められた値を超える空間周波数成分の量を取得する。制御部110は、複数の学習済みニューラルネットワークのうち取得した空間周波数成分の量に対応づけられた学習済みニューラルネットワークを選択する。制御部110は、選択した学習済みニューラルネットワークを用いて、生成した復号化画像を処理する。制御部110は、学習済みニューラルネットワークを用いて処理した復号化画像を、例えば表示部160に出力する。
The
一例として、動画構成画像の符号化データは、動画構成画像のインター予測又はイントラ予測によって得られた複数の空間周波数成分の予測差分値の量子化によって得られた複数の量子化差分値を示す情報を含む。制御部110は、複数の量子化差分値のうち大きさが予め定められた値を超える量子化差分値の量に対応づけて、複数の学習済みニューラルネットワークを予め記憶する。制御部110は、符号化データから取得した複数の量子化差分値のうち大きさが予め定められた値を超える量子化差分値の量を取得して、複数の学習済みニューラルネットワークのうち取得した空間周波数成分の量子化差分値の量に対応づけられた学習済みニューラルネットワークを選択する。そして、制御部110は、符号化データから取得した複数の量子化差分値の逆量子化によって得られた空間周波数成分の予測差分値に基づいて差分画像を生成し、生成した差分画像にインター予測画像又はイントラ予測画像を加算することにより、復号化された動画構成画像を生成する。そして、制御部110は、選択した学習済みニューラルネットワークを用いて、生成した動画構成画像を処理する。
As an example, the encoded data of the moving image constituent image is information indicating a plurality of quantization difference values obtained by quantization of the predicted difference values of a plurality of spatial frequency components obtained by inter-prediction or intra-prediction of the moving image constituent image. including. The
なお、「符号化された画像の空間周波数成分のうち大きさが予め定められた値を超える空間周波数成分の量」は、「符号化された画像の空間周波数成分のうち大きさが予め定められた値を超える空間周波数成分の割合」であってよい。「予め定められた値」はゼロ(0)であってよい。図4から図10に関連して、「空間周波数成分」としてDCT係数を採用し、「予め定められた値」としてゼロ(0)を採用し、「符号化された画像の空間周波数成分のうち大きさが予め定められた値を超える空間周波数成分の量」として「符号化された画像のDCT係数のうち大きさがゼロ(0)を超えるDCT係数の割合」を採用した形態を説明する。 The "amount of spatial frequency components whose size exceeds a predetermined value among the spatial frequency components of the encoded image" is defined as "the size of the spatial frequency components of the encoded image is predetermined". It may be "the ratio of the spatial frequency component exceeding the value". The "predetermined value" may be zero (0). In relation to FIGS. 4 to 10, the DCT coefficient is adopted as the "spatial frequency component", zero (0) is adopted as the "predetermined value", and "of the spatial frequency components of the encoded image". A mode in which "the ratio of DCT coefficients whose magnitude exceeds zero (0) among the DCT coefficients of the encoded image" is adopted as "amount of spatial frequency components whose magnitude exceeds a predetermined value" will be described.
制御部110は、動画構成画像のピクチャ種別にさらに対応づけて、複数の学習済みニューラルネットワークを記憶してよい。制御部110は、複数の学習済みニューラルネットワークのうち、符号化データのピクチャ種別と取得した空間周波数成分の量とに対応づけられた学習済みニューラルネットワークを選択してよい。
The
「学習済みニューラルネットワーク」は、学習用画像と当該学習用画像の符号化データとを学習データとして用いて、学習データに含まれる符号化データから取得された複数の空間周波数成分のうち大きさが予め定められた値を超える空間周波数成分の量に応じて機械学習を行うことによって得られた畳み込みニューラルネットワーク(CNN)であってよい。図4から図10に関連して、畳み込みニューラルネットワーク(CNN)を用いた画像処理を行う「CNNフィルタ」を採用した形態を説明する。 The "trained neural network" uses the training image and the coded data of the training image as training data, and the size of the plurality of spatial frequency components acquired from the coded data included in the training data is large. It may be a convolutional neural network (CNN) obtained by performing machine learning according to the amount of spatial frequency components exceeding a predetermined value. In relation to FIGS. 4 to 10, a mode in which a “CNN filter” that performs image processing using a convolutional neural network (CNN) is adopted will be described.
図3は、学習器のブロック図を示す。図4は、DCT係数に基づくクラス分類を行うためのクラス情報を示す。なお、学習器は、制御部110が使用するニューラルネットワークのパラメータ(CNNパラメータ)を生成する機械学習を行う装置である。制御部110が学習器を備える必要はない。
FIG. 3 shows a block diagram of the learner. FIG. 4 shows class information for classifying based on the DCT coefficient. The learner is a device that performs machine learning that generates neural network parameters (CNN parameters) used by the
学習器は、入力画像と劣化画像とを用いた機械学習を行うことによって、CNNパラメータを生成する。劣化画像は、入力画像の符号化によって生成された符号化画像を復号化することによって生成された復号化画像である。復号化画像は、復号器が備えるループフィルタによる画像処理が施された画像である。ループフィルタについては後述する。学習器には、入力画像の符号化に用いた画像圧縮情報が更に入力される。画像の符号化においては、各マクロブロックの部分画像において予め定められた予測ユニット毎にイントラ予測又はインター予測が行われ、イントラ予測又はインター予測によって得られた予測画像と部分画像との間の差分画像が生成され、差分画像に対して予め定められた変換ユニット毎にDCT変換を行うことによってDCT係数が算出され、当該DCT係数を量子化することによって、量子化DCT係数が算出される。画像圧縮情報は、DCT係数を量子化することによって得られた量子化DCT係数を含んでよい。 The learner generates CNN parameters by performing machine learning using the input image and the deteriorated image. The degraded image is a decoded image generated by decoding the coded image generated by coding the input image. The decoded image is an image that has undergone image processing by a loop filter included in the decoder. The loop filter will be described later. The image compression information used for encoding the input image is further input to the learner. In image coding, intra-prediction or inter-prediction is performed for each predetermined prediction unit in the partial image of each macroblock, and the difference between the predicted image and the partial image obtained by the intra-prediction or inter-prediction. An image is generated, the DCT coefficient is calculated by performing DCT transform for each predetermined conversion unit on the difference image, and the quantized DCT coefficient is calculated by quantizing the DCT coefficient. The image compression information may include the quantized DCT coefficient obtained by quantizing the DCT coefficient.
DCT係数計数部310は、画像圧縮情報に基づいて量子化DCT係数を取得して、大きさが0より大きいDCT係数を計数する。DCT係数計数部310は、例えば画像全体の全ての変換ユニットにおけるN個のDCT係数のうち、大きさが0を超えるDCT係数の個数Mを計数する。なお、「大きさが0を超えるDCT係数」は、0より大きいDCT係数と0より小さい係数のことをいう。つまり、「大きさが0を超えるDCT係数」は、0以外のDCT係数のことをいう。クラス決定部320は、MをNで除算することにより、0以外のDCT係数の割合を算出する。本実施形態において、複数のDCT係数のうち0以外のDCT係数の割合のことを「非0DCT割合」と呼ぶ。
The DCT
クラス決定部320は、図4に示すクラス情報と非0DCT割合とに基づいて、クラスを特定する。図4に示されるように、クラス情報は、クラス識別子と非0DCT割合の範囲とを対応づける情報である。クラス決定部320は、クラス情報における複数の範囲のうち、取得した非0DCT割合を含む範囲を特定して、特定した範囲に対応づけられたクラス識別子を特定する。
The
CNN学習器330は、クラス決定部320が決定したクラス毎に、入力画像及び劣化画像を用いた機械学習を行うことによって、後述するCNNフィルタを構成するCNNパラメータを算出する。具体的には、CNN学習器330は、劣化画像にCNNフィルタを適用することによって生成される画像と入力画像とに基づいて、予め定められた損失関数を最小化するような重み付け値及びオフセットを算出する。
The
図5は、ニューラルネットワークのパラメータ情報を示す。パラメータ情報は、機械学習によって算出されたCNNパラメータとクラス識別子とを対応づける情報である。CNNパラメータは、CNNにおける重み付け値及びオフセットを含む。制御部110は、図4に示すクラス情報及びパラメータ情報を記憶する。制御部110は、画像の符号化処理及び復号化処理の一部として、クラス情報を参照してクラスを決定し、決定したクラスとパラメータ情報とから定まるCNNパラメータを用いて画像処理を実行する。
FIG. 5 shows the parameter information of the neural network. The parameter information is information that associates the CNN parameter calculated by machine learning with the class identifier. CNN parameters include weighted values and offsets in the CNN. The
図6は、制御部110が備える符号化器のブロック構成を示す。符号化器には、符号化対象となる入力画像データとして、動画構成画像としての時系列の複数のピクチャが入力される。リオーダ部610は、ピクチャ種別に基づいてピクチャの符号化を行う順序を決定する。例えば、リオーダ部610は、双方向予測によって符号化されるBピクチャの符号化を行う前に、Bピクチャより後のIピクチャ又はPピクチャを符号化するように、符号化するピクチャの順序を並べ替える。
FIG. 6 shows a block configuration of a encoder included in the
直交変換部620は、リオーダ部610から出力されるピクチャと参照画像との差分画像をDCT変換することによって、DCT係数を算出する。量子化部630は、直交変換部620から出力されるDCT係数を量子化することによって量子化DCT係数を生成する。量子化部630は、後述するレート制御部660から出力される圧縮レートに基づいて、DCT係数の量子化に用いる量子化パラメータを調整する。エントロピー符号化部650は、量子化部630が出力する量子化DCT係数にエントロピー符号化を施すことによって符号化ピクチャを生成する。バッファ670は、エントロピー符号化部650が出力する符号化ピクチャを記憶する。レート制御部660は、符号化ピクチャのデータ量に基づいて圧縮レートを決定して、量子化部630に出力する。なお、エントロピー符号化部650は、動きベクトル等の圧縮情報もエントロピー符号化してバッファ670に記憶する。制御部110は、バッファ670に記憶された符号化ピクチャ及び圧縮情報を含む圧縮画像データをメモリ130等に記録する。
The
次に、符号化器が備えるループ構造の処理を説明する。逆量子化部641は、量子化部630から出力された量子化DCT係数を逆量子化する。逆直交変換部642は、逆量子化部641の出力を逆DCT変換することにより差分画像を生成する。ループフィルタ643は、逆直交変換部642が生成した差分画像に参照画像を加算することによって得られた画像情報にフィルタ処理を施す。ループフィルタ643は、例えばデブロッキングフィルタを含んでよい。ループフィルタ643が生成した画像はCNNフィルタ644に出力される。
Next, the processing of the loop structure included in the encoder will be described. The
DCT係数計数部646は、量子化部630の出力に基づいて、大きさが0を超えるDCT係数の個数を計数して、非0DCT割合を算出する。クラス決定部647は、DCT係数計数部646により算出された非0DCT割合と、図4に関連して説明したクラス情報とを用いて、クラス識別子を決定する。クラス決定部647が決定したクラス識別子はCNNフィルタ644に出力される。
The DCT
CNNフィルタ644は、上述した学習器によって生成されたCNNパラメータにより形成されるCNNによって構成されるフィルタである。CNNフィルタ644は、ループフィルタ643が出力した画像にCNNを用いて畳み込み演算を行うことによって参照用ピクチャを生成する。具体的には、CNNフィルタ644は、パラメータ情報を参照して、クラス決定部647が決定したクラス識別子に対応づけられたCNNパラメータによって構成されるCNNフィルタを、ループフィルタ643により処理された画像情報に適用して、参照用ピクチャを生成する。メモリ645は、CNNフィルタ644が生成した参照用ピクチャを記憶する。イントラ予測部648は、メモリ645に記憶されている参照用ピクチャを用いて、符号化対象ピクチャを符号化するためのイントラ予測を行って、参照画像としてのイントラ予測画像を生成する。インター予測部649は、メモリ645に記憶されている参照用ピクチャを用いて、他の符号化対象ピクチャを符号化するためのインター予測を行って、参照画像としてのインター予測画像を生成する。インター予測部649は、例えば動きベクトルを算出し、動き補償を行うことによってインター予測画像を生成してよい。
The
図7は、制御部110が備える復号化器のブロック構成を示す。制御部110は、メモリ130から圧縮動画データを読み出して復号化する。エントロピー復号化部750は、メモリ130から読み出された圧縮画像データをエントロピー復号化することによって、量子化DCT係数を生成する。逆量子化部741は、エントロピー復号化部750から出力された量子化DCT係数を逆量子化する。逆直交変換部742は、逆量子化部741の出力を逆DCT変換することにより差分画像を生成する。ループフィルタ743は、逆直交変換部742が生成した差分画像に参照画像を加算することによって得られた画像情報にフィルタ処理を施す。ループフィルタ743は、例えばデブロッキングフィルタを含んでよい。ループフィルタ743は、ループフィルタ643と同一のフィルタであってよい。ループフィルタ743が生成した画像はCNNフィルタ744に出力される。
FIG. 7 shows a block configuration of a decoder included in the
DCT係数計数部746は、エントロピー復号化部750から出力される量子化DCT係数に基づいて、大きさが0を超えるDCT係数の数を計数して、非0DCT割合を算出する。クラス決定部747は、DCT係数計数部746により算出された非0DCT割合とクラス情報とを用いてクラスを決定する。クラス決定部747が決定したクラスを示す情報はCNNフィルタ744に出力される。
The DCT
CNNフィルタ744は、上述した学習器によって生成されたCNNパラメータにより形成されるCNNである。CNNフィルタ744は、ループフィルタ743が出力した画像にニューラルネットワークを用いて畳み込み演算を行うことによって復号化ピクチャを生成する。具体的には、CNNフィルタ744は、パラメータ情報を参照して、クラス決定部747が決定したクラス識別子に対応づけられたCNNパラメータによって構成されるCNNフィルタを、ループフィルタ743により処理された画像情報に適用して、復号化ピクチャを生成する。リオーダー部710は、ピクチャ種別に基づいて、復号化ピクチャを時系列に並べ替える処理を行い、復号化画像データを出力する。復号化画像データは、例えば表示部160における画像の表示に用いられる。
The
メモリ745は、CNNフィルタ744が生成した復号化ピクチャを記憶する。イントラ予測部748は、メモリ745に記憶されている復号化ピクチャを参照用ピクチャとして用いて、復号化対象ピクチャを符号化するためのイントラ予測を行い、参照画像としてのイントラ予測画像を生成する。インター予測部749は、メモリ745に記憶されている復号化ピクチャを参照用ピクチャとして用いて、他の復号化対象ピクチャを符号化するためのインター予測を行って、参照画像としてのインター予測画像を生成する。インター予測部749は、例えば動きベクトルを算出し、動きベクトルに基づいて動き補償を行うことによってインター予測画像を生成してよい。
The
図8は、制御部110が符号化対象ピクチャを符号化する場合に実行する処理のフローチャートを示す。S810において、直交変換部620は符号化対象ピクチャの直交変換を行ってDCT係数を算出し、量子化部630は算出されたDCT係数を量子化することにより量子化DCT係数を生成する。
FIG. 8 shows a flowchart of processing executed when the
S820において、DCT係数計数部646は、非0DCT割合を算出する。S830において、逆量子化部641は量子化DCT係数を逆量子化し、逆直交変換部642は逆量子化により得られたDCT係数を逆直交変換することにより、差分画像を生成する。
In S820, the DCT
S840において、イントラ予測部648又はインター予測部649は予測画像を生成して、差分画像を予測画像に加算することによって補償を行う。S850において、S840において予測画像と差分画像との加算によって生成された画像にループフィルタを適用する。
In S840, the
S860において、DCT係数計数部646は非0DCT割合を算出し、クラス決定部647はクラス情報を参照して、算出された非0DCT割合に基づいてクラス識別子を決定する。S870において、S850で生成されたピクチャを、クラス識別子に対応づけられたCNNパラメータで構成されるCNNフィルタ644によって画像処理を行い、参照用ピクチャを生成する。
In S860, the DCT
図9は、制御部110が復号化対象ピクチャを復号化する場合に実行する処理のフローチャートを示す。S910において、エントロピー復号化部750は、復号化対象ピクチャをエントロピー復号化することによって、量子化DCT係数を生成する。S920において、DCT係数計数部746は、S910において生成された量子化DCT係数に基づいて、大きさが0を超えるDCT係数の数を計数して、非0DCT割合を算出する。
FIG. 9 shows a flowchart of processing executed when the
S930において、逆量子化部741は量子化DCT係数を逆量子化し、逆直交変換部742は、逆量子化により得られたDCT係数を逆直交変換することにより、差分画像を生成する。
In S930, the
S940において、イントラ予測部748又はインター予測部749により生成された予測画像と差分画像との加算によって補償を行う。S950において、S940において予測画像と差分画像との加算によって生成された画像にループフィルタを適用する。
In S940, compensation is performed by adding the predicted image generated by the intra prediction unit 748 or the
S960において、クラス決定部747は、クラス情報を参照して、S920において算出された非0DCT割合に基づいてクラス識別子を決定する。S970において、S950においてループフィルタが適用された画像に、クラス識別子に対応づけられたCNNパラメータによって構成されるCNNフィルタ644により処理して、復号化ピクチャを生成する。上述したように、復号化ピクチャは、復号化画像データとして出力されるとともに、参照用ピクチャとして使用される。
In S960, the class determination unit 747 determines the class identifier based on the non-0DCT ratio calculated in S920 with reference to the class information. In S970, the image to which the loop filter is applied in S950 is processed by the
図10は、インター予測で用いられるピクチャの参照関係の一例を示す。図10には、H.265等の画像符号化方式において用いられるIピクチャ1000、Pピクチャ1004、Stored−Bピクチャ1002、Non−Stored−Bピクチャ1001、及びNon−Stored−Bピクチャ1003の参照関係が示されている。図10に示されるように、ピクチャ種別によって参照関係が異なる。したがって、ピクチャ種別におよって画質劣化量が異なり得る。そのため、上述した非0DCT割合に基づくクラス分類に加え、ピクチャ種別に応じてクラス分類を行ってもよい。具体的には、ピクチャ種別及び非0DCT割合の組み合わせ毎にクラス識別子を設定することによってクラス分類を行ってよい。機械学習において学習器は、ピクチャ種別及び非0DCT割合の組み合わせ毎に機械学習を行って、ピクチャ種別及び非0DCT割合の組み合わせ毎にCNNパラメータを算出してよい。制御部110は、ピクチャ種別及び非0DCT割合の組み合わせに対応づけてCNNパラメータを記憶してよく、符号化及び復号化において、ピクチャ種別及び非0DCT割合の組み合わせに対応づけられたCNNパラメータを用いてCNNフィルタを構成してよい。
FIG. 10 shows an example of the reference relationship of the pictures used in the inter-prediction. In FIG. 10, H. The reference relationships of the
なお、H.265等の符号化方式においては、直交変換を行う場合に、同一ピクチャ内で複数の変換ユニットサイズを用いることが可能である。例えば、H.265では、変換ユニットサイズとして4x4,8x8,16x16,32x32等のサイズを用いることが可能である。一般に、細かいテクスチャやランダムな動きを含む画像領域については、より小さい変換ユニットサイズを選択して符号化することにより符号化効率を高めることができる。一方、フラットなテクスチャ又は大域的な動きを含む画像領域については、より大きい変換ユニットサイズを選択して符号化することにより符号化効率を高めることができる。変換ユニットのサイズを変えると画質劣化量も変わる場合がある。そこで、本実施形態において、非0DCT割合に代えて、又は、非0DCT割合に加えて、変換サイズの分布に応じてクラス分類を行ってもよい。例えば、非0DCT割合に代えて、又は、非0DCT割合に加えて、各ピクチャの符号化において特定の変換ユニットサイズ(例えば、4x4サイズ)が選択された割合に基づいて、クラス分類を行ってもよい。 In addition, H. In a coding method such as 265, when performing orthogonal transformation, it is possible to use a plurality of conversion unit sizes in the same picture. For example, H. In 265, it is possible to use a size such as 4x4, 8x8, 16x16, 32x32 as the conversion unit size. In general, for an image area containing fine textures and random movements, the coding efficiency can be improved by selecting and coding a smaller conversion unit size. On the other hand, for an image region containing a flat texture or global motion, the coding efficiency can be improved by selecting and coding a larger conversion unit size. If the size of the conversion unit is changed, the amount of image quality deterioration may also change. Therefore, in the present embodiment, the classification may be performed according to the distribution of the conversion size instead of the non-0DCT ratio or in addition to the non-0DCT ratio. For example, the classification may be performed instead of the non-0DCT ratio, or based on the ratio in which a specific conversion unit size (eg, 4x4 size) is selected in the coding of each picture in addition to the non-0DCT ratio. good.
上述したように、制御部110は、非0DCT割合に基づいて選択されたニューラルネットワークパラメータを用いて符号化及び復号化処理を行う。例えばH.265符号化方式においては、ピクチャ内で4x4,8x8,16x16,32x32等の様々なサイズの変換ユニットに対して直交変換を行う。そのため、大きさが0を超えるDCT係数の個数は、変換ユニットのサイズによって異なり得る。上述したように、本実施形態によれば、大きさが0より大きいDCT係数が占める割合に基づいてニューラルネットワークパラメータを選択する。これにより、大きさが0より大きいDCT係数が占める数を用いる場合に比べて、ブロックサイズの影響を低減することができる。また、本実施形態においては、圧縮動画データのエントロピー復号化によって得られる量子化DCT係数に基づいてクラス分類を行うので、クラス分類のためのメタデータを符号化側から復号化側に伝達する必要がない。なお、互いに異なる複数の変換ユニットサイズで直交変換を行い、各変換ユニットサイズで得られたDCT係数に基づいて非0DCT割合を算出して、非0DCT割合の組み合わせに基づいてクラス分類を行ってもよい。一例として、最小サイズ(例えば、4×4サイズ)の変換ユニットサイズを適用した場合の非0DCT割合と、最小サイズ以外の変換ユニットサイズを適用した場合の非0DCT割合との基づいてクラス分類を行ってもよい。
As described above, the
なお、上記の実施形態の変形例として、ループフィルタ643及びループフィルタ743を備えない形態を採用してもよい。
As a modification of the above embodiment, a mode not provided with the
上述した非特許文献1及び非特許文献2には、量子化パラメータを固定してフィルタパラメータの学習を行うことが記載されている。一般に、動画の圧縮符号化において、圧縮率が低い場合と圧縮率が高い場合とでは符号化による画質劣化量が異なる。実際に商用で用いられる符号化器では、通常、ピクチャ内で量子化パラメータを可変とし、量子化行列を適用する場合が多いため、画質劣化量に違いが生じる。そのため、非特許文献1及び非特許文献2に記載されたような量子化パラメータを固定して学習したフィルタパラメータを商用の符号化器に適用すると、符号化効率が悪化する場合があり得る。これに対し、本実施形態によれば、少なくとも非0DCT割合に基づくクラス分類を行うことでCNNパラメータを選択するので、インター予測又はイントラ予測のループ構造内において、圧縮率に応じた適切なフィルタを適用することができる。これにより、符号化効率を高めることができる場合がある。 Non-Patent Document 1 and Non-Patent Document 2 described above describe that the quantization parameter is fixed and the filter parameter is learned. In general, in the compression coding of moving images, the amount of image quality deterioration due to coding differs between the case where the compression rate is low and the case where the compression rate is high. In a encoder that is actually used commercially, the quantization parameter is usually made variable in the picture and the quantization matrix is often applied, so that the amount of image quality deterioration occurs. Therefore, if the filter parameters learned by fixing the quantization parameters as described in Non-Patent Document 1 and Non-Patent Document 2 are applied to a commercial encoder, the coding efficiency may deteriorate. On the other hand, according to the present embodiment, since the CNN parameter is selected by classifying at least based on the non-zero DCT ratio, an appropriate filter according to the compression ratio can be used in the loop structure of inter-prediction or intra-prediction. Can be applied. As a result, the coding efficiency may be improved.
上記のような撮像装置100は、移動体に搭載されてもよい。撮像装置100は、図11に示すような、無人航空機(UAV)に搭載されてもよい。UAV10は、UAV本体20、ジンバル50、複数の撮像装置60、及び撮像装置100を備えてよい。ジンバル50、及び撮像装置100は、撮像システムの一例である。UAV10は、推進部により推進される移動体の一例である。移動体とは、UAVの他、空中を移動する他の航空機などの飛行体、地上を移動する車両、水上を移動する船舶等を含む概念である。
The
UAV本体20は、複数の回転翼を備える。複数の回転翼は、推進部の一例である。UAV本体20は、複数の回転翼の回転を制御することでUAV10を飛行させる。UAV本体20は、例えば、4つの回転翼を用いてUAV10を飛行させる。回転翼の数は、4つには限定されない。また、UAV10は、回転翼を有さない固定翼機でもよい。
The UAV
撮像装置100は、所望の撮像範囲に含まれる被写体を撮像する撮像用のカメラである。ジンバル50は、撮像装置100を回転可能に支持する。ジンバル50は、支持機構の一例である。例えば、ジンバル50は、撮像装置100を、アクチュエータを用いてピッチ軸で回転可能に支持する。ジンバル50は、撮像装置100を、アクチュエータを用いて更にロール軸及びヨー軸のそれぞれを中心に回転可能に支持する。ジンバル50は、ヨー軸、ピッチ軸、及びロール軸の少なくとも1つを中心に撮像装置100を回転させることで、撮像装置100の姿勢を変更してよい。
The
複数の撮像装置60は、UAV10の飛行を制御するためにUAV10の周囲を撮像するセンシング用のカメラである。2つの撮像装置60が、UAV10の機首である正面に設けられてよい。更に他の2つの撮像装置60が、UAV10の底面に設けられてよい。正面側の2つの撮像装置60はペアとなり、いわゆるステレオカメラとして機能してよい。底面側の2つの撮像装置60もペアとなり、ステレオカメラとして機能してよい。複数の撮像装置60により撮像された画像に基づいて、UAV10の周囲の3次元空間データが生成されてよい。UAV10が備える撮像装置60の数は4つには限定されない。UAV10は、少なくとも1つの撮像装置60を備えていればよい。UAV10は、UAV10の機首、機尾、側面、底面、及び天井面のそれぞれに少なくとも1つの撮像装置60を備えてもよい。撮像装置60で設定できる画角は、撮像装置100で設定できる画角より広くてよい。撮像装置60は、単焦点レンズまたは魚眼レンズを有してもよい。
The plurality of image pickup devices 60 are sensing cameras that image the surroundings of the
遠隔操作装置300は、UAV10と通信して、UAV10を遠隔操作する。遠隔操作装置300は、UAV10と無線で通信してよい。遠隔操作装置300は、UAV10に上昇、下降、加速、減速、前進、後進、回転などのUAV10の移動に関する各種命令を示す指示情報を送信する。指示情報は、例えば、UAV10の高度を上昇させる指示情報を含む。指示情報は、UAV10が位置すべき高度を示してよい。UAV10は、遠隔操作装置300から受信した指示情報により示される高度に位置するように移動する。指示情報は、UAV10を上昇させる上昇命令を含んでよい。UAV10は、上昇命令を受け付けている間、上昇する。UAV10は、上昇命令を受け付けても、UAV10の高度が上限高度に達している場合には、上昇を制限してよい。
The remote control device 300 communicates with the
図12は、本発明の複数の態様が全体的または部分的に具現化されてよいコンピュータ1200の一例を示す。コンピュータ1200にインストールされたプログラムは、コンピュータ1200に、本発明の実施形態に係る装置に関連付けられるオペレーションまたは当該装置の1または複数の「部」として機能させることができる。例えば、コンピュータ1200にインストールされたプログラムは、コンピュータ1200に、制御部110として機能させることができる。または、当該プログラムは、コンピュータ1200に当該オペレーションまたは当該1または複数の「部」の機能を実行させることができる。当該プログラムは、コンピュータ1200に、本発明の実施形態に係るプロセスまたは当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ1200に、本明細書に記載のフローチャート及びブロック図のブロックのうちのいくつかまたはすべてに関連付けられた特定のオペレーションを実行させるべく、CPU1212によって実行されてよい。
FIG. 12 shows an example of a
本実施形態によるコンピュータ1200は、CPU1212、及びRAM1214を含み、それらはホストコントローラ1210によって相互に接続されている。コンピュータ1200はまた、通信インタフェース1222、入力/出力ユニットを含み、それらは入力/出力コントローラ1220を介してホストコントローラ1210に接続されている。コンピュータ1200はまた、ROM1230を含む。CPU1212は、ROM1230及びRAM1214内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。
The
通信インタフェース1222は、ネットワークを介して他の電子デバイスと通信する。ハードディスクドライブが、コンピュータ1200内のCPU1212によって使用されるプログラム及びデータを格納してよい。ROM1230はその中に、アクティブ化時にコンピュータ1200によって実行されるブートプログラム等、及び/またはコンピュータ1200のハードウェアに依存するプログラムを格納する。プログラムが、CR−ROM、USBメモリまたはICカードのようなコンピュータ可読記録媒体またはネットワークを介して提供される。プログラムは、コンピュータ可読記録媒体の例でもあるRAM1214、またはROM1230にインストールされ、CPU1212によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ1200に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置または方法が、コンピュータ1200の使用に従い情報のオペレーションまたは処理を実現することによって構成されてよい。
例えば、通信がコンピュータ1200及び外部デバイス間で実行される場合、CPU1212は、RAM1214にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース1222に対し、通信処理を命令してよい。通信インタフェース1222は、CPU1212の制御の下、RAM1214、またはUSBメモリのような記録媒体内に提供される送信バッファ領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、またはネットワークから受信した受信データを記録媒体上に提供される受信バッファ領域等に書き込む。
For example, when communication is executed between the
また、CPU1212は、USBメモリ等のような外部記録媒体に格納されたファイルまたはデータベースの全部または必要な部分がRAM1214に読み取られるようにし、RAM1214上のデータに対し様々なタイプの処理を実行してよい。CPU1212は次に、処理されたデータを外部記録媒体にライトバックしてよい。
Further, the
様々なタイプのプログラム、データ、テーブル、及びデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。CPU1212は、RAM1214から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプのオペレーション、情報処理、条件判断、条件分岐、無条件分岐、情報の検索/置換等を含む、様々なタイプの処理を実行してよく、結果をRAM1214に対しライトバックする。また、CPU1212は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第2の属性の属性値に関連付けられた第1の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、CPU1212は、第1の属性の属性値が指定される、条件に一致するエントリを当該複数のエントリの中から検索し、当該エントリ内に格納された第2の属性の属性値を読み取り、それにより予め定められた条件を満たす第1の属性に関連付けられた第2の属性の属性値を取得してよい。
Various types of information such as various types of programs, data, tables, and databases may be stored in recording media and processed. The
上で説明したプログラムまたはソフトウェアモジュールは、コンピュータ1200上またはコンピュータ1200近傍のコンピュータ可読記憶媒体に格納されてよい。また、専用通信ネットワークまたはインターネットに接続されたサーバーシステム内に提供されるハードディスクまたはRAMのような記録媒体が、コンピュータ可読記憶媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ1200に提供する。
The program or software module described above may be stored on a
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。 Although the present invention has been described above using the embodiments, the technical scope of the present invention is not limited to the scope described in the above embodiments. It will be apparent to those skilled in the art that various changes or improvements can be made to the above embodiments. It is clear from the description of the claims that such modified or improved forms may also be included in the technical scope of the present invention.
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。 The order of execution of operations, procedures, steps, steps, etc. in the devices, systems, programs, and methods shown in the claims, specification, and drawings is particularly "before" and "prior to". It should be noted that it can be realized in any order unless the output of the previous process is used in the subsequent process. Even if the scope of claims, the specification, and the operation flow in the drawings are explained using "first", "next", etc. for convenience, it means that it is essential to carry out in this order. It's not a thing.
10 UAV
20 UAV本体
50 ジンバル
60 撮像装置
100 撮像装置
102 撮像部
110 制御部
120 イメージセンサ
130 メモリ
160 表示部
162 指示部
200 レンズ部
210 レンズ
212 レンズ駆動部
220 レンズ制御部
222 メモリ
300 遠隔操作装置
310 DCT係数計数部
320 クラス決定部
330 CNN学習器
610 リオーダ部
620 直交変換部
630 量子化部
641 逆量子化部
642 逆直交変換部
643 ループフィルタ
644 CNNフィルタ
645 メモリ
646 DCT係数計数部
647 クラス決定部
648 イントラ予測部
649 インター予測部
650 エントロピー符号化部
660 レート制御部
670 バッファ
710 リオーダー部
741 逆量子化部
742 逆直交変換部
743 ループフィルタ
744 CNNフィルタ
745 メモリ
746 DCT係数計数部
747 クラス決定部
748 イントラ予測部
749 インター予測部
750 エントロピー復号化部
1000 Iピクチャ
1001、1003 Non−Stored−Bピクチャ
1002 Stored−Bピクチャ
1004 Pピクチャ
1200 コンピュータ
1210 ホストコントローラ
1212 CPU
1214 RAM
1220 入力/出力コントローラ
1222 通信インタフェース
1230 ROM
10 UAV
20 UAV main unit 50 gimbal 60
1214 RAM
1220 Input /
Claims (14)
画像の符号化により生成された符号化データを取得し、
前記符号化データから、符号化された画像の複数の空間周波数成分を取得し、
前記符号化データを復号化することにより、復号化画像を生成し、
前記符号化データから取得した前記複数の空間周波数成分のうち大きさが前記予め定められた値を超える空間周波数成分の量を取得し、
前記複数の学習済みニューラルネットワークのうち前記取得した空間周波数成分の量に対応づけられた学習済みニューラルネットワークを選択し、
前記選択した前記学習済みニューラルネットワークを用いて、前記生成した前記復号化画像を処理する
ように構成された回路
を備える装置。 Stores a plurality of trained neural networks for processing the decoded image in association with the amount of spatial frequency components of the encoded image whose magnitude exceeds a predetermined value. ,
Get the coded data generated by image coding and
From the coded data, a plurality of spatial frequency components of the coded image are acquired, and a plurality of spatial frequency components are obtained.
By decoding the coded data, a decoded image is generated.
Among the plurality of spatial frequency components acquired from the coded data, the amount of the spatial frequency component whose magnitude exceeds the predetermined value is acquired.
A trained neural network corresponding to the amount of the acquired spatial frequency component is selected from the plurality of trained neural networks, and the trained neural network is selected.
A device comprising a circuit configured to process the generated decoded image using the selected trained neural network.
符号化された画像の空間周波数成分のうち大きさが予め定められた値を超える空間周波数成分の割合に対応づけて、前記複数の学習済みニューラルネットワークを記憶し、
前記符号化データから取得した前記複数の空間周波数成分のうち大きさが前記予め定められた値を超える空間周波数成分の割合を取得し、
前記複数の学習済みニューラルネットワークのうち前記取得した空間周波数成分の割合に対応づけられた学習済みニューラルネットワークを選択する
ように構成される請求項1に記載の装置。 The circuit
The plurality of trained neural networks are stored in association with the ratio of the spatial frequency components whose magnitude exceeds a predetermined value among the spatial frequency components of the encoded image.
Among the plurality of spatial frequency components acquired from the coded data, the proportion of the spatial frequency component whose magnitude exceeds the predetermined value is acquired.
The apparatus according to claim 1, wherein the trained neural network associated with the ratio of the acquired spatial frequency component is selected from the plurality of trained neural networks.
請求項1又は2に記載の装置。 The device according to claim 1 or 2, wherein the predetermined value is zero.
前記符号化データは、動画構成画像のインター予測又はイントラ予測によって得られた複数の空間周波数成分の予測差分値の量子化によって得られた複数の量子化差分値を示す情報を含み、
前記回路は、
複数の量子化差分値のうち大きさが前記予め定められた値を超える量子化差分値の量に対応づけて、前記複数の学習済みニューラルネットワークを記憶し、
前記符号化データから取得した前記複数の量子化差分値のうち大きさが前記予め定められた値を超える量子化差分値の量を取得し、
前記複数の学習済みニューラルネットワークのうち前記取得した空間周波数成分の量子化差分値の量に対応づけられた学習済みニューラルネットワークを選択し、
前記符号化データから取得した前記複数の量子化差分値の逆量子化によって得られた空間周波数成分の予測差分値に基づいて差分画像を生成し、生成した差分画像にインター予測画像又はイントラ予測画像を加算することにより、復号化された動画構成画像を生成し、
前記選択した前記学習済みニューラルネットワークを用いて、前記生成した前記動画構成画像を処理する
ように構成される請求項1又は2に記載の装置。 The image is a moving image constituent image constituting a moving image, and is
The coded data includes information indicating a plurality of quantization difference values obtained by quantization of prediction difference values of a plurality of spatial frequency components obtained by inter-prediction or intra-prediction of a moving image.
The circuit
The plurality of trained neural networks are stored in association with the amount of the quantization difference value whose magnitude exceeds the predetermined value among the plurality of quantization difference values.
Among the plurality of quantization difference values acquired from the coded data, the amount of the quantization difference value whose magnitude exceeds the predetermined value is acquired.
From the plurality of trained neural networks, a trained neural network corresponding to the amount of the quantization difference value of the acquired spatial frequency component is selected.
A difference image is generated based on the predicted difference value of the spatial frequency component obtained by inverse quantization of the plurality of quantization difference values obtained from the coded data, and the inter-predicted image or the intra-predicted image is added to the generated difference image. By adding, a decoded video composition image is generated,
The apparatus according to claim 1 or 2, wherein the trained neural network selected is used to process the generated moving image constituent image.
前記回路は、
動画構成画像のピクチャ種別にさらに対応づけて、前記複数の学習済みニューラルネットワークを記憶し、
前記複数の学習済みニューラルネットワークのうち、前記符号化データのピクチャ種別と前記取得した空間周波数成分の量とに対応づけられた学習済みニューラルネットワークを選択する
ように構成される請求項1又は2に記載の装置。 The image is a moving image constituent image constituting a moving image, and is
The circuit
The plurality of trained neural networks are stored in association with the picture type of the moving image, and the trained neural networks are stored.
Claim 1 or 2 configured to select a trained neural network associated with the picture type of the coded data and the amount of the acquired spatial frequency component from the plurality of trained neural networks. The device described.
請求項1又は2に記載の装置。 The trained neural network uses the training image and the coded data of the training image as training data, and has a size among a plurality of spatial frequency components acquired from the coded data included in the training data. The apparatus according to claim 1 or 2, wherein is a convolutional neural network obtained by performing machine learning according to the amount of spatial frequency components exceeding the predetermined value.
符号化対象画像をインター予測又はイントラ予測を含む符号化処理で符号化することによって、複数の空間周波数成分の予測差分値を示す情報を含む符号化データを生成し、
前記符号化データを出力し、
前記符号化データを復号化することによって復号化画像を生成し、
前記複数の学習済みニューラルネットワークのうち前記複数の空間周波数成分の予測差分値のうち大きさが予め定められた値を超える空間周波数成分の予測差分値の量に対応づけられた学習済みニューラルネットワークを選択し、
前記選択した前記学習済みニューラルネットワークを用いて、前記生成した前記復号化画像を処理することによって、前記インター予測又は前記イントラ予測に用いられる参照用画像を生成する
ように構成された回路
を備える装置。 Stores a plurality of trained neural networks for processing the decoded image in association with the amount of spatial frequency components of the encoded image whose magnitude exceeds a predetermined value. ,
By encoding the image to be encoded by a coding process including inter-prediction or intra-prediction, coded data including information indicating predicted difference values of a plurality of spatial frequency components is generated.
Output the coded data and
A decoded image is generated by decoding the coded data,
A trained neural network in which the magnitude of the predicted difference values of the plurality of spatial frequency components exceeds a predetermined value among the plurality of trained neural networks is associated with the amount of the predicted difference values of the spatial frequency components. selection,
An apparatus comprising a circuit configured to generate a reference image used for the inter-prediction or the intra-prediction by processing the generated decoded image using the selected trained neural network. ..
請求項7に記載の装置と
を備える画像処理装置。 The device according to claim 1 and
An image processing device including the device according to claim 7.
画像を生成するイメージセンサと
を備える撮像装置。 The device according to claim 1 or 2,
An imaging device including an image sensor that generates an image.
請求項10に記載の移動体。 The mobile body according to claim 10, wherein the mobile body is an unmanned aerial vehicle.
として機能させるためのプログラム。 A program for operating a computer as the device according to claim 1 or 2.
画像の符号化により生成された符号化データを取得する段階と、
前記符号化データから、符号化された画像の複数の空間周波数成分を取得する段階と、
前記符号化データを復号化することにより、復号化画像を生成する段階と、
前記符号化データから取得した前記複数の空間周波数成分のうち大きさが前記予め定められた値を超える空間周波数成分の量を取得する段階と、
前記複数の学習済みニューラルネットワークのうち前記取得した空間周波数成分の量に対応づけられた学習済みニューラルネットワークを選択する段階と、
前記選択した前記学習済みニューラルネットワークを用いて、前記生成した前記復号化画像を処理する段階と
を備える方法。 Stores a plurality of trained neural networks for processing the decoded image in association with the amount of spatial frequency components of the encoded image whose magnitude exceeds a predetermined value. Stages and
The stage of acquiring the coded data generated by coding the image, and
A step of acquiring a plurality of spatial frequency components of a coded image from the coded data, and
The stage of generating a decoded image by decoding the coded data, and
A step of acquiring the amount of the spatial frequency component whose magnitude exceeds the predetermined value among the plurality of spatial frequency components acquired from the coded data, and a step of acquiring the amount of the spatial frequency component.
A step of selecting a trained neural network corresponding to the amount of the acquired spatial frequency component from the plurality of trained neural networks, and a step of selecting the trained neural network.
A method comprising a step of processing the generated decoded image using the selected trained neural network.
符号化対象画像をインター予測又はイントラ予測を含む符号化処理で符号化することによって、複数の空間周波数成分の予測差分値を示す情報を含む符号化データを生成し、
前記符号化データを出力する段階と、
前記符号化データを復号化することによって復号化画像を生成する段階と、
前記複数の学習済みニューラルネットワークのうち前記複数の空間周波数成分の予測差分値のうち大きさが予め定められた値を超える空間周波数成分の予測差分値の量に対応づけられた学習済みニューラルネットワークを選択する段階と、
前記選択した前記学習済みニューラルネットワークを用いて、前記生成した前記復号化画像を処理することによって、前記インター予測又は前記イントラ予測に用いられる参照用画像を生成する段階と
を備える方法。 Stores a plurality of trained neural networks for processing the decoded image in association with the amount of spatial frequency components whose magnitude exceeds a predetermined value among the spatial frequency components of the encoded image. Stages and
By encoding the image to be encoded by a coding process including inter-prediction or intra-prediction, coded data including information indicating predicted difference values of a plurality of spatial frequency components is generated.
The stage of outputting the coded data and
A step of generating a decoded image by decoding the coded data, and
A trained neural network in which the magnitude of the predicted difference values of the plurality of spatial frequency components exceeds a predetermined value among the plurality of trained neural networks is associated with the amount of the predicted difference values of the spatial frequency components. The stage of selection and
A method comprising a step of generating a reference image used for the inter-prediction or the intra-prediction by processing the generated decoded image using the selected trained neural network.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020073149A JP2021170728A (en) | 2020-04-15 | 2020-04-15 | Device, image processor, imaging device, mobile body, program, and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020073149A JP2021170728A (en) | 2020-04-15 | 2020-04-15 | Device, image processor, imaging device, mobile body, program, and method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021170728A true JP2021170728A (en) | 2021-10-28 |
Family
ID=78149723
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020073149A Pending JP2021170728A (en) | 2020-04-15 | 2020-04-15 | Device, image processor, imaging device, mobile body, program, and method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2021170728A (en) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011142423A (en) * | 2010-01-06 | 2011-07-21 | Sony Corp | Image processing apparatus and method |
WO2012029181A1 (en) * | 2010-09-03 | 2012-03-08 | 株式会社 東芝 | Video encoding method and decoding method, encoding device and decoding device |
JP2013243636A (en) * | 2012-04-24 | 2013-12-05 | Sharp Corp | Image decoding device and image coding device |
JP2017526193A (en) * | 2015-07-31 | 2017-09-07 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | Video encoding method and system |
JP2019201255A (en) * | 2018-05-14 | 2019-11-21 | シャープ株式会社 | Image filter device, image decoding device, and image encoding device |
-
2020
- 2020-04-15 JP JP2020073149A patent/JP2021170728A/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011142423A (en) * | 2010-01-06 | 2011-07-21 | Sony Corp | Image processing apparatus and method |
WO2012029181A1 (en) * | 2010-09-03 | 2012-03-08 | 株式会社 東芝 | Video encoding method and decoding method, encoding device and decoding device |
JP2013243636A (en) * | 2012-04-24 | 2013-12-05 | Sharp Corp | Image decoding device and image coding device |
JP2017526193A (en) * | 2015-07-31 | 2017-09-07 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | Video encoding method and system |
JP2019201255A (en) * | 2018-05-14 | 2019-11-21 | シャープ株式会社 | Image filter device, image decoding device, and image encoding device |
Non-Patent Citations (2)
Title |
---|
KEI KAWAMURA, ET AL.: "AHG9: Convolution Neural Network Filter", JOINT VIDEO EXPERTS TEAM (JVET)OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JVET-L383, JPN6021010656, 25 September 2018 (2018-09-25), pages 1 - 3, ISSN: 0004631822 * |
YU-LING HSIAO, ET AL.: "AHG9: Convolutional neural network loop filter", JOINT VIDEO EXPERTS TEAM (JVET)OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, vol. JVET-M0159-v1, JPN6021010658, 3 January 2019 (2019-01-03), pages 1 - 6, ISSN: 0004631823 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109804633B (en) | Method and apparatus for omni-directional video encoding and decoding using adaptive intra-prediction | |
CN109716766B (en) | Method and device for filtering 360-degree video boundary | |
CN109792520B (en) | Methods and apparatus for omni-directional video coding with adaptive intra-most probable modes | |
US20180020204A1 (en) | Data structures and delivery methods for expediting virtual reality playback | |
CN116781930A (en) | Image encoding/decoding method, image data transmitting method, and storage medium | |
KR20190052015A (en) | Method and apparatus for encoding and decoding wide field of view video | |
JP2017123645A (en) | Method for processing reference image, application processor, and mobile terminal | |
BR112020012040B1 (en) | Video decoding method performed by a decoding apparatus and video encoding method performed by an encoding apparatus, and non-transient computer-readable storage media | |
US9813735B2 (en) | Method for encoding a current block of a first image component relative to a reference block of at least one second image component, encoding device and corresponding computer program | |
JP2023025283A (en) | Method and device for processing image signal | |
JP2023544562A (en) | Intra prediction method and device | |
CN108156460B (en) | Video decoding system, video decoding method, and computer storage medium therefor | |
CN116097649A (en) | Parallel encoding of video frames without filtering dependencies | |
KR20200022491A (en) | A method for encoding and decoding an image, an encoding and decoding apparatus, and a corresponding computer program | |
US10536702B1 (en) | Adjusting the image of an object to search for during video encoding due to changes in appearance caused by camera movement | |
JP2021170728A (en) | Device, image processor, imaging device, mobile body, program, and method | |
KR20220059549A (en) | Affine motion model constraint to reduce the number of reference lines fetched during processing of one block row with an enhanced interpolation filter | |
US11245919B2 (en) | Image processing device and image processing method | |
JP2021170727A (en) | Device, image processor, imaging device, mobile body, program, and method | |
ES2859520T3 (en) | Image encoding and decoding procedure, encoding and decoding device and corresponding computer programs | |
JP6905184B2 (en) | Image compression program, image compression device, and image compression method | |
KR20230098911A (en) | Image decoding method and device on basis of affine motion prediction using constructed affine mvp candidate in image coding system | |
JP2022090059A (en) | Video coding method | |
WO2020019279A1 (en) | Video compression method and apparatus, computer system, and mobile device | |
JP2022007220A (en) | Device, imaging device, mobile, program and method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200415 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210330 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210609 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20211102 |