JP2023122317A - Reducing apparatus and program - Google Patents

Reducing apparatus and program Download PDF

Info

Publication number
JP2023122317A
JP2023122317A JP2022025960A JP2022025960A JP2023122317A JP 2023122317 A JP2023122317 A JP 2023122317A JP 2022025960 A JP2022025960 A JP 2022025960A JP 2022025960 A JP2022025960 A JP 2022025960A JP 2023122317 A JP2023122317 A JP 2023122317A
Authority
JP
Japan
Prior art keywords
frequency band
unit
degeneracy
frequency
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022025960A
Other languages
Japanese (ja)
Inventor
康孝 松尾
Yasutaka Matsuo
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
NHK Engineering System Inc
Original Assignee
Nippon Hoso Kyokai NHK
Japan Broadcasting Corp
NHK Engineering System Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Hoso Kyokai NHK, Japan Broadcasting Corp, NHK Engineering System Inc filed Critical Nippon Hoso Kyokai NHK
Priority to JP2022025960A priority Critical patent/JP2023122317A/en
Publication of JP2023122317A publication Critical patent/JP2023122317A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Television Systems (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

To generate a high-quality reduced image.SOLUTION: A reducing apparatus 1 includes: a frequency decomposition unit 10 which performs frequency band decomposition in a spatial direction until each frequency band becomes equal to or lower than a spatial resolution of a reduced image with respect to an original image, to generate a frequency band component; an encoding information extraction unit 13 which performs encoding processing on the reduced image to extract encoding information; a degeneration processing unit 14 which performs degeneration processing on the frequency band component using the encoding information to generate a degenerated frequency band component; a frequency reconfiguration unit 15 which performs frequency reconstruction on the degenerated frequency band component to generate a degenerated image of the same size as the original image; and a spatial resolution reduction unit 16 which generates a reduced image of the degenerated image. The degeneration processing unit 14 sets a degeneration rate of an encoding block position where a quantization parameter is equal to or larger than a threshold, in a frequency band exceeding a lowest frequency band and having a resolution equal to or lower than the spatial resolution of the reduced image, so as to become higher than a degeneration rate of the encoding block position where the quantization parameter is below the threshold.SELECTED DRAWING: Figure 1

Description

本発明は、縮小装置及びプログラムに関する。 The present invention relates to a reduction device and program.

特許文献1には、復号画像の超解像処理を行う際に復号画像自体が劣化している場合は、超解像パラメータによっては劣化成分自体が大きく強調されてしまう可能性があるため、所定の終了条件を満たすまで超解像処理と縮小復元処理を繰り返し行うことで、最適な超解像パラメータを得る技術が開示されている。 In Patent Document 1, if the decoded image itself is degraded when super-resolution processing is performed on the decoded image, the deterioration component itself may be greatly emphasized depending on the super-resolution parameter. A technique for obtaining optimum super-resolution parameters by repeatedly performing super-resolution processing and reduction restoration processing until the end condition of is satisfied is disclosed.

また、特許文献2には、入力画像を一旦縮小して中間解像度に変換し、これに既存の符号化・復号を行った後で元の解像度に戻す方式において、符号化器に応じた符号量とその符号量に対する最適な解像度縮小率を予め蓄積しておき、最適な中間解像度を選択する技術が開示されている。 Further, in Patent Document 2, in a method in which an input image is once reduced and converted to an intermediate resolution, existing encoding/decoding is performed on the input image, and then restored to the original resolution, a code amount corresponding to an encoder is disclosed. and the optimum resolution reduction ratio for the code amount are stored in advance, and the technique for selecting the optimum intermediate resolution is disclosed.

一方、H.265/HEVC(High Efficiency Video Coding)、H.266/VVC(Versatile Video Coding)などの符号化方式では、DCT(Discrete Cosine Transform)などの直交変換や動きベクトルを用いた動き補償が行われる。H.265/HEVCの技術の詳細については、例えば非特許文献1に詳細に記載されている。 On the other hand, H.I. In encoding systems such as H.265/HEVC (High Efficiency Video Coding) and H.266/VVC (Versatile Video Coding), orthogonal transform such as DCT (Discrete Cosine Transform) and motion compensation using motion vectors are performed. H. The details of the H.265/HEVC technology are described in detail in Non-Patent Document 1, for example.

特許第5262879号公報Japanese Patent No. 5262879 特開2000-134618号公報JP-A-2000-134618

大久保榮監修、「インプレス標準教科書シリーズ H.265/HEVC教科書」、株式会社インプレスジャパン、2013年10月21日Supervised by Sakae Okubo, "Impress Standard Textbook Series H.265/HEVC Textbook", Impress Japan Co., Ltd., October 21, 2013

特許文献1、2に開示された従来技術では、縮小画像を生成した際に、符号化が困難な画像において、ブロック歪などのアーティファクトが発生し、画質が劣化するという課題があった。一般に、符号化が困難な画像において十分な符号量が確保できない場合は、符号化アーティファクトによる画質破綻が発生しやすくなる。 The conventional techniques disclosed in Patent Documents 1 and 2 have a problem that when a reduced image is generated, artifacts such as block distortion occur in an image that is difficult to encode, resulting in deterioration of image quality. In general, when a sufficient code amount cannot be secured for an image that is difficult to encode, image quality failure due to encoding artifacts is likely to occur.

かかる事情に鑑みてなされた本発明の目的は、高品質な縮小画像を生成することが可能な縮小装置及びプログラムを提供することにある。 SUMMARY OF THE INVENTION An object of the present invention, which has been made in view of such circumstances, is to provide a reduction apparatus and program capable of generating a high-quality reduced image.

上記課題を解決するため、一実施形態に係る縮小装置は、原画像の縮小画像を生成する縮小装置であって、前記原画像に対して位相情報を保持しながら、各周波数帯域が前記縮小画像の空間解像度以下となるまで空間方向の周波数帯域分解を行い、周波数帯域成分を生成する周波数分解部と、前記縮小画像に対して符号化処理を行い、符号化ブロック毎に、符号化に用いられた量子化パラメータを含む符号化情報を抽出する符号化情報抽出部と、前記周波数帯域成分に対して、前記符号化情報を用いて縮退処理を行い、成分が縮退された縮退周波数帯域成分を生成する縮退処理部と、前記縮退周波数帯域成分に対して、周波数再構成を行い、原画像と同じサイズの縮退画像を生成する周波数再構成部と、前記縮退画像の空間解像度を縮小した縮小画像を生成する空間解像度縮小部と、を備え、前記縮退処理部は、最低周波数帯域においては縮退処理を行わず、前記最低周波数帯域を超え且つ前記縮小画像の空間解像度以下の周波数帯域においては、前記量子化パラメータが第1閾値以上となる符号化ブロック位置の縮退率を、前記量子化パラメータが前記第1閾値未満となる符号化ブロック位置の縮退率よりも高くする。 In order to solve the above problems, a reduction device according to one embodiment is a reduction device that generates a reduced image of an original image, wherein each frequency band is reduced to the reduced image while maintaining phase information for the original image. A frequency decomposition unit that performs frequency band decomposition in the spatial direction until the spatial resolution becomes equal to or less than the spatial resolution of , and generates frequency band components. a coded information extraction unit for extracting coded information including the quantization parameter obtained from the quantization parameter; a frequency reconstruction unit that performs frequency reconstruction on the degenerated frequency band components to generate a degenerated image having the same size as the original image; and a reduced image obtained by reducing the spatial resolution of the degenerated image. and a spatial resolution reduction unit that generates the quantum The degeneracy rate of the coding block positions where the quantization parameter is equal to or greater than the first threshold is made higher than the degeneracy rate of the coding block positions where the quantization parameter is less than the first threshold.

さらに、一実施形態に係る縮小装置において、前記縮退処理部は、前記周波数帯域成分のうち、前記縮小画像の空間解像度を超える周波数帯域の縮退率を最も高くしてもよい。 Furthermore, in the reduction apparatus according to one embodiment, the reduction processing unit may set the highest reduction rate of a frequency band exceeding the spatial resolution of the reduced image among the frequency band components.

さらに、一実施形態に係る縮小装置において、前記符号化情報抽出部、前記縮退処理部、前記周波数再構成部、及び前記空間解像度縮小部による処理は、前記量子化パラメータの値が第2閾値よりも小さくなるまで繰り返し行われてもよい。 Further, in the reduction device according to one embodiment, the processing by the encoded information extraction unit, the degeneration processing unit, the frequency reconstruction unit, and the spatial resolution reduction unit is such that the value of the quantization parameter is less than the second threshold. This may be repeated until it becomes smaller.

さらに、一実施形態に係る縮小装置において、前記周波数帯域成分のうち、対角方向の最高周波数帯域成分を用いて雑音レベルを算出する雑音レベル設定部を更に備え、前記縮退処理部は、前記雑音レベル以下の前記周波数帯域成分の縮退率を、前記雑音レベルを超える前記周波数帯域成分の縮退率よりも高くしてもよい。 Further, the reduction apparatus according to one embodiment further includes a noise level setting unit that calculates a noise level using the highest frequency band component in the diagonal direction among the frequency band components, and the degeneration processing unit is configured to: A degeneracy rate of the frequency band components below the level may be higher than a degeneracy rate of the frequency band components above the noise level.

さらに、一実施形態に係る縮小装置において、前記縮退処理部は、絶対値が上位から所定の順位に含まれる時空間周波数帯域成分の縮退率を、絶対値が前記所定の順位に含まれない時空間周波数帯域成分の縮退率よりも高くしてもよい。 Further, in the reduction apparatus according to one embodiment, the degeneracy processing unit reduces the degeneracy rate of the spatio-temporal frequency band components whose absolute values are included in a predetermined order from the highest to It may be higher than the degeneracy rate of the spatial frequency band component.

さらに、一実施形態に係る縮小装置において、前記周波数分解部は、前記原画像に対して、時間方向にも周波数帯域分解を行い、前記周波数帯域成分を生成してもよい。 Furthermore, in the reduction device according to one embodiment, the frequency decomposition section may also perform frequency band decomposition on the original image in the time direction to generate the frequency band components.

さらに、一実施形態に係る縮小装置において、前記縮退処理部は、前記最低周波数帯域を超え且つ前記縮小画像の空間解像度以下の周波数帯域において、時間方向の周波帯域成分が第3閾値を超える場合に縮退処理を行ってもよい。 Further, in the reduction apparatus according to one embodiment, the reduction processing unit performs the A reduction process may be performed.

また、一実施形態係るプログラムは、コンピュータを、上記縮小装置として機能させる。 A program according to one embodiment causes a computer to function as the reduction device.

本発明によれば、高品質な縮小画像を生成することができる。 According to the present invention, a high-quality reduced image can be generated.

第1の実施形態に係る縮小装置の構成例を示すブロック図である。2 is a block diagram showing a configuration example of a reduction device according to the first embodiment; FIG. 8K解像度の原画像を空間方向に4階ウェーブレットパケット分解した様子を示す図である。FIG. 10 is a diagram showing a state in which an original image of 8K resolution is decomposed into four-order wavelet packets in the spatial direction; 8K解像度の原画像を空間方向に4階ウェーブレットパケット分解し、時間方向に1階ウェーブレットパケット分解した様子を示す図である。FIG. 10 is a diagram showing a state in which an original image of 8K resolution is decomposed into 4th-order wavelet packets in the spatial direction and 1st-order wavelet packets are decomposed in the time direction; 第2の実施形態に係る縮小装置の構成例を示すブロック図である。FIG. 11 is a block diagram showing a configuration example of a reduction device according to the second embodiment; 第2の実施形態に係る縮小装置で使用される基本縮退関数の一例を示す図である。FIG. 10 is a diagram showing an example of a basic degeneracy function used in the reduction device according to the second embodiment; 第3の実施形態に係る縮小装置の構成例を示すブロック図である。FIG. 11 is a block diagram showing a configuration example of a reduction device according to a third embodiment;

以下、本発明の実施形態について、図面を参照して詳細に説明する。 BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

(第1の実施形態)
図1は、本発明の第1の実施形態に係る縮小装置1の構成例を示すブロック図である。図1に示す縮小装置1は、周波数分解部10と、符号化情報抽出部13と、縮退処理部14と、周波数再構成部15と、空間解像度縮小部16と、を備える。
(First embodiment)
FIG. 1 is a block diagram showing a configuration example of a reduction device 1 according to the first embodiment of the present invention. A reduction device 1 shown in FIG.

縮小装置1は、原画像を入力し、原画像(入力画像)の空間解像度を縮小した縮小画像を生成して出力する。縮小装置1は、例えば8K解像度で撮影された原画像を4K解像度に縮小して放送する場合などに、画像符号化のプリ処理として用いることができる。 A reduction device 1 receives an original image, generates and outputs a reduced image obtained by reducing the spatial resolution of the original image (input image). The reduction device 1 can be used as pre-processing for image coding when, for example, an original image shot at 8K resolution is reduced to 4K resolution and broadcasted.

周波数分解部10は、空間周波数帯域分解部11と、時間周波数帯域分解部12と、を備える。本実施形態では、周波数分解部10が時間周波数帯域分解部12を備えるものとして説明するが、時間周波数帯域分解部12を備えない構成であってもよい。 The frequency decomposition unit 10 includes a spatial frequency band decomposition unit 11 and a temporal frequency band decomposition unit 12 . In this embodiment, the frequency decomposition unit 10 is described as including the time frequency band decomposition unit 12, but the configuration without the time frequency band decomposition unit 12 is also possible.

空間周波数帯域分解部11は、原画像に対して位相情報を保持しながら(すなわち、デシメーション無しで)、各周波数帯域が縮小装置1の出力する縮小画像の空間解像度以下となるまで空間方向の周波数帯域分解を行い、空間周波数帯域毎の成分(以下、「空間周波数帯域成分」という。)を生成する。各成分はパワースペクトルを示す。そして、空間周波数帯域分解部11は、空間周波数帯域成分を時間周波数帯域分解部12に出力する。本実施形態では、周波数帯域分解としてウェーブレットパケット分解を行う。なお、ウェーブレットフィルタ及び空間分解階層数は、ユーザが任意に設定可能である。 Spatial frequency band decomposition unit 11 maintains phase information for the original image (that is, without decimation), and divides the frequencies in the spatial direction until each frequency band is equal to or lower than the spatial resolution of the reduced image output from reduction device 1. Band decomposition is performed to generate components for each spatial frequency band (hereinafter referred to as "spatial frequency band components"). Each component represents a power spectrum. Then, the spatial frequency band decomposition section 11 outputs the spatial frequency band components to the temporal frequency band decomposition section 12 . In this embodiment, wavelet packet decomposition is performed as frequency band decomposition. Note that the wavelet filter and the number of spatial decomposition layers can be arbitrarily set by the user.

図2は、8K解像度の原画像を空間方向に4階ウェーブレットパケット分解して、1K×0.5K毎の空間周波数帯域に分解した様子を示す図である。原画像の多重解像度分解を高精度に行うためには、線形位相性を有し、比較的タップ長が長く遮断特性が急峻なウェーブレットフィルタ(例えば、CDF(Cohen-Daubechies-Feauveau)9/7、Biorthogonal(6,8)など)を用いることが望ましい。また、各帯域間のパワーは、パーセバルの等式を満たすものとする。 FIG. 2 is a diagram showing how an original image of 8K resolution is decomposed into four-order wavelet packets in the spatial direction into spatial frequency bands of 1K×0.5K. In order to perform multi-resolution decomposition of the original image with high accuracy, a wavelet filter having linear phase characteristics, a relatively long tap length, and a steep cut-off characteristic (for example, CDF (Cohen-Daubechies-Feauveau) 9/7, Biorthogonal (6,8), etc.) is preferred. It is also assumed that the power between each band satisfies Parseval's equation.

また、空間周波数帯域分解部11は、本実施形態ではデシメーション無しのウェーブレットパケット分解を用いて空間周波数帯域分解を行う。そのため、各周波数帯域内の空間方向の要素数は8K×4K個である。なお、図2において、XXで示す周波数帯域は、それぞれLL,LH,HL,HHの4つの周波数帯域により構成される。 Further, the spatial frequency band decomposition unit 11 performs spatial frequency band decomposition using wavelet packet decomposition without decimation in this embodiment. Therefore, the number of elements in the spatial direction within each frequency band is 8K×4K. In FIG. 2, the frequency bands indicated by XX are composed of four frequency bands LL, LH, HL and HH.

時間周波数帯域分解部12は、空間周波数帯域分解部11により生成された空間周波数帯域成分に対して時間方向の周波数帯域分解を行い、時空間周波数帯域毎のパワースペクトル要素成分(以下、「時空間周波数帯域成分」という。)を生成する。そして、時間周波数帯域分解部12は、時空間周波数帯域成分を縮退処理部14に出力する。本実施形態では、周波数帯域分解としてウェーブレット分解を行う。なお、ウェーブレットフィルタ及び時間分解階層数は、ユーザが任意に設定可能である。 The temporal frequency band decomposition unit 12 performs frequency band decomposition in the time direction on the spatial frequency band components generated by the spatial frequency band decomposition unit 11, and generates power spectrum element components for each spatio-temporal frequency band (hereinafter referred to as “spatio-temporal (referred to as "frequency band components"). Then, the time-frequency band decomposition unit 12 outputs the spatio-temporal frequency band components to the degeneration processing unit 14 . In this embodiment, wavelet decomposition is performed as frequency band decomposition. A user can arbitrarily set the wavelet filter and the number of temporal decomposition layers.

図3は、8K解像度の原画像を空間方向に4階ウェーブレットパケット分解し、時間方向に1階ウェーブレットパケット分解した様子を示す図である。60フレーム/秒の空間周波数帯域成分を1階ウェーブレットパケット分解すると、1から30フレーム/秒と31から60フレーム/秒の時間周波数帯域に分解される。ここで、ウェーブレットフィルタは空間周波数帯域分解部11と同じとする。また、デシメーション無しのウェーブレットパケット分解を行った場合、各周波数帯域内の時間方向の要素数は60個である。各周波数帯域内の時空間方向の要素数は8K×4K×60個である。 FIG. 3 is a diagram showing a state in which an original image of 8K resolution is decomposed into four-order wavelet packets in the spatial direction and first-order wavelet packets are decomposed in the temporal direction. When the spatial frequency band component of 60 frames/second is decomposed into first-order wavelet packets, it is decomposed into temporal frequency bands of 1 to 30 frames/second and 31 to 60 frames/second. Here, the wavelet filter is assumed to be the same as the spatial frequency band decomposition unit 11 . Also, when wavelet packet decomposition is performed without decimation, the number of elements in the time direction within each frequency band is 60 pieces. The number of elements in the spatio-temporal direction within each frequency band is 8K×4K×60.

符号化情報抽出部13は、後述する空間解像度縮小部16により生成された縮小画像に対して符号化処理を行い、符号化ブロック毎に、符号化に用いられた符号化情報を抽出する。そして、符号化情報抽出部13は、符号化情報を縮退処理部14に出力する。ここでは例として符号化処理をVVC/H.266を用いて行い、符号化情報として、符号化ブロック(すなわち、符号化ユニットCU(Coding Unit))の分割情報と、CU毎の量子化パラメータQP(Quantization Parameter)及び動きベクトルの情報と、を抽出する。CUの分割情報とは、CUのサイズ情報及び位置情報である。 The encoding information extraction unit 13 performs encoding processing on the reduced image generated by the spatial resolution reduction unit 16, which will be described later, and extracts encoding information used for encoding for each encoded block. The encoded information extractor 13 then outputs the encoded information to the degeneracy processor 14 . Here, as an example, the encoding process is performed using VVC/H. H.266, and as encoding information, encoding block (that is, encoding unit CU (Coding Unit)) division information, quantization parameter QP (Quantization Parameter) for each CU and motion vector information. Extract. The CU partition information is size information and position information of the CU.

縮退処理部14は、外部から縮退設定情報を取得する。縮退設定情報とは、縮小空間解像度情報、帯域制限周波数情報、及び縮退係数情報を含む情報である。まず、これらの情報について説明した後、縮退処理について説明する。 The degeneracy processing unit 14 acquires degeneracy setting information from the outside. The degeneracy setting information is information including reduced spatial resolution information, band limit frequency information, and degeneracy coefficient information. First, these pieces of information will be described, and then degeneration processing will be described.

縮小空間解像度情報とは、生成する縮小画像の空間解像度を指定する情報であり、ユーザにより設定される。水平方向の縮小空間解像度をHとし、垂直方向の縮小空間解像度をVとすると、例えば、縮小空間解像度{H,V}は以下の8種類から選択される。
{H,V}={1K,0.5K},{2K,1K},{3K,1.5K},{4K,2K},{5K,2.5K},{6K,3K},{7K,3.5K},{8K,4K}(8種類)
The reduced spatial resolution information is information specifying the spatial resolution of the reduced image to be generated, and is set by the user. Assuming that the horizontal reduced spatial resolution is H S and the vertical reduced spatial resolution is V S , for example, the reduced spatial resolution {H S , V S } is selected from the following eight types.
{H S , V S }={1K, 0.5K}, {2K, 1K}, {3K, 1.5K}, {4K, 2K}, {5K, 2.5K}, {6K, 3K}, {7K, 3.5K}, {8K, 4K} (8 types)

帯域制限周波数情報とは、帯域制限される下限の周波数を指定する情報であり、ユーザにより設定される。水平方向の帯域制限下限周波数をHとし、垂直方向の帯域制限下限周波数をVとし、時間方向の帯域制限下限周波数をTとすると、例えば、帯域制限下限周波数{H,V,T}は以下の組み合わせとする。
水平方向H=1K,2K,3K,4K,5K,6K,7K,8K(8種類)
垂直方向V=0.5K,1K,1.5K,2K,2.5K,3K,3.5K,4K(8種類)
時間方向T=30,60(2種類)
The band-limiting frequency information is information specifying the lower limit frequency to be band-limited, and is set by the user. Let H L be the horizontal band limit lower limit frequency, V L be the vertical band limit frequency lower limit, and T L be the time direction band limit lower limit frequency. T L } is a combination of the following.
Horizontal direction HL = 1K, 2K, 3K, 4K, 5K, 6K, 7K, 8K (8 types)
Vertical direction V L = 0.5K, 1K, 1.5K, 2K, 2.5K, 3K, 3.5K, 4K (8 types)
Time direction TL = 30, 60 (2 types)

なお、縮小装置1が時間周波数帯域分解部12を備えない場合には、帯域制限下限周波数は{H,V}である。また、帯域制限下限周波数は、設定でオン/オフを指定してもよい。オフの場合には、{H,V}={H,V}となり、縮小装置1が時間周波数帯域分解部12を備える場合はT=60となる。 Note that when the reduction device 1 does not include the time-frequency band decomposition unit 12, the band limit lower limit frequency is { HL , VL }. Also, the band limit lower limit frequency may be set to ON/OFF. When it is off, {H L , V L }={H S , V S }, and T L =60 when the reduction device 1 includes the time-frequency band decomposition unit 12 .

縮退係数情報とは、0以上1以下の縮退係数を示す情報であり、ユーザにより設定される。縮退係数は複数あってもよい。本実施形態では、縮退係数として、縮退率が最も低い第1縮退係数m、縮退率が次に低い第2縮退係数m、及び縮退率が最も高い第3縮退係数mを用いるものとする。例えば初期値は、m=0.5(3dB減衰)、m=0.1(10dB減衰)、m=0.001(30dB減衰)とする。 The shrinkage coefficient information is information indicating a shrinkage coefficient between 0 and 1, and is set by the user. There may be multiple degeneracy coefficients. In this embodiment, the first shrinkage coefficient m 1 with the lowest shrinkage rate, the second shrinkage coefficient m 2 with the next lowest shrinkage rate, and the third shrinkage coefficient m 3 with the highest shrinkage rate are used as the shrinkage coefficients. do. For example, the initial values are m 1 =0.5 (3 dB attenuation), m 2 =0.1 (10 dB attenuation), and m 3 =0.001 (30 dB attenuation).

縮退処理部14は、時間周波数帯域分解部12から取得した時空間周波数帯域成分に対して、符号化情報抽出部13から取得した符号化情報、及び外部から取得した縮退設定情報を用いて、成分が縮退された時空間周波数帯域成分(以下、「縮退周波数帯域成分」という。)を生成する。この縮退処理により周波数帯域が制限される。そして、縮退処理部14は、縮退周波数帯域成分を周波数再構成部15に出力する。 The degeneracy processing unit 14 uses the coding information obtained from the coding information extraction unit 13 and the degeneracy setting information obtained from the outside for the spatio-temporal frequency band components obtained from the time-frequency band decomposition unit 12 to convert the components generates degenerate spatio-temporal frequency band components (hereinafter referred to as "degenerate frequency band components"). This degeneracy process limits the frequency band. The degeneration processing unit 14 then outputs the degenerated frequency band components to the frequency reconstruction unit 15 .

縮退係数の適用例について説明する。縮退処理を行わない周波数帯域と、第3縮退係数mを適用する周波数帯域は、例えば以下のようにすることができる。
縮退処理なし:直流成分を含む最も低い時空間周波数帯域(最低周波数帯域LL)においては縮退処理を行わない(すなわち、成分を変更しない)。
第3縮退係数m:縮小空間解像度{H,V}を超える周波数帯域において適用する。
An application example of the shrinkage factor will be described. For example, the frequency band to which degeneration processing is not performed and the frequency band to which the third degeneration factor m3 is applied can be set as follows.
No degeneracy process: no degeneracy process is performed in the lowest spatio-temporal frequency band (lowest frequency band LL 1 ) containing a DC component (that is, the component is not changed).
Third degeneracy factor m 3 : applied in the frequency band above the reduced spatial resolution {H S , V S }.

また、最低周波数帯域を超え且つ縮小空間解像度{H,V}以下の周波数帯域には、CU位置毎の空間周波数パワー割合、及び符号化情報(量子化パラメータQP、動きベクトルの大きさ等)に応じて、CU位置又は要素位置毎に第1縮退係数mと第2縮退係数mに切り替えて適用する。縮退係数の切り替えとしては、例えば以下の基準で行う。
第2縮退係数m:最低周波数帯域を超え且つ縮小空間解像度{H,V}以下の周波数帯域において、量子化パラメータQPが閾値Tq(第1閾値)以上となるCU位置に適用する。
第1縮退係数m:最低周波数帯域を超え且つ縮小空間解像度{H,V}以下の周波数帯域において、量子化パラメータQPが閾値Tq未満となるCU位置に適用する。
In addition, in the frequency band exceeding the lowest frequency band and below the reduced spatial resolution {H S , V S }, the spatial frequency power ratio for each CU position and coding information (quantization parameter QP, motion vector size, etc. ), the first shrinkage coefficient m1 and the second shrinkage coefficient m2 are switched and applied for each CU position or element position. The degeneracy coefficient is switched according to, for example, the following criteria.
Second degeneracy factor m 2 : Applied to CU positions where the quantization parameter QP is equal to or greater than the threshold Tq (first threshold) in the frequency band exceeding the lowest frequency band and equal to or lower than the reduced spatial resolution {H S , V S }.
First degeneracy factor m 1 : applied to CU positions where the quantization parameter QP is less than the threshold Tq in the frequency band above the lowest frequency band and below the reduced spatial resolution {H S , V S }.

また、縮退処理部14は、時間方向の周波帯域成分が時間周波数閾値(第3閾値)を超える場合にも縮退処理を行ってもよい。例えば、第1縮退係数mの適用基準に以下を追加してもよい。
第1縮退係数m:最低周波数帯域を超え且つ縮小空間解像度{H,V}以下の周波数帯域において、帯域制限下限周波数{H,V,T}を超える時空間高周波数帯域に適用する。
The degeneracy processing unit 14 may also perform degeneracy processing when the frequency band component in the time direction exceeds the time-frequency threshold (third threshold). For example, the following may be added to the application criteria for the first shrinkage factor m1 .
First degeneracy coefficient m 1 : spatio-temporal high frequency band exceeding the band limit lower limit frequency { HL , VL , TL } in the frequency band exceeding the lowest frequency band and below the reduced spatial resolution { HS , VS } apply to

なお、縮退係数m,m,m、及び各縮退係数を適用する条件は、ユーザが任意に設定可能であり、上記の例に限られるものではない。例えば、第1縮退係数mを適用する基準を、「最低周波数帯域を超え且つ縮小空間解像度{H,V}以下の周波数帯域において、量子化パラメータQPが閾値Tq未満となるCU位置のうち、空間高周波パワーの割合が閾値Tp以上となる要素位置、又は動きベクトルの大きさが閾値Tm以上となるCU位置」としてもよい。また、第1縮退係数m、第2縮退係数m、第3縮退係数mの全てではなく、いずれか1つ以上を適用してもよい。 The shrinkage coefficients m 1 , m 2 , m 3 and conditions for applying each shrinkage coefficient can be arbitrarily set by the user and are not limited to the above example. For example, the criterion for applying the first degeneracy factor m1 is defined as "the number of CU positions where the quantization parameter QP is less than the threshold Tq in the frequency band exceeding the lowest frequency band and below the reduced spatial resolution {H S , V S }. Among them, the element positions where the ratio of the spatial high-frequency power is equal to or higher than the threshold value Tp, or the CU positions where the magnitude of the motion vector is equal to or higher than the threshold value Tm. Also, one or more of the first shrinkage coefficient m 1 , the second shrinkage coefficient m 2 , and the third shrinkage coefficient m 3 may be applied instead of all of them.

周波数再構成部15は、縮退処理部14により生成された縮退周波数帯域成分に対して、周波数再構成(例えば、ウェーブレットパケット逆分解)を行い、原画像と同じサイズの縮退画像を生成する。周波数再構成は、周波数分解部10が時間周波数帯域分解部12を備える場合には時間方向及び空間方向に対して行い、周波数分解部10が時間周波数帯域分解部12を備えない場合には空間方向に対して行う。そして、周波数再構成部15は、縮退画像を空間解像度縮小部16に出力する。 The frequency reconstruction unit 15 performs frequency reconstruction (for example, wavelet packet inverse decomposition) on the degenerated frequency band components generated by the degeneration processing unit 14 to generate a degenerated image having the same size as the original image. Frequency reconstruction is performed in the time direction and the spatial direction when the frequency resolving unit 10 includes the time frequency band resolving unit 12, and in the spatial direction when the frequency resolving unit 10 does not include the time frequency band resolving unit 12. against The frequency reconstruction unit 15 then outputs the degenerated image to the spatial resolution reduction unit 16 .

空間解像度縮小部16は、周波数再構成部15により生成された縮退画像の空間解像度を縮小した縮小画像を生成する。空間解像度縮小部16は、例えば縮退画像の画素を間引いて、空間解像度{H,V}の縮小画像を生成する。なお、縮小率は、ユーザが任意に設定可能である。縮小率が整数分の1倍ではない場合の補間内挿フィルタはNearest neighbor,Bicubic,Lanczos-3など、ユーザが指定することができる。そして、空間解像度縮小部16は、縮小画像を縮小装置1の外部及び縮退処理部14に出力する。 The spatial resolution reduction unit 16 generates a reduced image by reducing the spatial resolution of the degenerated image generated by the frequency reconstruction unit 15 . The spatial resolution reduction unit 16 thins out pixels of the degenerated image, for example, to generate a reduced image with spatial resolutions {H S , V S }. Note that the reduction ratio can be arbitrarily set by the user. A user can specify an interpolation filter such as Nearest neighbor, Bicubic, or Lanczos-3 when the reduction ratio is not 1/integer. The spatial resolution reduction unit 16 then outputs the reduced image to the outside of the reduction device 1 and to the reduction processing unit 14 .

縮小装置1が最初に縮小画像を生成する際には符号化情報抽出部13により符号化情報が抽出されないため、符号化情報として初期値を用いる。縮小装置1は、符号化情報抽出部13、縮退処理部14、周波数再構成部15、及び空間解像度縮小部16による処理を、符号化情報抽出部13により抽出される量子化パラメータQPがQP閾値(第2閾値)よりも小さくなるまで繰り返し行う。この処理を繰り返す際には、符号化情報及び縮退設定情報のうち、任意のパラメータが変更することができる。また、縮小装置1は、周波数分解部10による処理も含めて量子化パラメータQPの値がQP閾値よりも小さくなるまで繰り返し行い、繰り返す際に、周波数分解に用いられるフィルタを変更してもよい。 Since the encoding information is not extracted by the encoding information extraction unit 13 when the reduction device 1 first generates a reduced image, an initial value is used as the encoding information. The reduction device 1 carries out processing by the coding information extraction unit 13, the degeneration processing unit 14, the frequency reconstruction unit 15, and the spatial resolution reduction unit 16 so that the quantization parameter QP extracted by the coding information extraction unit 13 is equal to the QP threshold. It is repeated until it becomes smaller than (second threshold value). When repeating this process, any parameter in the encoding information and degeneracy setting information can be changed. Further, the reduction device 1 may repeat the processing including the processing by the frequency decomposition unit 10 until the value of the quantization parameter QP becomes smaller than the QP threshold, and change the filter used for frequency decomposition during the repetition.

以上説明したように、縮小装置1は原画像を周波数帯域成分に分解し、帯域制限を行う。そのため、高品質な縮小画像を生成することが可能となる。例えば、8K解像度で撮影された原画像を4K解像度に縮小して放送する場合などに、縮小装置1により画像を縮小することで、符号化が困難な画像で発生しやすい符号化アーティファクトによる画質破綻を抑制することができ、縮小画像の符号化を高品質に行うことが可能となる。 As described above, the reduction device 1 decomposes the original image into frequency band components and performs band limitation. Therefore, it is possible to generate a high-quality reduced image. For example, when an original image shot at 8K resolution is reduced to 4K resolution and broadcasted, by reducing the image with the reduction device 1, image quality is destroyed due to coding artifacts that are likely to occur in images that are difficult to encode. can be suppressed, and the reduced image can be coded with high quality.

(第2の実施形態)
次に、第2の実施形態に係る縮小装置について説明する。図4は、第2の実施形態に係る縮小装置2の構成例を示すブロック図である。図4に示す縮小装置2は、周波数分解部10と、符号化情報抽出部13と、縮退処理部14aと、周波数再構成部15と、空間解像度縮小部16と、雑音レベル設定部17と、を備える。第2の実施形態に係る縮小装置2は第1の実施形態に係る縮小装置1と比較して、縮退処理部14に代えて縮退処理部14aを備える点と、雑音レベル設定部17を更に備える点が相違する。その他の構成については第1の実施形態と同一であるため、同一の参照番号を付して説明を省略する。
(Second embodiment)
Next, a reduction device according to a second embodiment will be described. FIG. 4 is a block diagram showing a configuration example of the reduction device 2 according to the second embodiment. The reduction device 2 shown in FIG. 4 includes a frequency decomposition unit 10, a coding information extraction unit 13, a degeneration processing unit 14a, a frequency reconstruction unit 15, a spatial resolution reduction unit 16, a noise level setting unit 17, Prepare. Compared to the reduction apparatus 1 according to the first embodiment, the reduction apparatus 2 according to the second embodiment includes a reduction processing unit 14a instead of the reduction processing unit 14, and further includes a noise level setting unit 17. There are differences. Since other configurations are the same as those of the first embodiment, the same reference numerals are given and descriptions thereof are omitted.

雑音レベル設定部17は、周波数分解部10から時空間周波数帯域成分を入力し、雑音除去を行うためのパラメータとして雑音レベルを設定する。そして、雑音レベル設定部17は、雑音レベルを縮退処理部14aに出力する。ユーザにより雑音レベル設定を自動で行う自動設定モードと、雑音レベル設定を手動で行う手動設定モードとを指定できてもよい。手動設定モードでは、ユーザが任意の雑音レベルを設定可能である。なお、雑音レベルを設定するか否かをユーザにより指定できてもよい。 The noise level setting unit 17 receives the spatio-temporal frequency band components from the frequency decomposition unit 10 and sets the noise level as a parameter for removing noise. Then, the noise level setting unit 17 outputs the noise level to the degeneration processing unit 14a. The user may designate an automatic setting mode in which the noise level is automatically set and a manual setting mode in which the noise level is manually set. In manual setting mode, the user can set any noise level. It should be noted that the user may be able to specify whether or not to set the noise level.

雑音レベル設定部17は、自動設定モードの場合には、時空間周波数帯域成分のうち、対角方向の最高周波数帯域成分を用いて雑音レベルを算出する。雑音レベルは複数あってもよい。例えば雑音レベル設定部17は、下記式(1)~(3)により2つの雑音レベル{L,L}を算出する。対角方向の最高周波数帯域(以下、「対角最高周波数帯域」という。)は、図2に示す例では、時間ウェーブレットパケット分解無しの場合は周波数帯域XX64であり、時間ウェーブレットパケット分解有りの場合は周波数帯域XX64の時間高周波帯域である。また、XX64のうちLL64,HH64などいずれかの周波数帯域であってもよい。下記式において、pは対角最高周波数帯域の全要素数であり、xは対角最高周波数帯域の各成分値であり、μは対角最高周波数帯域の成分値の算術平均値である。実際は、式(1)の平方根内は定数になるため、Lの計算は、(対角最高周波数帯域の成分値の標準偏差)×(定数)となる。また、Lにおいては外れ値を除くため、上位γ%(例えば、γ=95)の値を最大値とみなしてもよい。 In the automatic setting mode, the noise level setting unit 17 calculates the noise level using the highest frequency band component in the diagonal direction among the spatio-temporal frequency band components. There may be multiple noise levels. For example, the noise level setting unit 17 calculates two noise levels {L 1 , L 2 } by the following equations (1) to (3). In the example shown in FIG. 2, the highest frequency band in the diagonal direction (hereinafter referred to as the "highest diagonal frequency band") is the frequency band XX 64 without temporal wavelet packet decomposition, and XX 64 with temporal wavelet packet decomposition. The case is the temporal high frequency band of frequency band XX 64 . Also, it may be any frequency band such as LL 64 or HH 64 among XX 64 . In the following equation, p is the total number of elements in the diagonal highest frequency band, x i is each component value of the diagonal highest frequency band, and μ is the arithmetic mean value of the component values of the diagonal highest frequency band. In practice, the square root of equation (1) is constant, so the calculation of L1 is (standard deviation of component values in diagonal highest frequency band)×(constant). In addition, in order to exclude outliers in L2 , the top γ% (eg, γ=95) value may be regarded as the maximum value.

Figure 2023122317000002
Figure 2023122317000002

雑音レベル設定部17は、雑音レベル{L,L}ついて、さらに図2で示す周波数帯域識別子n=1~64の周波数帯域毎にオフセットを乗じてもよい。オフセットの適用の有無、及びオフセット値は周波数帯域毎に設定可能である。周波数帯域毎のオフセットは、例えば下記表1とする。この例では、n=1~4の周波数帯域については、時間低周波帯域については雑音レベル{L,L}を1.4倍し、時間高周波帯域については雑音レベル{L,L}を1.2倍する。他の周波数帯域についても同様に、表1に示すオフセットが適用される。なお、周波数分解部10が時間周波数帯域分解部12を備えない場合には、時間低周波帯域のオフセットのみ使用される。 The noise level setting unit 17 may further multiply the noise levels {L 1 , L 2 } by an offset for each frequency band of frequency band identifiers n=1 to 64 shown in FIG. Whether or not to apply the offset and the offset value can be set for each frequency band. For example, the offset for each frequency band is shown in Table 1 below. In this example, for frequency bands of n=1 to 4, the noise levels {L 1 , L 2 } for the temporal low frequency band are multiplied by 1.4, and the noise levels {L 1 , L 2 } for the temporal high frequency band } is multiplied by 1.2. The offsets shown in Table 1 are similarly applied to other frequency bands. If the frequency decomposition unit 10 does not include the temporal frequency band decomposition unit 12, only the offset of the temporal low frequency band is used.

Figure 2023122317000003
Figure 2023122317000003

縮退処理部14aは、雑音レベル設定部17により設定された雑音レベル以下の時空間周波数帯域成分の縮退率を、雑音レベルを超える時空間周波数帯域成分の縮退率よりも高くする。例えば、縮退処理部14aは、雑音レベル設定部17により設定された雑音レベル{L,L}(オフセットの適用有りの設定時にはオフセット後のL,L)から縮退関数を生成し、縮退関数に基づいて、時間周波数帯域分解部12から取得した時空間周波数帯域成分に対して、雑音除去及び縮退処理を行い、縮退周波数帯域成分を生成する。縮退関数を適用する要素位置における成分値xは、縮退関数y=f(x)に従ってyに変換される。縮退関数は複数種類あってもよい。本実施形態では、縮退関数として、基本縮退関数、第1縮退関数、第2縮退関数、及び第3縮退関数を用いる。 The degeneracy processing unit 14a makes the degeneracy rate of the spatio-temporal frequency band components below the noise level set by the noise level setting unit 17 higher than the degeneracy rate of the spatio-temporal frequency band components exceeding the noise level. For example, the degeneracy processing unit 14a generates a degeneracy function from the noise levels {L 1 , L 2 } set by the noise level setting unit 17 (L 1 , L 2 after offset when the offset is set), Based on the degeneration function, noise removal and degeneration processing are performed on the spatio-temporal frequency band components acquired from the time-frequency band decomposition unit 12 to generate degenerated frequency band components. A component value x at an element location to which a degeneracy function is applied is transformed to y according to the degeneracy function y=f(x). There may be multiple types of degenerate functions. In this embodiment, a basic degenerate function, a first degenerate function, a second degenerate function, and a third degenerate function are used as degenerate functions.

図5は、基本縮退関数f(x)の一例を示す図である。図5に示すように、基本縮退関数f(x)は、xの絶対値である|x|が0以上且つL未満の区間ではy=0とする。|x|がL以上且つL未満の区間では、xが正であればy=(x-L)L/(L-L)とし、xが負であればy=(x+L)L/(L-L)とする。|x|がL以上の区間では、y=xとする。なお、雑音除去設定がオフの場合は、L=0,L=1とし、この場合は、y=xとなり縮退は行われない。 FIG. 5 is a diagram showing an example of the basic degeneracy function f 0 (x). As shown in FIG. 5, the basic degenerate function f 0 (x) is such that y=0 in the interval where the absolute value of x |x| is 0 or more and less than L1 . In the interval where |x| is greater than or equal to L 1 and less than L 2 , if x is positive, y=(x−L 1 )L 2 /(L 2 −L 1 ), and if x is negative, y=( Let x+L 1 )L 2 /(L 2 −L 1 ). In sections where |x| is greater than or equal to L 2 , y=x. Note that when the noise removal setting is off, L 1 =0 and L 2 =1, in which case y=x and no degeneracy is performed.

縮退処理部14aは、縮退係数情報が示す縮退係数を用いて基本縮退関数の傾きを変更した縮退関数を生成する。上述したように縮退係数として、縮退率が最も低い第1縮退係数m、縮退率が次に低い第2縮退係数m、及び縮退率が最も高い第3縮退係数mを用いる場合、縮退率が最も低い第1縮退関数f(x)、縮退率が次に低い第2縮退関数f(x)、及び縮退率が最も高い第3縮退関数f(x)を生成する。 The shrinkage processing unit 14a generates a shrinkage function by changing the slope of the basic shrinkage function using the shrinkage coefficient indicated by the shrinkage coefficient information. As described above, when using the first shrinkage coefficient m 1 with the lowest shrinkage rate, the second shrinkage coefficient m 2 with the next lowest shrinkage rate, and the third shrinkage coefficient m 3 with the highest shrinkage rate, the shrinkage coefficient Generate a first degenerate function f 1 (x) with the lowest degeneracy rate, a second degenerate function f 2 (x) with the next lowest degeneracy rate, and a third degenerate function f 3 (x) with the highest degeneracy rate.

第1縮退関数f(x)は、|x|が0以上且つL未満の区間ではy=0とする。|x|がL以上且つL未満の区間では、xが正であればy=m(x-L)L/(L-L)とし、xが負であればy=m(x+L)L/(L-L)とする。|x|がL以上の区間では、y=mxとする。なお、雑音除去設定がオフの場合は、L=0,L=1とし、この場合は、y=mxとなる。 The first degenerate function f 1 (x) is set to y=0 in the interval where |x| is 0 or more and less than L 1 . In the interval where |x| is greater than or equal to L 1 and less than L 2 , y=m 1 (x−L 1 )L 2 /(L 2 −L 1 ) if x is positive, and y = m 1 (x+L 1 )L 2 /(L 2 −L 1 ). In sections where |x| is equal to or greater than L 2 , y=m 1 x. Note that when the noise reduction setting is off, L 1 =0 and L 2 =1, and in this case y=m 1 x.

第2縮退関数f(x)は、|x|が0以上且つL未満の区間ではy=0とする。|x|がL以上且つL未満の区間では、xが正であればy=m(x-L)L/(L-L)とし、xが負であればy=m(x+L)L/(L-L)とする。|x|がL以上の区間では、y=mxとする。なお、雑音除去設定がオフの場合は、L=0,L=1とし、この場合は、y=mxとなる。 The second degenerate function f 2 (x) is set to y=0 in the interval where |x| is 0 or more and less than L 1 . | x | _ _ _ _ = m 2 (x+L 1 )L 2 /(L 2 −L 1 ). In sections where |x| is equal to or greater than L 2 , y=m 2 x. Note that when the noise reduction setting is off, L 1 =0 and L 2 =1, and in this case y=m 2 x.

第3縮退関数f(x)は、|x|が0以上且つL未満の区間ではy=0とする。|x|がL以上且つL未満の区間では、xが正であればy=m(x-L)L/(L-L)とし、xが負であればy=m(x+L)L/(L-L)とする。|x|がL以上の区間では、y=mxとする。なお、雑音除去設定がオフの場合は、L=0,L=1とし、この場合は、y=mxとなる。 The third degenerate function f 3 (x) sets y=0 in the interval where |x| is 0 or more and less than L 1 . | x | _ _ _ _ = m 3 (x+L 1 )L 2 /(L 2 −L 1 ). In sections where |x| is equal to or greater than L 2 , y=m 3 x. Note that when the noise reduction setting is off, L 1 =0 and L 2 =1, and in this case y=m 3 x.

縮退処理部14aは、時間周波数帯域分解部12から取得した時空間周波数帯域成分に対して、符号化情報抽出部13から取得した符号化情報、外部から取得した縮退設定情報、及び縮退関数を用いて縮退周波数帯域成分を生成し、周波数再構成部15に出力する。 The degeneration processing unit 14a uses the coding information obtained from the coding information extraction unit 13, the degeneration setting information obtained from the outside, and the degeneration function for the spatio-temporal frequency band components obtained from the time-frequency band decomposition unit 12. generates a degenerate frequency band component and outputs it to the frequency reconstruction unit 15 .

縮退関数の適用例については、第1の実施形態と同様であり、縮退係数の代わりに縮退関数を用いる。縮退処理を行わない周波数帯域と、第3縮退関数f(x)を適用する周波数帯域は、例えば以下のようにすることができる。
縮退処理なし:直流成分を含む最も低い時空間周波数帯域(最低周波数帯域LL)には縮退処理を行わない(すなわち、成分を変更しない)。
第3縮退関数f(x):縮小空間解像度{H,V}を超える周波数帯域に適用する。
An application example of the shrinkage function is the same as in the first embodiment, and the shrinkage function is used instead of the shrinkage coefficient. For example, the frequency band to which degeneration processing is not performed and the frequency band to which the third degeneration function f 3 (x) is applied can be set as follows.
No degeneracy process: No degeneracy process is performed on the lowest spatio-temporal frequency band (lowest frequency band LL 1 ) containing a DC component (that is, the component is not changed).
Third degeneracy function f 3 (x): applied to frequency bands above the reduced spatial resolution {H S , V S }.

また、最低周波数帯域を超え且つ縮小空間解像度{H,V}以下の周波数帯域には、CU位置毎の空間周波数パワー割合、及び符号化情報(量子化パラメータQP、動きベクトルの大きさ等)に応じてCU位置又は要素位置毎に第1縮退関数f(x)と第2縮退関数f(x)に切り替えて適用する。縮退関数の切り替えとしては、例えば以下の基準で行う。
第2縮退関数f(x):最低周波数帯域を超え且つ縮小空間解像度{H,V}以下の周波数帯域において、量子化パラメータQPが閾値Tq以上となるCU位置に適用する。
第1縮退関数f(x):最低周波数帯域を超え且つ縮小空間解像度{H,V}以下の周波数帯域において、量子化パラメータQPが閾値Tq未満となるCU位置、及び帯域制限下限周波数{H,V,T}を超える時空間高周波数帯域に適用する。
基本縮退関数f(x):残りの周波数帯域に適用する。
In addition, in the frequency band exceeding the lowest frequency band and below the reduced spatial resolution {H S , V S }, the spatial frequency power ratio for each CU position and coding information (quantization parameter QP, motion vector size, etc. ), the first degenerate function f 1 (x) and the second degenerate function f 2 (x) are switched and applied for each CU position or element position. Degenerate functions are switched according to, for example, the following criteria.
Second degeneration function f 2 (x): applied to CU positions where the quantization parameter QP is equal to or greater than the threshold Tq in the frequency band exceeding the lowest frequency band and equal to or lower than the reduced spatial resolution {H S , V S }.
First degenerate function f 1 (x): the CU position where the quantization parameter QP is less than the threshold Tq in the frequency band exceeding the lowest frequency band and below the reduced spatial resolution {H S , V S }, and the band limit lower limit frequency It applies to the spatio-temporal high frequency band over { HL , VL , TL }.
Basic degeneracy function f 0 (x): applied to the remaining frequency bands.

なお、縮退関数f(x),f(x),f(x),f(x)、及び各縮退関数を適用する条件は、ユーザが任意に設定可能であり、上記の例に限られるものではない。例えば、第1縮退関数f(x)を適用する基準を、「最低周波数帯域を超え且つ縮小空間解像度{H,V}以下の周波数帯域において、量子化パラメータQPが閾値Tq未満となるCU位置のうち、空間高周波パワーの割合が閾値Tp以上となる要素位置、又は動きベクトルの大きさが閾値Tm以上となるCU位置」としてもよい。また、基本縮退関数f(x)、第1縮退関数f(x)、第2縮退関数f(x)、第3縮退関数f(x)の全てではなく、いずれか1つ以上を適用してもよい。 Note that the degenerate functions f 0 (x), f 1 (x), f 2 (x), f 3 (x) and the conditions for applying each degenerate function can be arbitrarily set by the user. is not limited to For example, the criterion for applying the first degenerate function f 1 (x) may be set such that the quantization parameter QP is less than the threshold Tq in the frequency band exceeding the lowest frequency band and below the reduced spatial resolution {H S , V S }. Among the CU positions, the element positions where the ratio of the spatial high-frequency power is equal to or greater than the threshold value Tp, or the CU positions where the magnitude of the motion vector is equal to or greater than the threshold value Tm. Also, not all of the basic degenerate function f 0 (x), the first degenerate function f 1 (x), the second degenerate function f 2 (x), and the third degenerate function f 3 (x), but any one or more may apply.

このように、本実施形態では、対角方向の最高周波数帯域成分を用いて雑音レベルを算出し、雑音レベル以下の周波数帯域成分の縮退率を、雑音レベルを超える周波数帯域成分の縮退率よりも高くする。そのため、縮退処理において同時に雑音除去を行い、画質を向上させることが可能となる。 Thus, in this embodiment, the noise level is calculated using the highest frequency band component in the diagonal direction, and the degeneracy rate of the frequency band component below the noise level is lower than the degeneracy rate of the frequency band component above the noise level. Raise. Therefore, it is possible to simultaneously remove noise in the degeneration process and improve the image quality.

(第3の実施形態)
次に、第3の実施形態に係る縮小装置について説明する。図6は、本発明の第3の実施形態に係る縮小装置3の構成例を示すブロック図である。図6に示す縮小装置3は、周波数分解部10と、符号化情報抽出部13と、縮退処理部14bと、周波数再構成部15と、空間解像度縮小部16と、雑音レベル設定部17と、要素削減閾値設定部18と、を備える。第3の実施形態に係る縮小装置3は第2の実施形態に係る縮小装置2と比較して、縮退処理部14aに代えて縮退処理部14bを備える点と、要素削減閾値設定部18を更に備える点が相違する。その他の構成については第2の実施形態と同一であるため、同一の参照番号を付して説明を省略する。
(Third embodiment)
Next, a reduction device according to a third embodiment will be described. FIG. 6 is a block diagram showing a configuration example of a reduction device 3 according to the third embodiment of the present invention. The reduction device 3 shown in FIG. 6 includes a frequency decomposition unit 10, a coding information extraction unit 13, a degeneration processing unit 14b, a frequency reconstruction unit 15, a spatial resolution reduction unit 16, a noise level setting unit 17, and an element reduction threshold setting unit 18 . Compared to the reduction device 2 according to the second embodiment, the reduction device 3 according to the third embodiment includes a reduction processing unit 14b instead of the reduction processing unit 14a, and further includes an element reduction threshold value setting unit 18. The difference is that they are prepared. Since other configurations are the same as those of the second embodiment, the same reference numerals are given and descriptions thereof are omitted.

要素削減閾値設定部18は、周波数分解部10から時空間周波数帯域成分を入力し、要素削減閾値αを設定する。そして、要素削減閾値設定部18は、要素削減閾値αを縮退処理部14bに出力する。ユーザにより要素削減閾値設定を自動で行う自動設定モードと、要素削減閾値設定を手動で行う手動設定モードとを指定できてもよい。手動設定モードでは、ユーザが任意の要素削減閾値αを設定可能である。なお、要素削減閾値を設定するか否かをユーザにより指定できてもよい。 The element reduction threshold setting unit 18 receives the spatio-temporal frequency band components from the frequency decomposition unit 10 and sets the element reduction threshold α. Then, the element reduction threshold setting unit 18 outputs the element reduction threshold α to the degeneracy processing unit 14b. An automatic setting mode in which the element reduction threshold is automatically set and a manual setting mode in which the element reduction threshold is manually set may be specified by the user. In the manual setting mode, the user can set any element reduction threshold α. Note that the user may be able to specify whether or not to set the element reduction threshold.

要素削減閾値設定部18は、自動設定モードの場合には、時空間周波数帯域成分を絶対値の大きい方から順に並べ、上位j%番目の成分値を要素削減閾値αとして求める。 In the automatic setting mode, the element reduction threshold value setting unit 18 arranges the spatio-temporal frequency band components in descending order of absolute value, and obtains the top j% component value as the element reduction threshold value α.

縮退処理部14bは、第2の実施形態と同様に、雑音レベル設定部17により設定された雑音レベル{L,L}(オフセットの適用有りの設定時にはオフセット後のL,L)から縮退関数を生成する。そして、縮退処理部14aは、時間周波数帯域分解部12から取得した時空間周波数帯域成分に対して、符号化情報抽出部13から取得した符号化情報、外部から取得した縮退設定情報、縮退関数、及び要素削減閾値設定部18から取得した要素削減閾値αを用いて縮退周波数帯域成分を生成し、周波数再構成部15に出力する。 As in the second embodiment, the degeneracy processing unit 14b uses the noise levels {L 1 , L 2 } set by the noise level setting unit 17 (L 1 , L 2 after offset when setting to apply offset). Generate a degenerate function from . Then, the degeneracy processing unit 14a applies the coding information obtained from the coding information extracting unit 13, the degeneracy setting information obtained from the outside, the degeneracy function, and the and the element reduction threshold α acquired from the element reduction threshold setting unit 18 to generate a degenerate frequency band component and output it to the frequency reconstruction unit 15 .

縮退処理部14bは、要素削減閾値αを用いて、絶対値が上位j%(上位から所定の順位)に含まれる時空間周波数帯域成分の縮退率を、絶対値が上位j%に含まれない時空間周波数帯域成分の縮退率よりも高くする。
例えば、下記のように、第1縮退関数f(x)及び第2縮退関数f(x)の適用の際に要素削減閾値αを用いることができる。その他は第2の実施形態と同様であるため、説明を省略する。
第2縮退関数f(x):最低周波数帯域を超え且つ縮小空間解像度{H,V}以下の周波数帯域において、(1)量子化パラメータQPが閾値Tq以上となるCU位置、及び(2)帯域制限下限周波数{H,V,T}を超える時空間高周波数帯域において要素削減閾値αを超える絶対値を有する成分に適用する。
第1縮退関数f(x):最低周波数帯域を超え且つ縮小空間解像度{H,V}以下の周波数帯域において、(1)量子化パラメータQPが閾値Tq未満となるCU位置、及び(2)帯域制限下限周波数{H,V,T}を超える時空間高周波数帯域において要素削減閾値α以下の絶対値を有する成分に適用する。
The degeneracy processing unit 14b uses the element reduction threshold value α to determine the degeneracy rate of the spatio-temporal frequency band components whose absolute values are included in the top j% (predetermined order from the top) to those whose absolute values are not included in the top j%. Make it higher than the degeneracy rate of the spatio-temporal frequency band component.
For example, a factor reduction threshold α can be used in applying the first shrinkage function f 1 (x) and the second shrinkage function f 2 (x) as follows. Others are the same as those of the second embodiment, so description thereof will be omitted.
Second degenerate function f 2 (x): In frequency bands exceeding the lowest frequency band and below the reduced spatial resolution {H S , V S }, (1) the CU position where the quantization parameter QP is equal to or greater than the threshold Tq, and ( 2) Applied to components having absolute values exceeding the element reduction threshold α in the spatio-temporal high frequency band exceeding the band limit lower limit frequency { HL , VL , TL }.
First degenerate function f 1 (x): In frequency bands exceeding the lowest frequency band and below the reduced spatial resolution {H S , V S }, (1) the CU position where the quantization parameter QP is less than the threshold Tq, and ( 2) Applied to components having an absolute value equal to or less than the element reduction threshold α in the spatio-temporal high frequency band exceeding the band limit lower limit frequency { HL , VL , TL }.

このように、本実施形態では、絶対値が上位から所定の順位に含まれる時空間周波数帯域成分の縮退率を、絶対値が所定の順位に含まれない時空間周波数帯域成分の縮退率よりも高くする。そのため、強いエッジやテクスチャ成分の縮退率を高くし、符号化効率を向上させることが可能となる。 Thus, in the present embodiment, the degeneracy rate of spatio-temporal frequency band components whose absolute values are included in a predetermined order from the top is higher than the degeneracy rate of spatio-temporal frequency band components whose absolute values are not included in a predetermined order. Raise. Therefore, it is possible to increase the degeneracy rate of strong edges and texture components and improve the coding efficiency.

(プログラム)
上述した縮小装置1,2,3として機能させるために、それぞれプログラム命令を実行可能なコンピュータを用いることも可能である。ここで、コンピュータは、汎用コンピュータ、専用コンピュータ、ワークステーション、PC(Personal Computer)、電子ノートパッドなどであってもよい。プログラム命令は、必要なタスクを実行するためのプログラムコード、コードセグメントなどであってもよい。
(program)
It is also possible to use a computer capable of executing program instructions to function as the reduction devices 1, 2 and 3 described above. Here, the computer may be a general-purpose computer, a dedicated computer, a workstation, a PC (Personal Computer), an electronic notepad, or the like. Program instructions may be program code, code segments, etc. for performing the required tasks.

コンピュータは、プロセッサと、記憶部と、入力部と、出力部と、通信インターフェースとを備える。プロセッサは、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、GPU(Graphics Processing Unit)、DSP(Digital Signal Processor)、SoC(System on a Chip)などであり、同種又は異種の複数のプロセッサにより構成されてもよい。プロセッサは、記憶部からプログラムを読み出して実行することで、上記各構成の制御及び各種の演算処理を行う。なお、これらの処理内容の少なくとも一部をハードウェアで実現することとしてもよい。入力部は、ユーザの入力操作を受け付けてユーザの操作に基づく情報を取得する入力インターフェースであり、ポインティングデバイス、キーボード、マウスなどである。出力部は、情報を出力する出力インターフェースであり、ディスプレイ、スピーカなどである。通信インターフェースは、外部の装置と通信するためのインターフェースであり、例えばLAN(Local Area Network)インターフェースである。 A computer includes a processor, a storage unit, an input unit, an output unit, and a communication interface. The processor is a CPU (Central Processing Unit), MPU (Micro Processing Unit), GPU (Graphics Processing Unit), DSP (Digital Signal Processor), SoC (System on a Chip), etc. may be configured. The processor reads a program from the storage unit and executes it, thereby controlling the above components and performing various kinds of arithmetic processing. Note that at least part of these processing contents may be realized by hardware. The input unit is an input interface that receives user input operations and acquires information based on the user operations, and includes a pointing device, keyboard, mouse, and the like. The output unit is an output interface that outputs information, such as a display and a speaker. The communication interface is an interface for communicating with an external device, such as a LAN (Local Area Network) interface.

プログラムは、コンピュータが読み取り可能な記録媒体に記録されていてもよい。このような記録媒体を用いれば、プログラムをコンピュータにインストールすることが可能である。ここで、プログラムが記録された記録媒体は、非一過性(non-transitory)の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、CD-ROM、DVD-ROM、USB(Universal Serial Bus)メモリなどであってもよい。また、このプログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。 The program may be recorded on a computer-readable recording medium. By using such a recording medium, it is possible to install the program in the computer. Here, the recording medium on which the program is recorded may be a non-transitory recording medium. The non-transitory recording medium is not particularly limited, but may be, for example, a CD-ROM, a DVD-ROM, a USB (Universal Serial Bus) memory, or the like. Also, this program may be downloaded from an external device via a network.

例えば、縮小装置1として機能させるためのプログラムは原画像に対して位相情報を保持しながら、各周波数帯域が前記縮小画像の空間解像度以下となるまで空間方向の周波数帯域分解を行い、周波数帯域成分を生成するステップと、縮小画像に対して符号化処理を行い、符号化ブロック毎に、符号化に用いられた量子化パラメータを含む符号化情報を抽出するステップと、周波数帯域成分に対して、符号化情報を用いて縮退処理を行い、成分が縮退された縮退周波数帯域成分を生成するステップと、縮退周波数帯域成分に対して、周波数再構成を行い、原画像と同じサイズの縮退画像を生成するステップと、縮退画像の空間解像度を縮小した縮小画像を生成するステップと、をコンピュータに実行させる。 For example, a program for functioning as the reduction device 1 performs frequency band decomposition in the spatial direction until each frequency band is equal to or lower than the spatial resolution of the reduced image while maintaining phase information for the original image, and obtains frequency band components performing encoding processing on the reduced image, extracting encoding information including the quantization parameter used for encoding for each encoding block, and for frequency band components, a step of performing degeneration processing using the encoded information to generate a degenerated frequency band component in which the components are degenerated; and performing frequency reconstruction on the degenerated frequency band component to generate a degenerated image having the same size as the original image. and generating a reduced image by reducing the spatial resolution of the degenerated image.

また、縮小装置1,2,3は、1つ又は複数の半導体チップにより構成されてもよく、該半導体チップは、縮小装置1,2,3の各機能を実現する処理内容を記述したプログラムを実行するCPUを搭載してもよい。 Further, the reduction devices 1, 2 and 3 may be composed of one or a plurality of semiconductor chips, and the semiconductor chips have a program describing the processing contents for realizing each function of the reduction devices 1, 2 and 3. A CPU for execution may be installed.

上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形又は変更が可能である。例えば、実施形態の構成図に記載の複数の構成ブロックを統合したり、1つの構成ブロックを分割したりすることが可能である。 Although the above embodiments have been described as representative examples, it will be apparent to those skilled in the art that many modifications and substitutions may be made within the spirit and scope of the invention. Therefore, the present invention should not be construed as limited by the embodiments described above, and various modifications and changes are possible without departing from the scope of the claims. For example, it is possible to integrate a plurality of configuration blocks described in the configuration diagrams of the embodiments, or to divide one configuration block.

1,2,3 縮小装置
10 周波数分解部
11 空間周波数帯域分解部
12 時間周波数帯域分解部
13 符号化情報抽出部
14,14a,14b 縮退処理部
15 周波数再構成部
16 空間解像度縮小部
17 雑音レベル設定部
18 要素削減閾値設定部
1, 2, 3 reduction device 10 frequency decomposition unit 11 spatial frequency band decomposition unit 12 temporal frequency band decomposition unit 13 encoded information extraction unit 14, 14a, 14b reduction processing unit 15 frequency reconstruction unit 16 spatial resolution reduction unit 17 noise level setting unit 18 element reduction threshold setting unit

Claims (8)

原画像の縮小画像を生成する縮小装置であって、
前記原画像に対して位相情報を保持しながら、各周波数帯域が前記縮小画像の空間解像度以下となるまで空間方向の周波数帯域分解を行い、周波数帯域成分を生成する周波数分解部と、
前記縮小画像に対して符号化処理を行い、符号化ブロック毎に、符号化に用いられた量子化パラメータを含む符号化情報を抽出する符号化情報抽出部と、
前記周波数帯域成分に対して、前記符号化情報を用いて縮退処理を行い、成分が縮退された縮退周波数帯域成分を生成する縮退処理部と、
前記縮退周波数帯域成分に対して、周波数再構成を行い、原画像と同じサイズの縮退画像を生成する周波数再構成部と、
前記縮退画像の空間解像度を縮小した縮小画像を生成する空間解像度縮小部と、
を備え、
前記縮退処理部は、最低周波数帯域においては縮退処理を行わず、前記最低周波数帯域を超え且つ前記縮小画像の空間解像度以下の周波数帯域においては、前記量子化パラメータが第1閾値以上となる符号化ブロック位置の縮退率を、前記量子化パラメータが前記第1閾値未満となる符号化ブロック位置の縮退率よりも高くする縮小装置。
A reduction device for generating a reduced image of an original image,
a frequency decomposition unit that generates frequency band components by performing frequency band decomposition in the spatial direction until each frequency band is equal to or lower than the spatial resolution of the reduced image while maintaining phase information of the original image;
a coding information extraction unit that performs coding processing on the reduced image and extracts coding information including a quantization parameter used for coding for each coding block;
a degeneration processing unit that performs degeneration processing on the frequency band components using the encoded information to generate degenerated frequency band components in which the components are degenerated;
a frequency reconstruction unit that performs frequency reconstruction on the degenerated frequency band components to generate a degenerated image having the same size as the original image;
a spatial resolution reducing unit that generates a reduced image by reducing the spatial resolution of the degenerated image;
with
The degeneration processing unit does not perform degeneration processing in the lowest frequency band, and the quantization parameter is a first threshold or more in the frequency band exceeding the lowest frequency band and equal to or lower than the spatial resolution of the reduced image. A reduction device for making the degeneracy rate of a block position higher than the degeneracy rate of a coding block position where the quantization parameter is less than the first threshold.
前記縮退処理部は、前記周波数帯域成分のうち、前記縮小画像の空間解像度を超える周波数帯域の縮退率を最も高くする、請求項1に記載の縮小装置。 2. The reduction apparatus according to claim 1, wherein said reduction processing unit maximizes the reduction rate of a frequency band exceeding the spatial resolution of said reduced image among said frequency band components. 前記符号化情報抽出部、前記縮退処理部、前記周波数再構成部、及び前記空間解像度縮小部による処理は、前記量子化パラメータが第2閾値よりも小さくなるまで繰り返し行われる、請求項1又は2に記載の縮小装置。 3. The processing by the encoded information extractor, the degeneracy processor, the frequency reconstructor, and the spatial resolution reducer are repeatedly performed until the quantization parameter becomes smaller than a second threshold. 3. A reduction device as described in . 前記周波数帯域成分のうち、対角方向の最高周波数帯域成分を用いて雑音レベルを算出する雑音レベル設定部を更に備え、
前記縮退処理部は、前記雑音レベル以下の前記周波数帯域成分の縮退率を、前記雑音レベルを超える前記周波数帯域成分の縮退率よりも高くする、請求項1から3のいずれか一項に記載の縮小装置。
Further comprising a noise level setting unit that calculates a noise level using the highest frequency band component in the diagonal direction among the frequency band components,
4. The degeneracy processing unit according to any one of claims 1 to 3, wherein the degeneracy processing unit makes the degeneracy rate of the frequency band component below the noise level higher than the degeneracy rate of the frequency band component above the noise level. reduction device.
前記縮退処理部は、絶対値が上位から所定の順位に含まれる時空間周波数帯域成分の縮退率を、絶対値が前記所定の順位に含まれない時空間周波数帯域成分の縮退率よりも高くする、請求項1から4のいずれか一項に記載の縮小装置。 The degeneracy processing unit makes the degeneracy rate of spatio-temporal frequency band components whose absolute values are included in a predetermined order from the top higher than the degeneracy rate of spatio-temporal frequency band components whose absolute values are not included in the predetermined order. A reduction device according to any one of claims 1 to 4. 前記周波数分解部は、前記原画像に対して、時間方向にも周波数帯域分解を行い、前記周波数帯域成分を生成する、請求項1から5のいずれか一項に記載の縮小装置。 The reduction apparatus according to any one of claims 1 to 5, wherein the frequency decomposition section also performs frequency band decomposition on the original image in the time direction to generate the frequency band components. 前記縮退処理部は、前記最低周波数帯域を超え且つ前記縮小画像の空間解像度以下の周波数帯域において、時間方向の周波帯域成分が第3閾値を超える場合に縮退処理を行う、請求項6に記載の縮小装置。 7. The degeneration processing unit according to claim 6, wherein the degeneration processing unit performs degeneration processing when a frequency band component in the temporal direction exceeds a third threshold in a frequency band exceeding the lowest frequency band and equal to or lower than the spatial resolution of the reduced image. reduction device. コンピュータを、請求項1から7のいずれか一項に記載の縮小装置として機能させるためのプログラム。 A program for causing a computer to function as the reduction device according to any one of claims 1 to 7.
JP2022025960A 2022-02-22 2022-02-22 Reducing apparatus and program Pending JP2023122317A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022025960A JP2023122317A (en) 2022-02-22 2022-02-22 Reducing apparatus and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022025960A JP2023122317A (en) 2022-02-22 2022-02-22 Reducing apparatus and program

Publications (1)

Publication Number Publication Date
JP2023122317A true JP2023122317A (en) 2023-09-01

Family

ID=87799249

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022025960A Pending JP2023122317A (en) 2022-02-22 2022-02-22 Reducing apparatus and program

Country Status (1)

Country Link
JP (1) JP2023122317A (en)

Similar Documents

Publication Publication Date Title
JP5579309B2 (en) Video encoding / decoding method and apparatus using large size conversion unit
JP6910532B2 (en) Image processing methods, devices, and systems
RU2580057C2 (en) Method and apparatus for performing interpolation based on transformation and inverse transformation
JP4365957B2 (en) Image processing method and apparatus and storage medium
US20020186888A1 (en) Data Processing device and data processing method and recorded medium
KR100359821B1 (en) Method, Apparatus And Decoder For Motion Compensation Adaptive Image Re-compression
JP2007519273A (en) System and method for video processing using overcomplete wavelet coding and cyclic prediction mapping
JP3163880B2 (en) Image compression coding device
JPH10224790A (en) Filter eliminating block noise in companded image and filter method
JP2023122317A (en) Reducing apparatus and program
JP2004040429A (en) Digital image encoder, digital image encoding method used therefor, and program therefor
JP2009044483A (en) Image-encoding apparatus
JP2006246351A (en) Image coding unit and image decoding unit
US7646926B2 (en) Image encoding apparatus
JP6388476B2 (en) Encoding apparatus and program
JP3853708B2 (en) Digital image encoding apparatus, encoding method, and program
JP2023109087A (en) Reduction device and program
JP2024055176A (en) Reduction device and program
Sahooinst et al. Haar wavelet transform image compression using various run length encoding schemes
JP2023114388A (en) Encoded auxiliary information generation device and program
JPH04369191A (en) Picture compression/decoding device
Prashanth et al. Fractal image compression for hd images with noise using wavelet transforms
JPH04280167A (en) Picture signal decoder
Wang et al. APBT-based image coding at low bit rates with down-sampling and all phase DCT interpolation
JP2008236090A (en) Color space conversion apparatus and method, information processor, computer program, and information recording medium