JP2024055176A

JP2024055176A - Reduction device and program

Info

Publication number: JP2024055176A
Application number: JP2022161888A
Authority: JP
Inventors: 康孝松尾
Original assignee: Japan Broadcasting Corp; NHK Engineering System Inc
Current assignee: Japan Broadcasting Corp; NHK Engineering System Inc
Priority date: 2022-10-06
Filing date: 2022-10-06
Publication date: 2024-04-18

Abstract

【課題】高画質な縮小画像を生成する。【解決手段】縮小装置１は、原画像に対して位相情報を保持しながら周波数分解を行い、周波数帯域成分を生成する周波数分解部１１と、周波数帯域成分の各画素位置において、全周波数帯域のパワーに対する所定の制限高周波数帯域のパワー割合を算出する高周波数帯域パワー割合算出部１２と、制限高周波数帯域のパワー値を減衰させて帯域制限を行い、縮退周波数帯域成分を生成する帯域制限部１３と、縮退周波数帯域成分に対して周波数再構成を行い、縮退画像を生成する周波数再構成部１４と、縮退画像の縮小画像を生成する空間解像度縮小部１５と、縮小画像に対して符号化処理を行い、符号化ブロック毎に符号化に用いられた量子化パラメータを抽出する符号化情報抽出部１６と、を備え、帯域制限部１３は、パワー割合及び量子化パラメータの値に応じて、パワー値の減衰量を変化させる。【選択図】図１[Problem] To generate a high-quality reduced image. [Solution] The reduction device 1 includes a frequency decomposition unit 11 that performs frequency decomposition on an original image while retaining phase information to generate frequency band components, a high-frequency band power ratio calculation unit 12 that calculates the power ratio of a predetermined restricted high-frequency band to the power of the entire frequency band at each pixel position of the frequency band components, a band limitation unit 13 that attenuates the power value of the restricted high-frequency band to perform band limitation to generate a degenerate frequency band component, a frequency reconstruction unit 14 that performs frequency reconstruction on the degenerate frequency band components to generate a degenerate image, a spatial resolution reduction unit 15 that generates a reduced image of the degenerate image, and an encoding information extraction unit 16 that performs encoding processing on the reduced image and extracts a quantization parameter used in encoding for each encoding block, and the band limitation unit 13 changes the amount of attenuation of the power value according to the power ratio and the value of the quantization parameter. [Selected Figure] Figure 1

Description

本発明は、縮小装置及びプログラムに関する。 The present invention relates to a reduction device and a program.

Ｈ．２６５／ＨＥＶＣ(High Efficiency Video Coding)，Ｈ．２６６／ＶＶＣ（Versatile Video Coding）などの映像符号化方式では、ブロック分割、直交変換、量子化、エントロピー符号化、イントラ予測、インター予測などの要素技術を組み合わせて高効率化を実現している。Ｈ．２６５／ＨＥＶＣの技術の詳細については、例えば非特許文献１に詳細に記載されている。 Video coding methods such as H.265/HEVC (High Efficiency Video Coding) and H.266/VVC (Versatile Video Coding) achieve high efficiency by combining elemental technologies such as block division, orthogonal transform, quantization, entropy coding, intra prediction, and inter prediction. Details of the H.265/HEVC technology are described in detail in, for example, Non-Patent Document 1.

また、特許文献１には、原画像の解像度及び階調数を削減した空間・階調削減画像を符号化した符号化信号を出力する符号化装置が開示されている。具体的には、この符号化装置は、原画像の階調数及び解像度を削減した空間・階調削減画像群を生成し、該空間・階調削減画像群をそれぞれ符号化して符号化信号群を生成するとともに、該符号化信号群をそれぞれ局部復号した局部復号画像群を生成する。次に、局部復号画像群をそれぞれ解像度及び階調数が原画像と等しくなるように復元した空間・階調復元画像群を生成する。そして、空間・階調復元画像群と原画像とを比較し、誤差が最小となる空間・階調復元画像の生成に用いられたパラメータを決定し、最終的に該パラメータを用いて生成された空間・階調削減画像を符号化した符号化信号を出力する。 Patent Literature 1 also discloses an encoding device that outputs an encoded signal obtained by encoding a spatial and gradation reduced image in which the resolution and number of gradations of the original image have been reduced. Specifically, this encoding device generates a group of spatial and gradation reduced images in which the number of gradations and resolution of the original image have been reduced, encodes each of the group of spatial and gradation reduced images to generate an encoded signal group, and generates a group of locally decoded images by locally decoding each of the group of encoded signals. Next, a group of spatial and gradation restored images is generated by restoring each of the group of locally decoded images so that the resolution and number of gradations are equal to those of the original image. The group of spatial and gradation restored images is then compared with the original image, parameters used to generate the spatial and gradation restored image with the smallest error are determined, and finally an encoded signal obtained by encoding the spatial and gradation reduced image generated using the parameters is output.

特許第６３８８４７６号公報Patent No. 6388476

大久保榮監修、「インプレス標準教科書シリーズＨ．２６５／ＨＥＶＣ教科書」、株式会社インプレスジャパン、２０１３年１０月２１日Edited by Eiichiro Okubo, "Impress Standard Textbook Series H.265/HEVC Textbook", Impress Japan Co., Ltd., October 21, 2013

従来技術では、原画像の符号化ブロック毎の帯域制限量及び符号化パラメータの両方を最適化するということは行われていなかったため、縮小画像を符号化した際に、ブロック歪などのアーティファクトが発生し、画質が劣化することがあった。 Conventional technology does not optimize both the bandwidth limit and the coding parameters for each coding block of the original image, so when the reduced image is coded, artifacts such as block distortion can occur, resulting in degradation of image quality.

かかる事情に鑑みてなされた本発明の目的は、高画質な縮小画像を生成することが可能な縮小装置及びプログラムを提供することにある。 In view of the above, the object of the present invention is to provide a reduction device and program capable of generating high-quality reduced images.

上記課題を解決するため、本発明に係る縮小装置は、原画像の縮小画像を生成する縮小装置であって、前記原画像に対して位相情報を保持しながら周波数分解を行い、周波数帯域成分を生成する周波数分解部と、前記周波数帯域成分の各画素位置において、全周波数帯域のパワーに対する、所定の制限高周波数帯域のパワー割合を算出する高周波数帯域パワー割合算出部と、前記周波数帯域成分の前記制限高周波数帯域のパワー値を減衰させて帯域制限を行い、成分が縮退された縮退周波数帯域成分を生成する帯域制限部と、前記縮退周波数帯域成分に対して周波数再構成を行い、前記原画像と同じサイズの縮退画像を生成する周波数再構成部と、前記縮退画像の空間解像度を縮小した縮小画像を生成する空間解像度縮小部と、前記縮小画像に対して符号化処理を行い、符号化ブロック毎に、符号化に用いられた量子化パラメータを抽出する符号化情報抽出部と、を備え、前記帯域制限部は、前記パワー割合及び前記量子化パラメータの値に応じて、前記パワー値の減衰量を変化させる。 In order to solve the above problem, the reduction device of the present invention is a reduction device that generates a reduced image of an original image, and includes: a frequency decomposition unit that performs frequency decomposition on the original image while retaining phase information to generate frequency band components; a high frequency band power ratio calculation unit that calculates the power ratio of a predetermined restricted high frequency band to the power of the entire frequency band at each pixel position of the frequency band components; a band limitation unit that attenuates the power value of the restricted high frequency band of the frequency band components to perform band limitation and generate degenerated frequency band components with degenerated components; a frequency reconstruction unit that performs frequency reconstruction on the degenerated frequency band components to generate a degenerated image of the same size as the original image; a spatial resolution reduction unit that generates a reduced image with reduced spatial resolution of the degenerated image; and an encoding information extraction unit that performs encoding processing on the reduced image and extracts a quantization parameter used in encoding for each encoding block, and the band limitation unit changes the amount of attenuation of the power value according to the power ratio and the value of the quantization parameter.

さらに、本発明に係る縮小装置において、前記帯域制限部、前記周波数再構成部、及び前記空間解像度縮小部は、前記量子化パラメータの値が閾値以下、あるいは前記量子化パラメータの減少度合いが閾値以下になるまで繰り返し処理を行ってもよい。 Furthermore, in the reduction device according to the present invention, the band limiting unit, the frequency reconstruction unit, and the spatial resolution reduction unit may repeat the process until the value of the quantization parameter becomes equal to or less than a threshold value, or until the degree of decrease of the quantization parameter becomes equal to or less than a threshold value.

さらに、本発明に係る縮小装置において、前記帯域制限部は、１周目の処理においては、前記パワー値の減衰量を所定値とし、２周目以降の処理においては、前記パワー割合が大きく、かつ前記量子化パラメータが大きいほど、前記減衰量を大きくしてもよい。 Furthermore, in the reduction device according to the present invention, the band limiting unit may set the amount of attenuation of the power value to a predetermined value in the first round of processing, and in the second round and subsequent rounds of processing, the greater the power ratio and the greater the quantization parameter, the greater the amount of attenuation.

さらに、本発明に係る縮小装置において、被符号化ブロックにおける前記パワー割合と前記被符号化ブロックの周囲の符号化ブロックにおける前記パワーの割合の差分が大きく、かつ前記被符号化ブロックにおける前記量子化パラメータと前記周囲の符号化ブロックにおける前記量子化パラメータの差分値が大きいほど、該差分値を小さくするように前記被符号化ブロックの前記量子化パラメータの値を補正するパラメータ補正部を更に備えてもよい。 Furthermore, the reduction device according to the present invention may further include a parameter correction unit that corrects the value of the quantization parameter of the encoded block so as to reduce the difference value as the difference between the power ratio in the encoded block and the power ratio in the encoding blocks surrounding the encoded block becomes larger and the difference value between the quantization parameter in the encoded block and the quantization parameter in the encoding block surrounding the encoded block becomes larger.

また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記縮小装置として機能させる。 To solve the above problem, the program of the present invention causes a computer to function as the reduction device.

本発明によれば、高画質な縮小画像を生成することができる。 The present invention makes it possible to generate high-quality reduced images.

第１の実施形態に係る縮小装置の構成例を示すブロック図である。1 is a block diagram showing an example of the configuration of a reduction device according to a first embodiment; 第１の実施形態に係る縮小装置におけるウェーブレットパケット分解の様子を示す図である。4A and 4B are diagrams illustrating wavelet packet decomposition in the reduction device according to the first embodiment. 第２の実施形態に係る縮小装置の構成例を示すブロック図である。FIG. 11 is a block diagram showing an example of the configuration of a reduction device according to a second embodiment.

以下、本発明の実施形態について、図面を参照して詳細に説明する。 The following describes an embodiment of the present invention in detail with reference to the drawings.

（第１の実施形態）
図１は、本発明の第１の実施形態に係る縮小装置の構成例を示すブロック図である。図１に示す縮小装置１は、周波数分解部１１と、高周波数帯域パワー割合算出部１２と、帯域制限部１３と、周波数再構成部１４と、空間解像度縮小部１５と、符号化情報抽出部１６と、を備える。 First Embodiment
Fig. 1 is a block diagram showing an example of the configuration of a reduction device according to a first embodiment of the present invention. The reduction device 1 shown in Fig. 1 includes a frequency decomposition unit 11, a high-frequency band power ratio calculation unit 12, a band limiting unit 13, a frequency reconstruction unit 14, a spatial resolution reduction unit 15, and an encoding information extraction unit 16.

縮小装置１は、原画像を入力し、原画像（入力画像）の空間解像度を縮小した縮小画像を生成して出力する。縮小装置１は、例えば８Ｋ解像度で撮影された原画像を４Ｋ解像度に縮小して放送する場合などに、画像符号化のプリ処理として用いることができる。 The reduction device 1 inputs an original image, generates a reduced image by reducing the spatial resolution of the original image (input image), and outputs the reduced image. The reduction device 1 can be used as a pre-processing for image encoding, for example, when reducing an original image taken at 8K resolution to 4K resolution for broadcast.

周波数分解部１１は、原画像に対して位相情報を保持しながら（すなわち、画像サイズの縮小を伴うデシメーション処理を伴わないで）、空間方向の周波数分解を行い、空間周波数帯域毎のパワー成分（以下、「周波数帯域成分」という。）を生成する。各成分はパワースペクトルを示す。そして、周波数分解部１１は、生成した周波数帯域成分を高周波数帯域パワー割合算出部１２及び帯域制限部１３に出力する。 The frequency decomposition unit 11 performs spatial frequency decomposition on the original image while preserving phase information (i.e., without decimation processing involving image size reduction) to generate power components for each spatial frequency band (hereinafter referred to as "frequency band components"). Each component represents a power spectrum. The frequency decomposition unit 11 then outputs the generated frequency band components to the high frequency band power ratio calculation unit 12 and the band limiting unit 13.

本実施形態では、周波数分解部１１は、周波数帯域分解としてウェーブレットパケット分解を行う。ウェーブレットパケット分解では、空間方向に均等に周波数分解を行う。すなわち、低周波帯域のみならず高周波帯域についても周波数分解を行う。なお、ウェーブレットフィルタ及び空間分解階層数は、ユーザが任意に設定可能である。 In this embodiment, the frequency decomposition unit 11 performs wavelet packet decomposition as the frequency band decomposition. In wavelet packet decomposition, frequency decomposition is performed uniformly in the spatial direction. In other words, frequency decomposition is performed not only on the low frequency band but also on the high frequency band. Note that the wavelet filter and the number of spatial decomposition layers can be set arbitrarily by the user.

図２は、周波数分解部１１によるウェーブレットパケット分解の様子を示す図である。図２（ａ）は、４Ｋ×４Ｋの解像度の原画像を空間方向に３階ウェーブレットパケット分解して、１Ｋ×１Ｋ毎の空間周波数帯域に分解した様子を示している。ＸＸで示す各周波数帯域は、それぞれＬＬ，ＬＨ，ＨＬ，ＨＨの４つの周波数帯域により構成される。周波数分解部１１が、デシメーション無しのウェーブレットパケット分解を用いて周波数帯域分解を行った場合、各周波数帯域内の空間方向の要素数は４Ｋ×４Ｋ個となる。また、図２（ｂ）に示すように、各周波数帯域ＸＸ^１～ＸＸ^１６は全て原画像と同じサイズとなる。 FIG. 2 is a diagram showing the state of wavelet packet decomposition by the frequency decomposition unit 11. FIG. 2(a) shows the state in which an original image with a resolution of 4K×4K is decomposed into spatial frequency bands of 1K×1K by third-order wavelet packet decomposition in the spatial direction. Each frequency band indicated by XX is composed of four frequency bands, LL, LH, HL, and HH. When the frequency decomposition unit 11 performs frequency band decomposition using wavelet packet decomposition without decimation, the number of elements in the spatial direction in each frequency band is 4K×4K. Also, as shown in FIG. 2(b), each frequency band XX ¹ to XX ¹⁶ has the same size as the original image.

高周波数帯域パワー割合算出部１２は、帯域制限を行う所定の高周波数帯域（以下、「制限高周波数帯域」という。）を示す帯域制限情報を、縮小装置１の外部から取得する。そして、高周波数帯域パワー割合算出部１２は、周波数分解部１１から入力した周波数帯域成分の各画素位置（ｘ，ｙ）において、全周波数帯域に対する、制限高周波数帯域のパワーの割合（以下、「高周波数帯域パワー割合」という。）Ｐｈ（ｘ，ｙ）を算出する。そして、高周波数帯域パワー割合算出部１２は、算出した高周波数帯域パワー割合Ｐｈ（ｘ，ｙ）を帯域制限部１３に出力する。 The high-frequency band power ratio calculation unit 12 acquires band restriction information indicating a specific high-frequency band (hereinafter referred to as the "restricted high-frequency band") to be band-limited from outside the reduction device 1. The high-frequency band power ratio calculation unit 12 then calculates the ratio of power of the restricted high-frequency band to the entire frequency band (hereinafter referred to as the "high-frequency band power ratio") Ph(x, y) at each pixel position (x, y) of the frequency band component input from the frequency decomposition unit 11. The high-frequency band power ratio calculation unit 12 then outputs the calculated high-frequency band power ratio Ph(x, y) to the band restriction unit 13.

帯域制限情報は、帯域制限される下限の周波数（帯域制限周波数）ｆｒであってもよいし、帯域制限される下限の階層（帯域制限階層）Ｎｒであってもよい。例えば、原画像が４Ｋ×４Ｋの解像度で、帯域制限階層Ｎｒが２Ｋ×２Ｋの解像度の階層の場合、図２に示した例ではＸＸ^５～ＸＸ^１６が制限高周波数帯域となる。 The band-limiting information may be the lower limit frequency (band-limiting frequency) fr for band-limiting, or the lower limit hierarchical layer (band-limiting hierarchical layer) Nr for band-limiting. For example, when the original image has a resolution of 4K×4K and the band-limiting hierarchical layer Nr has a resolution of 2K×2K, in the example shown in FIG. 2, XX ⁵ to XX ¹⁶ are the restricted high-frequency band.

符号化情報抽出部１６は、後述する空間解像度縮小部１５により生成された縮小画像に対して符号化処理を行い、符号化ブロック毎に、符号化に用いられた符号化情報を抽出する。そして、符号化情報抽出部１６は、符号化情報を帯域制限部１３に出力する。本実施形態では、ＶＶＣ／Ｈ．２６６を用いて符号化処理を行い、符号化ブロックとして符号化ユニットＣＵ（Coding Unit））を用い、符号化情報として符号化ユニットＣＵ毎の量子化パラメータＱｐ（Quantization parameter）を抽出する。 The coding information extraction unit 16 performs coding processing on the reduced image generated by the spatial resolution reduction unit 15 described later, and extracts coding information used for coding for each coding block. The coding information extraction unit 16 then outputs the coding information to the band limiting unit 13. In this embodiment, the coding processing is performed using VVC/H.266, coding units (CUs) are used as coding blocks, and a quantization parameter Qp (Quantization parameter) for each coding unit CU is extracted as coding information.

帯域制限部１３は、高周波数帯域パワー割合算出部１２から入力した周波数帯域成分の各画素位置（ｘ，ｙ）において、制限高周波数帯域のパワー値を減衰させて帯域制限を行い、成分が縮退（制限）された縮退周波数帯域成分を生成する。そして、帯域制限部１３は、生成した縮退周波数帯域成分を周波数再構成部１４に出力する。 The band limiting unit 13 performs band limiting by attenuating the power value of the restricted high frequency band at each pixel position (x, y) of the frequency band component input from the high frequency band power ratio calculation unit 12, and generates degenerate frequency band components in which the components are degenerated (restricted). The band limiting unit 13 then outputs the generated degenerate frequency band components to the frequency reconstruction unit 14.

周波数再構成部１４は、帯域制限部１３により生成された縮退周波数帯域成分に対して、周波数再構成（例えば、ウェーブレットパケット逆分解）を行い、原画像と同じサイズの縮退画像を生成する。そして、周波数再構成部１４は、生成した縮退画像を空間解像度縮小部１５に出力する。 The frequency reconstruction unit 14 performs frequency reconstruction (e.g., wavelet packet inverse decomposition) on the degenerated frequency band components generated by the band limiting unit 13 to generate a degenerated image of the same size as the original image. The frequency reconstruction unit 14 then outputs the generated degenerated image to the spatial resolution reduction unit 15.

空間解像度縮小部１５は、縮小画像の空間解像度（縮小画像解像度）を示す縮小情報を、縮小装置１の外部から取得する。そして、空間解像度縮小部１５は、周波数再構成部１４から入力した縮退画像の空間解像度を縮小画像解像度に縮小した縮小画像を生成する。そして、空間解像度縮小部１５は、生成した縮小画像を縮小装置１の外部及び符号化情報抽出部１６に出力する。縮小情報は、縮小画像解像度に対応する縮小階層Ｎｓであってもよい。空間解像度縮小部１５は、例えば縮退画像の画素を間引いて縮小画像を生成する。なお、縮小率が整数分の１倍ではない場合にはNearest neighbor，Bicubic，Lanczos-3などの補間内挿フィルタを使用でき、補間内挿フィルタの種類はユーザが指定してもよい。 The spatial resolution reduction unit 15 acquires reduction information indicating the spatial resolution of the reduced image (reduced image resolution) from outside the reduction device 1. The spatial resolution reduction unit 15 then generates a reduced image by reducing the spatial resolution of the reduced image input from the frequency reconstruction unit 14 to the reduced image resolution. The spatial resolution reduction unit 15 then outputs the generated reduced image to the outside of the reduction device 1 and to the encoding information extraction unit 16. The reduction information may be a reduction hierarchy Ns corresponding to the reduced image resolution. For example, the spatial resolution reduction unit 15 generates a reduced image by thinning out the pixels of the reduced image. Note that if the reduction ratio is not an integer multiple of 1, an interpolation filter such as Nearest Neighbor, Bicubic, or Lanczos-3 can be used, and the type of the interpolation filter may be specified by the user.

帯域制限部１３は、２周目以降の処理においては、高周波数帯域パワー割合Ｐｈ（ｘ，ｙ）と、画素位置（ｘ，ｙ）の属する符号化ユニットＣＵの量子化パラメータＱｐ（ｉ，ｊ）の値に応じて、制限高周波数帯域のパワー値の減衰量を変化させる。 In the second and subsequent rounds of processing, the band limiting unit 13 changes the amount of attenuation of the power value of the restricted high frequency band depending on the high frequency band power ratio Ph(x, y) and the value of the quantization parameter Qp(i, j) of the coding unit CU to which the pixel position (x, y) belongs.

好適には、帯域制限部１３、周波数再構成部１４、及び空間解像度縮小部１５は、上記の帯域制限、周波数再構成、及び画像縮小という処理を繰り返し行う。２週目以降の処理では、符号化情報抽出部１６から符号化ユニットＣＵ毎の量子化パラメータを取得し、量子化パラメータに応じて帯域制限量を変化させる。量子化パラメータの値が閾値以下になった場合、あるいは量子化パラメータの減少度合いが閾値以下になった場合には繰り返し処理を終了し、最後に生成した縮小画像を縮小装置１の外部に出力する。なお、繰り返し処理において、符号化ユニットＣＵのサイズは変更しないものとする。繰り返し処理を行う際の帯域制限部１３の処理の具体例について、以下に説明する。 Preferably, the band limiting unit 13, the frequency reconstruction unit 14, and the spatial resolution reduction unit 15 repeat the above-mentioned processes of band limiting, frequency reconstruction, and image reduction. In the second and subsequent weeks of processing, the quantization parameter for each coding unit CU is obtained from the coding information extraction unit 16, and the amount of band limiting is changed according to the quantization parameter. When the value of the quantization parameter becomes equal to or less than the threshold value, or when the degree of decrease in the quantization parameter becomes equal to or less than the threshold value, the repeated processing is terminated, and the finally generated reduced image is output to the outside of the reduction device 1. Note that the size of the coding unit CU is not changed in the repeated processing. A specific example of the processing of the band limiting unit 13 when performing the repeated processing is described below.

帯域制限部１３は、１周目の処理においては、制限高周波数帯域のパワー値の減衰量を所定値とし、２周目以降の処理においては、高周波数帯域パワー割合Ｐｈ（ｘ，ｙ）が大きく、かつ量子化パラメータＱｐが大きいほど、設定する符号化圧縮率に対して空間解像度縮小が十分ではないとして、減衰量を大きくする。例えば、帯域制限部１３は、１周目の処理においては、制限高周波数帯域のパワー値に、予め定めた減衰係数（例えばＳｃ＝０．０１（パワーとして２０ｄＢの減衰に相当））を乗算することで、帯域制限を行う。帯域制限部１３は、２周目以降の処理においては、原画像の高周波数帯域パワー割合Ｐｈ（ｘ，ｙ）が大きく、画素位置（ｘ，ｙ）の属する符号化ユニットＣＵの量子化パラメータＱｐ（ｉ，ｊ）が大きいほど、減衰係数Ｓｖの値を小さく（すなわち、減衰量を大きく）設定する。 In the first round of processing, the band limiting unit 13 sets the attenuation amount of the power value of the restricted high frequency band to a predetermined value, and in the second and subsequent rounds of processing, the larger the high frequency band power ratio Ph(x,y) and the larger the quantization parameter Qp, the larger the attenuation amount is, since it is determined that the spatial resolution reduction is not sufficient for the set encoding compression rate. For example, in the first round of processing, the band limiting unit 13 performs band limiting by multiplying the power value of the restricted high frequency band by a predetermined attenuation coefficient (e.g., Sc = 0.01 (corresponding to an attenuation of 20 dB in terms of power)). In the second and subsequent rounds of processing, the larger the high frequency band power ratio Ph(x,y) of the original image and the larger the quantization parameter Qp(i,j) of the encoding unit CU to which the pixel position (x,y) belongs, the smaller the attenuation coefficient Sv is set (i.e., the larger the attenuation amount is).

表１に高周波数帯域パワー割合Ｐｈ（ｘ，ｙ）と減衰係数Ｓｖ１の値の例を示し、表２にＱｐ（ｉ，ｊ）と減衰係数Ｓｖ２の値の例を示す。例えば、帯域制限部１３は、２周目以降の処理においては、画素位置（ｘ，ｙ）における制限高周波数帯域のパワー値に、高周波数帯域パワー割合Ｐｈ（ｘ，ｙ）に応じた減衰係数Ｓｖ１、及び量子化パラメータＱｐ（ｉ，ｊ）に応じた減衰係数Ｓｖ２を乗算することで、帯域制限を行う。 Table 1 shows example values of the high frequency band power proportion Ph(x,y) and the attenuation coefficient Sv1, and Table 2 shows example values of Qp(i,j) and the attenuation coefficient Sv2. For example, in processing from the second round onwards, the band limiting unit 13 performs band limiting by multiplying the power value of the restricted high frequency band at the pixel position (x,y) by the attenuation coefficient Sv1 according to the high frequency band power proportion Ph(x,y) and the attenuation coefficient Sv2 according to the quantization parameter Qp(i,j).

上述したように、縮小装置１は、符号化ブロック毎の帯域制限量及び符号化パラメータの両方を最適化する。そのため、縮小装置１によれば、高品質な縮小画像を生成することが可能となる。また、縮小装置１により生成した縮小画像を符号化することで、ブロック歪などの符号化アーティファクトを抑制した、高圧縮かつ高画質の符号化画像を生成することが可能となる。 As described above, the reduction device 1 optimizes both the bandwidth limit amount and the encoding parameters for each encoding block. Therefore, the reduction device 1 makes it possible to generate a high-quality reduced image. Furthermore, by encoding the reduced image generated by the reduction device 1, it becomes possible to generate a highly compressed, high-quality encoded image in which encoding artifacts such as block distortion are suppressed.

（第２の実施形態）
次に、第２の実施形態に係る縮小装置について説明する。 Second Embodiment
Next, a reduction device according to a second embodiment will be described.

図３は、本発明の第２の実施形態に係る縮小装置の構成例を示すブロック図である。図３に示す縮小装置２は、周波数分解部１１と、高周波数帯域パワー割合算出部１２と、帯域制限部１３と、周波数再構成部１４と、空間解像度縮小部１５と、符号化情報抽出部１６と、パラメータ補正部１７と、を備える。第２の実施形態に係る縮小装置２は第１の実施形態に係る縮小装置１と比較して、パラメータ補正部１７を更に備える点が相違する。その他の構成については第１の実施形態と同一であるため、同一の参照番号を付して適宜説明を省略する。 Figure 3 is a block diagram showing an example of the configuration of a reduction device according to a second embodiment of the present invention. The reduction device 2 shown in Figure 3 includes a frequency decomposition unit 11, a high frequency band power ratio calculation unit 12, a band limiting unit 13, a frequency reconstruction unit 14, a spatial resolution reduction unit 15, an encoding information extraction unit 16, and a parameter correction unit 17. The reduction device 2 according to the second embodiment differs from the reduction device 1 according to the first embodiment in that it further includes a parameter correction unit 17. As the other configurations are the same as those of the first embodiment, the same reference numbers are used and the description is omitted as appropriate.

帯域制限部１３は、高周波数帯域パワー割合Ｐｈ（ｘ，ｙ）及び量子化パラメータＱｐ（ｉ，ｊ）をパラメータ補正部１７に出力する。 The band limiting unit 13 outputs the high frequency band power ratio Ph(x, y) and the quantization parameter Qp(i, j) to the parameter correction unit 17.

パラメータ補正部１７は、被符号化ユニットＣＵにおける高周波数帯域パワー割合Ｐｈと被符号化ユニットＣＵの周囲の符号化ユニットＣＵにおける高周波数帯域パワー割合Ｐｈの差分が大きく、かつ被符号化ユニットＣＵにおける量子化パラメータＱｐと周囲の符号化ユニットＣＵにおける量子化パラメータＱｐの差分値が大きいほど、被符号化ユニットＣＵの部分的な画質劣化が目立つことを防ぐために、該差分値を小さくするように被符号化ユニットＣＵの量子化パラメータＱｐの値を補正する。すなわち、符号化パラメータの均等化を行う。そして、パラメータ補正部１７は、補正後の量子化パラメータＱｐ’を帯域制限部１３に出力する。 The parameter correction unit 17 corrects the value of the quantization parameter Qp of the coded unit CU to reduce the difference value in order to prevent partial image quality degradation of the coded unit CU from becoming noticeable the greater the difference between the high frequency band power proportion Ph in the coded unit CU and the high frequency band power proportion Ph in the coding units CU surrounding the coded unit CU, and the greater the difference value between the quantization parameter Qp in the coded unit CU and the quantization parameter Qp in the coding units CU surrounding the coded unit CU. In other words, the coding parameters are equalized. The parameter correction unit 17 then outputs the corrected quantization parameter Qp' to the band limiting unit 13.

パラメータ補正部１７の処理の一例を示す。パラメータ補正部１７は、被符号化ユニットＣＵ１内の全ての画素位置（ｘ，ｙ）における高周波数帯域パワー割合Ｐｈ１（ｘ，ｙ）の平均値Ｐ１を算出する。また、パラメータ補正部１７は、被符号化ユニットＣＵ１の周囲の符号化ユニットＣＵ２内の全ての画素位置（ｘ，ｙ）における高周波数帯域パワー割合Ｐｈ２（ｘ，ｙ）の平均値Ｐ２を算出する。符号化ユニットＣＵ２は、例えば被符号化ユニットＣＵ１と同一のコーディングツリーユニットＣＴＵ（Coding Tree Unit）に属する他の符号化ユニットである。そして、パラメータ補正部１７は、Ｐ１とＰ２の差分が大きく、かつ被符号化ユニットＣＵ１における量子化パラメータＱｐ１とその周囲の符号化ユニットＣＵ２における量子化パラメータＱｐ２の差分値が大きいほど、該差分値を小さくするように被符号化ユニットＣＵ１の量子化パラメータＱｐ１を補正する。 An example of the process of the parameter correction unit 17 is shown. The parameter correction unit 17 calculates the average value P1 of the high frequency band power ratio Ph1(x,y) at all pixel positions (x,y) in the coded unit CU1. The parameter correction unit 17 also calculates the average value P2 of the high frequency band power ratio Ph2(x,y) at all pixel positions (x,y) in the coding unit CU2 surrounding the coded unit CU1. The coding unit CU2 is, for example, another coding unit belonging to the same coding tree unit CTU (Coding Tree Unit) as the coded unit CU1. The parameter correction unit 17 corrects the quantization parameter Qp1 of the coded unit CU1 so that the larger the difference between P1 and P2 is and the larger the difference value between the quantization parameter Qp1 in the coded unit CU1 and the quantization parameter Qp2 in the coding unit CU2 surrounding it is, the smaller the difference value is.

パラメータ補正部１７は、上記のＰ１とＰ２の差分が閾値（例えば、Ｐ１又はＰ２の５％以上）、かつ上記のＱｐ１とＱｐ２の差分｜Ｑｐ１－Ｑｐ２｜が閾値（例えば、３）以上の場合は、｜Ｑｐ１－Ｑｐ２｜が小さく（例えば、半分に）なるようにＱｐ１をＱｐ’に補正する。例えば、Ｑｐ１＝１６，Ｑｐ２＝１０であれば、Ｑｐ’＝１３とする。端数は四捨五入してよい。 If the difference between P1 and P2 is equal to or greater than a threshold (e.g., 5% or more of P1 or P2) and the difference between Qp1 and Qp2 is equal to or greater than a threshold (e.g., 3), the parameter correction unit 17 corrects Qp1 to Qp' so that |Qp1-Qp2| becomes smaller (e.g., halved). For example, if Qp1=16 and Qp2=10, Qp'=13. Fractions may be rounded off.

符号化情報抽出部１６は、１周目の処理では、空間解像度縮小部１５から入力した帯域制限縮小画像に対して符号化処理を行い、符号化ユニットＣＵ毎に、量子化パラメータＱｐを抽出する。符号化情報抽出部１６は、２周目以降の処理では、空間解像度縮小部１５から入力した帯域制限縮小画像に対して、パラメータ補正部１７から入力した量子化パラメータＱｐ’を用いて符号化処理を行い、符号化情報として、符号化ユニットＣＵ毎の量子化パラメータＱＰを抽出する。 In the first round of processing, the coding information extraction unit 16 performs coding processing on the band-limited reduced image input from the spatial resolution reduction unit 15, and extracts a quantization parameter Qp for each coding unit CU. In the second round and subsequent rounds of processing, the coding information extraction unit 16 performs coding processing on the band-limited reduced image input from the spatial resolution reduction unit 15 using the quantization parameter Qp' input from the parameter correction unit 17, and extracts a quantization parameter QP for each coding unit CU as coding information.

上述したように、縮小装置２は、縮小装置１の構成に加えて、被符号化ユニットＣＵにおける高周波数帯域パワー割合Ｐｈと被符号化ユニットＣＵの周囲の符号化ユニットＣＵにおける高周波数帯域パワー割合Ｐｈの差分が大きく、かつ被符号化ユニットＣＵにおける量子化パラメータＱｐと周囲の符号化ユニットＣＵにおける量子化パラメータＱｐの差分値が大きいほど、該差分値を小さくするように被符号化ユニットＣＵの量子化パラメータＱｐの値を補正するパラメータ補正部１７を備える。そのため、縮小装置２によれば、被符号化ユニットＣＵの部分的な画質劣化を抑制することができ、さらなる高画質化を図ることが可能となる。 As described above, in addition to the configuration of the reduction device 1, the reduction device 2 is provided with a parameter correction unit 17 that corrects the value of the quantization parameter Qp of the coded unit CU so that the larger the difference between the high frequency band power proportion Ph in the coded unit CU and the high frequency band power proportion Ph in the coding units CU surrounding the coded unit CU, and the larger the difference between the quantization parameter Qp in the coded unit CU and the quantization parameter Qp in the coding unit CU surrounding the coded unit CU, the smaller the difference value becomes. Therefore, according to the reduction device 2, partial deterioration of the image quality of the coded unit CU can be suppressed, and further image quality can be improved.

（プログラム）
上述した縮小装置１，２として機能させるために、それぞれプログラム命令を実行可能なコンピュータを用いることも可能である。ここで、コンピュータは、汎用コンピュータ、専用コンピュータ、ワークステーション、ＰＣ（Personal Computer）、電子ノートパッドなどであってもよい。プログラム命令は、必要なタスクを実行するためのプログラムコード、コードセグメントなどであってもよい。 (program)
A computer capable of executing program instructions can be used to function as the above-mentioned reduction devices 1 and 2. Here, the computer may be a general-purpose computer, a special-purpose computer, a workstation, a PC (Personal Computer), an electronic notepad, etc. The program instructions may be program code, code segments, etc. for performing the necessary tasks.

コンピュータは、プロセッサと、記憶部と、入力部と、出力部と、通信インターフェースとを備える。プロセッサは、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＳｏＣ（System on a Chip）などであり、同種又は異種の複数のプロセッサにより構成されてもよい。プロセッサは、記憶部からプログラムを読み出して実行することで、上記各構成の制御及び各種の演算処理を行う。なお、これらの処理内容の少なくとも一部をハードウェアで実現することとしてもよい。入力部は、ユーザの入力操作を受け付けてユーザの操作に基づく情報を取得する入力インターフェースであり、ポインティングデバイス、キーボード、マウスなどである。出力部は、情報を出力する出力インターフェースであり、ディスプレイ、スピーカなどである。通信インターフェースは、外部の装置と通信するためのインターフェースであり、例えばＬＡＮ（Local Area Network）インターフェースである。 The computer includes a processor, a storage unit, an input unit, an output unit, and a communication interface. The processor may be a CPU (Central Processing Unit), an MPU (Micro Processing Unit), a GPU (Graphics Processing Unit), a DSP (Digital Signal Processor), or a SoC (System on a Chip), and may be composed of multiple processors of the same or different types. The processor reads a program from the storage unit and executes it to control each of the above components and perform various arithmetic processing. At least a part of the processing content may be realized by hardware. The input unit is an input interface that receives a user's input operation and acquires information based on the user's operation, and is a pointing device, keyboard, mouse, etc. The output unit is an output interface that outputs information, and is a display, speaker, etc. The communication interface is an interface for communicating with an external device, and is, for example, a LAN (Local Area Network) interface.

プログラムは、コンピュータが読み取り可能な記録媒体に記録されていてもよい。このような記録媒体を用いれば、プログラムをコンピュータにインストールすることが可能である。ここで、プログラムが記録された記録媒体は、非一過性（non-transitory）の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ＵＳＢ（Universal Serial Bus）メモリなどであってもよい。また、このプログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。 The program may be recorded on a computer-readable recording medium. Using such a recording medium, the program can be installed on a computer. Here, the recording medium on which the program is recorded may be a non-transitory recording medium. The non-transitory recording medium is not particularly limited, and may be, for example, a CD-ROM, a DVD-ROM, or a USB (Universal Serial Bus) memory. In addition, the program may be in a form that is downloaded from an external device via a network.

例えば、縮小装置１として機能させるためのプログラムは、原画像に対して位相情報を保持しながら周波数分解を行い、周波数帯域成分を生成する周波数分解ステップと、周波数帯域成分の各画素位置において、全周波数帯域のパワーに対する、所定の制限高周波数帯域のパワー割合を算出する高周波数帯域パワー割合算出ステップと、周波数帯域成分の制限高周波数帯域のパワー値を減衰させて帯域制限を行い、成分が縮退された縮退周波数帯域成分を生成する帯域制限ステップと、縮退周波数帯域成分に対して周波数再構成を行い、原画像と同じサイズの縮退画像を生成する周波数再構成ステップと、縮退画像の空間解像度を縮小した縮小画像を生成する空間解像度縮小ステップと、縮小画像に対して符号化処理を行い、符号化ブロック毎に、符号化に用いられた量子化パラメータを抽出する符号化情報抽出ステップと、をコンピュータに実行させ、帯域制限ステップは、パワー割合及び量子化パラメータの値に応じて、パワー値の減衰量を変化させる。 For example, a program for functioning as the reduction device 1 causes a computer to execute the following steps: a frequency decomposition step for performing frequency decomposition on the original image while retaining phase information to generate frequency band components; a high frequency band power ratio calculation step for calculating the power ratio of a predetermined restricted high frequency band to the power of the entire frequency band at each pixel position of the frequency band components; a band limitation step for attenuating the power value of the restricted high frequency band of the frequency band components to perform band limitation to generate degenerated frequency band components with degenerated components; a frequency reconstruction step for performing frequency reconstruction on the degenerated frequency band components to generate a degenerated image of the same size as the original image; a spatial resolution reduction step for generating a reduced image with reduced spatial resolution of the degenerated image; and an encoding information extraction step for performing an encoding process on the reduced image and extracting the quantization parameter used in the encoding for each encoding block. The band limitation step changes the amount of attenuation of the power value depending on the power ratio and the value of the quantization parameter.

また、上述した縮小装置１，２は、１つ又は複数の半導体チップにより構成されてもよい。この半導体チップは、縮小装置１，２の各機能を実現する処理内容を記述したプログラムを実行するＣＰＵを搭載してもよい。 The reduction devices 1 and 2 described above may be configured with one or more semiconductor chips. The semiconductor chip may be equipped with a CPU that executes a program that describes the processing contents that realize each function of the reduction devices 1 and 2.

上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形又は変更が可能である。例えば、実施形態の構成図に記載の複数の構成ブロックを統合したり、１つの構成ブロックを分割したりすることが可能である。 The above-mentioned embodiment has been described as a representative example, but it will be apparent to those skilled in the art that many modifications and substitutions can be made within the spirit and scope of the present invention. Therefore, the present invention should not be interpreted as being limited by the above-mentioned embodiment, and various modifications or alterations are possible without departing from the scope of the claims. For example, it is possible to integrate multiple configuration blocks shown in the configuration diagram of the embodiment, or to divide one configuration block.

１，２縮小装置
１１周波数分解部
１２高周波数帯域パワー割合算出部
１３帯域制限部
１４周波数再構成部
１５空間解像度縮小部
１６符号化情報抽出部
１７パラメータ補正部
REFERENCE SIGNS LIST 1, 2 Reduction device 11 Frequency decomposition section 12 High frequency band power ratio calculation section 13 Band limiting section 14 Frequency reconstruction section 15 Spatial resolution reduction section 16 Encoding information extraction section 17 Parameter correction section

Claims

原画像の縮小画像を生成する縮小装置であって、
前記原画像に対して位相情報を保持しながら周波数分解を行い、周波数帯域成分を生成する周波数分解部と、
前記周波数帯域成分の各画素位置において、全周波数帯域のパワーに対する、所定の制限高周波数帯域のパワー割合を算出する高周波数帯域パワー割合算出部と、
前記周波数帯域成分の前記制限高周波数帯域のパワー値を減衰させて帯域制限を行い、成分が縮退された縮退周波数帯域成分を生成する帯域制限部と、
前記縮退周波数帯域成分に対して周波数再構成を行い、前記原画像と同じサイズの縮退画像を生成する周波数再構成部と、
前記縮退画像の空間解像度を縮小した縮小画像を生成する空間解像度縮小部と、
前記縮小画像に対して符号化処理を行い、符号化ブロック毎に、符号化に用いられた量子化パラメータを抽出する符号化情報抽出部と、を備え、
前記帯域制限部は、前記パワー割合及び前記量子化パラメータの値に応じて、前記パワー値の減衰量を変化させる、縮小装置。 A reduction device for generating a reduced image of an original image, comprising:
a frequency decomposition unit that performs frequency decomposition on the original image while preserving phase information, and generates frequency band components;
a high frequency band power ratio calculation unit that calculates a ratio of power of a predetermined restricted high frequency band to power of an entire frequency band at each pixel position of the frequency band components;
a band limiting unit that performs band limiting by attenuating a power value of the restricted high frequency band of the frequency band components to generate degenerated frequency band components in which the components are degenerated;
a frequency reconstruction unit that performs frequency reconstruction on the degenerated frequency band components to generate a degenerated image having the same size as the original image;
a spatial resolution reducing unit for generating a reduced image by reducing the spatial resolution of the degenerate image;
a coding information extraction unit that performs coding processing on the reduced image and extracts a quantization parameter used in coding for each coding block,
The band limiting unit changes an amount of attenuation of the power value depending on the power ratio and the value of the quantization parameter.

前記帯域制限部、前記周波数再構成部、及び前記空間解像度縮小部は、前記量子化パラメータの値が閾値以下、あるいは前記量子化パラメータの減少度合いが閾値以下になるまで繰り返し処理を行う、請求項１に記載の縮小装置。 The reduction device according to claim 1, wherein the band limiting unit, the frequency reconstruction unit, and the spatial resolution reduction unit repeat the process until the value of the quantization parameter becomes equal to or less than a threshold value, or until the degree of decrease of the quantization parameter becomes equal to or less than a threshold value.

前記帯域制限部は、１周目の処理においては、前記パワー値の減衰量を所定値とし、２周目以降の処理においては、前記パワー割合が大きく、かつ前記量子化パラメータが大きいほど、前記減衰量を大きくする、請求項２に記載の縮小装置。 The reduction device according to claim 2, wherein the band limiting unit sets the amount of attenuation of the power value to a predetermined value in the first round of processing, and increases the amount of attenuation in the second and subsequent rounds of processing as the power ratio increases and the quantization parameter increases.

被符号化ブロックにおける前記パワー割合と前記被符号化ブロックの周囲の符号化ブロックにおける前記パワーの割合の差分が大きく、かつ前記被符号化ブロックにおける前記量子化パラメータと前記周囲の符号化ブロックにおける前記量子化パラメータの差分値が大きいほど、該差分値を小さくするように前記被符号化ブロックの前記量子化パラメータの値を補正するパラメータ補正部を更に備える、請求項３に記載の縮小装置。 The reduction device according to claim 3, further comprising a parameter correction unit that corrects the value of the quantization parameter of the encoded block so as to reduce the difference value as the difference between the power ratio in the encoded block and the power ratio in the encoding blocks surrounding the encoded block increases and the difference value between the quantization parameter in the encoded block and the quantization parameter in the encoding blocks surrounding the encoded block increases.

コンピュータを、請求項１から４のいずれか一項に記載の縮小装置として機能させるためのプログラム。
A program for causing a computer to function as the reduction device according to any one of claims 1 to 4.