JP2023109087A - Reduction device and program - Google Patents

Reduction device and program Download PDF

Info

Publication number
JP2023109087A
JP2023109087A JP2022010483A JP2022010483A JP2023109087A JP 2023109087 A JP2023109087 A JP 2023109087A JP 2022010483 A JP2022010483 A JP 2022010483A JP 2022010483 A JP2022010483 A JP 2022010483A JP 2023109087 A JP2023109087 A JP 2023109087A
Authority
JP
Japan
Prior art keywords
frequency band
degenerated
image
component
reduction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022010483A
Other languages
Japanese (ja)
Inventor
康孝 松尾
Yasutaka Matsuo
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
NHK Engineering System Inc
Original Assignee
Nippon Hoso Kyokai NHK
Japan Broadcasting Corp
NHK Engineering System Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Hoso Kyokai NHK, Japan Broadcasting Corp, NHK Engineering System Inc filed Critical Nippon Hoso Kyokai NHK
Priority to JP2022010483A priority Critical patent/JP2023109087A/en
Publication of JP2023109087A publication Critical patent/JP2023109087A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Television Systems (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)

Abstract

To generate a high-quality thumbnail image.SOLUTION: A reduction device 1 that generates a reduced image of an original image includes a frequency decomposition unit 10 that generates a frequency band component by performing frequency band decomposition in the spatial direction on the original image until each frequency band is equal to or less than the spatial resolution of the reduced image, a degeneration processing unit 13 that performs degeneration processing on frequency band components and generates degenerated frequency band components in which the components in each frequency band are degenerated, a frequency reconstruction unit 14 that performs frequency reconstruction on the degenerated frequency band components to generate a degenerated image having the same size as the original image, and a spatial resolution reduction unit 15 that generates a reduced image by reducing the spatial resolution of the degenerated image.SELECTED DRAWING: Figure 1

Description

本発明は、縮小装置及びプログラムに関する。 The present invention relates to a reduction device and program.

特許文献１には、復号画像の超解像処理を行う際に復号画像自体が劣化している場合は、超解像パラメータによっては劣化成分自体が大きく強調されてしまう可能性があるため、所定の終了条件を満たすまで超解像処理と縮小復元処理を繰り返し行うことで、最適な超解像パラメータを得る技術が開示されている。 In Patent Document 1, if the decoded image itself is degraded when super-resolution processing is performed on the decoded image, the deterioration component itself may be greatly emphasized depending on the super-resolution parameter. A technique for obtaining optimum super-resolution parameters by repeatedly performing super-resolution processing and reduction restoration processing until the end condition of is satisfied is disclosed.

また、特許文献２には、入力画像を一旦縮小して中間解像度に変換し、これに既存の符号化・復号を行った後で元の解像度に戻す方式において、符号化器に応じた符号量とその符号量に対する最適な解像度縮小率を予め蓄積しておき、最適な中間解像度を選択する技術が開示されている。 Further, in Patent Document 2, in a method in which an input image is once reduced and converted to an intermediate resolution, existing encoding/decoding is performed on the input image, and then restored to the original resolution, a code amount corresponding to an encoder is disclosed. and the optimum resolution reduction ratio for the code amount are stored in advance, and the technique for selecting the optimum intermediate resolution is disclosed.

特許第５２６２８７９号公報Japanese Patent No. 5262879 特開２０００－１３４６１８号公報JP-A-2000-134618

しかしながら、特許文献１、２に開示された従来技術では、縮小画像を生成した際に、符号化が困難な画像において、ブロック歪などのアーティファクトが発生し、画質が劣化するという課題があった。 However, the conventional techniques disclosed in Patent Documents 1 and 2 have a problem that artifacts such as block distortion occur in images that are difficult to encode when a reduced image is generated, resulting in deterioration of image quality.

課題を解決するための方法How to solve the problem

かかる事情に鑑みてなされた本発明の目的は、高品質な縮小画像を生成することが可能な縮小装置及びプログラムを提供することにある。 SUMMARY OF THE INVENTION An object of the present invention, which has been made in view of such circumstances, is to provide a reduction apparatus and program capable of generating a high-quality reduced image.

上記課題を解決するため、一実施形態に係る縮小装置は、原画像の縮小画像を生成する縮小装置であって、前記原画像に対して、各周波数帯域が前記縮小画像の空間解像度以下となるまで空間方向の周波数帯域分解を行い、周波数帯域成分を生成する周波数分解部と、前記周波数帯域成分に対して縮退処理を行い、成分が縮退された縮退周波数帯域成分を生成する縮退処理部と、前記縮退周波数帯域成分に対して、周波数再構成を行い、原画像と同じサイズの縮退画像を生成する周波数再構成部と、前記縮退画像の空間解像度を縮小した縮小画像を生成する空間解像度縮小部と、を備える。 In order to solve the above problems, a reduction device according to one embodiment is a reduction device that generates a reduced image of an original image, wherein each frequency band of the original image is less than or equal to the spatial resolution of the reduced image. A frequency decomposition unit that performs frequency band decomposition in the spatial direction to generate frequency band components, a degeneration processing unit that performs degeneration processing on the frequency band components and generates degenerate frequency band components in which the components are degenerated; A frequency reconstruction unit that performs frequency reconstruction on the degenerated frequency band components to generate a degenerated image having the same size as the original image, and a spatial resolution reduction unit that generates a reduced image by reducing the spatial resolution of the degenerated image. And prepare.

さらに、一実施形態に係る縮小装置において、前記縮退処理部は、前記縮小画像の空間解像度を超える周波数帯域内の成分に第１縮退係数を乗じて前記縮退周波数帯域成分を生成してもよい。 Further, in the reduction apparatus according to one embodiment, the reduction processing unit may generate the reduced frequency band component by multiplying a component within a frequency band exceeding the spatial resolution of the reduced image by a first reduction coefficient.

さらに、一実施形態に係る縮小装置において、前記縮退処理部は、前記縮小画像の空間解像度以下の周波数帯域内のうちエッジ成分を検出し、該エッジ成分に第２縮退係数を乗じて前記縮退周波数帯域成分を生成してもよい。 Further, in the reduction device according to one embodiment, the reduction processing unit detects an edge component in a frequency band below the spatial resolution of the reduced image, and multiplies the edge component by a second reduction coefficient to obtain the reduction frequency. A band component may be generated.

さらに、一実施形態に係る縮小装置において、前記縮退処理部は、前記縮小画像の空間解像度以下の周波数帯域における高周波帯域内の成分に第３縮退係数を乗じて前記縮退周波数帯域成分を生成してもよい。 Further, in the reduction device according to one embodiment, the reduction processing unit multiplies a component within a high frequency band in a frequency band equal to or lower than the spatial resolution of the reduced image by a third reduction coefficient to generate the reduced frequency band component. good too.

さらに、一実施形態に係る縮小装置において、前記縮退処理部は、前記縮小画像の空間解像度を超える周波数帯域内の成分に第１縮退係数を乗じ、前記縮小画像の空間解像度以下の周波数帯域内のうちエッジ成分を検出し、該エッジ成分に、縮退率が前記第１縮退係数よりも低い第２縮退係数を乗じ、前記縮小画像の空間解像度以下の周波数帯域における高周波帯域内の成分に、縮退率が前記第２縮退係数よりも低い第３縮退係数を乗じて前記縮退周波数帯域成分を生成してもよい。 Further, in the reduction apparatus according to one embodiment, the reduction processing unit multiplies components within a frequency band exceeding the spatial resolution of the reduced image by a first reduction coefficient, edge components are detected, the edge components are multiplied by a second shrinkage coefficient whose shrinkage rate is lower than the first shrinkage coefficient, and the shrinkage rate is obtained for the components in the high frequency band in the frequency band below the spatial resolution of the reduced image. may be multiplied by a third shrinkage factor lower than the second shrinkage factor to generate the degenerate frequency band components.

さらに、一実施形態に係る縮小装置において、前記周波数分解部は、前記原画像に対して、時間方向にも周波数帯域分解を行い、前記周波数帯域成分を生成してもよい。 Furthermore, in the reduction device according to one embodiment, the frequency decomposition section may also perform frequency band decomposition on the original image in the time direction to generate the frequency band components.

さらに、一実施形態に係る縮小装置において、前記縮退周波数帯域成分の帯域毎の平均値を算出し、縮小画像に相当する縮退周波数帯域成分の帯域毎の平均値の分布が、原画像に相当する縮退周波数帯域成分の帯域毎の平均値の分布に近づくように、縮小画像に相当する縮退周波数帯域成分を補正する縮退補正部をさらに備えてもよい。 Further, in the reduction apparatus according to one embodiment, the average value of the degenerated frequency band components for each band is calculated, and the distribution of the average values for each band of the degenerated frequency band components corresponding to the reduced image corresponds to the original image. A degeneracy correction unit that corrects the degenerate frequency band component corresponding to the reduced image so as to approximate the distribution of the average value of the degenerate frequency band component for each band may be further provided.

また、一実施形態係るプログラムは、コンピュータを、上記縮小装置として機能させる。 A program according to one embodiment causes a computer to function as the reduction device.

本発明によれば、高品質な縮小画像を生成することができる。 According to the present invention, a high-quality reduced image can be generated.

第１の実施形態に係る縮小装置の構成例を示すブロック図である。2 is a block diagram showing a configuration example of a reduction device according to the first embodiment; FIG. ８Ｋ解像度の原画像を空間方向に３階ウェーブレットパケット分解した様子を示す図である。FIG. 10 is a diagram showing a third-order wavelet packet decomposition of an 8K-resolution original image in the spatial direction; ８Ｋ解像度の原画像を空間方向に３階ウェーブレットパケット分解し、時間方向に１階ウェーブレットパケット分解した様子を示す図である。FIG. 10 is a diagram showing a state in which an original image of 8K resolution is decomposed into 3rd-order wavelet packets in the spatial direction and 1st-order wavelet packets are decomposed in the time direction; 第１の実施形態に係る縮小装置における縮退処理部の処理例を示すフローチャートである。7 is a flow chart showing a processing example of a reduction processing unit in the reduction device according to the first embodiment; 第１の実施形態に係る縮小装置における縮退処理部により設定される係数の一例を示す図である。FIG. 5 is a diagram showing an example of coefficients set by a reduction processing unit in the reduction device according to the first embodiment; 第２の実施形態に係る縮小装置の構成例を示すブロック図である。FIG. 11 is a block diagram showing a configuration example of a reduction device according to the second embodiment; 第２の実施形態に係る縮小装置における縮退補正部の処理例を説明する図である。FIG. 11 is a diagram illustrating an example of processing by a degeneracy correction unit in a reduction device according to the second embodiment;

以下、本発明の一実施形態について、図面を参照して詳細に説明する。 An embodiment of the present invention will be described in detail below with reference to the drawings.

（第１の実施形態）
図１は、本発明の第１の実施形態に係る縮小装置１の構成例を示すブロック図である。図１に示す縮小装置１は、周波数分解部１０と、縮退処理部１３と、周波数再構成部１４と、空間解像度縮小部１５と、を備える。 (First embodiment)
FIG. 1 is a block diagram showing a configuration example of a reduction device 1 according to the first embodiment of the present invention. A reduction device 1 shown in FIG.

縮小装置１は、原画像を入力し、原画像（入力画像）の空間解像度を縮小した縮小画像を生成して出力する。縮小装置１は、例えば８Ｋ解像度で撮影された原画像を４Ｋ解像度に縮小して放送する場合などに、画像符号化のプリ処理として用いることができる。 A reduction device 1 receives an original image, generates and outputs a reduced image obtained by reducing the spatial resolution of the original image (input image). The reduction device 1 can be used as pre-processing for image coding when, for example, an original image shot at 8K resolution is reduced to 4K resolution and broadcasted.

周波数分解部１０は、空間周波数帯域分解部１１と、時間周波数帯域分解部１２と、を備える。本実施形態では、周波数分解部１０が時間周波数帯域分解部１２を備えるものとして説明するが、時間周波数帯域分解部１２を備えない構成であってもよい。 The frequency decomposition unit 10 includes a spatial frequency band decomposition unit 11 and a temporal frequency band decomposition unit 12 . In this embodiment, the frequency decomposition unit 10 is described as including the time frequency band decomposition unit 12, but the configuration without the time frequency band decomposition unit 12 is also possible.

空間周波数帯域分解部１１は、原画像に対して、各周波数帯域が縮小装置１の出力する縮小画像の空間解像度以下となるまで空間方向の周波数帯域分解を行い、空間周波数帯域毎の成分（以下、「空間周波数帯域成分」という。）を生成する。各成分はパワースペクトルを示す。そして、空間周波数帯域分解部１１は、空間周波数帯域成分を時間周波数帯域分解部１２に出力する。本実施形態では、周波数帯域分解としてウェーブレット分解を行う。なお、ウェーブレットフィルタ及び空間分解階層数は、ユーザが任意に設定可能である。 The spatial frequency band decomposition unit 11 performs frequency band decomposition in the spatial direction on the original image until each frequency band is equal to or lower than the spatial resolution of the reduced image output by the reduction device 1, and obtains components for each spatial frequency band (hereinafter referred to as , referred to as “spatial frequency band components”). Each component represents a power spectrum. Then, the spatial frequency band decomposition section 11 outputs the spatial frequency band components to the temporal frequency band decomposition section 12 . In this embodiment, wavelet decomposition is performed as frequency band decomposition. Note that the wavelet filter and the number of spatial decomposition layers can be arbitrarily set by the user.

図２は、８Ｋ解像度の原画像を空間方向に３階ウェーブレットパケット分解して、１Ｋ×０．５Ｋ毎の空間周波数帯域に分解した様子を示す図である。入力画像の多重解像度分解を高精度に行うためには、線形位相性を有し、比較的タップ長が長く遮断特性が急峻なウェーブレットフィルタ（例えば、ＣＤＦ（Cohen-Daubechies-Feauveau）９／７、Biorthogonal(6,8)など）を用いることが望ましい。また、各周波数帯域間のパワーは、パーセバルの等式を満たすものとする。 FIG. 2 is a diagram showing how an original image of 8K resolution is decomposed into three-order wavelet packets in the spatial direction into spatial frequency bands of 1K×0.5K. In order to perform multi-resolution decomposition of the input image with high precision, a wavelet filter having a linear phase property, a relatively long tap length and a sharp cutoff characteristic (for example, CDF (Cohen-Daubechies-Feauveau) 9/7, Biorthogonal (6,8), etc.) is preferred. It is also assumed that the power between each frequency band satisfies Parseval's equation.

また、空間周波数帯域分解部１１は、本実施形態ではデシメーションなしのウェーブレットパケット分解を用いて空間周波数帯域分解を行う。デシメーションなしとは、位相情報を保持することを意味する。そのため、図２において各周波数帯域の大きさは１Ｋ×０．５Ｋサイズであるが、各周波数帯域内の空間方向の要素数は８Ｋ×４Ｋ個である。 Further, the spatial frequency band decomposition unit 11 performs spatial frequency band decomposition using wavelet packet decomposition without decimation in this embodiment. No decimation means preserving phase information. Therefore, although the size of each frequency band is 1K×0.5K in FIG. 2, the number of elements in the spatial direction in each frequency band is 8K×4K.

時間周波数帯域分解部１２は、空間周波数帯域分解部１１により生成された空間周波数帯域成分に対して時間方向の周波数帯域分解を行い、時空間周波数帯域毎のパワースペクトル要素成分（以下、「時空間周波数帯域成分」という。）を生成する。そして、時間周波数帯域分解部１２は、時空間周波数帯域成分を縮退処理部１３に出力する。本実施形態では、周波数帯域分解としてウェーブレット分解を行う。なお、ウェーブレットフィルタ及び時間分解階層数は、ユーザが任意に設定可能である。 The temporal frequency band decomposition unit 12 performs frequency band decomposition in the time direction on the spatial frequency band components generated by the spatial frequency band decomposition unit 11, and generates power spectrum element components for each spatio-temporal frequency band (hereinafter referred to as “spatio-temporal (referred to as "frequency band components"). Then, the time-frequency band decomposition unit 12 outputs the spatio-temporal frequency band components to the degeneration processing unit 13 . In this embodiment, wavelet decomposition is performed as frequency band decomposition. A user can arbitrarily set the wavelet filter and the number of temporal decomposition layers.

図３は、８Ｋ解像度の原画像を空間方向に３階ウェーブレットパケット分解し、時間方向に１階ウェーブレットパケット分解した様子を示す図である。６０フレーム／秒の空間周波数帯域成分を１階ウェーブレットパケット分解すると、１から３０フレーム／秒と３１から６０フレーム／秒の時間周波数帯域に分解される。ここで、ウェーブレットフィルタは空間周波数帯域分解部１１と同じとする。また、デシメーションなしのウェーブレットパケット分解を行った場合、各周波数帯域内の時間方向の要素数は６０個である。各周波数帯域内の時空間方向の要素数は８Ｋ×４Ｋ×６０個である。 FIG. 3 is a diagram showing how an original image of 8K resolution is decomposed into third-order wavelet packets in the spatial direction and first-order wavelet packet decomposition in the temporal direction. When the spatial frequency band component of 60 frames/second is decomposed into first-order wavelet packets, it is decomposed into temporal frequency bands of 1 to 30 frames/second and 31 to 60 frames/second. Here, the wavelet filter is assumed to be the same as the spatial frequency band decomposition unit 11 . Also, when wavelet packet decomposition without decimation is performed, the number of elements in the time direction within each frequency band is 60 pieces. The number of elements in the spatio-temporal direction within each frequency band is 8K×4K×60.

縮退処理部１３は、時間周波数帯域分解部１２により生成された時空間周波数帯域成分に対して縮退処理を行い、成分が縮退された時空間周波数帯域成分（以下、「縮退周波数帯域成分」という。）を生成する。そして、縮退処理部１３は、縮退周波数帯域成分を周波数再構成部１４に出力する。 The degeneration processing unit 13 performs degeneration processing on the spatio-temporal frequency band components generated by the time-frequency band decomposing unit 12, and degenerates the spatio-temporal frequency band components (hereinafter referred to as “degenerate frequency band components”). ). The degeneration processing unit 13 then outputs the degenerated frequency band components to the frequency reconstruction unit 14 .

縮退処理部１３の処理を、図４を参照して説明する。図４は、縮退処理部１３の処理例を示すフローチャートである。 The processing of the degeneracy processing unit 13 will be described with reference to FIG. FIG. 4 is a flowchart showing a processing example of the degeneracy processing unit 13. As shown in FIG.

ステップＳ１１では、各時空間周波数帯域について縮小画像の空間解像度を超えるか否かを判定する。 In step S11, it is determined whether or not the spatial resolution of each spatio-temporal frequency band exceeds the spatial resolution of the reduced image.

ステップＳ１２では、縮小画像の空間解像度を超える時空間周波数帯域内の成分には、縮退率が最も高い第１縮退係数を乗じる。第１縮退係数の値は、０以上であり１よりも小さい。 In step S12, the components in the spatio-temporal frequency band exceeding the spatial resolution of the reduced image are multiplied by the first shrinkage coefficient with the highest shrinkage rate. The value of the first shrinkage factor is 0 or more and less than 1.

ステップＳ１３では、各時空間周波数帯域について最も低い時空間周波数帯域であるか否かを判定する。 In step S13, it is determined whether each spatio-temporal frequency band is the lowest spatio-temporal frequency band.

ステップＳ１４では、直流成分を含む最も低い時空間周波数帯域内の成分には縮退処理を行わない（すなわち、各要素の値を変更しない）。 In step S14, the degeneracy process is not performed on the components in the lowest spatio-temporal frequency band including the DC component (that is, the value of each element is not changed).

ステップＳ１５では、縮小画像の空間解像度以下の時空間周波数帯域内のうちエッジ成分を検出する。例えば、縮退処理部１３は、縮小画像の空間解像度以下の時空間周波数帯域内で、全ての周波数帯域において所定の閾値よりも大きな値を持つ同一の要素位置をエッジ成分として検出する。周波数分解部１０による周波数帯域分解としてデシメーションなしのウェーブレットパケット分解を用いることで、各周波数帯域の要素数が同じになるため、エッジ成分の検出精度を向上させることが可能となる。 In step S15, edge components are detected within the spatio-temporal frequency band below the spatial resolution of the reduced image. For example, the degeneration processing unit 13 detects, as edge components, the same element position having a value larger than a predetermined threshold in all frequency bands within the spatio-temporal frequency band equal to or lower than the spatial resolution of the reduced image. By using wavelet packet decomposition without decimation as the frequency band decomposition by the frequency decomposition unit 10, the number of elements in each frequency band becomes the same, so it is possible to improve the edge component detection accuracy.

ステップＳ１６では、強いエッジ成分のように全ての周波数帯域に大きなパワーを持つ要素位置では、折り返し歪が大きい可能性が高いため、時空間高周波数帯域内の当該要素位置の成分には縮退率が第１縮退係数よりも低い第２縮退係数を乗じる。第２縮退係数の値は、第１縮退係数よりも大きく１よりも小さい。 In step S16, there is a high possibility that aliasing distortion is large at element positions that have large power in all frequency bands, such as strong edge components. Multiply by a second shrinkage factor that is lower than the first shrinkage factor. The value of the second shrinkage factor is greater than the first shrinkage factor and less than one.

ステップＳ１７では、縮小画像の空間解像度以下の時空間周波数帯域について高周波帯域であるか否かを判定する。 In step S17, it is determined whether or not the spatio-temporal frequency band equal to or lower than the spatial resolution of the reduced image is a high frequency band.

ステップＳ１８では、縮小画像の空間解像度以下の時空間周波数帯域における高周波帯域内の成分は符号化難易度が高い可能性があるため、縮退率が第２縮退係数よりも低い第３縮退係数を乗じる。第３縮退係数の値は、第２縮退係数よりも大きく１よりも小さい。 In step S18, since the components in the high-frequency band in the spatio-temporal frequency band below the spatial resolution of the reduced image may be difficult to encode, they are multiplied by a third shrinkage coefficient whose shrinkage rate is lower than the second shrinkage coefficient. . The value of the third shrinkage factor is greater than the second shrinkage factor and less than one.

図５は、縮退処理部１３により設定される係数の一例を示す図である。ここでは、時間方向の周波数帯域を省略している。また、原画像の空間解像度を８Ｋ×４Ｋ、縮小画像の空間解像度を４Ｋ×２Ｋとする。 FIG. 5 is a diagram showing an example of coefficients set by the degeneracy processing unit 13. As shown in FIG. Here, frequency bands in the time direction are omitted. It is also assumed that the spatial resolution of the original image is 8K×4K and the spatial resolution of the reduced image is 4K×2K.

第１縮退係数が０．００１の場合は、水平周波数が４Ｋ～８Ｋ、垂直周波数が２Ｋ～４Ｋの時空間周波数帯域成分を０．００１倍（パワーを３０ｄＢ減衰）にする。最も低い時空間周波数帯域成分については縮退処理を行わない。第２縮退係数が０．１の場合は、エッジ成分を検出後、当該要素位置の成分を０．１倍（パワーを１０ｄＢ減衰）にする。第３縮退係数が０．５の場合は、例えば、水平周波数３Ｋ～４Ｋ、垂直周波数１．５Ｋ～２Ｋ、時間周波数３０～６０の時空間周波数帯域成分を０．５倍（パワーを３ｄＢ減衰）にする。 When the first degeneration factor is 0.001, the spatio-temporal frequency band components with horizontal frequencies of 4K to 8K and vertical frequencies of 2K to 4K are multiplied by 0.001 (the power is attenuated by 30 dB). The lowest spatio-temporal frequency band component is not degenerated. When the second degeneracy coefficient is 0.1, after detecting the edge component, the component at the element position is multiplied by 0.1 (power is attenuated by 10 dB). When the third degeneracy factor is 0.5, for example, the spatio-temporal frequency band components with horizontal frequencies of 3K to 4K, vertical frequencies of 1.5K to 2K, and temporal frequencies of 30 to 60 are multiplied by 0.5 (power is attenuated by 3 dB). to

なお、第１縮退係数の値、第２縮退係数の値、第３縮退係数の値、及び第３縮退係数を適用する周波数帯域は、ユーザが任意に設定可能であり、上記の例に限られるものではない。また、第１縮退係数、第２縮退係数、第３縮退係数、及び第３縮退係数のうち、１つ又は２つのみを適用してもよい。 The value of the first degeneracy coefficient, the value of the second degeneracy coefficient, the value of the third degeneracy coefficient, and the frequency band to which the third degeneracy coefficient is applied can be arbitrarily set by the user, and are limited to the above examples. not a thing Alternatively, only one or two of the first shrinkage factor, the second shrinkage factor, the third shrinkage factor, and the third shrinkage factor may be applied.

周波数再構成部１４は、縮退処理部１３により生成された縮退周波数帯域成分に対して周波数再構成（例えば、ウェーブレットパケット逆分解）を行い、原画像と同じサイズの縮退画像を生成する。周波数再構成は、周波数分解部１０が時間周波数帯域分解部１２を備える場合には時間方向及び空間方向に対して行い、周波数分解部１０が時間周波数帯域分解部１２を備えない場合には空間方向に対して行う。そして、周波数再構成部１４は、縮退画像を空間解像度縮小部１５に出力する。 The frequency reconstruction unit 14 performs frequency reconstruction (for example, wavelet packet inverse decomposition) on the degenerated frequency band components generated by the degeneration processing unit 13 to generate a degenerated image having the same size as the original image. Frequency reconstruction is performed in the time direction and the spatial direction when the frequency resolving unit 10 includes the time frequency band resolving unit 12, and in the spatial direction when the frequency resolving unit 10 does not include the time frequency band resolving unit 12. against The frequency reconstruction unit 14 then outputs the degenerated image to the spatial resolution reduction unit 15 .

空間解像度縮小部１５は、周波数再構成部１４により生成された縮退画像の空間解像度を縮小した縮小画像を生成する。空間解像度縮小部１５は、例えば縮退画像の画素を間引いて縮小画像を生成する。なお、縮小率は、ユーザが任意に設定可能である。 The spatial resolution reduction unit 15 generates a reduced image by reducing the spatial resolution of the degenerated image generated by the frequency reconstruction unit 14 . The spatial resolution reduction unit 15 generates a reduced image by, for example, thinning out pixels of the degenerated image. Note that the reduction ratio can be arbitrarily set by the user.

以上説明したように、縮小装置１は原画像を周波数帯域成分に分解し、必要に応じて帯域制限を行う。そのため、高品質な縮小画像を生成することが可能となる。例えば、８Ｋ解像度で撮影された原画像を４Ｋ解像度に縮小して放送する場合などに、縮小装置１により画像を縮小することで、縮小画像の符号化を高品質に行うことが可能となる。 As described above, the reduction device 1 decomposes the original image into frequency band components and performs band limitation as necessary. Therefore, it is possible to generate a high-quality reduced image. For example, when an original image shot at 8K resolution is reduced to 4K resolution and broadcasted, the image is reduced by the reduction device 1, so that the reduced image can be coded with high quality.

（第２の実施形態）
次に、第２の実施形態に係る縮小装置について説明する。図６は、第２の実施形態に係る縮小装置２の構成例を示すブロック図である。図６に示す縮小装置２は、周波数分解部１０と、縮退処理部１３と、縮退補正部１６と、周波数再構成部１４と、空間解像度縮小部１５と、を備える。第２の実施形態に係る縮小装置２は第１の実施形態に係る縮小装置１と比較して、縮退補正部１６を更に備える点が相違する。その他の構成については第１の実施形態と同一であるため、同一の参照番号を付して説明を省略する。 (Second embodiment)
Next, a reduction device according to a second embodiment will be described. FIG. 6 is a block diagram showing a configuration example of the reduction device 2 according to the second embodiment. The reduction device 2 shown in FIG. A reduction apparatus 2 according to the second embodiment differs from the reduction apparatus 1 according to the first embodiment in that a reduction correction unit 16 is further provided. Since other configurations are the same as those of the first embodiment, the same reference numerals are given and descriptions thereof are omitted.

縮退補正部１６は、縮退処理部１３から縮退周波数帯域成分を入力する。縮退補正部１６は、縮退周波数帯域成分の帯域毎の平均値を算出し、縮小画像に相当する縮退周波数帯域成分の帯域毎の平均値の分布が、原画像に相当する縮退周波数帯域成分の帯域毎の平均値の分布に近づくように、縮小画像に相当する縮退周波数帯域成分を補正する。縮退補正部１６は、このような補正後の縮退周波数帯域成分を周波数再構成部１４に出力する。 The degeneration correction unit 16 receives the degenerated frequency band components from the degeneration processing unit 13 . The degeneracy correction unit 16 calculates the average value of the degenerated frequency band component for each band, and the distribution of the average value for each band of the degenerated frequency band component corresponding to the reduced image is the band of the degenerated frequency band component corresponding to the original image. The degenerate frequency band component corresponding to the reduced image is corrected so as to approximate the distribution of the average value of each. The degeneracy correction unit 16 outputs the degenerate frequency band components after such correction to the frequency reconstruction unit 14 .

縮退補正部１６の処理を、図７を参照して説明する。図７は、縮退補正部１６の処理例を説明する図である。図５と同様に、原画像の空間解像度を８Ｋ×４Ｋ、縮小画像の空間解像度を４Ｋ×２Ｋとする。縮退補正部１６は、ａで示す縮退周波数帯域成分の平均値を、Ａで示す４つの縮退周波数帯域成分の平均値と等しくなるように、ａで示す縮退周波数帯域成分の各要素値を定数倍する。ｂからｈで示す縮退周波数帯域成分の平均値についても同様に、ＢからＨで示す縮退周波数帯域成分の平均値とそれぞれ等しくなるように、ｂからｈで示す縮退周波数帯域成分の各要素値をそれぞれ定数倍する。なお、縮退補正部１６の処理はこれに限られるものではなく、縮小画像に相当する縮退周波数帯域成分の帯域毎の平均値の分布が、原画像に相当する縮退周波数帯域成分の帯域毎の平均値の分布に近づくように補正するものであればよい。 Processing of the degeneracy correction unit 16 will be described with reference to FIG. FIG. 7 is a diagram for explaining a processing example of the regression correction unit 16. As shown in FIG. As in FIG. 5, the spatial resolution of the original image is 8K×4K, and the spatial resolution of the reduced image is 4K×2K. The degeneration correction unit 16 multiplies each element value of the degenerated frequency band component indicated by a by a constant so that the average value of the degenerated frequency band component indicated by a becomes equal to the average value of the four degenerated frequency band components indicated by A. do. Similarly, each element value of the degenerate frequency band components indicated by b to h is adjusted so that the average values of the degenerated frequency band components indicated by b to h are equal to the average values of the degenerated frequency band components indicated by B to H. Multiply each by a constant. Note that the processing of the degeneracy correction unit 16 is not limited to this, and the distribution of the average value for each band of the degenerated frequency band components corresponding to the reduced image is the average value for each band of the degenerated frequency band components corresponding to the original image. Any correction may be made so as to approximate the distribution of values.

以上説明したように、縮小装置２は縮退周波数帯域成分の補正を行う。そのため、縮小装置１よりもさらに高品質な縮小画像を生成することが可能となる As described above, the reduction device 2 corrects the degenerate frequency band component. Therefore, it is possible to generate a reduced image of higher quality than that of the reduction device 1.

（プログラム）
上述した縮小装置１，２として機能させるために、それぞれプログラム命令を実行可能なコンピュータを用いることも可能である。ここで、コンピュータは、汎用コンピュータ、専用コンピュータ、ワークステーション、ＰＣ（Personal Computer）、電子ノートパッドなどであってもよい。プログラム命令は、必要なタスクを実行するためのプログラムコード、コードセグメントなどであってもよい。 (program)
It is also possible to use computers capable of executing program instructions to function as the reduction devices 1 and 2 described above. Here, the computer may be a general-purpose computer, a dedicated computer, a workstation, a PC (Personal Computer), an electronic notepad, or the like. Program instructions may be program code, code segments, etc. for performing the required tasks.

コンピュータは、プロセッサと、記憶部と、入力部と、出力部と、通信インターフェースとを備える。プロセッサは、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＳｏＣ（System on a Chip）などであり、同種又は異種の複数のプロセッサにより構成されてもよい。プロセッサは、記憶部からプログラムを読み出して実行することで、上記各構成の制御及び各種の演算処理を行う。なお、これらの処理内容の少なくとも一部をハードウェアで実現することとしてもよい。入力部は、ユーザの入力操作を受け付けてユーザの操作に基づく情報を取得する入力インターフェースであり、ポインティングデバイス、キーボード、マウスなどである。出力部は、情報を出力する出力インターフェースであり、ディスプレイ、スピーカなどである。通信インターフェースは、外部の装置と通信するためのインターフェースであり、例えばＬＡＮ（Local Area Network）インターフェースである。 A computer includes a processor, a storage unit, an input unit, an output unit, and a communication interface. The processor is a CPU (Central Processing Unit), MPU (Micro Processing Unit), GPU (Graphics Processing Unit), DSP (Digital Signal Processor), SoC (System on a Chip), etc. may be configured. The processor reads a program from the storage unit and executes it, thereby controlling the above components and performing various kinds of arithmetic processing. Note that at least part of these processing contents may be realized by hardware. The input unit is an input interface that receives user's input operations and acquires information based on the user's operations, and includes a pointing device, keyboard, mouse, and the like. The output unit is an output interface that outputs information, such as a display and a speaker. The communication interface is an interface for communicating with an external device, such as a LAN (Local Area Network) interface.

プログラムは、コンピュータが読み取り可能な記録媒体に記録されていてもよい。このような記録媒体を用いれば、プログラムをコンピュータにインストールすることが可能である。ここで、プログラムが記録された記録媒体は、非一過性（non-transitory）の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ＵＳＢ（Universal Serial Bus）メモリなどであってもよい。また、このプログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。 The program may be recorded on a computer-readable recording medium. By using such a recording medium, it is possible to install the program in the computer. Here, the recording medium on which the program is recorded may be a non-transitory recording medium. The non-transitory recording medium is not particularly limited, but may be, for example, a CD-ROM, a DVD-ROM, a USB (Universal Serial Bus) memory, or the like. Also, this program may be downloaded from an external device via a network.

例えば、縮小装置１として機能させるためのプログラムは、原画像に対して、各周波数帯域が縮小画像の空間解像度以下の周波数帯域となるまで空間方向の周波数帯域分解を行い、周波数帯域成分を生成するステップと、周波数帯域成分に対して縮退処理を行い、各周波数帯域内の成分が縮退された縮退周波数帯域成分を生成するステップと、縮退周波数帯域成分に対して、周波数再構成を行い、原画像と同じサイズの縮退画像を生成するステップと、縮退画像の空間解像度を縮小した縮小画像を生成するステップと、をコンピュータに実行させる。 For example, a program for functioning as the reduction device 1 performs frequency band decomposition in the spatial direction on the original image until each frequency band becomes a frequency band equal to or lower than the spatial resolution of the reduced image, and generates frequency band components. performing degeneration processing on the frequency band components to generate degenerated frequency band components in which the components in each frequency band are degenerated; performing frequency reconstruction on the degenerated frequency band components to obtain an original image; and generating a reduced image by reducing the spatial resolution of the reduced image.

また、縮小装置１，２は、１つ又は複数の半導体チップにより構成されてもよく、該半導体チップは、縮小装置１，２の各機能を実現する処理内容を記述したプログラムを実行するＣＰＵを搭載してもよい。 Further, the reduction devices 1 and 2 may be composed of one or a plurality of semiconductor chips, and the semiconductor chips include a CPU that executes a program describing processing details for realizing each function of the reduction devices 1 and 2. Can be installed.

上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形又は変更が可能である。例えば、実施形態の構成図に記載の複数の構成ブロックを統合したり、１つの構成ブロックを分割したりすることが可能である。 Although the above embodiments have been described as representative examples, it will be apparent to those skilled in the art that many modifications and substitutions may be made within the spirit and scope of the invention. Therefore, the present invention should not be construed as limited by the embodiments described above, and various modifications and changes are possible without departing from the scope of the claims. For example, it is possible to integrate a plurality of configuration blocks described in the configuration diagrams of the embodiments, or to divide one configuration block.

１，２ 縮小装置
１０ 周波数分解部
１１ 空間周波数帯域分解部
１２ 時間周波数帯域分解部
１３ 縮退処理部
１４ 周波数再構成部
１５ 空間解像度縮小部
１６ 縮退補正部 Reference Signs List 1, 2 reduction device 10 frequency decomposition section 11 spatial frequency band decomposition section 12 temporal frequency band decomposition section 13 reduction processing section 14 frequency reconstruction section 15 spatial resolution reduction section 16 reduction correction section

Claims (8)

原画像の縮小画像を生成する縮小装置であって、
前記原画像に対して、各周波数帯域が前記縮小画像の空間解像度以下となるまで空間方向の周波数帯域分解を行い、周波数帯域成分を生成する周波数分解部と、
前記周波数帯域成分に対して縮退処理を行い、成分が縮退された縮退周波数帯域成分を生成する縮退処理部と、
前記縮退周波数帯域成分に対して、周波数再構成を行い、原画像と同じサイズの縮退画像を生成する周波数再構成部と、
前記縮退画像の空間解像度を縮小した縮小画像を生成する空間解像度縮小部と、
を備える縮小装置。 A reduction device for generating a reduced image of an original image,
a frequency decomposition unit that performs frequency band decomposition in the spatial direction on the original image until each frequency band is equal to or lower than the spatial resolution of the reduced image, and generates frequency band components;
a degeneration processing unit that performs degeneration processing on the frequency band components and generates degenerated frequency band components in which the components are degenerated;
a frequency reconstruction unit that performs frequency reconstruction on the degenerated frequency band components to generate a degenerated image having the same size as the original image;
a spatial resolution reducing unit that generates a reduced image by reducing the spatial resolution of the degenerated image;
reduction device. 前記縮退処理部は、前記縮小画像の空間解像度を超える周波数帯域内の成分に第１縮退係数を乗じて前記縮退周波数帯域成分を生成する、請求項１に記載の縮小装置。 2. The reduction apparatus according to claim 1, wherein said reduction processing unit multiplies a component in a frequency band exceeding the spatial resolution of said reduced image by a first reduction coefficient to generate said reduced frequency band component. 前記縮退処理部は、前記縮小画像の空間解像度以下の周波数帯域内のうちエッジ成分を検出し、該エッジ成分に第２縮退係数を乗じて前記縮退周波数帯域成分を生成する、請求項１に記載の縮小装置。 2. The degeneracy processing unit according to claim 1, wherein the degeneracy processor detects an edge component within a frequency band equal to or lower than the spatial resolution of the reduced image, and multiplies the edge component by a second degeneracy coefficient to generate the degenerate frequency band component. reduction device. 前記縮退処理部は、前記縮小画像の空間解像度以下の周波数帯域における高周波帯域内の成分に第３縮退係数を乗じて前記縮退周波数帯域成分を生成する、請求項１に記載の縮小装置。 2. The reduction apparatus according to claim 1, wherein said reduction processing unit multiplies a component within a high frequency band in a frequency band equal to or lower than the spatial resolution of said reduced image by a third reduction coefficient to generate said reduced frequency band component. 前記縮退処理部は、
前記縮小画像の空間解像度を超える周波数帯域内の成分に第１縮退係数を乗じ、
前記縮小画像の空間解像度以下の周波数帯域内のうちエッジ成分を検出し、該エッジ成分に、縮退率が前記第１縮退係数よりも低い第２縮退係数を乗じ、
前記縮小画像の空間解像度以下の周波数帯域における高周波帯域内の成分に、縮退率が前記第２縮退係数よりも低い第３縮退係数を乗じて前記縮退周波数帯域成分を生成する、請求項１に記載の縮小装置。 The degeneracy processing unit
multiplying a component in a frequency band exceeding the spatial resolution of the reduced image by a first shrinkage factor;
Detecting an edge component within a frequency band below the spatial resolution of the reduced image, multiplying the edge component by a second shrinkage coefficient whose shrinkage rate is lower than the first shrinkage coefficient,
2. The degenerate frequency band component according to claim 1, wherein a component within a high frequency band in a frequency band equal to or lower than the spatial resolution of said reduced image is multiplied by a third degeneracy coefficient whose degeneracy rate is lower than said second degeneracy coefficient to generate said degenerate frequency band component. reduction device. 前記周波数分解部は、前記原画像に対して、時間方向にも周波数帯域分解を行い、前記周波数帯域成分を生成する、請求項１から５のいずれか一項に記載の縮小装置。 The reduction apparatus according to any one of claims 1 to 5, wherein the frequency decomposition section also performs frequency band decomposition on the original image in the time direction to generate the frequency band components. 前記縮退周波数帯域成分の帯域毎の平均値を算出し、縮小画像に相当する縮退周波数帯域成分の帯域毎の平均値の分布が、原画像に相当する縮退周波数帯域成分の帯域毎の平均値の分布に近づくように、縮小画像に相当する縮退周波数帯域成分を補正する縮退補正部をさらに備える、請求項１から６のいずれか一項に記載の縮小装置。 The average value of the degenerated frequency band components for each band is calculated, and the distribution of the average values for each band of the degenerated frequency band components corresponding to the reduced image is the distribution of the average values for each band of the degenerated frequency band components corresponding to the original image. 7. The reduction apparatus according to any one of claims 1 to 6, further comprising a degeneracy correction unit that corrects degenerate frequency band components corresponding to the reduced image so as to approximate the distribution. コンピュータを、請求項１から７のいずれか一項に記載の縮小装置として機能させるためのプログラム。 A program for causing a computer to function as the reduction device according to any one of claims 1 to 7.
JP2022010483A 2022-01-26 2022-01-26 Reduction device and program Pending JP2023109087A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022010483A JP2023109087A (en) 2022-01-26 2022-01-26 Reduction device and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022010483A JP2023109087A (en) 2022-01-26 2022-01-26 Reduction device and program

Publications (1)

Publication Number Publication Date
JP2023109087A true JP2023109087A (en) 2023-08-07

Family

ID=87518050

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022010483A Pending JP2023109087A (en) 2022-01-26 2022-01-26 Reduction device and program

Country Status (1)

Country Link
JP (1) JP2023109087A (en)

Similar Documents

Publication Publication Date Title
KR102520957B1 (en) Encoding apparatus, decoding apparatus and method thereof
JP5727873B2 (en) Motion vector detection device, encoding device, and program thereof
JP2006197074A (en) Image processor, image processing method, and its program
US20240048738A1 (en) Methods, apparatuses, computer programs and computer-readable media for processing configuration data
JP6276596B2 (en) Spatial super-resolution / tone interpolation device and program
JP6354586B2 (en) Noise removal system, noise removal method and program
JP2023109087A (en) Reduction device and program
US10306226B2 (en) Image encoding apparatus, image decoding apparatus, and control methods therefor
CN106664387B9 (en) Computer device and method for post-processing video image frame and computer readable medium
JP6388476B2 (en) Encoding apparatus and program
US7099523B2 (en) Method and system for scaling a signal sample rate
JP2023122317A (en) Reducing apparatus and program
JP2023114388A (en) Encoded auxiliary information generation device and program
JP2017103723A (en) Encoding device, decoding device, and program
JP6064992B2 (en) Noise removal processing system, noise removal processing circuit, program, noise removal processing method
JP3775180B2 (en) Image processing method and apparatus
US10778994B2 (en) Image processing apparatus, image processing method, and non-transitory computer-readable storage medium
JP2024055176A (en) Reduction device and program
JP2007300454A (en) Decoding device, inverse quantization method, and program
WO2022268236A1 (en) Image compression and associated color approximation
CN116614632A (en) Image compression method, system and device applied to LED display control system
JP6128319B2 (en) Image processing apparatus and program
JP2023014938A (en) Noise elimination and bandwidth limitation apparatus, and program
JP2015050630A (en) Image processing system, image processing method, and image processing program
JP5482474B2 (en) Encoding device and encoding program