JP4530288B2 - Image processing apparatus and prefilter control apparatus - Google Patents
Image processing apparatus and prefilter control apparatus Download PDFInfo
- Publication number
- JP4530288B2 JP4530288B2 JP2006038292A JP2006038292A JP4530288B2 JP 4530288 B2 JP4530288 B2 JP 4530288B2 JP 2006038292 A JP2006038292 A JP 2006038292A JP 2006038292 A JP2006038292 A JP 2006038292A JP 4530288 B2 JP4530288 B2 JP 4530288B2
- Authority
- JP
- Japan
- Prior art keywords
- coding
- amount
- image
- filter
- encoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
本発明は、画像処理装置およびプリフィルタ制御装置に関し、特に、動画像がディジタル圧縮符号化された場合の符号化劣低減量、さらに符号化劣化量あるいは発生情報量を推定する画像処理装置、およびディジタル圧縮符号化による符号化劣化を抑制するために、推定された符号化劣化低減量や符号化劣化量をもとにプリフィルタを制御するプリフィルタ制御装置に関する。 The present invention relates to an image processing apparatus and the pre-filter control apparatus, particularly to an image processing apparatus for estimating a code Karetsu reduction amount, further coding Karetsu reduction amount or the amount of information generated when a moving image is digitally compressed and encoded, and in order to suppress the coding degradation due to digital compression coding, to pre-filter control apparatus for controlling the pre-filter based on the estimated coding degradation suppressing amount or coding Karetsu of weight.
従来、動画像のディジタル圧縮符号化においては、MPEGなどのブロックベースの動き補償予測符号化方式が用いられる。ディジタル圧縮符号化による符号化劣化量は、画像の絵柄や画面(フレーム)内の物体の動きの複雑さ、さらには伝送情報速度(ビットレート)によって決まってくる。 Conventionally, a block-based motion compensated predictive encoding method such as MPEG is used in digital compression encoding of moving images. The amount of coding deterioration due to digital compression coding is determined by the picture pattern, the complexity of the movement of the object in the screen (frame), and the transmission information rate (bit rate).
MPEGなどのブロックベースの符号化において符号化劣化量が大きい場合、特にブロック歪みが発生し、ブロック歪みによりブロック同士の境界が目立つようになる。フレームの画質を表すために、PSNR(Peak Signal to Noise Ratio)などの客観指標が用いられるが、ブロック歪みは、客観指標で表される数値以上に、視覚上目立つ劣化となる。 When the amount of coding deterioration is large in block-based coding such as MPEG, block distortion occurs in particular, and the boundary between blocks becomes conspicuous due to block distortion. An objective index such as PSNR (Peak Signal to Noise Ratio) is used to express the image quality of the frame. However, the block distortion is a visually noticeable deterioration beyond the numerical value represented by the objective index.
なお、PSNRは、式(1)で求められる。ここで、MSEは、b(x,y)を原画像(8ビット表現)、bｐ(x,y)を原画像の処理画像としたとき、式(2)で表されるものであり、対象となる全画素分の差分2乗和を全画素数Nで割った値となる。 Note that PSNR is obtained by equation (1). Here, MSE is represented by the equation (2) when b (x, y) is an original image (8-bit representation) and b p (x, y) is a processed image of the original image, This is a value obtained by dividing the sum of squared differences of all the target pixels by the total number of pixels N.
従来、符号化によって生じるブロック歪みを目立たなくするために、プリフィルタ制御方式が提案されている。これは、符号化に先だってフィルタで画像を故意にぼかすことによってその情報量を低減させ、符号化劣化をその分抑えるというものである。 Conventionally, a prefilter control method has been proposed in order to make block distortion caused by encoding inconspicuous. This means that the amount of information is reduced by intentionally blurring the image with a filter prior to encoding, and the deterioration of encoding is suppressed accordingly.
特許文献１には、画像符号化におけるプリフィルタ制御装置が記載されている。ここに記載されたプリフィルタ制御装置では、符号化装置と一体化してプリフィルタ制御装置やプリフィルタを設け、量子化ステップサイズなどの符号化制御情報によりプリフィルタのオンオフや強弱を制御する。 Patent Document 1 describes a prefilter control device for image coding. In the prefilter control device described here, a prefilter control device and a prefilter are provided integrally with the encoding device, and the on / off and strength of the prefilter are controlled by encoding control information such as a quantization step size.
例えば、量子化ステップサイズが大きい場合、画像の符号化劣化が大きくなる。この場合には予めフィルタを強くかけて画像をぼかし、情報量を低減させるという制御を行う。ここで、符号化劣化が大きい場合にだけフィルタをかけるのは、符号化劣化が小さい場合にもフィルタをかけると、画像がぼけるという望ましくない副作用が生じてしまうからである．
特許文献１に記載されたプリフィルタ制御装置は、量子化ステップサイズなどの符号化制御情報を符号化装置から導出し、この符号化制御情報に基づいてプリフィルタを制御するので、予めプリフィルタ制御装置やプリフィルタが符号化装置と一体化して構成されることが想定されている。 Since the prefilter control device described in Patent Literature 1 derives encoding control information such as a quantization step size from the encoding device and controls the prefilter based on the encoding control information, prefilter control is performed in advance. It is assumed that the device and the prefilter are configured integrally with the encoding device.
しかしながら、符号化装置が１つのブロックとして既に構成されており、このような既存の符号化装置で符号化された後の画像においても符号化劣化を目立たなくしたい場合がある。 However, there is a case where the encoding apparatus is already configured as one block, and it is desired to make the encoding deterioration inconspicuous even in an image encoded by such an existing encoding apparatus.
このような場合、符号化装置の前段にプリフィルタを設け、動画像に適宜プリフィルタをかけた後、符号化を行うことが考えられるが、既存の符号化装置からは符号化制御情報を得ることができない、すなわち、後段の符号化装置で符号化した場合に符号化劣化が大きいかどうかを示す情報を符号化装置から導出することができないので、特許文献１に開示された技術を適用することはできない。 In such a case, it is conceivable that a pre-filter is provided in front of the encoding device and the video is appropriately pre-filtered and then encoded, but the encoding control information is obtained from the existing encoding device. In other words, the information disclosed in Patent Document 1 is applied because information indicating whether or not the coding degradation is large cannot be derived from the encoding device when the encoding is performed by the subsequent encoding device. It is not possible.
また、符号化劣化が大きい場合であってもプリフィルタをかけたことによる改善効果が小さい絵柄も存在し、プリフィルタをかけると画像のボケが強まるだけでブロック歪みの符号化劣化は相変わらず存在するという絵柄も存在する。このような場合には、むしろプリフィルタをかけない方が望ましい。 In addition, even if the coding deterioration is large, there is a picture with a small improvement effect by applying the pre-filter, and if the pre-filter is applied, the blurring of the image only becomes strong, and the coding deterioration of the block distortion still exists. There is also a pattern. In such a case, it is preferable not to apply a prefilter.
本発明の目的は、上記課題を解決し、符号化装置が既存のものであって、符号化装置から符号化情報を導出できない条件下においても、ディジタル圧縮符号化の際の符号化劣化低減量、さらに符号化劣化量あるいは発生情報量を推定でき、ディジタル圧縮符号化による符号化劣化を抑制できる画像処理装置およびプリフィルタ制御装置を提供することにある。 The object of the present invention is to solve the above-mentioned problems, and to reduce the amount of encoding deterioration during digital compression encoding even under the condition that the encoding device is already existing and the encoding information cannot be derived from the encoding device. can be further predicts the Karetsu reduction amount or the amount of information generated is to provide an image processing apparatus and the pre-filter control apparatus can suppress the coding degradation due to digital compression coding.
上記課題を解決するために、本発明は、動画像がディジタル圧縮符号化された場合のプリフィルタによる符号化劣化低減量を推定するための画像処理装置であって、入力動画像の各フレームの画像をブロックに分割する分割手段と、前記分割手段により分割されたブロックごとに前フレームの画像による動き補償予測を行い、動き補償予測画像を生成する動き補償予測手段と、前記動き補償予測手段により生成された動き補償予測画像と現画像との差分画像を生成する差分画像生成手段と、前記差分画像生成手段により生成された差分画像における画素間相関係数をブロックごとに算出する画素間相関係数計算手段と、
画面内線形プリフィルタの複数ある係数の２乗和を算出する係数２乗和計算手段と、
前記画面内線形プリフィルタの複数ある係数のうち隣り合う係数同士の積の加算値を算出する係数積和計算手段と、前記係数２乗和計算手段により算出された２乗和と、前記係数積和計算手段により算出された加算値と画素間相関係数の積の、加算値をブロックごとに算出する加算手段と、前記加算手段により算出された加算値の対数を算出する対数計算手段と、前記対数計算手段により対数化されたブロックごとの加算値をフレーム内で加算するフレーム内加算手段を備え、前記フレーム内加算手段による加算値と動画像がディジタル圧縮符号化された場合のプリフィルタによる符号化劣化低減量の関係を示す理論モデル式を用い、前記フレーム内加算手段による加算値をもとに、動画像がディジタル圧縮符号化された場合のプリフィルタによる符号化劣化低減量を推定することを特徴としている。
また、本発明は、さらに、前記差分画像生成手段により生成された差分画像におけるブロックごとの分散値を算出する分散値計算手段と、前記分散値計算手段により算出された分散値の対数を算出する対数計算手段と、前記対数計算手段により対数化されたブロックごとの分散値をフレーム内で加算するフレーム内加算手段を備え、前記フレーム内加算手段による加算値およびデジタル圧縮符号化での伝送情報速度と動画像がデジタル圧縮符号化された場合の符号化劣化量の関係を示す理論モデル式を用い、該理論モデル式においてディジタル圧縮符号化での伝送情報速度を固定とし、該伝送情報速度と前記フレーム内加算手段による加算値をもとに、動画像がディジタル圧縮符号化された場合の符号化劣化量を推定することを特徴としている。
また、本発明は、前記理論モデル式においてディジタル圧縮符号化での伝送情報速度を固定とするのに代えて、ディジタル圧縮符号化で許容される符号化劣化量を固定とし、該符号化劣化量と前記フレーム内加算手段による加算値をもとに、動画像がディジタル圧縮符号化された場合の発生情報量を推定することを特徴としている。 In order to solve the above-described problems, the present invention is an image processing apparatus for estimating a coding deterioration reduction amount by a pre-filter when a moving image is digitally compressed and encoded. A dividing unit that divides an image into blocks, a motion compensation prediction unit that performs motion compensation prediction using an image of a previous frame for each block divided by the dividing unit, and generates a motion compensated prediction image; and the motion compensation prediction unit Difference image generation means for generating a difference image between the generated motion compensated prediction image and the current image, and an inter-pixel phase relationship for calculating a correlation coefficient between pixels in the difference image generated by the difference image generation means for each block Number calculation means;
Coefficient sum-of-squares calculation means for calculating the sum of squares of a plurality of coefficients of the in-screen linear pre-filter,
Coefficient product-sum calculation means for calculating an addition value of products of adjacent coefficients among a plurality of coefficients of the in-screen linear prefilter, the square sum calculated by the coefficient square-sum calculation means, and the coefficient product An addition means for calculating an addition value for each block of a product of the addition value calculated by the sum calculation means and a correlation coefficient between pixels; a logarithm calculation means for calculating a logarithm of the addition value calculated by the addition means; Intra-frame addition means for adding the addition value for each block logarithmized by the logarithmic calculation means in a frame, and by the pre-filter when the addition value by the intra-frame addition means and the moving image are digitally compressed and encoded using a theoretical model formula showing the relationship between the coding deterioration reduction amount, based on the added value by the frames in the addition means, when the moving image has been digitally compressed and encoded pre-filter It is characterized by estimating the coding deterioration reduction amount due.
Furthermore, the present invention further calculates a variance value calculating means for calculating a variance value for each block in the difference image generated by the difference image generating means, and calculating a logarithm of the variance value calculated by the variance value calculating means. A logarithm calculation means; and an intra-frame addition means for adding a variance value for each block logarithmized by the logarithm calculation means within a frame, and an addition value by the intra-frame addition means and a transmission information rate in digital compression coding And the theoretical model equation showing the relationship between the amount of coding deterioration when the moving image is digitally compressed and encoded, the transmission information rate in the digital compression encoding is fixed in the theoretical model equation, and the transmission information rate and the It is characterized by estimating the amount of coding deterioration when a moving image is digitally compressed and coded based on the addition value obtained by the intraframe addition means. .
The present invention also provides a fixed encoding degradation amount allowed in digital compression coding, instead of fixing the transmission information rate in digital compression coding in the theoretical model equation, and the coding degradation amount. And the amount of information generated when the moving image is digitally compressed and encoded on the basis of the addition value obtained by the intra-frame addition means.
また、本発明は、ディジタル圧縮符号化に先だって動画像にプリフィルタをかけるか否かを制御するためのプリフィルタ制御装置であって、上記により推定された符号化劣化低減量に基づき、プリフィルタをかけるか否かを決定することを特徴としている。 Further, the present invention provides a pre-filter control apparatus for controlling whether or not applying a pre-filter to the moving image prior to digitally compression encoding, based on the sign-reduction degradation suppressing amount estimated by the pre It is characterized by determining whether to apply a filter.
また、本発明は、推定された符号化劣化量および符号化劣化低減量の両方に基づき、推定された符号化劣化量が第１の所定値以上に大きく、かつ符号化劣化低減量が第２の所定値以上に大きい場合にのみ、プリフィルタをかけるように決定することを特徴としている。 Further, according to the present invention, based on both the estimated encoding deterioration amount and the encoding deterioration reduction amount, the estimated encoding deterioration amount is larger than the first predetermined value and the encoding deterioration reduction amount is the second. It is characterized in that it is determined to apply the pre-filter only when it is larger than a predetermined value .
本発明では、入力動画像の各フレームの画像をブロックに分割し、各ブロックごとに動き補償予測誤差を算出し、該動き補償予測誤差の画素間相関係数と画面内線形プリフィルタの係数をもとに求められた、フレーム内加算手段による加算値と符号化劣化低減量との関係を示す理論モデル式を用いて、プリフィルタをかけた場合の符号化劣化がプリフィルタをかけなかった場合よりどのくらい改善するかの符号化劣化低減量を推定するので、符号化装置が既存のものであって、符号化装置から符号化情報を導出できない条件下においても、ディジタル圧縮符号化された場合の符号化劣化低減量を事前に推定できる。
また、それに加えて、入力動画像の各フレームの画像をブロックに分割し、各ブロックごとに動き補償予測誤差を算出し、該動き補償予測誤差の分散値のフレーム内加算値を算出し、該フレーム内加算値とデジタル圧縮符号化での伝送情報速度と動画像がデジタル圧縮符号化された場合の符号化劣化量の関係を示す理論モデル式を用い、ディジタル圧縮符号化での伝送情報速度を固定とし、該伝送情報速度と前記フレーム内加算手段による加算値をもとに、デジタル圧縮符号化された場合の符号化劣化を推定するので、符号化装置が既存のものであって、符号化装置から符号化情報を導出できない条件下においても、符号化による符号化劣化量も事前に推定できる。
また、ディジタル圧縮符号化での伝送情報速度を固定とするのに代えて、ディジタル圧縮符号化で許容される符号化劣化量を固定とし、該符号化劣化量と前記フレーム内加算手段による加算値をもとに、動画像がディジタル圧縮符号化された場合の発生情報量を推定するので、符号化装置が既存のものであって、符号化装置から符号化情報を導出できない条件下においても、符号化による発生情報量も事前に推定できる。 In the present invention, the image of each frame of the input moving image is divided into blocks, the motion compensation prediction error is calculated for each block, and the inter-pixel correlation coefficient of the motion compensation prediction error and the coefficient of the in-screen linear prefilter are calculated. When the pre-filter encoding degradation does not pre-filter using the theoretical model equation that shows the relationship between the addition value obtained by the intra-frame addition means and the encoding degradation reduction amount Since the encoding degradation reduction amount is estimated as to how much improvement will be achieved, even when the encoding apparatus is already existing and the encoding information cannot be derived from the encoding apparatus, It is possible to estimate the coding deterioration reduction amount in advance.
In addition to that, the image of each frame of the input moving image is divided into blocks, a motion compensation prediction error is calculated for each block, an intraframe addition value of a variance value of the motion compensation prediction error is calculated, and Using a theoretical model equation that shows the relationship between the intra-frame addition value, the transmission information rate in digital compression coding, and the amount of coding degradation when a moving image is digitally compressed, the transmission information rate in digital compression coding is Since the encoding degradation is estimated when digital compression encoding is performed based on the transmission information rate and the addition value by the intra-frame addition means, the encoding apparatus is an existing one, Even under conditions in which encoding information cannot be derived from the apparatus, the amount of encoding deterioration due to encoding can be estimated in advance.
Further, instead of fixing the transmission information rate in digital compression coding, the coding deterioration amount allowed in digital compression coding is fixed, and the coding deterioration amount and the addition value by the intra-frame addition means Based on the above, since the amount of information generated when a moving image is digitally compressed and encoded is estimated, even if the encoding device is an existing one and the encoding information cannot be derived from the encoding device, The amount of information generated by encoding can also be estimated in advance.
さらに、推定された符号化劣化量と符号化劣化低減量の少なくとも一方に基づいて、動画像にプリフィルタをかけるかどうかを決定することにより、プリフィルタをかけたことによるボケなどの副作用を抑えつつ効果的に符号化劣化を低減させることができる。例えば、符号化劣化が大きいと推定され、かつプリフィルタによる符号化劣化低減量が大きいと推定された場合に限ってプリフィルタをかけることにより、効果的なプリフィルタを行うことができる。 Furthermore, by determining whether or not to pre-filter moving images based on at least one of the estimated encoding degradation amount and encoding degradation reduction amount, side effects such as blur caused by applying the pre-filter are suppressed. However, it is possible to effectively reduce the encoding deterioration. For example, an effective pre-filter can be performed by applying the pre-filter only when it is estimated that the coding deterioration is large and the amount of reduction in coding deterioration by the pre-filter is large.
最初に本発明の原理を説明する。まず、符号化でのブロックごとの動き補償予測誤差の分散および画素間相関係数について説明する。ここでは、符号化装置の前段にプリフィルタとして画面内線形フィルタ(線形FIRフィルタ)が配置され、この線形FIRフィルタは、m個の係数aｉ(i=1,・・・,m)を持つとする。 First, the principle of the present invention will be described. First, the variance of the motion compensation prediction error for each block and the correlation coefficient between pixels in encoding will be described. Here, an in-screen linear filter (linear FIR filter) is arranged as a pre-filter before the encoding device, and this linear FIR filter has m coefficients a i (i = 1,..., M). And
この場合、プリフィルタの入力画素、出力画素をそれぞれ、Xｉ、〈X〉とすると、出力画素〈X〉は、式(3)で表され、動き補償予測誤差xは、式(4)で表される。 In this case, if the input pixel and the output pixel of the prefilter are X i and <X>, respectively, the output pixel <X> is expressed by Equation (3), and the motion compensation prediction error x is expressed by Equation (4). expressed.
ここで、Xｒｅｆ ｑは、符号化ノイズが重畳されたプリフィルタをかけた後の参照画像(動き補償予測画像)の画素値である。すなわち、符号化ノイズをxｑ(参照画像における符号化ノイズxｒｅｆ ｑ)とすると、Xｒｅｆ ｑは、式(5)で表される。なお、〈X〉ｒｅｆは、符号化ノイズxｒｅｆ ｑがない場合の参照画像の画素値である。 Here, X ref q is a pixel value of a reference image (motion compensated prediction image) after applying a prefilter on which encoding noise is superimposed. That is, if the coding noise is x q (coding noise x ref q in the reference image), X ref q is expressed by Expression (5). Note that <X> ref is a pixel value of the reference image when there is no coding noise x ref q .
式(3)および式(5)を用いると、式(4)の動き補償予測誤差xは、式(6)で表される。 When Expression (3) and Expression (5) are used, the motion compensation prediction error x in Expression (4) is expressed by Expression (6).
式(6)は、動き補償予測誤差xが、処理画像と参照画像内の、フィルタリングに寄与する原画素どうしのフレーム間差分値の加重和と符号化ノイズの差であることを示している。 Equation (6) indicates that the motion compensation prediction error x is the difference between the weighted sum of inter-frame difference values between original pixels contributing to filtering and the coding noise in the processed image and the reference image.
ここで、符号化ノイズは、原画素どうしのフレーム間差分値の加重和に対して十分小さいとして無視し、動き補償予測誤差xにおける分散、共分散をそれぞれ、Var(・)、Cov(・,・) と表現すると、予測誤差分散σｘ ２は、式(7)で表される。 Here, the coding noise is ignored because it is sufficiently small with respect to the weighted sum of the inter-frame difference values of the original pixels, and the variance and covariance in the motion compensated prediction error x are Var (•), Cov (•, When expressed as (), the prediction error variance σ x 2 is expressed by Expression (7).
式(7)において、Var(Xｉ-Xｉ ｒｅｆ)は、原画素同士の動き補償予測誤差の分散を表している。これをσｘ０ ２とおき、また、その画素間相関係数をρ(i,j)とおくと、Cov(Xｉ-Xｉ ｒｅｆ,Xｊ-Xｊ ｒｅｆ) は、式(8)で表される。 In Equation (7), Var (X i -X i ref ) represents the variance of the motion compensation prediction error between the original pixels. This sigma x0 2 Distant, also when placing the inter-pixel correlation coefficient ρ and (i, j), Cov ( X i -X i ref, X j -X j ref) is the formula (8) expressed.
ここで、簡単のためプリフィルタとして水平1次元フィルタを考える。水平画素間相関係数を新たにρとおくと、画像信号の性質から、式(8)は式(9)で表される。画素信号の性質については、吹抜敬彦「画像のディジタル信号処理増補版」(日刊工業新聞社)130ページに詳しく説明されている。 Here, for simplicity, a horizontal one-dimensional filter is considered as a prefilter. If the horizontal pixel correlation coefficient is newly set to ρ, Equation (8) is expressed by Equation (9) due to the nature of the image signal. The nature of the pixel signal is described in detail on page 130 of Takahiko Fukiuki, “Enhanced Version of Digital Signal Processing for Images” (Nikkan Kogyo Shimbun).
予測誤差の画素間相関係数は一般に小さいので、その2乗以上を無視すると、式(7)の予測誤差分散σｘ ２は、式(10)のように書き換えることができる。 Since the inter-pixel correlation coefficient of prediction error is generally small, the prediction error variance σ x 2 in equation (7) can be rewritten as in equation (10) if its square or more is ignored.
次に、MPEGに代表される、ブロックベースのMC-DCT(動き補償予測DCT)符号化において、ビットレートとブロックごとの予測誤差分散が既知の場合に、PSNR最大の規範で最適符号化された場合の符号化劣化(符号化ノイズの分散)について検討する。 Next, in block-based MC-DCT (motion compensated prediction DCT) coding represented by MPEG, when the bit rate and the prediction error variance for each block are known, optimal coding was performed with the PSNR maximum criterion. Consider coding degradation (coding noise variance).
符号化対象画像、すなわち動き補償予測誤差画像がM個のMB(マクロブロック)からなるとし、k番目のMBの予測誤差分散をσｋ ２(k=1,・・・,M)とおく。また、符号化の結果、各MBにつき符号化ノイズnｋが重畳されるとする。 Assume that an encoding target image, that is, a motion-compensated prediction error image, is composed of M MBs (macroblocks), and the k-th MB prediction error variance is σ k 2 (k = 1,..., M). Also, it is assumed that encoding noise nk is superimposed for each MB as a result of encoding.
この時、目的関数は、式(11)で表される。すなわち、符号化ノイズnｋの最小化である。また、制約条件は、式(12)で表されるように、発生情報量Rが固定、すなわちブロックごとの発生情報量の和が一定であるということである。 At this time, the objective function is expressed by Equation (11). That is, the encoding noise nk is minimized. Further, the constraint condition is that the generated information amount R is fixed, that is, the sum of the generated information amounts for each block is constant, as expressed by Expression (12).
なお、σｋ ２、nｋのもとでの発生情報量は、例えば、R.J.Clarke:“Transform coding of images”(Academic Press, 1985)368ページに詳しく記載されているように、画素間相関が十分小さいときには、1/2(log２(σｋ ２/nｋ))[bpp]となる。 Note that the amount of information generated under σ k 2 and nk has sufficient correlation between pixels as described in detail in, for example, RJClarke: “Transform coding of images” (Academic Press, 1985) page 368. When it is small, 1/2 (log 2 (σ k 2 / n k )) [bpp].
これをラグランジェの未定定数法で解くと、Lagrangianは、式(13)で得られる。 If this is solved by Lagrange's undetermined constant method, Lagrangian is obtained by equation (13).
これより、最適候補は、式(14)を満たすものとなる。 As a result, the optimum candidate satisfies the equation (14).
μｋ=0となるマクロブロックkについては、式(14)より式(15)が得られる。式(15)は、符号化ノイズが原画像の分散と同じになる、すなわち切捨て状態になるMB以外は全て、等劣化になるのが最適であることを示している。 For macroblock k with μ k = 0, equation (15) is obtained from equation (14). Equation (15) indicates that it is optimal that the encoding noise is the same as the variance of the original image, that is, it is optimal that all degradation is equal except for the MB that is in a truncated state.
このとき、式(12)より式(16)が得られ、式(16)によってλ、したがってnｋが決まる。Rが十分大きく、全ブロックについてlog２((σｋ ２ln2)/λ)＞0であれば、nｋは式(17)で表される。 At this time, equation (16) is obtained from equation (12), and λ and therefore nk are determined by equation (16). If R is sufficiently large and log 2 ((σ k 2 ln 2) / λ)> 0 for all blocks, n k is expressed by equation (17).
そこで、式(10)をブロックごとに考えると、式(17)より、プリフィルタなしの場合の符号化劣化nｎｏｆｉｌは式(18)で表され、プリフィルタありの場合の符号化劣化nｆｉｌは式(19)で表される。 Therefore, considering equation (10) for each block, the equation (17), the coding deterioration n Nofil the case of no pre-filter is represented by equation (18), the case where there is a pre-filter encoding degradation n fil Is represented by equation (19).
また、式(18)、式(19)より、プリフィルタをかけた場合の符号化劣化低減分は、式(20)で表される。 Also, from Equation (18) and Equation (19), the amount of reduction in coding degradation when the prefilter is applied is expressed by Equation (20).
符号化に伴う符号化劣化量とフィルタによる符号劣化低減量はそれぞれ、式(18)、式(20)で表され、それら対数化すると式(21)、式(22)が得られる。式(18)、式(20)あるいは式(21)、式(22)で、符号化に伴う符号化劣化量とフィルタによる符号劣化低減量を推定できることとなる。以上が、本発明の原理である。 The encoding deterioration amount accompanying encoding and the code deterioration reduction amount by the filter are expressed by Expression (18) and Expression (20), respectively, and Expression (21) and Expression (22) are obtained by logarithmizing them. With Equation (18), Equation (20), Equation (21), and Equation (22), it is possible to estimate the coding deterioration amount accompanying encoding and the code deterioration reduction amount due to the filter. The above is the principle of the present invention.
以下に、上記原理に従って構成した本発明の実施形態について説明する。図１は、本発明の一実施形態を示すブロック図である。本実施形態では、動画像をディジタル圧縮符号化するに際し、式(21)に従って符号化劣化量を推定し、式(22)に従って符号化劣化低減量を推定する。さらに、後段の符号化装置による符号化劣化が抑制されるように、推定された符号化劣化量および符号化劣化低減量に基づき、符号化装置前段のプリフィルタを制御する。 Hereinafter, an embodiment of the present invention configured according to the above principle will be described. FIG. 1 is a block diagram showing an embodiment of the present invention. In the present embodiment, when a moving image is digitally compressed and encoded, an encoding deterioration amount is estimated according to Equation (21), and an encoding deterioration reduction amount is estimated according to Equation (22). Further, the pre-filter of the preceding stage of the encoding apparatus is controlled based on the estimated encoding deterioration amount and the encoding deterioration reduction amount so that the encoding deterioration by the subsequent stage encoding apparatus is suppressed.
本実施形態は、動き推定手段11、フレームメモリ12、動き補償予測手段13、減算器14、ブロック内分散計算手段15、対数化フレーム内加算手段16,24、符号化劣化量推定手段17、ブロック内画素間相関係数計算手段18、フィルタ係数2乗和計算手段19、隣接フィルタ係数積和計算手段20、乗算器21,22、加算器23、符号化劣化低減量推定手段25、フィルタ制御手段26、符号化装置(図示せず)の前段に配置された画面内線形フィルタ(以下、単に線形フィルタと称す)27を備える。
In this embodiment, the motion estimation means 11, the
以下、図１の装置における入力動画像の処理について説明する。なお、入力動画像はフレームごとに処理する。 Hereinafter, processing of the input moving image in the apparatus of FIG. 1 will be described. The input moving image is processed for each frame.
動き推定手段11で、入力動画像の各フレームの画像に対して動き推定を行い、これにより得られる動き情報を動き補償予測手段13に出力する。動き推定手段11では簡易な動き推定を行えばよく、例えば、川田,浜田,松本:“動き補正テレビ方式変換の改善”,映像情報メディア学会誌,Vol.51,No.9,pp.1577-1586(1997)に記載されているような、小回路規模でオプティカルフローを推定可能な、反復勾配法をベースとした手法を利用できる。
The
動き補償予測手段13は、動き推定手段11からの動き情報でフレームメモリ12からの前フレームの画像を動き補償予測し、現フレームの動き補償予測画像を生成する。
The motion compensation prediction means 13 performs motion compensation prediction on the previous frame image from the
次に、減算器14で、入力動画像の現フレームの画像と動き補償予測手段13からの動き補償予測画像の差分画像を作成し、この差分画像をブロック内分散計算手段15およびブロック内画素間相関係数計算手段18の両者に入力する。 Next, the subtracter 14 creates a difference image between the current frame image of the input moving image and the motion compensated prediction image from the motion compensation prediction means 13, and the difference image is calculated between the intra-block variance calculation means 15 and the intra-block pixels. Input to both of the correlation coefficient calculation means 18.
図１の15〜17の構成は、入力動画像にプリフィルタをかけない場合の符号化劣化量を推定するための構成である。 The configuration of 15 to 17 in FIG. 1 is a configuration for estimating the coding deterioration amount when the pre-filter is not applied to the input moving image.
まず、ブロック内分散計算手段15で、差分画像について、ブロック(例えば16x16画素の方形ブロック)ごとに分散(式(21)のσｘ０ｋ ２)を算出し、次に、対数化フレーム内加算手段16で、ブロックごとの分散値を対数化するとともに、対数化された分散値をフレーム内で加算する。 First, the intra-block variance calculating means 15 calculates the variance (σ x0k 2 in equation (21)) for each block (for example, a square block of 16 × 16 pixels) for the difference image, and then the logarithmic intra-frame adding means 16 Then, the variance value for each block is logarithmized, and the logarithmized variance value is added within the frame.
符号化劣化量推定手段17は、このフレーム内加算値と符号化での伝送情報速度(ビットレート)をもとに、式(18)もしくは式(21)を目安に、入力動画像にプリフィルタをかけない場合の符号化劣化量を推定する。式(18)は式(21)と等価であるが、式(21)の方が計算が簡単になる。 The encoding degradation amount estimation means 17 pre-filters the input moving image based on the intra-frame addition value and the transmission information rate (bit rate) in encoding, using Equation (18) or Equation (21) as a guide. Estimate the amount of coding degradation when not applying. Equation (18) is equivalent to Equation (21), but Equation (21) is easier to calculate.
式(18)もしくは式(21)の右辺を計算することにより符号劣化量を推定できるが、より正確な符号劣化量の推定を可能にするため、予め作成された推定テーブルを参照して符号劣化量を推定するのが望ましい。 The code degradation amount can be estimated by calculating the right side of Equation (18) or Equation (21), but in order to enable more accurate estimation of the code degradation amount, the code degradation is referred to by referring to an estimation table created in advance. It is desirable to estimate the quantity.
すなわち、式(18)や式(21)は理論モデル式であり、実際には若干のずれが生じることも想定されるので、実際に使用するコーデックで様々な画像を用いて実際に求められる符号劣化量と式(18)もしくは式(21)の右辺の計算上で求められる符号劣化量との対応を予め推定テーブルとして作成しておき、この推定テーブルを参照して符号劣化量を推定する。なお、コーデックごとの推定テーブルがある場合には、コーデックの情報で推定テーブルを指定し、指定された推定テーブルを使用する。 In other words, Equation (18) and Equation (21) are theoretical model equations, and it is assumed that a slight deviation will actually occur, so the code that is actually obtained using various images with the codec that is actually used. A correspondence between the deterioration amount and the code deterioration amount obtained in the calculation of the right side of Expression (18) or Expression (21) is created in advance as an estimation table, and the code deterioration amount is estimated with reference to this estimation table. When there is an estimation table for each codec, the estimation table is designated by the codec information, and the designated estimation table is used.
図１の18〜25の構成は、入力動画像にプリフィルタをかけた場合の符号化劣化低減量を推定するための構成である。 The configuration of 18 to 25 in FIG. 1 is a configuration for estimating a coding deterioration reduction amount when a pre-filter is applied to an input moving image.
まず、ブロック内画素間相関係数計算手段18で、差分画像について、ブロックごとに画素間相関係数(式(22)のρ)を算出する。フィルタ係数2乗和計算手段19は、線形フィルタ27の複数ある係数の2乗和(式(22)のａｉ ２)を算出し、隣接フィルタ係数積和計算手段20は、線形フィルタ27の複数ある係数のうち隣接する係数同士の積(式(22)のａｉａｉ＋１)の加算値を算出する。
First, the intra-block inter-pixel correlation coefficient calculation means 18 calculates the inter-pixel correlation coefficient (ρ in Expression (22)) for each block of the difference image. The filter coefficient sum-of-squares calculation means 19 calculates the sum of squares of a plurality of coefficients of the linear filter 27 (a i 2 in Expression (22)), and the adjacent filter coefficient product-sum calculation means 20 calculates the plurality of
乗算器21で、隣接フィルタ係数積和計算手段20からの加算値に2を乗算し、乗算器22で、2が乗算された加算値をブロック内画素間相関係数計算手段18からの画素間相関係数に乗算する。さらに、加算器23で、乗算器22の出力にフィルタ係数2乗和計算手段19からの2乗和を加算する。対数化フレーム内加算手段16は、加算器23の出力を対数化するとともに、対数化された値をフレーム内で加算する。
The
符号化劣化低減量推定手段25は、対数化フレーム内加算手段16からのフレーム内加算値をもとに、式(20)もしくは式(22)を目安に、入力画像にプリフィルタをかけた場合の符号化劣化低減量を推定する。式(20)は式(22)と等価であるが、式(22)の方が計算が簡単になる。 The coding degradation reduction amount estimation means 25 applies a pre-filter to the input image based on the intra-frame addition value from the logarithmic intra-frame addition means 16 and using Equation (20) or Equation (22) as a guide. The amount of encoding deterioration reduction is estimated. Equation (20) is equivalent to equation (22), but equation (22) is easier to calculate.
ここでも、式(20)もしくは式(22)の右辺を計算することにより符号劣化低減量を推定できるが、より正確な符号劣化低減量の推定を可能にするため、予め作成された推定テーブルを参照して符号劣化低減量を推定するのが望ましい。 Again, the code degradation reduction amount can be estimated by calculating the right side of Equation (20) or Equation (22), but in order to enable more accurate estimation of the code degradation reduction amount, an estimation table created in advance is used. It is desirable to estimate the code deterioration reduction amount by referring to it.
すなわち、式(20)や式(22)は理論モデル式であり、実際には若干のずれが生じることも想定されるので、実際に使用するコーデック(符号化ビットレートなど)で様々な画像を用いて実際に求められる符号劣化低減量と式(20)もしくは式(22)の右辺の計算上で求められる符号劣化低減量との対応を予め推定テーブルとして作成しておき、この推定テーブルを参照して符号劣化低減量を推定する。なお、コーデックごとの推定テーブルが作成されている場合には、コーデックの情報で推定テーブルを指定し、指定された推定テーブルを使用する。 In other words, Equation (20) and Equation (22) are theoretical model equations, and it is assumed that a slight deviation will actually occur.Therefore, various images can be obtained with the codec (encoding bit rate, etc.) actually used. The correspondence between the code degradation reduction amount actually obtained using the code degradation reduction amount obtained in the calculation of the right side of Equation (20) or Equation (22) is created in advance as an estimation table, and this estimation table is referred to. Thus, the code deterioration reduction amount is estimated. In addition, when the estimation table for every codec is created, an estimation table is designated with the information of a codec, and the designated estimation table is used.
以上、デジタル圧縮符号化の際の符号化劣化量および符号化劣化低減量の推定について説明したが、このようにして推定された符号化劣化量および符号化劣化低減量を用いて、符号化装置の前段に配置された線形フィルタ27のオン・オフをフィルタ制御手段26で制御することにより、符号化装置での符号化劣化を自動で効果的に抑制することができる。入力動画像は、線形フィルタ27を介して符号化装置に入力され、圧縮符号化される。
As described above, the estimation of the encoding deterioration amount and the encoding deterioration reduction amount at the time of digital compression encoding has been described, but the encoding device is used by using the encoding deterioration amount and the encoding deterioration reduction amount estimated in this way. By controlling on / off of the
フィルタ制御手段26は、例えば、符号化劣化量が比較的大きく、かつプリフィルタをかけた場合の符号化劣化低減量が比較的大きいと推定された場合のみ、入力動画像にプリフィルタをかけるように線形フィルタ27を制御する。また、符号化劣化量が比較的大きいと推定される場合、あるいはプリフィルタをかけた場合の符号化劣化の低減量が比較的大きいと推定された場合に、プリフィルタをかけるような制御形態も可能である。
For example, the
次に、上記推定テーブルの作成について説明する。推定テーブルは、実際に符号化の際に使用するコーデックで様々な画像を用いて実験により符号化劣化量および符号化劣化低減量を求め、計算上で推定された符号化劣化量との対応を求めることにより作成できる。 Next, creation of the estimation table will be described. The estimation table is a codec that is actually used for encoding and uses various images to determine the amount of coding deterioration and the amount of coding deterioration reduction by experiment, and the correspondence with the amount of coding deterioration estimated in the calculation. Can be created by asking.
実際に行った実験では、フィルタとして11タップの1/3帯域制限フィルタを使用した。このフィルタの係数は、図２の通りである。また、ブロックごとの相関係数などを計算する際のブロックサイズは、符号化の際のマクロブロックサイズに合わせて16x16とした。また、符号化にはH.264を使用し、符号化ビットレートを0.5Mbps,1.0Mbps,2.0Mbpsの3種類とした。 In an actual experiment, an 11-tap 1/3 band limiting filter was used as a filter. The coefficients of this filter are as shown in FIG. In addition, the block size when calculating the correlation coefficient for each block is set to 16 × 16 in accordance with the macroblock size at the time of encoding. In addition, H.264 was used for encoding, and three types of encoding bit rates of 0.5 Mbps, 1.0 Mbps, and 2.0 Mbps were used.
テスト画像としては、様々な絵柄が含まれるように、SDTV(525)のITU-R標準テスト画像10種類(Balls of wool,Birches,Cheerleaders,Flower garden,Horse riding,Kiel Harbour-4,Mobile and calendar,Popple,Summer flowers,Temp.eteを各約500フレーム)を使用した。 10 kinds of SDTV (525) ITU-R standard test images (Balls of wool, Birches, Cheerleaders, Flower garden, Horse riding, Kiel Harbor-4, Mobile and calendar) Popple, Summer flowers, and Temp.ete were used for about 500 frames each).
図３(a)〜(c)は、式(21)の右辺を計算して得られた符号化劣化のMSE(フレームごと)の推定値(Estimated MSE)と実験により得られた実際値(Actual MSE)の組を符号化レート2Mbps,1Mbps,0.5Mbpsごとにプロットした図である。 3 (a) to 3 (c) show the estimated value (Estimated MSE) of the coding degradation MSE (for each frame) obtained by calculating the right side of Equation (21) and the actual value (Actual) obtained by the experiment. FIG. 6 is a diagram in which a set of MSE) is plotted for each encoding rate of 2 Mbps, 1 Mbps, and 0.5 Mbps.
図３より、図中破線で示した回帰直線は符号化レートにより異なるものの、H.264符号化によるフレームごとのPSNRを、実際値との誤差約±5dBで予め推定可能であり、これにより、符号化劣化が十分小さいと考えられるケースでプリフィルタをオフにするというプリフィルタ制御が実現可能であることが確認できる。 From FIG. 3, although the regression line indicated by the broken line in the figure differs depending on the coding rate, the PSNR for each frame by H.264 coding can be estimated in advance with an error of about ± 5 dB from the actual value. It can be confirmed that the prefilter control of turning off the prefilter can be realized in the case where the coding deterioration is considered to be sufficiently small.
図４(a)〜(c)は、式(22)の右辺を計算して得られたPSNRの増加分(フレームごと)の推定値(Estimated improvement in PSNR)と実験により得られた実際値(Actual improv.)の組を符号化レート2Mbps,1Mbps,0.5Mbpsごとにプロットした図である。 4 (a) to 4 (c) show the estimated value (Estimated improvement in PSNR) of the PSNR increase (for each frame) obtained by calculating the right side of Equation (22) and the actual value obtained by experiment ( It is the figure which plotted the set of Actual improv.) Every encoding rate 2Mbps, 1Mbps, 0.5Mbps.
図４から、画像ごとに傾向の差異はあるものの、プリフィルタをかけた場合のフレームごとの符号化劣化低減量を、実際値との誤差約±3dBで予め推定可能であり、これにより、プリフィルタによる符号化劣化の改善度が大きいと推定される場合にのみプリフィルタをオンにするというプリフィルタ制御が実現可能であることが確認できる。 From FIG. 4, although there is a difference in tendency for each image, it is possible to estimate in advance the coding deterioration reduction amount for each frame when prefiltering is applied, with an error of about ± 3 dB from the actual value. It can be confirmed that the prefilter control of turning on the prefilter can be realized only when it is estimated that the improvement degree of the encoding deterioration by the filter is large.
符号化劣化量や符号化劣化低減量の推定をより正確にするため、図３および図４中に破線で示した回帰直線を推定テーブルとして予め作成しておく。これにより作成された推定テーブルは、符号化の際に使用するコーデックによって変わってくる可能性がある。そこで実際に装置として実用化する場合には、上述のように、予めいくつかのテスト画像を用いて実験を行い、符号化後の画像における符号化劣化量や符号化劣化低減量をフィードバックしてコーデックごとの専用の回帰直線を推定テーブルとして作成しておくことが望ましい。 In order to more accurately estimate the coding deterioration amount and the coding deterioration reduction amount, a regression line indicated by a broken line in FIGS. 3 and 4 is created in advance as an estimation table. The estimation table created by this may change depending on the codec used for encoding. Therefore, when actually putting it into practical use as an apparatus, as described above, an experiment is performed using some test images in advance, and the amount of encoding deterioration or the amount of reduction in encoding deterioration in the image after encoding is fed back. It is desirable to create a regression line dedicated to each codec as an estimation table.
図３および図４中に示される回帰直線を推定テーブルとして用いた場合、例えば、プリフィルタなしの場合に推定される符号化劣化nｎｏｆｉｌが20dB以上(PSNRが28dB以下)かつプリフィルタをかけた場合に推定される劣化低減量が4dB以上の範囲でプリフィルタをかけるという制御を行うことが考えられる。 When the regression line shown in FIG. 3 and FIG. 4 is used as an estimation table, for example, the encoding degradation n nofil estimated when there is no prefilter is 20 dB or more (PSNR is 28 dB or less) and prefiltering is applied. It is conceivable to perform control such that a prefilter is applied in a range where the estimated deterioration reduction amount is 4 dB or more.
以上は、１つのプリフィルタをオンオフ制御する場合であるが、複数のプリフィルタを設け、それらのオンオフを組み合わせるようにしてもよい。この場合は動画像に対し滑らかにプリフィルタをかけることができる。 The above is a case where one pre-filter is controlled to be turned on / off, but a plurality of pre-filters may be provided to combine the on / off states. In this case, the pre-filter can be smoothly applied to the moving image.
また、以上では、伝送情報量を固定とし、そのもとで符号化劣化量や符号化劣化低減量を推定する場合について説明したが、本発明は、符号化劣化量を一定とし、そのもとで符号化で発生する発生情報量を推定する画像処理装置としても実現できる。すなわち、式(21)によれば、符号化劣化一定のもとでの発生情報量Rを推定することもできる。 In the above description, the case where the transmission information amount is fixed and the coding deterioration amount or the coding deterioration reduction amount is estimated based on the transmission information amount has been described. However, the present invention assumes that the coding deterioration amount is constant, It can also be realized as an image processing apparatus for estimating the amount of information generated by encoding. That is, according to the equation (21), it is possible to estimate the generated information amount R under a constant encoding deterioration.
1・・・動き推定手段、12・・・フレームメモリ、13・・・動き補償予測手段、14・・・減算器、15・・・ブロック内分散計算手段、16,24・・・対数化フレーム内加算手段、17・・・符号化劣化量推定手段、18・・・ブロック内画素間相関係数計算手段、19・・・フィルタ係数2乗和計算手段、20・・・隣接フィルタ係数積和計算手段、21,22・・・乗算器、23・・・加算器、25・・・符号化劣化低減量推定手段、26・・・フィルタ制御手段、27・・・画面内線形フィルタ DESCRIPTION OF SYMBOLS 1 ... Motion estimation means, 12 ... Frame memory, 13 ... Motion compensation prediction means, 14 ... Subtractor, 15 ... Intra-block variance calculation means, 16, 24 ... Logarithmized frame Inner addition means, 17 ... Coding degradation amount estimation means, 18 ... Intra-block inter-pixel correlation coefficient calculation means, 19 ... Filter coefficient square sum calculation means, 20 ... Adjacent filter coefficient product sum Calculation means 21, 22 ... multiplier, 23 ... adder, 25 ... encoding deterioration reduction amount estimation means, 26 ... filter control means, 27 ... in-line linear filter
Claims (6)
入力動画像の各フレームの画像をブロックに分割する分割手段と、
前記分割手段により分割されたブロックごとに前フレームの画像による動き補償予測を行い、動き補償予測画像を生成する動き補償予測手段と、
前記動き補償予測手段により生成された動き補償予測画像と現画像との差分画像を生成する差分画像生成手段と、
前記差分画像生成手段により生成された差分画像における画素間相関係数をブロックごとに算出する画素間相関係数計算手段と、
画面内線形プリフィルタの複数ある係数の２乗和を算出する係数２乗和計算手段と、
前記画面内線形プリフィルタの複数ある係数のうち隣り合う係数同士の積の加算値を算出する係数積和計算手段と、
前記係数２乗和計算手段により算出された２乗和と、前記係数積和計算手段により算出された加算値と画素間相関係数の積の、加算値をブロックごとに算出する加算手段と、
前記加算手段により算出された加算値の対数を算出する対数計算手段と、
前記対数計算手段により対数化されたブロックごとの加算値をフレーム内で加算するフレーム内加算手段を備え、
前記フレーム内加算手段による加算値と動画像がディジタル圧縮符号化された場合のプリフィルタによる符号化劣化低減量の関係を示す理論モデル式を用い、前記フレーム内加算手段による加算値をもとに、動画像がディジタル圧縮符号化された場合のプリフィルタによる符号化劣化低減量を推定することを特徴とする画像処理装置。 An image processing apparatus for estimating a coding deterioration reduction amount by a pre-filter when a moving image is digitally compressed and encoded,
A dividing means for dividing the image of each frame of the input moving image into blocks;
Motion-compensated prediction means for performing motion-compensated prediction based on the image of the previous frame for each block divided by the dividing means, and generating a motion-compensated predicted image;
Difference image generation means for generating a difference image between the motion compensated prediction image generated by the motion compensation prediction means and the current image;
An inter-pixel correlation coefficient calculating means for calculating the inter-pixel correlation coefficient in the differential image generated by the differential image generating means for each block;
Coefficient sum-of-squares calculation means for calculating the sum of squares of a plurality of coefficients of the in-screen linear pre-filter,
Coefficient product-sum calculation means for calculating an addition value of products of adjacent coefficients among a plurality of coefficients of the in-screen linear prefilter;
Adding means for calculating, for each block, an addition value of a square sum calculated by the coefficient square sum calculation means and a product of the addition value calculated by the coefficient product sum calculation means and the inter-pixel correlation coefficient;
Logarithm calculation means for calculating the logarithm of the addition value calculated by the addition means;
Intra-frame addition means for adding the addition value for each block logarithmized by the logarithmic calculation means within a frame,
Based on the theoretical model equation showing the relationship between the addition value obtained by the intra-frame addition means and the amount of reduction in coding degradation caused by the pre-filter when the moving image is digitally compressed and encoded, based on the addition value obtained by the intra-frame addition means. An image processing apparatus for estimating a coding deterioration reduction amount by a pre-filter when a moving image is digitally compressed and encoded.
前記分散値計算手段により算出された分散値の対数を算出する対数計算手段と、
前記対数計算手段により対数化されたブロックごとの分散値をフレーム内で加算するフレーム内加算手段を備え、
前記フレーム内加算手段による加算値およびデジタル圧縮符号化での伝送情報速度と動画像がデジタル圧縮符号化された場合の符号化劣化量の関係を示す理論モデル式を用い、該理論モデル式においてディジタル圧縮符号化での伝送情報速度を固定とし、該伝送情報速度と前記フレーム内加算手段による加算値をもとに、動画像がディジタル圧縮符号化された場合の符号化劣化量を推定することを特徴とする請求項１に記載の画像処理装置。 Further, a variance value calculating means for calculating a variance value for each block in the difference image generated by the difference image generating means,
Logarithm calculation means for calculating the logarithm of the variance value calculated by the variance value calculation means;
Intra-frame addition means for adding dispersion values for each block logarithmized by the logarithmic calculation means within a frame,
Using the theoretical model equation indicating the relationship between the addition value by the intra-frame addition means, the transmission information rate in digital compression encoding, and the amount of coding deterioration when the moving image is digitally compressed and encoded, The transmission information rate in compression encoding is fixed, and based on the transmission information rate and the addition value by the intra-frame addition means, the amount of coding deterioration when the moving image is digitally compressed is estimated. The image processing apparatus according to claim 1, wherein:
請求項１に記載された画像処理装置により推定された符号化劣化低減量に基づき、プリフィルタをかけるか否かを決定することを特徴とするプリフィルタ制御装置。 A prefilter control device for controlling whether or not to prefilter a moving image prior to digital compression encoding,
A pre-filter control apparatus that determines whether or not to apply a pre-filter based on a coding deterioration reduction amount estimated by the image processing apparatus according to claim 1.
請求項２に記載の画像処理装置により推定された符号化劣化低減量および符号化劣化量の少なくとも一方に基づき、プリフィルタをかけるか否かを決定することを特徴とするプリフィルタ制御装置。 A prefilter control device for controlling whether or not to prefilter a moving image prior to digital compression encoding,
A pre-filter control device that determines whether or not to apply a pre-filter based on at least one of an encoding deterioration reduction amount and an encoding deterioration amount estimated by the image processing device according to claim 2.
請求項２に記載の画像処理装置により推定された符号化劣化量および符号化劣化低減量の両方に基づき、推定された符号化劣化量が第１の所定値以上に大きく、かつ符号化劣化低減量が第２の所定値以上に大きい場合にのみ、プリフィルタをかけるように決定することを特徴とするプリフィルタ制御装置。 A prefilter control device for controlling whether or not to prefilter a moving image prior to digital compression encoding,
The estimated coding degradation amount is larger than the first predetermined value based on both the coding degradation amount and the coding degradation reduction amount estimated by the image processing apparatus according to claim 2, and the coding degradation reduction is performed. A pre-filter control apparatus, wherein the pre-filter control apparatus determines to apply the pre-filter only when the amount is larger than a second predetermined value .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006038292A JP4530288B2 (en) | 2006-02-15 | 2006-02-15 | Image processing apparatus and prefilter control apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006038292A JP4530288B2 (en) | 2006-02-15 | 2006-02-15 | Image processing apparatus and prefilter control apparatus |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2007221354A JP2007221354A (en) | 2007-08-30 |
| JP4530288B2 true JP4530288B2 (en) | 2010-08-25 |
Family
ID=38498156
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006038292A Expired - Fee Related JP4530288B2 (en) | 2006-02-15 | 2006-02-15 | Image processing apparatus and prefilter control apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4530288B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4824712B2 (en) * | 2008-02-29 | 2011-11-30 | 日本電信電話株式会社 | Motion estimation accuracy estimation method, motion estimation accuracy estimation device, motion estimation accuracy estimation program, and computer-readable recording medium recording the program |
| MX2013008119A (en) * | 2011-01-12 | 2013-08-12 | Mitsubishi Electric Corp | Dynamic image encoding device, dynamic image decoding device, dynamic image encoding method, and dynamic image decoding method. |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07154788A (en) * | 1993-11-30 | 1995-06-16 | Matsushita Electric Ind Co Ltd | Encoder for video signal |
| JPH08172633A (en) * | 1994-12-20 | 1996-07-02 | Victor Co Of Japan Ltd | Method for limiting moving image band |
| JPH11252545A (en) * | 1998-02-27 | 1999-09-17 | Hitachi Ltd | Video encoder and decoder |
| JP2000115765A (en) * | 1998-10-06 | 2000-04-21 | Matsushita Electric Ind Co Ltd | Video signal coder |
| JP2000175192A (en) * | 1998-12-08 | 2000-06-23 | Matsushita Electric Ind Co Ltd | Highly efficient encoding device |
| JP2000308051A (en) * | 1999-04-16 | 2000-11-02 | Sony Corp | Signal compressor, recording and reproducing device, and method for removing noise |
| JP2006005572A (en) * | 2004-06-16 | 2006-01-05 | Matsushita Electric Ind Co Ltd | Image coding device |
-
2006
- 2006-02-15 JP JP2006038292A patent/JP4530288B2/en not_active Expired - Fee Related
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07154788A (en) * | 1993-11-30 | 1995-06-16 | Matsushita Electric Ind Co Ltd | Encoder for video signal |
| JPH08172633A (en) * | 1994-12-20 | 1996-07-02 | Victor Co Of Japan Ltd | Method for limiting moving image band |
| JPH11252545A (en) * | 1998-02-27 | 1999-09-17 | Hitachi Ltd | Video encoder and decoder |
| JP2000115765A (en) * | 1998-10-06 | 2000-04-21 | Matsushita Electric Ind Co Ltd | Video signal coder |
| JP2000175192A (en) * | 1998-12-08 | 2000-06-23 | Matsushita Electric Ind Co Ltd | Highly efficient encoding device |
| JP2000308051A (en) * | 1999-04-16 | 2000-11-02 | Sony Corp | Signal compressor, recording and reproducing device, and method for removing noise |
| JP2006005572A (en) * | 2004-06-16 | 2006-01-05 | Matsushita Electric Ind Co Ltd | Image coding device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2007221354A (en) | 2007-08-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102192778B1 (en) | Video motion compensation apparatus and method with selectable interpolation filter | |
| US7805016B2 (en) | Decoding apparatus and decoding method | |
| AU2007313905B2 (en) | Method and apparatus for adaptive noise filtering of pixel data | |
| EP2278814B1 (en) | Method and apparatus for controlling loop filtering or post filtering in block based motion compensated video coding | |
| CN100364338C (en) | Method of and apparatus for estimating noise of input image, and method and recording media of eliminating noise | |
| US8279923B2 (en) | Video coding method and video coding apparatus | |
| CN101543074B (en) | Deblocking filtering apparatus and method | |
| US7903732B2 (en) | Method and apparatus for encoding a moving-picture signal by calculating the complexity of the moving-picture signal | |
| EP1555832A2 (en) | Adaptive loop filtering for reducing blocking artifacts | |
| JPWO2006070787A1 (en) | MOVING IMAGE ENCODING METHOD, DEVICE USING THE SAME, AND COMPUTER PROGRAM | |
| EP1603338A1 (en) | Video signal encoding device and video signal encoding method | |
| JP2013102471A (en) | Enhanced image/video quality through artifact evaluation | |
| WO2003026313A1 (en) | Adaptive filtering based upon boundary strength | |
| KR20180054735A (en) | Apparatus and method for video motion compensation | |
| RU2696309C1 (en) | Video motion compensation device and method | |
| KR20040058929A (en) | Advanced method for encoding video based on DCT and apparatus thereof | |
| JP2006094081A (en) | Coding device, coding method, program of coding method, and recording medium with program of coding method recorded thereon | |
| JP2006509437A (en) | Unified Metric for Digital Video Processing (UMDVP) | |
| KR101529754B1 (en) | Method and apparatus for detecting dark noise artifacts | |
| JP4362795B2 (en) | Video encoding apparatus and method | |
| JP4530288B2 (en) | Image processing apparatus and prefilter control apparatus | |
| JP2003264840A (en) | System converter for encoded moving picture data | |
| JP4362794B2 (en) | Video encoding apparatus and method | |
| JP3858520B2 (en) | Video encoding apparatus and method | |
| JP4942208B2 (en) | Encoder |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080625 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080822 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090218 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090417 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090930 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091127 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100602 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100603 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4530288 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130618 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |