JP3371159B2 - Digital image signal processing apparatus and processing method - Google Patents

Description

【発明の詳細な説明】Detailed Description of the Invention

【０００１】[0001]

【発明の属する技術分野】この発明は、空間的および／
または時間的に近傍に存在する複数の画素を使用して注
目画素の値を作成することを必要とするディジタル画像
信号処理装置および処理方法、例えばサブサンプリング
信号を受け取って、間引き画素を補間するディジタル画
像信号処理装置および処理方法に関する。TECHNICAL FIELD The present invention relates to spatial and / or spatial
Alternatively, a digital image signal processing apparatus and a processing method that requires creating a value of a pixel of interest using a plurality of pixels that are temporally close to each other, for example, a digital image signal receiving sub-sampling signal and interpolating a thinned pixel The present invention relates to an image signal processing device and a processing method .

【０００２】[0002]

【従来の技術】ディジタル画像信号を記録したり、伝送
する際の帯域圧縮あるいは情報量削減のための一つの方
法として、画素をサブサンプリングによって間引くこと
によって、伝送データ量を減少させるものがある。その
一例は、ＭＵＳＥ方式における多重サブナイキストサン
プリングエンコーディング方式である。このシステムで
は、受信側で間引かれ、非伝送の画素を補間する必要が
ある。また、入力される標準精細度のビデオ信号を高精
細度のビデオへ変換するアップコンバージョンも提案さ
れている。この場合には、不足している画素を標準精細
度の信号から作成する必要がある。さらに、画像を電子
的に拡大する時には、不足する画素の値の補間を必要と
する。これらのものに限らず、シーンチェンジ検出、Ｄ
ＰＣＭ等では、周辺の画素の値から注目画素の推定値を
作成する技術が適用可能である。2. Description of the Related Art As one method for band compression or information amount reduction when recording or transmitting a digital image signal, there is a method of reducing the amount of transmission data by thinning out pixels by subsampling. One example is the multiple sub-Nyquist sampling encoding method in the MUSE method. In this system, it is necessary to interpolate non-transmitted pixels that have been decimated on the receiving side. In addition, up-conversion that converts an input standard definition video signal into a high definition video has also been proposed. In this case, it is necessary to create the missing pixels from the standard definition signal. Furthermore, when the image is electronically magnified, interpolation of missing pixel values is required. Not limited to these, scene change detection, D
In PCM or the like, a technique of creating an estimated value of a pixel of interest from values of surrounding pixels can be applied.

【０００３】サブサンプリングの一例としてオフセット
サブサンプリングが知られている。２次元のオフセット
サブサンプリングの一例を図５に示す。水平方向（ｘ方
向）と垂直方向（ｙ方向）とのサンプリング間隔（Ｔ
ｘ，Ｔｙ）を原信号における画素間隔（Ｈｘ，Ｈｙ）の
２倍に設定し、１画素おきに間引く（間引き画素を×で
示す）とともに、垂直方向に隣合うサンプリング点（○
で示す）をサンプリング間隔の半分（Ｔｘ／２）だけオ
フセットするものである。このようなオフセットサブサ
ンプリングを行うことによる伝送帯域は、図６に示すよ
うに、斜め方向の空間周波数に対して水平あるいは垂直
方向の空間周波数成分を広帯域化することができる。Offset subsampling is known as an example of subsampling. An example of two-dimensional offset subsampling is shown in FIG. The sampling interval (T) in the horizontal direction (x direction) and the vertical direction (y direction)
(x, Ty) is set to twice the pixel interval (Hx, Hy) in the original signal, every other pixel is thinned out (thinned pixels are indicated by x), and sampling points adjacent to each other in the vertical direction (○)
(Shown by) is offset by half the sampling interval (Tx / 2). As shown in FIG. 6, the transmission band obtained by performing such offset sub-sampling can widen the horizontal or vertical spatial frequency component with respect to the diagonal spatial frequency.

【０００４】また、オフセットサブサンプリングされた
画像信号をモニタに表示したり、プリントアウトする場
合には、図７に示すように、間引き画素を隣接画素から
補間する必要がある。この補間処理は、図６に示す斜線
領域の周波数成分を通過させるとともに、折返し点Ａを
含む領域の周波数成分の通過を阻止する空間フィルタと
して機能するものであり、この補間処理は、サンプリン
グ理論上では後置フィルタとして位置付けられる。When the offset sub-sampled image signal is displayed on the monitor or printed out, it is necessary to interpolate the thinned pixel from the adjacent pixel as shown in FIG. This interpolation process functions as a spatial filter that allows the frequency components in the shaded region shown in FIG. 6 to pass and blocks the frequency components in the region including the folding point A, and this interpolation process is based on sampling theory. Is positioned as a post filter.

【０００５】ところで、上述のようなオフセットサブサ
ンプリングは、サンプリングの前の前置フィルタが正し
くフィルタリング処理を行っている場合には、非常に有
効な方法であるが、例えばハードウエア上の制約によっ
て前置フィルタを充分にかけられない場合や、伝送帯域
の広帯域化をはかるために前置フィルタを充分にかけな
い場合等では、折返し歪の発生による画質劣化という問
題が生じる。By the way, the offset sub-sampling as described above is a very effective method when the pre-filter before sampling correctly performs the filtering process. If the pre-filter cannot be applied sufficiently, or if the pre-filter is not applied sufficiently to widen the transmission band, the problem of image quality deterioration due to aliasing distortion occurs.

【０００６】上述の折返し歪の発生を軽減するために、
適応補間方法が提案されている。これは、サブサンプリ
ングされた画像信号に対して補間処理を行う際に、補間
画素の周辺の相関の強い方向を検出し、この検出結果に
応じて、複数の異なった補間手段を選択的に用いるもの
である。In order to reduce the occurrence of the above-mentioned folding distortion,
Adaptive interpolation methods have been proposed. This is because when performing interpolation processing on a sub-sampled image signal, a direction with strong correlation around an interpolation pixel is detected, and a plurality of different interpolation means are selectively used according to the detection result. It is a thing.

【０００７】[0007]

【発明が解決しようとする課題】上述の適応型補間方法
においては、個々の補間手段の能力と、どの補間手段を
用いるかを選択する判定の精度が補間装置の性能を決定
する。すなわち、個々の補間手段の能力が充分でなく、
適切な補間ができない場合や、誤判定が発生する確立が
高く誤検出に基づく補間処理を行ってしまう場合等で
は、本来の信号成分を減少させるばかりか、逆に折返し
歪を増大させてしまうという問題点があった。In the above-mentioned adaptive interpolation method, the performance of the interpolating device is determined by the capability of the individual interpolating means and the accuracy of the determination for selecting which interpolating means to use. That is, the ability of each interpolation means is not sufficient,
When proper interpolation cannot be performed, or when an erroneous determination occurs with high probability and interpolation processing is performed based on erroneous detection, not only the original signal component is reduced, but also the aliasing distortion is increased. There was a problem.

【０００８】さらに、注目画素の値を作成する時には、
従来では、固定タップ、固定係数の補間フィルタを使用
するのが普通であった。補間フィルタにより非伝送画素
を補間する処理は、ある種の画像に対して有効であって
も、動きのある画像や静止画像等の多種多様な種類の画
像に関して、全体的に補間処理が効果的に発揮されると
はと限らない。その結果として、伝送画素および補間画
素で構成される復元画像中に、「ぼけ」、動きの不自然
さである「ジャーキネス」等が発生する問題があった。Further, when creating the value of the pixel of interest,
In the past, it was common to use fixed tap, fixed coefficient interpolation filters. Although the process of interpolating non-transmitted pixels by the interpolation filter is effective for a certain type of image, the interpolation process is generally effective for various types of images such as moving images and still images. It is not always the case. As a result, there is a problem that "blurring", "jerkiness" that is unnatural motion, and the like occur in the restored image composed of transmission pixels and interpolation pixels.

【０００９】この問題を解決する一つの方法として、本
願出願人の提案による特開昭６３−４８０８８号公報に
は、注目画素の値をその周辺の画素と係数の線形１次結
合で表し、誤差の二乗和が最小となるように、注目画素
の実際の値を使用して最小二乗法によりこの係数の値を
決定するものが提案されている。ここでは、線形１次結
合の係数を予め学習によって決定し、決定係数がメモリ
に格納されている。さらに、注目画素を補間する時に、
周辺の参照画素の平均値を計算し、平均値と各画素の値
との大小関係に応じて、各画素を１ビットで表現し、
（参照画素数×１ビット）のパターンに応じたクラス分
けを行い、注目画素を含む画像の局所的特徴を反映した
補間値を形成している。As one method for solving this problem, Japanese Patent Laid-Open No. 63-48088 proposed by the applicant of the present application describes the value of a pixel of interest by a linear linear combination of pixels around it and a coefficient, and It has been proposed to determine the value of this coefficient by the method of least squares using the actual value of the pixel of interest so that the sum of squares of is minimized. Here, the coefficient of the linear linear combination is previously determined by learning, and the coefficient of determination is stored in the memory. Furthermore, when interpolating the pixel of interest,
The average value of the surrounding reference pixels is calculated, and each pixel is represented by 1 bit according to the magnitude relationship between the average value and the value of each pixel,
The classification is performed according to the pattern of (the number of reference pixels × 1 bit), and the interpolated value reflecting the local feature of the image including the target pixel is formed.

【００１０】係数をメモリに格納しておく場合、線形１
次結合のタップ数によっては、係数の個数が多くなり、
係数メモリの容量が増大する問題がある。また、学習時
に、ノイズの影響を受けると、決定された係数の精度が
低い問題がある。When the coefficient is stored in the memory, linear 1
Depending on the number of taps of the secondary combination, the number of coefficients increases,
There is a problem that the capacity of the coefficient memory increases. Further, when learning is affected by noise, the accuracy of the determined coefficient is low.

【００１１】従って、この発明の一つの目的は、複数個
の係数を記憶する必要がなく、係数メモリが大規模とな
ることを防止できるディジタル画像信号処理装置および
処理方法を提供するものである。Accordingly, one object of this invention, it is not necessary to store a plurality of coefficients, the digital image signal can be prevented from coefficient memory becomes large processor and
It provides a processing method .

【００１２】この発明の他の目的は、学習時に、ノイズ
の影響が軽減され、高精度の予測値または予測係数を作
成することが可能なディジタル画像信号処理装置および
処理方法を提供することにある。Another object is of the present invention, at the time of learning, the influence of noise is reduced, the digital image signal processing apparatus and capable of creating a predicted value or coefficient of precision
It is to provide a processing method .

【００１３】[0013]

【課題を解決するための手段】請求項１記載の発明は、
画素を作成するディジタル画像信号処理装置において、
作成される注目画素と局所的相関を有する複数の参照画
素によって注目画素のクラスを決定するためのクラス分
類手段と、注目画素の値を生成するために、予め学習に
より獲得されたクラス毎の代表値が格納されたメモリ手
段と、代表値に基づいて推定値を生成する推定値生成手
段とを備え、学習を行う時に、 作成すべき注目画素と局
所的相関を有する学習用画像中の複数の参照画素によっ
てブロックを生成すると共に、複数の参照画素によって
注目画素のクラスを決定し、注目画素の画素の値とブロ
ックの基準値との差分値を、ブロック内のダイナミック
レンジによって正規化し、クラス毎に、正規化された値
の累積値と累積度数を求め、累積値を累積度数で除した
値を代表値として求め、 ダイナミックレンジがしきい値
より小さいブロックのデータを学習対象から除外するよ
うにしたディジタル画像信号処理装置である。The invention according to claim 1 is
In a digital image signal processing device for creating pixels,
Multiple reference images that have local correlation with the pixel of interest created
Based on the representative value, a class classification means for determining the class of the pixel of interest by the prime, a memory means storing a representative value for each class acquired in advance in order to generate the value of the pixel of interest, and the representative value. Estimated value generating means for generating an estimated value is provided, and a pixel of interest and a station to be created at the time of learning.
By using multiple reference pixels in the training image with local correlation,
To generate a block Te, a plurality of reference pixels
Determine the class of the subject pixel, a difference value between the reference value of the value and the block of pixels of the pixel of interest, normalized by a dynamic range in the block, for each class, the normalized value
Obtains a cumulative value and the cumulative frequency, obtains a value obtained by dividing the cumulative value in the cumulative frequency as a representative value, the dynamic range threshold
A digital image signal processing device for excluding data of a smaller block from a learning target .

【００１４】請求項６記載の発明は、画素を作成するデ
ィジタル画像信号処理方法であって、作成される注目画
素と局所的相関を有する複数の参照画素によって注目画
素のクラスを決定するステップと、注目画素の値を生成
するために、予め学習により獲得されたクラス毎の代表
値が格納されており、代表値に基づいて推定値を生成す
るステップとからなり、 学習を行う時に、 作成すべき注
目画素と局所的相関を有する学習用画像中の複数の参照
画素によってブロックを生成すると共に、複数の参照画
素によって注目画素のクラスを決定し、注目画素の画素
の値とブロックの基準値との差分値を、ブロック内のダ
イナミックレンジによって正規化し、クラス毎に、正規
化された値の累積値と累積度数を求め、累積値を累積度
数で除した値を代表値として求め、 ダイナミックレンジ
がしきい値より小さいブロックのデータを学習対象から
除外するようにしたディジタル画像信号処理方法であ
る。According to a sixth aspect of the present invention, there is provided a digital image signal processing method for creating a pixel, wherein the class of the target pixel is determined by a plurality of reference pixels having a local correlation with the created target pixel . to generate the values of the pixel of interest, is stored representative values for each are acquired class in advance by learning, consists of a step of generating an estimate based on the representative value, when performing the learning to be created note
Multiple References in Learning Image with Local Correlation with Eye Pixels
To generate a block by the pixel, to determine the class of the subject pixel by a plurality of reference pixels, a difference value between the reference value of the value and the block of pixels of the pixel of interest, normalized by a dynamic range in the block, for each class ,regular
Obtains a cumulative value and the cumulative frequency of reduction values, obtains a value obtained by dividing the cumulative value in the cumulative frequency as a representative value, the dynamic range
Data of a block whose
This is a digital image signal processing method so as to be excluded .

【００１５】さらに、請求項３記載の発明は、上述のデ
ィジタル画像信号処理装置において、学習時に、アクテ
ィビィティーが低い領域のデータを学習対象から除外す
るようにしたディジタル画像信号処理装置である。Further, the invention according to claim 3 is the digital image signal processing device according to the above-mentioned digital image signal processing device, wherein data of a region having a low activity is excluded from a learning target during learning.

【００１６】学習によって、予測値を予め作成する時
に、ダイナミックレンジで正規化された値を用いるの
で、予測値を格納するメモリの規模が大きくなることを
防止することができる。また、学習時に、ダイナミック
レンジがしきい値より小さいブロックのデータを除外す
る。これによって、ノイズの影響を受けて、作成された
予測値の精度が低下することが防止できる。Since a value normalized by the dynamic range is used when the predicted value is created in advance by learning, it is possible to prevent the scale of the memory for storing the predicted value from increasing. Further, at the time of learning, data of blocks whose dynamic range is smaller than the threshold value are excluded. As a result, it is possible to prevent the accuracy of the created predicted value from being lowered due to the influence of noise.

【００１７】[0017]

【実施例】以下、この発明をサブサンプリング信号補間
装置に対して適用した一実施例について説明する。図１
において、１は、オフセットサブサンプリングされたデ
ィジタル画像信号の入力端子である。具体的には、放送
などによる伝送、ＶＴＲ等からの再生信号が入力端子１
に供給される。２は、入力信号をブロック構造の信号に
変換するための時系列変換回路である。DESCRIPTION OF THE PREFERRED EMBODIMENTS An embodiment in which the present invention is applied to a subsampling signal interpolating device will be described below. Figure 1
In the figure, reference numeral 1 is an input terminal for an offset sub-sampled digital image signal. Specifically, the transmission by broadcasting or the reproduction signal from the VTR is input terminal 1
Is supplied to. Reference numeral 2 is a time series conversion circuit for converting an input signal into a block structure signal.

【００１８】時系列変換回路２の出力信号が補間演算回
路３および情報圧縮回路５に供給される。補間演算回路
３には、後述のように予め学習により獲得された代表値
が格納されているメモリ４が接続されている。この代表
値は、間引き画素の補間値を正確に推定するための値で
ある。The output signal of the time series conversion circuit 2 is supplied to the interpolation calculation circuit 3 and the information compression circuit 5. The interpolation calculation circuit 3 is connected to a memory 4 in which representative values acquired by learning in advance are stored as described later. This representative value is a value for accurately estimating the interpolation value of the thinned pixels.

【００１９】情報圧縮回路５の出力信号がクラスコード
発生回路６に供給され、これよりクラスコードが発生す
る。補間の対象である、注目画素を含むブロックの画素
データが情報圧縮回路５によって圧縮される。情報圧縮
回路５の出力データに基づいて、そのブロックの２次元
的なレベル分布のパターン、すなわち、クラスが決定さ
れる。このクラスを指示するクラスコードが形成され
る。The output signal of the information compression circuit 5 is supplied to the class code generation circuit 6, which generates a class code. The pixel data of the block including the pixel of interest, which is the target of interpolation, is compressed by the information compression circuit 5. Based on the output data of the information compression circuit 5, the pattern of the two-dimensional level distribution of the block, that is, the class is determined. A class code is created that points to this class.

【００２０】クラスコードがメモリ４にアドレスとして
供給され、そのクラスと対応する代表値がメモリ４から
読出される。メモリ４からの代表値によって、注目画素
の補間値が形成される。補間演算回路３から出力端子７
に間引き画素の補間値が出力される。ここで、代表値
は、補間対象の注目画素の周辺の複数の画素からなるブ
ロックの基準値baseとダイナミックレンジＤＲとで正規
化された値ｇ（ｃ）である。従って、補間演算回路３で
は、下記の演算によって、補間値ｙ´が生成される。 ｙ´＝ＤＲ×ｇ（ｃ）＋base （１）The class code is supplied to the memory 4 as an address, and the representative value corresponding to the class is read from the memory 4. The representative value from the memory 4 forms the interpolated value of the pixel of interest. Output terminal 7 from interpolation calculation circuit 3
The interpolated value of the thinned pixel is output to. Here, the representative value is a value g (c) normalized by the reference value base and the dynamic range DR of a block composed of a plurality of pixels around the target pixel to be interpolated. Therefore, the interpolation calculation circuit 3 generates the interpolation value y ′ by the following calculation. y ′ = DR × g (c) + base (1)

【００２１】クラス分類は、図８に示すように、注目画
素（補間画素）の周囲の１２個の参照画素ａ、ｂ、ｃ、
・・・、ｌのレベル分布に基づいて行われる。情報圧縮
回路５およびクラスコード発生回路６の一例は、ＡＤＲ
Ｃ（Adaptive Dynamic RangeCoding)である。ＡＤＲＣ
は、画像の局所的な相関を利用してレベル方向の冗長度
を適応的に除去するものである。例えば図９に示すよう
に、８ビットの原データの持つ０〜２５５のダイナミッ
クレンジの中で、各ブロック毎に再量子化するのに必要
なブロック内ダイナミックレンジＡ、Ｂは、大幅に小さ
くなることが分かる。このために、再量子化に必要なビ
ット数は、元の８ビットより大幅に低減することができ
る。As shown in FIG. 8, the class classification is performed by using twelve reference pixels a, b, c, around the target pixel (interpolation pixel).
..., based on the level distribution of l. An example of the information compression circuit 5 and the class code generation circuit 6 is ADR.
C (Adaptive Dynamic Range Coding). ADRC
Is to adaptively remove the redundancy in the level direction by utilizing the local correlation of images. For example, as shown in FIG. 9, within the dynamic range of 0 to 255 possessed by the 8-bit original data, the intra-block dynamic ranges A and B required for requantization for each block are significantly reduced. I understand. Therefore, the number of bits required for requantization can be significantly reduced from the original 8 bits.

【００２２】より具体的には、１ビットＡＤＲＣを使用
できる。すなわち、上述の参照画素を含むブロックの最
大値および最小値が検出され、最大値および最小値の差
であるダイナミックレンジが検出され、参照画素の値が
ダイナミックレンジで割算され、その商が０．５と比較
され、０．５以上のものが`1' 、それより小さいものが
`0' に符号化される。従って、１２ビットのクラスコー
ドが発生する。前フレームおよび後フレームに含まれる
画素のような、時間方向の参照画素を使用しても良い。More specifically, 1-bit ADRC can be used. That is, the maximum value and the minimum value of the block including the reference pixel described above are detected, the dynamic range that is the difference between the maximum value and the minimum value is detected, the value of the reference pixel is divided by the dynamic range, and the quotient is 0. Compared with .5, those with 0.5 or more are `1 ', those with less than
It is encoded as `0 '. Therefore, a 12-bit class code is generated. Reference pixels in the time direction such as pixels included in the previous frame and the subsequent frame may be used.

【００２３】１ビット以外のビット数の出力を発生する
ＡＤＲＣを採用しても良い。ここで、ＡＤＲＣの他の例
について説明する。元のビット数より少ないビット割り
当てを一般的にｐ、ブロックのダイナミックレンジをＤ
Ｒ、ブロック内の参照画素のレベルをｘ、再量子化コー
ドをＱとすると、次の式（２）により、ブロック内の最
大値ＭＡＸと最小値ＭＩＮとの間を２^p 個に均等に分割
して再量子化を行う。図１０（ａ）にｐ＝３の場合の再
量子化を示す。It is also possible to employ an ADRC that generates an output of a bit number other than 1 bit. Here, another example of ADRC will be described. Generally, p is the bit allocation smaller than the original number of bits, and D is the dynamic range of the block.
R, the level of the reference pixel in the block is x, and the requantization code is Q, the maximum value MAX and the minimum value MIN in the block are equally divided into 2 ^p by the following equation (2). And requantize. FIG. 10A shows requantization when p = 3.

【００２４】 ＤＲ＝ＭＡＸ−ＭＩＮ＋１ Ｑ＝〔（ｘ−ＭＩＮ＋０．５）×２^p ／ＤＲ〕 （２） 〔ｚ〕は、ｚ以下の最大の整数を表す。DR = MAX-MIN + 1 Q = [(x-MIN + 0.5) × 2 ^p / DR] (2) [z] represents the maximum integer equal to or less than z.

【００２５】次に、図１０（ａ）におけるｐビット再量
子化の階調レベルの中の（２^p −１）に相当するデータ
レベルを持つブロック内画素の平均値を計算し、これを
図１０（ｂ）に示すように、新たな最大値ＭＡＸ´とす
る。また、再量子化の階調レベル０に相当するデータレ
ベルを持つブロック内の画素の平均値を新たな最小値Ｍ
ＩＮ´とする。新しく求められた最大値ＭＡＸ´および
最小値ＭＩＮ´からダイナミックレンジを定義し直し
て、次の式（３）によって、再量子化を行う。Next, the average value of the pixels in the block having the data level corresponding to (2 ^p -1) in the gradation level of the p-bit requantization in FIG. 10A is calculated, and this is calculated. As shown in 10 (b), a new maximum value MAX ′ is set. In addition, the average value of the pixels in the block having the data level corresponding to the requantization gradation level 0 is set to the new minimum value M.
Let it be IN '. The dynamic range is redefined from the newly obtained maximum value MAX ′ and minimum value MIN ′, and requantization is performed by the following equation (3).

【００２６】 ＤＲ＝ＭＡＸ´−ＭＩＮ´ ｑ＝〔（ｘ−ＭＩＮ´）×（２^p −１）／ＤＲ´＋０．５〕 （３） 〔ｚ〕は、ｚ以下の最大の整数を表す。DR = MAX′−MIN ′ q = [(x−MIN ′) × (2 ^p −1) /DR′+0.5] (3) [z] represents the maximum integer equal to or less than z.

【００２７】このような新たな最大値ＭＡＸ´、最小値
ＭＩＮ´、ダイナミックレンジＤＲ´を定義しなおすＡ
ＤＲＣは、ノイズの悪影響を受けることかなく、効率の
良い情報量の圧縮を行うことができる。ＡＤＲＣに限ら
ず、ＤＰＣＭ(Differentialpulse code modulation)、
ＢＴＣ(Block Trancation Coding) 等の圧縮符号化のエ
ンコーダを情報圧縮回路５として使用することができ
る。The new maximum value MAX ', the minimum value MIN', and the dynamic range DR 'are newly defined A
The DRC can efficiently compress the amount of information without being adversely affected by noise. Not limited to ADRC, DPCM (Differential pulse code modulation),
An encoder for compression encoding such as BTC (Block Trancation Coding) can be used as the information compression circuit 5.

【００２８】ＤＰＣＭをクラス分けに使用した例につい
て説明する。まず、参照画素ａ，ｂ，ｃ，・・・，ｌの
それぞれの画素値をｘ₁ 、ｘ₂ 、ｘ₃ 、・・・・、ｘ₁₂
とした時に、画素間のレベル差を次の式（４）により求
める。 ｄ₁ ＝ｘ₁ −ｘ₁₂ ｄ_i ＝ｘ_i −ｘ_i-1 （ｉ＝２，３，・・・・，１２） （４）An example in which DPCM is used for classification will be described. First, the reference pixels a, b, c, ···, x 1 each of the pixel values of _{l, x 2, x 3,} ····, x 12
Then, the level difference between pixels is obtained by the following equation (4). d ₁ = x ₁ −x ₁₂ d _i = x _i −x _i−1 (i = 2, 3, ..., 12) (4)

【００２９】相関が強い画素間の差分ｄ_i を求めると、
一般的に０を中心とした分布となることが知られてい
る。そこで、０付近を細かく再量子化するような非線形
量子化器を用いて差分ｄ_i を再量子化することによっ
て、効率が良い情報量圧縮が可能である。従って、差分
の量子化値ｑ_i を用いることによって、ＡＤＲＣの場合
と同様にクラス分類が可能である。非線形量子化の一例
を下記に示す。When the difference d _i between pixels having a strong correlation is calculated,
It is generally known that the distribution is centered on 0. Therefore, by requantizing the difference d _i by using a non-linear quantizer that finely requantizes the vicinity of 0, efficient information amount compression is possible. Therefore, by using the quantized value q _i of the difference, it is possible to perform the class classification as in the case of ADRC. An example of non-linear quantization is shown below.

【００３０】 ｄ_i ＝６８〜２５５ ：ｑ_i ＝ ４ ｄ_i ＝３０〜 ６７ ：ｑ_i ＝ ３ ｄ_i ＝ ８〜 ２９ ：ｑ_i ＝ ２ ｄ_i ＝ ０〜 ７ ：ｑ_i ＝ １ ｄ_i ＝−８〜 −１ ：ｑ_i ＝−１ ｄ_i ＝−３０〜−９ ：ｑ_i ＝−２ ｄ_i ＝−６８〜−３１ ：ｑ_i ＝−３ ｄ_i ＝−２５５〜−６９：ｑ_i ＝−４D _i = 68 to 255: q _i = 4 d _i = 30 to 67: q _i = 3 d _i = 8 to 29: q _i = 2 d _i = 0 to 7: q _i = 1 d _i = -8 to -1: q _i = -1 d _i = -30 to -9: q _i = -2 d _i = -68 to -31: q _i = -3 d _i = -255 to -69: q _i = -4

【００３１】情報圧縮回路５により圧縮処理の行われた
データに基づいてクラス分割がなされる。すなわち、図
８中の補間画素を注目画素とした場合、参照画素のデー
タｘ₁ 〜ｘ₁₂をＡＤＲＣによりｐビットに圧縮した結果
の再量子化データをｑ₁ 〜ｑ₁₂で表すと、次の式（５）
を用いてクラス（ｃ）を算出する。The information compression circuit 5 divides the class based on the data compressed. That is, when the interpolation pixel in FIG. 8 is set as the pixel of interest, the requantized data obtained by compressing the data x _{1 to} x ₁₂ of the reference pixel to p bits by ADRC is represented by q ₁ to q ₁₂ , Formula (5)
Is used to calculate class (c).

【００３２】[0032]

【数１】 [Equation 1]

【００３３】上述のメモリ４には、予め学習により作成
された代表値が格納されている。図２は、学習時のハー
ドウエアの一例を示す。１１で示す入力端子から学習用
のディジタル画像信号が供給される。この入力信号とし
ては、異なる絵柄の静止画像信号を使用できる。１２が
サブサンプリング回路で構成される間引き回路である。
間引き回路１２の出力が時系列変換回路１３に供給さ
れ、上述のように、複数の参照画素のデータが同時化さ
れる。The above-mentioned memory 4 stores a representative value created in advance by learning. FIG. 2 shows an example of hardware during learning. A digital image signal for learning is supplied from an input terminal indicated by 11. As this input signal, still image signals having different patterns can be used. A thinning circuit 12 is composed of a sub-sampling circuit.
The output of the thinning circuit 12 is supplied to the time series conversion circuit 13, and the data of a plurality of reference pixels are synchronized as described above.

【００３４】時系列変換回路１３の出力信号が情報圧縮
回路１４に供給される。情報圧縮回路１４は、情報圧縮
回路５と同一のもの例えば上述のｐビットの再量子化デ
ータを発生するＡＤＲＣ符号化回路である。情報圧縮回
路１４の出力信号がクラスコード発生回路１５に供給さ
れ、式（５）に基づいて求められたクラスコードｃが発
生する。このクラスコードｃが度数メモリ１６およびデ
ータメモリ１７に対してアドレスとして供給される。こ
れらのメモリ１６、１７は、学習開始前では、クリアさ
れている。The output signal of the time series conversion circuit 13 is supplied to the information compression circuit 14. The information compression circuit 14 is the same as the information compression circuit 5, for example, an ADRC encoding circuit for generating the above-mentioned p-bit requantized data. The output signal of the information compression circuit 14 is supplied to the class code generation circuit 15, and the class code c obtained based on the equation (5) is generated. This class code c is supplied to the frequency memory 16 and the data memory 17 as an address. These memories 16 and 17 are cleared before learning is started.

【００３５】また、時系列変換回路１３の出力信号がダ
イナミックレンジ検出回路１８に供給され、ＡＤＲＣ符
号化処理の単位のブロックのダイナミックレンジＤＲが
検出される。この検出回路１８では、ブロックの最小値
ＭＩＮも検出される。最小値ＭＩＮが減算回路１９に供
給され、各画素の値から最小値ＭＩＮが除去される。Ｍ
ＩＮは、ブロックの基準値の一例である。基準値として
は、注目画素に近い位置のサンプリング点の画素レベ
ル、ブロック内の画素レベルの平均値等を採用できる。
この基準値をbaseと称する。基準値baseは、ブロック内
の画素のレベル分布にとっては、共通成分、すなわち、
冗長成分であり、基準値baseを除去することにより、レ
ベル方向の冗長度を除去できる。Further, the output signal of the time series conversion circuit 13 is supplied to the dynamic range detection circuit 18, and the dynamic range DR of the block of the ADRC encoding processing unit is detected. The detection circuit 18 also detects the minimum value MIN of the block. The minimum value MIN is supplied to the subtraction circuit 19, and the minimum value MIN is removed from the value of each pixel. M
IN is an example of the reference value of the block. As the reference value, a pixel level at a sampling point close to the pixel of interest, an average value of pixel levels in a block, or the like can be adopted.
This reference value is called base. The reference value base is a common component for the level distribution of pixels in the block, that is,
It is a redundant component, and the redundancy in the level direction can be removed by removing the reference value base.

【００３６】減算回路１９の出力信号およびダイナミッ
クレンジＤＲが正規化回路２０に供給される。正規化回
路２０では、入力値をｙとすると、（ｙ−base）／ＤＲ
の演算により入力データが正規化される。この正規化の
処理によって、画素の相対的レベルに注目することがで
き、従って、レベル方向の冗長度を除くことができる。
正規化回路２０の出力信号が加算回路２１を介して割算
器２３に被除数として供給され、割算器２３の出力信号
（割算の商）がデータメモリ１７の入力データとされ
る。The output signal of the subtraction circuit 19 and the dynamic range DR are supplied to the normalization circuit 20. In the normalization circuit 20, if the input value is y, (y-base) / DR
The input data is normalized by the calculation of. By this normalization process, it is possible to pay attention to the relative level of the pixel, and thus it is possible to remove the redundancy in the level direction.
The output signal of the normalization circuit 20 is supplied to the divider 23 as a dividend via the addition circuit 21, and the output signal (quotient of division) of the divider 23 is used as the input data of the data memory 17.

【００３７】度数メモリ１６の読出し出力が乗算器２２
および＋１回路２４に供給される。＋１回路２４の出力
が度数メモリ１６のデータ入力とされ、また、割算器２
３に除数として供給される。度数メモリ１６およびデー
タメモリ１７は、クラスコードｃでアドレスが指定され
ると、そのアドレスの内容が読出され、また、そのアド
レスに対して度数およびデータがそれぞれ書込まれる。
＋１回路２４によって、度数メモリ１６の各アドレスに
は、累積度数が記憶される。The output read from the frequency memory 16 is the multiplier 22.
And +1 circuit 24. The output of the +1 circuit 24 is used as the data input of the frequency memory 16, and the divider 2
It is supplied as a divisor to 3. When the address is designated by the class code c, the contents of the address are read out from the frequency memory 16 and the data memory 17, and the frequency and the data are respectively written to the address.
The +1 circuit 24 stores the cumulative frequency at each address of the frequency memory 16.

【００３８】図２の構成において、あるクラスコードｃ
が発生すると、そのクラスの累積度数ｎ（ｃ）と代表値
ｇ（ｃ）とが度数メモリ１６およびデータメモリ１７か
らそれぞれ読出され、乗算器２２で乗算される。従っ
て、乗算器２２からは、累積代表値が発生する。この累
積代表値と正規化回路２０からの現在の代表値とが加算
回路２１で加算される。加算結果が割算器２３に供給さ
れ、現在の代表値を考慮した代表値が形成され、これが
データメモリ１７に書込まれる。In the configuration of FIG. 2, a certain class code c
Occurs, the cumulative frequency n (c) and the representative value g (c) of the class are read from the frequency memory 16 and the data memory 17, respectively, and multiplied by the multiplier 22. Therefore, the cumulative representative value is generated from the multiplier 22. The cumulative representative value and the current representative value from the normalization circuit 20 are added by the addition circuit 21. The addition result is supplied to the divider 23, a representative value is formed in consideration of the current representative value, and the representative value is written in the data memory 17.

【００３９】すなわち、データメモリ１７に書込まれる
代表値ｇ（ｃ）´は、次の式（６）で算出されたもので
ある。 g(c)´＝｛(y−base）／DR＋n(c)×g(c)｝／n(c)＋１ （６）That is, the representative value g (c) 'written in the data memory 17 is calculated by the following equation (6). g (c) '= {(y-base) / DR + n (c) × g (c)} / n (c) +1 (6)

【００４０】この処理を入力される学習データに関して
繰り返すことにより、代表値の精度を高めることができ
る。入力画素データｙから基準値baseを減算し、さら
に、ダイナミックレンジＤＲにより正規化しているの
で、代表値のレベル方向の冗長度が少なくなる。その結
果、メモリ等の構成要素の規模が大きくなることを防止
することができる。データメモリ１７に格納された代表
値が図１中のメモリ４に格納され、補間値の作成のため
に使用される。By repeating this processing for the input learning data, the accuracy of the representative value can be improved. Since the reference value base is subtracted from the input pixel data y and further normalized by the dynamic range DR, the redundancy of the representative value in the level direction is reduced. As a result, it is possible to prevent the scale of components such as the memory from increasing. The representative value stored in the data memory 17 is stored in the memory 4 in FIG. 1 and used for creating the interpolation value.

【００４１】また、データメモリ１７内に、代表値の累
積値を格納することも可能である。この場合では、乗算
器２２を省略できる。さらに、検出されたダイナミック
レンジＤＲが比較器２５に供給され、しきい値Ｔｈと比
較される。比較器２５からは、ダイナミックレンジＤＲ
としきい値Ｔｈとの大小関係に応じた制御信号Ｓｃが発
生する。この制御信号Ｓｃが度数メモリ１６およびデー
タメモリ１７の制御に使用される。Further, it is possible to store the cumulative value of the representative values in the data memory 17. In this case, the multiplier 22 can be omitted. Further, the detected dynamic range DR is supplied to the comparator 25 and compared with the threshold Th. From the comparator 25, the dynamic range DR
A control signal Sc is generated according to the magnitude relationship between the threshold value Th and the threshold value Th. This control signal Sc is used to control the frequency memory 16 and the data memory 17.

【００４２】すなわち、検出されたダイナミックレンジ
ＤＲがしきい値Ｔｈより小さい時には、制御信号Ｓｃに
よって、度数メモリ１６およびデータメモリ１７の読出
し動作および書込み動作が禁止される。これは、ダイナ
ミックレンジＤＲが小さいブロックに関しては、ノイズ
による影響が大きいので、学習対象からそのようなブロ
ックのデータを除外するための処理である。制御信号Ｓ
ｃによって、メモリを制御するのに限らず、クラスコー
ド発生回路１５を制御して、例えば存在しないクラスコ
ードを発生することによって、実質的に上述と同様の処
理を行っても良い。That is, when the detected dynamic range DR is smaller than the threshold value Th, the control signal Sc inhibits the read operation and the write operation of the frequency memory 16 and the data memory 17. This is a process for excluding the data of such a block from the learning target, because the influence of noise is great for the block having a small dynamic range DR. Control signal S
Not only is the memory controlled by c, but the class code generation circuit 15 may be controlled to generate a class code that does not exist, thereby performing substantially the same processing as described above.

【００４３】図２は、学習のためのハードウエア構成を
示しているが、図３のフローチャートに示すように、ソ
フトウェア処理で学習を行うこともできる。ステップ３
１から学習処理の制御が開始され、ステップ３２の学習
データ形成では、既知の画像に対応した学習データが形
成される。具体的には、上述したように、図８に示すよ
うに、注目補間画素の実データとその周囲の画素ａ〜ｌ
のデータを一組の学習データとする。また、このステッ
プ３２では、ブロックのダイナミックレンジＤＲが所定
のしきい値より小さいものは、学習データとして扱わな
い処理もなされる。ステップ３３のデータ終了では、入
力された全データ例えば１フレームのデータの処理が終
了していれば、ステップ３６の代表値決定へ、終了して
いなければ、ステップ３４のクラス決定へ制御が移る。Although FIG. 2 shows the hardware configuration for learning, learning can also be performed by software processing as shown in the flowchart of FIG. Step 3
The control of the learning process is started from 1, and in the learning data formation of step 32, learning data corresponding to a known image is formed. Specifically, as described above, as shown in FIG. 8, the actual data of the interpolation pixel of interest and the surrounding pixels a to l
The data of is a set of learning data. Further, in this step 32, a process in which the dynamic range DR of the block is smaller than a predetermined threshold value is not treated as learning data is also performed. At the end of the data in step 33, if the processing of all the input data, for example, the data of one frame is completed, the control is moved to the representative value determination in step 36, and if not, the control is moved to the class determination in step 34.

【００４４】ステップ３４のクラス決定では、入力され
た学習データのクラス分割がなされる。これは、上述の
ように、ＡＤＲＣ、ＤＰＣＭ等によって、情報量が圧縮
された参照画素のデータが用いられる。ステップ３５の
正規化では、ブロック内の基準値baseの除去とダイナミ
ックレンジＤＲによる正規化の処理がなされる。In the class determination in step 34, the input learning data is divided into classes. For this, as described above, the data of the reference pixel whose information amount is compressed by ADRC, DPCM, etc. is used. In the normalization of step 35, the standard value base in the block is removed and the normalization processing by the dynamic range DR is performed.

【００４５】ステップ３３のデータ終了から全データの
処理が終了後、制御がステップ３６に移り、ステップ３
６の代表値決定では、過去の累積値と現在の正規化され
た値とを加算し、累積度数でこの加算結果を除算するこ
とで、代表値が決定される。この代表値がステップ３７
において、メモリにストアされ、ステップ３８で学習処
理の制御が終了する。After the processing of all the data is completed from the end of the data in step 33, the control proceeds to step 36, and step 3
In the determination of the representative value of 6, the representative value is determined by adding the past cumulative value and the current normalized value and dividing the addition result by the cumulative frequency. This representative value is used in step 37.
At, the data is stored in the memory, and the control of the learning process ends in step 38.

【００４６】以上の一実施例では、学習により決定され
る代表値は、ブロックの基準値baseを除去した値をダイ
ナミックレンジＤＲで正規化したものであった。これに
限らず、線形１次結合の係数を学習により決定し、メモ
リに格納するようにしても良い。以下に、この係数を使
用するこの発明の他の実施例について説明する。間引き
画素を補間するための図１の構成は、メモリ４中に係数
が格納されていることを除けば、他の実施例でも同様で
ある。従って、学習によって係数の決定する処理につい
て以下に説明する。In the above-described embodiment, the representative value determined by learning is a value obtained by removing the reference value base of the block and normalizing it with the dynamic range DR. Not limited to this, the coefficient of the linear linear combination may be determined by learning and stored in the memory. Another embodiment of the present invention using this coefficient will be described below. The configuration of FIG. 1 for interpolating the thinned pixels is the same as in the other embodiments except that the coefficient is stored in the memory 4. Therefore, the process of determining the coefficient by learning will be described below.

【００４７】図４は、学習をソフトウェア処理で行う時
のその動作を示すフローチャートである。ステップ４１
から学習処理の制御が開始され、ステップ４２の学習デ
ータ形成では、既知の画像に対応した学習データが形成
される。具体的には、上述したように、図８の画素の配
列を使用できる。ここでも、ダイナミックレンジＤＲが
しきい値より小さいものは、学習データとして扱わない
制御がなされる。ステップ４３のデータ終了では、入力
された全データ例えば１フレームのデータの処理が終了
していれば、ステップ４６の予測係数決定へ、終了して
いなければ、ステップ４４のクラス決定へ制御が移る。FIG. 4 is a flowchart showing the operation when learning is performed by software processing. Step 41
The control of the learning process is started from, and in the learning data formation in step 42, learning data corresponding to a known image is formed. Specifically, the array of pixels of FIG. 8 can be used, as described above. Here, too, control is performed so that the dynamic range DR smaller than the threshold value is not treated as learning data. At the end of the data in step 43, if the processing of all the input data, for example, one frame of data has been completed, the control proceeds to the prediction coefficient determination of step 46, and if not completed, the control proceeds to the class determination of step 44.

【００４８】ステップ４４のクラス決定は、上述の一実
施例と同様のステップである。ステップ１５の正規方程
式加算では、後述する式（１２）および（１３）の正規
方程式が作成される。The class determination in step 44 is the same step as in the above-described embodiment. In the normal equation addition in step 15, normal equations of equations (12) and (13) described later are created.

【００４９】ステップ４３のデータ終了から全データの
処理が終了後、制御がステップ４６に移り、ステップ４
６の予測係数決定では、後述する式（１４）を行列解法
を用いて解いて、予測係数を決める。ステップ４７の予
測係数ストアで、予測係数をメモリにストアし、ステッ
プ４８で学習処理の制御が終了する。After the processing of all the data is completed from the end of the data in step 43, the control proceeds to step 46, and step 4
In the prediction coefficient determination of No. 6, the prediction coefficient is determined by solving the equation (14) described later using the matrix solution method. The prediction coefficient is stored in the memory by the prediction coefficient store in step 47, and the control of the learning process ends in step 48.

【００５０】図４中のステップ４５（正規方程式生成）
およびステップ４６（予測係数決定）の処理をより詳細
に説明する。注目画素の真値をｙとし、その推定値をｙ
´とし、その周囲の画素の値をｘ₁ 〜ｘ_n としたとき、
クラス毎に係数ｗ₁ 〜ｗ_n によるｎタップの線形１次結
合 ｙ´＝ｗ₁ ｘ₁ ＋ｗ₂ ｘ₂ ＋‥‥＋ｗ_n ｘ_n （７） を設定する。学習前はｗ_i が未定係数である。Step 45 in FIG. 4 (normal equation generation)
The process of step 46 (determination of prediction coefficient) will be described in more detail. Let y be the true value of the pixel of interest and y be its estimated value.
′ And the values of the surrounding pixels are x ₁ to x _n ,
Linear 1 of n tap according to the coefficient w ₁ to w _n for each class linear combination _{y'= w 1 x 1 + w} 2 x 2 + ‥‥ + w n x set _n (7). Before learning, w _i is an undetermined coefficient.

【００５１】上述のように、学習はクラス毎になされ、
データ数がｍの場合、式（７）に従って、 ｙ_j ´＝ｗ₁ ｘ_j1＋ｗ₂ ｘ_j2＋‥‥＋ｗ_n ｘ_jn （８） （但し、ｊ＝１，２，‥‥ｍ）As mentioned above, learning is done for each class,
When the number of data is m, y _j ′ = w ₁ x _j1 + w ₂ x _j2 + ... + w _n x _jn (8) (where j = 1, 2, ...

【００５２】ｍ＞ｎの場合、ｗ₁ 〜ｗ_n は一意には決ま
らないので、誤差ベクトルＥの要素を ｅ_j ＝ｙ_j −（ｗ₁ ｘ_j1＋ｗ₂ ｘ_j2＋‥‥＋ｗ_n ｘ_jn） （９） （但し、ｊ＝１，２，‥‥ｍ）と定義して、次の式（１
０）を最小にする係数を求める。When m> n, w _{1 to} w _n are not uniquely determined, so the elements of the error vector E are e _j = y _j − (w ₁ x _j1 + w ₂ x _j2 + ... + w _n x _jn ) (9) (where j = 1, 2, ...
Find the coefficient that minimizes 0).

【００５３】[0053]

【数２】 [Equation 2]

【００５４】いわゆる最小自乗法による解法である。こ
こで式４のｗ_i による偏微分係数を求める。This is a so-called least squares method. Here, the partial differential coefficient by w _i of Expression 4 is obtained.

【００５５】[0055]

【数３】 [Equation 3]

【００５６】式（１１）を０にするように各ｗ_i を決め
ればよいから、Since each w _i may be determined so that the equation (11) becomes 0,

【００５７】[0057]

【数４】 [Equation 4]

【００５８】として、行列を用いるとIf a matrix is used as

【００５９】[0059]

【数５】 [Equation 5]

【００６０】となる。この方程式は一般に正規方程式と
呼ばれている。この方程式を掃き出し法等の一般的な行
列解法を用いて、ｗ_i について解けば、予測係数ｗ_i が
求まり、クラスコードをアドレスとして、この予測係数
ｗ_i をメモリに格納しておく。It becomes This equation is generally called a normal equation. If this equation is solved for w _i using a general matrix solution method such as a sweeping method, the prediction coefficient w _i is obtained, and this prediction coefficient w _i is stored in the memory using the class code as an address.

【００６１】なお、クラス分けのために、参照画素の値
をそのまま使用することも可能である。また、情報圧縮
手段としては、ＶＱ（ベクトル量子化）も使用できる。
さらに、情報圧縮回路５によって、参照画素を同一のビ
ット数のデータに変換しているが、注目画素と参照画素
との間の距離を考慮して、割り当てビット数を異ならせ
ても良い。すなわち、注目画素により近い参照画素の割
り当てビット数がそれが遠いもののビット数より多くさ
れる。It is also possible to use the value of the reference pixel as it is for classifying. VQ (vector quantization) can also be used as the information compression means.
Further, although the reference pixel is converted into the data having the same number of bits by the information compression circuit 5, the number of allocated bits may be changed in consideration of the distance between the pixel of interest and the reference pixel. That is, the number of allocated bits of the reference pixel closer to the pixel of interest is made larger than the number of bits of the farther pixel.

【００６２】[0062]

【発明の効果】この発明は、ダイナミックレンジＤＲで
正規化された値を代表値としているので、レベルそのも
のを代表値とするのと比して、メモリの容量の削減、ハ
ードウエアの小規模化を達成できる。また、学習時に、
ダイナミックレンジがしきい値より小さいブロックのデ
ータを学習対象から除外しているので、精度の高い代表
値を生成できる。According to the present invention, since the value normalized by the dynamic range DR is used as the representative value, the memory capacity is reduced and the hardware is reduced in scale as compared with the level itself being the representative value. Can be achieved. Also, when learning,
Since the data of the block whose dynamic range is smaller than the threshold value is excluded from the learning target, a highly accurate representative value can be generated.

【００６３】また、この発明によるサブサンプリング信
号補間装置は、本来の信号成分を減少させることなく、
折返し歪を除去することができ、また、予め学習で決定
された正確な推定値で補間することが可能である。Further, the sub-sampling signal interpolating device according to the present invention can reduce the original signal component,
The aliasing distortion can be removed, and interpolation can be performed with an accurate estimated value determined by learning in advance.

【図面の簡単な説明】[Brief description of drawings]

【図１】この発明をサブサンプリング信号補間装置に対
して適用した一実施例のブロック図である。FIG. 1 is a block diagram of an embodiment in which the present invention is applied to a sub-sampling signal interpolation device.

【図２】この発明における代表値を決定するするための
学習時の構成の一例のブロック図である。FIG. 2 is a block diagram of an example of a configuration at the time of learning for determining a representative value according to the present invention.

【図３】代表値を決定するするための学習をソフトウェ
ア処理で行う時のフローチャートである。FIG. 3 is a flowchart when learning for determining a representative value is performed by software processing.

【図４】代表値としての係数を求めるための学習をソフ
トウェア処理で行う時のフローチャートである。FIG. 4 is a flowchart when learning for obtaining a coefficient as a representative value is performed by software processing.

【図５】２次元のオフセットサブサンプリングの構造を
示す略線図である。FIG. 5 is a schematic diagram showing a structure of two-dimensional offset subsampling.

【図６】２次元オフセットサブサンプリングにより伝送
可能な帯域の空間周波数スペクトルを示す略線図であ
る。FIG. 6 is a schematic diagram showing a spatial frequency spectrum of a band that can be transmitted by two-dimensional offset subsampling.

【図７】補間処理を示す略線図である。FIG. 7 is a schematic diagram showing interpolation processing.

【図８】学習データの一例を示す略線図である。FIG. 8 is a schematic diagram illustrating an example of learning data.

【図９】クラス分けに使用されるＡＤＲＣを説明するた
めの略線図である。FIG. 9 is a schematic diagram for explaining ADRC used for classification.

【図１０】ＡＤＲＣの動作を説明するための略線図であ
る。FIG. 10 is a schematic diagram for explaining the operation of ADRC.

【符号の説明】[Explanation of symbols]

３ 補間演算回路 ４ 代表値が格納されたメモリ ５ 情報圧縮回路 １６ 度数メモリ １７ データメモリ １８ ダイナミックレンジ検出回路 ２０ 正規化回路 3 Interpolation calculation circuit 4 Memory that stores representative values 5 Information compression circuit 16 degree memory 17 data memory 18 Dynamic range detection circuit 20 Normalization circuit

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平５−167992（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 7/01 ─────────────────────────────────────────────────── ─── Continuation of the front page (56) Reference JP-A-5-167992 (JP, A) (58) Fields investigated (Int.Cl. ⁷ , DB name) H04N 7/01

Claims (6)

(57)【特許請求の範囲】(57) [Claims] 【請求項１】 画素を作成するディジタル画像信号処理
装置において、 作成される注目画素と局所的相関を有する複数の参照画
素によって上記注目画素のクラスを決定するためのクラ
ス分類手段と、 上記注目画素の値を生成するために、予め学習により獲
得された上記クラス毎の代表値が格納されたメモリ手段
と、 上記代表値に基づいて推定値を生成する推定値生成手段
とを備え、上記学習を行う時に、 作成すべき注目画素と局所的相関を有する 学習用画像中
の複数の参照画素によってブロックを生成すると共に、
上記複数の参照画素によって上記注目画素のクラスを決
定し、 上記注目画素の画素の値と上記ブロックの基準値との差
分値を、上記ブロック内のダイナミックレンジによって
正規化し、上記クラス毎に、上記正規化された値の累積値と累積度
数を求め、 上記累積値を上記累積度数で除した値を上記
代表値として求め、 上記ダイナミックレンジがしきい値より小さいブロック
のデータを学習対象から除外する ようにしたディジタル
画像信号処理装置。1. A digital image signal processing device for creating pixels , wherein a plurality of reference images having local correlation with the created pixel of interest .
A class classification means for determining the class of the pixel of interest by a prime, a memory means for storing a representative value for each class acquired in advance by learning in order to generate the value of the pixel of interest, and the representative An estimated value generating means for generating an estimated value based on a value, and when performing the learning , generate a block by a plurality of reference pixels in a learning image having a local correlation with a target pixel to be created, and
The class of the target pixel is determined by the plurality of reference pixels.
Constant, and a difference value between the reference value of the value and the block of pixels of the pixel of interest, normalized by a dynamic range in the block, for each of the classes, the accumulated value and the accumulated degree of the normalized value
Calculated by determining the number, determine the value of the upper Kirui product values obtained by dividing by the cumulative frequency as the representative value, the dynamic range is smaller than the threshold block
A digital image signal processing device that excludes the data from the learning target . 【請求項２】 請求項１に記載のディジタル画像信号処
理装置において、 上記クラス分類手段は、参照画素の値をそのまま使用す
るようにしたディジタル画像信号処理装置。2. The digital image signal processing device according to claim 1, wherein the class classification means uses the value of the reference pixel as it is. 【請求項３】 請求項１に記載のディジタル画像信号処
理装置において、 上記クラス分類手段は、参照画素をＡＤＲＣ符号化する
ことによってそのビット数が圧縮されたものを使用する
ようにしたディジタル画像信号処理装置。3. The digital image signal processing device according to claim 1, wherein the class classification means uses a reference pixel whose number of bits is compressed by ADRC encoding the reference pixel. Processing equipment. 【請求項４】 請求項１に記載のディジタル画像信号処
理装置において、 上記クラス分類手段は、参照画素をＤＰＣＭ符号化する
ことによってそのビット数が圧縮されたものを使用する
ようにしたディジタル画像信号処理装置。4. The digital image signal processing apparatus according to claim 1, wherein the class classification means uses a reference pixel whose bit number is compressed by DPCM coding. Processing equipment. 【請求項５】 請求項１に記載のディジタル画像信号処
理装置において、 上記クラス分類手段は、参照画素をＢＴＣＭ符号化する
ことによってそのビット数が圧縮されたものを使用する
ようにしたディジタル画像信号処理装置。5. The digital image signal processing apparatus according to claim 1, wherein the class classification means uses a reference pixel whose bit number is compressed by BTCM encoding. Processing equipment. 【請求項６】 画素を作成するディジタル画像信号処理
方法であって、 作成される注目画素と局所的相関を有する複数の参照画
素によって上記注目画素のクラスを決定するステップ
と、 上記注目画素の値を生成するために、予め学習により獲
得された上記クラス毎の代表値が格納されており、上記
代表値に基づいて推定値を生成するステップとからな
り、 上記学習を行う時に、 作成すべき注目画素と局所的相関を有する 学習用画像中
の複数の参照画素によってブロックを生成すると共に、
上記複数の参照画素によって上記注目画素のクラスを決
定し、 上記注目画素の画素の値と上記ブロックの基準値との差
分値を、上記ブロック内のダイナミックレンジによって
正規化し、上記クラス毎に、上記正規化された値の累積値と累積度
数を求め、 上記累積値を上記累積度数で除した値を上記
代表値として求め、 上記ダイナミックレンジがしきい値より小さいブロック
のデータを学習対象から除外する ようにしたディジタル
画像信号処理方法。6. A digital image signal processing method for producing pixels , comprising a plurality of reference images having local correlation with the produced pixel of interest .
Step for determining the class of the pixel of interest by the prime
When, from to generate a value of the pixel of interest, learned in advance are typical values for each of the classes obtained is stored by a step of generating an estimate based on the representative value
Therefore, when performing the above learning, a block is generated by a plurality of reference pixels in the learning image that has a local correlation with the pixel of interest to be created , and
The class of the target pixel is determined by the plurality of reference pixels.
Constant, and a difference value between the reference value of the value and the block of pixels of the pixel of interest, normalized by a dynamic range in the block, for each of the classes, the accumulated value and the accumulated degree of the normalized value
Calculated by determining the number, determine the value of the upper Kirui product values obtained by dividing by the cumulative frequency as the representative value, the dynamic range is smaller than the threshold block
A digital image signal processing method that excludes the data from the learning target .