JP3371159B2 - Digital image signal processing apparatus and processing method - Google Patents
Digital image signal processing apparatus and processing methodInfo
- Publication number
- JP3371159B2 JP3371159B2 JP20866093A JP20866093A JP3371159B2 JP 3371159 B2 JP3371159 B2 JP 3371159B2 JP 20866093 A JP20866093 A JP 20866093A JP 20866093 A JP20866093 A JP 20866093A JP 3371159 B2 JP3371159 B2 JP 3371159B2
- Authority
- JP
- Japan
- Prior art keywords
- value
- pixel
- learning
- interest
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【0001】[0001]
【発明の属する技術分野】この発明は、空間的および/
または時間的に近傍に存在する複数の画素を使用して注
目画素の値を作成することを必要とするディジタル画像
信号処理装置および処理方法、例えばサブサンプリング
信号を受け取って、間引き画素を補間するディジタル画
像信号処理装置および処理方法に関する。TECHNICAL FIELD The present invention relates to spatial and / or spatial
Alternatively, a digital image signal processing apparatus and a processing method that requires creating a value of a pixel of interest using a plurality of pixels that are temporally close to each other, for example, a digital image signal receiving sub-sampling signal and interpolating a thinned pixel The present invention relates to an image signal processing device and a processing method .
【0002】[0002]
【従来の技術】ディジタル画像信号を記録したり、伝送
する際の帯域圧縮あるいは情報量削減のための一つの方
法として、画素をサブサンプリングによって間引くこと
によって、伝送データ量を減少させるものがある。その
一例は、MUSE方式における多重サブナイキストサン
プリングエンコーディング方式である。このシステムで
は、受信側で間引かれ、非伝送の画素を補間する必要が
ある。また、入力される標準精細度のビデオ信号を高精
細度のビデオへ変換するアップコンバージョンも提案さ
れている。この場合には、不足している画素を標準精細
度の信号から作成する必要がある。さらに、画像を電子
的に拡大する時には、不足する画素の値の補間を必要と
する。これらのものに限らず、シーンチェンジ検出、D
PCM等では、周辺の画素の値から注目画素の推定値を
作成する技術が適用可能である。2. Description of the Related Art As one method for band compression or information amount reduction when recording or transmitting a digital image signal, there is a method of reducing the amount of transmission data by thinning out pixels by subsampling. One example is the multiple sub-Nyquist sampling encoding method in the MUSE method. In this system, it is necessary to interpolate non-transmitted pixels that have been decimated on the receiving side. In addition, up-conversion that converts an input standard definition video signal into a high definition video has also been proposed. In this case, it is necessary to create the missing pixels from the standard definition signal. Furthermore, when the image is electronically magnified, interpolation of missing pixel values is required. Not limited to these, scene change detection, D
In PCM or the like, a technique of creating an estimated value of a pixel of interest from values of surrounding pixels can be applied.
【0003】サブサンプリングの一例としてオフセット
サブサンプリングが知られている。2次元のオフセット
サブサンプリングの一例を図5に示す。水平方向(x方
向)と垂直方向(y方向)とのサンプリング間隔(T
x,Ty)を原信号における画素間隔(Hx,Hy)の
2倍に設定し、1画素おきに間引く(間引き画素を×で
示す)とともに、垂直方向に隣合うサンプリング点(○
で示す)をサンプリング間隔の半分(Tx/2)だけオ
フセットするものである。このようなオフセットサブサ
ンプリングを行うことによる伝送帯域は、図6に示すよ
うに、斜め方向の空間周波数に対して水平あるいは垂直
方向の空間周波数成分を広帯域化することができる。Offset subsampling is known as an example of subsampling. An example of two-dimensional offset subsampling is shown in FIG. The sampling interval (T) in the horizontal direction (x direction) and the vertical direction (y direction)
(x, Ty) is set to twice the pixel interval (Hx, Hy) in the original signal, every other pixel is thinned out (thinned pixels are indicated by x), and sampling points adjacent to each other in the vertical direction (○)
(Shown by) is offset by half the sampling interval (Tx / 2). As shown in FIG. 6, the transmission band obtained by performing such offset sub-sampling can widen the horizontal or vertical spatial frequency component with respect to the diagonal spatial frequency.
【0004】また、オフセットサブサンプリングされた
画像信号をモニタに表示したり、プリントアウトする場
合には、図7に示すように、間引き画素を隣接画素から
補間する必要がある。この補間処理は、図6に示す斜線
領域の周波数成分を通過させるとともに、折返し点Aを
含む領域の周波数成分の通過を阻止する空間フィルタと
して機能するものであり、この補間処理は、サンプリン
グ理論上では後置フィルタとして位置付けられる。When the offset sub-sampled image signal is displayed on the monitor or printed out, it is necessary to interpolate the thinned pixel from the adjacent pixel as shown in FIG. This interpolation process functions as a spatial filter that allows the frequency components in the shaded region shown in FIG. 6 to pass and blocks the frequency components in the region including the folding point A, and this interpolation process is based on sampling theory. Is positioned as a post filter.
【0005】ところで、上述のようなオフセットサブサ
ンプリングは、サンプリングの前の前置フィルタが正し
くフィルタリング処理を行っている場合には、非常に有
効な方法であるが、例えばハードウエア上の制約によっ
て前置フィルタを充分にかけられない場合や、伝送帯域
の広帯域化をはかるために前置フィルタを充分にかけな
い場合等では、折返し歪の発生による画質劣化という問
題が生じる。By the way, the offset sub-sampling as described above is a very effective method when the pre-filter before sampling correctly performs the filtering process. If the pre-filter cannot be applied sufficiently, or if the pre-filter is not applied sufficiently to widen the transmission band, the problem of image quality deterioration due to aliasing distortion occurs.
【0006】上述の折返し歪の発生を軽減するために、
適応補間方法が提案されている。これは、サブサンプリ
ングされた画像信号に対して補間処理を行う際に、補間
画素の周辺の相関の強い方向を検出し、この検出結果に
応じて、複数の異なった補間手段を選択的に用いるもの
である。In order to reduce the occurrence of the above-mentioned folding distortion,
Adaptive interpolation methods have been proposed. This is because when performing interpolation processing on a sub-sampled image signal, a direction with strong correlation around an interpolation pixel is detected, and a plurality of different interpolation means are selectively used according to the detection result. It is a thing.
【0007】[0007]
【発明が解決しようとする課題】上述の適応型補間方法
においては、個々の補間手段の能力と、どの補間手段を
用いるかを選択する判定の精度が補間装置の性能を決定
する。すなわち、個々の補間手段の能力が充分でなく、
適切な補間ができない場合や、誤判定が発生する確立が
高く誤検出に基づく補間処理を行ってしまう場合等で
は、本来の信号成分を減少させるばかりか、逆に折返し
歪を増大させてしまうという問題点があった。In the above-mentioned adaptive interpolation method, the performance of the interpolating device is determined by the capability of the individual interpolating means and the accuracy of the determination for selecting which interpolating means to use. That is, the ability of each interpolation means is not sufficient,
When proper interpolation cannot be performed, or when an erroneous determination occurs with high probability and interpolation processing is performed based on erroneous detection, not only the original signal component is reduced, but also the aliasing distortion is increased. There was a problem.
【0008】さらに、注目画素の値を作成する時には、
従来では、固定タップ、固定係数の補間フィルタを使用
するのが普通であった。補間フィルタにより非伝送画素
を補間する処理は、ある種の画像に対して有効であって
も、動きのある画像や静止画像等の多種多様な種類の画
像に関して、全体的に補間処理が効果的に発揮されると
はと限らない。その結果として、伝送画素および補間画
素で構成される復元画像中に、「ぼけ」、動きの不自然
さである「ジャーキネス」等が発生する問題があった。Further, when creating the value of the pixel of interest,
In the past, it was common to use fixed tap, fixed coefficient interpolation filters. Although the process of interpolating non-transmitted pixels by the interpolation filter is effective for a certain type of image, the interpolation process is generally effective for various types of images such as moving images and still images. It is not always the case. As a result, there is a problem that "blurring", "jerkiness" that is unnatural motion, and the like occur in the restored image composed of transmission pixels and interpolation pixels.
【0009】この問題を解決する一つの方法として、本
願出願人の提案による特開昭63−48088号公報に
は、注目画素の値をその周辺の画素と係数の線形1次結
合で表し、誤差の二乗和が最小となるように、注目画素
の実際の値を使用して最小二乗法によりこの係数の値を
決定するものが提案されている。ここでは、線形1次結
合の係数を予め学習によって決定し、決定係数がメモリ
に格納されている。さらに、注目画素を補間する時に、
周辺の参照画素の平均値を計算し、平均値と各画素の値
との大小関係に応じて、各画素を1ビットで表現し、
(参照画素数×1ビット)のパターンに応じたクラス分
けを行い、注目画素を含む画像の局所的特徴を反映した
補間値を形成している。As one method for solving this problem, Japanese Patent Laid-Open No. 63-48088 proposed by the applicant of the present application describes the value of a pixel of interest by a linear linear combination of pixels around it and a coefficient, and It has been proposed to determine the value of this coefficient by the method of least squares using the actual value of the pixel of interest so that the sum of squares of is minimized. Here, the coefficient of the linear linear combination is previously determined by learning, and the coefficient of determination is stored in the memory. Furthermore, when interpolating the pixel of interest,
The average value of the surrounding reference pixels is calculated, and each pixel is represented by 1 bit according to the magnitude relationship between the average value and the value of each pixel,
The classification is performed according to the pattern of (the number of reference pixels × 1 bit), and the interpolated value reflecting the local feature of the image including the target pixel is formed.
【0010】係数をメモリに格納しておく場合、線形1
次結合のタップ数によっては、係数の個数が多くなり、
係数メモリの容量が増大する問題がある。また、学習時
に、ノイズの影響を受けると、決定された係数の精度が
低い問題がある。When the coefficient is stored in the memory, linear 1
Depending on the number of taps of the secondary combination, the number of coefficients increases,
There is a problem that the capacity of the coefficient memory increases. Further, when learning is affected by noise, the accuracy of the determined coefficient is low.
【0011】従って、この発明の一つの目的は、複数個
の係数を記憶する必要がなく、係数メモリが大規模とな
ることを防止できるディジタル画像信号処理装置および
処理方法を提供するものである。Accordingly, one object of this invention, it is not necessary to store a plurality of coefficients, the digital image signal can be prevented from coefficient memory becomes large processor and
It provides a processing method .
【0012】この発明の他の目的は、学習時に、ノイズ
の影響が軽減され、高精度の予測値または予測係数を作
成することが可能なディジタル画像信号処理装置および
処理方法を提供することにある。Another object is of the present invention, at the time of learning, the influence of noise is reduced, the digital image signal processing apparatus and capable of creating a predicted value or coefficient of precision
It is to provide a processing method .
【0013】[0013]
【課題を解決するための手段】請求項1記載の発明は、
画素を作成するディジタル画像信号処理装置において、
作成される注目画素と局所的相関を有する複数の参照画
素によって注目画素のクラスを決定するためのクラス分
類手段と、注目画素の値を生成するために、予め学習に
より獲得されたクラス毎の代表値が格納されたメモリ手
段と、代表値に基づいて推定値を生成する推定値生成手
段とを備え、学習を行う時に、 作成すべき注目画素と局
所的相関を有する学習用画像中の複数の参照画素によっ
てブロックを生成すると共に、複数の参照画素によって
注目画素のクラスを決定し、注目画素の画素の値とブロ
ックの基準値との差分値を、ブロック内のダイナミック
レンジによって正規化し、クラス毎に、正規化された値
の累積値と累積度数を求め、累積値を累積度数で除した
値を代表値として求め、 ダイナミックレンジがしきい値
より小さいブロックのデータを学習対象から除外するよ
うにしたディジタル画像信号処理装置である。The invention according to claim 1 is
In a digital image signal processing device for creating pixels,
Multiple reference images that have local correlation with the pixel of interest created
Based on the representative value, a class classification means for determining the class of the pixel of interest by the prime, a memory means storing a representative value for each class acquired in advance in order to generate the value of the pixel of interest, and the representative value. Estimated value generating means for generating an estimated value is provided, and a pixel of interest and a station to be created at the time of learning.
By using multiple reference pixels in the training image with local correlation,
To generate a block Te, a plurality of reference pixels
Determine the class of the subject pixel, a difference value between the reference value of the value and the block of pixels of the pixel of interest, normalized by a dynamic range in the block, for each class, the normalized value
Obtains a cumulative value and the cumulative frequency, obtains a value obtained by dividing the cumulative value in the cumulative frequency as a representative value, the dynamic range threshold
A digital image signal processing device for excluding data of a smaller block from a learning target .
【0014】請求項6記載の発明は、画素を作成するデ
ィジタル画像信号処理方法であって、作成される注目画
素と局所的相関を有する複数の参照画素によって注目画
素のクラスを決定するステップと、注目画素の値を生成
するために、予め学習により獲得されたクラス毎の代表
値が格納されており、代表値に基づいて推定値を生成す
るステップとからなり、 学習を行う時に、 作成すべき注
目画素と局所的相関を有する学習用画像中の複数の参照
画素によってブロックを生成すると共に、複数の参照画
素によって注目画素のクラスを決定し、注目画素の画素
の値とブロックの基準値との差分値を、ブロック内のダ
イナミックレンジによって正規化し、クラス毎に、正規
化された値の累積値と累積度数を求め、累積値を累積度
数で除した値を代表値として求め、 ダイナミックレンジ
がしきい値より小さいブロックのデータを学習対象から
除外するようにしたディジタル画像信号処理方法であ
る。According to a sixth aspect of the present invention, there is provided a digital image signal processing method for creating a pixel, wherein the class of the target pixel is determined by a plurality of reference pixels having a local correlation with the created target pixel . to generate the values of the pixel of interest, is stored representative values for each are acquired class in advance by learning, consists of a step of generating an estimate based on the representative value, when performing the learning to be created note
Multiple References in Learning Image with Local Correlation with Eye Pixels
To generate a block by the pixel, to determine the class of the subject pixel by a plurality of reference pixels, a difference value between the reference value of the value and the block of pixels of the pixel of interest, normalized by a dynamic range in the block, for each class ,regular
Obtains a cumulative value and the cumulative frequency of reduction values, obtains a value obtained by dividing the cumulative value in the cumulative frequency as a representative value, the dynamic range
Data of a block whose
This is a digital image signal processing method so as to be excluded .
【0015】さらに、請求項3記載の発明は、上述のデ
ィジタル画像信号処理装置において、学習時に、アクテ
ィビィティーが低い領域のデータを学習対象から除外す
るようにしたディジタル画像信号処理装置である。Further, the invention according to claim 3 is the digital image signal processing device according to the above-mentioned digital image signal processing device, wherein data of a region having a low activity is excluded from a learning target during learning.
【0016】学習によって、予測値を予め作成する時
に、ダイナミックレンジで正規化された値を用いるの
で、予測値を格納するメモリの規模が大きくなることを
防止することができる。また、学習時に、ダイナミック
レンジがしきい値より小さいブロックのデータを除外す
る。これによって、ノイズの影響を受けて、作成された
予測値の精度が低下することが防止できる。Since a value normalized by the dynamic range is used when the predicted value is created in advance by learning, it is possible to prevent the scale of the memory for storing the predicted value from increasing. Further, at the time of learning, data of blocks whose dynamic range is smaller than the threshold value are excluded. As a result, it is possible to prevent the accuracy of the created predicted value from being lowered due to the influence of noise.
【0017】[0017]
【実施例】以下、この発明をサブサンプリング信号補間
装置に対して適用した一実施例について説明する。図1
において、1は、オフセットサブサンプリングされたデ
ィジタル画像信号の入力端子である。具体的には、放送
などによる伝送、VTR等からの再生信号が入力端子1
に供給される。2は、入力信号をブロック構造の信号に
変換するための時系列変換回路である。DESCRIPTION OF THE PREFERRED EMBODIMENTS An embodiment in which the present invention is applied to a subsampling signal interpolating device will be described below. Figure 1
In the figure, reference numeral 1 is an input terminal for an offset sub-sampled digital image signal. Specifically, the transmission by broadcasting or the reproduction signal from the VTR is input terminal 1
Is supplied to. Reference numeral 2 is a time series conversion circuit for converting an input signal into a block structure signal.
【0018】時系列変換回路2の出力信号が補間演算回
路3および情報圧縮回路5に供給される。補間演算回路
3には、後述のように予め学習により獲得された代表値
が格納されているメモリ4が接続されている。この代表
値は、間引き画素の補間値を正確に推定するための値で
ある。The output signal of the time series conversion circuit 2 is supplied to the interpolation calculation circuit 3 and the information compression circuit 5. The interpolation calculation circuit 3 is connected to a memory 4 in which representative values acquired by learning in advance are stored as described later. This representative value is a value for accurately estimating the interpolation value of the thinned pixels.
【0019】情報圧縮回路5の出力信号がクラスコード
発生回路6に供給され、これよりクラスコードが発生す
る。補間の対象である、注目画素を含むブロックの画素
データが情報圧縮回路5によって圧縮される。情報圧縮
回路5の出力データに基づいて、そのブロックの2次元
的なレベル分布のパターン、すなわち、クラスが決定さ
れる。このクラスを指示するクラスコードが形成され
る。The output signal of the information compression circuit 5 is supplied to the class code generation circuit 6, which generates a class code. The pixel data of the block including the pixel of interest, which is the target of interpolation, is compressed by the information compression circuit 5. Based on the output data of the information compression circuit 5, the pattern of the two-dimensional level distribution of the block, that is, the class is determined. A class code is created that points to this class.
【0020】クラスコードがメモリ4にアドレスとして
供給され、そのクラスと対応する代表値がメモリ4から
読出される。メモリ4からの代表値によって、注目画素
の補間値が形成される。補間演算回路3から出力端子7
に間引き画素の補間値が出力される。ここで、代表値
は、補間対象の注目画素の周辺の複数の画素からなるブ
ロックの基準値baseとダイナミックレンジDRとで正規
化された値g(c)である。従って、補間演算回路3で
は、下記の演算によって、補間値y´が生成される。
y´=DR×g(c)+base (1)The class code is supplied to the memory 4 as an address, and the representative value corresponding to the class is read from the memory 4. The representative value from the memory 4 forms the interpolated value of the pixel of interest. Output terminal 7 from interpolation calculation circuit 3
The interpolated value of the thinned pixel is output to. Here, the representative value is a value g (c) normalized by the reference value base and the dynamic range DR of a block composed of a plurality of pixels around the target pixel to be interpolated. Therefore, the interpolation calculation circuit 3 generates the interpolation value y ′ by the following calculation. y ′ = DR × g (c) + base (1)
【0021】クラス分類は、図8に示すように、注目画
素(補間画素)の周囲の12個の参照画素a、b、c、
・・・、lのレベル分布に基づいて行われる。情報圧縮
回路5およびクラスコード発生回路6の一例は、ADR
C(Adaptive Dynamic RangeCoding)である。ADRC
は、画像の局所的な相関を利用してレベル方向の冗長度
を適応的に除去するものである。例えば図9に示すよう
に、8ビットの原データの持つ0〜255のダイナミッ
クレンジの中で、各ブロック毎に再量子化するのに必要
なブロック内ダイナミックレンジA、Bは、大幅に小さ
くなることが分かる。このために、再量子化に必要なビ
ット数は、元の8ビットより大幅に低減することができ
る。As shown in FIG. 8, the class classification is performed by using twelve reference pixels a, b, c, around the target pixel (interpolation pixel).
..., based on the level distribution of l. An example of the information compression circuit 5 and the class code generation circuit 6 is ADR.
C (Adaptive Dynamic Range Coding). ADRC
Is to adaptively remove the redundancy in the level direction by utilizing the local correlation of images. For example, as shown in FIG. 9, within the dynamic range of 0 to 255 possessed by the 8-bit original data, the intra-block dynamic ranges A and B required for requantization for each block are significantly reduced. I understand. Therefore, the number of bits required for requantization can be significantly reduced from the original 8 bits.
【0022】より具体的には、1ビットADRCを使用
できる。すなわち、上述の参照画素を含むブロックの最
大値および最小値が検出され、最大値および最小値の差
であるダイナミックレンジが検出され、参照画素の値が
ダイナミックレンジで割算され、その商が0.5と比較
され、0.5以上のものが`1' 、それより小さいものが
`0' に符号化される。従って、12ビットのクラスコー
ドが発生する。前フレームおよび後フレームに含まれる
画素のような、時間方向の参照画素を使用しても良い。More specifically, 1-bit ADRC can be used. That is, the maximum value and the minimum value of the block including the reference pixel described above are detected, the dynamic range that is the difference between the maximum value and the minimum value is detected, the value of the reference pixel is divided by the dynamic range, and the quotient is 0. Compared with .5, those with 0.5 or more are `1 ', those with less than
It is encoded as `0 '. Therefore, a 12-bit class code is generated. Reference pixels in the time direction such as pixels included in the previous frame and the subsequent frame may be used.
【0023】1ビット以外のビット数の出力を発生する
ADRCを採用しても良い。ここで、ADRCの他の例
について説明する。元のビット数より少ないビット割り
当てを一般的にp、ブロックのダイナミックレンジをD
R、ブロック内の参照画素のレベルをx、再量子化コー
ドをQとすると、次の式(2)により、ブロック内の最
大値MAXと最小値MINとの間を2p 個に均等に分割
して再量子化を行う。図10(a)にp=3の場合の再
量子化を示す。It is also possible to employ an ADRC that generates an output of a bit number other than 1 bit. Here, another example of ADRC will be described. Generally, p is the bit allocation smaller than the original number of bits, and D is the dynamic range of the block.
R, the level of the reference pixel in the block is x, and the requantization code is Q, the maximum value MAX and the minimum value MIN in the block are equally divided into 2 p by the following equation (2). And requantize. FIG. 10A shows requantization when p = 3.
【0024】 DR=MAX−MIN+1 Q=〔(x−MIN+0.5)×2p /DR〕 (2) 〔z〕は、z以下の最大の整数を表す。DR = MAX-MIN + 1 Q = [(x-MIN + 0.5) × 2 p / DR] (2) [z] represents the maximum integer equal to or less than z.
【0025】次に、図10(a)におけるpビット再量
子化の階調レベルの中の(2p −1)に相当するデータ
レベルを持つブロック内画素の平均値を計算し、これを
図10(b)に示すように、新たな最大値MAX´とす
る。また、再量子化の階調レベル0に相当するデータレ
ベルを持つブロック内の画素の平均値を新たな最小値M
IN´とする。新しく求められた最大値MAX´および
最小値MIN´からダイナミックレンジを定義し直し
て、次の式(3)によって、再量子化を行う。Next, the average value of the pixels in the block having the data level corresponding to (2 p -1) in the gradation level of the p-bit requantization in FIG. 10A is calculated, and this is calculated. As shown in 10 (b), a new maximum value MAX ′ is set. In addition, the average value of the pixels in the block having the data level corresponding to the requantization gradation level 0 is set to the new minimum value M.
Let it be IN '. The dynamic range is redefined from the newly obtained maximum value MAX ′ and minimum value MIN ′, and requantization is performed by the following equation (3).
【0026】 DR=MAX´−MIN´ q=〔(x−MIN´)×(2p −1)/DR´+0.5〕 (3) 〔z〕は、z以下の最大の整数を表す。DR = MAX′−MIN ′ q = [(x−MIN ′) × (2 p −1) /DR′+0.5] (3) [z] represents the maximum integer equal to or less than z.
【0027】このような新たな最大値MAX´、最小値
MIN´、ダイナミックレンジDR´を定義しなおすA
DRCは、ノイズの悪影響を受けることかなく、効率の
良い情報量の圧縮を行うことができる。ADRCに限ら
ず、DPCM(Differentialpulse code modulation)、
BTC(Block Trancation Coding) 等の圧縮符号化のエ
ンコーダを情報圧縮回路5として使用することができ
る。The new maximum value MAX ', the minimum value MIN', and the dynamic range DR 'are newly defined A
The DRC can efficiently compress the amount of information without being adversely affected by noise. Not limited to ADRC, DPCM (Differential pulse code modulation),
An encoder for compression encoding such as BTC (Block Trancation Coding) can be used as the information compression circuit 5.
【0028】DPCMをクラス分けに使用した例につい
て説明する。まず、参照画素a,b,c,・・・,lの
それぞれの画素値をx1 、x2 、x3 、・・・・、x12
とした時に、画素間のレベル差を次の式(4)により求
める。
d1 =x1 −x12
di =xi −xi-1 (i=2,3,・・・・,12) (4)An example in which DPCM is used for classification will be described. First, the reference pixels a, b, c, ···, x 1 each of the pixel values of l, x 2, x 3, ····, x 12
Then, the level difference between pixels is obtained by the following equation (4). d 1 = x 1 −x 12 d i = x i −x i−1 (i = 2, 3, ..., 12) (4)
【0029】相関が強い画素間の差分di を求めると、
一般的に0を中心とした分布となることが知られてい
る。そこで、0付近を細かく再量子化するような非線形
量子化器を用いて差分di を再量子化することによっ
て、効率が良い情報量圧縮が可能である。従って、差分
の量子化値qi を用いることによって、ADRCの場合
と同様にクラス分類が可能である。非線形量子化の一例
を下記に示す。When the difference d i between pixels having a strong correlation is calculated,
It is generally known that the distribution is centered on 0. Therefore, by requantizing the difference d i by using a non-linear quantizer that finely requantizes the vicinity of 0, efficient information amount compression is possible. Therefore, by using the quantized value q i of the difference, it is possible to perform the class classification as in the case of ADRC. An example of non-linear quantization is shown below.
【0030】 di =68〜255 :qi = 4 di =30〜 67 :qi = 3 di = 8〜 29 :qi = 2 di = 0〜 7 :qi = 1 di =−8〜 −1 :qi =−1 di =−30〜−9 :qi =−2 di =−68〜−31 :qi =−3 di =−255〜−69:qi =−4D i = 68 to 255: q i = 4 d i = 30 to 67: q i = 3 d i = 8 to 29: q i = 2 d i = 0 to 7: q i = 1 d i = -8 to -1: q i = -1 d i = -30 to -9: q i = -2 d i = -68 to -31: q i = -3 d i = -255 to -69: q i = -4
【0031】情報圧縮回路5により圧縮処理の行われた
データに基づいてクラス分割がなされる。すなわち、図
8中の補間画素を注目画素とした場合、参照画素のデー
タx1 〜x12をADRCによりpビットに圧縮した結果
の再量子化データをq1 〜q12で表すと、次の式(5)
を用いてクラス(c)を算出する。The information compression circuit 5 divides the class based on the data compressed. That is, when the interpolation pixel in FIG. 8 is set as the pixel of interest, the requantized data obtained by compressing the data x 1 to x 12 of the reference pixel to p bits by ADRC is represented by q 1 to q 12 , Formula (5)
Is used to calculate class (c).
【0032】[0032]
【数1】 [Equation 1]
【0033】上述のメモリ4には、予め学習により作成
された代表値が格納されている。図2は、学習時のハー
ドウエアの一例を示す。11で示す入力端子から学習用
のディジタル画像信号が供給される。この入力信号とし
ては、異なる絵柄の静止画像信号を使用できる。12が
サブサンプリング回路で構成される間引き回路である。
間引き回路12の出力が時系列変換回路13に供給さ
れ、上述のように、複数の参照画素のデータが同時化さ
れる。The above-mentioned memory 4 stores a representative value created in advance by learning. FIG. 2 shows an example of hardware during learning. A digital image signal for learning is supplied from an input terminal indicated by 11. As this input signal, still image signals having different patterns can be used. A thinning circuit 12 is composed of a sub-sampling circuit.
The output of the thinning circuit 12 is supplied to the time series conversion circuit 13, and the data of a plurality of reference pixels are synchronized as described above.
【0034】時系列変換回路13の出力信号が情報圧縮
回路14に供給される。情報圧縮回路14は、情報圧縮
回路5と同一のもの例えば上述のpビットの再量子化デ
ータを発生するADRC符号化回路である。情報圧縮回
路14の出力信号がクラスコード発生回路15に供給さ
れ、式(5)に基づいて求められたクラスコードcが発
生する。このクラスコードcが度数メモリ16およびデ
ータメモリ17に対してアドレスとして供給される。こ
れらのメモリ16、17は、学習開始前では、クリアさ
れている。The output signal of the time series conversion circuit 13 is supplied to the information compression circuit 14. The information compression circuit 14 is the same as the information compression circuit 5, for example, an ADRC encoding circuit for generating the above-mentioned p-bit requantized data. The output signal of the information compression circuit 14 is supplied to the class code generation circuit 15, and the class code c obtained based on the equation (5) is generated. This class code c is supplied to the frequency memory 16 and the data memory 17 as an address. These memories 16 and 17 are cleared before learning is started.
【0035】また、時系列変換回路13の出力信号がダ
イナミックレンジ検出回路18に供給され、ADRC符
号化処理の単位のブロックのダイナミックレンジDRが
検出される。この検出回路18では、ブロックの最小値
MINも検出される。最小値MINが減算回路19に供
給され、各画素の値から最小値MINが除去される。M
INは、ブロックの基準値の一例である。基準値として
は、注目画素に近い位置のサンプリング点の画素レベ
ル、ブロック内の画素レベルの平均値等を採用できる。
この基準値をbaseと称する。基準値baseは、ブロック内
の画素のレベル分布にとっては、共通成分、すなわち、
冗長成分であり、基準値baseを除去することにより、レ
ベル方向の冗長度を除去できる。Further, the output signal of the time series conversion circuit 13 is supplied to the dynamic range detection circuit 18, and the dynamic range DR of the block of the ADRC encoding processing unit is detected. The detection circuit 18 also detects the minimum value MIN of the block. The minimum value MIN is supplied to the subtraction circuit 19, and the minimum value MIN is removed from the value of each pixel. M
IN is an example of the reference value of the block. As the reference value, a pixel level at a sampling point close to the pixel of interest, an average value of pixel levels in a block, or the like can be adopted.
This reference value is called base. The reference value base is a common component for the level distribution of pixels in the block, that is,
It is a redundant component, and the redundancy in the level direction can be removed by removing the reference value base.
【0036】減算回路19の出力信号およびダイナミッ
クレンジDRが正規化回路20に供給される。正規化回
路20では、入力値をyとすると、(y−base)/DR
の演算により入力データが正規化される。この正規化の
処理によって、画素の相対的レベルに注目することがで
き、従って、レベル方向の冗長度を除くことができる。
正規化回路20の出力信号が加算回路21を介して割算
器23に被除数として供給され、割算器23の出力信号
(割算の商)がデータメモリ17の入力データとされ
る。The output signal of the subtraction circuit 19 and the dynamic range DR are supplied to the normalization circuit 20. In the normalization circuit 20, if the input value is y, (y-base) / DR
The input data is normalized by the calculation of. By this normalization process, it is possible to pay attention to the relative level of the pixel, and thus it is possible to remove the redundancy in the level direction.
The output signal of the normalization circuit 20 is supplied to the divider 23 as a dividend via the addition circuit 21, and the output signal (quotient of division) of the divider 23 is used as the input data of the data memory 17.
【0037】度数メモリ16の読出し出力が乗算器22
および+1回路24に供給される。+1回路24の出力
が度数メモリ16のデータ入力とされ、また、割算器2
3に除数として供給される。度数メモリ16およびデー
タメモリ17は、クラスコードcでアドレスが指定され
ると、そのアドレスの内容が読出され、また、そのアド
レスに対して度数およびデータがそれぞれ書込まれる。
+1回路24によって、度数メモリ16の各アドレスに
は、累積度数が記憶される。The output read from the frequency memory 16 is the multiplier 22.
And +1 circuit 24. The output of the +1 circuit 24 is used as the data input of the frequency memory 16, and the divider 2
It is supplied as a divisor to 3. When the address is designated by the class code c, the contents of the address are read out from the frequency memory 16 and the data memory 17, and the frequency and the data are respectively written to the address.
The +1 circuit 24 stores the cumulative frequency at each address of the frequency memory 16.
【0038】図2の構成において、あるクラスコードc
が発生すると、そのクラスの累積度数n(c)と代表値
g(c)とが度数メモリ16およびデータメモリ17か
らそれぞれ読出され、乗算器22で乗算される。従っ
て、乗算器22からは、累積代表値が発生する。この累
積代表値と正規化回路20からの現在の代表値とが加算
回路21で加算される。加算結果が割算器23に供給さ
れ、現在の代表値を考慮した代表値が形成され、これが
データメモリ17に書込まれる。In the configuration of FIG. 2, a certain class code c
Occurs, the cumulative frequency n (c) and the representative value g (c) of the class are read from the frequency memory 16 and the data memory 17, respectively, and multiplied by the multiplier 22. Therefore, the cumulative representative value is generated from the multiplier 22. The cumulative representative value and the current representative value from the normalization circuit 20 are added by the addition circuit 21. The addition result is supplied to the divider 23, a representative value is formed in consideration of the current representative value, and the representative value is written in the data memory 17.
【0039】すなわち、データメモリ17に書込まれる
代表値g(c)´は、次の式(6)で算出されたもので
ある。
g(c)´={(y−base)/DR+n(c)×g(c)}/n(c)+1 (6)That is, the representative value g (c) 'written in the data memory 17 is calculated by the following equation (6). g (c) '= {(y-base) / DR + n (c) × g (c)} / n (c) +1 (6)
【0040】この処理を入力される学習データに関して
繰り返すことにより、代表値の精度を高めることができ
る。入力画素データyから基準値baseを減算し、さら
に、ダイナミックレンジDRにより正規化しているの
で、代表値のレベル方向の冗長度が少なくなる。その結
果、メモリ等の構成要素の規模が大きくなることを防止
することができる。データメモリ17に格納された代表
値が図1中のメモリ4に格納され、補間値の作成のため
に使用される。By repeating this processing for the input learning data, the accuracy of the representative value can be improved. Since the reference value base is subtracted from the input pixel data y and further normalized by the dynamic range DR, the redundancy of the representative value in the level direction is reduced. As a result, it is possible to prevent the scale of components such as the memory from increasing. The representative value stored in the data memory 17 is stored in the memory 4 in FIG. 1 and used for creating the interpolation value.
【0041】また、データメモリ17内に、代表値の累
積値を格納することも可能である。この場合では、乗算
器22を省略できる。さらに、検出されたダイナミック
レンジDRが比較器25に供給され、しきい値Thと比
較される。比較器25からは、ダイナミックレンジDR
としきい値Thとの大小関係に応じた制御信号Scが発
生する。この制御信号Scが度数メモリ16およびデー
タメモリ17の制御に使用される。Further, it is possible to store the cumulative value of the representative values in the data memory 17. In this case, the multiplier 22 can be omitted. Further, the detected dynamic range DR is supplied to the comparator 25 and compared with the threshold Th. From the comparator 25, the dynamic range DR
A control signal Sc is generated according to the magnitude relationship between the threshold value Th and the threshold value Th. This control signal Sc is used to control the frequency memory 16 and the data memory 17.
【0042】すなわち、検出されたダイナミックレンジ
DRがしきい値Thより小さい時には、制御信号Scに
よって、度数メモリ16およびデータメモリ17の読出
し動作および書込み動作が禁止される。これは、ダイナ
ミックレンジDRが小さいブロックに関しては、ノイズ
による影響が大きいので、学習対象からそのようなブロ
ックのデータを除外するための処理である。制御信号S
cによって、メモリを制御するのに限らず、クラスコー
ド発生回路15を制御して、例えば存在しないクラスコ
ードを発生することによって、実質的に上述と同様の処
理を行っても良い。That is, when the detected dynamic range DR is smaller than the threshold value Th, the control signal Sc inhibits the read operation and the write operation of the frequency memory 16 and the data memory 17. This is a process for excluding the data of such a block from the learning target, because the influence of noise is great for the block having a small dynamic range DR. Control signal S
Not only is the memory controlled by c, but the class code generation circuit 15 may be controlled to generate a class code that does not exist, thereby performing substantially the same processing as described above.
【0043】図2は、学習のためのハードウエア構成を
示しているが、図3のフローチャートに示すように、ソ
フトウェア処理で学習を行うこともできる。ステップ3
1から学習処理の制御が開始され、ステップ32の学習
データ形成では、既知の画像に対応した学習データが形
成される。具体的には、上述したように、図8に示すよ
うに、注目補間画素の実データとその周囲の画素a〜l
のデータを一組の学習データとする。また、このステッ
プ32では、ブロックのダイナミックレンジDRが所定
のしきい値より小さいものは、学習データとして扱わな
い処理もなされる。ステップ33のデータ終了では、入
力された全データ例えば1フレームのデータの処理が終
了していれば、ステップ36の代表値決定へ、終了して
いなければ、ステップ34のクラス決定へ制御が移る。Although FIG. 2 shows the hardware configuration for learning, learning can also be performed by software processing as shown in the flowchart of FIG. Step 3
The control of the learning process is started from 1, and in the learning data formation of step 32, learning data corresponding to a known image is formed. Specifically, as described above, as shown in FIG. 8, the actual data of the interpolation pixel of interest and the surrounding pixels a to l
The data of is a set of learning data. Further, in this step 32, a process in which the dynamic range DR of the block is smaller than a predetermined threshold value is not treated as learning data is also performed. At the end of the data in step 33, if the processing of all the input data, for example, the data of one frame is completed, the control is moved to the representative value determination in step 36, and if not, the control is moved to the class determination in step 34.
【0044】ステップ34のクラス決定では、入力され
た学習データのクラス分割がなされる。これは、上述の
ように、ADRC、DPCM等によって、情報量が圧縮
された参照画素のデータが用いられる。ステップ35の
正規化では、ブロック内の基準値baseの除去とダイナミ
ックレンジDRによる正規化の処理がなされる。In the class determination in step 34, the input learning data is divided into classes. For this, as described above, the data of the reference pixel whose information amount is compressed by ADRC, DPCM, etc. is used. In the normalization of step 35, the standard value base in the block is removed and the normalization processing by the dynamic range DR is performed.
【0045】ステップ33のデータ終了から全データの
処理が終了後、制御がステップ36に移り、ステップ3
6の代表値決定では、過去の累積値と現在の正規化され
た値とを加算し、累積度数でこの加算結果を除算するこ
とで、代表値が決定される。この代表値がステップ37
において、メモリにストアされ、ステップ38で学習処
理の制御が終了する。After the processing of all the data is completed from the end of the data in step 33, the control proceeds to step 36, and step 3
In the determination of the representative value of 6, the representative value is determined by adding the past cumulative value and the current normalized value and dividing the addition result by the cumulative frequency. This representative value is used in step 37.
At, the data is stored in the memory, and the control of the learning process ends in step 38.
【0046】以上の一実施例では、学習により決定され
る代表値は、ブロックの基準値baseを除去した値をダイ
ナミックレンジDRで正規化したものであった。これに
限らず、線形1次結合の係数を学習により決定し、メモ
リに格納するようにしても良い。以下に、この係数を使
用するこの発明の他の実施例について説明する。間引き
画素を補間するための図1の構成は、メモリ4中に係数
が格納されていることを除けば、他の実施例でも同様で
ある。従って、学習によって係数の決定する処理につい
て以下に説明する。In the above-described embodiment, the representative value determined by learning is a value obtained by removing the reference value base of the block and normalizing it with the dynamic range DR. Not limited to this, the coefficient of the linear linear combination may be determined by learning and stored in the memory. Another embodiment of the present invention using this coefficient will be described below. The configuration of FIG. 1 for interpolating the thinned pixels is the same as in the other embodiments except that the coefficient is stored in the memory 4. Therefore, the process of determining the coefficient by learning will be described below.
【0047】図4は、学習をソフトウェア処理で行う時
のその動作を示すフローチャートである。ステップ41
から学習処理の制御が開始され、ステップ42の学習デ
ータ形成では、既知の画像に対応した学習データが形成
される。具体的には、上述したように、図8の画素の配
列を使用できる。ここでも、ダイナミックレンジDRが
しきい値より小さいものは、学習データとして扱わない
制御がなされる。ステップ43のデータ終了では、入力
された全データ例えば1フレームのデータの処理が終了
していれば、ステップ46の予測係数決定へ、終了して
いなければ、ステップ44のクラス決定へ制御が移る。FIG. 4 is a flowchart showing the operation when learning is performed by software processing. Step 41
The control of the learning process is started from, and in the learning data formation in step 42, learning data corresponding to a known image is formed. Specifically, the array of pixels of FIG. 8 can be used, as described above. Here, too, control is performed so that the dynamic range DR smaller than the threshold value is not treated as learning data. At the end of the data in step 43, if the processing of all the input data, for example, one frame of data has been completed, the control proceeds to the prediction coefficient determination of step 46, and if not completed, the control proceeds to the class determination of step 44.
【0048】ステップ44のクラス決定は、上述の一実
施例と同様のステップである。ステップ15の正規方程
式加算では、後述する式(12)および(13)の正規
方程式が作成される。The class determination in step 44 is the same step as in the above-described embodiment. In the normal equation addition in step 15, normal equations of equations (12) and (13) described later are created.
【0049】ステップ43のデータ終了から全データの
処理が終了後、制御がステップ46に移り、ステップ4
6の予測係数決定では、後述する式(14)を行列解法
を用いて解いて、予測係数を決める。ステップ47の予
測係数ストアで、予測係数をメモリにストアし、ステッ
プ48で学習処理の制御が終了する。After the processing of all the data is completed from the end of the data in step 43, the control proceeds to step 46, and step 4
In the prediction coefficient determination of No. 6, the prediction coefficient is determined by solving the equation (14) described later using the matrix solution method. The prediction coefficient is stored in the memory by the prediction coefficient store in step 47, and the control of the learning process ends in step 48.
【0050】図4中のステップ45(正規方程式生成)
およびステップ46(予測係数決定)の処理をより詳細
に説明する。注目画素の真値をyとし、その推定値をy
´とし、その周囲の画素の値をx1 〜xn としたとき、
クラス毎に係数w1 〜wn によるnタップの線形1次結
合
y´=w1 x1 +w2 x2 +‥‥+wn xn (7)
を設定する。学習前はwi が未定係数である。Step 45 in FIG. 4 (normal equation generation)
The process of step 46 (determination of prediction coefficient) will be described in more detail. Let y be the true value of the pixel of interest and y be its estimated value.
′ And the values of the surrounding pixels are x 1 to x n ,
Linear 1 of n tap according to the coefficient w 1 to w n for each class linear combination y'= w 1 x 1 + w 2 x 2 + ‥‥ + w n x set n (7). Before learning, w i is an undetermined coefficient.
【0051】上述のように、学習はクラス毎になされ、
データ数がmの場合、式(7)に従って、
yj ´=w1 xj1+w2 xj2+‥‥+wn xjn (8)
(但し、j=1,2,‥‥m)As mentioned above, learning is done for each class,
When the number of data is m, y j ′ = w 1 x j1 + w 2 x j2 + ... + w n x jn (8) (where j = 1, 2, ...
【0052】m>nの場合、w1 〜wn は一意には決ま
らないので、誤差ベクトルEの要素を
ej =yj −(w1 xj1+w2 xj2+‥‥+wn xjn) (9)
(但し、j=1,2,‥‥m)と定義して、次の式(1
0)を最小にする係数を求める。When m> n, w 1 to w n are not uniquely determined, so the elements of the error vector E are e j = y j − (w 1 x j1 + w 2 x j2 + ... + w n x jn ) (9) (where j = 1, 2, ...
Find the coefficient that minimizes 0).
【0053】[0053]
【数2】 [Equation 2]
【0054】いわゆる最小自乗法による解法である。こ
こで式4のwi による偏微分係数を求める。This is a so-called least squares method. Here, the partial differential coefficient by w i of Expression 4 is obtained.
【0055】[0055]
【数3】 [Equation 3]
【0056】式(11)を0にするように各wi を決め
ればよいから、Since each w i may be determined so that the equation (11) becomes 0,
【0057】[0057]
【数4】 [Equation 4]
【0058】として、行列を用いるとIf a matrix is used as
【0059】[0059]
【数5】 [Equation 5]
【0060】となる。この方程式は一般に正規方程式と
呼ばれている。この方程式を掃き出し法等の一般的な行
列解法を用いて、wi について解けば、予測係数wi が
求まり、クラスコードをアドレスとして、この予測係数
wi をメモリに格納しておく。It becomes This equation is generally called a normal equation. If this equation is solved for w i using a general matrix solution method such as a sweeping method, the prediction coefficient w i is obtained, and this prediction coefficient w i is stored in the memory using the class code as an address.
【0061】なお、クラス分けのために、参照画素の値
をそのまま使用することも可能である。また、情報圧縮
手段としては、VQ(ベクトル量子化)も使用できる。
さらに、情報圧縮回路5によって、参照画素を同一のビ
ット数のデータに変換しているが、注目画素と参照画素
との間の距離を考慮して、割り当てビット数を異ならせ
ても良い。すなわち、注目画素により近い参照画素の割
り当てビット数がそれが遠いもののビット数より多くさ
れる。It is also possible to use the value of the reference pixel as it is for classifying. VQ (vector quantization) can also be used as the information compression means.
Further, although the reference pixel is converted into the data having the same number of bits by the information compression circuit 5, the number of allocated bits may be changed in consideration of the distance between the pixel of interest and the reference pixel. That is, the number of allocated bits of the reference pixel closer to the pixel of interest is made larger than the number of bits of the farther pixel.
【0062】[0062]
【発明の効果】この発明は、ダイナミックレンジDRで
正規化された値を代表値としているので、レベルそのも
のを代表値とするのと比して、メモリの容量の削減、ハ
ードウエアの小規模化を達成できる。また、学習時に、
ダイナミックレンジがしきい値より小さいブロックのデ
ータを学習対象から除外しているので、精度の高い代表
値を生成できる。According to the present invention, since the value normalized by the dynamic range DR is used as the representative value, the memory capacity is reduced and the hardware is reduced in scale as compared with the level itself being the representative value. Can be achieved. Also, when learning,
Since the data of the block whose dynamic range is smaller than the threshold value is excluded from the learning target, a highly accurate representative value can be generated.
【0063】また、この発明によるサブサンプリング信
号補間装置は、本来の信号成分を減少させることなく、
折返し歪を除去することができ、また、予め学習で決定
された正確な推定値で補間することが可能である。Further, the sub-sampling signal interpolating device according to the present invention can reduce the original signal component,
The aliasing distortion can be removed, and interpolation can be performed with an accurate estimated value determined by learning in advance.
【図面の簡単な説明】[Brief description of drawings]
【図1】この発明をサブサンプリング信号補間装置に対
して適用した一実施例のブロック図である。FIG. 1 is a block diagram of an embodiment in which the present invention is applied to a sub-sampling signal interpolation device.
【図2】この発明における代表値を決定するするための
学習時の構成の一例のブロック図である。FIG. 2 is a block diagram of an example of a configuration at the time of learning for determining a representative value according to the present invention.
【図3】代表値を決定するするための学習をソフトウェ
ア処理で行う時のフローチャートである。FIG. 3 is a flowchart when learning for determining a representative value is performed by software processing.
【図4】代表値としての係数を求めるための学習をソフ
トウェア処理で行う時のフローチャートである。FIG. 4 is a flowchart when learning for obtaining a coefficient as a representative value is performed by software processing.
【図5】2次元のオフセットサブサンプリングの構造を
示す略線図である。FIG. 5 is a schematic diagram showing a structure of two-dimensional offset subsampling.
【図6】2次元オフセットサブサンプリングにより伝送
可能な帯域の空間周波数スペクトルを示す略線図であ
る。FIG. 6 is a schematic diagram showing a spatial frequency spectrum of a band that can be transmitted by two-dimensional offset subsampling.
【図7】補間処理を示す略線図である。FIG. 7 is a schematic diagram showing interpolation processing.
【図8】学習データの一例を示す略線図である。FIG. 8 is a schematic diagram illustrating an example of learning data.
【図9】クラス分けに使用されるADRCを説明するた
めの略線図である。FIG. 9 is a schematic diagram for explaining ADRC used for classification.
【図10】ADRCの動作を説明するための略線図であ
る。FIG. 10 is a schematic diagram for explaining the operation of ADRC.
3 補間演算回路 4 代表値が格納されたメモリ 5 情報圧縮回路 16 度数メモリ 17 データメモリ 18 ダイナミックレンジ検出回路 20 正規化回路 3 Interpolation calculation circuit 4 Memory that stores representative values 5 Information compression circuit 16 degree memory 17 data memory 18 Dynamic range detection circuit 20 Normalization circuit
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平5−167992(JP,A) (58)調査した分野(Int.Cl.7,DB名) H04N 7/01 ─────────────────────────────────────────────────── ─── Continuation of the front page (56) Reference JP-A-5-167992 (JP, A) (58) Fields investigated (Int.Cl. 7 , DB name) H04N 7/01
Claims (6)
装置において、 作成される注目画素と局所的相関を有する複数の参照画
素によって上記注目画素のクラスを決定するためのクラ
ス分類手段と、 上記注目画素の値を生成するために、予め学習により獲
得された上記クラス毎の代表値が格納されたメモリ手段
と、 上記代表値に基づいて推定値を生成する推定値生成手段
とを備え、上記学習を行う時に、 作成すべき注目画素と局所的相関を有する 学習用画像中
の複数の参照画素によってブロックを生成すると共に、
上記複数の参照画素によって上記注目画素のクラスを決
定し、 上記注目画素の画素の値と上記ブロックの基準値との差
分値を、上記ブロック内のダイナミックレンジによって
正規化し、上記クラス毎に、上記正規化された値の累積値と累積度
数を求め、 上記累積値を上記累積度数で除した値を上記
代表値として求め、 上記ダイナミックレンジがしきい値より小さいブロック
のデータを学習対象から除外する ようにしたディジタル
画像信号処理装置。1. A digital image signal processing device for creating pixels , wherein a plurality of reference images having local correlation with the created pixel of interest .
A class classification means for determining the class of the pixel of interest by a prime, a memory means for storing a representative value for each class acquired in advance by learning in order to generate the value of the pixel of interest, and the representative An estimated value generating means for generating an estimated value based on a value, and when performing the learning , generate a block by a plurality of reference pixels in a learning image having a local correlation with a target pixel to be created, and
The class of the target pixel is determined by the plurality of reference pixels.
Constant, and a difference value between the reference value of the value and the block of pixels of the pixel of interest, normalized by a dynamic range in the block, for each of the classes, the accumulated value and the accumulated degree of the normalized value
Calculated by determining the number, determine the value of the upper Kirui product values obtained by dividing by the cumulative frequency as the representative value, the dynamic range is smaller than the threshold block
A digital image signal processing device that excludes the data from the learning target .
理装置において、 上記クラス分類手段は、参照画素の値をそのまま使用す
るようにしたディジタル画像信号処理装置。2. The digital image signal processing device according to claim 1, wherein the class classification means uses the value of the reference pixel as it is.
理装置において、 上記クラス分類手段は、参照画素をADRC符号化する
ことによってそのビット数が圧縮されたものを使用する
ようにしたディジタル画像信号処理装置。3. The digital image signal processing device according to claim 1, wherein the class classification means uses a reference pixel whose number of bits is compressed by ADRC encoding the reference pixel. Processing equipment.
理装置において、 上記クラス分類手段は、参照画素をDPCM符号化する
ことによってそのビット数が圧縮されたものを使用する
ようにしたディジタル画像信号処理装置。4. The digital image signal processing apparatus according to claim 1, wherein the class classification means uses a reference pixel whose bit number is compressed by DPCM coding. Processing equipment.
理装置において、 上記クラス分類手段は、参照画素をBTCM符号化する
ことによってそのビット数が圧縮されたものを使用する
ようにしたディジタル画像信号処理装置。5. The digital image signal processing apparatus according to claim 1, wherein the class classification means uses a reference pixel whose bit number is compressed by BTCM encoding. Processing equipment.
方法であって、 作成される注目画素と局所的相関を有する複数の参照画
素によって上記注目画素のクラスを決定するステップ
と、 上記注目画素の値を生成するために、予め学習により獲
得された上記クラス毎の代表値が格納されており、上記
代表値に基づいて推定値を生成するステップとからな
り、 上記学習を行う時に、 作成すべき注目画素と局所的相関を有する 学習用画像中
の複数の参照画素によってブロックを生成すると共に、
上記複数の参照画素によって上記注目画素のクラスを決
定し、 上記注目画素の画素の値と上記ブロックの基準値との差
分値を、上記ブロック内のダイナミックレンジによって
正規化し、上記クラス毎に、上記正規化された値の累積値と累積度
数を求め、 上記累積値を上記累積度数で除した値を上記
代表値として求め、 上記ダイナミックレンジがしきい値より小さいブロック
のデータを学習対象から除外する ようにしたディジタル
画像信号処理方法。6. A digital image signal processing method for producing pixels , comprising a plurality of reference images having local correlation with the produced pixel of interest .
Step for determining the class of the pixel of interest by the prime
When, from to generate a value of the pixel of interest, learned in advance are typical values for each of the classes obtained is stored by a step of generating an estimate based on the representative value
Therefore, when performing the above learning, a block is generated by a plurality of reference pixels in the learning image that has a local correlation with the pixel of interest to be created , and
The class of the target pixel is determined by the plurality of reference pixels.
Constant, and a difference value between the reference value of the value and the block of pixels of the pixel of interest, normalized by a dynamic range in the block, for each of the classes, the accumulated value and the accumulated degree of the normalized value
Calculated by determining the number, determine the value of the upper Kirui product values obtained by dividing by the cumulative frequency as the representative value, the dynamic range is smaller than the threshold block
A digital image signal processing method that excludes the data from the learning target .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP20866093A JP3371159B2 (en) | 1993-07-30 | 1993-07-30 | Digital image signal processing apparatus and processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP20866093A JP3371159B2 (en) | 1993-07-30 | 1993-07-30 | Digital image signal processing apparatus and processing method |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH0746548A JPH0746548A (en) | 1995-02-14 |
JP3371159B2 true JP3371159B2 (en) | 2003-01-27 |
Family
ID=16559942
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP20866093A Expired - Lifetime JP3371159B2 (en) | 1993-07-30 | 1993-07-30 | Digital image signal processing apparatus and processing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3371159B2 (en) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU7338896A (en) * | 1995-11-10 | 1997-05-29 | Matsushita Electric Industrial Co., Ltd. | Image coding method, image decoding method, maximum/minimum coding means, and maximum/minimum value decoding means |
US5912708A (en) * | 1996-12-26 | 1999-06-15 | Sony Corporation | Picture signal encoding device, picture signal encoding method, picture signal decoding device, picture signal decoding method, and recording medium |
CN1115054C (en) * | 1996-12-26 | 2003-07-16 | 索尼株式会社 | Picture signal coding device, picture signal coding method, picture signal decoding device, picture signal decoding method, and recording medium |
US6160845A (en) * | 1996-12-26 | 2000-12-12 | Sony Corporation | Picture encoding device, picture encoding method, picture decoding device, picture decoding method, and recording medium |
KR100504415B1 (en) * | 1996-12-26 | 2005-11-22 | 소니 가부시끼 가이샤 | Image encoding apparatus, image encoding method, image decoding apparatus, image decoding method and recording medium |
-
1993
- 1993-07-30 JP JP20866093A patent/JP3371159B2/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JPH0746548A (en) | 1995-02-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3271108B2 (en) | Apparatus and method for processing digital image signal | |
US5859667A (en) | Hierarchical encoding and decoding apparatus for a digital image signal | |
KR100601743B1 (en) | Image processing device and method, and transmission medium, transmission method and image format | |
EP0316418A4 (en) | Hierarchical encoding method and apparatus for efficiently communicating image sequences | |
JP3781203B2 (en) | Image signal interpolation apparatus and image signal interpolation method | |
JP3348318B2 (en) | Digital image signal processing apparatus and processing method | |
JP3271101B2 (en) | Digital image signal processing apparatus and processing method | |
JP3470403B2 (en) | Digital image signal processing unit | |
JP3371159B2 (en) | Digital image signal processing apparatus and processing method | |
JP3946781B2 (en) | Image information conversion apparatus and method | |
EP0820198A2 (en) | Apparatus and method for image coding and decoding | |
JP3671437B2 (en) | Digital image signal processing apparatus and processing method | |
JP3627291B2 (en) | Block distortion removing apparatus and method | |
JP3362463B2 (en) | Frame interpolation device | |
JP3759537B2 (en) | Image signal transmission apparatus and image signal transmission method | |
JP3747970B2 (en) | Image encoding device, image encoding method, image decoding device, and image decoding method | |
JP3470373B2 (en) | Apparatus and method for processing digital image signal | |
JP3723995B2 (en) | Image information conversion apparatus and method | |
JP3271109B2 (en) | Digital image signal processing apparatus and processing method | |
JP3724008B2 (en) | Image information conversion device and coefficient data creation device | |
JPH0888849A (en) | Picture signal processing method and picture signal transmitter | |
JP3480461B2 (en) | Digital image signal processing apparatus and processing method | |
JP3653287B2 (en) | Image information conversion apparatus and image information conversion method | |
JP3480015B2 (en) | Apparatus and method for generating image data | |
JP3709570B2 (en) | Digital image signal processing apparatus and processing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071122 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081122 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091122 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091122 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101122 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101122 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111122 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111122 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121122 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121122 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131122 Year of fee payment: 11 |
|
EXPY | Cancellation because of completion of term |