JP3470373B2 - Apparatus and method for processing digital image signal - Google Patents
Apparatus and method for processing digital image signalInfo
- Publication number
- JP3470373B2 JP3470373B2 JP01781094A JP1781094A JP3470373B2 JP 3470373 B2 JP3470373 B2 JP 3470373B2 JP 01781094 A JP01781094 A JP 01781094A JP 1781094 A JP1781094 A JP 1781094A JP 3470373 B2 JP3470373 B2 JP 3470373B2
- Authority
- JP
- Japan
- Prior art keywords
- value
- pixel
- transmission
- digital image
- interest
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】[0001]
【産業上の利用分野】この発明は、サブサンプリング信
号を受け取って、間引き画素を補間するのに適用される
ディジタル画像信号の処理装置および方法に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an apparatus and method for processing a digital image signal applied to receive a sub-sampling signal and interpolate a thinned pixel.
【０００２】[0002]
【従来の技術】ディジタル画像信号を記録したり、伝送
する際の帯域圧縮あるいは情報量削減のための一つの方
法として、画素をサブサンプリングによって間引くこと
によって、伝送データ量を減少させるものがある。その
一例は、ＭＵＳＥ方式における多重サブナイキストサン
プリングエンコーディング方式である。このシステムで
は、受信側で間引かれ、非伝送の画素を補間する必要が
ある。2. Description of the Related Art As one method for band compression or information amount reduction when recording or transmitting a digital image signal, there is a method of reducing the amount of transmission data by thinning out pixels by subsampling. One example is the multiple sub-Nyquist sampling encoding method in the MUSE method. In this system, it is necessary to interpolate non-transmitted pixels that have been decimated on the receiving side.
【０００３】サブサンプリングの一例としてオフセット
サブサンプリングが知られている。図９は、オフセット
サブサンプリング回路の一例であって、６１で示す入力
端子にディジタルビデオ信号が供給され、プリフィルタ
６２を介してサブサンプリング回路６３に供給される。
サブサンプリング回路６３には、入力端子６４から所定
の周波数のサンプリングパルスが供給される。Offset subsampling is known as an example of subsampling. FIG. 9 shows an example of the offset sub-sampling circuit, in which a digital video signal is supplied to the input terminal 61 and is supplied to the sub-sampling circuit 63 via the pre-filter 62.
A sampling pulse having a predetermined frequency is supplied to the sub-sampling circuit 63 from the input terminal 64.
【０００４】サブサンプリング回路６３でなされる２次
元のオフセットサブサンプリングの一例を図１０に示
す。水平方向（ｘ方向）と垂直方向（ｙ方向）とのサン
プリング間隔（Ｔｘ，Ｔｙ）を原信号における画素間隔
（Ｈｘ，Ｈｙ）の２倍に設定し、１画素おきに間引く
（間引き画素を×で示す）とともに、垂直方向に隣合う
伝送画素（○で示す）をサンプリング間隔の半分（Ｔｘ
／２）だけオフセットするものである。このようなオフ
セットサブサンプリングを行うことによる伝送帯域は、
斜め方向の空間周波数に対して水平あるいは垂直方向の
空間周波数成分を広帯域化することができる。FIG. 10 shows an example of two-dimensional offset subsampling performed by the subsampling circuit 63. The sampling interval (Tx, Ty) in the horizontal direction (x direction) and the vertical direction (y direction) is set to twice the pixel interval (Hx, Hy) in the original signal, and thinning is performed every other pixel (thinning pixel is × Together with the transmission pixels (indicated by ◯) vertically adjacent to each other in the vertical direction by half the sampling interval (Tx
It is offset by / 2). The transmission band resulting from such offset subsampling is
The spatial frequency component in the horizontal or vertical direction can be widened with respect to the spatial frequency in the diagonal direction.
【０００５】サブサンプリング回路６３の出力信号がポ
ストフィルタ６５を介して出力端子６６に取り出され
る。プリフィルタ６２は、サンプリングされる画像信号
の帯域を制限し、ポストフィルタは、不要な、あるいは
悪影響を及ぼす信号成分を取り除く。サブサンプリング
によって伝送されるデータ量を減少でき、比較的低い速
度の伝送路を介してディジタルビデオ信号を伝送でき
る。また、受信されたオフセットサブサンプリングされ
た画像信号をモニタに表示したり、プリントアウトする
場合には、間引き画素が隣接画素を使用して補間され
る。The output signal of the sub-sampling circuit 63 is taken out to the output terminal 66 via the post filter 65. The pre-filter 62 limits the band of the image signal to be sampled, and the post-filter removes unnecessary or harmful signal components. The amount of data transmitted by the sub-sampling can be reduced, and the digital video signal can be transmitted through a relatively low speed transmission line. When the received offset sub-sampled image signal is displayed on the monitor or printed out, the thinned pixels are interpolated using the adjacent pixels.
【０００６】ところで、上述のようなオフセットサブサ
ンプリングは、サンプリングの前のプリフィルタが正し
くフィルタリング処理を行っている場合には、非常に有
効な方法であるが、例えばハードウエア上の制約によっ
てプリフィルタを充分にかけられない場合や、伝送帯域
の広帯域化をはかるためにプリフィルタを充分にかけな
い場合等では、折返し歪の発生による画質劣化という問
題が生じる。By the way, the offset sub-sampling as described above is a very effective method when the pre-filter before the sampling is correctly performing the filtering process. However, if the pre-filter cannot be applied sufficiently or the pre-filter is not applied sufficiently to widen the transmission band, the problem of image quality deterioration due to aliasing distortion occurs.
【０００７】上述の折返し歪の発生を軽減するために、
適応補間方法が提案されている。これは、サブサンプリ
ング時に最適な補間方法の判定を予め行っておき、その
判定結果を補助情報として伝送あるいは記録する方法で
ある。例えば、水平方向の１／２平均値補間と垂直方向
の１／２平均値補間の何れの方が真値により近いかをサ
ブサンプリング時に検出しておき、１画素当り１ビット
の補助情報として伝送し、補間時には、この補助情報に
従って補間処理を行うものである。In order to reduce the occurrence of the above-mentioned folding distortion,
Adaptive interpolation methods have been proposed. This is a method in which the optimum interpolation method is determined in advance during subsampling, and the determination result is transmitted or recorded as auxiliary information. For example, which one of the horizontal half average value interpolation and the vertical half average value interpolation is closer to the true value is detected at the time of sub-sampling and transmitted as 1 bit of auxiliary information per pixel. However, at the time of interpolation, interpolation processing is performed according to this auxiliary information.
【０００８】上述の補助情報を使用する適応型補間方法
においては、伝送画素に加えて補助情報を伝送する必要
があり、データ量の圧縮率が低下する問題を生じる。ま
た、伝送、あるいは記録再生の過程において、補助情報
にエラーが生じた場合には、誤った補間がなされるため
に、再生画像の劣化が生じやすい欠点があった。In the above-mentioned adaptive interpolation method using the auxiliary information, it is necessary to transmit the auxiliary information in addition to the transmission pixels, which causes a problem that the compression rate of the data amount is lowered. Further, when an error occurs in the auxiliary information in the process of transmission or recording / reproduction, there is a drawback that the reproduced image is likely to be deteriorated because incorrect interpolation is performed.
【０００９】この問題を解決する一つの方法として、本
願出願人の提案による特開昭６３−４８０８８号公報に
は、注目画素の値をその周辺の画素と係数の線形１次結
合で表し、誤差の二乗和が最小となるように、注目画素
の実際の値を使用して最小二乗法によりこの係数の値を
決定するものが提案されている。ここでは、線形１次結
合の係数を予め学習によって決定し、決定係数がメモリ
に格納されている。さらに、注目画素を補間する時に、
周辺の参照画素の平均値を計算し、平均値と各画素の値
との大小関係に応じて、各画素を１ビットで表現し、
（参照画素数×１ビット）のパターンに応じたクラス分
けを行い、注目画素を含む画像の局所的特徴を反映した
補間値を形成している。この方法は、補助情報を必要と
せずに、間引き画素を良好に補間することができる。As one method for solving this problem, Japanese Patent Laid-Open No. 63-48088 proposed by the applicant of the present application describes the value of a pixel of interest by a linear linear combination of pixels around it and a coefficient, and It has been proposed to determine the value of this coefficient by the method of least squares using the actual value of the pixel of interest so that the sum of squares of is minimized. Here, the coefficient of the linear linear combination is previously determined by learning, and the coefficient of determination is stored in the memory. Furthermore, when interpolating the pixel of interest,
The average value of the surrounding reference pixels is calculated, and each pixel is represented by 1 bit according to the magnitude relationship between the average value and the value of each pixel,
The classification is performed according to the pattern of (the number of reference pixels × 1 bit), and the interpolated value reflecting the local feature of the image including the target pixel is formed. This method can interpolate thinned pixels well without the need for auxiliary information.
【００１０】[0010]
【発明が解決しようとする課題】一方、伝送画素につい
て考えると、プリフィルタ３２およびポストフィルタ３
５を介して伝送されるために、高域成分が失われ、その
結果、信号波形がなまる問題が生じる。つまり、サブサ
ンプリングのために必要とされるフィルタリングの処理
は、伝送画素についても悪影響を与えている。On the other hand, considering the transmission pixels, the pre-filter 32 and the post-filter 3 are considered.
Since the signal is transmitted through the signal 5, the high frequency component is lost, resulting in the problem that the signal waveform is rounded. That is, the filtering process required for subsampling also adversely affects the transmission pixels.
【００１１】従って、この発明の目的は、サブサンプリ
ング信号を復号する時に、伝送画素についてフィルタ等
により失われた帯域を補償することが可能なディジタル
画像信号の処理装置を提供することにある。SUMMARY OF THE INVENTION Therefore, an object of the present invention is to provide a digital image signal processing apparatus capable of compensating a band lost by a filter or the like for a transmission pixel when decoding a sub-sampling signal.
【００１２】この発明の他の目的は、間引き画素の補間
または伝送画素の補正のためのクラス分類を比較的少な
いクラス数でもって、高精度に行うことができるディジ
タル画像信号の処理装置および方法を提供することにあ
る。Another object of the present invention is to provide a digital image signal processing apparatus and method capable of highly accurately performing class classification for interpolation of thinned pixels or correction of transmission pixels with a relatively small number of classes. To provide.
【００１３】[0013]
【課題を解決するための手段】請求項１に記載の発明
は、プリフィルタを介されたディジタル画像信号をサン
プリングし、サンプリングによって画素数が減少された
信号を受け取り、サンプリングにより間引かれた画素を
補間するようにしたディジタル画像信号の処理装置にお
いて、受け取ったディジタル画像信号中に存在する注目
伝送画素の周囲の伝送画素に関して、注目伝送画素と最
も近い値が存在する方向を検出し、方向によって、注目
伝送画素のクラスを決定するためのクラス分類手段と、
入力ディジタル画像信号中に含まれ、注目伝送画素の空
間的および／または時間的に近傍の複数の伝送画素の値
と係数の線形１次結合によって、注目伝送画素の値を作
成した時に、作成された値と注目伝送画素の真値との誤
差を最小とするような、係数をクラス毎に発生するため
の係数発生手段と、係数と注目伝送画素の空間的および
／または時間的に近傍の複数の伝送画素の値との線形１
次結合によって、補正された注目伝送画素の値を生成す
るための演算手段とからなることを特徴とするディジタ
ル画像信号処理装置である。そして、請求項９に記載の
発明は、プリフィルタを介されたディジタル画像信号を
サンプリングし、サンプリングによって画素数が減少さ
れた信号を受け取り、サンプリングにより間引かれた画
素を補間するようにしたディジタル画像信号の処理方法
において、受け取ったディジタル画像信号中に存在する
注目伝送画素の周囲の伝送画素に関して注目伝送画素と
最も近い値が存在する方向を検出し、方向によって、注
目伝送画素のクラスを決定し、入力ディジタル画像信号
中に含まれ、注目伝送画素の空間的および／または時間
的に近傍の複数の伝送画素の値と係数の線形１次結合に
よって、注目伝送画素の値を生成した時に、作成された
値と注目伝送画素の真値との誤差を最小とするような、
係数をクラス毎に発生し、係数と注目伝送画素の空間的
および／または時間的に近傍の複数の伝送画素の値との
線形１次結合によって、補正された注目伝送画素の値を
生成するようにしたことを特徴とするディジタル画像信
号処理方法である。According to a first aspect of the present invention, a digital image signal passed through a prefilter is sampled.
Pulling and sampling reduced the number of pixels
Pixels decimated by receiving the signal and sampling
In the digital image signal processing device that is interpolated, with respect to the transmission pixels around the transmission pixel of interest existing in the received digital image signal, the direction in which the value closest to the transmission pixel of interest exists is detected, and depending on the direction, A class classification means for determining the class of the transmission pixel of interest,
It is created when the value of the transmission pixel of interest is created by the linear linear combination of the values of a plurality of transmission pixels spatially and / or temporally close to the transmission pixel of interest included in the input digital image signal. Coefficient generating means for generating a coefficient for each class so as to minimize the error between the measured value and the true value of the transmission pixel of interest, and a plurality of spatially and / or temporally neighboring coefficients and the transmission pixel of interest. Linear 1 with the value of the transmitted pixel of
A digital image signal processing device, comprising: an arithmetic means for generating a corrected value of a transmission pixel of interest by a subsequent combination. Then, the invention according to claim 9 is such that the digital image signal passed through the pre-filter is
The number of pixels is reduced by sampling
Image that is received and received by sampling
In a method of processing a digital image signal, which is configured to interpolate primes, a direction in which a value closest to a transmission pixel of interest exists with respect to transmission pixels around a transmission pixel of interest present in a received digital image signal is detected, and depending on the direction, , Determining the class of the transmission pixel of interest, and performing the linear transmission of the values and coefficients of a plurality of transmission pixels spatially and / or temporally adjacent to the transmission pixel of interest, which are included in the input digital image signal, to perform the transmission of interest. When the pixel value is generated, the error between the created value and the true value of the transmission pixel of interest is minimized.
A coefficient is generated for each class, and a linear linear combination of the coefficient and values of a plurality of transmission pixels spatially and / or temporally adjacent to the transmission pixel of interest is generated to generate a corrected value of the transmission pixel of interest. The digital image signal processing method is characterized in that
【００１４】[0014]
【作用】伝送画素について、予め学習により獲得された
係数と周辺の伝送画素の値との線形１次結合によって補
正値、すなわち、予測された伝送画素の値を形成するこ
とができる。この係数は、伝送画素を含む部分的な小領
域の特徴と対応するクラス毎に決定される。この場合、
その周囲の複数の伝送画素の内で、注目伝送画素の値と
最も近い値が存在する方向が検出され、この方向がクラ
スとされる。このクラスに対応する係数が使用される。
この補正値は、フィルタリング処理で失われた解像度を
補償することができる。また、予め学習によって伝送画
素値の平均値、あるいは正規化された値を求めておき、
この平均値を補正値とすることもできる。With respect to the transmission pixel, the correction value, that is, the predicted value of the transmission pixel can be formed by the linear linear combination of the coefficient acquired by learning in advance and the values of the peripheral transmission pixels. This coefficient is determined for each class corresponding to the characteristics of the partial small area including the transmission pixel. in this case,
The direction in which the value closest to the value of the transmission pixel of interest exists among the plurality of transmission pixels around it is detected, and this direction is set as the class. The coefficients corresponding to this class are used.
This correction value can compensate for the resolution lost in the filtering process. In addition, the average value of the transmission pixel values or the normalized value is obtained in advance by learning,
This average value can also be used as a correction value.
【００１５】[0015]
【実施例】以下、この発明をサブサンプリング信号補間
装置に対して適用した一実施例について説明する。図１
において、１は、オフセットサブサンプリングされたデ
ィジタルビデオ信号の入力端子である。具体的には、放
送などによる伝送、ＶＴＲ等からの再生信号が入力端子
１に供給される。伝送画素の値は、８ビットのコードで
表されている。２は、ラスター順序で到来する入力信号
をブロックの順に変換するための時系列変換回路であ
る。DESCRIPTION OF THE PREFERRED EMBODIMENTS An embodiment in which the present invention is applied to a subsampling signal interpolating device will be described below. Figure 1
In the figure, 1 is an input terminal of the offset sub-sampled digital video signal. Specifically, a transmission signal by broadcasting or the like, a reproduction signal from a VTR or the like is supplied to the input terminal 1. The value of the transmission pixel is represented by an 8-bit code. Reference numeral 2 is a time series conversion circuit for converting an input signal that arrives in raster order in the order of blocks.
【００１６】時系列変換回路２の出力信号がクラス分類
回路３および４に供給される。クラス分類回路３は、補
間の対象の注目間引き画素のクラスを決定するもので、
そのクラスを指示するクラスコードがメモリ５に対して
アドレスとして供給される。クラス分類回路４は、補正
の対象の注目伝送画素のクラスを決定するもので、その
クラスを指示するクラスコードがメモリ６に対してアド
レスとして供給される。メモリ５から読出された予測係
数が補間値生成回路７に供給され、メモリ６から読出さ
れた予測係数が補正値生成回路８に供給される。The output signal of the time series conversion circuit 2 is supplied to the class classification circuits 3 and 4. The class classification circuit 3 determines the class of the target thinned pixel to be interpolated,
A class code indicating the class is supplied to the memory 5 as an address. The class classification circuit 4 determines the class of the target transmission pixel to be corrected, and a class code indicating the class is supplied to the memory 6 as an address. The prediction coefficient read from the memory 5 is supplied to the interpolation value generation circuit 7, and the prediction coefficient read from the memory 6 is supplied to the correction value generation circuit 8.
【００１７】メモリ５および６には、後述のように、予
め学習により獲得された予測係数が格納されている。こ
の係数は、間引き画素の補間値と伝送画素の補正値をそ
れぞれ予測するために必要とされる。補間値および補正
値は、何れも予測値であるが、間引き画素に対する予測
値を補間値と称し、伝送画素に対する予測値を補正値と
称している。補間値生成回路７および補正値生成回路８
に対しては、注目画素の周囲の複数の画素の値が時系列
変換回路２から供給される。そして、補間値生成回路７
は、注目間引き画素の予測値をメモリ５からの係数と周
囲の伝送画素の値との線形１次結合によって生成する。
同様に、補正値生成回路８は、注目伝送画素の補正値を
メモリ６からの係数と周囲の伝送画素の値との線形１次
結合によって生成するAs will be described later, the memories 5 and 6 store prediction coefficients previously acquired by learning. This coefficient is required to predict the interpolation value of the thinned pixel and the correction value of the transmission pixel, respectively. Both the interpolation value and the correction value are prediction values, but the prediction value for the thinned pixel is called an interpolation value, and the prediction value for the transmission pixel is called a correction value. Interpolation value generation circuit 7 and correction value generation circuit 8
For, the values of a plurality of pixels around the target pixel are supplied from the time series conversion circuit 2. Then, the interpolation value generation circuit 7
Generates a predicted value of the thinned pixel of interest by a linear linear combination of the coefficient from the memory 5 and the values of surrounding transmission pixels.
Similarly, the correction value generation circuit 8 generates the correction value of the target transmission pixel by linear linear combination of the coefficient from the memory 6 and the values of the surrounding transmission pixels.
【００１８】生成された補正値および補間値とが合成回
路９に供給され、出力端子１０に間引き画素が補間さ
れ、また、フィルタ処理で失われた周波数成分を補償さ
れたディジタルビデオ信号が出力される。図示しない
が、出力端子１０に対して時系列変換回路が接続され、
ブロックの順序からラスター走査の順序へ変換されたデ
ィジタルビデオ信号が形成される。The generated correction value and interpolation value are supplied to the synthesizing circuit 9, the thinned pixels are interpolated at the output terminal 10, and the digital video signal in which the frequency component lost by the filtering process is compensated is output. It Although not shown, a time series conversion circuit is connected to the output terminal 10,
A digital video signal is formed that has been converted from a block order to a raster scan order.
【００１９】クラス分類回路３は、注目間引き画素の近
傍の伝送画素の値を使用して、この注目間引き画素のク
ラスを決定する。図２Ａに示すように、注目間引き画素
の上下左右の伝送画素（Ａ、Ｂ、Ｃ、Ｄ）のレベル分布
のパターンをクラスとして決定する。一例として、この
参照される４画素の平均値Ａｖを求め、平均値Ａｖに対
する大小関係によって、周囲の画素を８ビットから１ビ
ットへ圧縮する。すなわち、図３に一例を示すように、
平均値Ａｖより大きい値の場合は、`1' を割り当て、平
均値Ａｖより小さい値の場合は、`0' を割り当てる。図
３の例では、（１０１０）のクラスコードがクラス分類
回路３から発生する。The class classification circuit 3 uses the values of the transmission pixels in the vicinity of the target thinned pixel to determine the class of the target thinned pixel. As shown in FIG. 2A, the pattern of the level distribution of the transmission pixels (A, B, C, D) on the upper, lower, left and right sides of the target thinning pixel is determined as a class. As an example, the average value Av of the four referenced pixels is obtained, and the surrounding pixels are compressed from 8 bits to 1 bit according to the magnitude relationship with the average value Av. That is, as shown in an example in FIG.
If the value is larger than the average value Av, `1` is assigned, and if the value is smaller than the average value Av,` 0` is assigned. In the example of FIG. 3, the class code (1010) is generated from the class classification circuit 3.
【００２０】クラス分類回路４は、注目伝送画素のクラ
スを決定する。図２Ｂに示すように、注目伝送画素（そ
の値をｙとする）とその上下左右の伝送画素ａ、ｂ、
ｃ、ｄとその斜め上あるいは斜め下の伝送画素ｅ、ｆ、
ｇ、ｈを使用してクラス分けを行う。クラス分けは、周
辺の伝送画素の値ａ〜ｈの中で、注目伝送画素の値ｙと
最も近い値の画素が存在する方向によって、クラス分け
を行う。クラス分けのために下記の減算がなされ、差分
値Ｄ１〜Ｄ８が形成される。The class classification circuit 4 determines the class of the transmission pixel of interest. As shown in FIG. 2B, the transmission pixel of interest (its value is assumed to be y) and the transmission pixels a, b, and left, right, up, down,
c, d and transmission pixels e, f, diagonally above or diagonally below them,
Classify using g and h. The classification is performed according to the direction in which a pixel having a value closest to the value y of the transmission pixel of interest exists among the values a to h of the transmission pixels in the vicinity. The following subtraction is performed for classification to form the difference values D1 to D8.
【００２１】Ｄ１＝ａ−ｙ Ｄ２＝ｂ−ｙ Ｄ
３＝ｃ−ｙ Ｄ４＝ｄ−ｙ
Ｄ５＝ｅ−ｙ Ｄ６＝ｆ−ｙ Ｄ７＝ｇ−ｙ
Ｄ８＝ｈ−ｙD1 = ay D2 = by D
3 = c-y D4 = d-y D5 = e-y D6 = f-y D7 = g-y
D8 = hy
【００２２】この８個の差分値Ｄ１〜Ｄ８の中の最小値
が検出され、最小値をとる方向を指示する３ビットの方
向データが形成される。また、差分値の極性が１ビット
で表される。従って、クラスを指示するクラスコード
は、４ビットである。方向データは、図２Ｂで示される
ような小領域内の画像の相関が強い方向を示す。なお、
極性ビットは、必ずしも必要ではない。The minimum value of the eight difference values D1 to D8 is detected, and 3-bit direction data indicating the direction having the minimum value is formed. The polarity of the difference value is represented by 1 bit. Therefore, the class code indicating the class is 4 bits. The direction data indicates the direction in which the correlation of the images in the small area as shown in FIG. 2B is strong. In addition,
The polarity bit is not absolutely necessary.
【００２３】クラス情報として、方向データおよび極性
ビットに加えて、注目伝送画素の値ｙを量子化によっ
て、８ビットからより少ないビット数へ変換した値を使
用しても良い。例えば注目伝送画素の値を３ビットへ量
子化した場合では、４ビット＋３ビット＝７ビットがク
ラスコードとなる。As the class information, in addition to the direction data and the polarity bit, a value obtained by converting the value y of the target transmission pixel by quantization into a smaller number of bits may be used. For example, when the value of the transmission pixel of interest is quantized into 3 bits, 4 bits + 3 bits = 7 bits are the class code.
【００２４】さらに、注目伝送画素の量子化値（３ビッ
ト）とその上下左右の伝送画素の値ａ〜ｄの量子化値と
を方向データおよび極性ビットに付加したコードをクラ
スコードとしても良い。この場合、値ａ〜ｄは、例えば
ａおよびｂが２ビットへ量子化され、ｃおよびｄが１ビ
ットへ量子化される。従って、量子化コードの合計が９
ビットとなり、クラスコードが合計で１３ビットとな
る。Further, a code obtained by adding the quantized value (3 bits) of the target transmission pixel and the quantized values of the values a to d of the upper, lower, left and right transmission pixels to the direction data and the polarity bit may be used as the class code. In this case, for the values a to d, for example, a and b are quantized to 2 bits, and c and d are quantized to 1 bit. Therefore, the total number of quantization codes is 9
The class code is 13 bits in total.
【００２５】このように、相関が強い方向を検出して、
その方向をクラス情報とすることによって、少ないビッ
ト数、言い換えると少ないクラス数でもって注目伝送画
素のクラスを決定することができる。方向データにさら
に、注目伝送画素の値の量子化値を加えてクラス情報と
することができるので、より高い精度のクラス分けが可
能となる。若し、周辺の伝送画素の８ビットデータをそ
のまま使用すると、クラス数が膨大となり、メモリの容
量、メモリの制御回路等のハードウエアの規模が大きく
なりすぎる。周辺の伝送画素ａ〜ｈをそれぞれ２ビット
へ圧縮したとしても、合計のビット数が１６ビットとな
り、やはり、クラス数が多過ぎる。この発明は、かかる
問題点を解消できる。In this way, by detecting the direction in which the correlation is strong,
By using the direction as the class information, the class of the transmission pixel of interest can be determined with a small number of bits, in other words, a small number of classes. Since the quantized value of the value of the transmission pixel of interest can be further added to the direction data to be used as class information, it is possible to classify the class with higher accuracy. If 8-bit data of peripheral transmission pixels is used as it is, the number of classes becomes enormous, and the memory capacity and the scale of hardware such as a memory control circuit become too large. Even if the peripheral transmission pixels a to h are each compressed to 2 bits, the total number of bits becomes 16 bits, and again the number of classes is too large. The present invention can solve such a problem.
【００２６】補間値生成回路７は、メモリ５からの予測
係数と周辺画素の値との線形１次結合によって、補間値
を生成する。図２Ａに示すように、クラス分類のために
４個の画素が使用されているが、予測のためには、より
多くの画素の値（圧縮されない）が使用される。これと
同様に、補正値生成回路８は、メモリ６からの予測係数
の周囲の伝送画素の値の線形１次結合によって、補正値
を生成する。この予測のためには、自分自身の値ｙを使
用しない。また、予測のための画素数は、ａ〜ｈの８画
素またはこれより多い数の周囲の伝送画素が使用され
る。The interpolation value generation circuit 7 generates an interpolation value by linearly combining the prediction coefficient from the memory 5 and the values of the peripheral pixels. As shown in FIG. 2A, four pixels are used for classification, but more pixel values (uncompressed) are used for prediction. Similarly, the correction value generation circuit 8 generates the correction value by linearly combining the values of the transmission pixels around the prediction coefficient from the memory 6. We do not use our own value y for this prediction. In addition, as the number of pixels for prediction, eight pixels a to h or a number of surrounding transmission pixels larger than this are used.
【００２７】複数の周辺画素の値と予測係数とを使用し
て線形１次結合によって、注目伝送画素の補正値が生成
される。補間値生成回路７も、注目間引き画素の補間値
を上述と同様に、メモリ５から読出された予測係数と周
囲の伝送画素の値との線形１次結合によって生成する。
メモリ５および６に格納されている予測係数は、予め学
習により獲得されたものである。The correction value of the transmission pixel of interest is generated by linear linear combination using the values of the plurality of peripheral pixels and the prediction coefficient. The interpolation value generation circuit 7 also generates the interpolation value of the thinned-out pixel of interest by the linear linear combination of the prediction coefficient read from the memory 5 and the values of the surrounding transmission pixels in the same manner as described above.
The prediction coefficients stored in the memories 5 and 6 are obtained by learning in advance.
【００２８】図４は、予測係数を決定するための学習時
の構成を示す。学習は、図１の入力端子１に供給される
ディジタルビデオ信号を原ディジタルビデオ信号から形
成する処理と同様の処理を行なう。学習によって、注目
伝送画素および注目間引き画素の真値に対する予測値が
有する誤差の二乗和を最小とするような係数が最小二乗
法により決定される。FIG. 4 shows the structure at the time of learning for determining the prediction coefficient. The learning process is similar to the process of forming the digital video signal supplied to the input terminal 1 of FIG. 1 from the original digital video signal. Through learning, the coefficient that minimizes the sum of squares of the errors of the predicted values with respect to the true values of the target transmission pixel and the target thinning pixel is determined by the least square method.
【００２９】図４において、１１で示す入力端子に原デ
ィジタルビデオ信号が供給される。入力端子１１に対し
て、プリフィルタ１２、サブサンプリング回路１３およ
びポストフィルタ１５が接続される。サブサンプリング
回路１３には、入力端子１４からオフセットサブサンプ
リングを行うための所定の周波数のサンプリングパルス
が供給される。従って、ポストフィルタ１５の出力に
は、オフセットサブサンプリングされたディジタルビデ
オ信号が得られる。In FIG. 4, an original digital video signal is supplied to an input terminal designated by 11. A prefilter 12, a subsampling circuit 13, and a postfilter 15 are connected to the input terminal 11. The sub-sampling circuit 13 is supplied from the input terminal 14 with a sampling pulse having a predetermined frequency for performing offset sub-sampling. Therefore, at the output of the post filter 15, the offset sub-sampled digital video signal is obtained.
【００３０】ポストフィルタ１５に対して時系列変換回
路１６が接続され、ラスター走査の順序からブロックの
順序へ変換されたビデオデータがクラス分類回路１７お
よび１８に供給される。クラス分類回路１７は、上述の
クラス分類回路３と同様に、注目間引き画素の周辺の伝
送画素を使用して注目間引き画素のクラスを決定する。
クラス分類回路１８は、上述のクラス分類回路４と同様
に、注目伝送画素自身の値とその周辺の伝送画素を使用
して注目伝送画素のクラスを決定する。クラス分類回路
１７および１８からのクラスコードが係数決定回路１９
および２０にそれぞれ供給される。A time series conversion circuit 16 is connected to the post filter 15, and the video data converted from the raster scan order to the block order is supplied to the class classification circuits 17 and 18. Similar to the class classification circuit 3 described above, the class classification circuit 17 determines the class of the target thinning pixel using the transmission pixels around the target thinning pixel.
Similar to the class classification circuit 4 described above, the class classification circuit 18 uses the value of the transmission pixel of interest itself and the transmission pixels in the vicinity thereof to determine the class of the transmission pixel of interest. The class codes from the class classification circuits 17 and 18 are the coefficient determination circuit 19
And 20 respectively.
【００３１】係数決定回路１９および２０は、線形１次
結合で生成される予測値ｙ´とその真値ｙとの誤差の二
乗和を最小とするような予測係数を決定する。入力端子
１１に供給される原データが時系列変換回路２３に供給
され、この回路２３から係数決定回路１９および２０に
対して注目間引き画素の真値および注目伝送画素の真値
が供給される。また、係数決定回路１９および２０に
は、予測のために使用される伝送画素が時系列変換回路
１６から供給される。The coefficient determination circuits 19 and 20 determine a prediction coefficient that minimizes the sum of squares of the error between the predicted value y'generated by linear linear combination and its true value y. The original data supplied to the input terminal 11 is supplied to the time series conversion circuit 23, and the true value of the target thinning pixel and the true value of the target transmission pixel are supplied from this circuit 23 to the coefficient determination circuits 19 and 20. Further, the transmission pixels used for prediction are supplied from the time series conversion circuit 16 to the coefficient determination circuits 19 and 20.
【００３２】各係数決定回路は、最小二乗法によって最
良の予測係数を決定する。決定された予測係数がメモリ
２１および２２にそれぞれ格納される。格納アドレス
は、クラス分類回路１９および２０からのクラスコード
で指示される。一例として、伝送画素の補正値に関する
係数決定の処理をソフトウェア処理で行う動作につい
て、図５を参照して説明する。なお、間引き画素の補間
値に関する係数決定も、図５と同様の処理でなされる。Each coefficient determination circuit determines the best prediction coefficient by the method of least squares. The determined prediction coefficients are stored in the memories 21 and 22, respectively. The storage address is designated by the class code from the class classification circuits 19 and 20. As an example, an operation of performing the coefficient determination process regarding the correction value of the transmission pixel by the software process will be described with reference to FIG. The determination of the coefficient related to the interpolation value of the thinned pixel is also performed by the same processing as that in FIG.
【００３３】まず、ステップ４１から処理の制御が開始
され、ステップ４２の学習データ形成では、既知の画像
に対応した学習データが形成される。ステップ４３のデ
ータ終了では、入力された全データ例えば１フレームの
データの処理が終了していれば、ステップ４６の予測係
数決定へ、終了していなければ、ステップ４４のクラス
決定へ制御が移る。First, control of the process is started from step 41, and in the learning data formation of step 42, learning data corresponding to a known image is formed. At the end of the data in step 43, if the processing of all the input data, for example, one frame of data has been completed, the control proceeds to the prediction coefficient determination of step 46, and if not completed, the control proceeds to the class determination of step 44.
【００３４】ステップ４４のクラス決定は、上述のよう
に、注目伝送画素の値とその周辺画素の値のレベル分布
のパターンと対応してクラスを決定するステップであ
る。次のステップ４５の正規方程式生成では、後述する
正規方程式が作成される。As described above, the class determination in step 44 is a step in which the class is determined in correspondence with the level distribution pattern of the value of the transmission pixel of interest and the values of the peripheral pixels. In the normal equation generation in the next step 45, a normal equation described later is created.
【００３５】ステップ４３のデータ終了から全データの
処理が終了後、制御がステップ４６に移り、ステップ４
６の予測係数決定では、後述する式（８）を行列解法を
用いて解いて、係数を決める。ステップ４７の予測係数
ストアで、予測係数をメモリ２２にストアし、ステップ
４８で学習処理の制御が終了する。After the processing of all the data is completed from the end of the data in step 43, the control proceeds to step 46, and step 4
In the determination of the prediction coefficient of 6, the coefficient is determined by solving the equation (8) described later using the matrix solution method. The predictive coefficient is stored in the memory 22 by the predictive coefficient store in step 47, and the learning process control ends in step 48.
【００３６】図５中のステップ４５（正規方程式生成）
およびステップ４６（予測係数決定）の処理をより詳細
に説明する。学習時には、注目伝送画素の真値ｙが既知
である。注目伝送画素の補正値をｙ´、その周囲の画素
の値をｘ1 〜ｘn としたとき、クラス毎に係数ｗ1 〜ｗ
n によるｎタップの線形１次結合
ｙ´＝ｗ1 ｘ1 ＋ｗ2 ｘ2 ＋‥‥＋ｗn ｘn （１）
を設定する。学習前はｗi が未定係数である。Step 45 in FIG. 5 (normal equation generation)
The process of step 46 (determination of prediction coefficient) will be described in more detail. At the time of learning, the true value y of the transmission pixel of interest is known. When the correction value of the transmission pixel of interest is y ′ and the values of the surrounding pixels are x 1 to x n , the coefficients w 1 to w for each class are given.
An n-tap linear primary combination by n y ′ = w 1 x 1 + w 2 x 2 + ... + w n x n (1) is set. Before learning, w i is an undetermined coefficient.
【００３７】上述のように、学習はクラス毎になされ、
データ数がｍの場合、式（１）に従って、
ｙj ´＝ｗ1 ｘj1＋ｗ2 ｘj2＋‥‥＋ｗn ｘjn （２）
（但し、ｊ＝１，２，‥‥ｍ）As mentioned above, learning is done for each class,
When the number of data is m, according to the equation (1), y j ′ = w 1 x j1 + w 2 x j2 + ... + w n x jn (2) (where j = 1, 2, ...
【００３８】ｍ＞ｎの場合、ｗ1 〜ｗn は一意には決ま
らないので、誤差ベクトルＥの要素を
ｅj ＝ｙj −（ｗ1 ｘj1＋ｗ2 ｘj2＋‥‥＋ｗn ｘjn） （３）
（但し、ｊ＝１，２，‥‥ｍ）と定義して、次の式
（４）を最小にする係数を求める。When m> n, w 1 to w n are not uniquely determined, so the elements of the error vector E are e j = y j − (w 1 x j1 + w 2 x j2 + ... + w n x jn (3) (However, j = 1, 2, ..., M) is defined, and a coefficient that minimizes the following expression (4) is obtained.
【００３９】[0039]
【数１】 [Equation 1]
【００４０】いわゆる最小自乗法による解法である。こ
こで式（４）のｗi による偏微分係数を求める。This is the so-called least squares method. Here, the partial differential coefficient by w i of the equation (4) is obtained.
【００４１】[0041]
【数２】 [Equation 2]
【００４２】式（５）を０にするように各ｗi を決めれ
ばよいから、Since each w i may be determined so that the equation (5) becomes 0,
【００４３】[0043]
【数３】 [Equation 3]
【００４４】として、行列を用いるとAs a matrix,
【００４５】[0045]
【数４】 [Equation 4]
【００４６】となる。この方程式は一般に正規方程式と
呼ばれている。この方程式を掃き出し法等の一般的な行
列解法を用いて、ｗi について解けば、予測係数ｗi が
求まり、クラスコードをアドレスとして、この予測係数
ｗi をメモリに格納しておく。It becomes This equation is generally called a normal equation. If this equation is solved for w i using a general matrix solution method such as a sweeping method, the prediction coefficient w i is obtained, and this prediction coefficient w i is stored in the memory using the class code as an address.
【００４７】図５は、学習のためのソフトウェア構成を
示しているが、ハードウエアの構成またはソフトウェア
およびハードウエアを併用した構成によって、学習を行
うこともできる。また、補間値および補正値を形成する
のに、予測係数による線形１次結合に限らず、データの
値そのものを学習によって予め作成し、この値を補間値
および補正値としても良い。Although FIG. 5 shows a software structure for learning, learning can be performed by a hardware structure or a combination of software and hardware. Further, the interpolation value and the correction value are not limited to the linear linear combination using the prediction coefficient, but the data value itself may be created in advance by learning, and this value may be used as the interpolation value and the correction value.
【００４８】図６は、データの値そのものを予め作成す
るための学習を説明するためのフローチャートである。
制御の開始のステップ５１、学習データ形成のステップ
５２、データ終了のステップ５３およびクラス決定のス
テップ５４は、上述の予測係数を決定するための学習に
おけるステップ４１、４２、４３および４４と同様の処
理を行うステップである。FIG. 6 is a flow chart for explaining learning for creating the data value itself in advance.
The control start step 51, the learning data formation step 52, the data end step 53, and the class determination step 54 are the same as the steps 41, 42, 43, and 44 in the learning for determining the prediction coefficient described above. Is the step of performing.
【００４９】代表値決定のステップ５５は、クラス毎に
真値の平均値を求め、この平均値を代表値として決定す
るステップである。すなわち、学習の過程で得られた真
値の累積値を累積度数で割算することによって、代表値
が得られる。この場合、データの値そのものを累算する
と、累積したデータ量が多くなるので、ブロック内の基
準値とブロックのダイナミックレンジＤＲで正規化した
値を代表値として求めても良い。The step 55 of determining the representative value is a step of obtaining an average value of true values for each class and determining the average value as a representative value. That is, the representative value is obtained by dividing the cumulative value of the true value obtained in the learning process by the cumulative frequency. In this case, when the data values themselves are accumulated, the accumulated data amount increases, so a value normalized by the reference value in the block and the dynamic range DR of the block may be obtained as the representative value.
【００５０】すなわち、ブロックの基準値をＢ（例えば
ブロック内の画素の最小値）とし、ダイナミックレンジ
をＤＲで表すと、正規化された代表値Ｇは、
Ｇ＝（ｙ−Ｂ）／ＤＲ
で規定される。ステップ５６において、決定された代表
値がメモリに格納され、学習が終了する。That is, when the reference value of the block is B (for example, the minimum value of the pixels in the block) and the dynamic range is DR, the normalized representative value G is G = (y−B) / DR. Stipulated. In step 56, the determined representative value is stored in the memory, and the learning ends.
【００５１】クラス分類の他の実施例について図７を参
照して説明する。方向データのビット数が多くなりすぎ
るのを防止するために、図７の例では、上下左右の４方
向の中で、注目伝送画素の値に最も近い値が存在する方
向を検出している。すなわち、Ｄ１＝ｙ−ａ、Ｄ２＝ｙ
−ｂ、Ｄ３＝ｙ−ｃ、Ｄ４＝ｙ−ｄの４個の差分値を計
算し、その中の最小値を検出している。従って、方向デ
ータが２ビットである。Another embodiment of class classification will be described with reference to FIG. In order to prevent the number of bits of direction data from becoming too large, in the example of FIG. 7, the direction in which the value closest to the value of the transmission pixel of interest exists is detected from among the four directions of up, down, left, and right. That is, D1 = ya, D2 = y
Four difference values of −b, D3 = y−c, D4 = y−d are calculated, and the minimum value among them is detected. Therefore, the direction data is 2 bits.
【００５２】一例として、注目伝送画素（ｙ）につい
て、差分値Ｄ３が最小値として検出されたとする。次
に、注目伝送画素の両隣の伝送画素（ｂおよびｄ）につ
いて、注目伝送画素と同様に、８方向についての差分値
がそれぞれ演算される。その結果、伝送画素（ｂ）につ
いては、差分値Ｄ３が最小値として検出され、伝送画素
（ｄ）について差分値Ｄ４が最小値として検出されたと
する。この場合には、これらの３個の方向を示す（３×
３＝９ビット）の方向データが得られる。この９ビット
をクラスコードとする。As an example, it is assumed that the difference value D3 is detected as the minimum value for the transmission pixel (y) of interest. Next, with respect to the transmission pixels (b and d) on both sides of the transmission pixel of interest, similarly to the transmission pixel of interest, the difference values in the eight directions are respectively calculated. As a result, it is assumed that the difference value D3 is detected as the minimum value for the transmission pixel (b) and the difference value D4 is detected as the minimum value for the transmission pixel (d). In this case, these three directions are shown (3 ×
(3 = 9 bits) direction data is obtained. These 9 bits are the class code.
【００５３】また、図７では、両隣の伝送画素の方向を
検出しているが、その一方の伝送画素の方向を検出し
て、その方向データ（３ビット）と極性データ（１ビッ
ト）と注目伝送画素の量子化値（３ビット）との合計７
ビットをクラスコードとしても良い。In FIG. 7, the directions of the transmission pixels on both sides are detected, but the direction of one of the transmission pixels is detected, and the direction data (3 bits) and the polarity data (1 bit) are noticed. A total of 7 with the quantized value (3 bits) of the transmission pixel
Bits may be used as class code.
【００５４】図８は、この発明におけるクラス分類のさ
らに他の実施例を示す。これは、注目伝送画素（ｙ）に
ついて最小値が存在する画素が検出された時に、検出さ
れた画素の位置について、再度、８方向についての差分
値の演算と差分値の中の最小値の検出を行ない、検出さ
れた二つの方向を示すデータを方向データとするもので
ある。FIG. 8 shows still another embodiment of class classification according to the present invention. This is because when the pixel having the minimum value of the transmission pixel (y) of interest is detected, the difference value in the eight directions is calculated again for the position of the detected pixel and the minimum value of the difference values is detected. The data indicating the two detected directions is used as direction data.
【００５５】図８の例では、注目伝送画素（ｙ）につい
て、差分値Ｄ７が最小値として検出され、次に、最小値
Ｄ７を生じさせる伝送画素（ｈ）について、同様の方向
検出を行った結果、差分値Ｄ４が最小値として検出され
ている。従って、差分値Ｄ７を生じさせる第１の方向
（３ビット＋極性ビット）と、差分値Ｄ４を生じさせる
第２の方向（３ビット＋極性ビット）との合計８ビット
が方向データとして使用される。さらに、注目伝送画素
の量子化値（３ビット）を加えた１１ビットのクラスコ
ードを形成しても良い。In the example of FIG. 8, the difference value D7 is detected as the minimum value for the transmission pixel (y) of interest, and then the same direction detection is performed for the transmission pixel (h) that produces the minimum value D7. As a result, the difference value D4 is detected as the minimum value. Therefore, a total of 8 bits of the first direction (3 bits + polarity bit) that causes the difference value D7 and the second direction (3 bits + polarity bit) that causes the difference value D4 are used as direction data. . Further, an 11-bit class code to which the quantized value (3 bits) of the transmission pixel of interest is added may be formed.
【００５６】以上のこの発明の実施例は、伝送画素のク
ラス分けのために、小領域の相関を使用するものであ
る。しかしながら、この発明は、間引き画素のクラス分
けに対しても適用可能なものである。すなわち、図２Ａ
において、注目間引き画素の暫定的な値（Ｙ）を周辺の
伝送画素の値Ａ〜Ｄの平均値（1/4(Ａ＋Ｂ＋Ｃ＋Ｄ))に
より形成する。次に、この暫定的な値Ｙと周辺の画素の
値Ａ〜Ｄとを使用して、上述の伝送画素のクラス分けと
同様の処理でクラス分けを行う。The above-described embodiment of the present invention uses the correlation of the small areas for the classification of the transmission pixels. However, the present invention is also applicable to classification of thinned pixels. That is, FIG. 2A
In, the provisional value (Y) of the thinned pixel of interest is formed by the average value (1/4 (A + B + C + D)) of the values A to D of the peripheral transmission pixels. Next, using the provisional value Y and the values A to D of the peripheral pixels, the classification is performed by the same processing as the classification of the transmission pixels described above.
【００５７】そのために、下記の差分値Ｄ１〜Ｄ４が生
成される。
Ｄ１＝Ｙ−Ａ， Ｄ２＝Ｙ−Ｂ， Ｄ３＝Ｙ−Ｃ， Ｄ
４＝Ｙ−ＤTherefore, the following difference values D1 to D4 are generated. D1 = YA, D2 = YB, D3 = YC, D
4 = Y-D
【００５８】これらの差分値Ｄ１〜Ｄ４の中の最小値が
検出され、最小値を生じさせる伝送画素が存在する方向
を注目間引き画素のクラスとして検出する。伝送画素の
クラス分けと同様に、暫定的な値Ｙの量子化値、周辺伝
送画素の量子化値を組み合わせることも可能であり、ま
た、隣接間引き画素の検出結果を組み合わせること、さ
らに、２段階の検出結果を組み合わせることも可能であ
る。これらの処理は、上述したのと殆ど同一のために、
その説明は、重複を避けるために省略する。The minimum value among these difference values D1 to D4 is detected, and the direction in which the transmission pixel that causes the minimum value is present is detected as the class of the target thinning pixel. Similar to the classification of the transmission pixels, it is also possible to combine the quantized value of the provisional value Y and the quantized value of the peripheral transmission pixels, and to combine the detection results of the adjacent thinned-out pixels, and further, two steps. It is also possible to combine the detection results of. Since these processes are almost the same as described above,
The description is omitted to avoid duplication.
【００５９】なお、この発明におけるクラス分類あるい
は予測演算のために、空間的に注目画素の周囲の画素の
値を使用するものに限らず、時間方向で注目画素と近い
画素（例えば前フレームの同一の画素）も使用すること
ができる。For class classification or prediction calculation according to the present invention, the values of the pixels surrounding the pixel of interest are not limited to those spatially used, but a pixel close to the pixel of interest in the time direction (for example, the same pixel in the previous frame). Pixels) can also be used.
【００６０】[0060]
【発明の効果】この発明は、サンプリングにより間引か
れた画素のみならず、伝送画素の値も補正しているの
で、サンプリングのためのフィルタリング処理によって
失われた高域成分を補償することができる。従って、復
号信号の波形のなまりを補償でき、復号画像の質を向上
できる。According to the present invention, not only the pixels thinned out by sampling but also the values of transmission pixels are corrected, so that the high frequency component lost by the filtering process for sampling can be compensated. . Therefore, the distortion of the waveform of the decoded signal can be compensated, and the quality of the decoded image can be improved.
【００６１】また、この発明は、注目画素のクラス分け
のために、注目画素を含む小領域の相関の強い方向を検
出し、その方向によって、クラス分けを行うために、ク
ラス数が多くなり過ぎずに、高精度でクラス分けを行う
ことができる。Further, according to the present invention, in order to classify the target pixel, the direction in which the small area including the target pixel has a strong correlation is detected, and the class is classified according to the direction, so that the number of classes becomes too large. Without this, classification can be performed with high accuracy.
【図１】この発明の一実施例のブロック図である。FIG. 1 is a block diagram of an embodiment of the present invention.
【図２】クラス分けのために参照する画素の位置を示す
ための略線図である。FIG. 2 is a schematic diagram showing positions of pixels to be referred to for classification.
【図３】クラス分けの方法の一例を説明するための略線
図である。FIG. 3 is a schematic diagram for explaining an example of a classification method.
【図４】予測係数を求めるための構成の一例のブロック
図である。FIG. 4 is a block diagram of an example of a configuration for obtaining a prediction coefficient.
【図５】予測係数を求めるための学習をソフトウェア処
理で行う時のフローチャートである。FIG. 5 is a flowchart when learning for obtaining a prediction coefficient is performed by software processing.
【図６】代表値を求めるための学習をソフトウェア処理
で行う時のフローチャートである。FIG. 6 is a flowchart when learning for obtaining a representative value is performed by software processing.
【図７】クラス分けの他の実施例を説明するための略線
図である。FIG. 7 is a schematic diagram for explaining another embodiment of classification.
【図８】クラス分けのさらに他の実施例を説明するため
の略線図である。FIG. 8 is a schematic diagram for explaining yet another embodiment of classification.
【図９】オフセットサブサンプリングのための構成の一
例のブロック図である。FIG. 9 is a block diagram of an example of a configuration for offset subsampling.
【図１０】２次元のオフセットサブサンプリングの構造
を示す略線図である。FIG. 10 is a schematic diagram showing a structure of two-dimensional offset subsampling.
３，４ クラス分類回路 ４，６ 予測係数が格納されたメモリ ７ 補間値生成回路 ８ 補正値生成回路 3, 4 class classification circuit 4,6 Prediction coefficient memory 7 Interpolation value generation circuit 8 Correction value generation circuit
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平６−178277（ＪＰ，Ａ) 特開 平４−319872（ＪＰ，Ａ) 特開 平４−326674（ＪＰ，Ａ) 特開 昭61−263382（ＪＰ，Ａ) 特開 平７−212752（ＪＰ，Ａ) 特開 平７−154642（ＪＰ，Ａ) 特開 平５−328185（ＪＰ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) H04N 7/00 - 7/088 H04N 7/24 - 7/68 ─────────────────────────────────────────────────── --Continued from the front page (56) Reference JP-A-6-178277 (JP, A) JP-A-4-319872 (JP, A) JP-A-4-326674 (JP, A) JP-A-61- 263382 (JP, A) JP 7-212752 (JP, A) JP 7-154642 (JP, A) JP 5-328185 (JP, A) (58) Fields investigated (Int.Cl. 7 , DB name) H04N 7/ 00-7/088 H04N 7/ 24-7/68
Claims (16)
信号をサンプリングし、上記サンプリングによって画素
数が減少された信号を受け取り、上記サンプリングによ
り間引かれた画素を補間するようにしたディジタル画像
信号の処理装置において、 受け取ったディジタル画像信号中に存在する注目伝送画
素の周囲の伝送画素に関して、上記注目伝送画素と最も
近い値が存在する方向を検出し、上記方向によって、上
記注目伝送画素のクラスを決定するためのクラス分類手
段と、 上記入力ディジタル画像信号中に含まれ、上記注目伝送
画素の空間的および／または時間的に近傍の複数の伝送
画素の値と係数の線形１次結合によって、上記注目伝送
画素の値を作成した時に、作成された値と上記注目伝送
画素の真値との誤差を最小とするような、係数を上記ク
ラス毎に発生するための係数発生手段と、 上記係数と上記注目伝送画素の空間的および／または時
間的に近傍の複数の伝送画素の値との線形１次結合によ
って、補正された注目伝送画素の値を生成するための演
算手段とからなることを特徴とするディジタル画像信号
処理装置。1. A digital image through a pre-filter.
The signal is sampled and the pixels are
Receive the reduced number of signals and
In a digital image signal processing device adapted to interpolate thinned pixels, there is a value closest to the noted transmission pixel with respect to the transmission pixels around the noted transmission pixel present in the received digital image signal. A classifying means for detecting a direction and determining a class of the transmission pixel of interest according to the direction; and a classifying means included in the input digital image signal and spatially and / or temporally close to the transmission pixel of interest. When the value of the transmission pixel of interest is created by linear linear combination of the values of a plurality of transmission pixels and the coefficient, a coefficient is set so as to minimize the error between the created value and the true value of the transmission pixel of interest. Coefficient generating means for generating for each class, and linear linear combination of the coefficient and values of a plurality of transmission pixels spatially and / or temporally near the transmission pixel of interest. Therefore, the digital image signal processing apparatus characterized by comprising a calculating means for generating a corrected value of the target transmission pixel.
信号をサンプリングし、上記サンプリングによって画素
数が減少された信号を受け取り、上記サンプリングによ
り間引かれた画素を補間するようにしたディジタル画像
信号の処理装置において、 受け取ったディジタル画像信号中に存在する注目伝送画
素の周囲の伝送画素に関して、上記注目伝送画素と最も
近い値が存在する方向を検出し、上記方向によって、上
記注目伝送画素のクラスを決定するためのクラス分類手
段と、 予め学習により獲得された代表値が上記クラス毎に貯え
られ、上記クラス分類手段によって決定された上記クラ
スと対応する上記代表値を上記注目伝送画素の値として
出力するためのメモリ手段とからなることを特徴とする
ディジタル画像信号の処理装置。2. Digital image through a pre-filter
The signal is sampled and the pixels are
Receive the reduced number of signals and
In a digital image signal processing device adapted to interpolate thinned pixels, there is a value closest to the noted transmission pixel with respect to the transmission pixels around the noted transmission pixel present in the received digital image signal. The classifying means for detecting the direction and determining the class of the transmission pixel of interest according to the direction, and the representative value obtained by learning in advance are stored for each class, and the classifying means determines the classifying means. A digital image signal processing device, comprising: a memory means for outputting the representative value corresponding to a class as the value of the transmission pixel of interest.
タル画像信号の処理装置において、 間引かれた画素を補間するための補間回路は、 注目間引き画素の空間的および／または時間的に近傍の
複数の伝送画素の値から、上記注目間引き画素の暫定的
な値を形成し、上記暫定的な値と最も近い値が存在する
方向を検出し、上記方向によって、上記注目間引き画素
のクラスを決定するためのクラス分類手段と、 上記入力ディジタル画像信号中に含まれ、上記注目間引
き画素の空間的および／または時間的に近傍の複数の伝
送画素の値と係数の線形１次結合によって、上記注目間
引き画素の値を作成した時に、作成された値と上記注目
間引き画素の真値との誤差を最小とするような、係数を
上記クラス毎に発生するための係数発生手段と、 上記係数と上記注目間引き画素の空間的および／または
時間的に近傍の複数の伝送画素の値との線形１次結合に
よって、上記注目間引き画素の補間値を生成するための
手段とからなることを特徴とするディジタル画像信号処
理装置。3. The digital image signal processing device according to claim 1, wherein the interpolation circuit for interpolating the thinned pixels spatially and / or Alternatively, the provisional value of the thinning-out pixel of interest is formed from the values of a plurality of transmission pixels that are temporally close to each other, and the direction in which a value closest to the provisional value is present is detected, and the direction of interest Class classification means for determining the class of the thinned pixel, and a linear value 1 of the value and coefficient of a plurality of transmission pixels included in the input digital image signal and spatially and / or temporally adjacent to the thinned pixel of interest. A coefficient generating means for generating a coefficient for each class so as to minimize an error between the created value and the true value of the target thinned pixel when the value of the target thinned pixel is created by the next combination. And above Means for generating an interpolated value of the target thinning-out pixel by linear linear combination of a coefficient and values of a plurality of transmission pixels spatially and / or temporally neighboring the target thinning-out pixel. And a digital image signal processing device.
タル画像信号の処理装置において、 間引かれた画素を補間するための補間回路は、 注目間引き画素の空間的および／または時間的に近傍の
複数の伝送画素の値から、上記注目間引き画素の暫定的
な値を形成し、上記暫定的な値と最も近い値が存在する
方向を検出し、上記方向によって、上記注目間引き画素
のクラスを決定するためのクラス分類手段と、 予め学習により獲得された代表値が上記クラス毎に貯え
られ、上記クラス分類手段によって決定された上記クラ
スと対応する上記代表値を上記注目画素の値として出力
するためのメモリ手段とからなることを特徴とするディ
ジタル画像信号の処理装置。4. The digital image signal processing device according to claim 1, wherein the interpolation circuit for interpolating the decimated pixels spatially and / or Alternatively, the provisional value of the thinning-out pixel of interest is formed from the values of a plurality of transmission pixels that are temporally close to each other, and the direction in which a value closest to the provisional value is present is detected, and the direction of interest Class classification means for determining a class of thinned pixels, representative values acquired by learning in advance are stored for each class, and the representative value corresponding to the class determined by the class classification means is used as the pixel of interest. And a memory means for outputting the value as a value.
求項４に記載のディジタル画像信号の処理装置におい
て、 クラス分類手段は、画素の値を量子化した値をクラス情
報としてさらに出力することを特徴とするディジタル画
像信号の処理装置。5. The digital image signal processing device according to claim 1, claim 2, claim 3 or claim 4, wherein the class classification means further outputs a value obtained by quantizing the pixel value as class information. An apparatus for processing a digital image signal.
求項４に記載のディジタル画像信号の処理装置におい
て、 クラス分類手段は、方向を検出するための減算手段を含
み、上記減算手段の出力が最小値である方向を検出し、
検出された方向と上記演算手段の出力の極性をクラス情
報として出力することを特徴とするディジタル画像信号
の処理装置。6. The digital image signal processing device according to claim 1, claim 2, claim 3, or claim 4, wherein the class classification means includes subtraction means for detecting a direction. Detects the direction where the output of is the minimum value,
An apparatus for processing a digital image signal, which outputs the detected direction and the polarity of the output of the arithmetic means as class information.
求項４に記載のディジタル画像信号の処理装置におい
て、 クラス分類手段は、注目伝送画素または注目間引き画素
と隣接する画素に関して、上記注目伝送画素の値または
上記注目間引き画素の暫定的な値と最も近い値が存在す
る第２の方向を検出するための手段をさらに有し、上記
注目伝送画素または間引き画素に関して検出された第１
の方向と上記第２の方向をクラス情報として出力するこ
とを特徴とするディジタル画像信号の処理装置。7. The digital image signal processing device according to claim 1, claim 2, claim 3 or claim 4, wherein the class classification means is configured to detect the pixel adjacent to the target transmission pixel or the target thinning pixel. The method further comprises means for detecting a second direction in which a value of the transmission pixel of interest or a temporary value of the thinning pixel of interest is closest, and the first detected for the transmission pixel of interest or the thinning pixel is detected.
And the second direction are output as class information.
請求項４に記載のディジタル画像信号の処理装置におい
て、 クラス分類手段は、注目伝送画素の値または注目間引き
画素の暫定的な値と最も近い値が存在する第１の方向を
検出し、検出された値の周辺の伝送画素の値について、
上記検出された値と最も近い値が存在する第２の方向を
検出し、上記第１および第２の方向をクラス情報として
出力することを特徴とするディジタル画像信号の処理装
置。8. The digital image signal processing device according to claim 1, claim 2, claim 3, or claim 4, wherein the class classification means is a provisional value of a target transmission pixel or a target thinning-out pixel. The first direction in which the value closest to the value exists is detected, and for the values of the transmission pixels around the detected value,
An apparatus for processing a digital image signal, which detects a second direction having a value closest to the detected value and outputs the first and second directions as class information.
信号をサンプリングし、上記サンプリングによって画素
数が減少された信号を受け取り、上記サンプリングによ
り間引かれた画素を補間するようにしたディジタル画像
信号の処理方法において、 受け取ったディジタル画像信号中に存在する注目伝送画
像の周囲の伝送画素に関して、上記注目伝送画素と最も
近い値が存在する方向を検出し、上記方向によって、上
記注目伝送画素のクラスを決定し、 上記入力ディジタル画像信号中に含まれ、上記注目伝送
画素の空間的および／または時間的に近傍の複数の伝送
画素の値と係数の線形１次結合によって、上記注目伝送
画素の値を作成した時に、作成された値と上記注目伝送
画素の真値との誤差を最小とするような、係数を上記ク
ラス毎に発生し、 上記係数と上記注目伝送画素の空間的および／または時
間的に近傍の複数の伝送画素の値との線形１次結合によ
って、補正された注目伝送画素の値を生成するようにし
たことを特徴とするディジタル画像信号処理方法。9. Digital image prefiltered
The signal is sampled and the pixels are
Receive the reduced number of signals and
In a method of processing a digital image signal that interpolates thinned pixels, there is a value that is closest to the noted transmission pixel with respect to the transmission pixels around the transmission image of interest that are present in the received digital image signal. A direction is detected, the class of the transmission pixel of interest is determined according to the direction, and the values of a plurality of transmission pixels included in the input digital image signal and spatially and / or temporally adjacent to the transmission pixel of interest. When a value of the transmission pixel of interest is created by linear linear combination of the coefficient and a coefficient, a coefficient is generated for each class so as to minimize an error between the created value and the true value of the transmission pixel of interest. , A linear linear combination of the coefficient and the values of a plurality of transmission pixels spatially and / or temporally adjacent to the transmission pixel of interest generates a corrected value of the transmission pixel of interest. Digital image signal processing method, wherein was Unishi.
像信号をサンプリングし、上記サンプリングによって画
素数が減少された信号を受け取り、上記サンプリングに
より間引かれた画素を補間するようにしたディジタル画
像信号の処理方法において、 受け取ったディジタル画像信号中に存在する注目伝送画
素の周囲の伝送画素に関して、上記注目伝送画素と最も
近い値が存在する方向を検出し、上記方向によって、注
目伝送画素のクラスを決定し、 メモリ手段では、予め学習により獲得された代表値を上
記クラス毎に貯え、決定された上記クラスと対応する上
記代表値を上記注目伝送画素の値として出力するように
したことを特徴とするディジタル画像信号の処理方法。10. Digital image through a pre-filter
The image signal is sampled and the image is sampled by the above sampling.
Receive the signal with the reduced prime number and
In a method of processing a digital image signal that interpolates more thinned-out pixels , there is a value closest to the above-mentioned transmission pixel with respect to the transmission pixels around the transmission pixel of interest existing in the received digital image signal. The direction is detected, the class of the target transmission pixel is determined based on the direction, and the memory means stores the representative value acquired by learning in advance for each class, and the representative value corresponding to the determined class is set as the above-mentioned representative value. A method of processing a digital image signal, wherein the value is output as a value of a transmission pixel of interest.
ィジタル画像信号の処理方法において、 間引かれた画素を補間するための補間回路では、注目間
引き画素の空間的および／または時間的に近傍の複数の
伝送画素の値から、上記注目間引き画素の暫定的な値を
形成し、上記暫定的な値と最も近い値が存在する方向を
検出し、上記方向によって、上記注目間引き画素のクラ
スを決定し、 上記入力ディジタル画像信号中に含まれ、上記注目間引
き画素の空間的および／または時間的に近傍の複数の伝
送画素の値と係数の線形１次結合によって、上記注目間
引き画素の値を作成した時に、作成された値と上記注目
間引き画素の真値との誤差を最小とするような、係数を
上記クラス毎に発生し、 上記係数と上記注目間引き画素の空間的および／または
時間的に近傍の複数の伝送画素の値との線形１次結合に
よって、上記注目間引き画素の補間値を生成するように
したことを特徴とするディジタル画像信号処理方法。11. The method of processing a digital image signal according to claim 9 or 10, wherein an interpolation circuit for interpolating a thinned pixel spatially and / or Alternatively, the provisional value of the thinning-out pixel of interest is formed from the values of a plurality of transmission pixels that are temporally close to each other, and the direction in which a value closest to the provisional value is present is detected, and the direction of interest A class of decimated pixels is determined, and a linear linear combination of a value and a coefficient of a plurality of transmission pixels spatially and / or temporally adjacent to the decimated pixel of interest included in the input digital image signal is used to obtain the object of interest. When the value of the thinned pixel is created, a coefficient is generated for each class so as to minimize the error between the created value and the true value of the thinned pixel of interest, and the spatial coefficient of the coefficient and the thinned pixel of interest is generated. and Or by linear combination of the values of a plurality of transmission pixels temporally near, digital image signal processing method being characterized in that so as to generate an interpolated value of the target thinned pixel.
ィジタル画像信号の処理方法において、 間引かれた画素を補間するための補間回路では、注目間
引き画素の空間的および／または時間的に近傍の複数の
伝送画素の値から、上記注目間引き画素の暫定的な値を
形成し、上記暫定的な値と最も近い値が存在する方向を
検出し、上記方向によって、上記注目間引き画素のクラ
スを決定し、 メモリ手段では、予め学習により獲得された代表値を上
記クラス毎に貯え、決定された上記クラスと対応する上
記代表値を上記注目画素の値として出力するようにした
ことを特徴とするディジタル画像信号の処理方法。12. The method of processing a digital image signal according to claim 9 , wherein the interpolation circuit for interpolating the thinned pixels spatially and / or Alternatively, the provisional value of the thinning-out pixel of interest is formed from the values of a plurality of transmission pixels that are temporally close to each other, and the direction in which a value closest to the provisional value is present is detected, and the direction of interest The class of the thinned pixel is determined, and the memory unit stores the representative value acquired by learning in advance for each class and outputs the representative value corresponding to the determined class as the value of the pixel of interest. A method for processing a digital image signal, characterized in that:
たは請求項１２に記載のディジタル画像信号の処理方法
において、 画素の値を量子化した値をクラス情報としてさらに出力
することを特徴とするディジタル画像信号の処理方法。13. The method of processing a digital image signal according to claim 9, claim 10, claim 11 or claim 12, wherein a value obtained by quantizing a pixel value is further output as class information. Method for processing digital image signals.
たは請求項１２に記載のディジタル画像信号の処理方法
において、 方向を検出するための減算処理を含み、上記減算処理の
出力結果が最小値である方向を検出し、検出された方向
と上記減算処理の出力結果の極性をクラス情報として出
力することを特徴とするディジタル画像信号の処理装方
法。14. The method of processing a digital image signal according to claim 9, claim 10, claim 11 or claim 12, wherein a subtraction process for detecting a direction is included, and an output result of the subtraction process is minimum. A method for processing a digital image signal, which comprises detecting a value direction and outputting the detected direction and the polarity of the output result of the subtraction processing as class information.
たは請求項１２に記載のディジタル画像信号の処理方法
において、 注目伝送画素または注目間引き画素と隣接する画素に関
して、上記注目伝送画素の値または注目間引き画素の暫
定的な値と最も近い値が存在する第２の方向を検出し、 上記注目伝送画素または間引き画素に関して検出された
第１の方向と上記第２の方向をクラス情報として出力す
ることを特徴とするディジタル画像信号の処理方法。15. The method of processing a digital image signal according to claim 9, claim 10, claim 11 or claim 12, wherein a value of the noticed transmission pixel with respect to a noticed transmission pixel or a pixel adjacent to the noticed thinning pixel Alternatively, the second direction in which the provisional value of the target thinning pixel is closest to the detected value is detected, and the first direction and the second direction detected for the target transmission pixel or the thinning pixel are output as class information. A method of processing a digital image signal, comprising:
たは請求項１２に記載のディジタル画像信号の処理方法
において、 注目伝送画素の値または注目間引き画素の暫定的な値と
最も近い値が存在する第１の方向を検出し、検出された
値の周辺の伝送画素の値について、上記検出された値と
最も近い値が存在する第２の方向を検出し、上記第１お
よび第２の方向をクラス情報として出力することを特徴
とするディジタル画像信号の処理方法。16. The method of processing a digital image signal according to claim 9, claim 10, claim 11 or claim 12, wherein the value closest to the value of the target transmission pixel or the provisional value of the target thinning pixel is The existing first direction is detected, and for the value of the transmission pixel around the detected value, the second direction having a value closest to the detected value is detected, and the first and second directions are detected. A method of processing a digital image signal, which outputs a direction as class information.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP01781094A JP3470373B2 (en) | 1994-01-18 | 1994-01-18 | Apparatus and method for processing digital image signal |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP01781094A JP3470373B2 (en) | 1994-01-18 | 1994-01-18 | Apparatus and method for processing digital image signal |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH07212752A JPH07212752A (en) | 1995-08-11 |
| JP3470373B2 true JP3470373B2 (en) | 2003-11-25 |
Family
ID=11954092
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP01781094A Expired - Lifetime JP3470373B2 (en) | 1994-01-18 | 1994-01-18 | Apparatus and method for processing digital image signal |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3470373B2 (en) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU718453B2 (en) * | 1996-07-17 | 2000-04-13 | Sony Corporation | Image coding and decoding using mapping coefficients corresponding to class information of pixel blocks |
| KR100567710B1 (en) * | 1996-07-17 | 2006-05-25 | 소니 가부시끼 가이샤 | Image coding apparatus, image coding method, image decoding method, image decoding apparatus, image data transmitting method and recording medium |
| IL128423A (en) | 1997-06-16 | 2003-07-31 | Sony Corp | Image processing device and method, and transmission medium, tramsmission method and image format |
| KR100346202B1 (en) * | 1998-06-05 | 2002-10-25 | 삼성전자 주식회사 | Transformation coefficient prediction coding method |
| US8059908B2 (en) * | 2008-04-29 | 2011-11-15 | Sony Corporation | Adaptive area of influence filter for irregular spatial sub-sampled images |
| US8059909B2 (en) * | 2008-04-29 | 2011-11-15 | Sony Corporation | Adaptive generation of irregular spatial sub-sampling for images |
-
1994
- 1994-01-18 JP JP01781094A patent/JP3470373B2/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH07212752A (en) | 1995-08-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3271108B2 (en) | Apparatus and method for processing digital image signal | |
| US5825429A (en) | Apparatus and method for generating interpolated image data | |
| JP3470403B2 (en) | Digital image signal processing unit | |
| JP3348318B2 (en) | Digital image signal processing apparatus and processing method | |
| JP3864444B2 (en) | Image signal processing apparatus and method | |
| JP3271101B2 (en) | Digital image signal processing apparatus and processing method | |
| JP3470373B2 (en) | Apparatus and method for processing digital image signal | |
| JP3671437B2 (en) | Digital image signal processing apparatus and processing method | |
| JP3946781B2 (en) | Image information conversion apparatus and method | |
| EP0614316A2 (en) | Apparatus and method for moving picture coding | |
| JP3470380B2 (en) | Apparatus and method for processing digital image signal | |
| JP3271109B2 (en) | Digital image signal processing apparatus and processing method | |
| JP3362463B2 (en) | Frame interpolation device | |
| JP3480461B2 (en) | Digital image signal processing apparatus and processing method | |
| JP3371159B2 (en) | Digital image signal processing apparatus and processing method | |
| JP3111028B2 (en) | Image signal processing apparatus and image signal processing method | |
| JP3480015B2 (en) | Apparatus and method for generating image data | |
| JP3724008B2 (en) | Image information conversion device and coefficient data creation device | |
| JPH07193789A (en) | Picture information converter | |
| JP3709570B2 (en) | Digital image signal processing apparatus and processing method | |
| JP3480011B2 (en) | Image information conversion device | |
| JP3653287B2 (en) | Image information conversion apparatus and image information conversion method | |
| JP3831960B2 (en) | Interpolation apparatus and interpolation method for compressed high resolution video signal | |
| JP3608228B2 (en) | Digital image signal converter | |
| JP3918759B2 (en) | Image data generation apparatus and generation method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080912 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090912 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090912 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100912 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110912 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110912 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120912 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120912 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130912 Year of fee payment: 10 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |