JPH0851622A - Processor for digital picture signal - Google Patents

Processor for digital picture signal

Info

Publication number
JPH0851622A
JPH0851622A JP20286494A JP20286494A JPH0851622A JP H0851622 A JPH0851622 A JP H0851622A JP 20286494 A JP20286494 A JP 20286494A JP 20286494 A JP20286494 A JP 20286494A JP H0851622 A JPH0851622 A JP H0851622A
Authority
JP
Japan
Prior art keywords
value
pixel
transmission
pixels
digital image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP20286494A
Other languages
Japanese (ja)
Other versions
JP3671437B2 (en
Inventor
Kenji Takahashi
健治 高橋
Tetsujiro Kondo
哲二郎 近藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP20286494A priority Critical patent/JP3671437B2/en
Publication of JPH0851622A publication Critical patent/JPH0851622A/en
Application granted granted Critical
Publication of JP3671437B2 publication Critical patent/JP3671437B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

PURPOSE:To interpolate thinning out picture elements by a classification adaptive processing at the time of decoding sub-sampling signals and to improve the accuracy of classification in that case. CONSTITUTION:In order to classify the thinning picture element under consideration as an interpolation object, directions are checked for a transmission picture element B on the right side of the thinning out picture element under consideration and the transmission picture element D on the left side. The difference values of the picture element B and the respective peripheral eight picture elements are calculated and the direction for generating a minimum value among the difference values is expressed by three bits. The difference values of the picture element D on the left side and the respective peripheral eight picture elements are calculated and the direction for generating the minimum value among them is expressed by three bits. By the total of eight bits that are the total of six bits and two bits for respectively indicating the polarity of the respective difference values, the class of the thinning out picture element under consideration is expressed. Then, by the linear combination of the peripheral picture elements and coefficients obtained for the respective classes beforehand, the interpolation value of the thinning out picture element under consideration is generated.

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【産業上の利用分野】この発明は、サブサンプリング信
号を受け取って、間引き画素を補間するのに適用される
ディジタル画像信号の処理装置に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a digital image signal processing apparatus adapted to receive a sub-sampling signal and interpolate a thinned pixel.

【0002】[0002]

【従来の技術】ディジタル画像信号を記録したり、伝送
する際の帯域圧縮あるいは情報量削減のための一つの方
法として、画素をサブサンプリングによって間引くこと
によって、伝送データ量を減少させるものがある。その
一例は、MUSE方式における多重サブナイキストサン
プリングエンコーディング方式である。このシステムで
は、受信側で間引かれ、非伝送の画素を補間する必要が
ある。
2. Description of the Related Art As one method for band compression or information amount reduction when recording or transmitting a digital image signal, there is a method of reducing the amount of transmission data by thinning out pixels by subsampling. One example is the multiple sub-Nyquist sampling encoding method in the MUSE method. In this system, it is necessary to interpolate non-transmitted pixels that have been decimated on the receiving side.

【0003】サブサンプリングの一例としてオフセット
サブサンプリングが知られている。図11は、オフセッ
トサブサンプリング回路の一例であって、61で示す入
力端子にディジタルビデオ信号が供給され、プリフィル
タ62を介してサブサンプリング回路63に供給され
る。サブサンプリング回路63には、入力端子64から
所定の周波数のサンプリングパルスが供給される。
Offset subsampling is known as an example of subsampling. FIG. 11 is an example of the offset sub-sampling circuit, in which a digital video signal is supplied to the input terminal 61 and is supplied to the sub-sampling circuit 63 via the pre-filter 62. A sampling pulse having a predetermined frequency is supplied to the sub-sampling circuit 63 from the input terminal 64.

【0004】サブサンプリング回路63でなされる2次
元のオフセットサブサンプリングの一例を図12に示
す。水平方向(x方向)と垂直方向(y方向)とのサン
プリング間隔(Tx,Ty)を原信号における画素間隔
(Hx,Hy)の2倍に設定し、1画素おきに間引く
(間引き画素を×で示す)とともに、垂直方向に隣合う
伝送画素(○で示す)をサンプリング間隔の半分(Tx
/2)だけオフセットするものである。このようなオフ
セットサブサンプリングを行うことによる伝送帯域は、
斜め方向の空間周波数に対して水平あるいは垂直方向の
空間周波数成分を広帯域化することができる。
FIG. 12 shows an example of two-dimensional offset subsampling performed by the subsampling circuit 63. The sampling interval (Tx, Ty) in the horizontal direction (x direction) and the vertical direction (y direction) is set to twice the pixel interval (Hx, Hy) in the original signal, and thinning is performed every other pixel (thinning pixel is × Together with the transmission pixels (indicated by ◯) vertically adjacent to each other in the vertical direction by half the sampling interval (Tx
It is offset by / 2). The transmission band resulting from such offset subsampling is
The spatial frequency component in the horizontal or vertical direction can be widened with respect to the spatial frequency in the diagonal direction.

【0005】サブサンプリング回路63の出力信号がポ
ストフィルタ65を介して出力端子66に取り出され
る。プリフィルタ62は、サンプリングされる画像信号
の帯域を制限し、ポストフィルタは、不要な、あるいは
悪影響を及ぼす信号成分を取り除く。サブサンプリング
によって伝送されるデータ量を減少でき、比較的低い速
度の伝送路を介してディジタルビデオ信号を伝送でき
る。また、受信されたオフセットサブサンプリングされ
た画像信号をモニタに表示したり、プリントアウトする
場合には、間引き画素が隣接画素を使用して補間され
る。
The output signal of the sub-sampling circuit 63 is taken out to the output terminal 66 via the post filter 65. The pre-filter 62 limits the band of the image signal to be sampled, and the post-filter removes unnecessary or harmful signal components. The amount of data transmitted by the sub-sampling can be reduced, and the digital video signal can be transmitted through a relatively low speed transmission line. When the received offset sub-sampled image signal is displayed on the monitor or printed out, the thinned pixels are interpolated using the adjacent pixels.

【0006】ところで、上述のようなオフセットサブサ
ンプリングは、サンプリングの前のプリフィルタが正し
くフィルタリング処理を行っている場合には、非常に有
効な方法であるが、例えばハードウエア上の制約によっ
てプリフィルタを充分にかけられない場合や、伝送帯域
の広帯域化をはかるためにプリフィルタを充分にかけな
い場合等では、折返し歪の発生による画質劣化という問
題が生じる。
By the way, the offset sub-sampling as described above is a very effective method when the pre-filter before the sampling is correctly performing the filtering process. However, if the pre-filter cannot be applied sufficiently or the pre-filter is not applied sufficiently to widen the transmission band, the problem of image quality deterioration due to aliasing distortion occurs.

【0007】上述の折返し歪の発生を軽減するために、
適応補間方法が提案されている。これは、サブサンプリ
ング時に最適な補間方法の判定を予め行っておき、その
判定結果を補助情報として伝送あるいは記録する方法で
ある。例えば、水平方向の1/2平均値補間と垂直方向
の1/2平均値補間の何れの方が真値により近いかをサ
ブサンプリング時に検出しておき、1画素当り1ビット
の補助情報として伝送し、補間時には、この補助情報に
従って補間処理を行うものである。
In order to reduce the occurrence of the above-mentioned folding distortion,
Adaptive interpolation methods have been proposed. This is a method in which the optimum interpolation method is determined in advance during subsampling, and the determination result is transmitted or recorded as auxiliary information. For example, which one of the horizontal half average value interpolation and the vertical half average value interpolation is closer to the true value is detected at the time of sub-sampling and transmitted as 1 bit of auxiliary information per pixel. However, at the time of interpolation, interpolation processing is performed according to this auxiliary information.

【0008】上述の補助情報を使用する適応型補間方法
においては、伝送画素に加えて補助情報を伝送する必要
があり、データ量の圧縮率が低下する問題を生じる。ま
た、伝送、あるいは記録再生の過程において、補助情報
にエラーが生じた場合には、誤った補間がなされるため
に、再生画像の劣化が生じやすい欠点があった。
In the above-mentioned adaptive interpolation method using the auxiliary information, it is necessary to transmit the auxiliary information in addition to the transmission pixels, which causes a problem that the compression rate of the data amount is lowered. Further, when an error occurs in the auxiliary information in the process of transmission or recording / reproduction, there is a drawback that the reproduced image is likely to be deteriorated because incorrect interpolation is performed.

【0009】この問題を解決する一つの方法として、本
願出願人の提案による特開昭63−48088号公報に
は、注目間引き画素の値をその周辺の伝送画素と係数の
線形1次結合で表し、誤差の二乗和が最小となるよう
に、注目間引き画素の実際の値を使用して最小二乗法に
よりこの係数の値を決定するものが提案されている。こ
こでは、線形1次結合の係数を予め学習によって決定
し、決定係数がメモリに格納されている。さらに、注目
間引き画素を補間する時に、周辺の伝送画素の平均値を
計算し、平均値と各画素の値との大小関係に応じて、各
画素を1ビットで表現し、(参照画素数×1ビット)の
パターンに応じたクラス分けを行い、注目画素を含む画
像の局所的特徴を反映した補間値を形成している。この
クラス適応処理の方法は、補助情報を必要とせずに、間
引き画素を良好に補間することができる。
As a method for solving this problem, Japanese Patent Laid-Open No. 63-48088 proposed by the applicant of the present application describes the value of a thinned pixel of interest by a linear linear combination of a transmission pixel and a coefficient in the vicinity thereof. , A method has been proposed in which the value of this coefficient is determined by the method of least squares using the actual value of the thinned pixel of interest so that the sum of squared errors is minimized. Here, the coefficient of the linear linear combination is previously determined by learning, and the coefficient of determination is stored in the memory. Further, when interpolating the thinned pixel of interest, the average value of the surrounding transmission pixels is calculated, and each pixel is represented by 1 bit in accordance with the magnitude relationship between the average value and the value of each pixel. Classification is performed according to a 1-bit pattern to form an interpolated value that reflects the local feature of the image including the pixel of interest. This class adaptive processing method can satisfactorily interpolate thinned pixels without requiring auxiliary information.

【0010】[0010]

【発明が解決しようとする課題】上述の補間方法は、ク
ラス分けを行なう時に、参照する画素数が少なく、クラ
ス分けを細かくできず、補間の精度が低い問題があっ
た。参照する画素数を多くすると、クラス情報を表現す
るビット数が多くなり、その結果、クラス数も非常に多
くなる。このことは、係数を格納するメモリの容量の増
大をもたらす。
The above-mentioned interpolation method has a problem in that when classifying, the number of pixels to be referenced is small, the classification cannot be finely divided, and the interpolation accuracy is low. When the number of pixels to be referred to is increased, the number of bits expressing the class information is increased, and as a result, the number of classes is also increased. This leads to an increase in the capacity of the memory that stores the coefficients.

【0011】従って、この発明の目的は、サブサンプリ
ング信号を復号する時に、間引き画素をクラス適応予測
処理で補間し、その場合のクラス分けの精度が向上され
たディジタル画像信号の処理装置を提供することにあ
る。
Therefore, an object of the present invention is to provide a digital image signal processing apparatus in which, when decoding a sub-sampling signal, thinned pixels are interpolated by class adaptive prediction processing, and the accuracy of classification in that case is improved. Especially.

【0012】[0012]

【課題を解決するための手段】請求項1に記載の発明
は、プリフィルタを介されたディジタル画像信号をサン
プリングし、サンプリングによって画素数が減少された
信号を受け取り、サンプリングにより間引かれた画素を
補間するようにしたディジタル画像信号の処理装置にお
いて、受け取ったディジタル画像信号中に存在する注目
間引き画素と隣接する第1および第2の伝送画素を規定
し、第1の伝送画素とその周辺の複数の伝送画素との間
の差分値の中の最小値を検出し、最小値を指示する第1
の方向データを形成し、第2の伝送画素とその周辺の複
数の伝送画素との間の差分値の中の最小値を検出し、最
小値を指示する第2の方向データを形成し、第1および
第2の方向データを含むクラスコードを生成するための
クラス分類回路と、入力ディジタル画像信号中に含ま
れ、注目間引き画素の空間的および/または時間的に近
傍の複数の伝送画素の値と係数の線形1次結合によっ
て、注目間引き画素の値を作成した時に、作成された値
と注目間引き画素の真値との誤差を最小とするような、
係数をクラス毎に発生するための係数発生回路と、係数
と注目間引き画素の空間的および/または時間的に近傍
の複数の伝送画素の値との線形1次結合によって、注目
間引き画素の補間値を生成するための演算回路とからな
ることを特徴とするディジタル画像信号の処理装置であ
る。
According to a first aspect of the present invention, a digital image signal that has passed through a prefilter is sampled, a signal whose number of pixels is reduced by sampling is received, and pixels thinned by sampling are received. In a digital image signal processing device adapted to interpolate the above, the first and second transmission pixels adjacent to the target thinning pixel existing in the received digital image signal are defined, and the first transmission pixel and its periphery are defined. A first value that detects a minimum value among the difference values between a plurality of transmission pixels and indicates the minimum value
Direction data of the second transmission pixel and a minimum value of the difference values between the second transmission pixel and a plurality of transmission pixels around the second transmission pixel are detected, and second direction data indicating the minimum value is formed. A class classification circuit for generating a class code including the first and second direction data, and values of a plurality of transmission pixels included in the input digital image signal and spatially and / or temporally adjacent to the thinning-out pixel of interest When a value of the target thinning pixel is created by linear linear combination of and the coefficient, the error between the created value and the true value of the target thinning pixel is minimized.
A coefficient generation circuit for generating a coefficient for each class, and a linear primary combination of the coefficient and the values of a plurality of transmission pixels spatially and / or temporally adjacent to the target thinning pixel are used to interpolate the target thinning pixel. And an arithmetic circuit for generating a digital image signal.

【0013】請求項4に記載の発明は、受け取ったディ
ジタル画像信号中に存在する注目間引き画素と隣接する
第1および第2の伝送画素を規定し、第1の伝送画素と
その周辺の複数の伝送画素との間の差分値の中の最小値
を検出し、最小値を指示する第1の方向データを形成
し、第2の伝送画素とその周辺の複数の伝送画素との間
の差分値の中の最小値を検出し、最小値を指示する第2
の方向データを形成し、第1および第2の方向データを
含むクラスコードを生成するためのクラス分類回路と、
予め学習により獲得された代表値がクラス毎に貯えら
れ、クラス分類回路によって決定されたクラスと対応す
る代表値を注目間引き画素の値として出力するためのメ
モリ回路とからなることを特徴とするディジタル画像信
号の処理装置である。
According to a fourth aspect of the present invention, the first and second transmission pixels adjacent to the thinning-out pixel of interest present in the received digital image signal are defined, and the first transmission pixel and a plurality of pixels around the first transmission pixel are defined. The minimum value among the difference values between the transmission pixel and the transmission pixel is detected, the first direction data indicating the minimum value is formed, and the difference value between the second transmission pixel and a plurality of transmission pixels in the vicinity thereof. Second of detecting the minimum value in and indicating the minimum value
And a class classification circuit for generating a class code including the first and second direction data,
A digital circuit characterized in that a representative value acquired by learning in advance is stored for each class, and that the class determined by the class classification circuit and a memory circuit for outputting the representative value corresponding to the class as the value of the target thinning pixel An image signal processing device.

【0014】[0014]

【作用】間引き画素について、予め学習により獲得され
た係数と周辺の伝送画素の値との線形1次結合によって
補間値、すなわち、予測された間引き画素の値を形成す
ることができる。この係数は、補間しようとする間引き
画素を中心とする部分的な小領域の特徴と対応するクラ
ス毎に決定される。クラス分けは、注目間引き画素と隣
接する二つの伝送画素を規定し、各伝送画素について方
向性を調べる。この方向性が注目間引き画素のクラス情
報として採用される。
With respect to the thinned pixel, an interpolated value, that is, a predicted thinned pixel value can be formed by a linear linear combination of the coefficient obtained by learning in advance and the values of the surrounding transmission pixels. This coefficient is determined for each class corresponding to the feature of the partial small area centered on the thinned pixel to be interpolated. In the classification, two transmission pixels adjacent to the thinned pixel of interest are defined, and the directionality of each transmission pixel is checked. This directionality is adopted as the class information of the thinned pixel of interest.

【0015】[0015]

【実施例】以下、この発明をサブサンプリング信号補間
装置に対して適用した一実施例について説明する。この
一実施例は、間引き画素を補間するのみならず、伝送画
素の補正をも行なうものである。すなわち、伝送画素に
ついても、プリフィルタおよびポストフィルタを介して
伝送されるために、高域成分が失われており、その結
果、信号波形がなまる問題が生じる。この問題を解決す
るために、伝送画素の補正がなされる。
DESCRIPTION OF THE PREFERRED EMBODIMENTS An embodiment in which the present invention is applied to a subsampling signal interpolating device will be described below. This embodiment not only interpolates the thinned pixels, but also corrects the transmission pixels. In other words, the transmission pixel is also transmitted through the pre-filter and the post-filter, so that the high frequency component is lost, and as a result, the signal waveform becomes dull. To solve this problem, the correction of the transmission pixel is performed.

【0016】一実施例の構成を示す図1において、1
は、オフセットサブサンプリングされたディジタルビデ
オ信号の入力端子である。具体的には、放送などによる
伝送、VTR等からの再生信号が入力端子1に供給され
る。伝送画素の値は、8ビットのコードで表されてい
る。2は、テレビジョンラスター順序で到来する入力信
号をブロックの順序に変換するための時系列変換回路で
ある。
In FIG. 1 showing the structure of one embodiment, 1
Is an input terminal of the offset sub-sampled digital video signal. Specifically, a transmission signal by broadcasting or the like, a reproduction signal from a VTR or the like is supplied to the input terminal 1. The value of the transmission pixel is represented by an 8-bit code. Reference numeral 2 is a time-series conversion circuit for converting an input signal arriving in a television raster order into a block order.

【0017】時系列変換回路2の出力信号がクラス分類
回路3および4に供給される。クラス分類回路3は、補
間の対象の注目間引き画素のクラスを決定するもので、
そのクラスを指示するクラスコードがメモリ5に対して
アドレスとして供給される。クラス分類回路4は、補正
の対象の注目伝送画素のクラスを決定するもので、その
クラスを指示するクラスコードがメモリ6に対してアド
レスとして供給される。メモリ5から読出された予測係
数が補間値生成回路7に供給され、メモリ6から読出さ
れた予測係数が補正値生成回路8に供給される。
The output signal of the time series conversion circuit 2 is supplied to the class classification circuits 3 and 4. The class classification circuit 3 determines the class of the target thinned pixel to be interpolated,
A class code indicating the class is supplied to the memory 5 as an address. The class classification circuit 4 determines the class of the target transmission pixel to be corrected, and a class code indicating the class is supplied to the memory 6 as an address. The prediction coefficient read from the memory 5 is supplied to the interpolation value generation circuit 7, and the prediction coefficient read from the memory 6 is supplied to the correction value generation circuit 8.

【0018】メモリ5および6には、後述のように、予
め学習により獲得された予測係数が格納されている。こ
の係数は、間引き画素の補間値と伝送画素の補正値をそ
れぞれ予測するために必要とされる。補間値および補正
値は、何れも予測値であるが、間引き画素に対する予測
値を補間値と称し、伝送画素に対する予測値を補正値と
称している。補間値生成回路7および補正値生成回路8
に対しては、注目画素の周囲の複数の画素の値が時系列
変換回路2から供給される。そして、補間値生成回路7
は、注目間引き画素の予測値をメモリ5からの係数と周
囲の伝送画素の値との線形1次結合によって生成する。
同様に、補正値生成回路8は、注目伝送画素の補正値を
メモリ6からの係数と周囲の伝送画素の値との線形1次
結合によって生成する
As will be described later, the memories 5 and 6 store prediction coefficients previously acquired by learning. This coefficient is required to predict the interpolation value of the thinned pixel and the correction value of the transmission pixel, respectively. Both the interpolation value and the correction value are prediction values, but the prediction value for the thinned pixel is called an interpolation value, and the prediction value for the transmission pixel is called a correction value. Interpolation value generation circuit 7 and correction value generation circuit 8
For, the values of a plurality of pixels around the target pixel are supplied from the time series conversion circuit 2. Then, the interpolation value generation circuit 7
Generates a predicted value of the thinned pixel of interest by a linear linear combination of the coefficient from the memory 5 and the values of surrounding transmission pixels.
Similarly, the correction value generation circuit 8 generates the correction value of the target transmission pixel by linear linear combination of the coefficient from the memory 6 and the values of the surrounding transmission pixels.

【0019】生成された補正値および補間値とが合成回
路9に供給され、出力端子10に間引き画素が補間さ
れ、また、フィルタ処理で失われた周波数成分を補償さ
れたディジタルビデオ信号が出力される。図示しない
が、出力端子10に対して時系列変換回路が接続され、
ブロックの順序からラスター走査の順序へ変換されたデ
ィジタルビデオ信号が形成される。
The generated correction value and interpolation value are supplied to the synthesizing circuit 9, the thinned pixels are interpolated at the output terminal 10, and the digital video signal in which the frequency component lost by the filtering process is compensated is output. It Although not shown, a time series conversion circuit is connected to the output terminal 10,
A digital video signal is formed that has been converted from a block order to a raster scan order.

【0020】クラス分類回路3は、注目間引き画素のク
ラスを決定し、クラス分類回路4は、注目伝送画素のク
ラスを決定する。最初に、クラス分類回路4について説
明すると、これは、注目伝送画素の近傍の伝送画素のレ
ベル分布のパターンに基づいて、この注目伝送画素のク
ラスを決定する。図2に示すように、注目伝送画素(そ
の真値をyとする)の上下左右の最も近い距離の伝送画
素(a、b、c、d)のレベル分布のパターンをクラス
として決定する。一例として、この参照される4画素の
平均値Avを求め、平均値Avに対する大小関係によっ
て、周囲の画素を8ビットから1ビットへ圧縮する。す
なわち、図3に一例を示すように、平均値Avより大き
い値の場合は、`1' を割り当て、平均値Avより小さい
値の場合は、`0' を割り当てる。図3の例では、(10
10)の4ビットのコードが得られる。
The class classification circuit 3 determines the class of the target thinned pixel, and the class classification circuit 4 determines the class of the target transmission pixel. First, the class classification circuit 4 will be described. This classifies the class of the transmission pixel of interest based on the pattern of the level distribution of the transmission pixels in the vicinity of the transmission pixel of interest. As shown in FIG. 2, the level distribution pattern of the transmission pixels (a, b, c, d) at the closest distances above, below, left and right of the transmission pixel of interest (its true value is y) is determined as a class. As an example, the average value Av of the four referenced pixels is obtained, and the surrounding pixels are compressed from 8 bits to 1 bit according to the magnitude relationship with the average value Av. That is, as shown in an example in FIG. 3, when the value is larger than the average value Av, "1" is assigned, and when the value is smaller than the average value Av, "0" is assigned. In the example of FIG. 3, (10
The 4-bit code of 10) is obtained.

【0021】クラス分類回路4が発生するクラスコード
としては、周辺画素のみならず、注目伝送画素の値yの
情報を含むものが使用される。例えば画素値yを平均値
と比較した1ビットを加えた5ビットが使用できる。こ
の場合、注目伝送画素を1ビットではなくて、注目伝送
画素の値yをADRCによって圧縮した数ビットの量子
化値とを組み合わせたものを使用しても良い。すなわ
ち、ADRCは、複数の画素のダイナミックレンジDR
および最小値MINを検出し、各画素の値から最小値M
INを減算し、最小値が減算された値をダイナミックレ
ンジDRで除算し、商を整数化する処理である。
The class code generated by the class classification circuit 4 includes not only the peripheral pixels but also the information of the value y of the transmission pixel of interest. For example, 5 bits obtained by adding 1 bit comparing the pixel value y to the average value can be used. In this case, it is possible to use not the 1-bit transmission pixel of interest, but a combination of the quantization value of several bits obtained by compressing the value y of the transmission pixel of interest by ADRC. That is, ADRC is a dynamic range DR of a plurality of pixels.
And the minimum value MIN are detected, and the minimum value M is calculated from the value of each pixel.
This is a process of subtracting IN, dividing the value obtained by subtracting the minimum value by the dynamic range DR, and converting the quotient into an integer.

【0022】例えば1ビットADRCの場合について説
明すると、a〜dおよびyの5画素の中の最大値MAX
および最小値MINが検出され、ダイナミックレンジD
R(=MAX−MIN)が計算される。各画素a〜dお
よびyの値から最小値MINが減算され、最小値除去後
の値がダイナミックレンジDRで割算される。この割算
の商が0.5と比較され、0.5以上の場合は、`1' と
され、商が0.5より少ない場合は、`0' とされる。1
ビットADRCは、上述の平均値と各画素の値とを比較
するものと実質的に同一の結果が得られる。2ビットA
DRCの場合であれば、DR/22 で計算される量子化
ステップ幅によって、最小値除去後の値が割算される。
For example, in the case of 1-bit ADRC, the maximum value MAX among the 5 pixels a to d and y will be described.
And the minimum value MIN is detected, the dynamic range D
R (= MAX-MIN) is calculated. The minimum value MIN is subtracted from the value of each pixel a to d and y, and the value after the minimum value is removed is divided by the dynamic range DR. The quotient of this division is compared with 0.5, and when it is 0.5 or more, it is set to "1", and when the quotient is less than 0.5, it is set to "0". 1
The bit ADRC gives substantially the same result as comparing the above average value with the value of each pixel. 2 bits A
In the case of DRC, the value after removal of the minimum value is divided by the quantization step width calculated in DR / 2 2 .

【0023】クラス分類回路3は、注目間引き画素(そ
の真値をYとする)のクラスを決定する。図4は、クラ
ス分類のために使用される伝送画素の配列を示してい
る。注目間引き画素Yと隣接する二つの伝送画素例えば
左右に位置する画素BおよびDを規定し、画素Bおよび
Dに関してそれぞれ方向性を調べる。図5Aは、左側の
画素Dを使用して方向性を調べる様子を示し、図5B
は、右側の画素Bを使用して方向性を調べる様子を示
す。
The class classification circuit 3 determines the class of the thinned-out pixel of interest (its true value is Y). FIG. 4 shows an array of transmission pixels used for classification. Two transmission pixels adjacent to the target thinning pixel Y, for example, pixels B and D located on the left and right are defined, and the directionality of each of the pixels B and D is examined. FIG. 5A shows how the pixel D on the left side is used to check the directivity, and FIG.
Shows how to check the directionality using the pixel B on the right side.

【0024】図5Aに示すように、画素Dを中心とし
て、左右の画素(B、N)、上下の画素(G、H)、斜
め上の画素(A、L)、斜め下の画素(C、K)の配列
において、次の差分値D0〜D7を計算する。 D0=D−H、 D1=D−L、 D2=D−N、 D
3=D−K D4=D−G、 D5=D−C、 D6=D−B、 D
7=D−A
As shown in FIG. 5A, with the pixel D at the center, left and right pixels (B, N), upper and lower pixels (G, H), diagonally upper pixels (A, L), diagonally lower pixels (C). , K), the next difference values D0 to D7 are calculated. D0 = D-H, D1 = D-L, D2 = D-N, D
3 = D-K D4 = D-G, D5 = D-C, D6 = D-B, D
7 = D-A

【0025】これらの差分値D0〜D7の中の最小値を
検出する。この最小値が存在する方向が図5Cに示すよ
うに、3ビットの方向コードにより指示される。例えば
差分値(D3)が最小であれば、方向コードが(01
1)とされる。図5Bに示すように、注目間引き画素Y
の右側の伝送画素Bを使用して、上述と同様に、次の差
分値D0´〜D7´が形成される。 D0´=B−E、 D1´=B−A、 D2´=B−
D、 D3´=B−C D4´=B−F、 D5´=B−J、 D6´=B−
M、 D7´=B−I
The minimum value among these difference values D0 to D7 is detected. The direction in which this minimum value exists is indicated by a 3-bit direction code, as shown in FIG. 5C. For example, when the difference value (D3) is the minimum, the direction code is (01
1). As shown in FIG. 5B, the target thinning pixel Y
The transmission pixels B on the right side of are used to form the next difference values D0'-D7 ', as described above. D0 '= BE, D1' = BA, D2 '= B-
D, D3 ′ = B−C D4 ′ = B−F, D5 ′ = B−J, D6 ′ = B−
M, D7 '= BI

【0026】そして、差分値D0´〜D7´の中の最小
値が検出され、最小値が存在する方向が3ビットの方向
コードで指示される。左側の画素について発生した方向
コードと右側の画素について発生した方向コードの合計
6ビットが注目間引き画素Yのクラスコードとして採用
される。また、必要に応じて、最小である二つの差分値
の極性を示す符号ビット(2ビット)をクラスコードに
加えて、合計8ビットのクラスコードを形成しても良
い。
Then, the minimum value among the difference values D0 'to D7' is detected, and the direction in which the minimum value exists is designated by a 3-bit direction code. A total of 6 bits of the direction code generated for the pixel on the left side and the direction code generated for the pixel on the right side are adopted as the class code of the target thinned-out pixel Y. If necessary, a code bit (2 bits) indicating the minimum polarity of the two difference values may be added to the class code to form a class code of 8 bits in total.

【0027】さらに、左右の画素(BおよびD)のみな
らず、上下の画素(AおよびC)についてもそれぞれ上
述と同様に方向性を求めても良い。また、クラス分けの
ために、注目間引き画素Yの周囲の伝送画素の値を量子
化して、その量子化値(ビット数が元の8ビットより1
ビットあるいは数ビットへ低減されている)を組み合わ
せて使用することもできる。量子化としては、上述のA
DRCを使用できる。この場合、方向性を求める画素
と、量子化する画素との組合せは、種々可能である。す
なわち、方向性を上下の画素(AおよびC)に関してそ
れぞれ求め、左右の画素(BおよびD)をそれぞれ量子
化する方法等が可能である。さらに、方向性および量子
化を同一の画素についてそれぞれ行なうようにしても良
い。例えば方向性を上下の画素に関して求めるととも
に、上下の画素を量子化する方法が可能である。
Further, not only the right and left pixels (B and D) but also the upper and lower pixels (A and C) may be obtained with the directivity in the same manner as described above. Further, for classification, the values of the transmission pixels around the target thinned pixel Y are quantized, and the quantized value (the number of bits is 1 from the original 8 bits).
Bits or reduced to a few bits) can also be used in combination. As the quantization, the above A
DRC can be used. In this case, various combinations of the pixel for which the directionality is to be obtained and the pixel to be quantized are possible. That is, it is possible to obtain a directivity for each of the upper and lower pixels (A and C) and quantize each of the left and right pixels (B and D). Furthermore, the directivity and the quantization may be performed for the same pixel. For example, it is possible to obtain the directionality for upper and lower pixels and quantize the upper and lower pixels.

【0028】このように、注目間引き画素と隣接する複
数の伝送画素について方向性を求めることによって、広
い領域の特徴を反映し、然も、少ないビット数、言い換
えると少ないクラス数でもって注目間引き画素のクラス
を決定することができる。若し、周辺の伝送画素の8ビ
ットデータをそのまま使用すると、クラス数が膨大とな
り、メモリの容量、メモリの制御回路等のハードウエア
の規模が大きくなりすぎる。この発明は、このような問
題点を解消できる。
As described above, by determining the directivity of a plurality of transmission pixels adjacent to the target thinning pixel, the characteristics of a wide area are reflected, and the target thinning pixel is small with a small number of bits, in other words, a small number of classes. The class of can be determined. If 8-bit data of peripheral transmission pixels is used as it is, the number of classes becomes enormous, and the memory capacity and the scale of hardware such as a memory control circuit become too large. The present invention can solve such a problem.

【0029】さらに、上述の一実施例では、方向性を求
める時に、差分値の最小値を検出しているが、差分値を
小さい順に並べた時に、第n番目の差分値を生じさせる
方向を方向性データとしても良い。第n番目の差分値を
検出することによって、方向性データを求めることの効
果について図6を参照して説明する。
Further, in the above-described embodiment, the minimum value of the difference values is detected when obtaining the directionality, but when the difference values are arranged in ascending order, the direction in which the n-th difference value is generated is determined. It may be directional data. The effect of obtaining the directionality data by detecting the nth difference value will be described with reference to FIG.

【0030】図6Aおよび図6Bは、急峻な<のパター
ンの画像を示している。図6Aおよび図6Bにおいて、
各伝送画素の上側に付された数字は、画素値の相対的な
レベル関係を示す。すなわち、値の小さい方から順に、
1,2,3,4,5の数字が記入されている。例えば図
6Aにおいて、〔1〕が付された伝送画素E,A,D,
C,Fが最もレベルが小さい画素であり、これらの画素
によって、<状パターンの谷(最も低いレベル部分)が
形成されている。
6A and 6B show images of a steep <pattern. In FIGS. 6A and 6B,
The number attached to the upper side of each transmission pixel indicates the relative level relationship of pixel values. That is, from the smallest value,
The numbers 1, 2, 3, 4, and 5 are entered. For example, in FIG. 6A, the transmission pixels E, A, D, labeled with [1],
C and F are the pixels with the lowest level, and these pixels form the valley of the <like pattern (the lowest level portion).

【0031】図6Aのレベル分布に対して、上述のよう
に差分を計算すると、注目間引き画素の左側の伝送画素
Dについては、D−C(またはD−A)が最小値とな
り、方向コード(101)(または(111))が求め
られる。また、右側の画素Bについては、B−J(また
はB−I)が最小となり、(101)(または(11
1))の方向コードが求められる。これらの方向コード
から注目間引き画素のクラスコードが決定される。
When the difference is calculated as described above with respect to the level distribution of FIG. 6A, DC (or DA) of the transmission pixel D on the left side of the thinned pixel of interest becomes the minimum value, and the direction code ( 101) (or (111)) is required. Regarding the pixel B on the right side, B-J (or B-I) becomes the minimum, and (101) (or (11
The direction code of 1)) is obtained. The class code of the thinned pixel of interest is determined from these direction codes.

【0032】図6Bにおいて、伝送画素A,N,C等で
<状パターンの谷が形成されている。左側の画素Dにつ
いて方向を調べると、D−K(またはD−L)が最小と
なり、方向コードとして、(001)(または(01
1))が得られる。左側の画素Bについては、B−Mが
最小となり、(110)の方向コードが得られる。ここ
で、画素Dについての差分の最小値を生じさせる画素L
およびKは、<状のエッジの外側に位置するので、注目
間引き画素が含まれる画像とは別の画像の画素である可
能性が高い。一方、図6Aの場合では、画素Dについて
差分の最小値を生じさせる画素AまたはCは、<状のエ
ッジの内側に位置する。従って、これらの画素は、注目
間引き画素が含まれる画像と同一の画像を構成している
ものと考えられる。
In FIG. 6B, valleys having a <-shaped pattern are formed in the transfer pixels A, N, C and the like. When the direction of the pixel D on the left side is examined, DK (or DL) becomes the minimum, and the direction code is (001) (or (01
1)) is obtained. For the pixel B on the left side, BM becomes the minimum, and the direction code of (110) is obtained. Here, the pixel L that produces the minimum difference value for the pixel D
Since K and K are located outside the <-shaped edge, they are likely to be pixels of an image different from the image including the target thinned pixel. On the other hand, in the case of FIG. 6A, the pixel A or C that causes the minimum value of the difference for the pixel D is located inside the <-shaped edge. Therefore, it is considered that these pixels form the same image as the image including the target thinned pixel.

【0033】クラス分けは、注目間引き画素の周辺の画
素のレベル分布から、注目間引き画素が含まれる画像の
特徴を抽出し、抽出された特徴に基づいてクラスを決定
するものである。従って、上述の図6Bの場合のよう
に、エッジを挟んで注目間引き画素の画像と異なる画像
に含まれる可能性の高い画素を使用して方向性を検出す
ることは、クラス分けの精度の低下をもたらす。
In the classification, the features of the image including the target thinning pixel are extracted from the level distribution of the pixels around the target thinning pixel, and the class is determined based on the extracted feature. Therefore, as in the case of FIG. 6B described above, if the directionality is detected using pixels that are highly likely to be included in an image different from the image of the target thinned pixel across the edge, the accuracy of the classification will be reduced. Bring

【0034】上述した理由から、<状のエッジの付近の
画素のクラス分けを行なう時に、最小値を検出すること
は、常に最良と言えない。図6Bの場合では、D−Bで
求められる差分値(これは、最小値ではなく、2番目あ
るいは3番目の値である)と対応する方向コード(11
0)を形成することが好ましい。一般的には、小さい方
(または大きい方)から第n番目の差分と対応して方向
コードが形成される。但し、図6Bの場合は、特殊なレ
ベル分布と言えるので、最小値の方向と第n番目の値の
方向との組み合わせによって、方向コードを生成するの
が実際的である。
For the above reason, it is not always the best to detect the minimum value when classifying pixels in the vicinity of the <-shaped edge. In the case of FIG. 6B, the difference value (this is not the minimum value but the second or third value) obtained in D-B and the corresponding direction code (11
0) is preferably formed. Generally, a direction code is formed corresponding to the n-th difference from the smaller one (or the larger one). However, in the case of FIG. 6B, since it can be said that it is a special level distribution, it is practical to generate the direction code by the combination of the direction of the minimum value and the direction of the nth value.

【0035】さて、補間値生成回路7は、メモリ5から
の予測係数と周辺伝送画素の値との線形1次結合によっ
て、補間値を生成する。一例として、図4に示すよう
に、クラス分類のために使用したA〜Pの16個の画素
の値を補間値生成のために使用する。しかしながら、補
間値生成のための画素とクラス分けのための画素とが同
一の必要はない。補正値生成回路8は、メモリ6からの
予測係数の周囲の伝送画素の値の線形1次結合によっ
て、補正値を生成する。この予測のためには、自分自身
の値yを使用しない。また、予測のために、a〜dの4
画素またはこれより多い数の周囲の伝送画素が使用され
る。メモリ5および6に格納されている予測係数は、予
め学習により獲得されたものである。
The interpolation value generation circuit 7 generates an interpolation value by linearly combining the prediction coefficient from the memory 5 and the value of the peripheral transmission pixel. As an example, as shown in FIG. 4, the values of 16 pixels A to P used for classification are used for generating an interpolation value. However, the pixel for generating the interpolation value and the pixel for classifying need not be the same. The correction value generation circuit 8 generates a correction value by linearly combining the values of the transmission pixels around the prediction coefficient from the memory 6. We do not use our own value y for this prediction. In addition, for prediction, 4 of a to d
Pixels or a larger number of surrounding transmission pixels are used. The prediction coefficients stored in the memories 5 and 6 are obtained by learning in advance.

【0036】図7は、予測係数を決定するための学習時
の構成を示す。学習は、図1の入力端子1に供給される
ディジタルビデオ信号を原ディジタルビデオ信号から形
成する処理と同様の処理を行なう。学習によって、注目
伝送画素および注目間引き画素の真値に対する予測値が
有する誤差の二乗和を最小とするような係数が最小二乗
法により決定される。
FIG. 7 shows the structure at the time of learning for determining the prediction coefficient. The learning process is similar to the process of forming the digital video signal supplied to the input terminal 1 of FIG. 1 from the original digital video signal. Through learning, the coefficient that minimizes the sum of squares of the errors of the predicted values with respect to the true values of the target transmission pixel and the target thinning pixel is determined by the least square method.

【0037】図7において、11で示す入力端子に原デ
ィジタルビデオ信号が供給される。入力端子11に対し
て、プリフィルタ12、サブサンプリング回路13およ
びポストフィルタ15が接続される。サブサンプリング
回路13には、入力端子14からオフセットサブサンプ
リングを行うための所定の周波数のサンプリングパルス
が供給される。従って、ポストフィルタ15の出力に
は、オフセットサブサンプリングされたディジタルビデ
オ信号が得られる。
In FIG. 7, the original digital video signal is supplied to the input terminal indicated by 11. A prefilter 12, a subsampling circuit 13, and a postfilter 15 are connected to the input terminal 11. The sub-sampling circuit 13 is supplied from the input terminal 14 with a sampling pulse having a predetermined frequency for performing offset sub-sampling. Therefore, at the output of the post filter 15, the offset sub-sampled digital video signal is obtained.

【0038】ポストフィルタ15に対して時系列変換回
路16が接続され、ラスター走査の順序からブロックの
順序へ変換されたビデオデータがクラス分類回路17お
よび18に供給される。クラス分類回路17は、上述の
クラス分類回路3と同様に、周囲の伝送画素A〜Pを使
用して注目間引き画素のクラスを決定する。クラス分類
回路18は、上述のクラス分類回路4と同様に、注目伝
送画素のクラスを決定する。クラス分類回路17および
18からのクラスコードが係数決定回路19および20
にそれぞれ供給される。
A time series conversion circuit 16 is connected to the post filter 15, and the video data converted from the raster scan order to the block order is supplied to the class classification circuits 17 and 18. Similar to the class classification circuit 3 described above, the class classification circuit 17 uses the surrounding transmission pixels A to P to determine the class of the target thinning pixel. The class classification circuit 18 determines the class of the target transmission pixel, similarly to the class classification circuit 4 described above. The class codes from the class classification circuits 17 and 18 are the coefficient determination circuits 19 and 20.
Is supplied to each.

【0039】係数決定回路19および20は、線形1次
結合で生成される予測値とその真値との誤差の二乗和を
最小とするような予測係数を決定する。入力端子11に
供給される原データが時系列変換回路23に供給され、
この回路23から係数決定回路19および20に対して
注目間引き画素の真値および注目伝送画素の真値が供給
される。また、係数決定回路19および20には、予測
のために使用される画素が時系列変換回路16から供給
される。
The coefficient determination circuits 19 and 20 determine the prediction coefficient that minimizes the sum of squares of the error between the predicted value generated by the linear linear combination and its true value. The original data supplied to the input terminal 11 is supplied to the time series conversion circuit 23,
The true value of the thinned-out pixel of interest and the true value of the transmission pixel of interest are supplied from the circuit 23 to the coefficient determination circuits 19 and 20. In addition, the pixels used for prediction are supplied from the time series conversion circuit 16 to the coefficient determination circuits 19 and 20.

【0040】各係数決定回路は、最小二乗法によって最
良の予測係数を決定する。決定された予測係数がメモリ
21および22にそれぞれ格納される。格納アドレス
は、クラス分類回路19および20からのクラスコード
で指示される。一例として、間引き画素の補間値に関す
る係数決定の処理をソフトウェア処理で行う動作につい
て、図8を参照して説明する。なお、間引き画素の補間
値に関する係数決定も、図8と同様の処理でなされる。
Each coefficient determination circuit determines the best prediction coefficient by the method of least squares. The determined prediction coefficients are stored in the memories 21 and 22, respectively. The storage address is designated by the class code from the class classification circuits 19 and 20. As an example, the operation of performing the coefficient determination process regarding the interpolation value of the thinned pixel by software processing will be described with reference to FIG. 8. The determination of the coefficient related to the interpolation value of the thinned pixel is also performed by the same process as in FIG.

【0041】まず、ステップ41から処理の制御が開始
され、ステップ42の学習データ形成では、既知の画像
に対応した学習データが形成される。ステップ43のデ
ータ終了では、入力された全データ例えば1フレームの
データの処理が終了していれば、ステップ46の予測係
数決定へ、終了していなければ、ステップ44のクラス
決定へ制御が移る。
First, control of the process is started from step 41, and in the learning data formation of step 42, learning data corresponding to a known image is formed. At the end of the data in step 43, if the processing of all the input data, for example, one frame of data has been completed, the control proceeds to the prediction coefficient determination of step 46, and if not completed, the control proceeds to the class determination of step 44.

【0042】ステップ44のクラス決定は、上述のよう
に、注目間引き画素と隣接する二つの画素に関してそれ
ぞれ方向コードを生成し、二つの方向コードに基づい
て、注目間引き画素のクラスを決定するステップであ
る。次のステップ45の正規方程式生成では、後述する
正規方程式が作成される。
As described above, the class determination in step 44 is a step in which the direction code is generated for each of the two pixels adjacent to the target thinned pixel and the class of the target thinned pixel is determined based on the two direction codes. is there. In the normal equation generation in the next step 45, a normal equation described later is created.

【0043】ステップ43のデータ終了から全データの
処理が終了後、制御がステップ46に移り、ステップ4
6の予測係数決定では、後述する式(8)を行列解法を
用いて解いて、係数を決める。ステップ47の予測係数
ストアで、予測係数をメモリ21にストアし、ステップ
48で学習処理の制御が終了する。
After the processing of all the data is completed from the end of the data in step 43, the control proceeds to step 46, and step 4
In the determination of the prediction coefficient of 6, the coefficient is determined by solving the equation (8) described later using the matrix solution method. The prediction coefficient is stored in the memory 21 by the prediction coefficient store in step 47, and the learning process control ends in step 48.

【0044】図8中のステップ45(正規方程式生成)
およびステップ46(予測係数決定)の処理をより詳細
に説明する。学習時には、注目間引き画素の真値yが既
知である。注目間引き画素の補間値をy´、その周囲の
画素の値をx1 〜xn としたとき、クラス毎に係数w1
〜wn によるnタップの線形1次結合 y´=w11 +w22 +‥‥+wn n (1) を設定する。学習前はwi が未定係数である。
Step 45 in FIG. 8 (normal equation generation)
The process of step 46 (determination of prediction coefficient) will be described in more detail. At the time of learning, the true value y of the target thinned pixel is known. When the interpolation value of the thinned pixel of interest is y ′ and the values of the surrounding pixels are x 1 to x n , the coefficient w 1 for each class
N-tap linear first-order combination by ˜w n y ′ = w 1 x 1 + w 2 x 2 + ... + w n x n (1) is set. Before learning, w i is an undetermined coefficient.

【0045】上述のように、学習はクラス毎になされ、
データ数がmの場合、式(1)に従って、 yj ´=w1j1+w2j2+‥‥+wn jn (2) (但し、j=1,2,‥‥m)
As mentioned above, learning is performed for each class,
When the number of data is m, according to the equation (1), y j ′ = w 1 x j1 + w 2 x j2 + ... + w n x jn (2) (where j = 1, 2, ...

【0046】m>nの場合、w1 〜wn は一意には決ま
らないので、誤差ベクトルEの要素を ej =yj −(w1j1+w2j2+‥‥+wn jn) (3) (但し、j=1,2,‥‥m)と定義して、次の式
(4)を最小にする係数を求める。
When m> n, w 1 to w n are not uniquely determined, so the elements of the error vector E are e j = y j − (w 1 x j1 + w 2 x j2 + ... + w n x jn (3) (However, j = 1, 2, ..., M) is defined, and a coefficient that minimizes the following expression (4) is obtained.

【0047】[0047]

【数1】 [Equation 1]

【0048】いわゆる最小自乗法による解法である。こ
こで式(4)のwi による偏微分係数を求める。
This is the so-called least squares method. Here, the partial differential coefficient by w i of the equation (4) is obtained.

【0049】[0049]

【数2】 [Equation 2]

【0050】式(5)を0にするように各wi を決めれ
ばよいから、
Since each w i may be determined so that the equation (5) becomes 0,

【0051】[0051]

【数3】 (Equation 3)

【0052】として、行列を用いるとUsing a matrix as

【0053】[0053]

【数4】 [Equation 4]

【0054】となる。この方程式は一般に正規方程式と
呼ばれている。この方程式を掃き出し法等の一般的な行
列解法を用いて、wi について解けば、予測係数wi
求まり、クラスコードをアドレスとして、この予測係数
i をメモリに格納しておく。
It becomes This equation is generally called a normal equation. If this equation is solved for w i using a general matrix solution method such as a sweeping method, the prediction coefficient w i is obtained, and this prediction coefficient w i is stored in the memory using the class code as an address.

【0055】図8は、学習のためのソフトウェア構成を
示しているが、ハードウエアの構成またはソフトウェア
およびハードウエアを併用した構成によって、学習を行
うこともできる。また、補間値および補正値を形成する
のに、予測係数による線形1次結合に限らず、これらの
データの値そのものを学習によって予め作成し、この値
を補間値および補正値としても良い。
Although FIG. 8 shows a software structure for learning, learning can be performed by a hardware structure or a combination of software and hardware. Further, the interpolation value and the correction value are not limited to the linear linear combination using the prediction coefficient, but the values themselves of these data may be created in advance by learning, and the values may be used as the interpolation value and the correction value.

【0056】図9は、データの値そのものを予め作成す
るための学習を説明するためのフローチャートである。
制御の開始のステップ51、学習データ形成のステップ
52、データ終了のステップ53およびクラス決定のス
テップ54は、上述の予測係数を決定するための学習に
おけるステップ41、42、43および44と同様の処
理を行うステップである。
FIG. 9 is a flow chart for explaining learning for creating the data value itself in advance.
The control start step 51, the learning data formation step 52, the data end step 53, and the class determination step 54 are the same as the steps 41, 42, 43, and 44 in the learning for determining the prediction coefficient described above. Is the step of performing.

【0057】代表値決定のステップ55は、クラス毎に
真値の平均値を求め、この平均値を代表値として決定す
るステップである。すなわち、学習の過程で得られた真
値の累積値を累積度数で割算することによって、代表値
が得られる。このような代表値を求める方法は、重心法
と称される。また、代表値を求める場合、データの値そ
のものを累算すると、累積したデータ量が多くなるの
で、ブロック内の基準値(ブロック内の複数の画素の大
きさを相対的に規定するための値であり、最小値MI
N、最大値MAX、平均値等である)とブロックのダイ
ナミックレンジDRで正規化した値を代表値として求め
ても良い。
The representative value determining step 55 is a step of obtaining an average value of true values for each class and determining the average value as a representative value. That is, the representative value is obtained by dividing the cumulative value of the true value obtained in the learning process by the cumulative frequency. The method of obtaining such a representative value is called the center of gravity method. In addition, when obtaining the representative value, the cumulative amount of data increases when the data values themselves are accumulated, so the reference value in the block (the value for relatively defining the sizes of multiple pixels in the block And the minimum value MI
N, maximum value MAX, average value, etc.) and a value normalized by the dynamic range DR of the block may be obtained as a representative value.

【0058】すなわち、ブロックの基準値をB(例えば
ブロック内の画素の最小値)とし、ダイナミックレンジ
をDRで表すと、正規化された代表値Gは、 G=(y−B)/DR で規定される。ステップ56において、決定された代表
値がメモリに格納され、学習が終了する。
That is, if the reference value of the block is B (for example, the minimum value of the pixels in the block) and the dynamic range is DR, the normalized representative value G is G = (y−B) / DR. Stipulated. In step 56, the determined representative value is stored in the memory, and the learning ends.

【0059】このように正規化された値を学習により求
めておいた時には、補間値生成または補正値生成のため
には、図10の構成が使用される。図10は、簡単のた
めに補間値生成のための構成のみを示す。図10に示す
ように、時系列変換回路2の出力信号がクラス分類回路
3および検出回路27に供給される。クラス分類回路3
からのクラスコードで指示されるメモリ5のアドレスか
ら正規化された代表値が読出される。また、検出回路2
7は、予測に使用する複数の伝送画素のダイナミックレ
ンジDRおよび最小値MINを検出する。
When the normalized value is obtained by learning as described above, the configuration of FIG. 10 is used for generating the interpolation value or the correction value. FIG. 10 shows only a configuration for generating an interpolation value for simplicity. As shown in FIG. 10, the output signal of the time series conversion circuit 2 is supplied to the class classification circuit 3 and the detection circuit 27. Class classification circuit 3
The normalized representative value is read from the address of the memory 5 designated by the class code from. In addition, the detection circuit 2
7 detects the dynamic range DR and minimum value MIN of a plurality of transmission pixels used for prediction.

【0060】メモリ5からの正規化代表値が乗算回路2
5に供給され、正規化代表値と検出されたダイナミック
レンジDRとが乗算される。乗算回路25の出力が加算
回路26に供給され、検出された最小値MINと加算さ
れる。この加算回路26の出力信号が補間値であり、合
成回路9に対して生成補間値が供給される。図示しない
が、補正値が合成回路9に供給され、出力端子10に出
力信号が取り出される。
The normalized representative value from the memory 5 is the multiplication circuit 2
5 and the normalized representative value is multiplied by the detected dynamic range DR. The output of the multiplication circuit 25 is supplied to the addition circuit 26, and is added to the detected minimum value MIN. The output signal of the adding circuit 26 is an interpolation value, and the generated interpolation value is supplied to the synthesizing circuit 9. Although not shown, the correction value is supplied to the combining circuit 9 and the output signal is taken out to the output terminal 10.

【0061】なお、補間値および補正値を同一の予測方
法により予測するのに限らず、上述した予測式(線形1
次結合)による予測、代表値を使用する予測、正規化代
表値を使用する予測を組み合わせても良い。
The interpolation value and the correction value are not limited to being predicted by the same prediction method, and the above-mentioned prediction formula (linear 1
It is also possible to combine prediction by (second combination), prediction using a representative value, and prediction using a normalized representative value.

【0062】また、この発明におけるクラス分類あるい
は予測演算のために、空間的に注目画素の周囲の画素の
値を使用するものに限らず、時間方向で注目画素と近い
画素(例えば前フレームの同一の画素)も使用すること
ができる。
Further, for class classification or prediction calculation in the present invention, the values of the pixels surrounding the pixel of interest are not limited to those spatially used, but a pixel close to the pixel of interest in the time direction (for example, the same pixel in the previous frame) Pixels) can also be used.

【0063】[0063]

【発明の効果】この発明は、注目間引き画素のクラス分
けのために、注目間引き画素と隣接する2個以上の伝送
画素に関して方向性をそれぞれ調べ、方向性に基づくク
ラス分けを行なうので、クラス数が多くなり過ぎずに、
より広い範囲の画像の特徴を反映したクラス情報を生成
でき、従って、高精度にクラス分けを行うことができ
る。
According to the present invention, the directionality of each of two or more transmission pixels adjacent to the target thinning-out pixel is examined for classifying the target thinning-out pixel, and the classification is performed based on the directionality. Is not too much,
It is possible to generate class information that reflects the characteristics of an image in a wider range, and thus it is possible to perform classification with high accuracy.

【0064】また、この一実施例では、サンプリングに
より間引かれた画素のみならず、伝送画素の値も補正し
ているので、サンプリングのためのフィルタリング処理
によって失われた高域成分を補償することができる。従
って、復号信号の波形のなまりを補償でき、復号画像の
質を向上できる。
Further, in this embodiment, not only the pixels thinned out by sampling but also the values of the transmission pixels are corrected, so that the high frequency components lost by the filtering process for sampling are compensated. You can Therefore, the distortion of the waveform of the decoded signal can be compensated, and the quality of the decoded image can be improved.

【図面の簡単な説明】[Brief description of drawings]

【図1】この発明の一実施例のブロック図である。FIG. 1 is a block diagram of an embodiment of the present invention.

【図2】伝送画素のクラス分けのために参照する画素の
位置を示すための略線図である。
FIG. 2 is a schematic diagram showing a position of a pixel referred to for classifying a transmission pixel.

【図3】伝送画素のクラス分けの方法の一例を説明する
ための略線図である。
FIG. 3 is a schematic diagram for explaining an example of a method of classifying transmission pixels.

【図4】間引き画素のクラス分けのために参照する画素
の位置を示すための略線図である。
FIG. 4 is a schematic diagram showing positions of pixels to be referred to for classifying thinned pixels.

【図5】間引き画素のクラス分けを説明するための略線
図である。
FIG. 5 is a schematic diagram for explaining classification of thinned pixels.

【図6】間引き画素のクラス分けの具体例を説明するた
めの略線図である。
FIG. 6 is a schematic diagram for explaining a specific example of classification of thinned pixels.

【図7】予測係数を求めるための学習時の構成の一例の
ブロック図である。
FIG. 7 is a block diagram of an example of a configuration at the time of learning for obtaining a prediction coefficient.

【図8】予測係数を求めるための学習をソフトウェア処
理で行う時のフローチャートである。
FIG. 8 is a flowchart when learning for obtaining a prediction coefficient is performed by software processing.

【図9】代表値を求めるための学習をソフトウェア処理
で行う時のフローチャートである。
FIG. 9 is a flowchart when learning for obtaining a representative value is performed by software processing.

【図10】正規化代表値から補間値を生成するための構
成の一例のブロック図である。
FIG. 10 is a block diagram of an example of a configuration for generating an interpolation value from a normalized representative value.

【図11】オフセットサブサンプリングのための構成の
一例のブロック図である。
FIG. 11 is a block diagram of an example of a configuration for offset subsampling.

【図12】2次元のオフセットサブサンプリングの構造
を示す略線図である。
FIG. 12 is a schematic diagram showing a structure of two-dimensional offset subsampling.

【符号の説明】[Explanation of symbols]

3,4 クラス分類回路 5,6 予測係数が格納されたメモリ 7 補間値生成回路 8 補正値生成回路 9 合成回路 3, 4 class classification circuit 5, 6 memory in which prediction coefficient is stored 7 interpolation value generation circuit 8 correction value generation circuit 9 synthesis circuit

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 FI 技術表示箇所 H04N 7/00 A ─────────────────────────────────────────────────── ─── Continuation of the front page (51) Int.Cl. 6 Identification code Internal reference number FI Technical display part H04N 7/00 A

Claims (7)

【特許請求の範囲】[Claims] 【請求項1】 プリフィルタを介されたディジタル画像
信号をサンプリングし、上記サンプリングによって画素
数が減少された信号を受け取り、上記サンプリングによ
り間引かれた画素を補間するようにしたディジタル画像
信号の処理装置において、 受け取ったディジタル画像信号中に存在する注目間引き
画素と隣接する第1および第2の伝送画素を規定し、上
記第1の伝送画素とその周辺の複数の伝送画素との間の
差分値の中の最小値を検出し、上記最小値を指示する第
1の方向データを形成し、上記第2の伝送画素とその周
辺の複数の伝送画素との間の差分値の中の最小値を検出
し、上記最小値を指示する第2の方向データを形成し、
上記第1および第2の方向データを含むクラスコードを
生成するためのクラス分類手段と、 上記入力ディジタル画像信号中に含まれ、上記注目間引
き画素の空間的および/または時間的に近傍の複数の伝
送画素の値と係数の線形1次結合によって、上記注目間
引き画素の値を作成した時に、作成された値と上記注目
間引き画素の真値との誤差を最小とするような、係数を
上記クラス毎に発生するための係数発生手段と、 上記係数と上記注目間引き画素の空間的および/または
時間的に近傍の複数の伝送画素の値との線形1次結合に
よって、上記注目間引き画素の補間値を生成するための
演算手段とからなることを特徴とするディジタル画像信
号の処理装置。
1. A digital image signal processing for sampling a digital image signal that has passed through a pre-filter, receiving a signal in which the number of pixels is reduced by the sampling, and interpolating pixels thinned by the sampling. In the device, the first and second transmission pixels adjacent to the thinning-out pixel of interest present in the received digital image signal are defined, and the difference value between the first transmission pixel and a plurality of transmission pixels in the vicinity thereof. Of the difference values between the second transmission pixel and a plurality of transmission pixels in the vicinity of the second transmission pixel and the first direction data indicating the minimum value, Detect and form second direction data indicating the minimum value,
A class classification means for generating a class code including the first and second direction data, and a plurality of spatially and / or temporally neighboring pixels included in the input digital image signal, which are included in the input digital image signal. When the value of the target thinning pixel is created by the linear linear combination of the value of the transmission pixel and the coefficient, a coefficient that minimizes an error between the created value and the true value of the target thinning pixel is set to the above class. The coefficient generation means for generating each time, and the linear primary combination of the coefficient and the values of a plurality of transmission pixels spatially and / or temporally adjacent to the target thinning pixel are interpolated values of the target thinning pixel. A processing device for digital image signals, which comprises:
【請求項2】 請求項1に記載のディジタル画像信号の
処理装置において、 上記クラス分類手段は、第1の伝送画素とその周辺の複
数の伝送画素との間の差分値の中のn番目の値を検出
し、上記n番目の値を指示する第1の方向データを形成
し、上記第2の伝送画素とその周辺の複数の伝送画素と
の間の差分値の中のn番目の値を検出し、上記n番目の
値を指示する第2の方向データを形成し、上記第1およ
び第2の方向データを含むクラスコードを生成すること
を特徴とするディジタル画像信号の処理装置。
2. The digital image signal processing device according to claim 1, wherein the class classification means is the n-th difference value between the first transmission pixel and a plurality of transmission pixels in the vicinity thereof. A value is detected, first direction data indicating the n-th value is formed, and an n-th value among the difference values between the second transmission pixel and a plurality of transmission pixels in the vicinity thereof is calculated. An apparatus for processing a digital image signal, which detects and forms second direction data indicating the n-th value to generate a class code including the first and second direction data.
【請求項3】 請求項1に記載のディジタル画像信号の
処理装置において、 上記係数発生手段は、最小二乗法によって係数を決定す
ることを特徴とするディジタル画像信号の処理装置。
3. The digital image signal processing apparatus according to claim 1, wherein the coefficient generating means determines the coefficient by a least square method.
【請求項4】 プリフィルタを介されたディジタル画像
信号をサンプリングし、上記サンプリングによって画素
数が減少された信号を受け取り、上記サンプリングによ
り間引かれた画素を補間するようにしたディジタル画像
信号の処理装置において、 受け取ったディジタル画像信号中に存在する注目間引き
画素と隣接する第1および第2の伝送画素を規定し、上
記第1の伝送画素とその周辺の複数の伝送画素との間の
差分値の中の最小値を検出し、上記最小値を指示する第
1の方向データを形成し、上記第2の伝送画素とその周
辺の複数の伝送画素との間の差分値の中の最小値を検出
し、上記最小値を指示する第2の方向データを形成し、
上記第1および第2の方向データを含むクラスコードを
生成するためのクラス分類手段と、 予め学習により獲得された代表値が上記クラス毎に貯え
られ、上記クラス分類手段によって決定された上記クラ
スと対応する上記代表値を上記注目間引き画素の値とし
て出力するためのメモリ手段とからなることを特徴とす
るディジタル画像信号の処理装置。
4. A digital image signal processing for sampling a digital image signal that has passed through a pre-filter, receiving a signal in which the number of pixels is reduced by the sampling, and interpolating pixels thinned out by the sampling. In the device, the first and second transmission pixels adjacent to the thinning-out pixel of interest present in the received digital image signal are defined, and the difference value between the first transmission pixel and a plurality of transmission pixels in the vicinity thereof. Of the difference values between the second transmission pixel and a plurality of transmission pixels in the vicinity of the second transmission pixel and the first direction data indicating the minimum value, Detect and form second direction data indicating the minimum value,
A class classification means for generating a class code including the first and second direction data, and a representative value obtained by learning in advance is stored for each class and the class determined by the class classification means. A digital image signal processing apparatus, comprising: a memory means for outputting the corresponding representative value as the value of the target thinned pixel.
【請求項5】 請求項4に記載のディジタル画像信号の
処理装置において、 上記クラス分類手段は、第1の伝送画素とその周辺の複
数の伝送画素との間の差分値の中のn番目の値を検出
し、上記n番目の値を指示する第1の方向データを形成
し、上記第2の伝送画素とその周辺の複数の伝送画素と
の間の差分値の中のn番目の値を検出し、上記n番目の
値を指示する第2の方向データを形成し、上記第1およ
び第2の方向データを含むクラスコードを生成すること
を特徴とするディジタル画像信号の処理装置。
5. The digital image signal processing device according to claim 4, wherein the class classification means is the n-th difference value between the first transmission pixel and a plurality of transmission pixels around the first transmission pixel. A value is detected, first direction data indicating the n-th value is formed, and an n-th value among the difference values between the second transmission pixel and a plurality of transmission pixels in the vicinity thereof is calculated. An apparatus for processing a digital image signal, which detects and forms second direction data indicating the n-th value to generate a class code including the first and second direction data.
【請求項6】 請求項4に記載のディジタル画像信号の
処理装置において、 上記メモリ手段に格納される代表値は、学習時に与えら
れる注目間引き画素の真値を平均化した値であることを
特徴とするディジタル画像信号の処理装置。
6. The digital image signal processing device according to claim 4, wherein the representative value stored in the memory means is a value obtained by averaging the true values of the target thinned-out pixels given during learning. An apparatus for processing digital image signals.
【請求項7】 請求項4に記載のディジタル画像信号の
処理装置において、 上記メモリ手段に格納される代表値は、注目間引き画素
を含むブロック内の複数画素の基準値と、上記ブロック
のダイナミックレンジとによって、上記注目間引き画素
の真値を正規化した値であることを特徴とするディジタ
ル画像信号の処理装置。
7. The digital image signal processing device according to claim 4, wherein the representative value stored in the memory means is a reference value of a plurality of pixels in a block including a target thinned pixel, and a dynamic range of the block. And a true value of the thinned pixel of interest is normalized by the above.
JP20286494A 1994-08-04 1994-08-04 Digital image signal processing apparatus and processing method Expired - Lifetime JP3671437B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP20286494A JP3671437B2 (en) 1994-08-04 1994-08-04 Digital image signal processing apparatus and processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP20286494A JP3671437B2 (en) 1994-08-04 1994-08-04 Digital image signal processing apparatus and processing method

Publications (2)

Publication Number Publication Date
JPH0851622A true JPH0851622A (en) 1996-02-20
JP3671437B2 JP3671437B2 (en) 2005-07-13

Family

ID=16464468

Family Applications (1)

Application Number Title Priority Date Filing Date
JP20286494A Expired - Lifetime JP3671437B2 (en) 1994-08-04 1994-08-04 Digital image signal processing apparatus and processing method

Country Status (1)

Country Link
JP (1) JP3671437B2 (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1011583A (en) * 1996-06-27 1998-01-16 Sony Corp Class classification adaptation processor and learning device/method for class classification adaptation processing
EP1176824A1 (en) * 2000-02-29 2002-01-30 Sony Corporation Data processing device and method, and recording medium and program
WO2004110063A1 (en) * 2003-06-06 2004-12-16 Sony Corporation Information signal processing device and processing method, coefficient generation device and generation method, look-up table generation device and generation method, program for executing the methods, and a medium containing the program
JP2005353100A (en) * 2005-08-22 2005-12-22 Sony Corp Information signal converting apparatus and method, and learning apparatus and learning method
JP2009020879A (en) * 2002-03-25 2009-01-29 Trustees Of Columbia Univ In The City Of New York Method and system for enhancing data quality grade
JP2010154486A (en) * 2008-11-20 2010-07-08 Canon Inc Image encoding apparatus and method of controlling the same
JP2015122679A (en) * 2013-12-25 2015-07-02 日本放送協会 Imaging apparatus and image interpolation apparatus

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1011583A (en) * 1996-06-27 1998-01-16 Sony Corp Class classification adaptation processor and learning device/method for class classification adaptation processing
EP1176824A1 (en) * 2000-02-29 2002-01-30 Sony Corporation Data processing device and method, and recording medium and program
EP1176824A4 (en) * 2000-02-29 2005-06-22 Sony Corp Data processing device and method, and recording medium and program
US7679678B2 (en) 2000-02-29 2010-03-16 Sony Corporation Data processing device and method, and recording medium and program
JP2009020879A (en) * 2002-03-25 2009-01-29 Trustees Of Columbia Univ In The City Of New York Method and system for enhancing data quality grade
WO2004110063A1 (en) * 2003-06-06 2004-12-16 Sony Corporation Information signal processing device and processing method, coefficient generation device and generation method, look-up table generation device and generation method, program for executing the methods, and a medium containing the program
KR100982625B1 (en) * 2003-06-06 2010-09-15 소니 주식회사 Information signal processing device and processing method
US7821572B2 (en) 2003-06-06 2010-10-26 Sony Corporation Apparatus and method for processing information signal, apparatus and method for producing coefficient, apparatus and method for producing lookup table, program for performing each method, and medium recording each program
JP2005353100A (en) * 2005-08-22 2005-12-22 Sony Corp Information signal converting apparatus and method, and learning apparatus and learning method
JP2010154486A (en) * 2008-11-20 2010-07-08 Canon Inc Image encoding apparatus and method of controlling the same
JP2015122679A (en) * 2013-12-25 2015-07-02 日本放送協会 Imaging apparatus and image interpolation apparatus

Also Published As

Publication number Publication date
JP3671437B2 (en) 2005-07-13

Similar Documents

Publication Publication Date Title
JP3271108B2 (en) Apparatus and method for processing digital image signal
US6285714B1 (en) Image signal interpolating apparatus
JPH07147681A (en) Hierarchical coding/decoding device for digital image signal
JP3470403B2 (en) Digital image signal processing unit
JP3348318B2 (en) Digital image signal processing apparatus and processing method
JP3271101B2 (en) Digital image signal processing apparatus and processing method
JPH0851622A (en) Processor for digital picture signal
JP3470373B2 (en) Apparatus and method for processing digital image signal
JP3946781B2 (en) Image information conversion apparatus and method
JP3703034B2 (en) Image signal processing method and image signal transmission apparatus
EP0614316A2 (en) Apparatus and method for moving picture coding
JP3371159B2 (en) Digital image signal processing apparatus and processing method
JP3271109B2 (en) Digital image signal processing apparatus and processing method
JP3243861B2 (en) Image information conversion device
JPH07193789A (en) Picture information converter
JP3480461B2 (en) Digital image signal processing apparatus and processing method
JP3470380B2 (en) Apparatus and method for processing digital image signal
JP3480015B2 (en) Apparatus and method for generating image data
JP3271096B2 (en) Digital image signal processing device
JP3709570B2 (en) Digital image signal processing apparatus and processing method
JPH0888849A (en) Picture signal processing method and picture signal transmitter
JPH08317347A (en) Image information converting device
JP3480011B2 (en) Image information conversion device
JP3653287B2 (en) Image information conversion apparatus and image information conversion method
JP3587188B2 (en) Digital image signal processing apparatus and processing method

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050307

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050329

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050411

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080428

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090428

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090428

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100428

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100428

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110428

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120428

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130428

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140428

Year of fee payment: 9

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term