JP3326879B2 - Image signal converter - Google Patents
Image signal converterInfo
- Publication number
- JP3326879B2 JP3326879B2 JP16751893A JP16751893A JP3326879B2 JP 3326879 B2 JP3326879 B2 JP 3326879B2 JP 16751893 A JP16751893 A JP 16751893A JP 16751893 A JP16751893 A JP 16751893A JP 3326879 B2 JP3326879 B2 JP 3326879B2
- Authority
- JP
- Japan
- Prior art keywords
- image signal
- signal
- data
- prediction
- class
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000006243 chemical reaction Methods 0.000 claims description 22
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 101710163391 ADP-ribosyl cyclase/cyclic ADP-ribose hydrolase Proteins 0.000 description 14
- 238000010586 diagram Methods 0.000 description 10
- 238000000034 method Methods 0.000 description 9
- 230000000903 blocking effect Effects 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
Description
【０００１】[0001]
【産業上の利用分野】この発明は、画像の信号変換を行
う場合、入力された標準解像度（以下、ＳＤと称する）
信号から高解像度（以下、ＨＤと称する）信号へ、アッ
プコンバートする信号変換装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an input standard resolution (hereinafter, referred to as SD) when performing image signal conversion.
The present invention relates to a signal converter for up-converting a signal into a high-resolution (hereinafter, referred to as HD) signal.
【０００２】[0002]
【従来の技術】図８は、従来のアップコンバートを行な
う信号変換装置の一例のブロック図を示す。入力端子５
０から入力されたＳＤ信号は、水平補間フィルタ５１に
より水平方向の画素数が２倍とされ、垂直補間フィルタ
５２により垂直方向のライン数が２倍とされ、出力端子
５３からＨＤ信号として出力される。即ち、画像のアッ
プコンバージョンがフィルタを用いて行われている。2. Description of the Related Art FIG. 8 is a block diagram showing an example of a conventional signal converter for performing up-conversion. Input terminal 5
The number of pixels in the horizontal direction is doubled by the horizontal interpolation filter 51, the number of lines in the vertical direction is doubled by the vertical interpolation filter 52, and the SD signal input from 0 is output as an HD signal from the output terminal 53. You. That is, image up-conversion is performed using a filter.
【０００３】図９はその補間フィルタの構成例を示す。
入力端子５４から供給された信号に乗算器により、フィ
ルタ係数αn ，αn-1 ，‥‥α0 を掛け、単位遅延量Ｔ
のレジスタにより、順次遅延すると共に加算し、補間出
力が出力端子５５から出力される。水平補間フィルタ５
１では、この単位遅延量Ｔがサンプル周期に選ばれてお
り、垂直補間フィルタ５２では、これがライン周期に選
ばれている。FIG. 9 shows a configuration example of the interpolation filter.
The signal supplied from the input terminal 54 is multiplied by a filter coefficient α n , α n−1 , ‥‥ α 0 by a multiplier to obtain a unit delay T
, The delay time and the addition time are sequentially added, and the interpolation output is output from the output terminal 55. Horizontal interpolation filter 5
In 1, the unit delay T is selected as the sample period, and in the vertical interpolation filter 52, this is selected as the line period.
【０００４】[0004]
【発明が解決しようとする課題】上述の従来の画像信号
変換装置において、ＳＤ信号をＨＤ信号にフィルタを用
いてアップコンバートする場合、出力される信号は単に
補間された信号に過ぎず、解像度は入力されたＳＤ信号
と何ら変わらない。In the above-described conventional image signal conversion apparatus, when up-converting an SD signal into a HD signal using a filter, the output signal is merely an interpolated signal and the resolution is high. It is no different from the input SD signal.
【０００５】従って、この発明の目的は、単に補間する
のではなく、既知のＨＤ信号から学習を行なうことによ
って、予測式の予測係数を求め同定し、この予測係数を
用いてＳＤ信号からＨＤ信号へアップコンバートできる
画像信号変換装置を提供することにある。Therefore, an object of the present invention is not to simply interpolate, but to learn from a known HD signal to determine and identify a prediction coefficient of a prediction formula, and to use this prediction coefficient to convert an SD signal into an HD signal. An object of the present invention is to provide an image signal conversion device capable of up-conversion.
【０００６】[0006]
【課題を解決するための手段】この発明において、上述
の問題点を解決するため、既知のＨＤ信号から生成され
たＳＤ信号を用いた学習を行ない、ブロック化されたＳ
Ｄ信号のレベル分布のパターンにより分割されたクラス
毎にＳＤ信号からＨＤ信号への予測式の予測係数をメモ
リに予め格納しておく。According to the present invention, in order to solve the above-mentioned problems, learning is performed using an SD signal generated from a known HD signal, and a block-formed S signal is obtained.
The prediction coefficient of the prediction formula from the SD signal to the HD signal is stored in the memory in advance for each class divided by the level distribution pattern of the D signal.
【０００７】ＳＤ信号をＨＤ信号へアップコンバートす
る場合、任意のＳＤ信号に対してブロック内のＳＤ信号
のレベル分布のパターンからクラスを特定し、そのクラ
スに対して予測係数をメモリから読み出して予測式に基
づいた演算を行ない最適な推定値を出力する手段を具備
していることを特徴としている。When up-converting an SD signal into an HD signal, a class is specified for an arbitrary SD signal from a pattern of the level distribution of the SD signal in the block, and a prediction coefficient for the class is read from a memory to perform prediction. It is characterized by comprising means for performing an operation based on the equation and outputting an optimum estimated value.
【０００８】[0008]
【作用】学習によりＳＤ信号に対応するＨＤ信号を決定
するので、実際の画像の性質に基づいたアップコンバー
トができる。また、ＳＤ信号のレベル分布に応じて適応
的にクラスを選択するため、画像の局所的性質に追従し
たアップコンバートが可能となる。従って、フィルタに
よる補間と比較して、より解像度の高い画質のＨＤ信号
が得られる。Since the HD signal corresponding to the SD signal is determined by learning, up-conversion based on the characteristics of the actual image can be performed. Also, since the class is adaptively selected according to the level distribution of the SD signal, up-conversion that follows the local properties of the image can be performed. Therefore, an HD signal having higher resolution and higher image quality can be obtained as compared with interpolation using a filter.
【０００９】[0009]
【実施例】以下、この発明の一実施例を図面を用いて説
明する。図１はこの発明の一実施例の学習時の構成を示
すブロック図である。１は入力端子で、標準的なＨＤ信
号の静止画像を多数枚入力され、垂直間引きフィルタ２
と学習部４へ供給する。ＨＤ画像が入力端子１から供給
された垂直間引きフィルタ２は、ＨＤ画像を垂直方向に
１／２に間引きし。垂直間引きフィルタ２と接続される
て水平間引きフィルタ３で水平方向に１／２に間引きを
行ない、ＳＤ信号と同等の画素の静止画像を学習部４に
供給する。予測係数メモリ５は、学習部４で作成された
クラスコードと係数ｗ１〜ｗｎを記憶する。An embodiment of the present invention will be described below with reference to the drawings. FIG. 1 is a block diagram showing a configuration at the time of learning according to an embodiment of the present invention. An input terminal 1 receives a number of standard HD signal still images and a vertical thinning filter 2.
Is supplied to the learning unit 4. The vertical thinning filter 2 to which the HD image is supplied from the input terminal 1 thins the HD image in the vertical direction by half. Connected to the vertical thinning filter 2, the horizontal thinning filter 3 thins out the image in the horizontal direction by 、, and supplies a still image of pixels equivalent to the SD signal to the learning unit 4. The prediction coefficient memory 5 stores the class code created by the learning unit 4 and the coefficients w1 to wn.
【００１０】この実施例では、学習データとするため
に、図２に示すように既知のＨＤ画像に対応するＳＤ画
像として１／４平均画像を作成する。また、この場合、
もう少し広い範囲でＨＤ画像の加重平均をＳＤ画像とす
る方法も考えられる。In this embodiment, to obtain learning data, a 1/4 average image is created as an SD image corresponding to a known HD image as shown in FIG. Also, in this case,
A method is also conceivable in which a weighted average of HD images is used as an SD image in a slightly wider range.
【００１１】図２に示すように、ＳＤ画素（３×３）ブ
ロックを用いる場合、ＳＤ画素ａ〜ｉとＨＤ画素Ａ，
Ｂ，Ｃ，Ｄが一組の学習データとなる。１フレームに関
して複数組の学習データが存在し、且つ、フレーム数を
増加させることにより非常に多数の組の学習データを利
用できる。As shown in FIG. 2, when an SD pixel (3 × 3) block is used, SD pixels a to i and HD pixels A,
B, C, and D are a set of learning data. There are a plurality of sets of learning data for one frame, and an extremely large number of sets of learning data can be used by increasing the number of frames.
【００１２】ここで図３は、学習部４をソフトウェア処
理の構成とした時のその動作を示すフローチャートを示
す。ステップ１１から学習部の制御が開始され、ステッ
プ１２の対応データブロック化では、ＨＤ信号とＳＤ信
号が供給され、図２に示すような配列関係にあるＨＤ画
素およびＳＤ画素を取り出す処理を行なう。ステップ１
３のデータ終了では、入力された全データ例えば１フレ
ームのデータの処理が終了していれば、ステップ１６の
予測係数決定へ、終了していなければ、ステップ１４の
クラス決定へ制御が移る。FIG. 3 is a flowchart showing the operation of the learning section 4 when the learning section 4 has a software processing configuration. The control of the learning section is started from step 11, and in the corresponding data block conversion of step 12, the HD signal and the SD signal are supplied, and a process of extracting the HD pixels and the SD pixels having the arrangement relationship as shown in FIG. 2 is performed. Step 1
At the end of the data of 3, if the processing of all the input data, for example, the data of one frame has been completed, the control is shifted to the determination of the prediction coefficient in the step 16;
【００１３】ステップ１４のクラス決定では、ＳＤ信号
の信号パターンからクラスを決める。この制御では、ビ
ット数削減のため後述のような適応型ダイナッミクレン
ジ符号化（以下、ＡＤＲＣと称する）を用いることがで
きる。ステップ１５の正規方程式加算では、後述する式
７、式８および式９の方程式を作成する。In the class determination in step 14, a class is determined from the signal pattern of the SD signal. In this control, adaptive dynamic range coding (hereinafter, referred to as ADRC) as described below can be used to reduce the number of bits. In the normal equation addition in step 15, equations 7, 8 and 9 described later are created.
【００１４】ステップ１３のデータ終了から全データの
処理が終了後、制御がステップ１６に移り、ステップ１
６の予測係数決定では、後述する式９を行列解法を用い
て解いて、予測係数を決める。ステップ１７の予測係数
ストアで、予測係数をメモリにストアし、ステップ１８
で学習部の制御が終了する。After the processing of all data is completed from the end of the data in step 13, the control moves to step 16 and
In the prediction coefficient determination of No. 6, a prediction coefficient is determined by solving Expression 9 described later using a matrix solution method. The prediction coefficients are stored in the memory in the prediction coefficient storage in step 17,
Then, the control of the learning unit ends.
【００１５】クラス分割でもっとも簡便な方法は、ブロ
ック内の学習データのビット系列をそのままクラス番号
とする方法である。しかし、この方法では膨大な容量の
メモリが必要となる。The simplest method of class division is to use the bit sequence of the learning data in the block as the class number. However, this method requires a huge amount of memory.
【００１６】この例では、ＳＤ信号の信号パターンによ
るクラス分割にＡＤＲＣを使用している。本来ＡＤＲＣ
は、ＶＴＲ向け高能率符号化用に開発された適応的再量
子化法であり、信号レベルの局所的なパターンを短い語
長で効率的に表現できる。ＳＤ画素（３×３）ブロック
を用いる場合、図２中のＡが注目ＨＤ画素とすると、Ｓ
Ｄ画素ａ〜ｉのレベルを夫々、ｘ１〜ｘ９とする。ま
た、ｘ１〜ｘ９のデータに対してｐビットＡＤＲＣを行
った結果の再量子化データを夫々、ｑ１〜ｑ９とし、そ
のダイナッミクレンジをＤＲ、最大値をＭＡＸ、最小値
をＭＩＮとする。このとき、このブロックのクラスは、
式１で定義される。In this example, ADRC is used for class division based on the signal pattern of the SD signal. Originally ADRC
Is an adaptive requantization method developed for high-efficiency coding for VTRs, and can efficiently represent a local pattern of a signal level with a short word length. When an SD pixel (3 × 3) block is used, if A in FIG.
The levels of the D pixels a to i are x1 to x9, respectively. Also, re-quantized data obtained by performing p-bit ADRC on the data of x1 to x9 is q1 to q9, the dynamic range is DR, the maximum value is MAX, and the minimum value is MIN. At this time, the class of this block is
Defined by Equation 1.
【００１７】[0017]
【数１】 (Equation 1)
【００１８】ここで１ビットＡＤＲＣを例にとって、Ａ
ＤＲＣを説明する。ＡＤＲＣ符号化回路３３の一例を図
４に示す。図４において、入力端子２１からのブロック
の順序に変換されたデータに関して、検出回路２２がブ
ロック毎に最大値ＭＡＸ、最小値ＭＩＮを検出する。減
算回路２３に対してＭＡＸおよびＭＩＮが供給され、そ
の出力にダイナミックレンジＤＲが発生する。入力デー
タおよびＭＩＮが減算回路２４に供給され、減算回路２
４から最小値が除去されることで、正規化された画素デ
ータが発生する。Here, taking 1-bit ADRC as an example, A
The DRC will be described. FIG. 4 shows an example of the ADRC encoding circuit 33. In FIG. 4, the detection circuit 22 detects the maximum value MAX and the minimum value MIN for each block from the data converted into the order of the blocks from the input terminal 21. MAX and MIN are supplied to the subtraction circuit 23, and a dynamic range DR is generated at the output. The input data and MIN are supplied to the subtraction circuit 24, and the subtraction circuit 2
By removing the minimum value from 4, the normalized pixel data is generated.
【００１９】ダイナミックレンジＤＲが割算回路２５に
供給され、正規化された画素データがダイナミックレン
ジＤＲで割算され、割算回路２５の出力データが比較回
路２６に供給される。比較回路２６では、中央画素以外
の８個の画素の割算出力が0.5 を基準として、より大き
いか、より小さいかが判断される。この結果に応じて、
`0' または`1' のデータＤＴが発生する。この比較出力
ＤＴが出力端子２７に取り出される。この１ビットＡＤ
ＲＣを用いてクラス分割を行なえば（３×３）のＳＤブ
ロックのクラスが９ビットのクラスコードで表現され
る。The dynamic range DR is supplied to a division circuit 25, the normalized pixel data is divided by the dynamic range DR, and the output data of the division circuit 25 is supplied to a comparison circuit 26. In the comparison circuit 26, it is determined whether the dividing power of the eight pixels other than the center pixel is larger or smaller based on 0.5. Depending on this result,
Data DT of '0' or '1' is generated. The comparison output DT is taken out to the output terminal 27. This one bit AD
If class division is performed using RC, the (3 × 3) SD block class is represented by a 9-bit class code.
【００２０】次に、注目ＨＤ画素とＳＤ画素の対応関係
を表１に示す。表１において、Ａ，Ｂ，Ｃ，Ｄは、夫々
ＨＤ画素を表し、ｘ１〜ｘ９がＨＤ画素の夫々を予測す
る時のデータ、すなわちクラス作成用のデータである。
近接する複数の注目ＨＤ画素Ａ，Ｂ，Ｃ，Ｄに関して、
ｘ１〜ｘ９として用いるＳＤ画素を表１に示すように夫
々規定することによって、これらのＨＤ画素に関する係
数を統合できる。従って、ＨＤ画素毎に別の予測係数メ
モリを用意する必要がなくメモリの共用ができハードが
簡素化できる。Next, Table 1 shows the correspondence between the HD pixels of interest and the SD pixels. In Table 1, A, B, C, and D represent HD pixels, and x1 to x9 are data when predicting each of the HD pixels, that is, data for class creation.
For a plurality of adjacent HD pixels of interest A, B, C, and D,
By defining the SD pixels used as x1 to x9 as shown in Table 1, the coefficients relating to these HD pixels can be integrated. Therefore, it is not necessary to prepare another prediction coefficient memory for each HD pixel, and the memory can be shared, and the hardware can be simplified.
【００２１】[0021]
【表１】 [Table 1]
【００２２】図２中のＨＤ画素とＳＤ画素の関係を同定
するための係数を求める処理をより詳細に説明する。一
般的にＳＤ画素レベルをｘ１〜ｘｎとし、ＨＤ画素レベ
ルをｙとしたとき、クラス毎に係数ｗ１〜ｗｎによるｎ
タップの線形推定式 ｙ´＝ｗ１ｘ１＋ｗ２ｘ２＋‥‥＋ｗｎｘｎ （２） を設定する。学習前はｗｉが未定係数である。The processing for obtaining a coefficient for identifying the relationship between the HD pixel and the SD pixel in FIG. 2 will be described in more detail. Generally, when the SD pixel level is x1 to xn and the HD pixel level is y, n by the coefficients w1 to wn for each class
The linear estimation equation of the tap is set as y '= w1x1 + w2x2 + ｗ + wnxn (2). Before learning, wi is an undetermined coefficient.
【００２３】上述のように、学習はクラス毎に複数のＨ
ＤデータおよびＳＤデータに対して行なう。データ数が
ｍの場合、式２に従って、 ｙj ´＝ｗ１ｘj １＋ｗ２ｘj ２＋‥‥＋ｗｎｘj ｎ （３） （但し、ｊ＝１，２，‥‥ｍ）As described above, learning is performed for a plurality of Hs for each class.
Performed for D data and SD data. If the number of data is m, according to Equation 2, y j '= w1x j 1 + w2x j 2 + ‥‥ + wnx j n (3) ( where, j = 1,2, ‥‥ m)
【００２４】ｍ＞ｎの場合、ｗ１〜ｗｎは一意には決ま
らないので、誤差ベクトルｅの要素を ｅj ＝ｙj −（ｗ１ｘj １＋ｗ２ｘj ２＋‥‥＋ｗｎｘj ｎ） （４） （但し、ｊ＝１，２，‥‥ｍ）と定義して、次の式５を
最小にする係数を求める。[0024] m> For n, since w1~wn is not uniquely determined, elements of an error vector e e j = y j - ( w1x j 1 + w2x j 2 + ‥‥ + wnx j n) (4) ( where, j = 1,2, ‥‥ m), and a coefficient that minimizes the following Expression 5 is obtained.
【００２５】[0025]
【数２】 (Equation 2)
【００２６】いわゆる最小自乗法による解法である。こ
こで式４のｗｉによる偏微分係数を求める。This is a so-called least squares solution. Here, the partial differential coefficient by wi in Expression 4 is obtained.
【００２７】[0027]
【数３】 (Equation 3)
【００２８】式６を０にするように各ｗｉを決めればよ
いから、Since each wi may be determined so that Equation 6 is set to 0,
【００２９】[0029]
【数４】 (Equation 4)
【００３０】として、行列をもちいるとWhen using a matrix,
【００３１】[0031]
【数５】 (Equation 5)
【００３２】となり、掃き出し法等の一般的な行列解法
を用いて、ｗｉについて解けば予測係数ｗｉが求まり、
クラスコードをアドレスとして、この予測係数ｗｉをメ
モリに格納しておく。Then, by solving a wi using a general matrix solution such as a sweeping-out method, a prediction coefficient wi is obtained.
The prediction coefficient wi is stored in the memory using the class code as an address.
【００３３】以上のように学習部が実データであるＨＤ
信号を用いて予測係数ｗｉを獲得することができ、これ
をメモリに格納しておく。次に、ＳＤ信号をＨＤ信号へ
変換、即ち、アップコンバートする場合、任意の入力Ｓ
Ｄ画像に対して出力ＨＤ画像を生成することができる。
このための構成を図５のブロック図に示す。As described above, the learning unit uses the actual data HD
The prediction coefficient wi can be obtained using the signal, and this is stored in the memory. Next, when an SD signal is converted into an HD signal, that is, up-converted, any input S
An output HD image can be generated for the D image.
The configuration for this is shown in the block diagram of FIG.
【００３４】入力端子３１から入力されたＳＤ信号をブ
ロック化回路３２は、ラスター走査の順序を図２に示し
たような（３×３）ブロックの順序のデータへ変換す
る。このブロック化回路３２の出力データはＡＤＲＣ回
路３３と予測演算回路３５に供給される。The SD signal input from the input terminal 31 is converted by the blocking circuit 32 into a raster scan sequence having data of (3 × 3) block sequence as shown in FIG. The output data of the blocking circuit 32 is supplied to the ADRC circuit 33 and the prediction operation circuit 35.
【００３５】ＡＤＲＣ回路３３では、供給されたブロッ
ク単位のデータを例えば１ビットＡＤＲＣ符号化が行な
われ、式１に従って、クラスが決定される。このときも
表１の法則が適用される。The ADRC circuit 33 performs, for example, 1-bit ADRC coding on the supplied data in block units, and determines the class according to the equation (1). At this time, the rules in Table 1 are also applied.
【００３６】クラスコード発生回路３４では、決定され
たクラスに対応するクラスコードを発生し、このクラス
コードが予測係数メモリ５に対してアドレスとして供給
される。メモリ５からそのクラスの予測係数が読み出さ
れ、予測演算回路３５では、ブロック化回路３２から供
給されたブロック単位のデータと決定された予測係数ｗ
１〜ｗｎから予測式 ｙ´＝ｗ１ｘ１＋ｗ２ｘ２＋‥‥＋ｗｎｘｎ （１０） に従った演算により推定ＨＤデータｙ´を出力端子３６
から出力する。前述の図２の例では、（ｎ＝９）であ
る。予測したいＨＤデータｙ´の位置に対応して、前述
の表１に示す関係でもって、所定のＳＤデータがｘ１〜
ｘ９として用いられる。The class code generation circuit 34 generates a class code corresponding to the determined class, and the class code is supplied to the prediction coefficient memory 5 as an address. The prediction coefficient of the class is read from the memory 5, and the prediction calculation circuit 35 calculates the data of the block unit supplied from the blocking circuit 32 and the determined prediction coefficient w
The estimated HD data y 'is output to the output terminal 36 by the calculation according to the prediction formula y' = w1x1 + w2x2 + ‥‥ + wnxn (10) from 1 to wn.
Output from In the example of FIG. 2 described above, (n = 9). According to the relationship shown in Table 1 above, the predetermined SD data is x1 to x1 corresponding to the position of the HD data y 'to be predicted.
x9.
【００３７】ここで図６は、上述のアップコンバートの
処理のフローチャートである。ステップ４１からアップ
コンバートの制御が開始され、ステップ４２のデータブ
ロック化では、ＳＤ信号が供給され、図２に示すように
ＳＤ画素を処理ブロック単位に取り出す処理を行なう。
ステップ４３のデータ終了では、入力された全データの
処理が終了していれば、ステップ４７の終了へ、終了し
ていなければ、ステップ４４のクラス決定へ制御が移
る。FIG. 6 is a flowchart of the above-described up-conversion processing. Up-conversion control is started from step 41, and in the data block formation in step 42, an SD signal is supplied, and a process of extracting SD pixels in processing block units is performed as shown in FIG.
At the end of the data at step 43, if the processing of all the input data has been completed, the control proceeds to the end of step 47, and if not, the control proceeds to the class determination of step 44.
【００３８】ステップ４４のクラス決定では、ＳＤ信号
の信号パターンからクラスを決定する。この制御では、
学習時と同様にビット数削減のため１ビットＡＤＲＣを
用いることが好ましい。ステップ４５の予測係数リスト
アでは、クラスコードに対応する予測係数をメモリから
リストアする。ステップ４６の予測演算では、式１０の
予測式演算を行ない、ＨＤ画素の予測データを出力す
る。この一連の制御が全データに対し繰り返され、全デ
ータが終了すればステップ４３のデータ終了からステッ
プ４７の終了に制御が移り、アップコンバートの処理が
終了する。In the class determination at step 44, the class is determined from the signal pattern of the SD signal. In this control,
It is preferable to use 1-bit ADRC to reduce the number of bits as in the case of learning. In the prediction coefficient restoration in step 45, the prediction coefficient corresponding to the class code is restored from the memory. In the prediction operation of step 46, the prediction expression operation of Expression 10 is performed, and the prediction data of the HD pixel is output. This series of control is repeated for all data, and when all data is completed, control is shifted from the end of data in step 43 to the end of step 47, and the up-conversion process is completed.
【００３９】ブロック化回路３２では、図２のようにＳ
Ｄ画素（３×３）ブロック即ち、二次元ブロックを用い
ているが、これは単なる一例であり、代わりに、例え
ば、図７のようにＳＤ画素３〜４画素即ち、一次元ブロ
ックを用いて、ＨＤ画素を補間することもできる。In the blocking circuit 32, as shown in FIG.
Although a D pixel (3 × 3) block, that is, a two-dimensional block is used, this is merely an example, and instead, for example, using 3 to 4 SD pixels, that is, a one-dimensional block as shown in FIG. , HD pixels can be interpolated.
【００４０】図７の一次元補間において、学習の場合、
ＳＤ画素ａ，ｂ，ｃからＨＤ画素Ａの予測係数を求め、
ＳＤ画素ａ，ｂ，ｃ，ｄからＨＤ画素Ｂの予測係数を求
める。また、補間の場合、ＳＤ画素ａ，ｂ，ｃと学習に
より獲得された予測係数からＨＤ画素Ａを補間し、ＳＤ
画素ａ，ｂ，ｃ，ｄと対応する予測式からＨＤ画素Ｂを
補間する。In the one-dimensional interpolation shown in FIG.
The prediction coefficient of the HD pixel A is obtained from the SD pixels a, b, and c,
The prediction coefficient of the HD pixel B is obtained from the SD pixels a, b, c, and d. In the case of interpolation, the HD pixel A is interpolated from the SD pixels a, b, and c and the prediction coefficient obtained by learning, and SD
The HD pixel B is interpolated from the prediction formula corresponding to the pixels a, b, c, and d.
【００４１】また、情報圧縮手段として、ＡＤＲＣ回路
３３を設けることとしたが、ＡＤＲＣ回路３３の代わり
に例えば、ＤＣＴ（Discrete Cosine Transform ）、Ｖ
Ｑ（ベクトル量子化）、あるいはＤＰＣＭ（予測符号
化）回路を設ける等のように、データ圧縮を行なえるこ
とができる手段であれば何を設けるかは適宜選択可能で
ある。The ADRC circuit 33 is provided as information compression means. Instead of the ADRC circuit 33, for example, DCT (Discrete Cosine Transform), V
As long as it is a means capable of performing data compression, such as providing a Q (vector quantization) or a DPCM (prediction coding) circuit, what is provided can be appropriately selected.
【００４２】[0042]
【発明の効果】この発明は、実際の画像の性質に基づい
てＳＤ信号およびＨＤ信号の対応関係を学習し、その学
習からＳＤ信号に対応するＨＤ信号を決定するので、実
際の画像に近い補間を行なうことができる。また、ＳＤ
信号のレベル分布に応じて適応的にクラスを選択するた
め、画像の局所的性質に追従したアップコンバージョン
が可能となる。さらに、この発明は補間フィルタを用い
たものと異なり、解像度の補償されたＨＤ信号を得るこ
とができる。According to the present invention, the correspondence between the SD signal and the HD signal is learned based on the characteristics of the actual image, and the HD signal corresponding to the SD signal is determined from the learning. Can be performed. Also, SD
Since the class is adaptively selected according to the signal level distribution, up-conversion that follows the local properties of the image is possible. Further, the present invention can obtain an HD signal whose resolution is compensated, unlike the one using an interpolation filter.
【図１】この発明に係る画像信号変換装置における予測
係数を獲得するための構成の一例のブロック図である。FIG. 1 is a block diagram of an example of a configuration for obtaining a prediction coefficient in an image signal conversion device according to the present invention.
【図２】この発明の一実施例におけるＨＤ画素とＳＤ画
素の説明に用いる略線図の一例である。FIG. 2 is an example of a schematic diagram used for describing HD pixels and SD pixels in one embodiment of the present invention.
【図３】この発明に係る画像信号変換装置における予測
係数を獲得するための構成の一例のフローチャートであ
る。FIG. 3 is a flowchart of an example of a configuration for obtaining a prediction coefficient in the image signal conversion device according to the present invention.
【図４】ＡＤＲＣ回路の説明に用いるブロック図であ
る。FIG. 4 is a block diagram used for explaining an ADRC circuit;
【図５】この発明に係る画像信号変換装置の一実施例の
ブロック図である。FIG. 5 is a block diagram of an embodiment of an image signal conversion device according to the present invention.
【図６】この発明の一実施例のフローチャートである。FIG. 6 is a flowchart of one embodiment of the present invention.
【図７】この発明の他の実施例におけるＨＤ画素とＳＤ
画素の説明に用いる略線図である。FIG. 7 shows HD pixels and SD according to another embodiment of the present invention.
FIG. 4 is a schematic diagram used for describing a pixel.
【図８】従来のＳＤ信号からＨＤ信号へアップコンバー
トする説明に用いるブロック図である。FIG. 8 is a block diagram used to explain conventional up-conversion from an SD signal to an HD signal.
【図９】従来の信号変換装置に用いられる補間フィルタ
の一例のブロック図である。FIG. 9 is a block diagram of an example of an interpolation filter used in a conventional signal conversion device.
５ 予測係数メモリ ３１ 入力端子 ３２ ブロック化回路 ３３ ＡＤＲＣ回路 ３４ クラスコード発生回路 ３５ 予測演算回路 ３６ 出力端子 5 Prediction coefficient memory 31 Input terminal 32 Blocking circuit 33 ADRC circuit 34 Class code generation circuit 35 Prediction operation circuit 36 Output terminal
Claims (3)
信号に変換する画像信号変換装置において、 上記標準解像度の入力画像信号のレベル分布の形状に応
じてクラス分割を行なう手段と、 上記クラス分割されたクラス毎に予め学習により獲得さ
れた予測係数値を格納した記憶手段と、 上記記憶手段と結合され、上記予測係数値を含む予測式
に基づいた演算から最適な推定値を出力し、上記推定値
を含むことによって、上記入力画像信号よりも高い解像
度の画像信号を出力する手段を備えてなる画像信号変換
装置。1. An image signal conversion apparatus for converting a standard resolution image signal into a high resolution image signal, comprising: means for performing class division according to a level distribution shape of the standard resolution input image signal; Storage means for storing a prediction coefficient value obtained by learning in advance for each of the classes, and an optimal estimation value output from an operation based on a prediction formula including the prediction coefficient value, which is coupled to the storage means, An image signal conversion device comprising: means for outputting an image signal having a higher resolution than the input image signal by including an estimated value.
て、 上記クラス分割として、メモリ容量の節約のために適応
型ダイナミックレンジ符号化を用いるようにした画像信
号変換装置。2. The image signal conversion device according to claim 1, wherein the class division uses adaptive dynamic range coding for saving memory capacity.
て、 高解像度信号の近接する複数の画素に対する予測係数を
統合化してメモリを節約するようにした画像信号変換装
置。3. The image signal conversion device according to claim 1, wherein prediction coefficients for a plurality of adjacent pixels of the high-resolution signal are integrated to save memory.
Priority Applications (8)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP16751893A JP3326879B2 (en) | 1993-06-14 | 1993-06-14 | Image signal converter |
| KR1019940702732A KR100360206B1 (en) | 1992-12-10 | 1993-09-12 | Image signal converter |
| EP94902095A EP0635978B1 (en) | 1992-12-10 | 1993-12-09 | Image signal converter |
| PCT/JP1993/001786 WO1994014278A1 (en) | 1992-12-10 | 1993-12-09 | Image signal converter |
| AU56587/94A AU677813B2 (en) | 1992-12-10 | 1993-12-09 | Image signal converter |
| DE69324486T DE69324486T2 (en) | 1992-12-10 | 1993-12-09 | IMAGE SIGNAL CONVERTER |
| US08/284,560 US5666164A (en) | 1992-12-10 | 1993-12-09 | Image signal converting apparatus |
| US08/826,467 US5940132A (en) | 1992-12-10 | 1997-03-27 | Image signal converting apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP16751893A JP3326879B2 (en) | 1993-06-14 | 1993-06-14 | Image signal converter |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0775066A JPH0775066A (en) | 1995-03-17 |
| JP3326879B2 true JP3326879B2 (en) | 2002-09-24 |
Family
ID=15851181
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP16751893A Expired - Lifetime JP3326879B2 (en) | 1992-12-10 | 1993-06-14 | Image signal converter |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3326879B2 (en) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3702464B2 (en) | 2002-05-08 | 2005-10-05 | ソニー株式会社 | Data conversion device, data conversion method, learning device, learning method, program, and recording medium |
| US7627198B2 (en) | 2003-05-29 | 2009-12-01 | Sony Corporation | Information signal processing device and processing method, codebook generating device and generating method, and program for executing the methods |
| JP4561273B2 (en) | 2004-09-22 | 2010-10-13 | ソニー株式会社 | Image processing apparatus and method, and program |
| US8150195B2 (en) * | 2008-10-03 | 2012-04-03 | Sony Corporation | Adaptive prediction using a dimensionality reduction process |
-
1993
- 1993-06-14 JP JP16751893A patent/JP3326879B2/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0775066A (en) | 1995-03-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5940132A (en) | Image signal converting apparatus | |
| JP3321915B2 (en) | Image signal converter | |
| JP3271101B2 (en) | Digital image signal processing apparatus and processing method | |
| JP3326879B2 (en) | Image signal converter | |
| JP3511645B2 (en) | Image processing apparatus and image processing method | |
| JP3703034B2 (en) | Image signal processing method and image signal transmission apparatus | |
| JP3759537B2 (en) | Image signal transmission apparatus and image signal transmission method | |
| JP3400055B2 (en) | Image information conversion device, image information conversion method, image processing device, and image processing method | |
| JP3743077B2 (en) | Image signal conversion apparatus and method | |
| JP3362463B2 (en) | Frame interpolation device | |
| JP3723995B2 (en) | Image information conversion apparatus and method | |
| JP3870428B2 (en) | Image information conversion apparatus and method, and coefficient data generation apparatus and method | |
| JP3693187B2 (en) | Signal conversion apparatus and signal conversion method | |
| JP3587188B2 (en) | Digital image signal processing apparatus and processing method | |
| JPH0888849A (en) | Picture signal processing method and picture signal transmitter | |
| JP3480015B2 (en) | Apparatus and method for generating image data | |
| JP4164912B2 (en) | Signal processing apparatus and signal processing method | |
| JP3653287B2 (en) | Image information conversion apparatus and image information conversion method | |
| JP4131049B2 (en) | Signal processing apparatus and signal processing method | |
| JP4062326B2 (en) | Coefficient generation apparatus and method | |
| JP4038881B2 (en) | Image signal conversion apparatus and conversion method, and coefficient data generation apparatus and generation method used therefor | |
| JP3824176B2 (en) | Image signal conversion method, image signal conversion apparatus, and image signal transmission apparatus | |
| JP3831955B2 (en) | Class classification adaptive processing apparatus and method | |
| JP4310847B2 (en) | Image information conversion apparatus and conversion method | |
| JP2570795B2 (en) | High-efficiency encoder for television signals. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080712 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090712 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090712 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100712 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100712 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110712 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120712 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130712 Year of fee payment: 11 |
|
| EXPY | Cancellation because of completion of term |