JPH05167993A - Image conversion device capable of compensating resolution - Google Patents

Image conversion device capable of compensating resolution

Info

Publication number
JPH05167993A
JPH05167993A JP35230091A JP35230091A JPH05167993A JP H05167993 A JPH05167993 A JP H05167993A JP 35230091 A JP35230091 A JP 35230091A JP 35230091 A JP35230091 A JP 35230091A JP H05167993 A JPH05167993 A JP H05167993A
Authority
JP
Japan
Prior art keywords
memory
resolution
output
video signal
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP35230091A
Other languages
Japanese (ja)
Other versions
JP3278881B2 (en
Inventor
Tetsujiro Kondo
哲二郎 近藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP35230091A priority Critical patent/JP3278881B2/en
Priority to US07/986,707 priority patent/US5379072A/en
Priority to DE1992620337 priority patent/DE69220337T2/en
Priority to EP19920311324 priority patent/EP0546845B1/en
Priority to KR1019920023958A priority patent/KR100254958B1/en
Publication of JPH05167993A publication Critical patent/JPH05167993A/en
Application granted granted Critical
Publication of JP3278881B2 publication Critical patent/JP3278881B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/12Systems in which the television signal is transmitted via one channel or a plurality of parallel channels, the bandwidth of each channel being less than the bandwidth of the television signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/0122Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal the input and the output signals having different aspect ratios
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98Adaptive-dynamic-range coding [ADRC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0125Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Television Systems (AREA)
  • Color Television Systems (AREA)

Abstract

PURPOSE:To obtain an output image signal of high resolution without any deterioration in resolution by generating a high-frequency component from an input image signal of low resolution. CONSTITUTION:An SD(standard resolution) video signal is supplied to an input terminal 1. This SD video signal is converted by a block converting circuit 2 into block structure (2X2) and used as an address input of a memory 3. The memory 3 is stored with a previously generated mapping table, and the output image signal (HD video signal) of block structure (4X4) is read out of the memory 3. The output image signal is converted by a block decomposing circuit 4 in the order of the raster scanning and led out to an output terminal.

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【産業上の利用分野】この発明は、例えば標準解像度の
テレビジョン信号を高解像度のテレビジョン信号に変換
するアップコンバージョンに適用可能な解像度補償可能
な画像変換装置に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image conversion apparatus capable of resolution compensation applicable to up-conversion for converting, for example, a standard resolution television signal into a high resolution television signal.

【0002】[0002]

【従来の技術】標準解像度あるいは低解像度(これらを
SDと略称する)画像を高解像度(HDと略称する)画
像に変換するアップコンバージョン、電子ズーム、また
は画像の拡大においては、補間フィルタによって、不足
している画素のデータを補償することがなされている。
2. Description of the Related Art Up-conversion for converting a standard resolution or low resolution (abbreviated as SD) image into a high resolution (abbreviated as HD) image, electronic zoom, or image enlargement is insufficient due to an interpolation filter. The data of the pixel being processed is compensated.

【0003】[0003]

【発明が解決しようとする課題】しかしながら、フィル
タによる補間で得られた出力画像の解像度が劣化する問
題がある。例えば図5中で斜線で示すのは、SDのビデ
オ信号の帯域であり、このビデオ信号をフィルタで補間
してHDのテレビジョン信号を形成しても、入力SD信
号中に存在していないHD成分(高周波成分)が復元さ
れない。その結果、出力画像の解像度が低下する。
However, there is a problem that the resolution of the output image obtained by the interpolation by the filter deteriorates. For example, the hatched area in FIG. 5 indicates the band of the SD video signal. Even if this video signal is interpolated by a filter to form an HD television signal, the HD signal that does not exist in the input SD signal is not present. The component (high frequency component) is not restored. As a result, the resolution of the output image is reduced.

【0004】従って、この発明の目的は、高解像度成分
を復元することができ、解像度補償可能な画像変換装置
を提供することにある。
Therefore, an object of the present invention is to provide an image conversion device capable of restoring high resolution components and capable of resolution compensation.

【0005】[0005]

【課題を解決するための手段】この発明は、第1の解像
度の第1のディジタル画像信号の順序をブロック構造に
変換するブロック回路(2)と、マッピング表が格納さ
れてなり、ブロック構造に変換された第1のディジタル
画像信号がアドレスとして供給され、マッピング表に従
って第1の解像度に比してより高い第2の解像度を有す
る第2のディジタル画像信号が読み出されるメモリ
(3)と、メモリ(3)の出力信号の順序を元のものに
変換するためのブロック分解回路(4)とからなり、マ
ッピング表は、同一画像に対して、解像度の異なる2枚
の画像を形成し、2枚の画像をそれぞれブロック構造に
変換し、2枚の画像のそれぞれのブロック間の相関関係
を表すように、予め複数の絵柄でトレーニングして形成
されていることを特徴とする解像度補償可能な画像変換
装置である。
According to the present invention, a block circuit (2) for converting the order of a first digital image signal of a first resolution into a block structure and a mapping table are stored. A memory (3) from which the converted first digital image signal is supplied as an address and from which a second digital image signal having a second resolution higher than the first resolution is read according to a mapping table; The block decomposition circuit (4) for converting the order of the output signals of (3) into the original one, and the mapping table forms two images with different resolutions for the same image, Image is converted into a block structure, and is trained with a plurality of patterns in advance so as to show the correlation between the blocks of the two images. A resolution capable of compensating for image conversion apparatus.

【0006】[0006]

【作用】マッピング表は、トレーニング用の種々の絵柄
の源画像を用いて、二つの画像信号の相関を示すものと
して形成されている。従って、このマッピング表によっ
て、入力画像信号に含まれない高解像度成分を復元する
ことができる。
The mapping table is formed by using the source images of various pictures for training and showing the correlation between the two image signals. Therefore, with this mapping table, high resolution components not included in the input image signal can be restored.

【0007】[0007]

【実施例】以下、この発明の一実施例について説明す
る。この一実施例は、SDビデオ信号をHDビデオ信号
にアップコンバージョンする例である。図1において、
1で示す入力端子にディジタルのSDビデオ信号が供給
される。このSDビデオ信号の例は、SDVTRの再生
信号、放送信号等である。ブロック化回路2によって、
SDビデオ信号が通常のラスター走査の順序からブロッ
クの順序に変換される。
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS An embodiment of the present invention will be described below. This embodiment is an example of up-converting an SD video signal into an HD video signal. In FIG.
A digital SD video signal is supplied to the input terminal indicated by 1. Examples of this SD video signal are SDVTR reproduction signals, broadcast signals, and the like. By the blocking circuit 2,
The SD video signal is converted from normal raster scan order to block order.

【0008】ブロック化回路2の出力に、図2に示すよ
うに、(2×2×8ビット=32ビット)のブロック5
sに変換されたビデオ信号が発生する。この32ビット
がメモリ3にアドレスとして供給される。メモリ3に
は、後述のように、SD画像とHD画像との相関に基づ
いたマッピング表が格納されている。このメモリ3は、
例えば不揮発性RAMで構成される。
As shown in FIG. 2, the output of the block forming circuit 2 includes a block 5 of (2 × 2 × 8 bits = 32 bits).
A video signal converted to s is generated. These 32 bits are supplied to the memory 3 as an address. As will be described later, the memory 3 stores a mapping table based on the correlation between the SD image and the HD image. This memory 3
For example, it is composed of a nonvolatile RAM.

【0009】メモリ3からは、図2に示すように、(4
×4×8ビット)のブロック5hのビデオ信号が読み出
される。このブロック5hが1画面(1フィールドある
いは1フレーム)中で占める位置は、入力画像のブロッ
ク5sのそれと同一とされる。より具体的には、出力画
像が供給されるHD用のモニタのアスペクト比が(1
6:9)であるため、入力画像の例えば左上コーナのブ
ロック5sと対応する出力ブロック5hは、左上コーナ
より内側の上側の画像ブロックとして使用される。従っ
て、(4:3)のアスペクト比のSD画像から得られる
出力画像は、HD用モニタに供給しても、その画面の両
側の情報が不足する。この左右両側の不足情報は、ブラ
ンキング部分としても良く、あるいは補間しても良い。
但し、この処理は、この発明の要旨と直接的に関係しな
いので、その詳細についての説明は、省略する。
From the memory 3, as shown in FIG.
The video signal of the block 5h of (× 4 × 8 bits) is read. The position occupied by this block 5h in one screen (one field or one frame) is the same as that of the block 5s of the input image. More specifically, the aspect ratio of the HD monitor to which the output image is supplied is (1
6: 9), the output block 5h corresponding to, for example, the block 5s at the upper left corner of the input image is used as the upper image block inside the upper left corner. Therefore, even if the output image obtained from the SD image having the aspect ratio of (4: 3) is supplied to the HD monitor, the information on both sides of the screen is insufficient. The lack information on the left and right sides may be a blanking portion or may be interpolated.
However, since this processing is not directly related to the gist of the present invention, the detailed description thereof will be omitted.

【0010】メモリ3から読み出された出力画像データ
がブロック分解回路4に供給され、データの順序がラス
ター走査の順に変換される。ブロック分解回路4からの
出力画像データが出力端子5に取り出される。この出力
端子5には、D/A変換器(図示せず)を介してHD用
モニタが接続される。出力画像の画素数は、入力SDビ
デオ信号の画素数の4倍であって、HD用モニタによっ
て、HD画像を再生できる。
The output image data read from the memory 3 is supplied to the block decomposition circuit 4, and the order of the data is converted into the order of raster scanning. The output image data from the block decomposition circuit 4 is taken out to the output terminal 5. An HD monitor is connected to the output terminal 5 via a D / A converter (not shown). The number of pixels of the output image is four times the number of pixels of the input SD video signal, and the HD monitor can reproduce the HD image.

【0011】メモリ3に格納されるマッピング表を作成
のための構成の一例を図3に示す。図3中で、11で示
す入力端子にディジタルのHDビデオ信号が供給され
る。このHDビデオ信号は、マッピング表の作成を考慮
した標準的な信号であることが好ましく、例えば種々の
絵柄の静止画像からなる信号を採用できる。実際には、
標準的な画像をHDビデオカメラにより撮像することに
よって、あるいは撮像信号をHDVTRに記録すること
によって、HDビデオ信号を得ることができる。さら
に、予め変換出力として得ようとするHDビデオ信号が
分かっている時には、汎用性が要請されないので、源H
Dビデオ信号を使用してマッピング表が作成される。
FIG. 3 shows an example of a configuration for creating the mapping table stored in the memory 3. In FIG. 3, a digital HD video signal is supplied to the input terminal indicated by 11. This HD video signal is preferably a standard signal in consideration of creating a mapping table, and for example, a signal composed of still images of various patterns can be adopted. actually,
An HD video signal can be obtained by capturing a standard image with an HD video camera or by recording the captured signal in an HDVTR. Further, when the HD video signal to be obtained as the converted output is known in advance, versatility is not required, so the source H
A mapping table is created using the D-video signal.

【0012】このHDビデオ信号がブロック化回路12
に供給される。このブロック化回路12は、ラスター走
査の順序のビデオ信号を(4×4×8ビット)のブロッ
クの構造に変換する。ブロック化回路12の出力信号か
ら解像度が異なる2つの信号が形成される。その一つ
は、元のHDビデオ信号と同一の解像度の信号であっ
て、遅延回路13の出力に得られる。他の信号は、SD
のビデオ信号であって、ローパスフィルタ14およびサ
ブサンプリング回路15により形成される。ローパスフ
ィルタ14は、2次元ディジタルフィルタであって、折
返し歪みを防止するために、水平および垂直方向の帯域
制限を行う。サブサンプリング回路15は、水平方向の
画素数および垂直方向の画素数がそれぞれ半分に減少す
るように、サンプリングを行う。従って、サブサンプリ
ング回路15からのSDビデオ信号の1ブロックは、
(2×2×8ビット=32ビット)のデータである。
This HD video signal is a block circuit 12
Is supplied to. The blocking circuit 12 converts a video signal in raster scan order into a block structure of (4 × 4 × 8 bits). Two signals having different resolutions are formed from the output signal of the blocking circuit 12. One of them is a signal having the same resolution as the original HD video signal, and is obtained at the output of the delay circuit 13. Other signals are SD
Of the video signal, and is formed by the low-pass filter 14 and the sub-sampling circuit 15. The low-pass filter 14 is a two-dimensional digital filter, and performs band limitation in the horizontal and vertical directions to prevent aliasing distortion. The sub-sampling circuit 15 performs sampling so that the number of pixels in the horizontal direction and the number of pixels in the vertical direction are each halved. Therefore, one block of the SD video signal from the sub-sampling circuit 15 is
The data is (2 × 2 × 8 bits = 32 bits).

【0013】サブサンプリング回路15からのSDビデ
オ信号がメモリ20および度数メモリ21に対してそれ
らのアドレスとして供給される。メモリ20は、232
アドレス空間を有し、各アドレスに対して、(4×4×
8ビット=128ビット)のデータが書き込まれる。度
数メモリ21も、メモリ20と同一のアドレス空間を有
しているが、各アドレスへ書き込まれるデータは、度数
である。すなわち、メモリ21の読み出し出力が加算器
22に供給され、+1され、加算器22の出力がメモリ
21の同一アドレスに書き込まれる。メモリ20および
21は、初期状態として各アドレスの内容がゼロにクリ
アされる。
The SD video signal from the sub-sampling circuit 15 is supplied to the memory 20 and the frequency memory 21 as their addresses. The memory 20 has an address space of 2 32 , and for each address, (4 × 4 ×
Data of 8 bits = 128 bits) is written. The frequency memory 21 also has the same address space as the memory 20, but the data written to each address is frequency. That is, the read output of the memory 21 is supplied to the adder 22 and is incremented by 1, and the output of the adder 22 is written to the same address of the memory 21. The contents of each address of the memories 20 and 21 are cleared to zero as an initial state.

【0014】メモリ20から読み出された128ビット
のデータが乗算器23に供給され、度数メモリ21から
読み出された度数と乗算される。乗算器23の出力が加
算器24に供給され、加算器24にて遅延回路13から
の入力データと加算される。加算器24の出力が割算器
25に被除数として供給される。割算器25には、加算
器22の出力が除数として供給される。この割算器25
の出力(商)がメモリ20の入力データとされる。
The 128-bit data read from the memory 20 is supplied to the multiplier 23 and is multiplied by the frequency read from the frequency memory 21. The output of the multiplier 23 is supplied to the adder 24, and is added to the input data from the delay circuit 13 in the adder 24. The output of the adder 24 is supplied to the divider 25 as a dividend. The output of the adder 22 is supplied to the divider 25 as a divisor. This divider 25
Is output (quotient) as input data of the memory 20.

【0015】上述の図3の構成では、SDビデオ信号の
1ブロックと対応するあるアドレスAiが最初にアクセ
スされる時には、メモリ20および21の読み出し出力
が0であるため、HDビデオ信号の1ブロックのデータ
X1がそのままメモリ20に書き込まれ、メモリ21の
対応するアドレスの値が1とされる。若し、その後で、
このアドレスが再びアクセスされると、加算器22の出
力が2であり、加算器24の出力が(X1+X2)(X
2は、遅延回路13の出力)である。従って、割算器2
5の出力が(X1+X2)/3であり、これがメモリ2
0に書き込まれる。一方、度数メモリ21には、度数2
が書き込まれる。更に、その後で、上述のアドレスがア
クセスされると、同様の動作によって、メモリ20のデ
ータが(X1+X2+X3)/3に更新され、度数も3
に更新される。
In the configuration of FIG. 3 described above, when a certain address Ai corresponding to one block of the SD video signal is first accessed, the read outputs of the memories 20 and 21 are 0, so one block of the HD video signal is obtained. The data X1 is written in the memory 20 as it is, and the value of the corresponding address in the memory 21 is set to 1. And then,
When this address is accessed again, the output of the adder 22 is 2 and the output of the adder 24 is (X1 + X2) (X
2 is an output of the delay circuit 13. Therefore, the divider 2
The output of 5 is (X1 + X2) / 3, which is the memory 2
Written to 0. On the other hand, in the frequency memory 21, the frequency 2
Is written. Furthermore, when the above address is accessed thereafter, the data in the memory 20 is updated to (X1 + X2 + X3) / 3 by the same operation, and the frequency is also 3.
Will be updated.

【0016】上述の動作を所定期間で行うことによっ
て、メモリ20には、同一ビデオ信号から形成されたH
Dビデオ信号のブロックとSDビデオ信号のブロックと
の間の相関を示すマッピング表が蓄えられる。言い換え
れば、SDビデオ信号のブロックのデータのパターンが
与えられた時に、そのパターンに平均的に対応が取れた
HDビデオ信号のブロックのパターンを出力するマッピ
ング表が形成できる。このマッピング表が図1の構成の
メモリ3内に格納される。
By performing the above-described operation for a predetermined period, the memory 20 stores an H signal formed from the same video signal.
A mapping table is stored showing the correlation between blocks of D video signals and blocks of SD video signals. In other words, when the pattern of the data of the block of the SD video signal is given, it is possible to form a mapping table which outputs the pattern of the block of the HD video signal which corresponds to the pattern evenly. This mapping table is stored in the memory 3 having the configuration of FIG.

【0017】上述のマッピング表の作成の処理におい
て、実際には、メモリ20の全てのアドレスにデータを
書き込むことができず、データが0のアドレスが生じう
る。その場合には、周辺アドレスの非0のデータから予
測されたデータで補間がなされる。この補間のための構
成の一例を図4に示す。
In the process of creating the mapping table described above, in reality, data cannot be written to all the addresses of the memory 20, and an address of which data is 0 may occur. In that case, interpolation is performed with the data predicted from the non-zero data of the peripheral address. An example of the structure for this interpolation is shown in FIG.

【0018】図4で、メモリ30は、上述のように作成
されたマッピング表が格納されているメモリである。メ
モリ30のアドレス入力として、カウンタ31および3
2からの32ビットのアドレスの一方が切り替え回路3
3を介して選択的に供給される。カウンタ31のクロッ
ク入力には、入力端子34からのクロックCKがゲート
回路35を介して供給される。カウンタ31からのアド
レスが切り替え回路33、アドレスメモリ36および比
較回路37に供給される。カウンタ32には、入力端子
38からのクロックCKが供給され、その出力が切り替
え回路33および比較回路37に供給される。また、カ
ウンタ32には、アドレスメモリ36の出力がプリセッ
ト入力として供給される。
In FIG. 4, the memory 30 is a memory in which the mapping table created as described above is stored. Counters 31 and 3 are used as address inputs of the memory 30.
One of the 32-bit addresses from 2 is the switching circuit 3
3 is supplied selectively. The clock CK from the input terminal 34 is supplied to the clock input of the counter 31 through the gate circuit 35. The address from the counter 31 is supplied to the switching circuit 33, the address memory 36, and the comparison circuit 37. The clock CK from the input terminal 38 is supplied to the counter 32, and the output thereof is supplied to the switching circuit 33 and the comparison circuit 37. Further, the output of the address memory 36 is supplied to the counter 32 as a preset input.

【0019】メモリ30の出力データが非ゼロ検出回路
39およびバッファメモリ(ラッチでも良い)40に供
給され、また、ゲート回路41を介して補間データ形成
回路42に供給される。補間データ形成回路42は、バ
ッファメモリ40の出力、ゲート回路41の出力、カウ
ンタ31の出力、アドレスメモリ36の出力を受け取
り、ゼロデータに代わる補間データを形成する。この補
間データがメモリ30のデータ入力とされる。
The output data of the memory 30 is supplied to a non-zero detection circuit 39 and a buffer memory (may be a latch) 40, and is also supplied to an interpolation data forming circuit 42 via a gate circuit 41. The interpolation data forming circuit 42 receives the output of the buffer memory 40, the output of the gate circuit 41, the output of the counter 31, and the output of the address memory 36, and forms interpolation data in place of zero data. This interpolation data is used as the data input of the memory 30.

【0020】非ゼロ検出回路39の検出信号がフリップ
フロップ43にそのセット入力として供給される。さら
に、この検出信号は、ゲート回路41のオン/オフの制
御、バッファメモリ40およびアドレスメモリ36の書
き込み/読み出しの制御、カウンタ32の制御に使用さ
れる。
The detection signal of the non-zero detection circuit 39 is supplied to the flip-flop 43 as its set input. Further, this detection signal is used to control ON / OFF of the gate circuit 41, control of writing / reading of the buffer memory 40 and the address memory 36, and control of the counter 32.

【0021】カウンタ31の出力およびカウンタ32の
出力を比較する比較回路37の出力がカウンタ32のク
リア端子とフリップフロップ43のリセット端子とに供
給される。フリップフロップ43の出力信号によって、
ゲート回路35のオン/オフ、切り替え回路33の制
御、およびメモリ30の書き込みが制御される。
The output of the comparison circuit 37 for comparing the output of the counter 31 and the output of the counter 32 is supplied to the clear terminal of the counter 32 and the reset terminal of the flip-flop 43. By the output signal of the flip-flop 43,
ON / OFF of the gate circuit 35, control of the switching circuit 33, and writing of the memory 30 are controlled.

【0022】上述の図4の補間データ形成の構成の動作
を説明するために、メモリ30に格納されているデータ
の一部が下記のものであると想定する。
In order to explain the operation of the configuration of interpolation data formation of FIG. 4 above, it is assumed that some of the data stored in memory 30 is as follows.

【表1】 [Table 1]

【0023】まず、カウンタ31がクロックCKによっ
て、インクリメントされ、順次発生するアドレス信号が
切り替え回路33を介してメモリ30に供給される。メ
モリ30からの読み出しデータが非ゼロ検出回路39に
供給される。読み出しデータが非ゼロの場合、すなわ
ち、トレーニング画像によってデータが得られている場
合には、バッファメモリ40の内容を読み出すととも
に、メモリ30の出力を新たにバッファメモリ40に書
き込む。これと共に、ゲート41をオンとし、メモリ3
0の出力が補間データ形成回路42に供給される。
First, the counter 31 is incremented by the clock CK, and sequentially generated address signals are supplied to the memory 30 via the switching circuit 33. The read data from the memory 30 is supplied to the non-zero detection circuit 39. When the read data is non-zero, that is, when the data is obtained by the training image, the content of the buffer memory 40 is read and the output of the memory 30 is newly written in the buffer memory 40. At the same time, the gate 41 is turned on and the memory 3
The output of 0 is supplied to the interpolation data forming circuit 42.

【0024】上述の例のように、メモリ30のアドレス
A5のデータD5が読み出されたタイミングを考える
と、これは非ゼロであるため、非ゼロ検出回路39の検
出信号によって、バッファメモリ40から以前の非ゼロ
のデータD2が読み出され、バッファメモリ40には、
データD5が書き込まれる。このデータD5は、ゲート
回路41を介して補間データ形成回路42に供給され
る。補間データ形成回路42には、データD2も供給さ
れる。
Considering the timing of reading the data D5 of the address A5 of the memory 30 as in the above-mentioned example, since this is non-zero, the detection signal of the non-zero detection circuit 39 causes the buffer memory 40 to output the data. The previous non-zero data D2 is read out and stored in the buffer memory 40.
The data D5 is written. The data D5 is supplied to the interpolation data forming circuit 42 via the gate circuit 41. The data D2 is also supplied to the interpolation data forming circuit 42.

【0025】一方、その時のメモリ30のアドレス入力
は、A5であるため、これが非ゼロの検出信号によっ
て、アドレスメモリ36に書き込まれる。アドレスメモ
リ36からは、その前に記憶されていたアドレスA2が
読み出される。これらのアドレスA2およびA5が補間
データ形成回路42に供給され、アドレスA2およびA
5を参照して、データD2およびD5からその間のアド
レスA3、A4のゼロデータに代わるべき補間データが
形成される。
On the other hand, since the address input of the memory 30 at that time is A5, this is written in the address memory 36 by the non-zero detection signal. The address A2 stored before is read from the address memory 36. These addresses A2 and A5 are supplied to the interpolation data forming circuit 42, and the addresses A2 and A5 are supplied.
5, interpolation data to replace the zero data at the addresses A3 and A4 between the data D2 and D5 is formed.

【0026】この例では、距離に応じた重み付け平均値
を補間データとして形成している。すなわち、アドレス
A2とA5との間の距離を3とし、アドレスA3の補間
データは、(2・D2+D5)/3として求められ、ア
ドレスA4の補間データは、(D2+2・D5)/3と
して求められる。補間データの形成方法としては、これ
以外に、カーブフィッティング、高次補間等を使用して
も良い。
In this example, the weighted average value according to the distance is formed as the interpolation data. That is, the distance between the addresses A2 and A5 is set to 3, the interpolation data of the address A3 is calculated as (2 · D2 + D5) / 3, and the interpolation data of the address A4 is calculated as (D2 + 2 · D5) / 3. .. As a method of forming the interpolation data, other than this, curve fitting, high-order interpolation, or the like may be used.

【0027】また、アドレスメモリ36からのアドレス
A2が非ゼロ検出信号によって、カウンタ32にロード
され、カウンタ32の出力がクロックCKによって、ア
ドレスA3、A4を順次発生する。カウンタ32の出力
がA5に達すると、比較回路37が一致出力を発生す
る。この一致出力によって、カウンタ32がクリアされ
るともに、フリップフロップ43がリセットされる。
The address A2 from the address memory 36 is loaded into the counter 32 by the non-zero detection signal, and the output of the counter 32 sequentially generates the addresses A3 and A4 by the clock CK. When the output of the counter 32 reaches A5, the comparison circuit 37 generates a coincidence output. This coincidence output clears the counter 32 and resets the flip-flop 43.

【0028】フリップフロップ43がセットされている
期間では、切り替え回路33がカウンタ32からのアド
レス(A3、A4)を選択し、メモリ30が書き込みモ
ードとされる。従って、補間データ(2・D2+D5)
/3および(D2+2・D5)/3がメモリ30のアド
レスA3、A4にそれぞれ書き込まれる。この期間で
は、ゲート回路35がオフとされ、カウンタ31のイン
クリメントが停止される。
While the flip-flop 43 is set, the switching circuit 33 selects the address (A3, A4) from the counter 32, and the memory 30 is set to the write mode. Therefore, interpolation data (2D2 + D5)
/ 3 and (D2 + 2 · D5) / 3 are written in the addresses A3 and A4 of the memory 30, respectively. During this period, the gate circuit 35 is turned off and the increment of the counter 31 is stopped.

【0029】フリップフロップ43がリセットされてい
る期間では、ゲート回路35がオンし、切り替え回路3
3がカウンタ31からのアドレスを選択し、メモリ30
が読み出しモードとされる。そして、上述と同様の動作
がなされる。
While the flip-flop 43 is being reset, the gate circuit 35 is turned on and the switching circuit 3
3 selects the address from the counter 31, and the memory 30
Is the read mode. Then, the same operation as described above is performed.

【0030】なお、上述の一実施例は、SDビデオ信号
をHDビデオ信号にアップコンバージョンする例である
が、これ以外に、画像の拡大に対しても、この発明は、
同様に適用できる。
The above-described embodiment is an example in which the SD video signal is up-converted into the HD video signal. However, in addition to this, the present invention also applies to image enlargement.
The same applies.

【0031】[0031]

【発明の効果】この発明によれば、低解像度画像と高解
像度画像との相関を利用して、高解像度成分を復元する
ので、標準ビデオ信号を高解像度画像に変換してHDモ
ニタ上に表示できる。また、解像度の劣化を伴わずに、
画像を任意の大きさに拡大することができる。さらに、
解像度の劣化無しに、画像を間引き圧縮することができ
る。
According to the present invention, since the high resolution component is restored by utilizing the correlation between the low resolution image and the high resolution image, the standard video signal is converted into the high resolution image and displayed on the HD monitor. it can. Also, without deterioration of resolution,
The image can be enlarged to any size. further,
Images can be thinned and compressed without deterioration of resolution.

【図面の簡単な説明】[Brief description of drawings]

【図1】この発明の一実施例の構成を示すブロック図で
ある。
FIG. 1 is a block diagram showing the configuration of an embodiment of the present invention.

【図2】ブロック構造の説明のための略線図である。FIG. 2 is a schematic diagram for explaining a block structure.

【図3】マッピング表を作成するための構成の一例のブ
ロック図である。
FIG. 3 is a block diagram of an example of a configuration for creating a mapping table.

【図4】マッピング表を作成する時のデータの補間のた
めの構成の一例のブロック図である。
FIG. 4 is a block diagram of an example of a configuration for data interpolation when creating a mapping table.

【図5】従来技術の説明のための略線図である。FIG. 5 is a schematic diagram for explaining a conventional technique.

【符号の説明】 1 SDビデオ信号の入力端子 3 マッピング表が格納されているメモリ 5 HDビデオ信号の出力端子[Description of symbols] 1 SD video signal input terminal 3 Memory storing mapping table 5 HD video signal output terminal

Claims (1)

【特許請求の範囲】[Claims] 【請求項1】 第1の解像度の第1のディジタル画像信
号の順序をブロック構造に変換する手段と、 マッピング表が格納されてなり、上記ブロック構造に変
換された第1のディジタル画像信号がアドレスとして供
給され、上記マッピング表に従って上記第1の解像度に
比してより高い第2の解像度を有する第2のディジタル
画像信号が読み出されるメモリと、 上記メモリの出力信号の順序を元のものに変換するため
のブロック分解手段とからなり、 上記マッピング表は、同一画像に対して、解像度の異な
る2枚の画像を形成し、上記2枚の画像をそれぞれブロ
ック構造に変換し、上記2枚の画像のそれぞれのブロッ
ク間の相関関係を表すように、予め複数の絵柄でトレー
ニングして形成されていることを特徴とする解像度補償
可能な画像変換装置。
1. A means for converting the order of a first digital image signal of a first resolution into a block structure; and a mapping table stored, wherein the first digital image signal converted into the block structure is an address. And a memory for reading out a second digital image signal having a second resolution higher than the first resolution according to the mapping table, and converting the order of the output signals of the memory to the original one. The above-mentioned mapping table forms two images with different resolutions for the same image, converts the two images into block structures, and outputs the two images. Image conversion capable of resolution compensation, which is formed by training with a plurality of patterns in advance so as to represent the correlation between the respective blocks of apparatus.
JP35230091A 1991-12-13 1991-12-13 Image signal generator Expired - Lifetime JP3278881B2 (en)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP35230091A JP3278881B2 (en) 1991-12-13 1991-12-13 Image signal generator
US07/986,707 US5379072A (en) 1991-12-13 1992-12-08 Digital video signal resolution converting apparatus using an average of blocks of a training signal
DE1992620337 DE69220337T2 (en) 1991-12-13 1992-12-11 Device for converting a digital video signal
EP19920311324 EP0546845B1 (en) 1991-12-13 1992-12-11 Digital video signal converting apparatus
KR1019920023958A KR100254958B1 (en) 1991-12-13 1992-12-11 Digital video signal converting apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP35230091A JP3278881B2 (en) 1991-12-13 1991-12-13 Image signal generator

Publications (2)

Publication Number Publication Date
JPH05167993A true JPH05167993A (en) 1993-07-02
JP3278881B2 JP3278881B2 (en) 2002-04-30

Family

ID=18423123

Family Applications (1)

Application Number Title Priority Date Filing Date
JP35230091A Expired - Lifetime JP3278881B2 (en) 1991-12-13 1991-12-13 Image signal generator

Country Status (5)

Country Link
US (1) US5379072A (en)
EP (1) EP0546845B1 (en)
JP (1) JP3278881B2 (en)
KR (1) KR100254958B1 (en)
DE (1) DE69220337T2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7688363B2 (en) 2006-05-29 2010-03-30 Panasonic Corporation Super-resolution device, super-resolution method, super-resolution program, and super-resolution system
US11822158B2 (en) 2019-09-11 2023-11-21 Brightview Technologies, Inc. Back light unit for backlit displays

Families Citing this family (86)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0645736B1 (en) * 1993-09-27 2003-02-05 Canon Kabushiki Kaisha Image processing apparatus
US5555465A (en) * 1994-05-28 1996-09-10 Sony Corporation Digital signal processing apparatus and method for processing impulse and flat components separately
US5666163A (en) * 1994-07-12 1997-09-09 Sony Corporation Electronic image resolution enhancement by frequency-domain extrapolation
US5512953A (en) * 1994-08-09 1996-04-30 At&T Corp. Method and apparatus for conversion of compressed bit stream representation of video signal
KR100366738B1 (en) * 1994-08-31 2003-03-06 소니 가부시끼 가이샤 Imager
GB9504307D0 (en) * 1995-03-03 1995-04-19 Philips Electronics Uk Ltd Video image processing
TW330273B (en) * 1996-02-13 1998-04-21 Sanyo Electric Co The image-processing device and method for mapping image memory
TW359919B (en) 1996-07-17 1999-06-01 Sony Corp Image coding apparatus, image coding method, image decoding method, image decoding apparatus, image data transmitting method and recording medium
US6381369B1 (en) * 1996-07-17 2002-04-30 Sony Corporation Image coding apparatus, image coding method, image decoding method, image decoding apparatus, image data transmitting method and recording medium
AU714554B2 (en) 1996-07-17 2000-01-06 Sony Corporation Image coding and decoding using mapping coefficients corresponding to class information of pixel blocks
AU718453B2 (en) 1996-07-17 2000-04-13 Sony Corporation Image coding and decoding using mapping coefficients corresponding to class information of pixel blocks
DE69720334T2 (en) * 1996-07-17 2004-02-12 Sony Corp. Device and method for image coding / decoding
US6581170B1 (en) 1997-10-23 2003-06-17 Sony Corporation Source coding to provide for robust error recovery during transmission losses
US6332042B1 (en) 1997-10-23 2001-12-18 Sony Corporation Apparatus and method for encoding and decoding data in a lossy transmission environment
US6282684B1 (en) 1997-10-23 2001-08-28 Sony Corporation Apparatus and method for recovery of data in a lossy transmission environment
US6718073B1 (en) 1998-09-30 2004-04-06 Sony Corporation Arithmetic device, and converter, and their methods
US6621936B1 (en) 1999-02-12 2003-09-16 Sony Corporation Method and apparatus for spatial class reduction
US6535148B1 (en) 1999-02-12 2003-03-18 Sony Corporation Method and apparatus for truncated decoding
US6519369B1 (en) 1999-02-12 2003-02-11 Sony Corporation Method and apparatus for filter tap expansion
US7010737B2 (en) * 1999-02-12 2006-03-07 Sony Corporation Method and apparatus for error data recovery
US6363118B1 (en) 1999-02-12 2002-03-26 Sony Corporation Apparatus and method for the recovery of compression constants in the encoded domain
US6151416A (en) * 1999-02-12 2000-11-21 Sony Corporation Method and apparatus for adaptive class tap selection according to multiple classification
US6307560B1 (en) 1999-02-12 2001-10-23 Sony Corporation Classified adaptive spatio-temporal format conversion method and apparatus
US6192161B1 (en) 1999-02-12 2001-02-20 Sony Corporation Method and apparatus for adaptive filter tap selection according to a class
US6591398B1 (en) 1999-02-12 2003-07-08 Sony Corporation Multiple processing system
US6170074B1 (en) 1999-02-12 2001-01-02 Sony Corporation Source coding to provide for robust error recovery
US6307979B1 (en) 1999-02-12 2001-10-23 Sony Corporation Classified adaptive error recovery method and apparatus
US6178266B1 (en) 1999-02-12 2001-01-23 Sony Corporation Method and apparatus for the recovery of compression constants in the encoded domain
US6154761A (en) * 1999-02-12 2000-11-28 Sony Corporation Classified adaptive multiple processing system
US7565546B2 (en) 1999-03-30 2009-07-21 Sony Corporation System, method and apparatus for secure digital content transmission
US7730300B2 (en) * 1999-03-30 2010-06-01 Sony Corporation Method and apparatus for protecting the transfer of data
US6697489B1 (en) 1999-03-30 2004-02-24 Sony Corporation Method and apparatus for securing control words
US6473876B1 (en) 1999-06-29 2002-10-29 Sony Corporation Method and apparatus for encoding of bitstreams using rotation
US6549672B1 (en) 1999-06-29 2003-04-15 Sony Corporation Method and apparatus for recovery of encoded data using central value
US6493842B1 (en) 1999-06-29 2002-12-10 Sony Corporation Time-varying randomization for data synchronization and implicit information transmission
US6389562B1 (en) 1999-06-29 2002-05-14 Sony Corporation Source code shuffling to provide for robust error recovery
US6351494B1 (en) 1999-09-24 2002-02-26 Sony Corporation Classified adaptive error recovery method and apparatus
US6522785B1 (en) 1999-09-24 2003-02-18 Sony Corporation Classified adaptive error recovery method and apparatus
US6539517B1 (en) 1999-11-09 2003-03-25 Sony Corporation Data transformation for explicit transmission of control information
US7039614B1 (en) 1999-11-09 2006-05-02 Sony Corporation Method for simulcrypting scrambled data to a plurality of conditional access devices
US6754371B1 (en) 1999-12-07 2004-06-22 Sony Corporation Method and apparatus for past and future motion classification
US7225164B1 (en) * 2000-02-15 2007-05-29 Sony Corporation Method and apparatus for implementing revocation in broadcast networks
US20030206631A1 (en) * 2000-06-22 2003-11-06 Candelore Brant L. Method and apparatus for scrambling program data for furture viewing
US20040205812A1 (en) * 2000-06-22 2004-10-14 Candelore Brant L. Method and apparatus for routing program data in a program viewing unit
US7747853B2 (en) 2001-06-06 2010-06-29 Sony Corporation IP delivery of secure digital content
US7350082B2 (en) * 2001-06-06 2008-03-25 Sony Corporation Upgrading of encryption
US7127619B2 (en) 2001-06-06 2006-10-24 Sony Corporation Decoding and decryption of partially encrypted information
US7895616B2 (en) * 2001-06-06 2011-02-22 Sony Corporation Reconstitution of program streams split across multiple packet identifiers
US7765567B2 (en) * 2002-01-02 2010-07-27 Sony Corporation Content replacement by PID mapping
US7215770B2 (en) * 2002-01-02 2007-05-08 Sony Corporation System and method for partially encrypted multimedia stream
US7233669B2 (en) * 2002-01-02 2007-06-19 Sony Corporation Selective encryption to enable multiple decryption keys
US7155012B2 (en) * 2002-01-02 2006-12-26 Sony Corporation Slice mask and moat pattern partial encryption
US7039938B2 (en) * 2002-01-02 2006-05-02 Sony Corporation Selective encryption for video on demand
US7376233B2 (en) * 2002-01-02 2008-05-20 Sony Corporation Video slice and active region based multiple partial encryption
US7823174B2 (en) * 2002-01-02 2010-10-26 Sony Corporation Macro-block based content replacement by PID mapping
US7292691B2 (en) 2002-01-02 2007-11-06 Sony Corporation Progressive video refresh slice detection
US7302059B2 (en) * 2002-01-02 2007-11-27 Sony Corporation Star pattern partial encryption
US7218738B2 (en) * 2002-01-02 2007-05-15 Sony Corporation Encryption and content control in a digital broadcast system
US7242773B2 (en) * 2002-09-09 2007-07-10 Sony Corporation Multiple partial encryption using retuning
US20090180025A1 (en) * 2002-05-28 2009-07-16 Sony Corporation Method and apparatus for overlaying graphics on video
US7530084B2 (en) * 2002-05-28 2009-05-05 Sony Corporation Method and apparatus for synchronizing dynamic graphics
US8818896B2 (en) * 2002-09-09 2014-08-26 Sony Corporation Selective encryption with coverage encryption
US8572408B2 (en) 2002-11-05 2013-10-29 Sony Corporation Digital rights management of a digital device
US7724907B2 (en) 2002-11-05 2010-05-25 Sony Corporation Mechanism for protecting the transfer of digital content
US8645988B2 (en) * 2002-12-13 2014-02-04 Sony Corporation Content personalization for digital content
US8667525B2 (en) * 2002-12-13 2014-03-04 Sony Corporation Targeted advertisement selection from a digital stream
US20040165586A1 (en) * 2003-02-24 2004-08-26 Read Christopher Jensen PID filters based network routing
US7409702B2 (en) * 2003-03-20 2008-08-05 Sony Corporation Auxiliary program association table
US7292692B2 (en) 2003-03-25 2007-11-06 Sony Corporation Content scrambling with minimal impact on legacy devices
US20050036067A1 (en) * 2003-08-05 2005-02-17 Ryal Kim Annon Variable perspective view of video images
US7286667B1 (en) 2003-09-15 2007-10-23 Sony Corporation Decryption system
US20050066357A1 (en) * 2003-09-22 2005-03-24 Ryal Kim Annon Modifying content rating
US7853980B2 (en) * 2003-10-31 2010-12-14 Sony Corporation Bi-directional indices for trick mode video-on-demand
US7346163B2 (en) * 2003-10-31 2008-03-18 Sony Corporation Dynamic composition of pre-encrypted video on demand content
US20050097597A1 (en) * 2003-10-31 2005-05-05 Pedlow Leo M.Jr. Hybrid storage of video on demand content
US7343013B2 (en) * 2003-12-16 2008-03-11 Sony Corporation Composite session-based encryption of video on demand content
US20050097596A1 (en) * 2003-10-31 2005-05-05 Pedlow Leo M.Jr. Re-encrypted delivery of video-on-demand content
US7263187B2 (en) * 2003-10-31 2007-08-28 Sony Corporation Batch mode session-based encryption of video on demand content
US7620180B2 (en) * 2003-11-03 2009-11-17 Sony Corporation Preparation of content for multiple conditional access methods in video on demand
US20050102702A1 (en) * 2003-11-12 2005-05-12 Candelore Brant L. Cablecard with content manipulation
US20050169473A1 (en) * 2004-02-03 2005-08-04 Candelore Brant L. Multiple selective encryption with DRM
US7895617B2 (en) * 2004-12-15 2011-02-22 Sony Corporation Content substitution editor
US8041190B2 (en) 2004-12-15 2011-10-18 Sony Corporation System and method for the creation, synchronization and delivery of alternate content
US8185921B2 (en) 2006-02-28 2012-05-22 Sony Corporation Parental control of displayed content using closed captioning
US7555464B2 (en) * 2006-03-01 2009-06-30 Sony Corporation Multiple DRM management
GB2449631B (en) * 2007-05-21 2012-02-15 Doo Technologies Fze Method and system for processing of images

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4442454A (en) * 1982-11-15 1984-04-10 Eastman Kodak Company Image processing method using a block overlap transformation procedure
JP2508439B2 (en) * 1987-05-29 1996-06-19 ソニー株式会社 High efficiency encoder
FR2651402B1 (en) * 1989-08-22 1991-10-25 Europ Rech Electr Lab FRAME FREQUENCY AND NUMBER OF LINES CONVERSION DEVICE FOR A HIGH DEFINITION TELEVISION RECEIVER.
US5161014A (en) * 1990-11-26 1992-11-03 Rca Thomson Licensing Corporation Neural networks as for video signal processing
US5113256A (en) * 1991-02-08 1992-05-12 Zenith Electronics Corporation Method of perceptually modeling a video image signal

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7688363B2 (en) 2006-05-29 2010-03-30 Panasonic Corporation Super-resolution device, super-resolution method, super-resolution program, and super-resolution system
US11822158B2 (en) 2019-09-11 2023-11-21 Brightview Technologies, Inc. Back light unit for backlit displays

Also Published As

Publication number Publication date
DE69220337T2 (en) 1997-11-20
US5379072A (en) 1995-01-03
KR930015857A (en) 1993-07-24
JP3278881B2 (en) 2002-04-30
KR100254958B1 (en) 2000-05-01
EP0546845A2 (en) 1993-06-16
EP0546845A3 (en) 1993-12-08
DE69220337D1 (en) 1997-07-17
EP0546845B1 (en) 1997-06-11

Similar Documents

Publication Publication Date Title
JP3278881B2 (en) Image signal generator
JP3438233B2 (en) Image conversion apparatus and method
US8508610B2 (en) Video signal processing apparatus
JPH1011009A (en) Processor for video signal and display device using the same
JPS63121364A (en) Interpolator of television special effect apparatus
JP3154190B2 (en) General-purpose scanning cycle converter
JP2782766B2 (en) Video / still image conversion method
JP3278880B2 (en) Image signal generator
JP3278882B2 (en) Image signal generator
JP3608544B2 (en) Parameter generating apparatus and method
KR100743520B1 (en) Video Scaler and method for scaling video signal
JP3712138B2 (en) Recording apparatus, recording / reproducing apparatus, recording method, and recording / reproducing method
JP4003508B2 (en) Image composition apparatus and image composition method
JP3988738B2 (en) Image conversion apparatus and image conversion method
JPH11338454A (en) On-screen display circuit
US20010012057A1 (en) Film scanner with variable image resolution
JPH07181937A (en) Image processor
JPH11288257A (en) Method and device for compression display
JP3636208B2 (en) camera
JPH07107415A (en) Television signal processor
JP2601138B2 (en) Video display
JP3331227B2 (en) Imaging device
JPH10222655A (en) Picture processor and picture processing method
JPH0522680A (en) Picture processor
JPH1023330A (en) Picture processor

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080222

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090222

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100222

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100222

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110222

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120222

Year of fee payment: 10

EXPY Cancellation because of completion of term