JP2000115717A - Video information converter, conversion method and image display device - Google Patents

Video information converter, conversion method and image display device

Info

Publication number
JP2000115717A
JP2000115717A JP10280048A JP28004898A JP2000115717A JP 2000115717 A JP2000115717 A JP 2000115717A JP 10280048 A JP10280048 A JP 10280048A JP 28004898 A JP28004898 A JP 28004898A JP 2000115717 A JP2000115717 A JP 2000115717A
Authority
JP
Japan
Prior art keywords
image
image signal
prediction
signal
prediction coefficient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP10280048A
Other languages
Japanese (ja)
Other versions
JP4131048B2 (en
Inventor
Tetsujiro Kondo
哲二郎 近藤
Masaaki Hattori
正明 服部
Yasushi Tatsuhira
靖 立平
Juichi Shiraki
寿一 白木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP28004898A priority Critical patent/JP4131048B2/en
Publication of JP2000115717A publication Critical patent/JP2000115717A/en
Application granted granted Critical
Publication of JP4131048B2 publication Critical patent/JP4131048B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Television Systems (AREA)

Abstract

PROBLEM TO BE SOLVED: To eliminate deterioration in image quality in a received image signal in the case that an image signal of interlace scanning is converted into an image signal of progressive scanning or an image signal with standard resolution into an image signal with high resolution. SOLUTION: A received image is either an image sd0 without deteriorated image quality or an image sd1 with deteriorated image quality. A prediction coefficient memory 102 stores a table 102a for prediction coefficients pcf0 and a table 102b for prediction coefficients pcf1. The prediction coefficients pcf0 are obtained through the learning using student images without deterioration and teacher images without deterioration and when an image signal converter 101 receives the input image sd0, the converter 101 generates a pixel value of an output image signal by adopting a linear prediction equation using the prediction coefficients pcf0 and a pixel value of a prediction tap. Furthermore, the prediction coefficients pcf1 are obtained through the learning using student images with deterioration and teacher images without deterioration and when the image signal converter 101 receives the input image sd0, the converter 101 generates a pixel value of an output image signal by adopting a linear prediction equation using the prediction coefficients pcf1 and a pixel value of a prediction tap. Thus, an output image sdp from which deterioration in the image quality is eliminated is obtained.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】この発明は、例えば、テレビ
ジョン受像機に用いて好適な画像情報変換装置、変換方
法および画像表示装置に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image information conversion device, a conversion method, and an image display device suitable for use in, for example, a television receiver.

【0002】[0002]

【従来の技術】インターレス方式の画像信号をプログレ
ッシブ方式(順次走査方式、ノンインターレス方式とも
称される)の画像信号へ変換する画像情報変換装置が提
案されている。この変換は、インターレス方式であるこ
とに起因するラインフリッカを軽減するためになされ
る。例えばグラフィックスの画像では、ラインフリッカ
が目立つ問題があり、グラフィックス画像を表示する時
には、インターレス方式よりもプログレッシブ方式の方
が高画質とできる。また、インターレス方式の標準解像
度の画像信号をインターレス方式の高解像度の画像信号
へ変換する画像信号変換装置も提案されている。
2. Description of the Related Art There has been proposed an image information conversion apparatus for converting an image signal of an interlace system into an image signal of a progressive system (also referred to as a progressive scanning system or a non-interlace system). This conversion is performed to reduce line flicker caused by the interlace system. For example, in a graphics image, there is a problem that line flicker is conspicuous. When displaying a graphics image, the progressive system can achieve higher image quality than the interlace system. Further, there has been proposed an image signal conversion device for converting an interlace standard resolution image signal into an interlace high resolution image signal.

【0003】一例として、画像信号変換装置は、入力さ
れる525i信号(走査線525本のインターレス方式
の信号)を525p信号(走査線525本のプログレッ
シブ方式の信号)へ変換したり、入力される525i信
号を1050i信号(走査線1050本のインターレス
方式の信号)へ変換する。この種の画像信号変換装置と
して、本願出願人は、出力画像信号のある画素値(注目
画素値)を予め学習によって得た予測係数と注目画素の
近傍の入力画像信号の複数の画素値との線型結合によっ
て生成し、予測係数を注目画素の近傍の複数の画素値の
レベル分布(クラス)に応じて切り換える方式のもの
(クラス分類適応処理による画像信号変換装置)を提案
している。クラス分類適応処理によって、入力画像信号
中の画素を使用した補間による信号変換装置と比較し
て、解像度が向上した出力画像信号を得ることができ
る。
As an example, an image signal converter converts an input 525i signal (525 scanning lines of an interlaced signal) into a 525p signal (525 scanning lines of a progressive signal) or receives an input signal. 525i signal is converted to a 1050i signal (interlace signal of 1050 scanning lines). As an image signal conversion device of this type, the present applicant assigns a prediction coefficient obtained by learning a certain pixel value (target pixel value) of an output image signal in advance to a plurality of pixel values of an input image signal near the target pixel. There has been proposed an image signal conversion apparatus which is generated by linear combination and switches prediction coefficients in accordance with a level distribution (class) of a plurality of pixel values near a target pixel (an image signal conversion apparatus using a class classification adaptive process). By the classification adaptive processing, it is possible to obtain an output image signal whose resolution is improved as compared with a signal conversion device based on interpolation using pixels in an input image signal.

【0004】[0004]

【発明が解決しようとする課題】提案されているクラス
分類適応処理型の画像信号変換装置は、入力画像信号の
画質が劣化している場合に、劣化を考慮して信号変換を
行うものではなかった。従って、変換後の出力画像信号
において、入力画像信号に存在していた劣化が目立つこ
とがあった。例えば525i信号を1050i信号へ変
換する場合には、水平および垂直方向において、それぞ
れ2倍に画素数が増加する。その結果、劣化の面積が大
きくなり、結果として変換後の出力画像で劣化が目立つ
問題があった。
The proposed image signal conversion apparatus of the classification adaptive processing type does not perform the signal conversion in consideration of the deterioration when the image quality of the input image signal is deteriorated. Was. Therefore, in the output image signal after the conversion, the deterioration existing in the input image signal may be conspicuous. For example, when converting a 525i signal to a 1050i signal, the number of pixels is doubled in each of the horizontal and vertical directions. As a result, there is a problem that the area of the deterioration becomes large, and as a result, the deterioration is noticeable in the output image after the conversion.

【0005】従って、この発明の目的は、クラス分類適
応型画像信号変換装置であって、入力画像信号に存在し
ている画質劣化が変換後に目立つことを防止することが
可能な画像情報変換装置、変換方法および画像表示装置
を提供することにある。
SUMMARY OF THE INVENTION Accordingly, an object of the present invention is to provide a class classification adaptive image signal conversion apparatus capable of preventing image quality deterioration existing in an input image signal from being noticeable after conversion. An object of the present invention is to provide a conversion method and an image display device.

【0006】[0006]

【課題を解決するための手段】請求項1の発明は、入力
画像信号から走査線構造の異なる複数の出力画像信号を
形成するようにした画像情報変換装置において、出力画
像信号の生成すべき画素の周辺に位置する入力画像信号
の複数の第1の画素を選択する第1のデータ選択手段
と、出力画像信号の生成すべき画素の周辺に位置する入
力画像信号の複数の第2の画素を選択する第2のデータ
選択手段と、画質劣化のない生徒画像と教師画像とに基
づいて予め取得されている第1の予測係数と、画質劣化
のある生徒画像と教師画像とに基づいて予め取得されて
いる第2の予測係数とを記憶するメモリ手段と、入力画
像信号の画質劣化の有無に応じて第1の予測係数および
第2の予測係数の一方を選択する選択手段と、第2のデ
ータ選択手段で選択された第2の画素に基づいてクラス
情報を形成するクラス決定手段と、第1のデータ選択手
段で選択された第1の画素と、第1および第2の予測係
数の内で選択された予測係数であって、クラス情報に対
応する予測係数との線形予測式によって、出力画像信号
の画素値を生成する画素値生成手段と、画素値生成手段
に対して接続され、変換画像を指定された走査線構造へ
変換するための走査変換手段とからなることを特徴とす
る画像情報変換装置である。
According to a first aspect of the present invention, there is provided an image information conversion apparatus for forming a plurality of output image signals having different scanning line structures from an input image signal, wherein a pixel for generating an output image signal is provided. A first data selection unit for selecting a plurality of first pixels of the input image signal located around the pixel, and a plurality of second pixels of the input image signal located around the pixel to be generated with the output image signal. A second data selection unit to be selected; a first prediction coefficient previously acquired based on the student image and the teacher image having no image quality degradation; and a first prediction coefficient acquired in advance based on the student image and the teacher image having the image quality degradation. Memory means for storing the second prediction coefficient, and selecting means for selecting one of the first prediction coefficient and the second prediction coefficient in accordance with the presence or absence of image quality deterioration of the input image signal; Select by data selection means Class determining means for forming class information based on the obtained second pixel, a first pixel selected by the first data selecting means, and a prediction selected from among the first and second prediction coefficients. A pixel value generation means for generating a pixel value of the output image signal by a linear prediction equation with a prediction coefficient corresponding to the class information, and a conversion image specified by the pixel value generation means. An image information conversion apparatus, comprising: a scan conversion unit for converting into a scanning line structure.

【0007】請求項2の発明は、入力画像信号を受け取
って表示装置に画像信号を表示するようにした画像表示
装置において、入力画像信号源と表示装置との間に、入
力画像信号から走査線構造の異なる複数の出力画像信号
を形成するようにした画像情報変換装置を設け、画像情
報変換装置は、出力画像信号の生成すべき画素の周辺に
位置する入力画像信号の複数の第1の画素を選択する第
1のデータ選択手段と、出力画像信号の生成すべき画素
の周辺に位置する入力画像信号の複数の第2の画素を選
択する第2のデータ選択手段と、画質劣化のない生徒画
像と教師画像とに基づいて予め取得されている第1の予
測係数と、画質劣化のある生徒画像と教師画像とに基づ
いて予め取得されている第2の予測係数とを記憶するメ
モリ手段と、入力画像信号の画質劣化の有無に応じて第
1の予測係数および第2の予測係数の一方を選択する選
択手段と、第2のデータ選択手段で選択された第2の画
素に基づいてクラス情報を形成するクラス決定手段と、
第1のデータ選択手段で選択された第1の画素と、第1
および第2の予測係数の内で選択された予測係数であっ
て、クラス情報に対応する予測係数との線形予測式によ
って、出力画像信号の画素値を生成する画素値生成手段
と、画素値生成手段に対して接続され、生成した画素値
を指定された走査線構造へ変換するための走査変換手段
とからなることを特徴とする画像表示装置である。
According to a second aspect of the present invention, in an image display apparatus which receives an input image signal and displays the image signal on a display apparatus, a scanning line is provided between the input image signal source and the display apparatus from the input image signal. An image information converter configured to form a plurality of output image signals having different structures, wherein the image information converter includes a plurality of first pixels of the input image signal located around a pixel to generate the output image signal; , A second data selecting unit for selecting a plurality of second pixels of the input image signal located around a pixel to be generated with the output image signal, and a student having no image quality deterioration. Memory means for storing a first prediction coefficient previously obtained based on the image and the teacher image, and a second prediction coefficient previously obtained based on the student image and the teacher image having image quality deterioration; ,input Selection means for selecting one of the first prediction coefficient and the second prediction coefficient in accordance with the presence or absence of image quality deterioration of the image signal; and class information based on the second pixel selected by the second data selection means. Class determining means to be formed;
A first pixel selected by the first data selection means;
Pixel value generation means for generating a pixel value of an output image signal by a linear prediction equation with a prediction coefficient selected from the first prediction coefficient and the second prediction coefficient, the prediction coefficient corresponding to the class information; An image display device, comprising: a scan conversion unit connected to the unit and configured to convert a generated pixel value into a designated scanning line structure.

【0008】請求項5の発明は、入力画像信号から走査
線構造の異なる複数の出力画像信号を形成するようにし
た画像情報変換方法において、出力画像信号の生成すべ
き画素の周辺に位置する入力画像信号の複数の第1の画
素を選択するステップと、出力画像信号の生成すべき画
素の周辺に位置する入力画像信号の複数の第2の画素を
選択するステップと、画質劣化のない生徒画像と教師画
像とに基づいて予め取得されている第1の予測係数と、
画質劣化のある生徒画像と教師画像とに基づいて予め取
得されている第2の予測係数とを記憶するステップと、
入力画像信号の画質劣化の有無に応じて第1の予測係数
および第2の予測係数の一方を選択するステップと、選
択された第2の画素に基づいてクラス情報を形成するク
ラス決定のステップと、選択された第1の画素と、第1
および第2の予測係数の内で選択された予測係数であっ
て、クラス情報に対応する予測係数との線形予測式によ
って、出力画像信号の画素値を生成するステップと、生
成した画素値を指定された走査線構造へ変換するステッ
プとからなることを特徴とする画像情報変換方法であ
る。
According to a fifth aspect of the present invention, there is provided an image information conversion method for forming a plurality of output image signals having different scanning line structures from an input image signal, the input information being located around a pixel where an output image signal is to be generated. Selecting a plurality of first pixels of the image signal; selecting a plurality of second pixels of the input image signal located around a pixel to be generated with the output image signal; A first prediction coefficient obtained in advance based on and the teacher image;
Storing a second prediction coefficient obtained in advance based on the student image having the image quality deterioration and the teacher image;
A step of selecting one of the first prediction coefficient and the second prediction coefficient in accordance with the presence or absence of image quality deterioration of the input image signal; and a step of determining a class for forming class information based on the selected second pixel. , The selected first pixel and the first
Generating a pixel value of the output image signal by a linear prediction equation with a prediction coefficient selected from the second prediction coefficient and the prediction coefficient corresponding to the class information; and specifying the generated pixel value. Converting the image data into a scanned line structure.

【0009】この発明では、インターレス方式の入力画
像信号を、プログレッシブ方式の出力画像信号またはよ
り高解像度のインターレス信号へ変換することができ
る。予め画質劣化のない生徒画像と教師画像から得た第
1の予測係数と、画質劣化のある生徒画像と教師画像か
ら得た第2の予測係数を用意しているので、入力画像信
号の画質劣化の有無に応じて使用する予測係数を切り換
えることによって、画質劣化のない出力画像を得ること
が可能となる。
According to the present invention, an input image signal of the interlace system can be converted into an output image signal of a progressive system or an interlace signal of higher resolution. Since the first prediction coefficient obtained from the student image and the teacher image without image quality deterioration and the second prediction coefficient obtained from the student image and the teacher image with image quality deterioration are prepared in advance, the image quality deterioration of the input image signal is obtained. By switching the prediction coefficient to be used in accordance with the presence or absence of an image, it is possible to obtain an output image without image quality deterioration.

【0010】[0010]

【発明の実施の形態】以下、この発明の一実施形態につ
いて説明する。一実施形態の理解の容易のため、ディジ
タル入力映像信号例えばライン数が525本でインター
レス方式の入力映像信号(以下、525p信号と称す
る)を、プログレッシブ方式のディジタル出力映像信号
例えばライン数が525本でプログレッシブ方式の画像
信号(以下、525p信号と称する)へ変換するクラス
分類適応処理型の画像信号変換装置について説明する。
さらに、これらの出力映像信号は、水平方向の画素数が
入力映像信号の2倍とされる。
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS An embodiment of the present invention will be described below. In order to facilitate understanding of the embodiment, a digital input video signal, for example, an interlaced input video signal having 525 lines (hereinafter referred to as a 525p signal) is converted into a progressive digital output video signal, for example, having 525 lines. Here, a description will be given of an image signal conversion apparatus of a class classification adaptive processing type that converts an image signal into a progressive image signal (hereinafter referred to as a 525p signal).
Further, these output video signals have twice the number of pixels in the horizontal direction as the input video signal.

【0011】クラス分類適応処理は、入力信号である映
像信号レベルの3次元(時空間)分布に応じてクラス分
割を行い、クラス毎に予め学習により獲得された予測係
数値を格納した記憶手段を持ち、予測式に基づいた演算
により最適な推定値を出力する方式であり、クラス分類
適応処理によって、解像度を入力映像信号のもの以上に
高めることが可能である。
In the class classification adaptive processing, a class is divided in accordance with a three-dimensional (spatio-temporal) distribution of a video signal level as an input signal, and a storage means storing prediction coefficient values obtained by learning in advance for each class is stored. This is a method of outputting an optimum estimated value by an operation based on a prediction formula, and it is possible to increase the resolution to be higher than that of the input video signal by the class classification adaptive processing.

【0012】この画像信号変換装置では、図1に示すよ
うに、入力映像信号(525i信号)が領域切り出し部
1に供給され、クラス分類および予測演算に必要とされ
る複数の画素が含まれる領域が切り出される。領域切り
出し部1の出力がクラス検出回路2および12、予測タ
ップ選択回路3および13に供給される。クラス検出回
路2および12は、生成すべき出力画素の近傍の入力画
素のレベル分布のパターンに対応するクラスを検出す
る。クラス検出回路2および12において、動きクラス
を検出しても良い。なお、この画像信号変換装置では、
現存ライン上の出力画素値(ラインデータL1)と生成
ライン上の出力画素値(ラインデータL2)とを並列構
成でもって生成するようにしている。但し、メモリを追
加し、回路の動作速度が速ければ、時分割処理でライン
データL1およびL2を順に生成すると共に、ライン倍
速処理を行うことが可能である。
In this image signal conversion device, as shown in FIG. 1, an input video signal (525i signal) is supplied to a region cutout unit 1, and a region including a plurality of pixels required for class classification and prediction calculation is included. Is cut out. The output of the region cutout unit 1 is supplied to class detection circuits 2 and 12, and prediction tap selection circuits 3 and 13. The class detection circuits 2 and 12 detect a class corresponding to the level distribution pattern of the input pixels near the output pixel to be generated. The class detection circuits 2 and 12 may detect a motion class. In this image signal conversion device,
An output pixel value (line data L1) on an existing line and an output pixel value (line data L2) on a generation line are generated in a parallel configuration. However, if a memory is added and the operation speed of the circuit is high, it is possible to generate line data L1 and L2 in order by time-division processing and to perform line double-speed processing.

【0013】クラス検出回路2および12のそれぞれに
より検出されたクラスが予測タップ選択回路3、13と
予測係数メモリ4、14とに供給される。予測係数メモ
リ4、14からは、クラスに対応する予測係数が読出さ
れ、積和演算回路5、15に読出された予測係数が供給
される。予測タップ選択回路3、13は、クラスに応じ
て使用する予測タップを選択する構成とされている。予
め各クラスの予測係数を学習によって得る時に、予測係
数と使用する予測タップ位置情報との両者を得るように
している。予測タップ選択回路3、13には、予測タッ
プ位置情報がクラス毎に記憶されたメモリが設けられて
いる。このメモリからクラスに対応して読出された予測
タップ位置情報がタップ切り替え用のセレクタに供給さ
れ、セレクタが選択的に予測タップを出力する。予測タ
ップ選択回路3、13からの予測タップが積和演算回路
5、15に供給される。
The classes detected by the class detection circuits 2 and 12 are supplied to prediction tap selection circuits 3 and 13 and prediction coefficient memories 4 and 14, respectively. The prediction coefficients corresponding to the class are read from the prediction coefficient memories 4 and 14, and the read prediction coefficients are supplied to the product-sum operation circuits 5 and 15. The prediction tap selection circuits 3 and 13 are configured to select a prediction tap to be used according to a class. When the prediction coefficients of each class are obtained in advance by learning, both the prediction coefficients and the prediction tap position information to be used are obtained. The prediction tap selection circuits 3 and 13 are provided with memories in which prediction tap position information is stored for each class. The prediction tap position information read from the memory corresponding to the class is supplied to a tap switching selector, and the selector selectively outputs prediction taps. The prediction taps from the prediction tap selection circuits 3 and 13 are supplied to the product-sum operation circuits 5 and 15.

【0014】積和演算回路5、15では、予測タップ
(525i信号の画素)と予測係数との線形予測式を用
いて出力映像信号(525p信号)のデータを算出す
る。積和演算回路5は、現存ライン上のデータ(ライン
データL1)を出力し、積和演算回路15は、生成ライ
ン上のデータ(ラインデータL2)を出力する。同時
に、積和演算回路5、15は、水平方向で2倍の数の画
素を出力する。
The sum-of-products calculation circuits 5 and 15 calculate data of the output video signal (525p signal) using a linear prediction formula of prediction taps (pixels of the 525i signal) and prediction coefficients. The product-sum operation circuit 5 outputs data on the existing line (line data L1), and the product-sum operation circuit 15 outputs data on the generation line (line data L2). At the same time, the product-sum operation circuits 5 and 15 output twice as many pixels in the horizontal direction.

【0015】積和演算回路5からのラインデータL1が
ラインダブラ6に供給され、積和演算回路15からのラ
インデータL2がラインダブラ16に供給される。ライ
ンダブラ6、16は、ライン倍速の処理を行う。積和演
算回路5、15は、525i信号から525p信号を生
成するので、水平周期は、525i信号と同一である。
ラインダブラ6、16は、水平周期を2倍とするライン
倍速処理を行う。ラインダブラ6、16の出力が水平周
期で切り替えられるスイッチング回路7に入力される。
スイッチング回路7は、ラインダブラ6、16のそれぞ
れの出力を交互に選択し、出力映像信号(525p信
号)を発生する。
The line data L1 from the product-sum operation circuit 5 is supplied to the line doubler 6, and the line data L2 from the product-sum operation circuit 15 is supplied to the line doubler 16. The line doublers 6 and 16 perform line double speed processing. Since the product-sum operation circuits 5 and 15 generate the 525p signal from the 525i signal, the horizontal cycle is the same as the 525i signal.
The line doublers 6 and 16 perform line double speed processing for doubling the horizontal period. Outputs of the line doublers 6 and 16 are input to a switching circuit 7 that is switched in a horizontal cycle.
The switching circuit 7 alternately selects the output of each of the line doublers 6 and 16 and generates an output video signal (525p signal).

【0016】図2は、ライン倍速処理をアナログ波形を
用いて示すものである。積和演算回路5、15によっ
て、ラインデータL1およびL2が同時に生成される。
ラインデータL1には、順にa1,a2,a3,・・・
のラインが含まれ、ラインデータL2には、順にb1,
b2,b3,・・・のラインが含まれる。ラインダブラ
6、16は、各ラインのデータを時間軸方向に1/2に
圧縮し、圧縮されたデータをスイッチング回路7によっ
て交互に選択することによって、線順次出力(a0,b
0,a1,b1,・・・)が形成される。
FIG. 2 shows the line double speed processing using an analog waveform. Line data L1 and L2 are simultaneously generated by the product-sum operation circuits 5 and 15.
The line data L1 includes a1, a2, a3,.
, And the line data L2 includes b1,
The lines b2, b3,... are included. The line doublers 6 and 16 compress the data of each line by half in the time axis direction, and alternately select the compressed data by the switching circuit 7, thereby providing line-sequential output (a0, b).
0, a1, b1,...) Are formed.

【0017】図示しないが、出力映像信号がCRTディ
スプレイに供給される。CRTディスプレイは、出力映
像信号(525p信号)を表示することが可能なよう
に、その同期系が構成されている。入力映像信号として
は、放送信号、またはVTR等の再生装置の再生信号が
供給される。すなわち、この画像信号変換装置をテレビ
ジョン受像機に内蔵することができる。
Although not shown, an output video signal is supplied to a CRT display. The synchronization system of the CRT display is configured so that an output video signal (525p signal) can be displayed. As the input video signal, a broadcast signal or a playback signal of a playback device such as a VTR is supplied. That is, the image signal conversion device can be built in a television receiver.

【0018】図3は、1フィールドの画像の一部を拡大
することによって、525i信号と525p信号との画
素の配置を示すものである。大きなドットが525i信
号の画素であり、小さいドットが出力される525p信
号の画素である。この関係は、図3以外の他の図面にお
いても同様である。図3は、あるフレーム(F)の奇数
(O)フィールドの画素配置である。他のフィールド
(偶数フィールド)では、525i信号のラインが空間
的に0.5ラインずれたものとなる。図3から分かるよ
うに、画像信号変換装置は、525i信号のラインと同
一位置のラインデータL1および525i信号の上下の
ラインの中間位置のラインデータL2を形成し、また、
各ラインの水平方向の画素数を2倍とする。従って、積
和演算回路5、15によって、525p信号の4画素の
データが同時的に生成される。
FIG. 3 shows the arrangement of pixels of the 525i signal and the 525p signal by enlarging a part of an image of one field. Large dots are pixels of the 525i signal, and small dots are pixels of the 525p signal to be output. This relationship is the same in other drawings other than FIG. FIG. 3 shows a pixel arrangement in an odd (O) field of a certain frame (F). In other fields (even fields), the lines of the 525i signal are spatially shifted by 0.5 lines. As can be seen from FIG. 3, the image signal conversion device forms line data L1 at the same position as the line of the 525i signal and line data L2 at an intermediate position between the upper and lower lines of the 525i signal.
The number of pixels in each line in the horizontal direction is doubled. Therefore, the data of four pixels of the 525p signal are simultaneously generated by the product-sum operation circuits 5 and 15.

【0019】クラス検出回路2、12において使用され
るクラスタップおよび予測タップ選択回路3、13にお
いて選択される予測タップの具体例について説明する。
図4および図5は、クラス検出回路2、12において使
用される空間クラスタップの一例を示す。図4および図
5は、時間的に連続するフレームF−1の奇数フィール
ドo(F−1/oと表記する)、F−1の偶数フィール
ド(F−1/e)、F/o、F/eのそれぞれの垂直方
向の画素の配列を示す。
A specific example of the class tap used in the class detection circuits 2 and 12 and the prediction tap selected in the prediction tap selection circuits 3 and 13 will be described.
FIGS. 4 and 5 show an example of the space class tap used in the class detection circuits 2 and 12. FIG. 4 and 5 show the odd field o (denoted as F-1 / o) of the temporally continuous frame F-1, the even field (F-1 / e) of F-1, F / o, F / E shows an arrangement of pixels in the vertical direction.

【0020】図4に示すように、フィールドF/oのラ
インデータL1およびL2を予測する時の空間クラスタ
ップは、このフィールドF/oの次のフィールドF/e
に含まれ、生成すべき525p信号の画素と空間的に近
傍位置の入力画素T1およびT2と、フィールドF/o
に含まれ、生成すべき525p信号の画素の近傍の入力
画素T3,T4,T5と、前のフィールドF−1/eの
入力画素T6,T7である。フィールドF/eのライン
データL1およびL2を予測する時には、図5に示すよ
うに、このフィールドF/eの次のフィールドF/oに
含まれ、生成すべき525p信号の画素と空間的に近傍
位置の入力画素T1およびT2と、フィールドF/eに
含まれ、生成すべき525p信号の画素の近傍の入力画
素T3,T4,T5と、前のフィールドF/oの入力画
素T6,T7である。なお、ラインデータL1の画素を
予測する時には、T7の画素をクラスタップとして選択
せず、ラインデータL2の画素を予測する時には、T4
の画素をクラスタップとして選択しないようにしても良
い。さらに、空間クラスタップとして、水平方向の複数
の入力画素を使用しても良い。
As shown in FIG. 4, the space class tap for predicting the line data L1 and L2 of the field F / o is the field F / e following the field F / o.
And the input pixels T1 and T2 spatially adjacent to the pixel of the 525p signal to be generated, and the field F / o
And input pixels T3, T4, T5 near the pixel of the 525p signal to be generated, and input pixels T6, T7 of the previous field F-1 / e. When predicting the line data L1 and L2 of the field F / e, as shown in FIG. 5, it is included in the field F / o next to the field F / e and is spatially close to the pixel of the 525p signal to be generated. The input pixels T1 and T2 at the position, the input pixels T3, T4, and T5 included in the field F / e and near the pixel of the 525p signal to be generated, and the input pixels T6 and T7 of the previous field F / o. . Note that when predicting the pixel of the line data L1, the pixel of T7 is not selected as a class tap, and when predicting the pixel of the line data L2, T4 is predicted.
May not be selected as a class tap. Further, a plurality of input pixels in the horizontal direction may be used as the space class tap.

【0021】クラス検出回路2、12は、空間クラスタ
ップのレベル分布のパターンを検出する。この場合、ク
ラス数が膨大となることを防ぐために、各画素8ビット
の入力データをより少ないビット数のデータへ圧縮する
ような処理を行う。一例として、ADRC(Adaptive D
ynamic Range Coding )によって、空間クラスタップの
入力画素のデータが圧縮される。なお、情報圧縮手段と
しては、ADRC以外にDPCM(予測符号化)、VQ
(ベクトル量子化)等の圧縮手段を用いても良い。
The class detection circuits 2 and 12 detect the level distribution pattern of the space class tap. In this case, in order to prevent the number of classes from becoming enormous, processing is performed to compress the input data of 8 bits for each pixel into data having a smaller number of bits. As an example, ADRC (Adaptive D
The dynamic range coding compresses the data of the input pixel of the space class tap. As information compression means, DPCM (prediction coding), VQ
A compression means such as (vector quantization) may be used.

【0022】本来、ADRCは、VTR(Video Tape R
ecoder)向け高能率符号化用に開発された適応的再量子
化法であるが、信号レベルの局所的なパターンを短い語
長で効率的に表現できるので、この画像信号変換装置で
は、ADRCを空間クラス分類のコード発生に使用して
いる。ADRCは、空間クラスタップのダイナミックレ
ンジをDR、ビット割当をn、空間クラスタップの画素
のデータレベルをL、再量子化コードをQとして、以下
の式(1)により、最大値MAXと最小値MINとの間
を指定されたビット長で均等に分割して再量子化を行
う。
Originally, ADRC is a VTR (Video Tape R)
ecoder) is an adaptive requantization method developed for high-efficiency coding. However, since a local pattern of a signal level can be efficiently represented by a short word length, this image signal conversion device uses ADRC. Used to generate codes for spatial class classification. The ADRC uses a dynamic range of a spatial class tap as DR, a bit allocation as n, a data level of a pixel of the spatial class tap as L, and a requantization code as Q, by using the following equation (1) to obtain a maximum value MAX and a minimum value. Re-quantization is performed by equally dividing the data with the MIN by the designated bit length.

【0023】 DR=MAX−MIN+1 Q={(L−MIN+0.5)×2/DR} (1) ただし、{ }は切り捨て処理を意味する。DR = MAX−MIN + 1 Q = {(L−MIN + 0.5) × 2 / DR} (1) where {} indicates a truncation process.

【0024】なお、動きクラスを併用して、空間クラス
と動きクラスとを統合してクラスを検出するようにして
も良い。この場合、動きクラスに応じて、空間クラスタ
ップを切り替えるようにしても良い。また、予測タップ
の具体例の説明は省略する。予測タップは、上述した空
間クラスタップと同様のものであるが、予測精度を向上
させるために、クラスに対応した予測タップ位置情報に
より選択される。
It should be noted that the motion class may be used together, and the space class and the motion class may be integrated to detect the class. In this case, the space class tap may be switched according to the motion class. Description of a specific example of the prediction tap will be omitted. The prediction tap is the same as the above-described space class tap, but is selected based on prediction tap position information corresponding to the class in order to improve prediction accuracy.

【0025】予測係数メモリ4、14には、525i信
号のパターンと525p信号の関係を学習することによ
り、取得された予測係数が各クラス毎に記憶されてい
る。予測係数は、線形予測式により525i信号を52
5p信号へ変換するための情報である。なお、予測係数
の取得方法については後述する。
In the prediction coefficient memories 4 and 14, the prediction coefficients obtained by learning the relationship between the pattern of the 525i signal and the 525p signal are stored for each class. The prediction coefficient is obtained by dividing the 525i signal by 52 using a linear prediction equation.
This is information for converting to a 5p signal. The method for obtaining the prediction coefficient will be described later.

【0026】予測係数メモリ4、14のクラスに対応し
たアドレスから、そのクラスの予測係数が読出される。
この予測係数は、積和演算回路5、15に供給される。
積和演算回路5は、予測タップ選択回路3、13からの
予測タップ(画素値)T1,T2,・・・Tiと、予測
係数w1 ,w2 ,・・・wiとの線形1次結合式(式
(2))の演算を行うことにより、ラインデータL1を
算出する。積和演算回路15は、同様にしてラインデー
タL2を算出する。但し、ラインデータL1およびL2
との間では、使用する予測係数が相違する。
The prediction coefficient of the class is read from the address corresponding to the class in the prediction coefficient memories 4 and 14.
This prediction coefficient is supplied to the product-sum operation circuits 5 and 15.
Product-sum operation circuit 5, the prediction taps (pixel values) from the prediction tap selection circuit 3, 13 T1, T2, and · · · Ti, prediction coefficients w 1, w 2, linear combination of · · · wi The line data L1 is calculated by performing the operation of the expression (Expression (2)). The product-sum operation circuit 15 calculates the line data L2 in the same manner. However, the line data L1 and L2
The prediction coefficient used differs between.

【0027】 L1=w1 T1+w2 T2+・・・・+wiTi (2) このように、予測係数が各クラス毎に予め学習により求
められた上で、予測係数メモリ4、14に記憶してお
き、入力される予測タップおよび読出された予測係数に
基づいて演算が行われ、入力されたデータに対応する出
力データを形成して出力することにより、入力データを
単に補間処理したのとは異なり、高画質のプログレッシ
ブ方式の映像信号を出力することができる。
L1 = w 1 T1 + w 2 T2 +... + WiTi (2) As described above, the prediction coefficients are previously obtained by learning for each class, and are stored in the prediction coefficient memories 4 and 14. An operation is performed based on the input prediction taps and the read prediction coefficients, and output data corresponding to the input data is formed and output. It is possible to output a progressive video signal of image quality.

【0028】次に、予測係数の生成(学習)について図
6を用いて説明する。予測係数を学習によって得るため
には、まず、間引きフィルタ31によってプログレッシ
ブ信号(例えば525p信号)から、水平方向および垂
直方向で画素数がそれぞれ1/2とされたインターレス
映像信号(例えば525i信号)を形成する。この間引
きフィルタ31の入力映像信号と出力映像信号とを学習
用の対とする。
Next, generation (learning) of prediction coefficients will be described with reference to FIG. In order to obtain the prediction coefficients by learning, first, an interlaced video signal (for example, a 525i signal) in which the number of pixels in each of the horizontal direction and the vertical direction is reduced to か ら by a decimation filter 31 from a progressive signal (for example, a 525p signal) To form The input video signal and the output video signal of the thinning filter 31 are used as a learning pair.

【0029】図7は、間引きフィルタ31の入力信号
(プログレッシブ画像)とその出力信号(インターレス
画像)との画素の空間的関係を示す。プログレッシブ画
像の奇数番目のフィールドの画像の偶数番目のラインが
間引かれ、また、奇数番目のラインでは、水平方向に画
素数が交互に間引かれる。プログレッシブ画像の偶数番
目のフィールドでは、奇数番目のラインが間引かれ、ま
た、偶数番目のラインでは、水平方向に画素数が交互に
間引かれる。間引きフィルタ31の特性を変えることに
よって、学習の特性を変え、それによって、変換して得
られる画像の画質を制御することができる。
FIG. 7 shows the spatial relationship of pixels between the input signal (progressive image) of the thinning filter 31 and the output signal (interlace image). The even-numbered lines of the image of the odd-numbered field of the progressive image are thinned out, and the pixels of the odd-numbered lines are alternately thinned in the horizontal direction. In the even-numbered fields of the progressive image, odd-numbered lines are thinned out, and in the even-numbered lines, the number of pixels is alternately thinned out in the horizontal direction. By changing the characteristics of the thinning filter 31, the characteristics of the learning can be changed, and thereby the image quality of the image obtained by the conversion can be controlled.

【0030】間引きフィルタ31からのインターレス映
像信号が予測タップ領域切り出し部32およびクラスタ
ップ領域切り出し部33に供給される。クラスタップ領
域切り出し部33からのクラスタップがクラス検出回路
34および35に供給される。予測タップ領域切り出し
部32は、ラインデータL1、L2をそれぞれ生成する
ための予測タップを出力する。クラス検出回路34、3
5は、図1に示す信号変換装置におけるクラス検出回路
2、12と同様に、空間クラスタップのデータをADR
Cにより圧縮し、クラス情報を発生する。クラス検出回
路34、35は、ラインデータL1およびL2のそれぞ
れに関するクラスを独立に検出する。
The interlaced video signal from the thinning filter 31 is supplied to a prediction tap area cutout section 32 and a class tap area cutout section 33. The class tap from the class tap area cutout unit 33 is supplied to the class detection circuits 34 and 35. The prediction tap area cutout unit 32 outputs prediction taps for generating the line data L1 and L2, respectively. Class detection circuit 34, 3
Reference numeral 5 denotes an ADR which converts the data of the spatial class tap into the ADR, similarly to the class detection circuits 2 and 12 in the signal conversion device shown in FIG.
C to compress and generate class information. The class detection circuits 34 and 35 independently detect a class for each of the line data L1 and L2.

【0031】予測タップ領域切り出し部32からの予測
タップが正規方程式加算回路36、37に供給される。
正規方程式加算回路36、37の説明のために、複数個
の入力画素から出力画素への変換式の学習とその予測式
を用いた信号変換について述べる。以下に、説明のため
に、より一般化してn画素による予測を行う場合につい
て説明する。予測タップとして選択される入力画素のレ
ベルをそれぞれx1 、‥‥、xn とし、出力画素レベル
をyとしたとき、クラス毎に予測係数w1 、‥‥、wn
によるnタップの線形予測式を設定する。これを下記の
式(3)に示す。学習前は、wi が未定係数である。
The prediction tap from the prediction tap area cutout unit 32 is supplied to normal equation addition circuits 36 and 37.
For explanation of the normal equation adding circuits 36 and 37, learning of a conversion formula from a plurality of input pixels to output pixels and signal conversion using the prediction formula will be described. Hereinafter, for the sake of explanation, a more generalized case of performing prediction using n pixels will be described. X 1 the level of the input pixels selected as prediction taps, respectively, ‥‥, and x n, when the output pixel level and y, the prediction for each class coefficients w 1, ‥‥, w n
An n-tap linear prediction equation is set according to This is shown in the following equation (3). Learning ago, w i is undetermined coefficients.

【0032】 y=w1 1 +w2 2 +‥‥+wn n (3) 学習は、クラス毎に複数の信号データに対して行う。デ
ータ数がmの場合、式(3)にしたがって、以下に示す
式(4)が設定される。
Y = w 1 x 1 + w 2 x 2 + ‥‥ + w n x n (3) Learning is performed on a plurality of signal data for each class. When the number of data is m, the following equation (4) is set according to the equation (3).

【0033】 yk =w1 k1+w2 k2+‥‥+wn kn (4) (k=1,2,‥‥m) m>nの場合、予測係数wi 、‥‥wn は、一意に決ま
らないので、誤差ベクトルeの要素を以下の式(5)で
定義して、式(6)を最小にする予測係数を求める。い
わゆる、最小自乗法による解法である。
Y k = w 1 × k 1 + w 2 × k 2 + ‥‥ + w n × kn (4) (k = 1,2, ‥‥ m) When m> n, the prediction coefficients w i , ‥‥ w n Is not uniquely determined, the element of the error vector e is defined by the following equation (5), and a prediction coefficient that minimizes the equation (6) is obtained. This is a so-called least squares solution.

【0034】 ek =yk −{w1 k1+w2 k2+‥‥+wn kn} (5) (k=1,2,‥‥m)E k = y k- {w 1 x k1 + w 2 x k2 + ‥‥ + w n xkn } (5) (k = 1, 2, ‥‥ m)

【0035】[0035]

【数1】 (Equation 1)

【0036】ここで、式(6)のwi による偏微分係数
を求める。それは以下の式(7)を`0' にするよう
に、各係数wi を求めればよい。
Here, the partial differential coefficient based on w i in equation (6) is obtained. What is necessary is just to find each coefficient w i so that the following equation (7) is set to `0`.

【0037】[0037]

【数2】 (Equation 2)

【0038】以下、式(8)、(9)のようにXij、Y
i を定義すると、式(7)は、行列を用いて式(10)
へ書き換えられる。
Hereinafter, X ij , Y as shown in equations (8) and (9)
When i is defined, equation (7) is obtained by using equation (10) using a matrix.
Is rewritten to

【0039】[0039]

【数3】 (Equation 3)

【0040】[0040]

【数4】 (Equation 4)

【0041】[0041]

【数5】 (Equation 5)

【0042】この方程式は、一般に正規方程式と呼ばれ
ている。図6中の正規方程式加算回路36、37のそれ
ぞれは、クラス検出回路34、35から供給されたクラ
ス情報と、予測タップ領域切り出し部32から供給され
た2組の予測タップと、生成しようとするプログレッシ
ブ画像の画素(教師信号)を用いて、この正規方程式の
加算を行う。
This equation is generally called a normal equation. Each of the normal equation addition circuits 36 and 37 in FIG. 6 attempts to generate the class information supplied from the class detection circuits 34 and 35 and the two sets of prediction taps supplied from the prediction tap area cutout unit 32. The normal equation is added using the pixels (teacher signal) of the progressive image.

【0043】学習に充分なフレーム数のデータの入力が
終了した後、正規方程式加算回路36、37は、予測係
数決定部38に正規方程式データを出力する。予測係数
決定部38は、正規方程式を掃き出し法等の一般的な行
列解法を用いて、wi について解き、予測係数を算出す
る。予測係数決定部38は、算出された予測係数を予測
係数メモリ39、40に書込む。
After the input of data of a sufficient number of frames for learning is completed, the normal equation adding circuits 36 and 37 output normal equation data to the prediction coefficient determining section 38. The prediction coefficient determination unit 38 solves w i using a general matrix solution such as a sweeping method of a normal equation, and calculates a prediction coefficient. The prediction coefficient determination unit 38 writes the calculated prediction coefficients into the prediction coefficient memories 39 and 40.

【0044】以上のように学習を行った結果、予測係数
メモリ39、40のそれぞれには、クラス毎に、プログ
レッシブ画像の注目画素yを推定するための、統計的に
もっとも真値に近い推定ができる予測係数が格納され
る。予測係数メモリ39、40に格納された予測係数
は、上述の画像情報変換装置において、予測係数メモリ
4、14にロードされる。
As a result of learning as described above, in each of the prediction coefficient memories 39 and 40, an estimate statistically closest to the true value for estimating the target pixel y of the progressive image is estimated for each class. The possible prediction coefficients are stored. The prediction coefficients stored in the prediction coefficient memories 39 and 40 are loaded into the prediction coefficient memories 4 and 14 in the above-described image information conversion device.

【0045】また、予測タップ領域切り出し部32が出
力する予測タップの個数は、画像情報変換装置において
使用される予測タップの個数より大きいものとされる。
従って、予測係数決定部38は、クラス毎により多くの
予測係数が求まる。この求まった予測係数の中で、絶対
値が大きいものから順に使用する数の予測係数が選択さ
れる。選択された予測係数がメモリ39、40のクラス
に対応するアドレスにそれぞれ格納される。従って、ク
ラス毎に予測タップが選択されることになり、この予測
タップの選択位置情報がクラス毎にメモリ(図示しな
い)に格納される。このような予測タップ選択処理によ
って、各クラスに適合した予測タップを選択することが
可能となる。
The number of prediction taps output by the prediction tap area cutout unit 32 is larger than the number of prediction taps used in the image information conversion device.
Therefore, the prediction coefficient determination unit 38 obtains more prediction coefficients for each class. From the obtained prediction coefficients, the prediction coefficients of the number to be used are selected in ascending order of the absolute value. The selected prediction coefficients are stored at addresses corresponding to the classes in the memories 39 and 40, respectively. Therefore, a prediction tap is selected for each class, and the selected position information of the prediction tap is stored in a memory (not shown) for each class. By such a prediction tap selection process, it is possible to select a prediction tap suitable for each class.

【0046】以上の処理により、線形予測式により、イ
ンターレス画像のデータからプログレッシブ画像のデー
タを生成するための予測係数の学習が終了する。
With the above processing, the learning of the prediction coefficients for generating the progressive image data from the interlaced image data is completed by the linear prediction equation.

【0047】上述した画像情報変換装置では、クラス毎
に選択される予測係数は、1種類であった。この発明の
一実施形態では、予測係数として2種類使用する。図8
は、この発明の一実施形態の概略を示す。図8におい
て、sd0およびsd1は、入力SD画像、例えば52
5i信号である。入力SD画像sd0は、画質劣化が存
在しないか、殆ど目立たない画像であり、入力SD画像
sd1は、画質劣化が存在する画像である。
In the image information conversion apparatus described above, one type of prediction coefficient is selected for each class. In one embodiment of the present invention, two types of prediction coefficients are used. FIG.
Shows an outline of an embodiment of the present invention. In FIG. 8, sd0 and sd1 are input SD images, for example, 52
5i signal. The input SD image sd0 is an image in which image quality deterioration does not exist or is hardly noticeable, and the input SD image sd1 is an image in which image quality deterioration exists.

【0048】sd0およびsd1の一方の入力画像が画
像信号変換装置101に供給される。画像信号変換装置
101は、図1に示し上述したように、クラス検出回
路、予測タップ選択回路、積和演算回路等により構成さ
れ、予測係数メモリ102からの予測係数と予測タップ
との線型予測式によって、出力画像sdp例えば525
p信号の画素値を生成するものである。
One of the input images sd0 and sd1 is supplied to the image signal converter 101. As shown in FIG. 1 and described above, the image signal conversion device 101 includes a class detection circuit, a prediction tap selection circuit, a product-sum operation circuit, and the like, and a linear prediction expression of a prediction coefficient from the prediction coefficient memory 102 and a prediction tap. The output image sdp, for example, 525
The pixel value of the p signal is generated.

【0049】予測係数メモリ102は、予測係数テーブ
ル102aと102bとを含む。図示しないが、ユーザ
のスイッチ操作、または入力画像信号中の画質劣化の有
無の検出に基づいて、一方の予測係数テーブルが選択さ
れる。画質劣化のない入力画像sd0が入力される時で
は、一方の予測係数テーブル102aが選択され、クラ
ス情報に応じた予測係数pcf0が積和演算回路に対し
て出力される。画質劣化のある入力画像sd1が入力さ
れる時では、他方の予測係数テーブル102bが選択さ
れ、クラス情報に応じた予測係数pcf1が積和演算回
路に対して出力される。
The prediction coefficient memory 102 includes prediction coefficient tables 102a and 102b. Although not shown, one of the prediction coefficient tables is selected based on a user's switch operation or detection of the presence or absence of image quality degradation in the input image signal. When an input image sd0 without image quality deterioration is input, one prediction coefficient table 102a is selected, and a prediction coefficient pcf0 according to the class information is output to the product-sum operation circuit. When an input image sd1 having image quality deterioration is input, the other prediction coefficient table 102b is selected, and a prediction coefficient pcf1 according to the class information is output to the product-sum operation circuit.

【0050】このように、入力画像の劣化の有無に応じ
て使用する予測係数を選択することによって、出力画像
sdfは、画質劣化のない画像となる。勿論、上述した
ように、インターレス方式からプログレッシブ方式に変
換され、またはより画素数の多い画像に変換された出力
画像が得られる。
As described above, by selecting the prediction coefficient to be used depending on whether or not the input image has deteriorated, the output image sdf is an image having no image quality deterioration. Of course, as described above, an output image obtained by converting from the interlaced system to the progressive system or converted to an image having a larger number of pixels can be obtained.

【0051】図9は、予測係数pcf0およびpcf1
を得るための学習時の構成の概略を示す。学習のため
に、画質劣化のない教師画像(例えば525p信号)r
efと、画質劣化のない生徒画像(例えば525i信
号)sre0と、画質劣化のある生徒画像(例えば52
5i信号)sre1とが用意される。画質劣化の一例
は、ラインフリッカーである。画質劣化としては、ライ
ンフリッカーに限らず、ランダムノイズのようなノイズ
であっても良い。
FIG. 9 shows prediction coefficients pcf0 and pcf1.
The outline of the configuration at the time of learning for obtaining is shown. For learning, a teacher image (for example, a 525p signal) r without image quality deterioration
ef, a student image (e.g., a 525i signal) sre0 without image quality deterioration, and a student image (e.g., 52
5i signal) sre1 are prepared. One example of image quality degradation is line flicker. The image quality deterioration is not limited to line flicker, but may be noise such as random noise.

【0052】図6に示し、上述したように、学習部11
0aは、教師画像refと生徒画像sre0とを使用し
て、誤差の自乗和を最小とするような予測係数pcf0
を求める。この予測係数pcf0によって予測係数テー
ブル111aが形成される。また、学習部110bは、
教師画像refと生徒画像sre1とを使用して、誤差
の自乗和を最小とするような予測係数pcf1が求めら
れる。この予測係数pcf1によって予測係数テーブル
111bが形成される。これらの予測係数テーブル11
1a、111bが図8における画像信号変換装置におけ
る予測係数テーブル102a、102bとして使用され
る。
As shown in FIG. 6 and described above, the learning unit 11
0a is a prediction coefficient pcf0 that minimizes the sum of squares of the error using the teacher image ref and the student image sre0.
Ask for. The prediction coefficient pcf0 forms the prediction coefficient table 111a. In addition, the learning unit 110b
Using the teacher image ref and the student image sre1, a prediction coefficient pcf1 that minimizes the sum of squares of the error is obtained. A prediction coefficient table 111b is formed by the prediction coefficient pcf1. These prediction coefficient tables 11
1a and 111b are used as prediction coefficient tables 102a and 102b in the image signal conversion device in FIG.

【0053】なお、525本のライン数は、一例であっ
て、他のライン数であってもこの発明を適用できる。ま
た、この発明では、水平方向の画素数を必ずしも2倍と
しないでも良い。
The number of 525 lines is an example, and the present invention can be applied to other lines. In the present invention, the number of pixels in the horizontal direction does not always have to be doubled.

【0054】[0054]

【発明の効果】この発明は、クラス分類適応処理によっ
て画像信号を変換する時に、画質劣化がない入力画像信
号を変換するための第1の予測係数と、画質劣化のある
入力画像信号を変換するための第2の予測係数とを予め
取得し、備えている。従って、入力画像信号の画質劣化
の有無に応じて、予測係数を選択することによって、出
力画像信号として、プログレッシブ方式、またはより解
像度の高い画像信号を得ると共に、画質劣化が除去され
た画像信号を得ることができる。
According to the present invention, when an image signal is converted by the class classification adaptive processing, a first prediction coefficient for converting an input image signal having no image quality deterioration and an input image signal having an image quality deterioration are converted. And a second prediction coefficient are obtained in advance and provided. Therefore, by selecting a prediction coefficient according to the presence or absence of image quality deterioration of the input image signal, an image signal with a progressive method or higher resolution is obtained as an output image signal, and the image signal from which image quality deterioration has been removed is obtained. Obtainable.

【図面の簡単な説明】[Brief description of the drawings]

【図1】この発明が適用される画像情報変換装置の画像
信号変換装置のブロック図である。
FIG. 1 is a block diagram of an image signal conversion device of an image information conversion device to which the present invention is applied.

【図2】線順次変換動作を説明するための波形図であ
る。
FIG. 2 is a waveform chart for explaining a line-sequential conversion operation.

【図3】この発明が適用される画像信号変換装置の入力
画像の画素と出力画像の画素の位置関係を説明するため
の略線図である。
FIG. 3 is a schematic diagram illustrating a positional relationship between pixels of an input image and pixels of an output image of an image signal conversion device to which the present invention is applied;

【図4】入力画素および出力画素の位置関係と、空間ク
ラスタップの一例を示す略線図である。
FIG. 4 is a schematic diagram illustrating a positional relationship between an input pixel and an output pixel and an example of a space class tap.

【図5】入力画素および出力画素の位置関係と、空間ク
ラスタップの一例を示す略線図である。
FIG. 5 is a schematic diagram illustrating an example of a positional relationship between an input pixel and an output pixel and a space class tap.

【図6】予測係数を取得するための学習時の構成の一例
を示すブロック図である。
FIG. 6 is a block diagram illustrating an example of a configuration at the time of learning for acquiring a prediction coefficient.

【図7】学習時の画素間引きの処理を説明するための略
線図である。
FIG. 7 is a schematic diagram for explaining pixel thinning processing during learning.

【図8】この発明による画像情報変換装置の一例の概略
を示すブロック図である。
FIG. 8 is a block diagram schematically showing an example of an image information conversion device according to the present invention.

【図9】この発明による画像情報変換装置の予測係数を
得るための学習時の説明に用いるブロック図である。
FIG. 9 is a block diagram used for explanation at the time of learning for obtaining a prediction coefficient of the image information conversion apparatus according to the present invention.

【符号の説明】[Explanation of symbols]

2,12・・・クラス検出回路、3,13・・・予測タ
ップ選択回路、4,14・・・予測係数メモリ、5,1
5・・・積和演算回路
2, 12: class detection circuit, 3, 13: prediction tap selection circuit, 4, 14: prediction coefficient memory, 5, 1
5 ... product-sum operation circuit

フロントページの続き (72)発明者 立平 靖 東京都品川区北品川6丁目7番35号 ソニ ー株式会社内 (72)発明者 白木 寿一 東京都品川区北品川6丁目7番35号 ソニ ー株式会社内 Fターム(参考) 5C063 AA01 AA06 BA03 BA04 BA12 CA01 CA05 CA16 CA40 Continued on the front page (72) Inventor Yasushi Tatehira 6-7-35 Kita-Shinagawa, Shinagawa-ku, Tokyo Inside Sony Corporation (72) Inventor Juichi Shiraki 6-35-35 Kita-Shinagawa, Shinagawa-ku, Tokyo Sony F term in reference (reference) 5C063 AA01 AA06 BA03 BA04 BA12 CA01 CA05 CA16 CA40

Claims (5)

【特許請求の範囲】[Claims] 【請求項1】 入力画像信号から走査線構造の異なる複
数の出力画像信号を形成するようにした画像情報変換装
置において、 出力画像信号の生成すべき画素の周辺に位置する入力画
像信号の複数の第1の画素を選択する第1のデータ選択
手段と、 出力画像信号の生成すべき画素の周辺に位置する入力画
像信号の複数の第2の画素を選択する第2のデータ選択
手段と、 画質劣化のない生徒画像と教師画像とに基づいて予め取
得されている第1の予測係数と、画質劣化のある生徒画
像と教師画像とに基づいて予め取得されている第2の予
測係数とを記憶するメモリ手段と、 入力画像信号の画質劣化の有無に応じて上記第1の予測
係数および第2の予測係数の一方を選択する選択手段
と、 上記第2のデータ選択手段で選択された第2の画素に基
づいてクラス情報を形成するクラス決定手段と、 上記第1のデータ選択手段で選択された第1の画素と、
上記第1および第2の予測係数の内で選択された予測係
数であって、上記クラス情報に対応する予測係数との線
形予測式によって、上記出力画像信号の画素値を生成す
る画素値生成手段と、 上記画素値生成手段に対して接続され、変換画像を指定
された走査線構造へ変換するための走査変換手段とから
なることを特徴とする画像情報変換装置。
1. An image information conversion apparatus which forms a plurality of output image signals having different scanning line structures from an input image signal, wherein a plurality of output image signals located around a pixel where an output image signal is to be generated are provided. First data selecting means for selecting a first pixel; second data selecting means for selecting a plurality of second pixels of an input image signal located around a pixel to be generated with an output image signal; A first prediction coefficient acquired in advance based on a student image and a teacher image without deterioration and a second prediction coefficient acquired in advance based on a student image and a teacher image having image quality deterioration are stored. Memory means for selecting one of the first prediction coefficient and the second prediction coefficient in accordance with the presence or absence of image quality deterioration of the input image signal; and a second means selected by the second data selection means. Based on the pixel A class determining means for forming the class information Te, a first pixel selected by the first data selection means,
A pixel value generating means for generating a pixel value of the output image signal by a linear prediction equation with a prediction coefficient selected from the first and second prediction coefficients, the prediction coefficient corresponding to the class information; An image information conversion device connected to the pixel value generation means and configured to convert the converted image into a designated scanning line structure.
【請求項2】 入力画像信号を受け取って表示装置に画
像信号を表示するようにした画像表示装置において、 入力画像信号源と表示装置との間に、入力画像信号から
走査線構造の異なる複数の出力画像信号を形成するよう
にした画像情報変換装置を設け、 上記画像情報変換装置は、 出力画像信号の生成すべき画素の周辺に位置する入力画
像信号の複数の第1の画素を選択する第1のデータ選択
手段と、 出力画像信号の生成すべき画素の周辺に位置する入力画
像信号の複数の第2の画素を選択する第2のデータ選択
手段と、 画質劣化のない生徒画像と教師画像とに基づいて予め取
得されている第1の予測係数と、画質劣化のある生徒画
像と教師画像とに基づいて予め取得されている第2の予
測係数とを記憶するメモリ手段と、 入力画像信号の画質劣化の有無に応じて上記第1の予測
係数および第2の予測係数の一方を選択する選択手段
と、 上記第2のデータ選択手段で選択された第2の画素に基
づいてクラス情報を形成するクラス決定手段と、 上記第1のデータ選択手段で選択された第1の画素と、
上記第1および第2の予測係数の内で選択された予測係
数であって、上記クラス情報に対応する予測係数との線
形予測式によって、上記出力画像信号の画素値を生成す
る画素値生成手段と、 上記画素値生成手段に対して接続され、生成した画素値
を指定された走査線構造へ変換するための走査変換手段
とからなることを特徴とする画像表示装置。
2. An image display device which receives an input image signal and displays the image signal on a display device, wherein a plurality of scanning lines having different scanning line structures are provided between the input image signal source and the display device. An image information conversion device configured to form an output image signal, wherein the image information conversion device selects a plurality of first pixels of the input image signal located around a pixel to generate the output image signal. (1) data selection means, second data selection means for selecting a plurality of second pixels of an input image signal located around a pixel where an output image signal is to be generated, and a student image and a teacher image having no image quality deterioration. Memory means for storing a first prediction coefficient obtained in advance based on the above, and a second prediction coefficient obtained in advance based on a student image and a teacher image having image quality deterioration; of Selecting means for selecting one of the first prediction coefficient and the second prediction coefficient in accordance with the presence or absence of image quality deterioration; and forming class information based on the second pixel selected by the second data selecting means. Class determining means for performing, the first pixel selected by the first data selecting means,
A pixel value generating means for generating a pixel value of the output image signal by a linear prediction equation with a prediction coefficient selected from the first and second prediction coefficients, the prediction coefficient corresponding to the class information; And a scan conversion unit connected to the pixel value generation unit and configured to convert the generated pixel value into a designated scanning line structure.
【請求項3】 請求項1または2において、 入力画像信号が走査線数N本のインターレス信号であ
り、出力画像信号が走査線数N本のプログレッシブ信号
または走査線数がほぼ2N本のインターレス信号である
ことを特徴とする装置。
3. The method according to claim 1, wherein the input image signal is an interlace signal having N scanning lines, and the output image signal is a progressive signal having N scanning lines or an interlacing signal having approximately 2N scanning lines. An apparatus characterized in that the signal is a response signal.
【請求項4】 請求項1または2において、 上記画素値生成手段は、垂直および水平方向に上記入力
画像信号の2倍の画素数の出力画像信号を生成すること
を特徴とする装置。
4. The apparatus according to claim 1, wherein the pixel value generating means generates an output image signal having twice as many pixels as the input image signal in the vertical and horizontal directions.
【請求項5】 入力画像信号から走査線構造の異なる複
数の出力画像信号を形成するようにした画像情報変換方
法において、 出力画像信号の生成すべき画素の周辺に位置する入力画
像信号の複数の第1の画素を選択するステップと、 出力画像信号の生成すべき画素の周辺に位置する入力画
像信号の複数の第2の画素を選択するステップと、 画質劣化のない生徒画像と教師画像とに基づいて予め取
得されている第1の予測係数と、画質劣化のある生徒画
像と教師画像とに基づいて予め取得されている第2の予
測係数とを記憶するステップと、 入力画像信号の画質劣化の有無に応じて上記第1の予測
係数および第2の予測係数の一方を選択するステップ
と、 上記選択された第2の画素に基づいてクラス情報を形成
するクラス決定のステップと、 上記選択された第1の画素と、上記第1および第2の予
測係数の内で選択された予測係数であって、上記クラス
情報に対応する予測係数との線形予測式によって、上記
出力画像信号の画素値を生成するステップと、 生成した画素値を指定された走査線構造へ変換するステ
ップとからなることを特徴とする画像情報変換方法。
5. An image information conversion method in which a plurality of output image signals having different scanning line structures are formed from an input image signal, wherein a plurality of input image signals located around a pixel where an output image signal is to be generated are provided. Selecting a first pixel; selecting a plurality of second pixels of the input image signal located around the pixel to be generated with the output image signal; Storing a first prediction coefficient obtained in advance based on the first prediction coefficient, and a second prediction coefficient obtained in advance based on the student image and the teacher image having the image quality deterioration; Selecting one of the first prediction coefficient and the second prediction coefficient in accordance with the presence or absence of: a class determination step of forming class information based on the selected second pixel; The output image signal is obtained by a linear prediction equation of the selected first pixel and a prediction coefficient selected from the first and second prediction coefficients, the prediction coefficient corresponding to the class information. Generating a pixel value of the image data, and converting the generated pixel value into a designated scanning line structure.
JP28004898A 1998-10-01 1998-10-01 Image information conversion apparatus, conversion method, and image display apparatus Expired - Fee Related JP4131048B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP28004898A JP4131048B2 (en) 1998-10-01 1998-10-01 Image information conversion apparatus, conversion method, and image display apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP28004898A JP4131048B2 (en) 1998-10-01 1998-10-01 Image information conversion apparatus, conversion method, and image display apparatus

Publications (2)

Publication Number Publication Date
JP2000115717A true JP2000115717A (en) 2000-04-21
JP4131048B2 JP4131048B2 (en) 2008-08-13

Family

ID=17619581

Family Applications (1)

Application Number Title Priority Date Filing Date
JP28004898A Expired - Fee Related JP4131048B2 (en) 1998-10-01 1998-10-01 Image information conversion apparatus, conversion method, and image display apparatus

Country Status (1)

Country Link
JP (1) JP4131048B2 (en)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002041630A1 (en) * 2000-11-15 2002-05-23 Sony Corporation Information signal processing device, information signal processing method, image signal processing device and image display device using it, coefficient type data creating device used therein and creating method, and information providing medium
WO2002041631A1 (en) * 2000-11-15 2002-05-23 Sony Corporation Information signal processing device, information signal processing method, image signal processing device and image display device using it, coefficient type data creating device used therein and creating method, coefficient data creating device and creating method, and information providing medium
WO2002058386A1 (en) * 2001-01-22 2002-07-25 Sony Corporation Information signal processing device, information signal processing method, image signal processing device, image signal processing method and image displaying method using it, coeficient kind data generating device and method used therein, and computer readable medium and program
JP2002359823A (en) * 2001-05-31 2002-12-13 Sony Corp Device and method for generating coefficient data, device and method for processing information signal using the same, device and method for generating coefficient class data using the same, and information providing medium
JP2002359820A (en) * 2001-05-31 2002-12-13 Sony Corp Device and method for generating coefficient data, device and method for processing information signal using the same, device and method for acquiring information used for the same and information-providing medium
JP2002374505A (en) * 2001-06-12 2002-12-26 Sony Corp Device and method for generating coefficient data, device and method for processing information signal using it, device and method for acquiring coefficient data used for it, and information providing medium
JP2003023609A (en) * 2001-07-05 2003-01-24 Sony Corp Device and method for generating coefficient data, device and method for processing information signal for use with them, device and method for generating coefficient kind data for use of them, and information providing medium
JP2003052024A (en) * 2001-08-03 2003-02-21 Sony Corp Device and method for generating coefficient data, device and method for processing information signal using the same, device and method for acquiring information to be used for the same and information providing medium
CN100361527C (en) * 2004-04-02 2008-01-09 索尼株式会社 Apparatus and method for generating data, signal processing apparatus and program and recording medium
CN100367789C (en) * 2004-04-20 2008-02-06 索尼株式会社 Apparatus, method, program and medium for generating coefficient data and processing information signal
CN100425052C (en) * 2003-05-29 2008-10-08 索尼株式会社 Apparatus and method for generating coefficients, apparatus and method for generating class configuration, informational signal processing apparatus, and programs for performing these methods
CN101039406B (en) * 2006-03-16 2010-09-29 索尼株式会社 Image processing apparatus and method

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7286184B2 (en) 2000-11-15 2007-10-23 Sony Corporation Information signal processing device, information signal processing method, image signal processing device and image display device using it, coefficient type data creating device used therein and creating method, coefficient data creating device and creating method, and information providing medium
WO2002041631A1 (en) * 2000-11-15 2002-05-23 Sony Corporation Information signal processing device, information signal processing method, image signal processing device and image display device using it, coefficient type data creating device used therein and creating method, coefficient data creating device and creating method, and information providing medium
US7773150B2 (en) 2000-11-15 2010-08-10 Sony Corporation Information signal processor, method for processing information signal, image signal processor and image display apparatus using the same, coefficient seed data production device used in the same, method for producing coefficient seed data set, coefficient data production device, method for producing coefficient data set, and information-providing medium
JP2002218414A (en) * 2000-11-15 2002-08-02 Sony Corp Device and method for processing information signal, image signal processor, image display device using the same, device and method for generating coefficient species data used by the same and information providing medium
US7688383B2 (en) 2000-11-15 2010-03-30 Sony Corporation Information signal processor, method for processing information signal, image signal processor and image display apparatus using the same, coefficient seed data production device used in the same, method for producing coefficient seed data set and information-providing medium
JP4670169B2 (en) * 2000-11-15 2011-04-13 ソニー株式会社 Information signal processing device, information signal processing method, image signal processing device and image display device using the same, coefficient seed data generation device used therefor, and information recording medium
KR100843820B1 (en) * 2000-11-15 2008-07-04 소니 가부시끼 가이샤 Information signal processing device, information signal progessing method, image signal processing device and image display device using it, coefficient type data creating device used therein and creating method, coefficient data creating device and creating method, and information providing medium
WO2002041630A1 (en) * 2000-11-15 2002-05-23 Sony Corporation Information signal processing device, information signal processing method, image signal processing device and image display device using it, coefficient type data creating device used therein and creating method, and information providing medium
CN100399820C (en) * 2000-11-15 2008-07-02 索尼公司 Coefficient type data creating device and creating method
US7852404B2 (en) 2000-11-15 2010-12-14 Sony Corporation Information signal processor, method for processing information signal, image signal processor and image display apparatus using the same, coefficient seed data production device used in the same, method for producing coefficient seed data set and information-providing medium
US7212245B2 (en) 2000-11-15 2007-05-01 Sony Corporation Information signal processing device, information signal processing method, image signal processing device and image display device using it, coefficient type data creating device used therein and creating method, and information providing medium
CN100340108C (en) * 2000-11-15 2007-09-26 索尼公司 Information and image signal processing device,coefficient class data generating device and method
CN100367788C (en) * 2001-01-22 2008-02-06 索尼公司 Coefficient kind data generator and method thereof
US7042513B2 (en) 2001-01-22 2006-05-09 Sony Corporation Information signal processing device, information signal processing method, image signal processing device, image signal processing method and image displaying method using it, coefficient kind data generating device and method used therein, and computer readable medium and program
KR100835454B1 (en) * 2001-01-22 2008-06-04 소니 가부시끼 가이샤 Information signal processing device, information signal processing method, image signal processing device, image signal processing method and image displaying device using it, coefficient kind data generating device and method used therein, and computer readable medium
WO2002058386A1 (en) * 2001-01-22 2002-07-25 Sony Corporation Information signal processing device, information signal processing method, image signal processing device, image signal processing method and image displaying method using it, coeficient kind data generating device and method used therein, and computer readable medium and program
JP4691831B2 (en) * 2001-05-31 2011-06-01 ソニー株式会社 Coefficient data generating apparatus and generating method, information signal processing apparatus and processing method using the same, information acquiring apparatus and acquiring method used therefor, and recording medium
JP4692800B2 (en) * 2001-05-31 2011-06-01 ソニー株式会社 Coefficient data generating apparatus and generating method, information signal processing apparatus and processing method using the same, coefficient seed data generating apparatus and generating method used therefor, and recording medium
JP2002359820A (en) * 2001-05-31 2002-12-13 Sony Corp Device and method for generating coefficient data, device and method for processing information signal using the same, device and method for acquiring information used for the same and information-providing medium
JP2002359823A (en) * 2001-05-31 2002-12-13 Sony Corp Device and method for generating coefficient data, device and method for processing information signal using the same, device and method for generating coefficient class data using the same, and information providing medium
JP4691835B2 (en) * 2001-06-12 2011-06-01 ソニー株式会社 Coefficient data generating apparatus and generating method, information signal processing apparatus and processing method using the same, coefficient data acquiring apparatus and acquiring method used therefor, and information recording medium
JP2002374505A (en) * 2001-06-12 2002-12-26 Sony Corp Device and method for generating coefficient data, device and method for processing information signal using it, device and method for acquiring coefficient data used for it, and information providing medium
JP2003023609A (en) * 2001-07-05 2003-01-24 Sony Corp Device and method for generating coefficient data, device and method for processing information signal for use with them, device and method for generating coefficient kind data for use of them, and information providing medium
JP4649786B2 (en) * 2001-07-05 2011-03-16 ソニー株式会社 Coefficient data generating apparatus and generating method, information signal processing apparatus and processing method using the same, and coefficient seed data generating apparatus and generating method used therefor
JP4691849B2 (en) * 2001-08-03 2011-06-01 ソニー株式会社 Coefficient data generating apparatus and generating method, information signal processing apparatus and processing method using the same, and information acquiring apparatus and acquiring method used therefor
JP2003052024A (en) * 2001-08-03 2003-02-21 Sony Corp Device and method for generating coefficient data, device and method for processing information signal using the same, device and method for acquiring information to be used for the same and information providing medium
CN100425052C (en) * 2003-05-29 2008-10-08 索尼株式会社 Apparatus and method for generating coefficients, apparatus and method for generating class configuration, informational signal processing apparatus, and programs for performing these methods
CN100361527C (en) * 2004-04-02 2008-01-09 索尼株式会社 Apparatus and method for generating data, signal processing apparatus and program and recording medium
CN100367789C (en) * 2004-04-20 2008-02-06 索尼株式会社 Apparatus, method, program and medium for generating coefficient data and processing information signal
CN101039406B (en) * 2006-03-16 2010-09-29 索尼株式会社 Image processing apparatus and method

Also Published As

Publication number Publication date
JP4131048B2 (en) 2008-08-13

Similar Documents

Publication Publication Date Title
JP4158232B2 (en) Image information conversion device and image display device
JP4131048B2 (en) Image information conversion apparatus, conversion method, and image display apparatus
JP4147632B2 (en) Image information conversion apparatus, image information conversion method, and television receiver
JP2002218413A (en) Device and method for processing information signal, image signal processor, image display device using the same, device and method for generating coefficient species data used by the same, device and method for generating coefficient data and information providing medium
JP4168490B2 (en) Motion determination device, method and image information conversion device
JP4193233B2 (en) Motion determination device, method and image information conversion device
JP4470323B2 (en) Image conversion apparatus and method
JP4300603B2 (en) Image information conversion apparatus and method
JP4078719B2 (en) Image information conversion apparatus, conversion method, and image display apparatus
JP4470324B2 (en) Image signal conversion apparatus and method
JP2001238185A (en) Image signal converting apparatus, image signal conversion method, image display device using it, and device and method for generating coefficient data used for it
JP2000092455A (en) Image information converter and image information conversion method
JP4154768B2 (en) Image information conversion device and image display device
JP4174891B2 (en) Image information conversion apparatus and method
JP4123587B2 (en) Image information processing apparatus and method
JP3480011B2 (en) Image information conversion device
JP3800638B2 (en) Image information conversion apparatus and method
JP4310847B2 (en) Image information conversion apparatus and conversion method
JP2001298713A (en) Image processor and image processing method, and recording medium
JP4193236B2 (en) Image information conversion apparatus, image information conversion method, and television receiver
JP2000244876A (en) Processor and method for image processing and providing medium
JP2000207526A (en) Image information conversion device, image information conversion method and display device
JP2005192147A (en) Image processing apparatus and method, learning apparatus and method, recording medium, and program
JPH07193791A (en) Picture information converter
JP2005151599A (en) Image information processing apparatus and image information processing method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050817

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080205

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080403

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080430

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080513

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110606

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110606

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110606

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120606

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120606

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130606

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees