JP3362463B2 - Frame interpolation device - Google Patents
Frame interpolation deviceInfo
- Publication number
- JP3362463B2 JP3362463B2 JP19399593A JP19399593A JP3362463B2 JP 3362463 B2 JP3362463 B2 JP 3362463B2 JP 19399593 A JP19399593 A JP 19399593A JP 19399593 A JP19399593 A JP 19399593A JP 3362463 B2 JP3362463 B2 JP 3362463B2
- Authority
- JP
- Japan
- Prior art keywords
- class
- frame
- data
- image signal
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Description
【０００１】[0001]
【産業上の利用分野】この発明は、例えば、動画像デー
タを異なるフォーマットの動画像データに変換するフレ
ーム補間装置にて適用して好適なフレーム補間装置に関
する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a frame interpolating device suitable for application in, for example, a frame interpolating device for converting moving image data into moving image data of different formats.
【０００２】[0002]
【従来の技術】従来、テレビジョン方式としては、周知
のように、ＮＴＳＣ、ＰＡＬ、ＳＥＣＡＭ等のテレビジ
ョン方式の他に高精細度（ＨＤ）テレビジョン方式が提
案されている。2. Description of the Related Art As a known television system, a high definition (HD) television system has been proposed in addition to a television system such as NTSC, PAL, SECAM, etc., as is well known.
【０００３】これらのテレビジョン方式はフレーム周波
数、解像度等が異なるので、例えば、ＰＡＬ方式のテレ
ビジョン信号をＮＴＳＣ方式のＶＴＲで記録する等、あ
るテレビジョン方式のテレビジョン信号をこのテレビジ
ョン信号の方式と異なる他のテレビジョン方式の機器で
記録、伝送等の処理を行なう場合には、テレビジョン方
式変換を行なう必要が生じる。Since these television systems have different frame frequencies, resolutions, etc., for example, a television signal of a certain television system, such as recording a PAL system television signal by an NTSC system VTR, is used as the television signal of this television system. When processing such as recording and transmission is performed by a device of another television system different from the system, it is necessary to perform the television system conversion.
【０００４】このテレビジョン方式変換等に代表される
画像変換の手法としては、多くのものが提案されてい
る。一般的にこの変換の方法として、テレビジョン動画
信号のフレーム補間処理がある。Many methods have been proposed as image conversion methods represented by this television system conversion and the like. Generally, as a method of this conversion, there is a frame interpolation process of a television moving image signal.
【０００５】このフレーム補間処理は、８画素×８ライ
ン等の小ブロック毎に、時間的に隣合った２フレーム間
の動き情報を周知のブロック・マッチング法や勾配法等
により求めて、内挿比により前後のフレームの画像を位
置補正して補間フレームを得ることにより変換処理を行
なうものである。In this frame interpolation processing, motion information between two temporally adjacent frames is calculated for each small block such as 8 pixels × 8 lines by a known block matching method or gradient method, and interpolated. The conversion processing is performed by position-correcting the images of the preceding and following frames according to the ratio to obtain an interpolated frame.
【０００６】このフレーム補間処理により画像を変換す
るフレーム補間装置を図８を用いて説明する。この図８
において、４１は例えば、テレビジョン信号が供給され
る入力端子で、この入力端子４１を介してフレームメモ
リ４２にテレビジョン信号が供給される。A frame interpolating device for converting an image by the frame interpolating process will be described with reference to FIG. This Figure 8
In 41, for example, an input terminal to which a television signal is supplied is supplied with the television signal to the frame memory 42 via the input terminal 41.
【０００７】このフレームメモリ４２は入力端子４１を
介して供給されるテレビジョン信号を記憶し、次のフレ
ームのテレビジョン信号が供給されたとき、記憶したテ
レビジョン信号を出力する。フレームメモリ４２から読
み出されたテレビジョン信号は動きベクトル検出回路４
３および位置補正回路４６に、また、入力端子４１を介
して供給された読み出されたテレビジョン信号の次のフ
レームのテレビジョン信号は動きベクトル検出回路４３
および位置補正回路４５に夫々供給される。ここで、フ
レームメモリ４２から読み出されたテレビジョン信号を
Ｆｒ（ｔ）、入力端子４１を介して供給されるテレビジ
ョン信号をＦｒ（ｔ＋１）とする。The frame memory 42 stores the television signal supplied through the input terminal 41, and outputs the stored television signal when the television signal of the next frame is supplied. The television signal read from the frame memory 42 is a motion vector detection circuit 4
3 and the position correction circuit 46, and the television signal of the next frame of the read television signal supplied through the input terminal 41 is the motion vector detection circuit 43.
And the position correction circuit 45, respectively. Here, the television signal read from the frame memory 42 is Fr (t), and the television signal supplied through the input terminal 41 is Fr (t + 1).
【０００８】動きベクトル検出回路４３は、入力端子４
１を介して供給される現時点でのテレビジョン信号Ｆｒ
（ｔ＋１）と、フレームメモリ４２から読み出された現
時点より１つ前のフレームのテレビジョン信号とに基づ
いて動き検出を行ない、動きベクトルを発生する。この
動きベクトルデータが補正信号発生回路４４に供給され
る。The motion vector detection circuit 43 has an input terminal 4
The current television signal Fr supplied via 1
Motion detection is performed based on (t + 1) and the television signal of the frame immediately preceding the current time read from the frame memory 42, and a motion vector is generated. This motion vector data is supplied to the correction signal generation circuit 44.
【０００９】ここで、動き検出について説明すると、テ
レビジョン方式変換等の動き画像信号処理で単位時間あ
たりのフレーム数の変換を要する場合、動きのある物体
を正確に変換するためには、動き情報に基づいたフレー
ム補間技術が必要となる。一般的には、時間的に隣合っ
た２フレーム間で周知のブロック・マッチング法や勾配
法等により、８画素×８ライン等の小ブロック単位で動
きベクトルを求めるものである。Motion detection will now be described. When motion image signal processing such as television system conversion requires conversion of the number of frames per unit time, in order to accurately convert a moving object, motion information is required. A frame interpolation technique based on is required. Generally, a motion vector is obtained in units of small blocks such as 8 pixels × 8 lines by a well-known block matching method or a gradient method between two frames that are temporally adjacent to each other.
【００１０】補正信号発生回路４４は動きベクトル検出
回路４３からの動きベクトルデータに基づいて補正信号
を得る。この補正信号としては、後述する位置補正回路
４５および４６において、例えば、上述の如き８画素×
８ラインのブロックの位置補正を行なうための読み取り
位置を補正してテレビジョン信号を読み取らせるための
位置補正データ、並びに位置補正の後のテレビジョン信
号に補間を行なうための内装比データ（時間データ）ｈ
１およびｈ２がある。ここで内挿比データｈ１を１−ｋ
とすると、内挿比データｈ２はｋに選定される。The correction signal generation circuit 44 obtains a correction signal based on the motion vector data from the motion vector detection circuit 43. As the correction signal, for example, in the position correction circuits 45 and 46 described later, 8 pixels ×
Position correction data for correcting the reading position for correcting the position of the block of 8 lines and reading the television signal, and interior ratio data (time data for interpolating the television signal after the position correction) ) H
1 and h2. Here, the interpolation ratio data h1 is 1-k
Then, the interpolation ratio data h2 is selected as k.
【００１１】これら補正出力は位置補正回路４５および
４６に夫々供給され、更に内挿比データｈ１およびｈ２
は乗算回路４７および４８に夫々供給される。位置補正
回路４５は補正信号発生回路４４からの補正出力に基づ
いて、入力端子４１を介して供給されるフレームのテレ
ビジョン信号Ｆｒ（ｔ＋１）の読み取りを行ない、読み
取られたテレビジョン信号を乗算回路４７に供給する。These correction outputs are supplied to position correction circuits 45 and 46, respectively, and further, interpolation ratio data h1 and h2.
Are supplied to multiplication circuits 47 and 48, respectively. The position correction circuit 45 reads the television signal Fr (t + 1) of the frame supplied via the input terminal 41 based on the correction output from the correction signal generation circuit 44, and the read television signal is multiplied by the multiplication circuit. Supply to 47.
【００１２】一方、位置補正回路４６は補正信号発生回
路４４からの補正出力に基づいて、フレームメモリ４２
から読み出されたフレームのテレビジョン信号Ｆｒ（ｔ
＋１）の読み取りを行ない、読み取られたテレビジョン
信号を乗算回路４８に供給する。従って、乗算回路４７
においては、位置補正回路４５からの位置補正されたテ
レビジョン信号と補正信号発生回路４４からの内挿比デ
ータとが乗算され、乗算出力は更に加算回路４９に供給
される。乗算回路４８においては、位置補正回路４６か
らの位置補正されたテレビジョン信号と補正信号発生回
路４４からの内挿比データとが乗算され、乗算出力は更
に加算回路４９に供給される。そして、加算回路４９に
おいて、乗算回路４７からの乗算出力および乗算回路４
８からの乗算出力が加算され、この加算出力がフレーム
補間処理、すなわち、画像変換されたテレビジョン信号
として出力端子５０から出力される。On the other hand, the position correction circuit 46 is based on the correction output from the correction signal generation circuit 44 and the frame memory 42.
From the television signal Fr (t
+1) is read and the read television signal is supplied to the multiplication circuit 48. Therefore, the multiplication circuit 47
In (1), the position-corrected television signal from the position correction circuit 45 is multiplied by the interpolation ratio data from the correction signal generation circuit 44, and the multiplication output is further supplied to the addition circuit 49. In the multiplication circuit 48, the position-corrected television signal from the position correction circuit 46 is multiplied by the interpolation ratio data from the correction signal generation circuit 44, and the multiplication output is further supplied to the addition circuit 49. Then, in the addition circuit 49, the multiplication output from the multiplication circuit 47 and the multiplication circuit 4
The multiplied outputs from 8 are added, and the added output is output from the output terminal 50 as a television signal subjected to frame interpolation processing, that is, image conversion.
【００１３】次に、図９を参照して図８に示したフレー
ム補間装置の動作について説明する。この図９におい
て、Ｆｒ（ｔ） はｔフレームのテレビジョン信号、Ｆ
ｒ（ｔ＋１）は（ｔ＋１）フレームのテレビジョン信
号、Ｆｒ′は補間処理されて、得られたテレビジョン信
号、ｆ１（ｔ）およびｆ１（ｔ＋１）は矢印ｙ１で示す
動きベクトルによってｆ１′と対応づけられたブロッ
ク、ｆ２（ｔ）はｔフレームのテレビジョン信号のブロ
ック、ｆ２（ｔ＋１）は（ｔ＋１）フレームのテレビジ
ョン信号ブロックである。Next, the operation of the frame interpolating apparatus shown in FIG. 8 will be described with reference to FIG. In FIG. 9, Fr (t) is a t-frame television signal, Fr
r (t + 1) is a television signal of (t + 1) frames, Fr 'is interpolated, and the obtained television signals, f1 (t) and f1 (t + 1), correspond to f1' by the motion vector indicated by arrow y1. Blocks designated by f2 (t) are television signal blocks of t frames, and f2 (t + 1) are television signal blocks of (t + 1) frames.
【００１４】さて、図８に示したフレームメモリ４２か
ら図９に示す如きｔフレームのテレビジョン信号Ｆｒ
（ｔ）が読み出されて動きベクトル検出回路４３に供給
されると共に、入力端子４１を介して図９に示す如き
（ｔ＋１）フレームのテレビジョン信号Ｆｒ（ｔ＋１）
が動きベクトル検出回路４３に供給されると、動きベク
トル検出回路４３は例えば、図９に示すように、ｔフレ
ームのテレビジョン信号Ｆｒ（ｔ）のブロックｆ２
（ｔ）および（ｔ＋１）フレームのテレビジョン信号Ｆ
ｒ（ｔ＋１）のブロックｆ２（ｔ＋１）について、ブロ
ック・マッチング法や勾配法等により動きベクトル矢印
ｙ２を求め、求めた動きベクトルデータを補正信号発生
回路４４に供給する。Now, from the frame memory 42 shown in FIG. 8 to the t frame television signal Fr as shown in FIG.
(T) is read out and supplied to the motion vector detection circuit 43, and the television signal Fr (t + 1) of the (t + 1) frame as shown in FIG.
Is supplied to the motion vector detection circuit 43, the motion vector detection circuit 43, for example, as shown in FIG. 9, receives the block f2 of the television signal Fr (t) of t frames.
Television signal F of (t) and (t + 1) frames
For the block f2 (t + 1) of r (t + 1), the motion vector arrow y2 is obtained by the block matching method or the gradient method, and the obtained motion vector data is supplied to the correction signal generation circuit 44.
【００１５】補正信号発生回路４４は上述したように、
動きベクトル検出回路４３からの動きベクトルデータお
よび内挿比データに基づいて前後のフレームの読み出し
位置を制御する位置補正データを得、これを位置補正回
路４５および４６に供給すると共に、内挿比データを乗
算回路４７および４８に夫々供給する。従って、図９に
示す例においては、位置補正回路４５に供給されたｔフ
レームのテレビジョン信号Ｆｒ（ｔ）は読み出し位置が
制御され、例えば、ブロックｆ１（ｔ）として読み出さ
れ、乗算回路４７に供給され、この乗算回路４７におい
て、補正信号発生回路４４からの内挿比データｈ２と乗
算された後、加算回路４９に供給される。The correction signal generation circuit 44, as described above,
Based on the motion vector data and the interpolation ratio data from the motion vector detection circuit 43, position correction data for controlling the read positions of the preceding and succeeding frames are obtained, and this is supplied to the position correction circuits 45 and 46 and the interpolation ratio data is also supplied. To the multiplying circuits 47 and 48, respectively. Therefore, in the example shown in FIG. 9, the read position of the television signal Fr (t) of the t frame supplied to the position correction circuit 45 is controlled, and is read as, for example, the block f1 (t), and the multiplication circuit 47 is used. Is supplied to the adder circuit 49 after being multiplied by the interpolation ratio data h2 from the correction signal generation circuit 44 in the multiplication circuit 47.
【００１６】一方、位置補正回路４６に供給された（ｔ
＋１）フレームのテレビジョン信号Ｆｒ（ｔ＋１）は読
み出し位置が制御され、例えば、ブロックｆ１（ｔ＋
１）として読み出され、乗算回路４８に供給され、この
乗算回路４８において、補正信号発生回路４４からの内
挿比データｈ１と乗算された後、加算回路４９に供給さ
れる。この加算回路４９においては、乗算回路４５およ
び４８からの乗算出力が加算され、図９においてｆ１′
で示す補間フレームＦｒ′のブロックが得られる。この
処理の関係は下式で示される。
補間フレームＦｒ′のブロックｆ１′＝ｔフレームのブ
ロックｆ１（ｔ）×ｋ＋（ｔ＋１）フレームのブロック
ｆ１（ｔ＋１）×（１−ｋ）On the other hand, it is supplied to the position correction circuit 46 (t
The read position of the television signal Fr (t + 1) of the +1) frame is controlled, and for example, the block f1 (t +
It is read out as 1) and supplied to the multiplication circuit 48. In the multiplication circuit 48, it is multiplied by the interpolation ratio data h1 from the correction signal generation circuit 44 and then supplied to the addition circuit 49. In the addition circuit 49, the multiplication outputs from the multiplication circuits 45 and 48 are added, and f1 ′ in FIG.
The block of the interpolated frame Fr 'shown by is obtained. The relation of this processing is shown by the following equation. Block f1 ′ of interpolation frame Fr ′ = block f1 (t) × k + (t + 1) frame f1 (t + 1) × (1-k) of t frame
【００１７】すなわち、ｔフレームのテレビジョン信号
Ｆｒ（ｔ）において補間ブロックｆ１′と空間的に同位
置にあるブロックｆ２（ｔ）と（ｔ＋１）フレームのテ
レビジョン信号Ｆｒ（ｔ＋１）のブロックｆ２（ｔ＋
１）とで求めた矢印ｙ２で示す動きベクトルによって補
間フレームのブロックＦｒ′に対応させる前後のフレー
ムのブロックｆ１（ｔ）およびｆ１（ｔ＋１）を求め、
これらのブロックｆ１（ｔ）およびｆ１（ｔ＋１）のデ
ータの内挿比１−ｋ：ｋに応じた和を求め、これを補間
フレームのブロックｆ１′とする。そして、このように
して補間フレームＦｒ′を生成し、動き画像のテレビジ
ョン信号として出力することで、様々な方式のテレビジ
ョン信号を異なる方式の機器において記録したり、伝送
したりすることができるようにしている。That is, in the t frame television signal Fr (t), the block f2 (t) spatially at the same position as the interpolation block f1 'and the block f2 (t) of the (t + 1) frame television signal Fr (t + 1). t +
1) and blocks f1 (t) and f1 (t + 1) of the preceding and following frames corresponding to the block Fr ′ of the interpolation frame are calculated by the motion vector indicated by the arrow y2
The sum corresponding to the interpolation ratio 1-k: k of the data of these blocks f1 (t) and f1 (t + 1) is obtained, and this is set as the block f1 'of the interpolation frame. Then, by generating the interpolation frame Fr ′ in this manner and outputting it as a television signal of a moving image, television signals of various systems can be recorded or transmitted by devices of different systems. I am trying.
【００１８】[0018]
【発明が解決しようとする課題】従来の画像変換装置に
おいて、得られる動き情報が正確であることを前提とし
ているが、良く知られているブロック・マッチング法や
勾配法といった手法では、動き情報は動きベクトルとい
う形で得られるが、動きベクトルには誤差が発生する。
誤差のある動きベクトルを用いてしまうことにより誤っ
た補間フレームが作られてしまい、得られた動画像の動
きが滑らかでなかったり不自然になったりしてしまう問
題があった。In the conventional image conversion apparatus, it is premised that the obtained motion information is accurate. However, in the well-known methods such as the block matching method and the gradient method, the motion information is Although it is obtained in the form of a motion vector, an error occurs in the motion vector.
There is a problem that an incorrect interpolation frame is created by using an error motion vector, and the motion of the obtained moving image is not smooth or unnatural.
【００１９】従って、この発明の目的は、動き検出を
し、動きベクトルを用いて補間フレームを作るのではな
く、時間方向情報を利用する空間処理による変換を行な
うため、既知の複数フィールドから学習を行なうことに
よって、動きが存在する時でも、精度の高い変換を可能
とするフレーム補間装置を提供することにある。Therefore, the object of the present invention is not to detect a motion and to create an interpolated frame using a motion vector, but to perform conversion by spatial processing using time direction information. Therefore, learning from a plurality of known fields is performed. By doing so, it is an object of the present invention to provide a frame interpolating device that enables highly accurate conversion even in the presence of motion.
【００２０】[0020]
【課題を解決するための手段】請求項１の発明は、補間
フレームを作成することで、入力画像信号内のｎ枚のフ
レームからｍ枚のフレームを作成するフレーム補間装置
において、補間フレーム内の補間画素の位置に基づい
て、入力画像信号を１乃至複数の画素からなるブロック
へ分割するブロック化手段と、ブロック化手段により分
割されたブロック毎に、特徴を検出し、この検出された
特徴に基づいて、ブロック内画像信号が属するクラスを
決定してクラス情報を出力するクラス検出手段と、注目
された補間画素の周囲に位置する入力画像信号の画素か
ら補間フレームを作成するための予測式の予測係数がク
ラス毎に記憶されており、クラス検出手段からのクラス
情報に応じて予測係数を出力する予測係数記憶手段と、
予測係数記憶手段から供給された予測係数と入力画像信
号とを用いて、予測式に基づいた演算を行ない補間画素
の値を出力する画像情報補間手段を有することを特徴と
するフレーム補間装置である。According to a first aspect of the present invention, there is provided a frame interpolating apparatus for creating m frames from n frames in an input image signal by creating an interpolation frame. Based on the position of the interpolated pixel, a block forming unit that divides the input image signal into blocks including one to a plurality of pixels, and a feature is detected for each block divided by the block forming unit, and the detected feature is On the basis of this, a class detection unit that determines the class to which the in-block image signal belongs and outputs class information, and a prediction formula for creating an interpolation frame from pixels of the input image signal that are located around the interpolation pixel of interest. A prediction coefficient is stored for each class, and a prediction coefficient storage unit that outputs the prediction coefficient according to the class information from the class detection unit,
The prediction coefficient and the input image signal supplied from the prediction coefficient storage means
And an image information interpolating unit that outputs a value of an interpolated pixel by performing a calculation based on a prediction formula using the No.
【００２１】[0021]
【作用】補間画素を推定するための予測式の予測係数を
予測係数記憶手段に記憶しておき、入力画像信号データ
を補間画素の周辺にブロック化してそのブロック毎にレ
ベル分布のパターンを検出し、この画像情報のパターン
に応じた予測係数を予測係数記憶手段から読み出して予
測式に基づいた演算を行ない補間画像を補間して出力す
ることにより、動き検出をしなくても、より正確な画像
情報の補間を行なうことができる。The predictive coefficient of the predictive equation for estimating the interpolated pixel is stored in the predictive coefficient storage means, the input image signal data is divided into blocks around the interpolated pixel, and the level distribution pattern is detected for each block. , A more accurate image is obtained without motion detection by reading the prediction coefficient corresponding to the pattern of this image information from the prediction coefficient storage means, performing the calculation based on the prediction formula, and interpolating and outputting the interpolated image. Information can be interpolated.
【００２２】[0022]
【実施例】以下、この発明の一実施例を図面を用いて説
明する。図１はこの発明の一実施例の学習時の構成を示
すブロック図である。１は入力端子で、標準的な画像信
号を多数枚入力され、フレーム数変換回路２と学習部３
へ供給する。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS An embodiment of the present invention will be described below with reference to the drawings. FIG. 1 is a block diagram showing a configuration at the time of learning according to an embodiment of the present invention. Reference numeral 1 denotes an input terminal to which a large number of standard image signals are input, the frame number conversion circuit 2 and the learning unit 3
Supply to.
【００２３】例えば、ＮＴＳＣのように１秒間に３０フ
レームが入力端子１から供給されたフレーム数変換回路
２はフレーム数をＰＡＬ、ＳＥＣＡＭ等のように１秒間
２５フレームにフレーム数変換をして学習部３へ供給す
る。また、ＰＡＬ、ＳＥＣＡＭ等のように１秒間に２５
フレームが入力端子１から供給されたフレーム数変換回
路２はフレーム数をＮＴＳＣのように１秒間３０フレー
ムにフレーム数変換をして学習部３へ供給する。予測係
数メモリ４は、学習部３で作成されたクラスｃと、係数
ｗ1 〜ｗn を記憶する。For example, in the case of NTSC, 30 frames per second is supplied from the input terminal 1, and the frame number conversion circuit 2 converts the number of frames into 25 frames per second such as PAL and SECAM and learns. Supply to part 3. In addition, like PAL and SECAM, 25 per second
The frame number conversion circuit 2 supplied with the frame from the input terminal 1 converts the frame number into 30 frames per second like NTSC and supplies the frame number to the learning unit 3. Prediction coefficient memory 4, and class c created by the learning unit 3, and stores the coefficients w 1 to w n.
【００２４】図２は入力画像データｘ1 〜ｘ18および注
目画素（または補間画素）ｙを示している。画像データ
ｘ1 〜ｘ9 は、フレームＦｒ（ｔ）に含まれ、画像デー
タｘ10〜ｘ18は、次のフレームＦｒ（ｔ＋１）に含まれ
る。これらの時間的に連続する２フレームのデータを用
いて補間画素ｙが含まれる、補間フレームが構成され
る。学習時には、入力画像データｘ1 〜ｘ18および注目
画素ｙとして本来の値を一組の学習データとする。変換
時には、入力画像データｘ1 〜ｘ18を用いて、補間画素
ｙを補間データとする。FIG. 2 shows input image data x 1 to x 18 and a target pixel (or interpolation pixel) y. The image data x 1 to x 9 are included in the frame Fr (t), and the image data x 10 to x 18 are included in the next frame Fr (t + 1). An interpolation frame including the interpolation pixel y is configured by using the data of these two frames that are temporally continuous. At the time of learning, the original values of the input image data x 1 to x 18 and the target pixel y are set as a set of learning data. At the time of conversion, the input pixel data x 1 to x 18 is used to set the interpolation pixel y as interpolation data.
【００２５】図３は、学習部３をソフトウェア処理の構
成とした時のその動作を示す、フローチャートを示す。
ステップ１１から学習部の制御が開始され、ステップ１
２の対応データブロック化では、テレビジョンのラスタ
ー走査の順序の入力データを図２に示すようなブロック
の順序のデータに変換する。ステップ１３のデータ終了
では、入力された全データ例えば１フレームのデータの
学習が終了していれば、ステップ１６の予測係数決定
へ、終了していなければ、ステップ１４のクラス決定へ
制御が移る。FIG. 3 is a flow chart showing the operation of the learning unit 3 when it has a software processing configuration.
Control of the learning unit is started from step 11, and step 1
In the corresponding data block formation of 2, the input data in the order of the raster scanning of the television is converted into the data in the order of the blocks as shown in FIG. At the end of the data in step 13, if learning of all the input data, for example, one frame of data has been completed, the control proceeds to the prediction coefficient determination of step 16, and if not completed, the control proceeds to the class determination of step 14.
【００２６】ステップ１４のクラス決定では、入力信号
データの信号パターンからクラスを決める。この制御で
は、ビット数削減のため後述のような適応型ダイナッミ
クレンジ符号化（以下、ＡＤＲＣと称する）を用いるこ
とができる。ステップ１５の正規方程式加算では、後述
する式（８）、式（９）および式（１０）の方程式を作
成する。In the class determination in step 14, the class is determined from the signal pattern of the input signal data. In this control, adaptive dynamic range coding (hereinafter referred to as ADRC), which will be described later, can be used to reduce the number of bits. In the normal equation addition in step 15, equations (8), (9) and (10) described later are created.
【００２７】ステップ１３のデータ終了から全データの
学習が終了後、制御がステップ１６に移り、ステップ１
６の予測係数決定では、後述する式（１０）を行列解法
を用いて解いて、予測係数を決める。ステップ１７の予
測係数ストアで、予測係数をメモリにストアし、ステッ
プ１８で学習部の制御が終了する。After the learning of all the data is completed from the end of the data in step 13, the control shifts to step 16,
In the prediction coefficient determination of No. 6, the prediction coefficient is determined by solving the equation (10) described later using the matrix solution method. The predictive coefficient store in step 17 stores the predictive coefficient in the memory, and in step 18, the control of the learning unit ends.
【００２８】ここで、ステップ１２の対応データブロッ
ク化では、上述の図２のように入力画像データｘ1 〜ｘ
18および注目画素ｙを一組のデータとして、複数組の学
習を行なうことにより、より高い学習効果を得ることが
できる。Here, in the corresponding data block formation in step 12, the input image data x 1 to x as shown in FIG.
A higher learning effect can be obtained by performing a plurality of sets of learning using 18 and the target pixel y as one set of data.
【００２９】次に、上述のクラス決定のために使用され
たＡＤＲＣの説明を図を用いて説明する。１ブロック内
の画像レベルの最大値と最小値を求めて、ブロック内ダ
イナミックレンジを定義する。図４に示すように、８ビ
ットの原データの持つ０〜２５５のダイナミックレンジ
の中で、各ブロック毎に再量子化するのに必要なブロッ
ク内ダイナミックレンジは、図４Ａまたは図４Ｂに示す
ように、大幅に小さくなることが分かる。このため、再
量子化に必要なビット数は大幅に低減することができ
る。Next, the description of the ADRC used for the above class determination will be described with reference to the drawings. The maximum value and the minimum value of the image level within one block are obtained, and the dynamic range within the block is defined. As shown in FIG. 4, in the dynamic range of 0 to 255 of the 8-bit original data, the intra-block dynamic range required for requantization for each block is as shown in FIG. 4A or 4B. It can be seen that it becomes significantly smaller. Therefore, the number of bits required for requantization can be significantly reduced.
【００３０】上述の予測係数を算出するために用いられ
るＡＤＲＣは例えば、８ビットの入力信号データを３ビ
ットのデータに圧縮するようになっている。すなわち、
ＡＤＲＣはまず、ブロック内ダイナミックレンジをＤ
Ｒ、ビット割当をｐ、ブロック内画素のデータレベルを
ｘ、再量子化コードをＱ、として以下の式（１）によ
り、図４Ａに示すようにブロック内の最大値Ｍａｘと最
小値Ｍｉｎとの間を指定されたビット長で均等に分割し
て再量子化を行なう。The ADRC used for calculating the above-mentioned prediction coefficient is adapted to compress 8-bit input signal data into 3-bit data, for example. That is,
ADRC first determines the dynamic range within a block by D
R, bit allocation is p, data level of pixel in block is x, requantization code is Q, and the maximum value Max and the minimum value Min in the block are calculated as shown in FIG. Re-quantization is performed by equally dividing the space with a specified bit length.
【００３１】[0031]
【数１】 [Equation 1]
【００３２】次に、図５Ａに示すようにｐビット再量子
化（この場合３ビット再量子化）で最上位の階調レベル
（２p −１）に相当するデータレベル内に存在するブロ
ック内画素の平均値をとり、これを図５Ｂに示すように
最大値Ｍａｘ´とする。また、図５Ａに示すようにこの
再量子化による最下位の階調レベル０に相当するデータ
レベル内に存在するブロック内画素の平均値をとり、こ
れを図５Ｂに示すように最小値Ｍｉｎ´とする。Next, as shown in FIG. 5A, in a block existing in a data level corresponding to the highest gradation level (2 p -1) by p-bit requantization (3 bit requantization in this case). The average value of the pixels is taken, and this is set as the maximum value Max ′ as shown in FIG. 5B. Further, as shown in FIG. 5A, the average value of the pixels in the block existing in the data level corresponding to the lowest gradation level 0 by this requantization is calculated, and this is taken as the minimum value Min ′ as shown in FIG. 5B. And
【００３３】次に、上述の新しく求められた最大値Ｍａ
ｘ´および最小値Ｍｉｎ´からブロック内ダイナミック
レンジＤＲ´を新たに定義し直して、再量子化コードを
ｑとして、上述の新しく求められたブロック内の最大値
Ｍａｘ´および最小値Ｍｉｎ´に基づいて以下の式
（２）により図５Ｂに示すように再量子化を行なう。Next, the above-mentioned newly obtained maximum value Ma
The in-block dynamic range DR ′ is newly redefined from x ′ and the minimum value Min ′, and the requantization code is set to q, and based on the above-obtained newly obtained maximum value Max ′ and minimum value Min ′ in the block. Then, requantization is performed by the following equation (2) as shown in FIG. 5B.
【００３４】 ＤＲ´＝Ｍａｘ´−Ｍｉｎ´ ｑ＝〔（ｘ−Ｍｉｎ´）×（２p −１）／ＤＲ´＋０．５〕 （２） （但し、〔ｚ〕はｚ以下の最大値の整数を表す。）DR ′ = Max′−Min ′ q = [(x−Min ′) × (2 p −1) /DR′+0.5] (2) (where [z] is the maximum value of z or less) Represents an integer.)
【００３５】このようにＡＤＲＣにおいて、二重の再量
子化を行なうことにより、ノイズの悪影響を受けること
がなく、効率の良い情報量圧縮が行なわれる。次に、上
述ＡＤＲＣにより圧縮処理の行なわれた学習データは、
学習データ毎にクラス分割される。By thus performing double requantization in ADRC, the information amount is efficiently compressed without being adversely affected by noise. Next, the learning data compressed by the above-mentioned ADRC is
The learning data is divided into classes.
【００３６】すなわち、上述図２に示す注目画素ｙに注
目した場合、入力信号データａ〜ｌのレベルを夫々ｘ1
〜ｘ18、このレベルがｘ1 〜ｘ18の入力信号データを上
述ＡＤＲＣによりｐビットにデータ圧縮した結果の再量
子化データをｑ1 〜ｑ18として、以下の式（３）を用い
てその学習データのクラスｃを算出する。That is, when attention is paid to the target pixel y shown in FIG. 2, the levels of the input signal data a to l are x 1 respectively.
˜x 18 , the requantized data resulting from data compression of the input signal data whose level is x 1 to x 18 into p bits by the above-mentioned ADRC is defined as q 1 to q 18 , using the following formula (3). The class c of learning data is calculated.
【００３７】[0037]
【数２】 [Equation 2]
【００３８】次に、このようにクラス分けの演算が行な
われた学習データは、以下に示す計算式によりその予測
係数が算出される。Next, the prediction coefficient of the learning data subjected to the classification operation in this way is calculated by the following calculation formula.
【００３９】以下、一般化のために、ｎ画素による予測
を行なう場合を用いて説明を続ける。入力信号の画素レ
ベルをｘ1 ，‥‥ｘn と注目画素ｙの本来のレベルのｙ
の関係を、クラスｃ毎に予測係数ｗ1 ，‥‥ｗn による
ｎタップの線形一次予測式である式（４）により表現す
る。Hereinafter, for the sake of generalization, the description will be continued using the case of performing prediction by n pixels. The pixel level of the input signal is x 1 , ... X n and the original level of the target pixel y is y.
The relation of is expressed by the equation (4) which is an n-tap linear primary prediction equation with the prediction coefficients w 1 , ... W n for each class c.
【００４０】 ｙ＝ｗ1 ｘ1 ＋ｗ2 ｘ2 ＋‥‥＋ｗn ｘn （４）Y = w 1 x 1 + w 2 x 2 + ... + w n x n (4)
【００４１】ここで、この線形一次予測における係数ｗ
1 ，‥‥ｗn については、実際の補間対象画素と補間処
理の誤差が最小になるものを求めれば良い。学習はクラ
ス毎に複数の学習信号データに対して行なうので、デー
タ数がｍとすると一般的なｍ＞ｎである場合には予測係
数ｗ1 ，‥‥ｗn は一意に決定できない。そこで、誤差
ベクトルＥの要素を、夫々の学習データｘj1，‥‥
ｘjn，ｙj における予測誤差をｅj として式（５）のご
とく定義する。Here, the coefficient w in this linear primary prediction is
For 1 , ..., W n, it is only necessary to find one that minimizes the error between the actual interpolation target pixel and the interpolation processing. Since learning is performed on a plurality of learning signal data for each class, when the number of data is m, the prediction coefficients w 1 , ... W n cannot be uniquely determined when general m> n. Therefore, the elements of the error vector E are set to the respective learning data x j1 ,.
The prediction error in x jn , y j is defined as e j as defined in equation (5).
【００４２】 ｅj ＝ｙj −（ｗ1 ｘj1＋ｗ2 ｘj2＋‥‥＋ｗn ｘjn） （５） （ｊ＝１，２，‥‥，ｎ）E j = y j − (w 1 x j1 + w 2 x j2 + ... + w n x jn ) (5) (j = 1, 2, ..., N)
【００４３】次に、式（６）を最小にする係数を求め、
最小自乗法における最適な予測係数ｗ1 ，‥‥ｗn を決
定する。Next, the coefficient that minimizes the equation (6) is obtained,
Optimal prediction coefficients w 1 , ..., W n in the least squares method are determined.
【００４４】[0044]
【数３】 [Equation 3]
【００４５】すなわち、式（６）のｗi による偏微分係
数を求めると式（７）のごとくなる。That is, when the partial differential coefficient by w i of the equation (6) is obtained, the equation (7) is obtained.
【００４６】[0046]
【数４】 [Equation 4]
【００４７】式（７）が０になるよう各ｗi を決めれば
よいので、Since each w i may be determined so that the equation (7) becomes 0,
【００４８】[0048]
【数５】 [Equation 5]
【００４９】とすると、次に示す式（１０）の正規方程
式が得られる。上述の正規方程式の生成が図３のステッ
プ１５で行なわれる。Then, the normal equation of the following equation (10) is obtained. Generation of the normal equation described above is performed in step 15 of FIG.
【００５０】[0050]
【数６】 [Equation 6]
【００５１】式（１０）の正規方程式は、丁度、未知数
がｎ個だけある連立方程式である。これにより、最確値
たる各未定係数ｗ1 ，‥‥，ｗn を求めることができ
る。つまり、図３のステップ１６において学習データの
終了が判定された後に、ステップ１６により予測係数を
決定する。具体的には、一般に式（１０）の左辺の行列
は正定値対称なので、コレスキー法といった手法により
式（１０）の連立方程式を解くことができて、未定係数
であるとことの予測係数ｗ1 ，‥‥ｗn を求めることが
できる。The normal equation of the equation (10) is a simultaneous equation having exactly n unknowns. As a result, the undetermined coefficients w 1 , ..., W n that are the most probable values can be obtained. That is, the prediction coefficient is determined in step 16 after the end of the learning data is determined in step 16 of FIG. Specifically, since the matrix on the left side of the equation (10) is generally positive definite symmetric, the simultaneous equations of the equation (10) can be solved by a method such as the Cholesky method, and the prediction coefficient w that is an undetermined coefficient 1 , ... W n can be obtained.
【００５２】ここで、上述ブロック内ダイナミックレン
ジＤＲが所定のしきい値よりも小さい学習データに対し
ては、このような学習は行なわない。これにより、ノイ
ズによる誤学習を防止することができ、より正確な学習
を行なうことができる。Here, such learning is not performed on the learning data whose dynamic range DR within the block is smaller than a predetermined threshold value. As a result, erroneous learning due to noise can be prevented, and more accurate learning can be performed.
【００５３】次に、この実施例に係る画像変換装置の一
例を図６に示し、詳細に動作を説明する。入力画像信号
が入力端子２１を介してフレームメモリ２２とブロック
化回路２３に供給される。フレームメモリ２２は、入力
された画像信号を保持すると共に、ブロック化回路２３
に供給する。ブロック化回路２３では例えば、図２に示
したように入力画像データｘ1 〜ｘ18の合計１８画素か
らなるブロックに分割し、この分割毎の入力信号データ
をＡＤＲＣ回路２４および予測演算回路２６に供給す
る。Next, an example of the image conversion apparatus according to this embodiment is shown in FIG. 6, and the operation will be described in detail. The input image signal is supplied to the frame memory 22 and the blocking circuit 23 via the input terminal 21. The frame memory 22 holds the input image signal, and the block circuit 23
Supply to. In the block forming circuit 23, for example, as shown in FIG. 2, the input image data x 1 to x 18 are divided into blocks each having a total of 18 pixels, and the input signal data for each division is supplied to the ADRC circuit 24 and the prediction calculation circuit 26. Supply.
【００５４】ＡＤＲＣ回路２４はブロック毎に供給され
る入力信号データのレベル分布のパターンを検出すると
ともに、上述のように各ブロック毎に例えば、８ビット
の入力信号データを３ビットの入力信号データに圧縮す
るような演算を行なうことによりパターン圧縮データを
形成し、このパターン圧縮データをクラスコード発生回
路２５に供給する。The ADRC circuit 24 detects the level distribution pattern of the input signal data supplied to each block, and as described above, for example, the 8-bit input signal data is converted to the 3-bit input signal data for each block. Pattern compression data is formed by performing a compression operation, and this pattern compression data is supplied to the class code generation circuit 25.
【００５５】クラスコード発生回路２５は、ＡＤＲＣ回
路２４から供給されるパターン圧縮データに基づいて式
（３）の演算を行なうことにより、そのブロックが属す
るクラスを検出し、そのクラスを示すクラスコードを予
測係数メモリ４に供給する。このクラスコードは、予測
係数メモリ４からの読み出しアドレスを示すものとなっ
ている。The class code generation circuit 25 detects the class to which the block belongs by performing the operation of the equation (3) based on the pattern compressed data supplied from the ADRC circuit 24, and outputs the class code indicating the class. It is supplied to the prediction coefficient memory 4. This class code indicates a read address from the prediction coefficient memory 4.
【００５６】上述のように、予測係数メモリ４には、入
力信号データのパターンを学習することにより、入力信
号データに対応する補間画素を予測するための予測係数
が予め記憶されている。このため、予測係数メモリ４か
らは、クラスコードで示されるアドレスから、そのクラ
スｃに適応されるべき予測係数ｗi （ｃ）（ｃ＝１，
２，‥‥１８）が読み出される。この予測係数は予測演
算回路２６に供給される。As described above, the prediction coefficient memory 4 stores in advance the prediction coefficient for predicting the interpolated pixel corresponding to the input signal data by learning the pattern of the input signal data. Therefore, from the prediction coefficient memory 4, the prediction coefficient w i (c) (c = 1, 1) to be applied to the class c is calculated from the address indicated by the class code.
2, ... 18) are read. This prediction coefficient is supplied to the prediction calculation circuit 26.
【００５７】予測演算回路２６は、ブロック化回路２３
から供給される入力信号データ、および予測係数メモリ
４から供給される予測係数ｗi （ｃ）（ｃ＝１，２，‥
‥１８）に基づいて以下の式（１１）に示す演算を行な
うことにより、入力信号データに対応する補間画素デー
タｙ´を算出し、これを出力端子２７を介して出力す
る。この出力端子２７を介して出力される補間画素デー
タは、例えば、テレビジョン受像器やビデオテープレコ
ーダ装置等に供給される。The prediction calculation circuit 26 is a block circuit 23.
From the input signal data and the prediction coefficient w i (c) (c = 1, 2, ...)
18), the interpolated pixel data y'corresponding to the input signal data is calculated by performing the operation shown in the following equation (11), and this is output via the output terminal 27. The interpolated pixel data output via the output terminal 27 is supplied to, for example, a television receiver, a video tape recorder device, or the like.
【００５８】 ｙ´＝ｗ1 （ｃ）ｘ1 ＋ｗ2 （ｃ）ｘ2 ＋‥‥＋ｗ18（ｃ）ｘ18 （１１）Y ′ = w 1 (c) x 1 + w 2 (c) x 2 + ... + w 18 (c) x 18 (11)
【００５９】なお、この実施例の説明では、ブロック化
回路２３によりブロック化された入力信号データを、Ａ
ＤＲＣ回路２４によりパターン検出して圧縮処理し、こ
のパターン圧縮データに基づいて予測係数メモリ４から
予測値を読み出すこととしたが、ＡＤＲＣ回路２４でデ
ータ圧縮を行なうことなく、そのままのデータ長で以後
の処理を行なうようにしてもよい。In the description of this embodiment, the input signal data blocked by the blocking circuit 23 is referred to as A
The pattern is detected by the DRC circuit 24 and compression processing is performed, and the prediction value is read from the prediction coefficient memory 4 based on the pattern compression data. However, the ADRC circuit 24 does not perform data compression, and the data length remains unchanged. The processing may be performed.
【００６０】さらに、ブロック化回路２３によりブロッ
ク化された入力信号データを、ＡＤＲＣ回路２４により
パターン検出して圧縮処理する際に、均一のビット割当
（この例では、３ビット）を行なったが、補間画素付近
の重要なデータに対してはより多くのビット数（例え
ば、４ビット）、補間画素から比較的遠いデータに対し
ては少なめのビット数（例えば、２ビット）等のように
不均一なビット割当を行なってもよい。Further, when the ADRC circuit 24 pattern-detects and compresses the input signal data blocked by the blocking circuit 23, uniform bit allocation (in this example, 3 bits) is performed. Non-uniformity such as a larger number of bits (eg 4 bits) for important data near the interpolation pixel and a smaller number of bits (eg 2 bits) for data relatively far from the interpolation pixel. Any bit allocation may be performed.
【００６１】このパターン圧縮データに基づいて予測係
数メモリ４から予測値を読み出すこととしたが、ＡＤＲ
Ｃ回路２４でデータ圧縮を行なうことなく、そのままの
データ長で以降の処理を行なうようにしてもよい。The predicted value is read from the prediction coefficient memory 4 based on the pattern compressed data.
The C circuit 24 may perform the subsequent processing with the data length as it is without performing the data compression.
【００６２】また、情報圧縮手段としてＡＤＲＣ回路２
４を設けることとしたが、これは単なる一例であり、Ａ
ＤＲＣ回路２４の代わりに例えば、所謂ＤＣＴ（ディス
クリート・コサイン・変換）回路、ＶＱ（ベクトル量子
化）回路、あるいは、ＤＰＣＭ（予測符号化）回路等の
ように、データ圧縮を行なえることができる手段であれ
ば何を設けるかは適宜選択できる。Further, the ADRC circuit 2 is used as information compression means.
4 is provided, but this is merely an example, and A
Instead of the DRC circuit 24, for example, a so-called DCT (discrete cosine transform) circuit, a VQ (vector quantization) circuit, a DPCM (predictive coding) circuit, or the like that can perform data compression. If so, what is provided can be appropriately selected.
【００６３】また、この実施例では、クラス分類すなわ
ち、パターン検出に用いる入力信号データの画素数と予
測演算に用いる画素数（予測のタップ数）は同一であっ
たが、これらが異なっていても全く問題はない。Further, in this embodiment, the number of pixels of the input signal data used for class classification, that is, the pattern detection, and the number of pixels used for the prediction calculation (the number of prediction taps) are the same, but they may be different. There is no problem at all.
【００６４】ここで、図７は、上述のフレーム補間の処
理のフローチャートである。ステップ３１からフレーム
補間の制御が開始され、ステップ３２のデータブロック
化では、入力画像信号が供給され、上述の図２に示すよ
うに入力信号データｘ1 〜ｘ18の合計１８画素からなる
ブロックに分割する。ステップ３３のデータ終了では、
入力された全データの補間が終了していれば、ステップ
３７の終了へ、終了していなければ、ステップ３４のク
ラス決定へ制御が移る。Here, FIG. 7 is a flowchart of the above-described frame interpolation processing. Control of the frame interpolation is started from step 31, and in the data block formation of step 32, the input image signal is supplied, and as shown in FIG. 2, the input signal data x 1 to x 18 is converted into a block having a total of 18 pixels. To divide. At the end of the data in step 33,
If the interpolation of all the input data has been completed, the control proceeds to the end of step 37, and if not completed, the control proceeds to the class determination of step 34.
【００６５】ステップ３４のクラス決定では、入力画像
信号からクラスを決定する。この制御では、学習時と同
様にビット数削減のためにＡＤＲＣを用いることが好ま
しい。ステップ３５の予測係数リストアでは、クラスコ
ードに対応する予測係数をメモリからリストアする。ス
テップ３６の予測演算では、式（１０）の予測式演算を
行ない、補間フレームの画素データを出力する。この一
連の制御が全データが終了すればステップ３５のデータ
終了からステップ３７の終了に制御が移り、フレーム補
間の処理が終了する。In step 34, the class is determined from the input image signal. In this control, it is preferable to use ADRC to reduce the number of bits as in learning. In the prediction coefficient restoration of step 35, the prediction coefficient corresponding to the class code is restored from the memory. In the prediction calculation of step 36, the prediction formula calculation of formula (10) is performed, and the pixel data of the interpolation frame is output. When all the data in this series of controls is completed, the control is transferred from the end of the data in step 35 to the end of step 37, and the frame interpolation process is completed.
【００６６】[0066]
【発明の効果】この発明に係る画像変換装置は、補間画
素を推定するための予測式の予測係数を予測係数記憶手
段に記憶しておき、入力画像信号データを補間画素の周
辺にブロック化してそのブロック毎にレベル分布のパタ
ーンを検出し、この画像情報のパターンに応じた予測係
数を予測係数記憶手段から読み出して予測式に基づいた
演算によって補間画像を形成しているので、正確な補間
が可能である。According to the image conversion apparatus of the present invention, the prediction coefficient of the prediction formula for estimating the interpolation pixel is stored in the prediction coefficient storage means, and the input image signal data is divided into blocks around the interpolation pixel. The pattern of the level distribution is detected for each block, the predictive coefficient corresponding to the pattern of the image information is read from the predictive coefficient storage means, and the interpolation image is formed by the operation based on the predictive formula. It is possible.
【００６７】また、この発明は、予測係数を予め学習を
行なって記憶することにより、動き検出をしなくても、
より正確な画像情報の補間を行なうことができる。Further, according to the present invention, the prediction coefficient is learned and stored in advance, so that the motion detection is not necessary.
More accurate image information interpolation can be performed.
【００６８】さらに、この発明は、情報圧縮手段を設
け、画像情報分割手段からの画像情報をブロック毎に圧
縮処理することにより、予測係数記憶手段に記憶する予
測係数の記憶容量を削減することができる。Further, according to the present invention, the information compression means is provided and the image information from the image information division means is compressed block by block, thereby reducing the storage capacity of the prediction coefficient stored in the prediction coefficient storage means. it can.
【図１】この発明に係る学習のブロック図の一実施例で
ある。FIG. 1 is an embodiment of a block diagram of learning according to the present invention.
【図２】この発明に係る画像変換装置における画素の説
明に用いる略線図の一例である。FIG. 2 is an example of a schematic diagram used to describe a pixel in the image conversion device according to the present invention.
【図３】この発明に係る学習の予測係数を獲得するため
の一例のフローチャートである。FIG. 3 is a flowchart of an example for obtaining a prediction coefficient for learning according to the present invention.
【図４】ＡＤＲＣ回路の説明に用いる略線図である。FIG. 4 is a schematic diagram used to describe an ADRC circuit.
【図５】ＡＤＲＣ回路の説明に用いる略線図である。FIG. 5 is a schematic diagram used to describe an ADRC circuit.
【図６】この発明に係る画像変換装置におけるブロック
図の一実施例である。FIG. 6 is an embodiment of a block diagram in the image conversion apparatus according to the present invention.
【図７】この発明に係る画像変換装置における一例のフ
ローチャートである。FIG. 7 is a flowchart of an example of the image conversion apparatus according to the present invention.
【図８】従来のフレーム補間装置におけるブロック図の
一例である。FIG. 8 is an example of a block diagram in a conventional frame interpolation device.
【図９】従来のフレーム補間の説明に用いる略線図であ
る。FIG. 9 is a schematic diagram used to describe conventional frame interpolation.
４ 予測係数メモリ ２１ 入力端子 ２２ フレームメモリ ２３ ブロック化回路 ２４ ＡＤＲＣ回路 ２５ クラスコード発生回路 ２６ 予測演算回路 ２７ 出力端子 4 Prediction coefficient memory 21 Input terminal 22 frame memory 23 Blocking circuit 24 ADRC circuit 25 class code generator 26 Prediction arithmetic circuit 27 output terminals
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平５−167991（ＪＰ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) H04N 7/01 ─────────────────────────────────────────────────── ─── Continuation of the front page (56) Reference JP-A-5-167991 (JP, A) (58) Fields investigated (Int.Cl. 7 , DB name) H04N 7/01
Claims (4)
像信号内のｎ枚のフレームからｍ枚のフレームを作成す
るフレーム補間装置において、 上記補間フレーム内の補間画素の位置に基づいて、上記
入力画像信号を１乃至複数の画素からなるブロックへ分
割するブロック化手段と、 上記ブロック化手段により分割されたブロック毎に、特
徴を検出し、この検出された特徴に基づいて、上記ブロ
ック内画像信号が属するクラスを決定してクラス情報を
出力するクラス検出手段と、 注目された上記補間画素の周囲に位置する上記入力画像
信号の画素から補間フレームを作成するための予測式の
予測係数が上記クラス毎に記憶されており、上記クラス
検出手段からのクラス情報に応じて上記予測係数を出力
する予測係数記憶手段と、 上記予測係数記憶手段から供給された予測係数と上記入
力画像信号とを用いて、予測式に基づいた演算を行ない
上記補間画素の値を出力する画像情報補間手段を有する
ことを特徴とするフレーム補間装置。1. A frame interpolating device for creating m frames from n frames in an input image signal by creating an interpolation frame, wherein the input is based on the position of an interpolation pixel in the interpolation frame. Blocking means for dividing the image signal into blocks composed of one to a plurality of pixels, and a feature is detected for each block divided by the blocking means, and the in-block image signal is based on the detected feature. A class detecting means for determining a class to which the class belongs and outputting class information, and a prediction coefficient of a prediction formula for creating an interpolation frame from pixels of the input image signal located around the interpolation pixel of interest is the class. A prediction coefficient storage unit that stores the prediction coefficient according to the class information from the class detection unit; Top fill the prediction coefficient supplied from憶means
A frame interpolating device comprising image information interpolating means for performing a calculation based on a prediction formula using the force image signal and outputting the value of the interpolated pixel.
像信号のパターン分布を検出し、この検出された上記パ
ターン分布に基づいて、上記ブロック内の画像信号が属
するクラスを決定してクラス情報を出力することを特徴
とする請求項１記載のフレーム補間装置。2. The class detecting means detects a pattern distribution of an image signal for each block divided by the blocking means, and the image signal in the block is detected based on the detected pattern distribution. The frame interpolating apparatus according to claim 1, wherein the class to which the frame belongs is determined and class information is output.
像信号のパターン分布を検出するパターン検出手段と、 上記パターンを示す情報を圧縮処理してパターン圧縮情
報を出力する情報圧縮手段とを有し、 上記パターン圧縮情報に基づいて上記クラス情報を出力
することを特徴とする請求項２記載のフレーム補間装
置。3. The class detecting means includes a pattern detecting means for detecting a pattern distribution of an image signal for each block divided by the blocking means, and a pattern compression information by compressing information indicating the pattern. 3. The frame interpolating device according to claim 2, further comprising: an information compression unit that outputs the class information, based on the pattern compression information.
の周囲に位置する上記入力画像信号の画素から、上記予
測係数記憶手段に記憶された予測係数と上記 入力画像信
号とを用いた線形一次結合式に基づいた演算により、補
間画素の値を求めることを特徴とする請求項１記載のフ
レーム補間装置。4. The image information interpolating means calculates the prediction coefficient stored in the prediction coefficient storing means from the pixels of the input image signal located around the interpolation pixel and the input image signal.
2. The frame interpolating device according to claim 1, wherein the value of the interpolated pixel is obtained by an operation based on a linear linear combination equation using the No.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP19399593A JP3362463B2 (en) | 1993-07-09 | 1993-07-09 | Frame interpolation device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP19399593A JP3362463B2 (en) | 1993-07-09 | 1993-07-09 | Frame interpolation device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0730859A JPH0730859A (en) | 1995-01-31 |
| JP3362463B2 true JP3362463B2 (en) | 2003-01-07 |
Family
ID=16317224
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP19399593A Expired - Lifetime JP3362463B2 (en) | 1993-07-09 | 1993-07-09 | Frame interpolation device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3362463B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8159605B2 (en) | 2007-07-13 | 2012-04-17 | Fujitsu Limited | Frame interpolating apparatus and method |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4105257B2 (en) * | 1997-07-30 | 2008-06-25 | ソニー株式会社 | Storage device and storage method |
| JP4470323B2 (en) | 1999-04-23 | 2010-06-02 | ソニー株式会社 | Image conversion apparatus and method |
| EP1104190A4 (en) * | 1999-04-28 | 2006-04-19 | Sony Corp | Image signal conversion device and method |
| US8385422B2 (en) | 2008-08-04 | 2013-02-26 | Kabushiki Kaisha Toshiba | Image processing apparatus and image processing method |
| JP5201408B2 (en) * | 2008-09-30 | 2013-06-05 | ソニー株式会社 | Frame frequency conversion apparatus, frame frequency conversion method, program for executing the method, computer-readable recording medium recording the program, motion vector detection apparatus, and prediction coefficient generation apparatus |
-
1993
- 1993-07-09 JP JP19399593A patent/JP3362463B2/en not_active Expired - Lifetime
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8159605B2 (en) | 2007-07-13 | 2012-04-17 | Fujitsu Limited | Frame interpolating apparatus and method |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0730859A (en) | 1995-01-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2801559B2 (en) | Motion compensation coding method and apparatus adapted to the magnitude of motion | |
| JP3271108B2 (en) | Apparatus and method for processing digital image signal | |
| EP0762774A2 (en) | Image signal encoding apparatus | |
| JP3356516B2 (en) | Video encoding device | |
| JP3271101B2 (en) | Digital image signal processing apparatus and processing method | |
| JP3362463B2 (en) | Frame interpolation device | |
| JP3946781B2 (en) | Image information conversion apparatus and method | |
| JP3327593B2 (en) | Television system for transmitting digital television images | |
| JP2001285881A (en) | Digital information converter and method, and image information converter and method | |
| JP3723995B2 (en) | Image information conversion apparatus and method | |
| JP4140091B2 (en) | Image information conversion apparatus and image information conversion method | |
| JP3371159B2 (en) | Digital image signal processing apparatus and processing method | |
| JP3724008B2 (en) | Image information conversion device and coefficient data creation device | |
| JPH08307835A (en) | Classification adaptive processing unit and its method | |
| JP3480015B2 (en) | Apparatus and method for generating image data | |
| JP3326879B2 (en) | Image signal converter | |
| JP3653287B2 (en) | Image information conversion apparatus and image information conversion method | |
| JPH06178277A (en) | Picture information converter | |
| JP4062326B2 (en) | Coefficient generation apparatus and method | |
| JP2001285882A (en) | Device and method for reducing noise | |
| JP3831955B2 (en) | Class classification adaptive processing apparatus and method | |
| JP3767019B2 (en) | Product-sum operation circuit and method | |
| JP4001143B2 (en) | Coefficient generation apparatus and method | |
| JP3004799B2 (en) | Image coding method and apparatus | |
| JP4042121B2 (en) | Image information processing apparatus and image information processing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091025 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091025 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101025 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101025 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111025 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111025 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121025 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121025 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131025 Year of fee payment: 11 |
|
| EXPY | Cancellation because of completion of term |