JP2000224593A - Method and device for interpolating frame and recording medium recording the method - Google Patents
Method and device for interpolating frame and recording medium recording the methodInfo
- Publication number
- JP2000224593A JP2000224593A JP1928799A JP1928799A JP2000224593A JP 2000224593 A JP2000224593 A JP 2000224593A JP 1928799 A JP1928799 A JP 1928799A JP 1928799 A JP1928799 A JP 1928799A JP 2000224593 A JP2000224593 A JP 2000224593A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- motion vector
- block
- region
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Television Signal Processing For Recording (AREA)
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、符号化された動画
像信号を再生するにあたって符号化されていないフレー
ムを効率的に補間して、時間あたりの表示フレーム数を
増大させることを目的とした、フレーム補間方法および
装置に関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention aims to increase the number of display frames per time by efficiently interpolating non-coded frames when reproducing a coded moving picture signal. , Frame interpolation method and apparatus.
【０００２】[0002]
【従来の技術】動画像の符号化においては、時間方向の
相関性の高さを利用した動き補償予測符号化がよく用い
られる。動き補償予測符号化においては、符号化対象フ
レームを小ブロックに分割して、各符号化対象小ブロッ
クに対し、すでに復号済みのフレームから最も類似する
ブロックを検出し、その差分信号を量子化・符号化する
ものである。このとき、類似ブロックが符号化対象小ブ
ロックに対して空間的にどれだけずれているかを示す信
号を、動きベクトルとして符号化する。動きベクトルは
各小ブロックごとに求める。2. Description of the Related Art In the coding of a moving image, motion-compensated predictive coding utilizing high correlation in the time direction is often used. In motion-compensated predictive coding, the encoding target frame is divided into small blocks, and for each encoding target small block, the most similar block is detected from the already decoded frames, and the difference signal is quantized. To be encoded. At this time, a signal indicating how much the similar block is spatially displaced from the encoding target small block is encoded as a motion vector. A motion vector is obtained for each small block.
【０００３】このような動き補償予測符号化において
は、定められたビットレート以内に発生情報量を抑える
ために、圧縮率が高くなるとすべてのフレームを符号化
せずに、ある間隔でフレームをスキップして符号化する
ような駒落とし制御が行われる。駒落としが行われて符
号化された情報を再生すると、フレームがスキップされ
ているので動きがなめらかでなく不自然となる。このた
め、再生時にスキップされたフレームを復号フレームか
らの内挿補間によって作成することでフレーム数を増大
させる手法が考えられている。In such motion-compensated predictive coding, in order to suppress the amount of generated information within a predetermined bit rate, when the compression ratio becomes high, frames are skipped at certain intervals without coding all frames. A frame dropping control is performed to perform encoding. When the encoded information is reproduced by dropping frames, the motion is not smooth and unnatural because the frames are skipped. For this reason, a method of increasing the number of frames by creating frames skipped during reproduction by interpolation from decoded frames has been considered.
【０００４】図４は動き補償予測符号化を用いた場合の
従来のフレーム補間方法を示すものである。ここでは時
間的に中央のフレームが間引かれているものとする。動
き補償予測符号化においては、復号対象小ブロックごと
にすでに復号済みのフレームからの動きベクトルが送ら
れてくるので、時間的に復号済みのフレームと現在復号
中のフレームとの間にあるスキップフレームの画素値
を、復号対象小ブロックと動きベクトルで示される復号
済みフレーム上の類似ブロックとの平均値をもって内挿
するものである。このとき、内挿画素位置は、小ブロッ
クの動きが並行移動しているとみなして、動きベクトル
を半分の大きさにして示される位置としている。FIG. 4 shows a conventional frame interpolation method using motion compensated predictive coding. Here, it is assumed that the frame at the center in time is thinned out. In motion-compensated predictive coding, since a motion vector from a frame already decoded is sent for each small block to be decoded, a skip frame between the temporally decoded frame and the currently decoded frame is sent. Is interpolated using the average value of the small block to be decoded and the similar block on the decoded frame indicated by the motion vector. At this time, the interpolation pixel position is set to a position indicated by making the motion vector half the size, assuming that the motion of the small block is moving in parallel.
【０００５】図５は従来のフレーム補間方法を実装した
画像符号化・復号装置のブロック図である。FIG. 5 is a block diagram of an image encoding / decoding apparatus implementing a conventional frame interpolation method.
【０００６】符号化側においては、画像信号の符号化対
象ブロック５０１に対し、動きベクトル探索部５０２に
おいてフレームメモリ５１１内の参照画像５１０に対し
て動き検索を行い、動きベクトル５０３を計算する。動
き補償部５０６では、選択された動きベクトル５０３に
対応する参照小ブロック５０５を求め、減算部５０４に
おいて符号化対象ブロック５０１との差を計算し、動き
補償フレーム間差分値５０７を得た後、量子化部５０８
において量子化する。量子化された動き補償フレーム間
差分値５０９を逆量子化部５１３において逆量子化し、
加算部５１５において復元された動き補償フレーム間差
分値５１４と参照小ブロック５０５との和を計算し、局
部復号出力５１２としてフレームメモリ５１１に格納す
る。On the encoding side, a motion vector search section 502 performs a motion search on a reference image 510 in a frame memory 511 for an encoding target block 501 of an image signal, and calculates a motion vector 503. The motion compensation unit 506 obtains a reference small block 505 corresponding to the selected motion vector 503, calculates a difference from the coding target block 501 in the subtraction unit 504, and obtains a motion compensation inter-frame difference value 507. Quantizer 508
Is quantized. The quantized motion-compensation inter-frame difference value 509 is inversely quantized by an inverse quantization unit 513,
The addition unit 515 calculates the sum of the restored motion-compensated inter-frame difference value 514 and the reference small block 505, and stores the sum as the local decoded output 512 in the frame memory 511.
【０００７】復号側では、符号化側から送信されてきた
量子化された動き補償フレーム間差分値５０９を、逆量
子化部５１６において逆量子化し、動き補償フレーム間
差分値５１８を算出する。一方動き補償部５２１では、
伝送された動きベクトル５１７を用いて、フレームメモ
リ５２４に蓄えられた参照画像５２３上の参照画像ブロ
ック５２０を求め、加算部５１９において動き補償フレ
ーム間差分値５１８との和を計算し、復号画像ブロック
５２２を得る。また、平均値演算部５２５において、復
号画像ブロック５２２と参照画像ブロック５２０の画素
値の平均値を求め、ベクトルスケーリング部５２７で１
／２の大きさにスケーリングされた動きベクトル５２８
によって示される補間画像フレームメモリ５２６上のア
ドレスに格納して、補間画像ブロック５２９として出力
する。On the decoding side, the quantized motion-compensated inter-frame difference value 509 transmitted from the encoding side is inversely quantized by an inverse quantization unit 516, and a motion-compensated inter-frame difference value 518 is calculated. On the other hand, in the motion compensation unit 521,
Using the transmitted motion vector 517, a reference image block 520 on the reference image 523 stored in the frame memory 524 is obtained, and an addition unit 519 calculates the sum with the motion compensation inter-frame difference value 518 to obtain a decoded image block. 522 are obtained. Further, the average value calculation unit 525 calculates the average value of the pixel values of the decoded image block 522 and the reference image block 520, and the vector scaling unit 527 calculates 1
/ 2 scaled motion vector 528
Is stored in the address on the interpolation image frame memory 526 indicated by, and is output as the interpolation image block 529.
【０００８】[0008]
【発明が解決しようとする課題】上記従来の技術では、
小ブロック内に異なる動きを持った複数の被写体が含ま
れる場合に、生成された補間フレーム上で、実際の画像
とは異なる画像が生成されることになる。In the above prior art,
When a plurality of subjects having different motions are included in a small block, an image different from an actual image is generated on the generated interpolation frame.
【０００９】たとえば図６に示すように２つの領域のう
ち、一方の領域Ｒ1が他方の領域Ｒ2を隠すように動く場
合を考える。図６（３）の復号対象フレーム上の復号対
象ブロックＣが領域Ｒ1とＲ2の境界上にあり、動きベク
トルによって定められる参照フレーム上の参照ブロック
Ａが図６（１）のように求められている場合、図６
（２）における補間ブロックＢの領域Ｂ2における画素
値は、参照ブロック内の領域Ａ2と復号対象ブロック内
の領域Ｃ2における画素値の平均値となり、参照フレー
ムにおける実際の領域であるＢ’の画素値とは全く異な
るものになるという問題点があった。For example, consider a case where one of the two regions R 1 moves so as to hide the other region R 2 as shown in FIG. Decoding target block C on the decoding target frame in FIG. 6 (3) is on the boundary of the region R 1 and R 2, the reference block A on the reference frame defined by a motion vector is determined as FIG. 6 (1) Figure 6
The pixel value in the area B 2 of the interpolation block B in (2) is the average value of the pixel values in the area A 2 in the reference block and the area C 2 in the decoding target block, and is the actual area B ′ in the reference frame. There is a problem that the pixel value is completely different from the pixel value.
【００１０】このような問題を解決する方法として、輪
郭適応ワーピング予測とラベリングを用いたフレーム補
間方法が提案されている（輪郭適応ワーピング予測によ
るフレーム補間方式、横山他、第１０回画像符号化シン
ポジウムＰＣＳＪ９５、９−１９、ｐｐ．２０５−２０
６）。As a method for solving such a problem, a frame interpolation method using contour adaptive warping prediction and labeling has been proposed (frame interpolation method based on contour adaptive warping prediction, Yokoyama et al., 10th Image Coding Symposium). PCSJ95, 9-19, pp. 205-20
6).
【００１１】ワーピング予測とは、画面上のいくつかの
代表点で動きベクトルを検出し、代表点以外の画素の動
きベクトルを、代表点の動きベクトルを用いて補間する
ことにより、全画素での動き補償フレーム間予測を実現
するものである。このワーピング予測において代表点の
位置を被写体の輪郭線に適合させ、動きベクトルの補間
で参照する代表点をパッチごとに適応選択することによ
り被写体境界部分での不連続な動きに対応できるように
したものを輪郭適応ワーピング予測という。補間画像を
生成する際には、前述の輪郭適応ワーピング予測と、各
パッチにラベルとして持たせた被写体の重なり具合の順
位の比較を行うことにより、補間の方法を時間的に順方
向の外挿・時間的に逆方向の外挿・両方向からの内挿の
３通りからいずれかを選択することにより実現する。こ
れによれば被写体の重なりによる問題を解決し、良好な
補間画像を得ることができる。In the warping prediction, motion vectors are detected at several representative points on the screen, and the motion vectors of pixels other than the representative points are interpolated using the motion vectors of the representative points. This realizes motion compensation inter-frame prediction. In this warping prediction, the position of the representative point is adapted to the contour of the subject, and the representative point to be referred to by interpolation of the motion vector is adaptively selected for each patch so that discontinuous motion at the subject boundary can be handled. This is called contour adaptive warping prediction. When generating an interpolated image, the method of interpolation is temporally extrapolated in the forward direction by comparing the contour adaptive warping prediction described above and the order of the degree of overlap of the subject given as a label to each patch. It is realized by selecting one of three methods: extrapolation in the reverse direction in time and interpolation from both directions. According to this, the problem due to the overlapping of the objects can be solved, and a good interpolated image can be obtained.
【００１２】しかしながら、上記従来の輪郭適応ワーピ
ング予測とラベリングを用いたフレーム補間方法は、輪
郭を抽出したりあらかじめ被写体の重なり具合を定めて
おかなければならず、処理が複雑になるという問題があ
った。However, the above-described conventional frame interpolation method using contour adaptive warping prediction and labeling has a problem in that the contour must be extracted and the degree of overlap of the subject must be determined in advance, which complicates the processing. Was.
【００１３】本発明は、上記従来の技術における被写体
の重なりによる問題、すなわち補償予測符号化・復号方
法および装置において、小ブロック内に異なる動きを持
った複数の被写体が含まれる場合に、生成された補間フ
レーム上で、実際の画像とは異なる画像が生成される問
題を、簡単な処理および構成により解決するフレーム補
間方法および装置を提供することを課題とする。According to the present invention, the problem caused by the overlapping of the objects in the prior art, that is, in the compensation prediction encoding / decoding method and apparatus, when a small block includes a plurality of objects having different motions, the object is generated. An object of the present invention is to provide a frame interpolation method and apparatus that solves a problem that an image different from an actual image is generated on an interpolated frame by a simple process and configuration.
【００１４】[0014]
【課題を解決するための手段】本発明は、上記の課題を
解決するため、以下に述べるような手段を採用してい
る。The present invention employs the following means to solve the above-mentioned problems.
【００１５】その一手段は、ディジタル動画像信号に対
して、符号化時には、動画像を構成するフレームを符号
化対象フレームと非符号化フレームとに分割し、該符号
化対象フレームの画像データを小ブロックに分割し、該
分割された符号化対象小ブロックに対して、フレームメ
モリに蓄えられている符号化・復号済みの参照フレーム
から第１の動きベクトルを求め、該第１の動きベクトル
により定まる参照ブロックと現フレームの符号化対象小
ブロックとの動き補償フレーム間差分値を算出して、該
第１の動きベクトルとともに符号化して伝送・記録し、
復号時には、復号対象小ブロックに対して、前記伝送・
記録された第１の動きベクトルにより定まるフレームメ
モリ中の参照ブロックと、前記動き補償フレーム間差分
値とを加算することにより復号フレームを構成し、さら
に非符号化フレームを該復号フレームの値および該第１
の動きベクトルを用いて算出される補間ブロックによっ
て補間フレームとして構成する画像符号化および復号方
法において、補間フレームにおける補間ブロックの画素
値を定める際に、復号対象小ブロックの動き補償フレー
ム間差分絶対値を、画素ごとに、定められた閾値と比較
し、該フレーム間差分絶対値が閾値よりも小さい画素か
ら構成される第１の領域と、該フレーム間差分絶対値が
閾値よりも大きい画素から構成される第２の領域に分割
する段階と、該第１の領域については、その領域の画素
値と前記第１の動きベクトルで定められる参照ブロック
中の第１の領域に対応する画素値との重みつき平均値で
補間フレームを構成する段階と、該第２の領域について
は、その領域を構成する画素の分布状態と前記第１の動
きベクトルの方向との関係を算出する段階と、該算出さ
れた関係により復号対象ブロック上あるいは前記第１の
動きベクトルで定められる参照ブロック上の対応する領
域のどちらか一方を基準領域とし、該基準領域が属する
フレームとは異なるフレームを再探索参照フレームとす
る段階と、該基準領域と該再探索参照フレームの間で動
き検出を行って第２の動きベクトルを求める段階と、補
間ブロック中の第２の領域に対し、該第２の動きベクト
ルを実数倍することによって定まる再探索参照フレーム
上の画素値をコピーして補間フレームを構成する段階と
を、有することを特徴とするフレーム補間方法である。One of the means is to divide a frame constituting a moving image into a frame to be coded and a non-coding frame when coding the digital moving image signal, and to convert the image data of the frame to be coded. For each divided small block to be coded, a first motion vector is obtained from the coded / decoded reference frame stored in the frame memory. Calculating a motion-compensated inter-frame difference value between the determined reference block and the current frame to be coded, and encoding and transmitting / recording the same with the first motion vector;
At the time of decoding, the transmission /
A decoded frame is constructed by adding the reference block in the frame memory determined by the recorded first motion vector and the motion-compensated inter-frame difference value. First
In the image encoding and decoding method of forming an interpolation frame by an interpolation block calculated using the motion vector of the motion vector, when determining the pixel value of the interpolation block in the interpolation frame, the motion compensation frame difference absolute value of the small block to be decoded is determined. Is compared with a predetermined threshold value for each pixel, and a first area composed of pixels whose absolute value of the inter-frame difference is smaller than the threshold value, and a first area composed of pixels whose absolute value of the inter-frame difference is larger than the threshold value Dividing the pixel value of the first region into a pixel value corresponding to the first region in the reference block defined by the first motion vector. Configuring an interpolated frame with a weighted average, and for the second region, the distribution state of the pixels constituting the region and the direction of the first motion vector Calculating a relationship between the reference region and one of the corresponding regions on the decoding target block or the reference block defined by the first motion vector based on the calculated relationship. Making a frame different from the re-search reference frame, performing motion detection between the reference region and the re-search reference frame to obtain a second motion vector, A pixel value on a re-search reference frame determined by multiplying the second motion vector by a real number to form an interpolated frame.
【００１６】あるいは、ディジタル動画像信号に対し
て、符号化時には、動画像を構成するフレームを符号化
対象フレームと非符号化フレームとに分割し、該符号化
対象フレームの画像データを小ブロックに分割し、該分
割された符号化対象小ブロックに対して、フレームメモ
リに蓄えられている符号化・復号済みの参照フレームか
ら第１の動きベクトルを求め、該第１の動きベクトルに
より定まる参照ブロックと現フレームの符号化対象小ブ
ロックとの動き補償フレーム間差分値を算出して、該第
１の動きベクトルとともに符号化して伝送・記録し、復
号時には、復号対象小ブロックに対して、前記伝送・記
録された第１の動きベクトルにより定まるフレームメモ
リ中の参照ブロックと、前記動き補償フレーム間差分値
とを加算することにより復号フレームを構成し、さらに
非符号化フレームを該復号フレームの値および該第１の
動きベクトルを用いて算出される補間ブロックによって
補間フレームとして構成する画像符号化および復号装置
において、補間フレームにおける補間ブロックの画素値
を定める際に、復号対象小ブロックの動き補償フレーム
間差分絶対値を、画素ごとに、定められた閾値と比較
し、該フレーム間差分絶対値が閾値よりも小さい画素か
ら構成される第１の領域と、該フレーム間差分絶対値が
閾値よりも大きい画素から構成される第２の領域に分割
する領域分割手段と、該第１の領域については、その領
域の画素値と前記第１の動きベクトルで定められる参照
ブロック中の第１の領域に対応する画素値との重みつき
平均値で補間フレームを構成する補間値演算手段と、該
第２の領域については、その領域を構成する画素の分布
状態と前記第１の動きベクトルの方向との関係を算出す
る遮蔽・出現判定手段と、該算出された関係により復号
対象ブロック上あるいは前記第１の動きベクトルで定め
られる参照ブロック上の対応する領域のどちらか一方を
基準領域とし、該基準領域が属するフレームとは異なる
フレームを再探索参照フレームとする基準領域抽出手段
と、該基準領域と該再探索参照フレームの間で動き検出
を行って第２の動きベクトルを求める第２の動きベクト
ル抽出手段と、補間ブロック中の第２の領域に対し、該
第２の動きベクトルを実数倍することによって定まる該
再探索参照フレーム上の画素値をコピーして補間フレー
ムを構成する領域抽出手段とを、備えることを特徴とす
るフレーム補間方法である。Alternatively, at the time of encoding a digital moving image signal, a frame constituting the moving image is divided into an encoding target frame and a non-coding frame, and the image data of the encoding target frame is divided into small blocks. For the divided small block to be encoded, a first motion vector is obtained from the encoded and decoded reference frame stored in the frame memory, and a reference block determined by the first motion vector is obtained. And a motion-compensated inter-frame difference value between the current frame and the current block to be coded, and coded and transmitted / recorded together with the first motion vector. Adding the reference block in the frame memory determined by the recorded first motion vector and the motion-compensated inter-frame difference value. In an image encoding and decoding apparatus for forming a decoded frame and further forming an uncoded frame as an interpolated frame by an interpolation block calculated using the value of the decoded frame and the first motion vector, When determining the pixel value of the interpolation block, the motion compensation inter-frame difference absolute value of the small block to be decoded is compared for each pixel with a predetermined threshold value, and the inter-frame difference absolute value is composed of pixels smaller than the threshold value. Region dividing means for dividing the first region to be divided into a second region composed of pixels whose absolute value of the inter-frame difference is larger than a threshold, and for the first region, the pixel value of the region Interpolated values forming an interpolated frame by weighted average values with pixel values corresponding to a first area in a reference block defined by the first motion vector Calculation means, for the second area, occlusion / appearance determination means for calculating the relationship between the distribution state of the pixels constituting the area and the direction of the first motion vector, and decoding based on the calculated relationship. A reference region extracting means for setting one of the corresponding region on the target block or the reference block defined by the first motion vector as a reference region and a frame different from the frame to which the reference region belongs as a re-search reference frame A second motion vector extracting means for performing motion detection between the reference region and the re-search reference frame to obtain a second motion vector; and a second region in the interpolation block, Region extracting means for forming an interpolation frame by copying a pixel value on the re-search reference frame determined by multiplying the motion vector by a real number. This is a frame interpolation method.
【００１７】あるいは、上記のフレーム補間方法におけ
る段階をコンピュータに実行させるためのプログラム
を、該コンピュータが読み取り可能な記録媒体に記録し
たことを特徴とするフレーム補間方法を記録した記録媒
体である。Alternatively, the present invention is a recording medium recording a frame interpolation method, wherein a program for causing a computer to execute the steps in the above-described frame interpolation method is recorded on a computer-readable recording medium.
【００１８】本発明では、小ブロック単位よりも細かく
補間のモードを設定できるようにすることにより、オク
ルージョンが発生して物体間に重なりがあるような場合
でも、精度良くフレーム補間することを可能にする。According to the present invention, the interpolation mode can be set more finely than the small block unit, so that even when occlusion occurs and objects overlap, frame interpolation can be performed with high accuracy. I do.
【００１９】[0019]
【発明の実施の形態】以下、図面により本発明の実施形
態例を詳細に説明する。なお、以下の説明では補間フレ
ームは２枚の復号対象フレームに対して時間的に中央に
あるものとして進める。Embodiments of the present invention will be described below in detail with reference to the drawings. In the following description, it is assumed that the interpolation frame is temporally located at the center of the two decoding target frames.
【００２０】はじめに、本発明によるフレーム補間方法
の一実施形態例を説明する。First, an embodiment of the frame interpolation method according to the present invention will be described.
【００２１】本方法では、補間フレームにおける補間ブ
ロックの画素値を定める際に、復号対象小ブロックの動
き補償フレーム間差分絶対値を、画素ごとに、定められ
た閾値と比較し、フレーム間差分絶対値が閾値よりも小
さい画素から構成される第１の領域と、フレーム間差分
絶対値が閾値よりも大きい画素から構成される第２の領
域に分割する。In this method, when determining the pixel value of the interpolation block in the interpolation frame, the motion compensation frame difference absolute value of the small block to be decoded is compared with a predetermined threshold value for each pixel, and the frame difference absolute value is determined. It is divided into a first area composed of pixels whose values are smaller than the threshold value and a second area composed of pixels whose inter-frame difference absolute values are larger than the threshold value.
【００２２】第１の領域については、その領域の画素値
と前記第１の動きベクトルで定められる参照ブロック中
の第１の領域に対応する画素値との平均値で補間フレー
ムを構成する。With respect to the first area, an interpolation frame is formed by an average value of the pixel value of the area and the pixel value corresponding to the first area in the reference block defined by the first motion vector.
【００２３】一方、第２の領域については、その領域を
構成する画素の分布状態と前記第１の動きベクトルの方
向との関係を算出し、復号対象フレームにおける遮蔽・
出現を判定する。On the other hand, for the second region, the relationship between the distribution state of the pixels constituting the region and the direction of the first motion vector is calculated, and the relationship between the distribution and the direction of the first motion vector is calculated.
Determine appearance.
【００２４】これにより復号対象ブロック上あるいは前
記第１の動きベクトルで定められる参照ブロック上の対
応する領域のどちらか一方を基準領域とし、また基準領
域が属するフレームとは異なるフレームを再探索参照フ
レームとする。As a result, one of the corresponding area on the decoding target block or the reference block defined by the first motion vector is set as a reference area, and a frame different from the frame to which the reference area belongs is referred to as a re-search reference frame. And
【００２５】次いで基準領域と再探索参照フレームの間
で動き検出を行って第２の動きベクトルを求め、補間フ
レーム上の第２の領域に対して、第２の動きベクトルを
１／２の大きさにスケーリングされたベクトルによって
定まる再探索参照フレーム上の画素値をコピーする。Next, motion detection is performed between the reference area and the re-search reference frame to obtain a second motion vector, and the second motion vector is reduced to a half of the second area on the interpolation frame. The pixel value on the re-search reference frame determined by the scaled vector is copied.
【００２６】図１に本発明の方法を実施するためのブロ
ック構成の一実施形態例を示すとともに、本発明の方法
の一実施形態例をより詳細に説明する。なお、図２
（ａ）および（ｂ）は、それぞれ図１中の第１の補間値
演算部、第２の補間値演算部の内部ブロック構成を示し
ている。FIG. 1 shows an embodiment of a block configuration for carrying out the method of the present invention, and an embodiment of the method of the present invention will be described in more detail. Note that FIG.
(A) and (b) show the internal block configuration of the first interpolation value calculation unit and the second interpolation value calculation unit in FIG. 1, respectively.
【００２７】はじめに、符号化側から送信されてきた量
子化された動き補償フレーム間差分値１０１を、逆量子
化部１０３において逆量子化し、動き補償フレーム間差
分値１０４を得る。First, the quantized motion-compensated inter-frame difference value 101 transmitted from the encoding side is inversely quantized by an inverse quantization unit 103 to obtain a motion-compensated inter-frame difference value 104.
【００２８】また、動き補償部１０８では、符号化側か
ら伝送された第１の動きベクトル１０２を用いて、フレ
ームメモリ１１１に蓄えられた参照画像１０９上の参照
画像ブロック１０６を求め、加算部１０５において動き
補償フレーム間差分値１０４との和を計算して復号画像
ブロック１０７を得る。Further, the motion compensating unit 108 obtains a reference image block 106 on the reference image 109 stored in the frame memory 111 using the first motion vector 102 transmitted from the encoding side. , The sum with the motion compensation inter-frame difference value 104 is calculated to obtain a decoded image block 107.
【００２９】一方、補間画像ブロックについては、次の
ような処理を行う。On the other hand, the following processing is performed on the interpolated image block.
【００３０】まず、領域分割部１１０において動き補償
フレーム間差分値１０４の絶対値を、ある定められた閾
値と画素ごとに比較し、絶対値が閾値よりも小さい第１
の領域Ｒ1（１１４）と大きい第２の領域Ｒ2（１１５）
とに分割する。First, the area dividing unit 110 compares the absolute value of the motion compensation inter-frame difference value 104 with a predetermined threshold value for each pixel, and determines the first value whose absolute value is smaller than the threshold value.
Region R 1 (114) and the large second region R 2 (115)
And split into
【００３１】次に、第１の補間値演算部１１６では、平
均値演算部１２２において、復号画像ブロック１０７と
参照画像ブロック１０６との領域Ｒ1に対応する画素値
を抽出し、これらの平均値１１８を計算する。平均値１
１８は、ベクトルスケーリング部１１２で１／２の大き
さにスケーリングされた第１の動きベクトル１１３によ
って示される、補間画像フレームメモリ１２０上のアド
レスに格納される。Next, in the first interpolation value calculation section 116, the average calculator 122 extracts the pixel values corresponding to the region R 1 of the reference image block 106 and the decoded image block 107, the average value thereof Calculate 118. Average value 1
Numeral 18 is stored at an address on the interpolated image frame memory 120 indicated by the first motion vector 113 scaled to half the size by the vector scaling unit 112.
【００３２】また、第２の補間値演算部１１７では、遮
蔽・出現判定部１２３において、第１の動きベクトル１
０２（図１、図２（ｂ）中の矢示Ａ）と復号対象小ブロ
ック内の領域Ｒ2の分布状態との関係により、領域Ｒ2の
復号対象フレームにおける遮蔽・出現関係１２４を判定
する。この関係１２４により、スイッチ１２５を切り替
え、基準領域抽出部１２６は復号対象フレーム１０７上
あるいは参照フレーム１０９（図１中の矢示Ｂ）上の領
域Ｒ2に対応する領域のどちらか一方を動き補償の基準
領域とし、基準領域が属するフレームとは異なるフレー
ムを再探索参照フレーム１３２とする。表１に判定結果
と基準領域および再探索フレームの組み合わせを示す。In the second interpolation value calculation section 117, the occlusion / appearance determination section 123 outputs the first motion vector 1
02 The relationship between the distribution region R 2 of the decoded sub-block (FIG. 1, arrow A in FIG. 2 (b)), determines the shielding-occurrence relationships 124 in the decoding target frame region R 2 . This relationship 124 switches the switch 125, the reference region extraction section 126 either the motion compensation of the region corresponding to the region R 2 on the decoding target frame 107 on or reference frame 109 (arrow B in FIG. 1) , And a frame different from the frame to which the reference region belongs is set as the re-search reference frame 132. Table 1 shows combinations of the determination result, the reference area, and the re-search frame.
【００３３】[0033]
【表１】 [Table 1]
【００３４】上記の組み合わせに従って、第２の補間値
演算部１１７では、第２の動きベクトル抽出部１２８に
おいて、基準領域となるフレーム上の領域Ｒ2（１２
７）に関して再探索フレーム１３２上で動き検出を行っ
て第２の動きベクトル１２９を算出する。In accordance with the above combination, in the second interpolation value calculation section 117, the second motion vector extraction section 128 causes the region R 2 (12
Regarding (7), a motion is detected on the re-search frame 132 to calculate a second motion vector 129.
【００３５】続いて、第２の補間値演算部１１７では、
領域抽出部１３３において、ベクトルスケーリング部１
３０で１／２の大きさにスケーリングされた第２の動き
ベクトル１３１と、ベクトルスケーリング部１１２で１
／２の大きさにスケーリングされた第１の動きベクトル
１１３（図１、図２（ｂ）中の矢示Ｃ）とによって示さ
れる再探索参照フレーム１３２上の、補間ブロックの領
域Ｒ2に対応する領域を抽出する。Subsequently, in the second interpolation value calculation section 117,
In the region extraction unit 133, the vector scaling unit 1
A second motion vector 131 scaled to a size of 、 by 30 and a second motion vector 131 by a vector scaling unit 112.
/ 2, corresponding to the region R 2 of the interpolated block on the re-search reference frame 132 indicated by the first motion vector 113 (arrow C in FIGS. 1 and 2 (b)). Region to be extracted.
【００３６】続いて、抽出された領域の画素値１１９
を、ベクトルスケーリング部１１２で１／２の大きさに
スケーリングされた第１の動きベクトル１１３によって
示される補間画像フレームメモリ１２０上のアドレスに
格納する。Subsequently, the pixel value 119 of the extracted area
Is stored at the address on the interpolated image frame memory 120 indicated by the first motion vector 113 scaled to half the size by the vector scaling unit 112.
【００３７】図３に上記実施形態例における具体的な処
理例を示す。本例は、右に動く背景の上に、左へ動く物
体が重なってくる場合を示している。Ａ（ｉ，ｊ）は復
号対象ブロック、Ｂ（ｉ＋ｘ，ｊ＋ｙ）は参照ブロッ
ク、Ｃは補間されるべきブロックである。（ｘ，ｙ）≡
ｖ1は第１の動きベクトルを示しており、本例ではｘ＝
４，ｙ＝０とする。このとき、動き補償予測誤差値はブ
ロックＥのようにＥ（ｉ，ｊ）＝Ａ（ｉ，ｊ）−Ｂ（ｉ
＋ｘ，ｊ＋ｙ）である。Ｅ（ｉ，ｊ）は符号化側から伝
送されてくるので、再計算する必要は無い。Ｅ（ｉ，
ｊ）の絶対値を閾値Ｔ＝１０で閾値処理すると、閾値よ
り小さい画素値で構成される領域Ｒ1（ブロック右下側
の黒領域）と、大きい画素値で構成される領域Ｒ2（ブ
ロック左上側の白領域）に分割できる。FIG. 3 shows a specific processing example in the above embodiment. This example shows a case where an object moving to the left overlaps a background moving to the right. A (i, j) is a block to be decoded, B (i + x, j + y) is a reference block, and C is a block to be interpolated. (X, y) ≡
v 1 indicates the first motion vector, and in this example, x =
4, y = 0. At this time, the motion compensation prediction error value is E (i, j) = A (i, j) -B (i
+ X, j + y). Since E (i, j) is transmitted from the encoding side, there is no need to recalculate. E (i,
When the absolute value of j) is subjected to threshold processing at a threshold T = 10, a region R 1 (a black region on the lower right side of the block) composed of pixel values smaller than the threshold and a region R 2 (a block composed of large pixel values) (Upper left white area).
【００３８】まず、補間ブロックＣ上のＲ1に対応する
画素については対応するブロックＡとＢの領域Ｒ1の平
均値を取ることで求められる。すなわちＣ（ｉ＋ｘ／
２，ｊ＋ｙ／２）＝（１／２）｛Ａ（ｉ，ｊ）＋Ｂ（ｉ
＋ｘ，ｊ＋ｙ）｝である。First, the pixel corresponding to R 1 on the interpolation block C is obtained by taking the average value of the area R 1 of the corresponding blocks A and B. That is, C (i + x /
2, j + y / 2) = (1/2) ｛A (i, j) + B (i
+ X, j + y)}.
【００３９】一方、領域Ｒ2については第１の動きベク
トルをｖ1とし、以下の処理を行う。領域Ｒ2を構成する
Ｋ個の画素位置をブロックの中心を原点としてベクトル
表現したものをベクトルｕk（ｋ＝１，２，…，Ｋ）と
すれば、 ｃｏｕｎｔｅｒ＝０，（小ブロックごとに０で初期化） すべてのｋに対して ｃｏｕｎｔｅｒ←ｃｏｕｎｔｅｒ＋１ ｉｆ（ｖ1，
ｕk）＞０ ｃｏｕｎｔｅｒ←ｃｏｕｎｔｅｒ−１ ｉｆ（ｖ1，
ｕk）＜０ ｃｏｕｎｔｅｒ＞０ならば出現、ｃｏｕｎｔｅｒ＜０な
らば遮蔽 ここで（ｖ，ｕ）はベクトルｖ，ｕの内積である。本例
の場合、Ｒ2を構成する画素のベクトル表現は、ｕ1＝
（−２，１），ｕ2＝（−１，１），ｕ3＝（−２，
０），ｕ4＝（−１，０），ｕ5＝（−２，−１）となる
ので、 （ｖ1，ｕ1）＝（４，０）・（−２，１）＝−８＜０， （ｖ1，ｕ2）＝（４，０）・（−１，１）＝−４＜０， （ｖ1，ｕ3）＝（４，０）・（−２，０）＝−８＜０， （ｖ1，ｕ4）＝（４，０）・（−１，０）＝−４＜０， （ｖ1，ｕ5）＝（４，０）・（−２，−１）＝−８＜０ となり、ｃｏｕｎｔｅｒ＝−５＜０なので、領域Ｒ2は
遮蔽と判定される。表１から基準領域となるフレームは
復号対象フレーム、再探索参照フレームは参照フレーム
となる。復号対象フレーム中の領域Ｒ2に関して参照フ
レーム上で再動き検出を行った結果、第２の動きベクト
ルｖ2が図３のようにｖ2＝（ｐ，ｑ）と求められたとす
れば、補間ブロックＣ上のＲ2に対応する領域から、ｖ2
の半分の大きさだけ動き補償を行った参照フレーム上の
対応する領域Ｒ2の画素値が領域Ｒ2にコピーされる。す
なわちＣ（ｉ＋ｘ／２，ｊ＋ｙ／２）＝Ｂ（ｉ＋ｘ／２
＋ｐ／２，ｊ＋ｙ／２＋ｑ／２）となる。On the other hand, for the region R 2 , the first motion vector is set to v 1 and the following processing is performed. If a vector u k (k = 1, 2,..., K) is a vector representation of the K pixel positions forming the region R 2 with the center of the block as the origin, counter = 0, (for each small block (Initialized with 0) counter ← counter + 1 if (v 1 ,
u k )> 0 counter ← counter−1 if (v 1 ,
u k ) <0 counter> appears if counter> 0, blocks if counter <0 where (v, u) is the inner product of vectors v, u. In the case of this example, the vector expression of the pixels constituting R 2 is expressed as u 1 =
(−2, 1), u 2 = (− 1, 1), u 3 = (− 2,
0), u 4 = (− 1,0) and u 5 = (− 2, −1), so that (v 1 , u 1 ) = (4,0) · (−2,1) = − 8 <0, (v 1 , u 2 ) = (4,0) · (−1,1) = − 4 <0, (v 1 , u 3 ) = (4,0) · (−2,0) = −8 <0, (v 1 , u 4 ) = (4,0) · (−1,0) = − 4 <0, (v 1 , u 5 ) = (4,0) · (−2, − 1) = - 8 <0, since counter = -5 <0, the region R 2 is judged to shielding. From Table 1, the frame serving as the reference area is the decoding target frame, and the re-search reference frame is the reference frame. Assuming that the second motion vector v 2 is obtained as v 2 = (p, q) as shown in FIG. 3 as a result of performing the re-motion detection on the reference frame for the region R 2 in the decoding target frame, From the area corresponding to R 2 on block C, v 2
Pixel values of the corresponding region R 2 of the upper half of the reference frame of performing motion compensation by the size of are copied to the region R 2. That is, C (i + x / 2, j + y / 2) = B (i + x / 2)
+ P / 2, j + y / 2 + q / 2).
【００４０】なお、本例では補間フレームが２枚の復号
フレームに対して時間的に中央にある場合を想定した
が、補間フレームが２枚の復号フレーム中の、任意の時
間的位置にある場合については、ベクトルのスケーリン
グ値を変更することによって、容易に実現できる。In this example, it is assumed that the interpolated frame is temporally centered with respect to the two decoded frames. However, the interpolated frame is located at an arbitrary time position in the two decoded frames. Can be easily realized by changing the scaling value of the vector.
【００４１】また、図１、図２で示したブロックの一部
もしくは全部を、コンピュータを用いて機能させること
ができること、あるいは、図１、図２、図３により説明
した処理の段階をコンピュータで実行させることができ
ることは言うまでもなく、コンピュータをその手段とし
て機能させるためのプログラム、あるいは、コンピュー
タでその処理の段階を実行させるためのプログラムを、
そのコンピュータが読み取り可能な記録媒体、例えば、
ＦＤ（フロッピーディスク）や、ＭＯ、ＲＯＭ、メモリ
カード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記
録して提供し、配布することが可能である。Further, some or all of the blocks shown in FIGS. 1 and 2 can be made to function using a computer, or the processing steps described with reference to FIGS. 1, 2 and 3 can be performed by a computer. Needless to say, a program for causing a computer to function as that means, or a program for causing a computer to execute the processing steps,
The computer-readable recording medium, for example,
It can be recorded on an FD (floppy disk), MO, ROM, memory card, CD, DVD, removable disk, etc., provided, and distributed.
【００４２】[0042]
【発明の効果】以上述べたような本発明の方法および装
置によれば、小ブロック単位よりも細かく補間のモード
が設定できるため、オクルージョンが発生して物体間に
重なりがあるような場合でも、精度良くフレーム補間す
ることが可能となる。According to the method and apparatus of the present invention as described above, since the interpolation mode can be set more finely than in the small block unit, even if occlusion occurs and there is an overlap between objects, Frame interpolation can be performed with high accuracy.
【図１】本発明を実施するためのブロック構成の一実施
形態例を示すとともに、本発明による方法の一実施形態
例を説明するためのブロック図である。FIG. 1 is a block diagram showing an embodiment of a block configuration for carrying out the present invention and explaining an embodiment of a method according to the present invention.
【図２】（ａ）は上記ブロック図における第１の補間値
演算部を、（ｂ）は同じく第２の補間値演算部を説明す
るブロック図である。FIG. 2A is a block diagram illustrating a first interpolation value calculator in the block diagram, and FIG. 2B is a block diagram illustrating a second interpolation value calculator in the same block diagram.
【図３】上記実施形態例における具体的な処理例を示す
図である。FIG. 3 is a diagram showing a specific processing example in the embodiment.
【図４】動き補償予測符号化を用いたフレーム補間方法
の概念図である。FIG. 4 is a conceptual diagram of a frame interpolation method using motion compensated prediction coding.
【図５】従来のフレーム補間方法を実装した画像符号化
・復号装置のブロック図である。FIG. 5 is a block diagram of an image encoding / decoding device implementing a conventional frame interpolation method.
【図６】従来のフレーム補間方法の問題点を示す図であ
る。FIG. 6 is a diagram showing a problem of a conventional frame interpolation method.
１０１…量子化された動き補償フレーム間差分値 １０２…第１の動きベクトル １０３…逆量子化部 １０４…動き補償フレーム間差分値 １０５…加算部 １０６…参照画像ブロック １０７…復号画像ブロック １０８…動き補償部 １０９…参照画像 １１０…領域分割部 １１１…フレームメモリ １１２…ベクトルスケーリング部 １１３…スケーリングされた第１の動きベクトル １１４…領域Ｒ1 １１５…領域Ｒ2 １１６…第１の補間値演算部 １１７…第２の補間値演算部 １１８…画素値の平均値 １１９…抽出された領域の画素値 １２０…補間画像フレームメモリ １２１…補間画像ブロック １２２…平均値演算部 １２３…遮蔽・出現判定部 １２４…遮蔽・出現関係 １２５…スイッチ １２６…基準領域抽出部 １２７…基準領域 １２８…第２の動きベクトル抽出部 １２９…第２の動きベクトル １３０…ベクトルスケーリング部 １３１…スケーリングされた第２の動きベクトル １３２…再探索フレーム １３３…領域抽出部101: quantized motion-compensated inter-frame difference value 102: first motion vector 103: inverse quantizer 104: motion-compensated inter-frame difference value 105: adder 106: reference image block 107: decoded image block 108: motion Compensation unit 109 Reference image 110 Region division unit 111 Frame memory 112 Vector scaling unit 113 Scaled first motion vector 114 Region R 1 115 Region R 2 116 First interpolation value calculation unit 117 ... second interpolation value calculation unit 118 ... average value of pixel values 119 ... pixel value of extracted area 120 ... interpolation image frame memory 121 ... interpolation image block 122 ... average value calculation unit 123 ... shield / appearance determination unit 124 ... Shielding / appearance relationship 125 ... Switch 126 ... Reference area extraction unit 127 ... Reference area 128 ... No. 2 motion vector extraction unit 129 second motion vector 130 vector scaling unit 131 scaled second motion vector 132 re-search frame 133 area extraction unit
───────────────────────────────────────────────────── フロントページの続き (72)発明者 八島 由幸 東京都新宿区西新宿３丁目19番２号 日本 電信電話株式会社内 Ｆターム(参考） 5C053 FA27 GB19 GB29 GB32 HA33 KA04 KA05 LA11 LA15 5C059 KK01 LB07 LB13 MA05 MD02 NN02 NN28 PP04 RB02 RC16 SS20 TA09 TB08 TC03 TD12 UA02 UA05 UA33 UA38 UA39 ────────────────────────────────────────────────── ─── Continued on the front page (72) Inventor Yoshiyuki Yajima 3-19-2 Nishi-Shinjuku, Shinjuku-ku, Tokyo F-Term within Nippon Telegraph and Telephone Corporation (reference) 5C053 FA27 GB19 GB29 GB32 HA33 KA04 KA05 LA11 LA15 5C059 KK01 LB07 LB13 MA05 MD02 NN02 NN28 PP04 RB02 RC16 SS20 TA09 TB08 TC03 TD12 UA02 UA05 UA33 UA38 UA39
Claims (3)
フレームと非符号化フレームとに分割し、該符号化対象
フレームの画像データを小ブロックに分割し、該分割さ
れた符号化対象小ブロックに対して、フレームメモリに
蓄えられている符号化・復号済みの参照フレームから第
１の動きベクトルを求め、該第１の動きベクトルにより
定まる参照ブロックと現フレームの符号化対象小ブロッ
クとの動き補償フレーム間差分値を算出して、該第１の
動きベクトルとともに符号化して伝送・記録し、 復号時には、復号対象小ブロックに対して、前記伝送・
記録された第１の動きベクトルにより定まるフレームメ
モリ中の参照ブロックと、前記動き補償フレーム間差分
値とを加算することにより復号フレームを構成し、さら
に非符号化フレームを該復号フレームの値および該第１
の動きベクトルを用いて算出される補間ブロックによっ
て補間フレームとして構成する画像符号化および復号方
法において、 補間フレームにおける補間ブロックの画素値を定める際
に、復号対象小ブロックの動き補償フレーム間差分絶対
値を、画素ごとに、定められた閾値と比較し、該フレー
ム間差分絶対値が閾値よりも小さい画素から構成される
第１の領域と、該フレーム間差分絶対値が閾値よりも大
きい画素から構成される第２の領域に分割する段階と、 該第１の領域については、その領域の画素値と前記第１
の動きベクトルで定められる参照ブロック中の第１の領
域に対応する画素値との重みつき平均値で補間フレーム
を構成する段階と、 該第２の領域については、その領域を構成する画素の分
布状態と前記第１の動きベクトルの方向との関係を算出
する段階と、 該算出された関係により復号対象ブロック上あるいは前
記第１の動きベクトルで定められる参照ブロック上の対
応する領域のどちらか一方を基準領域とし、該基準領域
が属するフレームとは異なるフレームを再探索参照フレ
ームとする段階と、 該基準領域と該再探索参照フレームの間で動き検出を行
って第２の動きベクトルを求める段階と、 補間ブロック中の第２の領域に対し、該第２の動きベク
トルを実数倍することによって定まる再探索参照フレー
ム上の画素値をコピーして補間フレームを構成する段階
とを、 有することを特徴とするフレーム補間方法。When encoding a digital video signal, a frame constituting the video is divided into an encoding target frame and a non-coding frame, and the image data of the encoding target frame is divided into small blocks. For the divided small block to be encoded, a first motion vector is obtained from the encoded and decoded reference frame stored in the frame memory, and a reference block determined by the first motion vector is obtained. And a motion compensation inter-frame difference value between the current block and the current block to be coded, and coded together with the first motion vector for transmission / recording.・
A decoded frame is constructed by adding the reference block in the frame memory determined by the recorded first motion vector and the motion-compensated inter-frame difference value. First
In the image encoding and decoding method of forming an interpolation frame by an interpolation block calculated using the motion vector of the motion vector, when determining the pixel value of the interpolation block in the interpolation frame, the motion compensation frame difference absolute value of the small block to be decoded is determined. Is compared with a predetermined threshold value for each pixel, and a first area composed of pixels whose absolute value of the inter-frame difference is smaller than the threshold value, and a first area composed of pixels whose absolute value of the inter-frame difference is larger than the threshold value Dividing the first region into pixel values of the first region and the pixel values of the first region.
Constructing an interpolated frame with a weighted average of pixel values corresponding to a first region in a reference block defined by the motion vector of the reference block; and, for the second region, a distribution of pixels constituting the region. Calculating a relationship between a state and the direction of the first motion vector; and either the corresponding area on the decoding target block or on the reference block defined by the first motion vector based on the calculated relationship. As a reference region, and a frame different from the frame to which the reference region belongs as a re-search reference frame; and performing a motion detection between the reference region and the re-search reference frame to obtain a second motion vector. And, for a second area in the interpolation block, copy and interpolate pixel values on a re-search reference frame determined by multiplying the second motion vector by a real number. Constructing a frame.
フレームと非符号化フレームとに分割し、該符号化対象
フレームの画像データを小ブロックに分割し、該分割さ
れた符号化対象小ブロックに対して、フレームメモリに
蓄えられている符号化・復号済みの参照フレームから第
１の動きベクトルを求め、該第１の動きベクトルにより
定まる参照ブロックと現フレームの符号化対象小ブロッ
クとの動き補償フレーム間差分値を算出して、該第１の
動きベクトルとともに符号化して伝送・記録し、 復号時には、復号対象小ブロックに対して、前記伝送・
記録された第１の動きベクトルにより定まるフレームメ
モリ中の参照ブロックと、前記動き補償フレーム間差分
値とを加算することにより復号フレームを構成し、さら
に非符号化フレームを該復号フレームの値および該第１
の動きベクトルを用いて算出される補間ブロックによっ
て補間フレームとして構成する画像符号化および復号装
置において、 補間フレームにおける補間ブロックの画素値を定める際
に、復号対象小ブロックの動き補償フレーム間差分絶対
値を、画素ごとに、定められた閾値と比較し、該フレー
ム間差分絶対値が閾値よりも小さい画素から構成される
第１の領域と、該フレーム間差分絶対値が閾値よりも大
きい画素から構成される第２の領域に分割する領域分割
手段と、 該第１の領域については、その領域の画素値と前記第１
の動きベクトルで定められる参照ブロック中の第１の領
域に対応する画素値との重みつき平均値で補間フレーム
を構成する補間値演算手段と、 該第２の領域については、その領域を構成する画素の分
布状態と前記第１の動きベクトルの方向との関係を算出
する遮蔽・出現判定手段と、 該算出された関係により復号対象ブロック上あるいは前
記第１の動きベクトルで定められる参照ブロック上の対
応する領域のどちらか一方を基準領域とし、該基準領域
が属するフレームとは異なるフレームを再探索参照フレ
ームとする基準領域抽出手段と、 該基準領域と該再探索参照フレームの間で動き検出を行
って第２の動きベクトルを求める第２の動きベクトル抽
出手段と、 補間ブロック中の第２の領域に対し、該第２の動きベク
トルを実数倍することによって定まる該再探索参照フレ
ーム上の画素値をコピーして補間フレームを構成する領
域抽出手段とを、 備えることを特徴とするフレーム補間方法。2. Encoding a digital moving image signal, when encoding, divides a frame constituting the moving image into an encoding target frame and a non-encoding frame, and converts the image data of the encoding target frame into small blocks. For the divided small block to be encoded, a first motion vector is obtained from the encoded and decoded reference frame stored in the frame memory, and a reference block determined by the first motion vector is obtained. And a motion compensation inter-frame difference value between the current block and the current block to be coded, and coded together with the first motion vector for transmission / recording.・
A decoded frame is constructed by adding the reference block in the frame memory determined by the recorded first motion vector and the motion-compensated inter-frame difference value. First
In an image encoding and decoding apparatus configured as an interpolated frame by an interpolated block calculated by using the motion vector of Is compared with a predetermined threshold value for each pixel, and a first area composed of pixels whose absolute value of the inter-frame difference is smaller than the threshold value, and a first area composed of pixels whose absolute value of the inter-frame difference is larger than the threshold value Region dividing means for dividing into a second region to be processed, and for the first region, a pixel value of the region and the first region
Interpolation value calculating means for forming an interpolated frame by a weighted average value with a pixel value corresponding to a first area in a reference block defined by a motion vector, and for the second area, the area is formed. Occlusion / appearance determination means for calculating the relationship between the distribution state of pixels and the direction of the first motion vector; and on the block to be decoded or on the reference block determined by the first motion vector based on the calculated relationship. A reference region extracting means for setting one of the corresponding regions as a reference region and a frame different from the frame to which the reference region belongs as a re-search reference frame; and detecting a motion between the reference region and the re-search reference frame. A second motion vector extracting means for performing a second motion vector to obtain a second motion vector; and multiplying the second motion vector by a real number for a second region in the interpolation block. And a region extracting means for forming an interpolated frame by copying pixel values on the re-search reference frame determined by the above method.
る段階をコンピュータに実行させるためのプログラム
を、該コンピュータが読み取り可能な記録媒体に記録し
たことを特徴とするフレーム補間方法を記録した記録媒
体。3. A recording medium recording a frame interpolation method, wherein a program for causing a computer to execute the steps in the frame interpolation method according to claim 1 is recorded on a recording medium readable by the computer.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1928799A JP2000224593A (en) | 1999-01-28 | 1999-01-28 | Method and device for interpolating frame and recording medium recording the method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1928799A JP2000224593A (en) | 1999-01-28 | 1999-01-28 | Method and device for interpolating frame and recording medium recording the method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2000224593A true JP2000224593A (en) | 2000-08-11 |
Family
ID=11995242
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP1928799A Pending JP2000224593A (en) | 1999-01-28 | 1999-01-28 | Method and device for interpolating frame and recording medium recording the method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2000224593A (en) |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005006275A (en) * | 2002-11-22 | 2005-01-06 | Matsushita Electric Ind Co Ltd | Device, method, and program for generating interpolation frame |
| JP2005260928A (en) * | 2004-02-13 | 2005-09-22 | Sony Corp | Image processing apparatus, image processing method and program |
| US6975681B2 (en) | 2001-05-08 | 2005-12-13 | Nec Corporation | Method and apparatus for coding moving pictures |
| JP2006515977A (en) * | 2003-01-29 | 2006-06-08 | ソニー インターナショナル （ヨーロッパ） ゲゼルシャフト ミット ベシュレンクテル ハフツング | Video signal processing system |
| KR100604394B1 (en) * | 2003-03-28 | 2006-07-25 | 가부시끼가이샤 도시바 | A frame interpolation method, apparatus and image display system using the same |
| US7098959B2 (en) | 2002-09-10 | 2006-08-29 | Kabushiki Kaisha Toshiba | Frame interpolation and apparatus using frame interpolation |
| KR100759617B1 (en) | 2002-09-12 | 2007-09-17 | 가부시끼가이샤 도시바 | Method of searching for motion vector, method of generating frame interpolation image and display system |
| US7343044B2 (en) | 2004-01-15 | 2008-03-11 | Kabushiki Kaisha Toshiba | Interpolation image generating method and apparatus |
| US7375762B2 (en) | 2003-05-30 | 2008-05-20 | Kabushiki Kaisha Toshiba | Frame interpolation method and apparatus, and image display system |
| US7412114B2 (en) | 2003-03-25 | 2008-08-12 | Kabushiki Kaisha Toshiba | Method of generating an interpolation image, an interpolation image generating apparatus, and an image display system using the same |
| JP2009159357A (en) * | 2007-12-27 | 2009-07-16 | Sony Corp | Imaging apparatus |
| JP2009545222A (en) * | 2006-07-21 | 2009-12-17 | スネル リミテッド | Picture attribute assignment |
| US7899122B2 (en) | 2005-03-31 | 2011-03-01 | Kabushiki Kaisha Toshiba | Method, apparatus and computer program product for generating interpolation frame |
| JP2012010381A (en) * | 2005-09-27 | 2012-01-12 | Qualcomm Inc | Frame interpolation using more accurate motion information |
| US8139152B2 (en) | 2004-02-13 | 2012-03-20 | Sony Corporation | Image processing apparatus, image processing method and program |
| US8189670B2 (en) | 2002-11-22 | 2012-05-29 | Panasonic Corporation | Device, method and program for generating interpolation frame |
| JP2013165483A (en) * | 2012-01-11 | 2013-08-22 | Panasonic Corp | Image processing apparatus, image capturing apparatus, and computer program |
| CN114554248A (en) * | 2022-04-27 | 2022-05-27 | 杭州微帧信息科技有限公司 | Video frame interpolation method based on neural network |
-
1999
- 1999-01-28 JP JP1928799A patent/JP2000224593A/en active Pending
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6975681B2 (en) | 2001-05-08 | 2005-12-13 | Nec Corporation | Method and apparatus for coding moving pictures |
| US7098959B2 (en) | 2002-09-10 | 2006-08-29 | Kabushiki Kaisha Toshiba | Frame interpolation and apparatus using frame interpolation |
| US7561621B2 (en) | 2002-09-12 | 2009-07-14 | Kabushiki Kaisha Toshiba | Method of searching for motion vector, method of generating frame interpolation image and display system |
| US8483278B2 (en) | 2002-09-12 | 2013-07-09 | Kabushiki Kaisha Toshiba | Method of searching for motion vector, method of generating frame interpolation image and display system |
| KR100759617B1 (en) | 2002-09-12 | 2007-09-17 | 가부시끼가이샤 도시바 | Method of searching for motion vector, method of generating frame interpolation image and display system |
| JP2005006275A (en) * | 2002-11-22 | 2005-01-06 | Matsushita Electric Ind Co Ltd | Device, method, and program for generating interpolation frame |
| US8189670B2 (en) | 2002-11-22 | 2012-05-29 | Panasonic Corporation | Device, method and program for generating interpolation frame |
| JP2006515977A (en) * | 2003-01-29 | 2006-06-08 | ソニー インターナショナル （ヨーロッパ） ゲゼルシャフト ミット ベシュレンクテル ハフツング | Video signal processing system |
| US7412114B2 (en) | 2003-03-25 | 2008-08-12 | Kabushiki Kaisha Toshiba | Method of generating an interpolation image, an interpolation image generating apparatus, and an image display system using the same |
| KR100604394B1 (en) * | 2003-03-28 | 2006-07-25 | 가부시끼가이샤 도시바 | A frame interpolation method, apparatus and image display system using the same |
| US7375762B2 (en) | 2003-05-30 | 2008-05-20 | Kabushiki Kaisha Toshiba | Frame interpolation method and apparatus, and image display system |
| US7697769B2 (en) | 2004-01-15 | 2010-04-13 | Kabushiki Kaisha Toshiba | Interpolation image generating method and apparatus |
| US7343044B2 (en) | 2004-01-15 | 2008-03-11 | Kabushiki Kaisha Toshiba | Interpolation image generating method and apparatus |
| JP4656391B2 (en) * | 2004-02-13 | 2011-03-23 | ソニー株式会社 | Image processing apparatus, image processing method, and program |
| US8139152B2 (en) | 2004-02-13 | 2012-03-20 | Sony Corporation | Image processing apparatus, image processing method and program |
| JP2005260928A (en) * | 2004-02-13 | 2005-09-22 | Sony Corp | Image processing apparatus, image processing method and program |
| US7899122B2 (en) | 2005-03-31 | 2011-03-01 | Kabushiki Kaisha Toshiba | Method, apparatus and computer program product for generating interpolation frame |
| JP2012010381A (en) * | 2005-09-27 | 2012-01-12 | Qualcomm Inc | Frame interpolation using more accurate motion information |
| JP2009545222A (en) * | 2006-07-21 | 2009-12-17 | スネル リミテッド | Picture attribute assignment |
| US8462170B2 (en) | 2006-07-21 | 2013-06-11 | Snell Limited | Picture attribute allocation |
| JP2009159357A (en) * | 2007-12-27 | 2009-07-16 | Sony Corp | Imaging apparatus |
| JP2013165483A (en) * | 2012-01-11 | 2013-08-22 | Panasonic Corp | Image processing apparatus, image capturing apparatus, and computer program |
| CN114554248A (en) * | 2022-04-27 | 2022-05-27 | 杭州微帧信息科技有限公司 | Video frame interpolation method based on neural network |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110809887B (en) | Method and apparatus for motion vector modification for multi-reference prediction | |
| CA2452632C (en) | Method for sub-pixel value interpolation | |
| EP3389276B1 (en) | Hash-based encoder decisions for video coding | |
| US11070834B2 (en) | Low-complexity method for generating synthetic reference frames in video coding | |
| CN112470474A (en) | History-based affine merging and motion vector prediction | |
| JP2000224593A (en) | Method and device for interpolating frame and recording medium recording the method | |
| JP2005318620A (en) | Motion vector detection employing adaptive temporal prediction | |
| JP5216710B2 (en) | Decryption processing method | |
| JP2003532309A6 (en) | Adaptive motion vector field coding | |
| JPH1155672A (en) | Dynamic image coder, dynamic image decoder, dynamic image coding method and dynamic image decoding method | |
| TW201230820A (en) | Predictive image coding device, predictive image coding method, predictive image coding program, predictive image decoding device, predictive image decoding method, and predictive image decoding program | |
| JP2008219876A (en) | Moving image encoding device, moving image encoding method and moving image decoding device | |
| JP2005318297A (en) | Method and device for encoding/decoding dynamic image | |
| JP4552261B2 (en) | Digital information conversion apparatus and method, and image information conversion apparatus and method | |
| JP2017225199A (en) | Video encoding device and video encoding program | |
| KR20210094664A (en) | Side-motion refinement in video encoding/decoding systems | |
| JP3175914B2 (en) | Image encoding method and image encoding device | |
| JP2001224036A (en) | Moving picture coder | |
| JP6311085B1 (en) | Image decoding apparatus and image decoding method | |
| JP2019201388A (en) | Information processing unit, information processing method, and program | |
| JPH0879759A (en) | Image coder and image decoder | |
| JPH11122619A (en) | Moving image coding and decoding method | |
| JP2888152B2 (en) | Video coding device using warping motion compensation | |
| KR102245740B1 (en) | Method and Device of Zoom Motion Estimation for Depth Video | |
| JP6311086B1 (en) | Image decoding apparatus and image decoding method |