JP2013098961A - Image processing apparatus and method, and picture display apparatus and method - Google Patents
Image processing apparatus and method, and picture display apparatus and method Download PDFInfo
- Publication number
- JP2013098961A JP2013098961A JP2011243198A JP2011243198A JP2013098961A JP 2013098961 A JP2013098961 A JP 2013098961A JP 2011243198 A JP2011243198 A JP 2011243198A JP 2011243198 A JP2011243198 A JP 2011243198A JP 2013098961 A JP2013098961 A JP 2013098961A
- Authority
- JP
- Japan
- Prior art keywords
- data
- frame
- reduced
- block
- motion vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Television Systems (AREA)
Abstract
Description
本発明は、画像処理装置及び方法、並びに画像表示装置及び方法に関する。本発明は特に、画像のフレーム間に新たな補間フレームを挿入するフレーム補間処理に関するものである。 The present invention relates to an image processing apparatus and method, and an image display apparatus and method. The present invention particularly relates to a frame interpolation process for inserting a new interpolation frame between frames of an image.
液晶ディスプレイなどのホールド型ディスプレイは、１フレーム期間同じ画像を表示し続けており、画像中の物体が動いた場合に、動く物体に対する人間の目の追従が連続的に移動するのに対して、物体の移動が１フレーム単位の不連続な移動を行っているためにエッジ部分がぼやけて見える問題がある。これに対し、フレームを補間することで表示フレーム数を多くして物体の移動をスムーズにすることが考えられる。 A hold-type display such as a liquid crystal display continues to display the same image for one frame period, and when the object in the image moves, the tracking of the human eye to the moving object moves continuously, There is a problem that the edge portion looks blurry because the object moves discontinuously in units of one frame. On the other hand, it is conceivable to increase the number of display frames by interpolating frames to make the object move smoothly.
また、映画などのフィルム映像がテレビ信号に変換された素材については、両者（フィルム映像とテレビ信号）のフレーム周波数の違いから、２フレーム又は３フレームが同じフレームから作られた画像信号となっており、そのまま表示すると、動きがぼやけたり、動きがギクシャクしたジャダーが発生したりする問題がある。 In addition, for a material in which a film image such as a movie is converted into a TV signal, two or three frames are image signals made from the same frame because of the difference in frame frequency between the two (film image and TV signal). However, if displayed as it is, there is a problem that the motion is blurred or judder with a jerky motion occurs.
また、同様にコンピュータ処理された映像がテレビ信号に変換された素材についても、２フレームが同じフレームから作られた画像信号であり、そのまま表示すると同様にジャダーが発生する問題がある。 Similarly, for a material in which computer-processed video is converted into a television signal, two frames are image signals made from the same frame, and there is a problem that judder occurs similarly when displayed as it is.
従来の画像処理装置及び方法は、補間フレームに対して１フレーム前のフレームと同じ画像で補間する零次ホールド法か、補間フレームに対して１フレーム前の画像と１フレーム後の画像の平均画像で補間する平均値補間法などがあるが、零次ホールド法は、一定方向に動く画像に対して、滑らかな移動をしないので、依然ホールド型ディスプレイのぼやけの問題は解決されない。また、平均値補間法は、動いた画像が２重像になる問題がある。 The conventional image processing apparatus and method are either a zero-order hold method in which interpolation is performed with the same image as the previous frame with respect to the interpolation frame, or an average image of the previous image and the subsequent image with respect to the interpolation frame. However, since the zero-order hold method does not move smoothly with respect to an image moving in a certain direction, the problem of blurring of the hold type display is still not solved. Further, the average value interpolation method has a problem that a moving image becomes a double image.
この改善策として、補間フレームの補間画素に対して点対称の位置にある時間的に前のフレーム上の画素と時間的に後のフレーム上の画素との画素間の相関が最も大きい画素から補間フレームの補間画素を生成するものがある（例えば、特許文献１参照）。この方法では、画素単位での相関検出のため、画像の内容が異なるにも拘らず、画素間の相関が大きいと検出される場合があり、正しく補間フレームが生成できない場合がある。 As an improvement measure, interpolation is performed from the pixel having the highest correlation between the pixels on the temporally previous frame and the temporally subsequent frame that are in point symmetry with respect to the interpolated pixel of the interpolated frame. Some generate interpolated pixels of a frame (see, for example, Patent Document 1). In this method, since correlation is detected in units of pixels, it may be detected that the correlation between pixels is large even though the contents of the image are different, and an interpolation frame may not be generated correctly.
従来のフレーム補間処理は、上記の様に構成されており、動きがぼやけたり、動きがギクシャクしたジャダーが発生したりする問題がある。また、画素単位の相関を検出する方法では、正しく相関検出ができないために正しく補間フレームが生成できず、特に補間するフレーム前後で物体が隠れたり出現したりする場合、補間フレームが著しく乱れるという問題、及びフレーム補間処理は演算量が多い（ハードウェアでは回路規模が大きい）という問題がある。 The conventional frame interpolation process is configured as described above, and there is a problem that motion is blurred or judder with motion is generated. In addition, in the method of detecting the correlation in pixel units, the interpolation frame cannot be generated correctly because the correlation cannot be detected correctly, and particularly when the object is hidden or appears before and after the frame to be interpolated, the interpolation frame is significantly disturbed. In addition, the frame interpolation processing has a problem that the calculation amount is large (the circuit scale is large in hardware).
本発明の画像処理装置は、
画像の現フレームと前記現フレームの１フレーム前のフレームである第１の遅延フレームとの間に補間フレームを挿入する画像処理装置において、
前記第１の遅延フレームのデータ及び前記現フレームの２フレーム前のフレームである第２の遅延フレームのデータを参照して前記第２の遅延フレームから前記第１の遅延フレームへの第１の動きベクトルを算出し、
前記現フレームのデータ及び前記第１の遅延フレームのデータを参照して前記現フレームから前記第１の遅延フレームへの第２の動きベクトルを算出する動きベクトル検出部と、
前記第１の動きベクトルを前記第１の遅延フレームから前記補間フレームへの第３の動きベクトルに変換し、
前記第２の動きベクトルを前記現フレームから前記補間フレームへの第４の動きベクトルに変換する動きベクトル変換部と、
前記第３の動きベクトル、前記第４の動きベクトル、前記第１の遅延フレームのデータ、及び前記現フレームのデータから、前記補間フレームのデータを生成し、前記補間フレームのデータを前記現フレームのデータと前記第１の遅延フレームのデータの間に挿入した画像データを出力する補間フレーム生成部とを有し、
前記動きベクトル検出部は、
前記現フレームを縮小して現縮小フレームを出力し、前記第１の遅延フレームを縮小して第１の縮小遅延フレームを出力し、前記第２の遅延フレームを縮小して第２の縮小遅延フレームを出力する画像縮小部と、
前記補間フレームの補間対象ブロックに対応する、前記第１の縮小遅延フレーム内のブロックを処理対象ブロックとして設定し、
前記第２の縮小遅延フレームの一部をなすブロックのデータ及び前記現縮小フレームの一部をなすブロックのデータの画素ごとの平均値で構成される第１群のテスト補間データと、
前記現フレームの一部をなすブロックのデータで構成される第２群のテスト補間データと、
前記第２の縮小遅延フレームのブロックデータ構成される第３群のテスト補間データと
を含む複数のテスト補間データを出力するテスト補間部と、
前記第１乃至第３群のテスト補間データのうち、前記処理対象ブロックのデータに対する前記各テスト補間データの相関の強さを評価し、該評価の結果を示す複数の評価データを出力する補間データ評価部と、
前記複数の評価データのうち最も相関の強いことを示す前記評価データを生じさせた前記テスト補間データに対応する動きベクトルを第１の縮小動きベクトル及び第２の縮小動きベクトルの少なくとも一方として出力する動きベクトル決定部と、
前記第１の縮小動きベクトル及び第２の縮小動きベクトルの少なくとも一方を拡大して前記第１及び第２の動きベクトルの少なくとも一方として出力する動きベクトル拡大部とを有し、
前記第１群のテスト補間データは、複数の前記第２の縮小遅延フレームのブロックのデータ及び複数の前記現縮小フレームのブロックから得られ、
前記第２群のテスト補間データは、複数の前記現縮小フレームのブロックから得られ、
前記第３群のテスト補間データは、複数の前記第２の縮小遅延フレームのブロックから得られる
ことを特徴とする。
The image processing apparatus of the present invention
In an image processing apparatus for inserting an interpolation frame between a current frame of an image and a first delay frame which is a frame one frame before the current frame,
The first movement from the second delay frame to the first delay frame with reference to the data of the first delay frame and the data of the second delay frame which is a frame two frames before the current frame Calculate the vector,
A motion vector detection unit that calculates a second motion vector from the current frame to the first delay frame with reference to the data of the current frame and the data of the first delay frame;
Converting the first motion vector into a third motion vector from the first delay frame to the interpolated frame;
A motion vector converter that converts the second motion vector into a fourth motion vector from the current frame to the interpolated frame;
The interpolation frame data is generated from the third motion vector, the fourth motion vector, the first delay frame data, and the current frame data, and the interpolation frame data is converted into the current frame data. An interpolation frame generator for outputting image data inserted between the data and the data of the first delay frame,
The motion vector detection unit
The current frame is reduced to output a current reduced frame, the first delay frame is reduced to output a first reduced delay frame, and the second delay frame is reduced to a second reduced delay frame. An image reduction unit that outputs
A block in the first reduced delay frame corresponding to the interpolation target block of the interpolation frame is set as a processing target block;
A first group of test interpolation data comprising an average value for each pixel of block data forming part of the second reduced delay frame and block data forming part of the current reduced frame;
A second group of test interpolation data composed of block data forming part of the current frame;
A test interpolation unit that outputs a plurality of test interpolation data including a third group of test interpolation data configured of block data of the second reduced delay frame;
Interpolation data that evaluates the strength of correlation of each test interpolation data with respect to the data of the processing target block among the first to third groups of test interpolation data and outputs a plurality of evaluation data indicating the results of the evaluation An evaluation unit;
A motion vector corresponding to the test interpolation data that has generated the evaluation data indicating the strongest correlation among the plurality of evaluation data is output as at least one of the first reduced motion vector and the second reduced motion vector. A motion vector determination unit;
A motion vector enlargement unit that enlarges at least one of the first reduced motion vector and the second reduced motion vector and outputs it as at least one of the first and second motion vectors;
The first group of test interpolation data is obtained from a plurality of blocks of the second reduced delay frame and a plurality of blocks of the current reduced frame;
The second group of test interpolation data is obtained from a plurality of blocks of the current reduced frame;
The third group of test interpolation data is obtained from a plurality of blocks of the second reduced delay frame.
本発明によれば、時間的に連続する３枚のフレームの中心のフレームを最も確からしいものとして、時間的に前のフレーム及び後のフレームから中心のフレームへの動きベクトルを評価することで高精度な動きベクトルを算出することができるため、画像の乱れなく補間フレームを内挿することができる。さらに補間するフレーム前後で物体が隠れたり出現したりする場合でも、画像の乱れなく補間フレームを内挿することができる。また、動きベクトルの検出に縮小画像を用いることで、演算量（回路規模）を削減することができる。 According to the present invention, the center frame of three consecutive frames in time is most likely to be the most probable by evaluating the motion vector from the previous frame and the subsequent frame to the center frame in time. Since an accurate motion vector can be calculated, an interpolation frame can be interpolated without image distortion. Furthermore, even when an object is hidden or appears before and after the interpolated frame, the interpolated frame can be interpolated without image distortion. In addition, by using a reduced image for motion vector detection, the amount of computation (circuit scale) can be reduced.
以下、本発明の実施の形態を図面により説明する。本発明に係る画像処理装置は、画像の現フレームと現フレームの１フレーム前のフレームとの間に新たな補間フレームを補間により生成するものであり、本発明に係る画像表示装置には、上記の画像処理装置から出力された画像データを表示する画像表示部を備えるものである。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. The image processing apparatus according to the present invention generates a new interpolation frame between the current frame of the image and the frame one frame before the current frame by interpolation, and the image display apparatus according to the present invention includes An image display unit for displaying image data output from the image processing apparatus.
実施の形態１．
図１は、本発明の実施の形態１に係る画像表示装置の構成を示す図である。実施の形態１に係る画像表示装置は、画像処理装置１０と、画像表示部１５を備え、画像処理装置１０は、フレームメモリ１１と、動きベクトル検出部１２と、動きベクトル変換部１３と、補間フレーム生成部１４と、画像表示部１５を備える。
FIG. 1 is a diagram showing a configuration of an image display apparatus according to
この画像処理装置は、例えば、放送受信装置、画像記録再生装置、又はパーソナルコンピュータ（ＰＣ）などの一部を構成することができる。また、画像表示装置５は、例えば、テレビ、映像プロジェクター、又はＰＣなどの一部を構成することができる。
This image processing apparatus can constitute a part of, for example, a broadcast receiving apparatus, an image recording / reproducing apparatus, or a personal computer (PC). Further, the
画像データＦ０が、フレームメモリ１１、動きベクトル検出部１２、及び補間フレーム生成部１４に入力される。
フレームメモリ１１は、画像データＦ０を２フレーム分保存し、画像データＦ０に対して１フレーム分遅延した画像データＦ１と、画像データＦ０に対して２フレーム分遅延した画像データＦ２を出力する。これより画像データＦ０を現フレームのデータ、画像データＦ１を第１の遅延フレームのデータ、画像データＦ２を第２の遅延フレームのデータと言う。また、現フレーム、第１の遅延フレーム、第２の遅延フレームをそれぞれのフレームデータと同じ符号Ｆ０、Ｆ１、Ｆ２で表す。
The image data F0 is input to the
The
第１の遅延フレームＦ１のデータは動きベクトル検出部１２と補間フレーム生成部１４に入力され、第２の遅延フレームＦ２のデータは動きベクトル検出部１２に入力される。
The data of the first delay frame F1 is input to the motion
動きベクトル検出部１２は、現フレームＦ０のデータと、第１の遅延フレームＦ１のデータと、第２の遅延フレームＦ２のデータを参照して、第１の遅延フレームＦ１上の複数のブロックの各々（フレームの一部を成す、複数の画素で構成される）を順次選択し、選択されているブロックについて、第２の遅延フレームＦ２から第１の遅延フレームＦ１への第１の動きベクトルＭＶ１及び現フレームＦ０から第１の遅延フレームＦ１への第２の動きベクトルＭＶ２を算出して、動きベクトル変換部１３に出力する。第１の遅延フレームＦ１上のブロックは、第１の遅延フレームＦ１を例えば複数の矩形の領域に分割することで得られるものである。
The motion
動きベクトル変換部１３は、第１の動きベクトルＭＶ１と第２の動きベクトルＭＶ２を、第１の遅延フレームＦ１から補間フレームＩＦへの第３の動きベクトルＭＶ３と、現フレームＦ０から補間フレームＩＦへの第４の動きベクトルＭＶ４に変換して、補間フレーム生成部１４に出力する。
The motion
補間フレーム生成部１４は、第１の遅延フレームＦ１のデータ、現フレームＦ０のデータ、第３の動きベクトルＭＶ３及び第４の動きベクトルＭＶ４から、現フレームＦ０と第１の遅延フレームＦ１の間に位置する補間フレームＩＦのデータを生成し、生成した補間フレームＩＦのデータを現フレームＦ０のデータと第１の遅延フレームＦ１のデータの間に挿入した画像データＤＯを画像表示部１５に出力する。
画像表示部１５は、画像データＤＯを表示する。
The interpolated
The
次に、動きベクトル検出部１２の構成について詳細に説明する。
動きベクトル検出部１２は、画像縮小部２と、ブロック切り出し部３と、テスト補間部４と、補間データ評価部５と、動きベクトル決定部６と、動きベクトル拡大部７とを有し、画像縮小部２は、現フレーム画像縮小部２１と、第１の遅延フレーム画像縮小部２２と、第２の遅延フレーム画像縮小部２３とを有し、ブロック切り出し部３は、現フレームブロック切り出し部３１と、第１の遅延フレームブロック切り出し部３２と、第２の遅延フレームブロック切り出し部３３とを有する。
Next, the configuration of the motion
The motion
現フレーム画像縮小部２１は、現フレームＦ０を縮小して現縮小フレームＳＦ０を出力し、第１の遅延フレーム画像縮小部２２は、第１の遅延フレームＦ１を縮小して第１の縮小遅延フレームＳＦ１を出力し、第２の遅延フレーム画像縮小部２３は、第２の遅延フレームＦ２を縮小して第２の縮小遅延フレームＳＦ２を出力する。現フレーム画像縮小部２１、第１の遅延フレーム画像縮小部２２、及び第２の遅延フレーム画像縮小部２３における縮小率は同じであり、符号αで表される。
The current frame
現フレームブロック切り出し部３１、第１の遅延フレームブロック切り出し部３２、及び第２の遅延フレームブロック切り出し部３３は、それぞれ、現縮小フレームＳＦ０、第１の縮小遅延フレームＳＦ１、及び第２の縮小遅延フレームＳＦ２を受け、それぞれ、画面の一部を成すブロックを切り出し（抽出し）、ブロック内の画素のデータ（画素値）の集合をブロックデータとして出力する。即ち、現フレームブロック切り出し部３１は、現縮小フレームＳＦ０からブロックを切り出し、第１の遅延フレームブロック切り出し部３２は、第１の縮小遅延フレームＳＦ１からブロックを切り出し、第２の遅延フレームブロック切り出し部３３は、第２の縮小遅延フレームＳＦ２からブロックを切り出す。
The current frame
各ブロックは例えば横方向Ｘ個、縦方向Ｙ個の画素（Ｙ個のライン）のサイズを有する矩形の領域から成る。即ち、現縮小フレームＳＦ０から切り出されるブロックと、第１の縮小遅延フレームＳＦ１から切り出されるブロックと、第２の縮小遅延フレームＳＦ２から切り出されるブロックは、縦方向のサイズ（画素数）及び横方向のサイズ（画素数乃至ライン数）が互いに等しい。 Each block is composed of a rectangular area having a size of, for example, X pixels in the horizontal direction and Y pixels (Y lines) in the vertical direction. That is, the block cut out from the current reduced frame SF0, the block cut out from the first reduced delay frame SF1, and the block cut out from the second reduced delay frame SF2 have a vertical size (number of pixels) and a horizontal direction. The size (number of pixels or number of lines) is equal to each other.
以下では、補間フレームＩＦ内の一つのブロックを補間により生成するに当たっての処理を説明する。この処理のためには、補間フレームＩＦ内の補間しようとするブロック(補間対象ブロック)を、縮小フレームＳＦ０、ＳＦ１、ＳＦ２を生成する際と同じ縮小率αで縮小したブロック（縮小ブロック）に対応する、第１の縮小遅延フレームＳＦ１内の一つのブロックＦ１Ｂａを処理対象ブロックとして設定し、該処理対象ブロックＦ１Ｂａと、現縮小フレームＳＦ０内の複数のブロックと、第２の縮小遅延フレームＳＦ２内の複数のブロックが切り出される（抽出される）。現縮小フレームＳＦ０から切り出されるブロックと、第２の縮小遅延フレームＳＦ２から切り出されるブロックとは、処理対象ブロックＦ１Ｂａ（厳密には、その中心）を中心として点対称の位置にあるもので、これらが対として用いられる。
現フレームブロック切り出し部３１及び第２の遅延フレームブロック切り出し部３３は、処理対象ブロックＦ１Ｂａを中心とし、互いに点対称の位置にあり、一方が現縮小フレームＳＦ０内に位置し、他方が第２の縮小遅延フレームＳＦ２内に位置するブロックの対を複数個切り出す。
Hereinafter, a process for generating one block in the interpolation frame IF by interpolation will be described. For this processing, the block (interpolation target block) to be interpolated in the interpolation frame IF corresponds to the block (reduced block) reduced at the same reduction ratio α as that when the reduced frames SF0, SF1, and SF2 are generated. One block F1Ba in the first reduced delay frame SF1 is set as a processing target block, the processing target block F1Ba, a plurality of blocks in the current reduced frame SF0, and a second reduced delay frame SF2 A plurality of blocks are cut out (extracted). The block cut out from the current reduced frame SF0 and the block cut out from the second reduced delay frame SF2 are in point-symmetrical positions around the processing target block F1Ba (strictly, the center), and these are Used as a pair.
The current frame
例えば、現縮小フレームＳＦ０から切り出されるブロックＦ０Ｂ１（厳密には、その中心）と、第２の縮小遅延フレームＳＦ２から切り出されるブロックＦ２Ｂ１（厳密には、その中心）とは、第１の縮小遅延フレームＳＦ１内の処理対象ブロックＦ１Ｂａ（厳密には、その中心）を中心として点対称の位置にあるもので、これらの点対称の位置にある２つのブロックが対（ペア）として用いられる。 For example, the block F0B1 (strictly the center) cut out from the current reduced frame SF0 and the block F2B1 (strictly the center) cut out from the second reduced delay frame SF2 are the first reduced delay frame. The processing target block F1Ba in SF1 (strictly, its center) is located at a point-symmetrical position, and two blocks at these point-symmetrical positions are used as a pair.
現縮小フレームＳＦ０及び第２の縮小遅延フレームＳＦ２から切り出されるブロックの対は、動きベクトル検出部１２において検出される動きベクトルの候補に対応するものであり、例えば動きベクトルの探索範囲内のすべてのブロックが切り出される。例えば、第１の縮小遅延フレームＳＦ１内の一つのブロックの中心を中心として、横方向に±ＨＳ画素、縦方向に±ＶＳ画素（±ＶＳライン）の範囲を探索する場合、第２の縮小遅延フレームＳＦ２及び現縮小フレームＳＦ０から、それぞれ（２ＨＳ＋１）×（２ＶＳ＋１）個のブロックが切り出される。
The block pairs cut out from the current reduced frame SF0 and the second reduced delay frame SF2 correspond to the motion vector candidates detected by the motion
なお、探索範囲内のすべてのブロックについて評価を行う必要がない場合、例えば予め或いは他の情報により動きの方向の範囲が予測できる場合には、上記の探索範囲の予測される範囲内のブロックのみを切り出すこととしても良い。また、探索範囲内のブロックを間引きながら（例えば水平方向及び垂直方向に１画素おきに）切り出すこととしても良い。 In addition, when it is not necessary to evaluate all the blocks in the search range, for example, when the range of the motion direction can be predicted in advance or by other information, only the blocks in the predicted range of the search range are included. It is good also as cutting out. Alternatively, the blocks in the search range may be cut out while thinning out (for example, every other pixel in the horizontal direction and the vertical direction).
以下では、現縮小フレームＳＦ０及び第２の縮小遅延フレームＳＦ２から切り出されるブロックの数をＭとし、現縮小フレームＳＦ０から切り出されるブロックを第１乃至第ＭのブロックＦ０Ｂ１〜Ｆ０ＢＭ、第２の縮小遅延フレームＳＦ２から切り出されるブロックを第１乃至第ＭのブロックＦ２Ｂ１〜Ｆ２ＢＭと呼ぶ。また、各ブロックのデータをブロックと同じ符号で表す。 In the following, the number of blocks cut out from the current reduced frame SF0 and the second reduced delay frame SF2 is M, and the blocks cut out from the current reduced frame SF0 are the first to Mth blocks F0B1 to F0BM, the second reduced delay. The blocks cut out from the frame SF2 are referred to as first to Mth blocks F2B1 to F2BM. In addition, the data of each block is represented by the same code as the block.
第２の縮小遅延フレームＳＦ２内の第ｍのブロックＦ２Ｂｍ（ｍ＝１〜Ｍ）と現縮小フレームＳＦ０内の第ｍのブロックＦ０Ｂｍとは、第２の縮小遅延フレームＳＦ１内の処理対象ブロックＦ１Ｂａ（厳密にはその中心の画素）を中心として点対称の位置にあるので、ブロックＦ２Ｂｍの処理対象ブロックＦ１Ｂａに対する横方向のずれをｈ（ｈ＝−ＨＳ〜＋ＨＳ）、縦方向のずれをｖ（ｖ＝−ＶＳ〜＋ＶＳ）とすると、ブロックＦ０Ｂｍの処理対象ブロックＦ１Ｂａに対する横方向のずれは−ｈ、縦方向のずれは−ｖである。 The m-th block F2Bm (m = 1 to M) in the second reduced delay frame SF2 and the m-th block F0Bm in the current reduced frame SF0 are the processing target block F1Ba (in the second reduced delay frame SF1). Strictly speaking, since it is in a point-symmetrical position with respect to the center pixel), the horizontal shift of the block F2Bm with respect to the processing target block F1Ba is h (h = −HS to + HS), and the vertical shift is v (v = −VS to + VS), the horizontal shift of the block F0Bm with respect to the processing target block F1Ba is −h, and the vertical shift is −v.
現フレームブロック切り出し部３１は、現縮小フレーム内の複数の、即ち第１乃至第Ｍのブロックを切り出して、第１乃至第ＭのブロックデータＦ０Ｂ１〜Ｆ０ＢＭを出力する。
第１の遅延フレームブロック切り出し部３２は、第１の縮小遅延フレーム内の処理対象ブロックＦ１Ｂａを切り出す。このブロックブロックＦ１Ｂａは、補間フレームＩＦ内の補間対象ブロックを縮小したブロックに対応するものである。
第２の遅延フレームブロック切り出し部３３は、第２の縮小遅延フレーム内の複数の、即ち第１乃至第Ｍのブロックを切り出して、第１乃至第ＭのブロックデータＦ２Ｂ１〜Ｆ２ＢＭを出力する。
The current frame
The first delay frame
The second delay frame
現縮小フレームＳＦ０のブロックデータと第２の縮小遅延フレームＳＦ２のブロックデータが、テスト補間部４に入力される。テスト補間部４は、第２の縮小遅延フレームＳＦ２のブロックデータと現縮小フレームＳＦ０のブロックデータのうち、処理対象ブロックＦ１Ｂａを中心として、互いに点対称の位置にある第２の縮小遅延フレームＳＦ２内のブロックと、現縮小フレームＳＦ０内のブロックから成るブロック対のデータに基づいて、テスト補間データＴＤＡ１〜ＴＤＡＭを生成する。複数のブロック対に基づいて複数のテスト補間データが生成される。このテスト補間は、上記点対称の中心の位置、即ち上記処理対象ブロックＦ１Ｂａのデータが未知であると仮定して行うものであり、補間が正確であればあるほど、テスト補間データは、処理対象ブロックＦ１Ｂａのデータとの相関が強いものとなる。
The block data of the current reduced frame SF0 and the block data of the second reduced delay frame SF2 are input to the
テスト補間部４は、さらに入力された現縮小フレームＳＦ０のブロックデータをそのまま処理対象ブロックＦ１Ｂａの位置のデータとしたものを、テスト補間データＴＤＢ１〜ＴＤＢＭとして出力し、入力された第２の縮小遅延フレームＳＦ２のブロックデータをそのまま処理対象ブロックＦ１Ｂａの位置のデータとしたものを、テスト補間データＴＤＣ１〜ＴＤＣＭとして出力する。
区別のため、テスト補間データＴＤＡ１〜ＴＤＡＭは第１群の第１乃至第Ｍのテスト補間データと呼ばれ、テスト補間データＴＤＢ１〜ＴＤＢＭは第２群の第１乃至第Ｍのテスト補間データと呼ばれ、テスト補間データＴＤＣ１〜ＴＤＣＭは第３群の第１乃至第Ｍのテスト補間データと呼ばれる。
The
For the sake of distinction, the test interpolation data TDA1 to TDAM are referred to as the first group of first to Mth test interpolation data, and the test interpolation data TDB1 to TDBM are referred to as the second group of first to Mth test interpolation data. The test interpolation data TDC1 to TDCM are referred to as a third group of first to Mth test interpolation data.
補間データ評価部５は、第１の縮小遅延フレームＳＦ１のブロックデータを参照して複数のテスト補間データの評価を行い、評価データＥＤを動きベクトル決定部６に出力する。この評価においては、テスト補間データと、第１の縮小遅延フレームＳＦ１のブロックデータとの相関を求め、相関が強いほど高い評価が与えられる。
The interpolation
動きベクトル決定部６は、評価データＥＤに基づいて第１の縮小動きベクトルＳＭＶ１と第２の縮小動きベクトルＳＭＶ２を生成して出力する。
The motion
動きベクトル拡大部７は、第１の縮小動きベクトルＳＭＶ１と第２の縮小動きベクトルＳＭＶ２の値を拡大して第１の動きベクトルＭＶ１と第２の動きベクトルＭＶ２を生成して出力する。ここで、拡大率は縮小フレームＳＦ０、ＳＦ１、ＳＦ２の生成の際の縮小率αの逆数に等しく、１／αで表される。 The motion vector expansion unit 7 expands the values of the first reduced motion vector SMV1 and the second reduced motion vector SMV2 to generate and output the first motion vector MV1 and the second motion vector MV2. Here, the enlargement rate is equal to the reciprocal of the reduction rate α when the reduced frames SF0, SF1, and SF2 are generated, and is expressed by 1 / α.
次に、図２及び図３を参照して動きベクトル検出部１２のテスト補間部４、補間データ評価部５及び動きベクトル決定部の具体例についてさらに詳しく説明する。
Next, specific examples of the
テスト補間部４は、複数の、即ち第１乃至第Ｍのテスト補間データ生成部４−１〜４−Ｍを備え、補間データ評価部５は、第１群の第１乃至第Ｍの相関値算出部５Ａ−１〜５Ａ−Ｍと、第２群の第１乃至第Ｍの相関値算出部５Ｂ−１〜５Ｂ−Ｍと、第３群の第１乃至第Ｍの相関値算出部５Ｃ−１〜５Ｃ−Ｍを備える。
The
テスト補間データ生成部４−１〜４−Ｍは、現縮小フレームＳＦ０のブロックのデータＦ０Ｂ１〜Ｆ０ＢＭと、それぞれこれらと対をなす第２の縮小遅延フレームＳＦ２のブロックのデータＦ２Ｂ１〜Ｆ２ＢＭを画素ごとに平均することで得られる平均値から成るデータを第１群のテスト補間データＴＤＡ１〜ＴＤＡＭとして算出する。テスト補間データ生成部４−１〜４−Ｍで、平均を求めるのに用いられるデータは、互いに異なる位置にあるブロックのデータである。
テスト補間部４また、上記のように、現縮小フレームＳＦ０のブロックのデータＦ０Ｂ１〜Ｆ０ＢＭを第２群のテスト補間データＴＤＢ１〜ＴＤＢＭとして、第２の縮小遅延フレームＳＦ２のブロックのデータＦ２Ｂ１〜Ｆ２ＢＭを第３群のテスト補間データＴＤＣ１〜ＴＤＣＭとして出力する。図１には、テスト補間データＴＤＡ１〜ＴＤＣＭの集合が符号ＴＤで表されている。
The test interpolation data generation units 4-1 to 4-M generate the data F0B1 to F0BM of the block of the current reduced frame SF0 and the data F2B1 to F2BM of the block of the second reduced delay frame SF2 that make a pair with them respectively for each pixel. The data consisting of the average value obtained by averaging is calculated as the first group of test interpolation data TDA1 to TDAM. In the test interpolation data generation units 4-1 to 4 -M, data used for obtaining an average is data of blocks at different positions.
以下、より詳しく説明する。
現縮小フレームＳＦ０の第１のブロックデータＦ０Ｂ１と第２の縮小遅延フレームＳＦ２の第１のブロックデータＦ２Ｂ１がテスト補間データ生成部４−１に入力される。
This will be described in more detail below.
The first block data F0B1 of the current reduced frame SF0 and the first block data F2B1 of the second reduced delay frame SF2 are input to the test interpolation data generation unit 4-1.
テスト補間データ生成部４−１は、現縮小フレームＳＦ０の第１のブロックデータＦ０Ｂ１と第２の縮小遅延フレームＳＦ２の第１のブロックデータＦ２Ｂ１の画素ごとの平均値を第１群の第１のテスト補間データＴＤＡ１として相関値算出部５Ａ−１に出力する。ここで画素ごとの平均値とは、現縮小フレームＳＦ０内のブロックにおける各画素と、第２の縮小遅延フレームＳＦ２内のブロックにおける対応する位置の画素の画素値(例えばそれぞれのブロックの基準位置、例えば左上隅を原点として同じ座標値で表される画素の画素値）の平均値を意味する。
The test interpolation data generation unit 4-1 calculates the average value for each pixel of the first block data F0B1 of the current reduced frame SF0 and the first block data F2B1 of the second reduced delay frame SF2 in the first group. It outputs to correlation
同様に、現縮小フレームＳＦ０の第２のブロックデータＦ０Ｂ２と第２の縮小遅延フレームＳＦ２の第２のブロックデータＦ２Ｂ２がテスト補間データ生成部４−２に入力される。テスト補間データ生成部４−２は、現縮小フレームＳＦ０の第２のブロックデータＦ０Ｂ２と第２の縮小遅延フレームＳＦ２の第２のブロックデータＦ２Ｂ２の画素ごとの平均値を第１群の第２のテスト補間データＴＤＡ２として相関値算出部５Ａ−２（図示しない）に出力する。
Similarly, the second block data F0B2 of the current reduced frame SF0 and the second block data F2B2 of the second reduced delay frame SF2 are input to the test interpolation data generation unit 4-2. The test interpolation data generation unit 4-2 calculates the average value for each pixel of the second block data F0B2 of the current reduced frame SF0 and the second block data F2B2 of the second reduced delay frame SF2 in the second group of the first group. It outputs to correlation
テスト補間データ生成部４−３（図示しない）〜４−Ｍも同様に現縮小フレームＳＦ０の第３のブロックデータＦ０Ｂ３乃至第ＭのブロックデータＦ０ＢＭと第２の縮小遅延フレームＳＦ２の第３のブロックデータＦ２Ｂ３乃至第ＭのブロックデータＦ２ＢＭに基づいて第１群の第３のテスト補間データＴＤＡ３乃至第Ｍのテスト補間データＴＤＡＭを生成し、相関値算出部５Ａ−３（図示しない）〜５Ａ−Ｍに出力する。
Similarly, the test interpolation data generation units 4-3 (not shown) to 4-M also apply the third block data F0B3 to Mth block data F0BM of the current reduced frame SF0 and the third block of the second reduced delay frame SF2. Based on the data F2B3 to Mth block data F2BM, the first group of third test interpolation data TDA3 to Mth test interpolation data TDAM is generated, and correlation
一般化して言えば、テスト補間データ生成部４−ｍは、現縮小フレームＳＦ０の第ｍのブロックデータＦ０Ｂｍ（ｍ＝１〜Ｍ）と第２の縮小遅延フレームＳＦ２の第ｍのブロックデータＦ２Ｂｍに基づいて、例えばこれらの画素ごとの平均を求めることで、第１群の第ｍのテスト補間データＴＤｍを生成し、相関値算出部５Ａ−ｍに出力する。
Generally speaking, the test interpolation data generation unit 4-m converts the mth block data F0Bm (m = 1 to M) of the current reduced frame SF0 and the mth block data F2Bm of the second reduced delay frame SF2. Based on this, for example, an average for each pixel is obtained, and the m-th test interpolation data TDm of the first group is generated and output to the correlation
テスト補間部４さらに、現縮小フレームＳＦ０のブロックのデータＦ０Ｂ１〜Ｆ０ＢＭを、テスト補間データＴＤＢ１〜ＴＤＢＭとして、相関値算出部５Ｂ−１〜５Ｂ−Ｍに出力し、第２の縮小遅延フレームＳＦ２のブロックのデータＦ２Ｂ１〜Ｆ２ＢＭを、テスト補間データＴＤＣ１〜ＴＤＣＭとして相関値算出部５Ｂ−１〜５Ｃ−Ｍに出力する。
一般化して言えば、テスト補間部４は、現縮小フレームＳＦ０の第ｍのブロックのデータＦ０Ｂｍを、第２群の第ｍのテスト補間データＴＤＢｍとして相関値算出部５Ｂ−ｍに出力し、第２の縮小遅延フレームＳＦ２の第ｍのブロックのデータＦ２Ｂｍを、第３群の第ｍのテスト補間データＴＤＣｍとして相関値算出部５Ｃ−ｍに出力する。
Generally speaking, the
第１の縮小遅延フレームＳＦ１の処理対象ブロックＦ１Ｂａのデータが補間データ評価部５内の相関値算出部５Ａ−１〜５Ｃ−Ｍに入力される。
Data of the processing target block F1Ba of the first reduced delay frame SF1 is input to the correlation
相関値算出部５Ａ−１〜５Ｃ−Ｍは、それぞれテスト補間部４から出力されるテスト補間データＴＤＡ１〜ＴＤＣＭと第１の縮小遅延フレームＳＦ１の処理対象ブロックＦ１Ｂａのデータの相関値、例えば差分絶対値和を算出し、評価データＥＤＡ１〜ＥＤＣＭとして出力する。
Correlation
相関値算出部５Ａ−１は、第１群の第１のテスト補間データＴＤＡ１の各画素のデータと第１の縮小遅延フレームＳＦ１の処理対象ブロックＦ１Ｂａの各画素のデータの差分絶対値の和を算出し、評価データＥＤＡ１として動きベクトル決定部６に出力する。差分絶対値和は下記の式（１）により表される。
The correlation
ここで、ＢＫ１、ＢＫ２はブロック内の各画素のデータであり、ＢＫ１をテスト補間データＴＤＡ１を構成する各画素のデータ、ＢＫ２を処理対象ブロックＦ１Ｂａ内の各画素のデータとすると式（１）は第１群の第１のテスト補間データＴＤＡ１の各画素のデータと第１の遅延フレームＦ１の処理対象ブロックＦ１Ｂａの各画素のデータの差分絶対値和となる。差分絶対値和ＳＡＤは、相関の度合いを表すものであり、評価データＥＤＡ１として相関値算出部５Ａ−１から出力される。
Here, BK1 and BK2 are the data of each pixel in the block, and BK1 is the data of each pixel constituting the test interpolation data TDA1, and BK2 is the data of each pixel in the processing target block F1Ba. This is the sum of absolute differences between the data of each pixel of the first group of first test interpolation data TDA1 and the data of each pixel of the processing target block F1Ba of the first delay frame F1. The difference absolute value sum SAD represents the degree of correlation, and is output from the correlation
式（１）で与えられる差分絶対値和は、その値が小さいほど、相関が強いことを意味し、差分絶対値和ＳＡＤを評価データとして用いる場合、その値が小さいほど、評価が高いことを表す。 The difference absolute value sum given by equation (1) means that the smaller the value, the stronger the correlation. When the difference absolute value sum SAD is used as evaluation data, the smaller the value, the higher the evaluation. Represent.
相関値算出部５Ａ−２〜５Ｃ−Ｍも同様に、第１群の第２のテスト補間データＴＤＡ２乃至第３群の第Ｍのテスト補間データＴＤＣＭと第１の縮小遅延フレームＳＦ１の処理対象ブロックＦ１Ｂａのデータの差分絶対値和を算出し、評価データＥＤＡ２〜ＥＤＣＭとして動きベクトル決定部６に出力する。
Similarly, the correlation
評価データＥＤＡ１〜ＥＤＣＭのうち、第１群のテスト補間データＴＤＡ１〜ＴＤＡＭに対応するものを第１群の評価データＥＤＡ１〜ＥＤＡＭと言い、第２群のテスト補間データＴＤＢ１〜ＴＤＢＭに対応するものを第２群の評価データＥＤＢ１〜ＥＤＢＭと言い、第３群のテスト補間データＴＤＣ１〜ＴＤＣＭに対応するものを第３群の評価データＥＤＣ１〜ＥＤＣＭと言う。 Of the evaluation data EDA1 to EDCM, the data corresponding to the first group of test interpolation data TDA1 to TDAM is referred to as the first group of evaluation data EDA1 to EDAM, and the data corresponding to the second group of test interpolation data TDB1 to TDAM. The second group of evaluation data EDB1 to EDBM is referred to as the third group of test interpolation data TDC1 to TDCM, and the third group of evaluation data EDC1 to EDCM is referred to as the third group of evaluation data EDC1 to EDCM.
動きベクトル決定部６は、評価データＥＤＡ１〜ＥＤＣＭのうちの値が最小のもの（最も高い評価を示すもの）を見つける。
The motion
評価データＥＤＡ１〜ＥＤＣＭのうち値が最小のものが第１群の評価データＥＤＡ１〜ＥＤＡＭのいずれかである場合には、動きベクトル決定部６は、第１の縮小遅延フレームＳＦ１の処理対象ブロックＦ１Ｂａの位置に対する、当該最小値の評価データに対応する、第２の縮小遅延フレームＳＦ２内のブロックの相対位置（位置の差）を第１の縮小動きベクトルＳＭＶ１として出力し、第１の縮小遅延フレームＳＦ１の処理対象ブロックＦ１Ｂａの位置に対する、当該最小値の評価データに対応する、現縮小フレームＳＦ０内のブロックの相対位置（位置の差）を第２の縮小動きベクトルＳＭＶ２として出力する。なお、同じ評価データに対応する第２の縮小遅延フレームＳＦ２内のブロックと現縮小フレームＳＦ０内のブロックとは、処理対象ブロックＦ１Ｂａを中心として点対称の位置にあるので、ＳＭＶ２＝−ＳＭＶ１の関係がある。
When the evaluation data EDA1 to EDCM having the smallest value is any one of the first group of evaluation data EDA1 to EDAM, the motion
評価データＥＤＡ１〜ＥＤＣＭのうち値が最小のものが第２群の評価データＥＤＢ１〜ＥＤＢＭのいずれかである場合には、動きベクトル決定部６は、第１の縮小遅延フレームＳＦ１の処理対象ブロックＦ１Ｂａの位置に対する、当該最小値の評価データに対応する、現縮小フレームＳＦ０内のブロックの相対位置（位置の差）を第２の縮小動きベクトルＳＭＶ２として出力し、第１の縮小動きベクトルＳＭＶ１の代わりに対応するブロックがない（差分絶対値和が十分に小さいブロックがない）こと、即ち有効データがないことを示す信号（データ乃至フラグ）を出力する。
When the evaluation data EDA1 to EDCM having the smallest value is any one of the second group of evaluation data EDB1 to EDBM, the motion
評価データＥＤＡ１〜ＥＤＣＭのうち値が最小のものが第３群の評価データＥＤＢ１〜ＥＤＣＭのいずれかである場合には、動きベクトル決定部６は、第１の縮小遅延フレームＳＦ１の処理対象ブロックＦ１Ｂａの位置に対する、当該最小値の評価データに対応する、第２の縮小遅延フレームＳＦ１内のブロックの相対位置（位置の差）を第１の縮小動きベクトルＳＭＶ１として出力し、第２の縮小動きベクトルＳＭＶ２の代わりに対応するブロックがない（差分絶対値和が十分に小さいブロックがない）こと、即ち有効データがないことを示す信号を出力する。
When the evaluation data EDA1 to EDCM having the smallest value is any one of the third group of evaluation data EDB1 to EDCM, the motion
動きベクトル拡大部７は、下記の式（２Ａ）及び式（２Ｂ）により縮小動きベクトルＳＭＶ１及びＳＭＶ２を拡大して、動きベクトルＭＶ１及びＭＶ２を出力する。ここで、縮小動きベクトルＳＭＶ１及びＳＭＶ２は縮小画像における値であり、動きベクトルＭＶ１及びＭＶ２は入力画像における値である。つまり、縮小動きベクトルＳＭＶ１及びＳＭＶ２は、それぞれ第２の縮小遅延フレームＳＦ２から第１の縮小遅延フレームＳＦ１及び現縮小フレームＳＦ０から第１の縮小遅延フレームＳＦ１への動きベクトルであり、動きベクトルＭＶ１及びＭＶ２はそれぞれ第２の遅延フレームＦ２から第１の遅延フレームＦ１、及び現フレームＦ０から第１の遅延フレームＦ１への動きベクトルである。 The motion vector enlargement unit 7 enlarges the reduced motion vectors SMV1 and SMV2 by the following equations (2A) and (2B), and outputs the motion vectors MV1 and MV2. Here, the reduced motion vectors SMV1 and SMV2 are values in the reduced image, and the motion vectors MV1 and MV2 are values in the input image. That is, the reduced motion vectors SMV1 and SMV2 are motion vectors from the second reduced delay frame SF2 to the first reduced delay frame SF1 and from the current reduced frame SF0 to the first reduced delay frame SF1, respectively, and the motion vectors MV1 and MV2 is a motion vector from the second delay frame F2 to the first delay frame F1, and from the current frame F0 to the first delay frame F1, respectively.
ＭＶ１＝ＳＭＶ１／α …（２Ａ）
ＭＶ２＝ＳＭＶ２／α …（２Ｂ）
MV1 = SMV1 / α (2A)
MV2 = SMV2 / α (2B)
ただし、縮小動きベクトルＳＭＶ１の代わりに対応ブロックなしを示す信号が出力されている場合、動きベクトルＭＶ１の代わりに対応ブロックなしを示す信号を出力し、縮小動きベクトルＳＭＶ２の代わりに対応ブロックなしを示す信号が出力されている場合、動きベクトルＭＶ２の代わりに対応ブロックなしを示す信号を出力する。 However, when a signal indicating no corresponding block is output instead of the reduced motion vector SMV1, a signal indicating no corresponding block is output instead of the motion vector MV1, and no corresponding block is indicated instead of the reduced motion vector SMV2. When a signal is output, a signal indicating no corresponding block is output instead of the motion vector MV2.
図４は、動きベクトル検出部１２の動作を説明するための図である。ここでは、Ｍ＝１の場合について説明する。
第１の縮小遅延フレームＳＦ１の一部の領域が第１の縮小遅延フレームＳＦ１の処理対象ブロックＦ１Ｂａとして切り出されている。
FIG. 4 is a diagram for explaining the operation of the motion
A partial area of the first reduced delay frame SF1 is cut out as a processing target block F1Ba of the first reduced delay frame SF1.
第１の縮小遅延フレームＳＦ１の処理対象ブロックＦ１Ｂａに対してベクトル−Ｖ１ずらした位置に対応する領域が第２の縮小遅延フレームＳＦ２の第１のブロックデータＦ２Ｂ１として設定されて切り出され、ベクトル＋Ｖずらした位置に対応する領域が現縮小フレームＳＦ０の第１のブロックデータＦ０Ｂ１として設定されて切り出される。 An area corresponding to the position shifted by the vector −V1 with respect to the processing target block F1Ba of the first reduced delay frame SF1 is set and cut out as the first block data F2B1 of the second reduced delay frame SF2, and shifted by the vector + V. The area corresponding to the selected position is set and cut out as the first block data F0B1 of the current reduced frame SF0.
テスト補間データ生成部４−１は、現縮小フレームＳＦ０の第１のブロックデータＦ０Ｂ１と第２の縮小遅延フレームＳＦ２の第１のブロックデータＦ２Ｂ１を画素ごとに平均してテスト補間データＴＤＡ１を生成する。
さらに、テスト補間部４は、現縮小フレームＳＦ０の第１のブロックデータＦ０Ｂ１をテスト補間データＴＤＢ１として、第２の縮小遅延フレームＳＦ２の第１のブロックデータＦ２Ｂ１をテスト補間データＴＤＣ１として出力する。
The test interpolation data generation unit 4-1 generates the test interpolation data TDA1 by averaging the first block data F0B1 of the current reduced frame SF0 and the first block data F2B1 of the second reduced delay frame SF2 for each pixel. .
Further, the
相関値算出部５Ａ−１は、テスト補間データＴＤＡ１と第１の縮小遅延フレームＳＦ１の処理対象ブロックＦ１Ｂａのデータから上記の式（１）を使って差分絶対値和ＳＡＤを算出し、評価データＥＤＡ１として出力する。
The correlation
相関値算出部５Ｂ−１も同様に、テスト補間データＴＤＢ１と第１の縮小遅延フレームＳＦ１の処理対象ブロックＦ１Ｂａのデータから上記の式（１）を使って差分絶対値和ＳＡＤを算出し、評価データＥＤＢ１として出力する。
相関値算出部５Ｃ−１も同様に、テスト補間データＴＤＣ１と第１の縮小遅延フレームＳＦ１の処理対象ブロックＦ１Ｂａのデータから上記の式（１）を使って差分絶対値和ＳＡＤを算出し、評価データＥＤＣ１として出力する。
Similarly, the
Similarly, the correlation
動きベクトル決定部６は、評価データＥＤＡ１、ＥＤＢ１、ＥＤＣ１のうち最小の値を生じさせたブロック又はブロック対と第１の縮小遅延フレームＳＦ１内の処理対象ブロックＦ１Ｂａの相対位置に基づいて縮小動きベクトルを求める。
The motion
評価データＥＤＡ１が最小値である場合には、第１の縮小遅延フレームＳＦ１内の処理対象ブロックＦ１Ｂａに対する第２の縮小フレームＳＦ２内のブロックの相対位置を第１の縮小動きベクトルＳＭＶ１（＝Ｖ１）として出力し、第１の縮小遅延フレームＳＦ１内の処理対象ブロックＦ１Ｂａに対する現縮小フレームＳＦ０内のブロックの相対位置を第２の縮小動きベクトルＳＭＶ２（＝−Ｖ１）として出力する。 When the evaluation data EDA1 is the minimum value, the relative position of the block in the second reduced frame SF2 with respect to the processing target block F1Ba in the first reduced delay frame SF1 is expressed as the first reduced motion vector SMV1 (= V1). And the relative position of the block in the current reduced frame SF0 with respect to the processing target block F1Ba in the first reduced delay frame SF1 is output as the second reduced motion vector SMV2 (= −V1).
評価データＥＤＢ１が最小値である場合、第１の縮小動きベクトルＳＭＶ１の代わりに、対応ブロックなしを示す信号が出力され、第１の縮小遅延フレームＳＦ１内の処理対象ブロックＦ１Ｂａに対する現縮小フレームＳＦ０内のブロックの相対位置が第２の縮小動きベクトルＳＭＶ２（＝−Ｖ１）として出力される。 When the evaluation data EDB1 is the minimum value, a signal indicating no corresponding block is output instead of the first reduced motion vector SMV1, and the signal in the current reduced frame SF0 for the processing target block F1Ba in the first reduced delay frame SF1 is output. Is output as the second reduced motion vector SMV2 (= −V1).
評価データＥＤＣ１が最小値である場合、第１の縮小遅延フレームＳＦ１内の処理対象ブロックＦ１Ｂａに対する第２の縮小遅延フレームＳＦ２内のブロックの相対位置が第１の縮小動きベクトルＳＭＶ１（＝Ｖ１）として出力され、第２の縮小動きベクトルＳＭＶ２の代わりに対応ブロックなしを示す信号が出力される。 When the evaluation data EDC1 is the minimum value, the relative position of the block in the second reduced delay frame SF2 with respect to the processing target block F1Ba in the first reduced delay frame SF1 is the first reduced motion vector SMV1 (= V1). And a signal indicating no corresponding block is output instead of the second reduced motion vector SMV2.
図４では、Ｍ＝１の場合について説明したが、本発明に係る実施の形態の構成はＭ＝１に限定されない。即ち、候補としてのベクトルに対応するブロック対を２個以上設定しても良い。例えば、第１の縮小遅延フレーム内の処理対象ブロックＦ１Ｂａに対して、所定の動き量に対応する探索範囲内に位置する第２の縮小遅延フレーム内のすべてのブロック及びこれと点対称位置にある現縮小フレーム内のブロックから成るブロック対について平均値の算出によるテスト補間データの生成を行うこととしても良い。 Although the case of M = 1 has been described in FIG. 4, the configuration of the embodiment according to the present invention is not limited to M = 1. That is, two or more block pairs corresponding to candidate vectors may be set. For example, with respect to the processing target block F1Ba in the first reduced delay frame, all the blocks in the second reduced delay frame located within the search range corresponding to the predetermined motion amount and point symmetric positions thereof. Test interpolation data may be generated by calculating an average value for a block pair consisting of blocks in the current reduced frame.
動きベクトル検出部１２では、上記のように実在のデータである第１の縮小遅延フレームＳＦ１内のデータを用いて第１の縮小遅延フレームＳＦ２内のブロック及び現縮小フレームＳＦ０内のブロックから成るブロック対に対応するベクトルの候補を評価することにより動きベクトルを決定しているので第２の縮小遅延フレームＳＦ１及び現縮小フレームＳＦ０から第１の縮小遅延フレームＳＦ１への動きベクトルを精度良く算出することができる。
さらに、第２の縮小遅延フレームＳＦ２内のデータのみ、或いは現縮小フレームＳＦ０内のデータのみを、ベクトル候補に対応するテスト補間データとして用いているので、第２の縮小遅延フレームから現縮小フレームの間で物体が隠れたり、出現したりしても動きベクトルを精度良く算出することができる。
The motion
Furthermore, since only the data in the second reduced delay frame SF2 or only the data in the current reduced frame SF0 is used as test interpolation data corresponding to the vector candidate, the second reduced delay frame to the current reduced frame are changed. Even if an object is hidden or appears in between, a motion vector can be calculated with high accuracy.
なお、補間データ評価部５では差分絶対値和を用いて評価データを算出したが、相関を求める関数は自乗誤差和など他にも多数あり、これに置き換えることも可能である。即ち、補間データ評価部５は、テスト補間データと、処理対象ブロックのデータとの相関を求めるものであれば良く、該相関を示す指標（相関値）は、差分絶対値和以外のものであっても良い。
The interpolation
また、動きベクトル決定部６では、テスト補間データＴＤＡ１〜ＴＤＣＭ相互間に異なる重みをつけることで、いずれかのテスト補間データに対応するベクトル候補が、求める動きベクトルであると判定される可能性を高めるようにしても良い。
例えば、相関値算出部５Ｂ−１〜５Ｃ−Ｍで求めた差分絶対値和にある係数β１を乗算したものを評価データＥＤＢ１〜ＥＤＣＭとして出力し、相関値算出部５Ａ−１〜５Ａ−Ｍで求めた差分絶対値和に対して上記の係数β１より小さい係数β２を乗算したものを評価データＥＤＡ１〜ＥＤＡＭとして出力し、動きベクトル決定部６で、これらの評価データＥＤＡ１〜ＥＤＣＭのうちの値が最小のものを見つけるようにしても良い。こうすれば、テスト補間データＴＤＡ１〜ＴＤＡＭに対応するブロック対が求める動きベクトルに対応するものと判断される可能性を高めることができる。言い換えれば、テスト補間データＴＤＡ１〜ＴＤＡＭに対応するブロック対に対応するベクトルを優先的に動きベクトルとして選択することができる。
Further, the motion
For example, the value obtained by multiplying the sum of absolute differences obtained by the correlation
逆に、相関値算出部５Ｂ−１〜５Ｃ−Ｍで求めた差分絶対値和にある係数β１を乗算したものを評価データＥＤＢ１〜ＥＤＣＭとして出力し、相関値算出部５Ａ−１〜５Ａ−Ｍで求めた差分絶対値和に対して上記の係数β１より大きい係数β２を乗算したものを評価データＥＤＡ１〜ＥＤＡＭとして出力し、動きベクトル決定部６で、これらの評価データＥＤＡ１〜ＥＤＣＭのうちの値が最小のものを見つけるようにしても良い。こうすれば、テスト補間データＴＤＢ１〜ＴＤＣＭに対応するブロックが、求める動きベクトルに対応するものと判断される可能性を高めることができる。言い換えれば、テスト補間データＴＤＢ１〜ＴＤＣＭに対応するブロックに対応するベクトルを優先的に動きベクトルとして選択することができる。
Conversely, the sum of absolute differences obtained by the correlation
なお、このような重み付けに加えて、他の要因による重み付けを加えても良い。
例えば、第２の縮小遅延フレームＳＦ２及び現縮小フレームＳＦ０内のブロックのうち、第１の縮小遅延フレームＳＦ１内の処理対象ブロックＦ１Ｂａの位置に近いブロック又はブロック対（対応するベクトルの絶対値が小さいブロック）について求められる差分絶対値和に対してより小さな係数を乗算することで、より近いブロック又はブロック対が、求める動きベクトルに対応するものと判断される可能性を高めることとしても良い。
要するに、評価データは、差分絶対値和、或いは他の相関値に基づいて定められるものであれば良い。
In addition to such weighting, weighting due to other factors may be added.
For example, among the blocks in the second reduced delay frame SF2 and the current reduced frame SF0, a block or a block pair close to the position of the processing target block F1Ba in the first reduced delay frame SF1 (the absolute value of the corresponding vector is small) It is also possible to increase the possibility that a closer block or block pair is determined to correspond to the desired motion vector by multiplying the sum of absolute differences obtained for the block) by a smaller coefficient.
In short, the evaluation data only needs to be determined based on the sum of absolute differences or other correlation values.
次に、図５〜図７を参照して、動きベクトル変換部１３及び補間フレーム生成部１４の動作についてより詳細に説明する。
Next, operations of the motion
動きベクトル変換部１３は、第２の遅延フレームＦ２から第１の遅延フレームＦ１への第１の動きベクトルＭＶ１及び現フレームＦ０から第１の遅延フレームＦ１への第２の動きベクトルＭＶ２を、第１の遅延フレームＦ１から補間フレームＩＦへの第３の動きベクトルＭＶ３と、現フレームＦ０から補間フレームＩＦへの第４の動きベクトルＭＶ４に変換する。
The motion
図５〜図７に示すように入力フレームの時間間隔をｔ１、第１の遅延フレームＦ１から補間フレームＩＦへの時間間隔をｔ２とした時、下記の式（３Ａ）及び式（３Ｂ）により動きベクトルＭＶ３及びＭＶ４を算出する。たとえば、６０Ｈｚの入力画像信号から１２０Ｈｚの画像信号に変換する場合、ｔ１は１／６０秒、ｔ２は１／１２０秒となる。 As shown in FIGS. 5 to 7, when the time interval of the input frame is t1, and the time interval from the first delay frame F1 to the interpolation frame IF is t2, the motion is expressed by the following equations (3A) and (3B). Vectors MV3 and MV4 are calculated. For example, when converting an input image signal of 60 Hz to an image signal of 120 Hz, t1 is 1/60 seconds and t2 is 1/120 seconds.
ＭＶ３＝ＭＶ１×ｔ２／ｔ１ …（３Ａ）
ＭＶ４＝ＭＶ２×（ｔ１−ｔ２）／ｔ１ …（３Ｂ）
MV3 = MV1 × t2 / t1 (3A)
MV4 = MV2 × (t1−t2) / t1 (3B)
ただし、動きベクトルＭＶ１の代わりに対応ブロックなしを示す信号が出力されている場合、動きベクトルＭＶ３の代わりに対応ブロックなしを示す信号を出力し、動きベクトルＭＶ２の代わりに対応ブロックなしを示す信号が出力されている場合、動きベクトルＭＶ４の代わりに対応ブロックなしを示す信号を出力する。 However, when a signal indicating no corresponding block is output instead of the motion vector MV1, a signal indicating no corresponding block is output instead of the motion vector MV3, and a signal indicating no corresponding block is output instead of the motion vector MV2. If it is output, a signal indicating no corresponding block is output instead of the motion vector MV4.
このようにして第３及び第４の動きベクトルＭＶ３及びＭＶ４を求めたら、図５〜図７に示すように補間フレームＩＦからベクトル−ＭＶ３の位置の、縮小前の第１の遅延フレームＦ１のデータ（処理対象ブロックＦ１Ｂａに対応するブロックＦ１Ｂｂ内のデータ）と補間フレームＩＦからベクトル−ＭＶ４の位置の、縮小前の現フレームＦ０のデータ（ブロックＦ１Ｂｂと同じ大きさのブロックのデータ）の双方又は一方に基づいて補間フレームＩＦのデータ（ブロックＦ１Ｂｂと同じ大きさのブロックＩＦＢｂのデータ）を求める。 When the third and fourth motion vectors MV3 and MV4 are obtained in this way, the data of the first delay frame F1 before reduction at the position of the vector -MV3 from the interpolation frame IF as shown in FIGS. (Data in block F1Bb corresponding to processing target block F1Ba) and / or data of current frame F0 before reduction (data of block having the same size as block F1Bb) at the position of vector-MV4 from interpolation frame IF The data of the interpolation frame IF (the data of the block IFBb having the same size as the block F1Bb) is obtained based on the above.
例えば、図５に示すように、第３及び第４の動きベクトルＭＶ３及びＭＶ４の双方とも、有効なデータである場合（「対応ブロックなし」ではない場合）には、上記の第１の遅延フレームＦ１内のデータ及び現フレームＦ０内のデータの平均を補間フレームＩＦのデータとして算出する。生成したデータから成る補間フレームＩＦのデータを第１の遅延フレームＦ１のデータと現フレームＦ０のデータ間に配置して出力する。
このとき、補間に用いられる第１の遅延フレームＦ１のブロックデータ（第１の縮小遅延フレームＳＦ１の処理対象ブロックＦ１Ｂａに対応するブロックＦ１Ｂｂのデータ）と、現フレームＦ０のブロックデータ（現縮小フレームＳＦ０のブロックＦ０Ｂ１に対応するブロック）とは、補間フレームＩＦ内の補間により得られるデータの位置を中心として、互いに対称の位置にある。
For example, as shown in FIG. 5, when both the third and fourth motion vectors MV3 and MV4 are valid data (not “no corresponding block”), the first delay frame described above is used. The average of the data in F1 and the data in the current frame F0 is calculated as the data of the interpolation frame IF. The interpolation frame IF data composed of the generated data is arranged and output between the data of the first delay frame F1 and the data of the current frame F0.
At this time, block data of the first delay frame F1 used for interpolation (data of the block F1Bb corresponding to the processing target block F1Ba of the first reduced delay frame SF1) and block data of the current frame F0 (current reduced frame SF0) And a block corresponding to the block F0B1) are symmetrical with respect to the position of data obtained by interpolation in the interpolation frame IF.
図６又は図７に示すように、第３及び第４の動きベクトルＭＶ３及びＭＶ４の一方の代わりに「対応ブロックなし」の信号が出力されている場合には、他方の動きベクトル（第３及び第４の動きベクトルＭＶ３及びＭＶ４のうちの有効なベクトル）に対応する第１の遅延フレームＦ１内のデータ又は現フレームＦ０内のデータを、補間フレームＩＦのデータ（ブロックＦ１Ｂｂと同じ大きさのブロックＩＦＢｂのデータ）として出力する。図６は、第４の動きベクトルＭＶ４の代わりに「対応ブロックなし」の信号が出力されている場合を示し、図７は、第３の動きベクトルＭＶ３の代わりに「対応ブロックなし」の信号が出力されている場合を示す。このように一方のフレーム内のデータをそのまま補間フレームのデータとして出力する処理は「零次補間」と呼ばれる。
補間フレーム生成部１４は、このようにして得られたデータから成る補間フレームＩＦのデータを第１の遅延フレームＦ１のデータと現フレームＦ０のデータ間に配置して出力する。
As shown in FIG. 6 or FIG. 7, when a “no corresponding block” signal is output instead of one of the third and fourth motion vectors MV3 and MV4, the other motion vector (third and The data in the first delay frame F1 or the data in the current frame F0 corresponding to the fourth motion vector MV3 and MV4) is the data of the interpolation frame IF (block having the same size as the block F1Bb). (IFBb data). FIG. 6 shows a case where a “no corresponding block” signal is output instead of the fourth motion vector MV4, and FIG. 7 shows that a “no corresponding block” signal is output instead of the third motion vector MV3. Indicates the case of output. The process of outputting data in one frame as it is as interpolation frame data in this way is called “zero-order interpolation”.
The interpolation
図８は、動きベクトル検出部１２に入力される現フレームＦ０のデータ、第１の遅延フレームＦ１のデータ、第２のフレームＦ２のデータの対応関係を説明するための図である。図８に示すような映像を表す信号が入力された場合の本実施の形態１の動作を説明する。図８に示す映像においては、クロスハッチングで示す丸ＢＣが時間とともに画面の左上から右下へ移動しており、その背後にある英文字（移動なし）が隠れたり見えたりしている。
FIG. 8 is a diagram for explaining a correspondence relationship between the data of the current frame F0, the data of the first delay frame F1, and the data of the second frame F2 input to the motion
図９は図８に示す入力画像を縮小した画像データを示す図である。但し、図９でも画像は図８と同じ大きさに描いてある。図８の画像の要素（丸ＢＣ及びＡ〜Ｊを示す文字は、図９でもそのまま現れており、従って、英文字Ａ〜Ｊが丸ＢＣの陰に隠れたり、見えたりしている。
図１０〜図１６はテスト補間部４及び補間データ評価部５の動作を説明するための図である。図１７は動きベクトル拡大部７の動作を説明するための図である。
FIG. 9 is a diagram showing image data obtained by reducing the input image shown in FIG. However, in FIG. 9, the image is drawn in the same size as FIG. The elements of the image in FIG. 8 (characters indicating the circles BC and A to J appear as they are in FIG. 9, and thus the English characters A to J are hidden or visible behind the circle BC.
10-16 is a figure for demonstrating operation | movement of the
図９に示すような第２の縮小遅延フレームＳＦ２のデータ、第１の縮小遅延フレームＳＦ１のデータ、現縮小フレームＳＦ０のデータを入力とした場合の動きベクトル検出部１２の動作を説明する。なお、ここではＭ＝２を想定している。
The operation of the
テスト補間部４では、動きベクトルの候補ごとにテスト補間データを生成する。
例えば、図１０に示すように第１の縮小遅延フレームＳＦ１の一部の領域を第１の縮小遅延フレームＳＦ１の処理対象ブロックＦ１Ｂａとし、第１の縮小遅延フレームＳＦ１の処理対象ブロックＦ１Ｂａから−Ｖ１ずらした位置の第２の縮小遅延フレームＳＦ２のブロックを第１のブロックＦ２Ｂ１とし、第１の縮小遅延フレームＳＦ１の処理対象ブロックＦ１ＢａからＶ１ずらした位置の現縮小フレームＳＦ０のブロックをブロックＦ０Ｂ１とする。
また、第１の縮小遅延フレームＳＦ１の処理対象ブロックＦ１Ｂａから−Ｖ２ずらした位置の第２の縮小遅延フレームＳＦ２のブロックをブロックＦ２Ｂ２とし、第１の縮小遅延フレームＳＦ１の処理対象ブロックＦ１ＢａからＶ２ずらした位置の現縮小フレームＳＦ０のブロックをブロックＦ０Ｂ２とする。
The
For example, as shown in FIG. 10, a partial area of the first reduced delay frame SF1 is set as the processing target block F1Ba of the first reduced delay frame SF1, and the processing target block F1Ba of the first reduced delay frame SF1 is -V1. The block of the second reduced delay frame SF2 at the shifted position is set as the first block F2B1, and the block of the current reduced frame SF0 at the position shifted by V1 from the processing target block F1Ba of the first reduced delay frame SF1 is set as the block F0B1. .
Further, the block of the second reduced delay frame SF2 at the position shifted by −V2 from the processing target block F1Ba of the first reduced delay frame SF1 is referred to as a block F2B2, and is shifted by V2 from the processing target block F1Ba of the first reduced delay frame SF1. The block of the current reduced frame SF0 at the position is designated as block F0B2.
図１１に示すように、ブロックＦ２Ｂ１のデータとブロックＦ０Ｂ１のデータから得られる画素ごとの平均をテスト補間データＴＤＡ１として生成する。
同様に、図１２に示すようにブロックＦ２Ｂ２のデータとブロックＦ０Ｂ２のデータから画素ごとの平均をテスト補間データＴＤＡ２として生成する。
さらに、図１３及び図１４に示すように、ブロックＦ０Ｂ１、Ｆ０Ｂ２のデータをそれぞれテスト補間データＴＤＢ１、ＴＤＢ２として出力する。
同様に、図１５及び図１６に示すように、ブロックＦ２Ｂ１、Ｆ２Ｂ２のデータをそれぞれテスト補間データＴＤＣ１、ＴＤＣ２として出力する。
As shown in FIG. 11, an average for each pixel obtained from the data of the block F2B1 and the data of the block F0B1 is generated as the test interpolation data TDA1.
Similarly, as shown in FIG. 12, an average for each pixel is generated as test interpolation data TDA2 from the data of block F2B2 and the data of block F0B2.
Further, as shown in FIGS. 13 and 14, the data of the blocks F0B1 and F0B2 are output as test interpolation data TDB1 and TDB2, respectively.
Similarly, as shown in FIGS. 15 and 16, the data of the blocks F2B1 and F2B2 are output as test interpolation data TDC1 and TDC2, respectively.
補間データ評価部５では、図１１〜図１６に示されるテスト補間データＴＤＡ１〜ＴＤ６の各々と処理対象ブロックＦ１Ｂａのデータとの差分絶対値和を算出し、評価データＥＤＡ１〜ＥＤ６を出力する。図９〜図１６の具体例では、第１の縮小遅延フレームＳＦ１上の文字「Ｆ」を表す領域が処理対象ブロックＦ１Ｂａとなっており、この文字「Ｆ」が、第２の縮小遅延フレームＳＦ２および第１の縮小遅延フレームＳＦ１では見えているが、現縮小フレームＦ０ではハッチングで示す丸ＢＣの陰に隠れており、従って、第２の縮小遅延フレームＳＦ２内の文字「Ｆ」を表す領域から成るブロックＦ２Ｂ１から得られたテスト補間データＴＤ５と、処理対象ブロックＦ１Ｂａとの差分絶対値和、即ち評価データＥＤ５が最小となる。
The interpolation
動きベクトル決定部６では、評価データＥＤＡ１〜ＥＤ６のうち一番小さい評価データＥＤ５に対応した縮小動きベクトルＳＭＶ１（＝Ｖ１）を出力し、縮小動きベクトルＳＭＶ２の代わりに対応ブロックなしを示す信号を出力する。
The motion
動きベクトル拡大部７では、縮小動きベクトルＳＭＶ１とＳＭＶ２に対して上記の式（２Ａ）及び式（２Ｂ）を用いて、第２の遅延フレームＦ２から第１の遅延フレームＦ１への動きベクトルＭＶ１と現フレームＦ０から第１の遅延フレームＦ１への動きベクトルＭＶ２を出力する（図１７）。
先にも述べたように、縮小動きベクトルの一方の代わりに対応ブロックなしを示す信号が出力されている場合には、当該縮小動きベクトルに対応する動きベクトル（ＭＶ１又はＭＶ２）に対しても、代わりに「対応ブロックなし」を示す信号が出力されるので、図９〜図１６の例では、動きベクトルＭＶ１（＝Ｖ１／α）が出力されるとともに、ＭＶ２の代わりに対応ブロックなしを示す信号が出力される。
The motion vector enlargement unit 7 uses the above equations (2A) and (2B) for the reduced motion vectors SMV1 and SMV2, and the motion vector MV1 from the second delay frame F2 to the first delay frame F1 A motion vector MV2 from the current frame F0 to the first delay frame F1 is output (FIG. 17).
As described above, when a signal indicating no corresponding block is output instead of one of the reduced motion vectors, the motion vector (MV1 or MV2) corresponding to the reduced motion vector is also output. Instead, a signal indicating “no corresponding block” is output. Therefore, in the examples of FIGS. 9 to 16, the motion vector MV1 (= V1 / α) is output, and a signal indicating no corresponding block is used instead of MV2. Is output.
第１の遅延フレームＦ１を縮小した第１の縮小遅延フレームＳＦ１についてもれなく（隙間なく）ブロックを設定し縮小動きベクトルを算出することで第１の縮小遅延フレームＳＦ１のすべての部分について第１及び第２の縮小動きベクトルＳＭＶ１及び／又はＳＭＶ２を、生成し、第１及び第２の縮小動きベクトルＳＭＶ１、ＳＭＶ２を拡大することで、第１及び第２の動きベクトルＭＶ１及び／又はＭＶ２を得て、上記第１の縮小遅延フレームＳＦ１内の上記の画素に対応する第１の遅延フレームＦ１内の画素に対応する位置、例えば同じ位置にある、補間フレームＩＦ内の画素について、第１及び第２の動きベクトルＭＶ１及びＭＶ２を用いた変換を行うことで、第３及び第４の動きベクトルＭＶ３及びＭＶ４を求めることとしても良い。 By setting a block without any gap (no gap) and calculating a reduced motion vector for the first reduced delay frame SF1 obtained by reducing the first delayed frame F1, the first and second portions of the first reduced delay frame SF1 are all calculated. Generating two reduced motion vectors SMV1 and / or SMV2 and expanding the first and second reduced motion vectors SMV1, SMV2 to obtain first and second motion vectors MV1 and / or MV2, For the pixel in the interpolation frame IF at the position corresponding to the pixel in the first delay frame F1 corresponding to the pixel in the first reduced delay frame SF1, for example, at the same position, the first and second It is also possible to obtain the third and fourth motion vectors MV3 and MV4 by performing conversion using the motion vectors MV1 and MV2. .
代わりに、第１の遅延フレームＦ１を縮小した第１の縮小遅延フレームＳＦ１内の各画素を中心とする所定の大きさのブロックについて、上記の処理を行うことで、当該画素についての第１の縮小動きベクトルＳＭＶ１及び第２の縮小動きベクトルＳＭＶ２を生成し、第１及び第２の縮小動きベクトルＳＭＶ１、ＳＭＶ２を拡大することで、第１及び第２の動きベクトルＭＶ１及び／又はＭＶ２を得て、上記第１の縮小遅延フレームＳＦ１内の上記の画素に対応する第１の遅延フレームＦ１内の画素に対応する位置、例えば同じ位置にある、補間フレームＩＦ内の画素について、第１及び第２の動きベクトルＭＶ１及びＭＶ２を用いた変換を行うことで、第３及び第４の動きベクトルＭＶ３及びＭＶ４を求めることとしても良い。 Instead, by performing the above processing on a block having a predetermined size centered on each pixel in the first reduced delay frame SF1 obtained by reducing the first delay frame F1, the first delay frame F1 is processed. The reduced motion vector SMV1 and the second reduced motion vector SMV2 are generated, and the first and second reduced motion vectors SMV1 and SMV2 are expanded to obtain the first and second motion vectors MV1 and / or MV2. The first and second pixels corresponding to the pixels in the first delay frame F1 corresponding to the pixels in the first reduced delay frame SF1, for example, the pixels in the interpolation frame IF at the same position The third and fourth motion vectors MV3 and MV4 may be obtained by performing conversion using the motion vectors MV1 and MV2.
図１８（ａ）及び（ｂ）は、動きベクトル変換部１３の動作の具体例を説明するための図である。図１８（ａ）は動きベクトル変換部１３の入力、図１８（ｂ）は動きベクトル変換部１３の出力を示す。
FIGS. 18A and 18B are diagrams for explaining a specific example of the operation of the motion
動きベクトル変換部１３は、図１８（ａ）に示される、第２の遅延フレームＦ２から第１の遅延フレームＦ１への第１の動きベクトルＭＶ１と、現フレームＦ０から第１の遅延フレームＦ１への動きベクトルＭＶ２に対して上記の式（３Ａ）及び式（３Ｂ）を用いて、図１８（ｂ）に示される、第１の遅延フレームＦ１から補間フレームＩＦへの第３の動きベクトルＭＶ３と現フレームＦ０から補間フレームＩＦへの第４の動きベクトルＭＶ４に変換する。図１８（ａ）及び（ｂ）に示す具体例では、ＭＶ１はＶ１／α、ＭＶ２の代わりに対応ブロックなしを示す信号が出力されており、ｔ１は１／６０秒、ｔ２はｔ１の１／２に等しく１／１２０秒であり、上記の式（３Ａ）及び式（３Ｂ）よりＭＶ３はＶ１／２α、ＭＶ４の代わりに対応ブロックなしを示す信号が出力される。
The motion
図１９は、補間フレーム生成部１４の動作の具体例を説明するための図である。図１９は、図８〜図１６と同様に、第１の遅延フレームＦ１上の文字「Ｆ」を表す領域が処理対象ブロックＦ１Ｂａに対応するブロック（非縮小ブロック）Ｆ１Ｂｂとなっており、この文字「Ｆ」が、第２の遅延フレームＦ２および第１の遅延フレームＦ１では見えているが、現フレームＦ０ではクロスハッチングで示す丸ＢＣの陰に隠れており、従って、第２の遅延フレームＦ２内の文字「Ｆ」を表す領域から成るブロックＦ２Ｂ１から得られたテスト補間データＴＤ５と、処理対象ブロックＦ１Ｂａとの差分絶対値和、即ち評価データＥＤ５が最小となる場合を示している。この場合、図１９に示すように補間フレームＩＦから−ＭＶ３動かした位置の第１の遅延フレームＦ１のデータを補間フレームＩＦのデータとして出力する。
このような処理を、補間フレームＩＦ内のすべてのブロックに対して行うことで生成した補間フレームＩＦを第１の遅延フレームＦ１と現フレームＦ０の間に内挿して出力する。
FIG. 19 is a diagram for explaining a specific example of the operation of the interpolation
The interpolation frame IF generated by performing such processing for all the blocks in the interpolation frame IF is interpolated between the first delay frame F1 and the current frame F0 and output.
以上より、本実施の形態では、動きベクトルの評価を行うことにより動きベクトルが精度良く検出され、画像の乱れなく補間フレームを内挿することができる。さらに補間するフレーム前後で物体が隠れたり出現したりする場合でも、画像の乱れなく補間フレームを内挿することができる。 As described above, in the present embodiment, motion vectors are detected with high accuracy, and interpolation frames can be interpolated without image distortion. Furthermore, even when an object is hidden or appears before and after the interpolated frame, the interpolated frame can be interpolated without image distortion.
ここで現フレーム画像縮小部２１、第１の遅延フレーム画像縮小部２２、第２の遅延フレーム画像縮小部２３にて画像縮小処理をした場合と画像縮小処理をしない場合を比較する。画像縮小部２１、２２、２３による画像縮小処理をしない場合、動きベクトル検出部１２では入力画像データがそのまま処理され、画像縮小部２１、２２、２３による画像縮小処理をする場合、動きベクトル検出部１２には縮小画像データが処理される。この時、動きベクトルの探索に当たり、同じ大きさのベクトルの範囲を探索するとした場合、縮小画像を使用した方が広い範囲を探索することができ、従って、大きい動きを検出することができる。
また、縮小画像を用いる場合には、各ブロックに含まれる画素の数が、非縮小画像の各ブロックに含まれる画素の数よりも少なく、各ブロックについての差分絶対値和の計算において計算に用いられる画素の数が少ないので、演算量が減少して、応答性が向上するとともに、回路規模を小さくすることができる。
Here, the case where the image reduction process is performed in the current frame
In the case of using a reduced image, the number of pixels included in each block is smaller than the number of pixels included in each block of the non-reduced image, and is used for calculation in the calculation of the sum of absolute differences for each block. Since the number of pixels to be obtained is small, the amount of calculation is reduced, the responsiveness is improved, and the circuit scale can be reduced.
以上、本発明をハードウェアで実現する場合について説明したが、図１に示される構成の一部又は全部をソフトウエアにより実現することも可能である。その場合の処理を図２０及び図２１を参照して説明する。 The case where the present invention is realized by hardware has been described above, but part or all of the configuration shown in FIG. 1 can also be realized by software. Processing in that case will be described with reference to FIGS.
図２０は、図１に示される構成のうち、フレームメモリ１１、動きベクトル検出部１２、動きベクトル変換部１３及び補間フレーム生成部１４による処理をソフトウェアで実現するための、コンピュータシステムで構成された画像処理装置を示す。図示の画像処理装置は、プロセッサ１０１と、プログラムメモリ１０２と、データメモリ１０３と、入力インターフェース１０４と、出力インターフェース１０５と、これらを接続するバス１０６を有する。
FIG. 20 is composed of a computer system for realizing the processing by the
プロセッサ１０１は、プログラムメモリ１０２に記憶されたプログラムに従って動作し、入力インターフェース１０４を介して入力される画像に対する処理を行う。動作の過程で種々のデータをデータメモリ１０３に記憶させる。処理の結果生成される画像は、インターフェース１０５を介して図１に示す画像表示部１５に供給され、画像表示部１５による表示に用いられる。
以下、プロセッサ１０１により行なわれる処理を図２１を参照して説明する。
The
Hereinafter, processing performed by the
図２１は、図２０の画像処理装置で実施される画像処理方法のフローを示す。 FIG. 21 shows a flow of an image processing method implemented by the image processing apparatus of FIG.
まず、動きベクトル検出ステップＳＴ１では、画像データＦ０と、画像データＦ０に対して１フレーム遅延した画像データＦ１と、画像データＦ０に対して２フレーム分遅延した画像データＦ２を参照して第２の遅延フレームＦ２から第１の遅延フレームＦ１への第１の動きベクトルＭＶ１、及び現フレームＦ０から第１の遅延フレームＦ１への第２の動きベクトルＶ２を生成する。この動作は、図１の動きベクトル検出部１２と同等である。
First, in the motion vector detection step ST1, the second reference is made with reference to the image data F0, the image data F1 delayed by one frame with respect to the image data F0, and the image data F2 delayed by two frames with respect to the image data F0. A first motion vector MV1 from the delay frame F2 to the first delay frame F1 and a second motion vector V2 from the current frame F0 to the first delay frame F1 are generated. This operation is equivalent to the motion
動きベクトル変換ステップＳＴ２では、第１及び第２の動きベクトルＭＶ１及びＭＶ２を、第１の遅延フレームＦ１から補間フレームＩＦ（現フレームＦ０と第１の遅延フレームＦ１の間に挿入される）への第３の動きベクトルＭＶ３と、現フレームＦ０から補間フレームＩＦへの第４の動きベクトルＭＶ４に変換する。この動作は、図１の動きベクトル変換部１３と同等である。
In the motion vector conversion step ST2, the first and second motion vectors MV1 and MV2 are transferred from the first delay frame F1 to the interpolation frame IF (inserted between the current frame F0 and the first delay frame F1). The third motion vector MV3 and the fourth motion vector MV4 from the current frame F0 to the interpolation frame IF are converted. This operation is equivalent to the motion
補間フレーム生成ステップＳＴ３では、第１の遅延フレームＦ１のデータ、現フレームＦ０のデータ、第３の動きベクトルＭＶ３及び第４の動きベクトルＭＶ４から補間フレームＩＦのデータを生成する。補間フレームＩＦのすべてのブロックについて上記の処理が繰り返され、これにより生成された補間フレームＩＦのデータを現フレームＦ０のデータと第１の遅延フレームＦ１のデータの間に挿入した画像データＤＯを生成する。この動作は、図１の補間フレーム生成部１４と同等である。
In the interpolation frame generation step ST3, data of the interpolation frame IF is generated from the data of the first delay frame F1, the data of the current frame F0, the third motion vector MV3, and the fourth motion vector MV4. The above processing is repeated for all the blocks of the interpolation frame IF, and image data DO is generated by inserting the data of the generated interpolation frame IF between the data of the current frame F0 and the data of the first delay frame F1. To do. This operation is equivalent to the interpolation
図２１は、本実施の形態に係る画像表示装置の一部をソフトウェアとして実現したものであり、その効果は、図１の場合と同様である。 FIG. 21 shows a part of the image display apparatus according to the present embodiment realized as software, and the effect is the same as in the case of FIG.
２ 画像縮小部、 ３ ブロック切り出し部、 ４ テスト補間部、 ５ 補間データ評価部、 ６ 動きベクトル決定部、 ７ 動きベクトル拡大部、 １０ 画像処理装置、 １１ フレームメモリ、 １２ 動きベクトル検出部、 １３ 動きベクトル変換部、 １４ 補間フレーム生成部、 １５ 画像表示部、 ２１ 現フレーム画像縮小部、 ２２ 第１の遅延フレーム画像縮小部、 ２３ 第２の遅延フレーム画像縮小部、 ３１ 現フレームブロック切り出し部、 ３２ 第２の遅延フレームブロック切り出し部、 ３３ 第１の遅延フレームブロック切り出し部。 2 image reduction unit, 3 block cutout unit, 4 test interpolation unit, 5 interpolation data evaluation unit, 6 motion vector determination unit, 7 motion vector enlargement unit, 10 image processing device, 11 frame memory, 12 motion vector detection unit, 13 motion Vector conversion unit, 14 interpolation frame generation unit, 15 image display unit, 21 current frame image reduction unit, 22 first delay frame image reduction unit, 23 second delay frame image reduction unit, 31 current frame block cutout unit, 32 A second delayed frame block cutout unit, 33 a first delayed frame block cutout unit.
Claims (14)
前記第１の遅延フレームのデータ及び前記現フレームの２フレーム前のフレームである第２の遅延フレームのデータを参照して前記第２の遅延フレームから前記第１の遅延フレームへの第１の動きベクトルを算出し、
前記現フレームのデータ及び前記第１の遅延フレームのデータを参照して前記現フレームから前記第１の遅延フレームへの第２の動きベクトルを算出する動きベクトル検出部と、
前記第１の動きベクトルを前記第１の遅延フレームから前記補間フレームへの第３の動きベクトルに変換し、
前記第２の動きベクトルを前記現フレームから前記補間フレームへの第４の動きベクトルに変換する動きベクトル変換部と、
前記第３の動きベクトル、前記第４の動きベクトル、前記第１の遅延フレームのデータ、及び前記現フレームのデータから、前記補間フレームのデータを生成し、前記補間フレームのデータを前記現フレームのデータと前記第１の遅延フレームのデータの間に挿入した画像データを出力する補間フレーム生成部とを有し、
前記動きベクトル検出部は、
前記現フレームを縮小して現縮小フレームを出力し、前記第１の遅延フレームを縮小して第１の縮小遅延フレームを出力し、前記第２の遅延フレームを縮小して第２の縮小遅延フレームを出力する画像縮小部と、
前記補間フレームの補間対象ブロックに対応する、前記第１の縮小遅延フレーム内のブロックを処理対象ブロックとして設定し、
前記第２の縮小遅延フレームの一部をなすブロックのデータ及び前記現縮小フレームの一部をなすブロックのデータの画素ごとの平均値で構成される第１群のテスト補間データと、
前記現フレームの一部をなすブロックのデータで構成される第２群のテスト補間データと、
前記第２の縮小遅延フレームのブロックデータ構成される第３群のテスト補間データと
を含む複数のテスト補間データを出力するテスト補間部と、
前記第１乃至第３群のテスト補間データのうち、前記処理対象ブロックのデータに対する前記各テスト補間データの相関の強さを評価し、該評価の結果を示す複数の評価データを出力する補間データ評価部と、
前記複数の評価データのうち最も相関の強いことを示す前記評価データを生じさせた前記テスト補間データに対応する動きベクトルを第１の縮小動きベクトル及び第２の縮小動きベクトルの少なくとも一方として出力する動きベクトル決定部と、
前記第１の縮小動きベクトル及び第２の縮小動きベクトルの少なくとも一方を拡大して前記第１及び第２の動きベクトルの少なくとも一方として出力する動きベクトル拡大部とを有し、
前記第１群のテスト補間データは、複数の前記第２の縮小遅延フレームのブロックのデータ及び複数の前記現縮小フレームのブロックから得られ、
前記第２群のテスト補間データは、複数の前記現縮小フレームのブロックから得られ、
前記第３群のテスト補間データは、複数の前記第２の縮小遅延フレームのブロックから得られる
ことを特徴とする画像処理装置。 In an image processing apparatus for inserting an interpolation frame between a current frame of an image and a first delay frame which is a frame one frame before the current frame,
The first movement from the second delay frame to the first delay frame with reference to the data of the first delay frame and the data of the second delay frame which is a frame two frames before the current frame Calculate the vector,
A motion vector detection unit that calculates a second motion vector from the current frame to the first delay frame with reference to the data of the current frame and the data of the first delay frame;
Converting the first motion vector into a third motion vector from the first delay frame to the interpolated frame;
A motion vector converter that converts the second motion vector into a fourth motion vector from the current frame to the interpolated frame;
The interpolation frame data is generated from the third motion vector, the fourth motion vector, the first delay frame data, and the current frame data, and the interpolation frame data is converted into the current frame data. An interpolation frame generator for outputting image data inserted between the data and the data of the first delay frame,
The motion vector detection unit
The current frame is reduced to output a current reduced frame, the first delay frame is reduced to output a first reduced delay frame, and the second delay frame is reduced to a second reduced delay frame. An image reduction unit that outputs
A block in the first reduced delay frame corresponding to the interpolation target block of the interpolation frame is set as a processing target block;
A first group of test interpolation data comprising an average value for each pixel of block data forming part of the second reduced delay frame and block data forming part of the current reduced frame;
A second group of test interpolation data composed of block data forming part of the current frame;
A test interpolation unit that outputs a plurality of test interpolation data including a third group of test interpolation data configured of block data of the second reduced delay frame;
Interpolation data that evaluates the strength of correlation of each test interpolation data with respect to the data of the processing target block among the first to third groups of test interpolation data and outputs a plurality of evaluation data indicating the results of the evaluation An evaluation unit;
A motion vector corresponding to the test interpolation data that has generated the evaluation data indicating the strongest correlation among the plurality of evaluation data is output as at least one of the first reduced motion vector and the second reduced motion vector. A motion vector determination unit;
A motion vector enlargement unit that enlarges at least one of the first reduced motion vector and the second reduced motion vector and outputs it as at least one of the first and second motion vectors;
The first group of test interpolation data is obtained from a plurality of blocks of the second reduced delay frame and a plurality of blocks of the current reduced frame;
The second group of test interpolation data is obtained from a plurality of blocks of the current reduced frame;
The image processing apparatus according to claim 3, wherein the third group of test interpolation data is obtained from a plurality of blocks of the second reduced delay frame.
各々前記第１の縮小遅延フレーム内の複数の画素から成る複数のブロックを順次処理対象ブロックとして選択し、該処理対象ブロックを中心として、
互いに点対称の位置にある、前記第２の縮小遅延フレーム内のブロックと、前記現縮小フレーム内のブロックとを抽出し、抽出した前記第２の縮小遅延フレームのブロックのデータと抽出した前記現縮小遅延フレームのブロックのデータの画素毎の平均値を、前記第１群のテスト補間データとして求め、
前記抽出した前記現縮小フレーム内の前記ブロックのデータを前記第２群のテスト補間データとして出力し、
前記抽出した前記第２の縮小遅延フレーム内の前記ブロックのデータを前記第３群のテスト補間データとして出力する
ことを特徴とする請求項１に記載の画像処理装置。 The test interpolation unit includes:
A plurality of blocks each consisting of a plurality of pixels in each of the first reduced delay frames are sequentially selected as processing target blocks, and the processing target block is the center.
A block in the second reduced delay frame and a block in the current reduced frame, which are located symmetrically with respect to each other, are extracted, and data of the extracted block of the second reduced delay frame and the extracted current block are extracted. An average value for each pixel of the data of the block of the reduced delay frame is obtained as the test interpolation data of the first group,
Outputting the data of the block in the extracted current reduced frame as the second group of test interpolation data;
2. The image processing apparatus according to claim 1, wherein the extracted data of the block in the second reduced delay frame is output as the third group of test interpolation data.
該複数個のテスト補間データ生成部は、それぞれ、前記現縮小フレーム内の互いに異なる位置ブロックのデータと前記第２の縮小遅延フレーム内の互いに異なる位置のブロックのデータを画素ごとに平均することで得られるデータを前記第１群のテスト補間データとして算出する
ことを特徴とする請求項２に記載の画像処理装置。 The test interpolation unit has a plurality of test interpolation data generation units,
Each of the plurality of test interpolation data generation units averages the data of different position blocks in the current reduced frame and the data of blocks in different positions in the second reduced delay frame for each pixel. The image processing apparatus according to claim 2, wherein the obtained data is calculated as the first group of test interpolation data.
前記テスト補間部から出力される前記複数のテスト補間データの各々と、
前記処理対象ブロックのデータとの間の相関を示す相関値を算出し、
該複数のテスト補間データについてそれぞれ求められる複数の相関値に基づいて前記複数の評価データを生成する
ことを特徴とする請求項１から３までのいずれか１項に記載の画像処理装置。 The interpolation data evaluation unit
Each of the plurality of test interpolation data output from the test interpolation unit,
Calculating a correlation value indicating a correlation with the data of the processing target block;
The image processing apparatus according to any one of claims 1 to 3, wherein the plurality of evaluation data are generated based on a plurality of correlation values respectively obtained for the plurality of test interpolation data.
前記テスト補間部から出力される前記複数のテスト補間データと
前記処理対象ブロックのデータとの間の差分の絶対値の総和である差分絶対値和を前記相関値として算出する
ことを特徴とする請求項１から４までのいずれか１項に記載の画像処理装置。 The interpolation data evaluation unit
The difference absolute value sum that is a sum of absolute values of differences between the plurality of test interpolation data output from the test interpolation unit and data of the processing target block is calculated as the correlation value. Item 5. The image processing apparatus according to any one of Items 1 to 4.
前記処理対象ブロックのデータと、前記複数のテスト補間データとの差分絶対値和を算出する複数個の相関値算出部を有する
ことを特徴とする請求項５に記載の画像処理装置。 The interpolation data evaluation unit
The image processing apparatus according to claim 5, further comprising a plurality of correlation value calculation units that calculate a sum of absolute differences between the data of the processing target block and the plurality of test interpolation data.
前記補間フレーム生成部から出力された画像データに基づく画像を表示する画像表示部と
を有することを特徴とする画像表示装置。 The image processing apparatus according to any one of claims 1 to 6,
An image display device comprising: an image display unit that displays an image based on the image data output from the interpolation frame generation unit.
前記第１の遅延フレームのデータ及び前記現フレームの２フレーム前のフレームである第２の遅延フレームのデータを参照して前記第２の遅延フレームから前記第１の遅延フレームへの第１の動きベクトルを算出し、
前記現フレームのデータ及び前記第１の遅延フレームのデータを参照して前記現フレームから前記第１の遅延フレームへの第２の動きベクトルを算出する動きベクトル検出ステップと、
前記第１の動きベクトルを前記第１の遅延フレームから前記補間フレームへの第３の動きベクトルに変換し、
前記第２の動きベクトルを前記現フレームから前記補間フレームへの第４の動きベクトルに変換する動きベクトル変換ステップと、
前記第３の動きベクトル、前記第４の動きベクトル、前記第１の遅延フレームのデータ、及び前記現フレームのデータから、前記補間フレームのデータを生成し、前記補間フレームのデータを前記現フレームのデータと前記第１の遅延フレームのデータの間に挿入した画像データを出力する補間フレーム生成ステップとを有し、
前記動きベクトル検出ステップは、
前記現フレームを縮小して現縮小フレームを出力し、前記第１の遅延フレームを縮小して第１の縮小遅延フレームを出力し、前記第２の遅延フレームを縮小して第２の縮小遅延フレームを出力する画像縮小ステップと、
前記補間フレームの補間対象ブロックに対応する、前記第１の縮小遅延フレーム内のブロックを処理対象ブロックとして設定し、
前記第２の縮小遅延フレームの一部をなすブロックのデータ及び前記現縮小フレームの一部をなすブロックのデータの画素ごとの平均値で構成される第１群のテスト補間データと、
前記現フレームの一部をなすブロックのデータで構成される第２群のテスト補間データと、
前記第２の縮小遅延フレームのブロックデータで構成される第３群のテスト補間データと
を含む複数のテスト補間データを出力するテスト補間ステップと、
前記第１乃至第３群のテスト補間データのうち、前記処理対象ブロックのデータに対する前記各テスト補間データの相関の強さを評価し、該評価の結果を示す複数の評価データを出力する補間データ評価ステップと、
前記複数の評価データのうち最も相関の強いことを示す前記評価データを生じさせた前記テスト補間データに対応する動きベクトルを第１の縮小動きベクトル及び第２の縮小動きベクトルの少なくとも一方として出力する動きベクトル決定ステップと、
前記第１の縮小動きベクトル及び第２の縮小動きベクトルの少なくとも一方を拡大して前記第１及び第２の動きベクトルの少なくとも一方として出力する動きベクトル拡大ステップとを有し、
前記第１群のテスト補間データは、複数の前記第２の縮小遅延フレームのブロックのデータ及び複数の前記現縮小フレームのブロックから得られ、
前記第２群のテスト補間データは、複数の前記現縮小フレームのブロックから得られ、
前記第３群のテスト補間データは、複数の前記第２の縮小遅延フレームのブロックから得られる
ことを特徴とする画像処理方法。 In an image processing method of inserting an interpolation frame between a current frame of an image and a first delay frame that is a frame one frame before the current frame,
The first movement from the second delay frame to the first delay frame with reference to the data of the first delay frame and the data of the second delay frame which is a frame two frames before the current frame Calculate the vector,
A motion vector detection step of calculating a second motion vector from the current frame to the first delay frame with reference to the data of the current frame and the data of the first delay frame;
Converting the first motion vector into a third motion vector from the first delay frame to the interpolated frame;
A motion vector converting step of converting the second motion vector into a fourth motion vector from the current frame to the interpolated frame;
The interpolation frame data is generated from the third motion vector, the fourth motion vector, the first delay frame data, and the current frame data, and the interpolation frame data is converted into the current frame data. An interpolation frame generating step of outputting image data inserted between the data and the data of the first delay frame,
The motion vector detection step includes
The current frame is reduced to output a current reduced frame, the first delay frame is reduced to output a first reduced delay frame, and the second delay frame is reduced to a second reduced delay frame. An image reduction step for outputting
A block in the first reduced delay frame corresponding to the interpolation target block of the interpolation frame is set as a processing target block;
A first group of test interpolation data comprising an average value for each pixel of block data forming part of the second reduced delay frame and block data forming part of the current reduced frame;
A second group of test interpolation data composed of block data forming part of the current frame;
A test interpolation step for outputting a plurality of test interpolation data including a third group of test interpolation data composed of block data of the second reduced delay frame;
Interpolation data that evaluates the strength of correlation of each test interpolation data with respect to the data of the processing target block among the first to third groups of test interpolation data and outputs a plurality of evaluation data indicating the results of the evaluation An evaluation step;
A motion vector corresponding to the test interpolation data that has generated the evaluation data indicating the strongest correlation among the plurality of evaluation data is output as at least one of the first reduced motion vector and the second reduced motion vector. A motion vector determination step;
A motion vector expansion step of expanding at least one of the first reduced motion vector and the second reduced motion vector and outputting it as at least one of the first and second motion vectors;
The first group of test interpolation data is obtained from a plurality of blocks of the second reduced delay frame and a plurality of blocks of the current reduced frame;
The second group of test interpolation data is obtained from a plurality of blocks of the current reduced frame;
The image processing method of claim 3, wherein the third group of test interpolation data is obtained from a plurality of blocks of the second reduced delay frame.
各々前記第１の縮小遅延フレーム内の複数の画素から成る複数のブロックを順次処理対象ブロックとして選択し、該処理対象ブロックを中心として、
互いに点対称の位置にある、前記第２の縮小遅延フレーム内のブロックと、前記現縮小フレーム内のブロックとを抽出し、抽出した前記第２の縮小遅延フレームのブロックのデータと抽出した前記現縮小遅延フレームのブロックのデータの画素毎の平均値を、前記第１群のテスト補間データとして求め、
前記抽出した前記現縮小フレーム内の前記ブロックのデータを前記第２群のテスト補間データとして出力し、
前記抽出した前記第２の縮小遅延フレーム内の前記ブロックのデータを前記第３群のテスト補間データとして出力する
ことを特徴とする請求項８に記載の画像処理方法。 The test interpolation step includes:
A plurality of blocks each consisting of a plurality of pixels in each of the first reduced delay frames are sequentially selected as processing target blocks, and the processing target block is the center.
A block in the second reduced delay frame and a block in the current reduced frame, which are located symmetrically with respect to each other, are extracted, and data of the extracted block of the second reduced delay frame and the extracted current block are extracted. An average value for each pixel of the data of the block of the reduced delay frame is obtained as the test interpolation data of the first group,
Outputting the data of the block in the extracted current reduced frame as the second group of test interpolation data;
9. The image processing method according to claim 8, wherein the data of the block in the extracted second reduced delay frame is output as the third group of test interpolation data.
該複数個のテスト補間データ生成ステップは、それぞれ、前記現縮小フレーム内の互いに異なる位置ブロックのデータと前記第２の縮小遅延フレーム内の互いに異なる位置のブロックのデータを画素ごとに平均することで得られるデータを前記第１群のテスト補間データとして算出する
ことを特徴とする請求項９に記載の画像処理方法。 The test interpolation step includes a plurality of test interpolation data generation steps,
In the plurality of test interpolation data generation steps, data of blocks in different positions in the current reduced frame and data of blocks in different positions in the second reduced delay frame are averaged for each pixel. The image processing method according to claim 9, wherein the obtained data is calculated as the first group of test interpolation data.
前記テスト補間ステップから出力される前記複数のテスト補間データの各々と、
前記処理対象ブロックのデータとの間の相関を示す相関値を算出し、
該複数のテスト補間データについてそれぞれ求められる複数の相関値に基づいて前記複数の評価データを生成する
ことを特徴とする請求項８から１０までのいずれか１項に記載の画像処理方法。 The interpolation data evaluation step includes
Each of the plurality of test interpolation data output from the test interpolation step;
Calculating a correlation value indicating a correlation with the data of the processing target block;
The image processing method according to any one of claims 8 to 10, wherein the plurality of evaluation data are generated based on a plurality of correlation values respectively obtained for the plurality of test interpolation data.
前記テスト補間ステップから出力される前記複数のテスト補間データと
前記処理対象ブロックのデータとの間の差分の絶対値の総和である差分絶対値和を前記相関値として算出する
ことを特徴とする請求項８から１１までのいずれか１項に記載の画像処理方法。 The interpolation data evaluation step includes
The difference absolute value sum that is a sum of absolute values of differences between the plurality of test interpolation data output from the test interpolation step and the data of the processing target block is calculated as the correlation value. Item 12. The image processing method according to any one of Items 8 to 11.
前記処理対象ブロックのデータと、前記複数のテスト補間データとの差分絶対値和を算出する複数個の相関値算出ステップを有する
ことを特徴とする請求項１２に記載の画像処理方法。 The interpolation data evaluation step includes
The image processing method according to claim 12, further comprising: a plurality of correlation value calculation steps for calculating a sum of absolute differences between the data of the processing target block and the plurality of test interpolation data.
前記補間フレーム生成ステップから出力された画像データに基づく画像を表示する画像表示ステップと
を有することを特徴とする画像表示方法。 An image processing method according to any one of claims 8 to 13,
An image display method comprising: an image display step for displaying an image based on the image data output from the interpolation frame generation step.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011243198A JP2013098961A (en) | 2011-11-07 | 2011-11-07 | Image processing apparatus and method, and picture display apparatus and method |
| CN201210422396.XA CN103096009B (en) | 2011-11-07 | 2012-10-29 | Image processing apparatus and method and image display device and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011243198A JP2013098961A (en) | 2011-11-07 | 2011-11-07 | Image processing apparatus and method, and picture display apparatus and method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2013098961A true JP2013098961A (en) | 2013-05-20 |
Family
ID=48208099
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011243198A Pending JP2013098961A (en) | 2011-11-07 | 2011-11-07 | Image processing apparatus and method, and picture display apparatus and method |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP2013098961A (en) |
| CN (1) | CN103096009B (en) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103501418A (en) * | 2013-09-17 | 2014-01-08 | 广东威创视讯科技股份有限公司 | Image resizing splicing method and system and image resizing splicing control device |
| WO2015170410A1 (en) * | 2014-05-09 | 2015-11-12 | 日立マクセル株式会社 | Image playback device, display device, and transmission device |
| JP6671101B2 (en) * | 2015-02-05 | 2020-03-25 | シナプティクス・ジャパン合同会社 | Image processing circuit, display panel driver, display device, and image processing method |
| CN113296731B (en) * | 2021-05-25 | 2023-04-11 | 电子科技大学 | Multichannel data acquisition data caching method based on network on chip |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2750558B1 (en) * | 1996-06-28 | 1998-08-28 | Thomson Multimedia Sa | FRAME INTERPOLATION METHOD FOR FILM MODE COMPATIBILITY |
| JP4053490B2 (en) * | 2003-03-25 | 2008-02-27 | 株式会社東芝 | Interpolated image creation method for frame interpolation, image display system using the same, and interpolated image creation apparatus |
| JP4220284B2 (en) * | 2003-03-28 | 2009-02-04 | 株式会社東芝 | Frame interpolation method, apparatus, and image display system using the same |
| KR100955161B1 (en) * | 2004-05-04 | 2010-04-28 | 콸콤 인코포레이티드 | Method and apparatus for motion compensated frame rate up conversion |
| JP4359223B2 (en) * | 2004-10-29 | 2009-11-04 | 株式会社 日立ディスプレイズ | Video interpolation device, frame rate conversion device using the same, and video display device |
| JP4322904B2 (en) * | 2006-09-19 | 2009-09-02 | 株式会社東芝 | Interpolation frame creation device, motion vector detection device, interpolation frame creation method, motion vector detection method, interpolation frame creation program, and motion vector detection program |
-
2011
- 2011-11-07 JP JP2011243198A patent/JP2013098961A/en active Pending
-
2012
- 2012-10-29 CN CN201210422396.XA patent/CN103096009B/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| CN103096009A (en) | 2013-05-08 |
| CN103096009B (en) | 2015-09-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4398925B2 (en) | Interpolation frame generation method, interpolation frame generation apparatus, and interpolation frame generation program | |
| EP2509307A1 (en) | Image processing device and image processing method | |
| EP2375737A1 (en) | Device and method for frame rate conversion | |
| US8817869B2 (en) | Image processing device and method, and image display device and method | |
| JP2013098961A (en) | Image processing apparatus and method, and picture display apparatus and method | |
| JP2013048375A (en) | Device and method for generating motion compensation frame | |
| JP2010147538A (en) | Image processing apparatus, method, and program | |
| US8744127B2 (en) | Image processing apparatus and method for improving frame rate while maintaining natural movement of object on images | |
| JP2012095048A (en) | Image processor, image processing method, image display device, and image display method | |
| US8942503B1 (en) | Global motion vector calculation using phase plane correlation | |
| JP5975791B2 (en) | Image processing apparatus and method, and image display apparatus and method | |
| JP5737072B2 (en) | Motion compensation frame generation apparatus and method | |
| KR20100003176A (en) | System and method for motion estimation of digital video using multiple recursion rules | |
| JP5574830B2 (en) | Image processing apparatus and method, and image display apparatus and method | |
| JP2009118456A (en) | Image interpolation apparatus and method | |
| JP5887763B2 (en) | Motion compensation frame generation apparatus and method | |
| JP5824937B2 (en) | Motion vector deriving apparatus and method | |
| JPWO2009116586A1 (en) | Image processing method, image processing apparatus, and image processing program | |
| JP2013030838A (en) | Motion vector derivation device and method | |
| JP2007074593A (en) | Image processor and processing method, program and recording medium | |
| JP2012088942A (en) | Image processing apparatus and method, and image display device and method | |
| JP5867289B2 (en) | Motion vector generation apparatus and method | |
| JP5891913B2 (en) | Video signal processing apparatus and method | |
| JP4650682B2 (en) | Image processing apparatus and method, program, and recording medium | |
| JP2014007658A (en) | Motion vector derivation device, method and program |