JP2020017783A - Interpolation frame generation apparatus and method - Google Patents

Interpolation frame generation apparatus and method Download PDF

Info

Publication number
JP2020017783A
JP2020017783A JP2018137344A JP2018137344A JP2020017783A JP 2020017783 A JP2020017783 A JP 2020017783A JP 2018137344 A JP2018137344 A JP 2018137344A JP 2018137344 A JP2018137344 A JP 2018137344A JP 2020017783 A JP2020017783 A JP 2020017783A
Authority
JP
Japan
Prior art keywords
pixel
frame
pixels
extracted
interpolation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018137344A
Other languages
Japanese (ja)
Inventor
吉田　篤史
Atsushi Yoshida
篤史 吉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2018137344A priority Critical patent/JP2020017783A/en
Publication of JP2020017783A publication Critical patent/JP2020017783A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Television Systems (AREA)

Abstract

To provide an interpolation frame generation apparatus capable of generating an interpolation pixel with less visual discomfort, even if a pixel to be extracted for generating the interpolation pixel is out of the effective pixel range of the real frame.SOLUTION: An pixel number detector 3 detects the pixel number d from the interpolation pixel up to the end of the effective pixel range of the interpolation frame. A reduction pixel number generation part 4 generates a reduction pixel number by reducing the pixel number d with a reduction rate less than 1. An extraction pixel position determination part 5 compares the pixel number, from the interpolation pixel to the extraction pixel in the first and second frames indicated by a motion vector MV detected for generating the interpolation pixel, and a reduction pixel number dr and selects the smaller one, and then determines the position of an extraction pixel to be extracted from the first and second frames for generating the interpolation pixel. An interpolation pixel generation part 60 generates an interpolation pixel by using the extraction pixels in the first and second frames.SELECTED DRAWING: Figure 1

Description

本発明は、一対の実フレーム間に内挿する補間フレームを生成する補間フレーム生成装置及び方法に関する。   The present invention relates to an interpolation frame generation apparatus and method for generating an interpolation frame to be interpolated between a pair of real frames.

映像信号のフレームレートを変換するフレームレート変換装置は、一対の実フレーム間に内挿する補間フレームを生成する補間フレーム生成装置を備える。フレームレート変換装置は、画像の動きを検出する動きベクトル検出装置を備え、補間フレーム生成装置は動きベクトルに基づいて補間フレームを構成する各画素位置の補間画素を生成する。   A frame rate conversion device that converts a frame rate of a video signal includes an interpolation frame generation device that generates an interpolation frame to be interpolated between a pair of real frames. The frame rate conversion device includes a motion vector detection device that detects a motion of an image, and the interpolation frame generation device generates an interpolation pixel at each pixel position forming an interpolation frame based on the motion vector.

特開２００８−２４５１３５号公報JP 2008-245135 A 特許第５６８２４５４号公報Japanese Patent No. 5682454

補間フレーム内の補間画素を生成するには、動きベクトルに基づいて選択される、一対の実フレーム双方の画素が必要である。しかしながら、動きベクトルに基づいて補間画素を生成するために画素を選択しようとするときに、選択しようとする画素が実フレームの有効画素範囲外に位置することがある。このような場合には、何らかの対処をして補間画素を生成することが必要となる。   Generating an interpolated pixel in an interpolated frame requires pixels from both of a pair of real frames, selected based on the motion vector. However, when selecting a pixel to generate an interpolation pixel based on a motion vector, the pixel to be selected may be located outside the effective pixel range of the real frame. In such a case, it is necessary to generate an interpolation pixel by taking some measures.

特許文献１には、一対の実フレームのうち、補間画素を生成するために選択しようとする画素が有効画素範囲内に位置する実フレーム内の画素のみを用いて補間画素を生成することが記載されている。特許文献２には、有効画素範囲外に位置する画素に代えて、有効画素範囲の最端部に位置する画素を用いて補間画素を生成することが記載されている。   Patent Literature 1 describes that, out of a pair of real frames, a pixel to be selected to generate an interpolated pixel generates an interpolated pixel using only pixels in an actual frame located within an effective pixel range. Have been. Patent Literature 2 describes that an interpolated pixel is generated by using a pixel located at the end of the effective pixel range instead of a pixel located outside the effective pixel range.

特許文献１に記載の方法は、いわゆる片側補間であり、正しい動きベクトルが検出されれば適切な補間画素が生成されるが、フレームの端部では正しい動きベクトルの検出が困難であり、動きベクトルが誤検出されると視覚的な違和感が大きくなってしまう。特許文献２に記載の方法は、有効画素範囲外に位置する複数の画素が有効画素範囲の最端部に位置する画素に置換されて補間画素が生成されるため、動きの速い画像において動きがホールドされたような補間画素が生成されてしまう。   The method described in Patent Literature 1 is a so-called one-sided interpolation. If a correct motion vector is detected, an appropriate interpolation pixel is generated. However, it is difficult to detect a correct motion vector at an end of a frame. Is wrongly detected, the visual discomfort is increased. According to the method described in Patent Document 2, a plurality of pixels located outside the effective pixel range are replaced with pixels located at the end of the effective pixel range to generate an interpolation pixel. An interpolated pixel as if held is generated.

本発明は、補間画素を生成するために抽出しようとする画素が実フレームの有効画素範囲外に位置する場合であっても、視覚的な違和感の少ない補間画素を生成することができる補間フレーム生成装置及び方法を提供することを目的とする。   The present invention provides an interpolated frame generation method capable of generating an interpolated pixel with less visual discomfort even when a pixel to be extracted to generate an interpolated pixel is located outside an effective pixel range of a real frame. It is an object to provide an apparatus and a method.

本発明は、映像信号における時間方向に隣接する第１のフレームと第２のフレームとの間に内挿する補間フレーム内において生成しようとする補間画素から、前記補間フレームの有効画素範囲の端部までの画素数を検出する画素数検出部と、前記画素数検出部が検出した画素数を１未満の低減率で低減させた低減画素数を生成する低減画素数生成部と、前記補間画素を生成するために検出された動きベクトルが示す、前記補間画素から前記第１のフレーム内の抽出画素までの画素数と、前記低減画素数とを比較して小さい方を選択して、前記補間画素を生成するために前記第１のフレーム内より抽出する抽出画素の位置を決定し、前記動きベクトルが示す、前記補間画素から前記第２のフレーム内の抽出画素までの画素数と、前記低減画素数とを比較して小さい方を選択して、前記補間画素を生成するために前記第２のフレーム内より抽出する抽出画素の位置を決定する抽出画素位置決定部と、前記抽出画素位置決定部によって位置が決定された前記第１のフレーム内の抽出画素と前記第２のフレーム内の抽出画素とを用いて前記補間画素を生成する補間画素生成部とを備える補間フレーム生成装置を提供する。   According to the present invention, an interpolation pixel to be generated in an interpolation frame interpolated between a first frame and a second frame adjacent to each other in a time direction in a video signal is converted to an end of an effective pixel range of the interpolation frame. A pixel number detection unit that detects the number of pixels up to, a reduced pixel number generation unit that generates a reduced pixel number obtained by reducing the number of pixels detected by the pixel number detection unit at a reduction rate of less than 1, and the interpolation pixel. The motion vector detected to be generated indicates that the number of pixels from the interpolated pixel to the extracted pixel in the first frame is compared with the reduced pixel number, and a smaller one is selected, and the interpolated pixel is selected. Determining the position of an extracted pixel to be extracted from within the first frame to generate the number of pixels from the interpolated pixel to the extracted pixel in the second frame indicated by the motion vector; number And selecting a smaller one to determine a position of an extracted pixel to be extracted from within the second frame in order to generate the interpolated pixel, and a position determined by the extracted pixel position determining unit. An interpolated frame generation device comprising: an interpolated pixel generation unit that generates the interpolated pixel by using the extracted pixels in the first frame and the extracted pixels in the second frame for which is determined.

本発明は、映像信号における時間方向に隣接する第１のフレームと第２のフレームとの間に内挿する補間フレーム内において生成しようとする補間画素から、前記補間フレームの有効画素範囲の端部までの画素数を検出し、検出した画素数を１未満の低減率で低減させた低減画素数を生成し、前記補間画素を生成するために検出された動きベクトルが示す、前記補間画素から前記第１のフレーム内の抽出画素までの画素数と、前記低減画素数とを比較して小さい方を選択して、前記補間画素を生成するために前記第１のフレーム内より抽出する抽出画素の位置を決定し、前記動きベクトルが示す、前記補間画素から前記第２のフレーム内の抽出画素までの画素数と、前記低減画素数とを比較して小さい方を選択して、前記補間画素を生成するために前記第２のフレーム内より抽出する抽出画素の位置を決定し、位置を決定した前記第１のフレーム内の抽出画素と前記第２のフレーム内の抽出画素とを用いて前記補間画素を生成する補間フレーム生成方法を提供する。   According to the present invention, an interpolation pixel to be generated in an interpolation frame interpolated between a first frame and a second frame adjacent to each other in a time direction in a video signal is converted to an end of an effective pixel range of the interpolation frame. Detects the number of pixels up to, generates a reduced number of pixels by reducing the detected number of pixels at a reduction rate of less than 1, the motion vector detected to generate the interpolation pixel, from the interpolation pixel The number of pixels up to the extracted pixels in the first frame is compared with the number of reduced pixels, and the smaller one is selected, and the smaller one of the extracted pixels extracted from the first frame to generate the interpolated pixels is selected. The position is determined, the motion vector indicates, the number of pixels from the interpolation pixel to the extraction pixel in the second frame, and the reduced pixel number is compared to select the smaller one, and the interpolation pixel is selected. Generate The position of the extracted pixel to be extracted from within the second frame is determined, and the interpolated pixel is extracted using the extracted pixel in the first frame and the extracted pixel in the second frame whose position has been determined. A method for generating an interpolation frame to be generated is provided.

本発明の補間フレーム生成装置及び方法によれば、補間画素を生成するために抽出しようとする画素が実フレームの有効画素範囲外に位置する場合であっても、視覚的な違和感の少ない補間画素を生成することができる。   ADVANTAGE OF THE INVENTION According to the interpolation frame generation apparatus and method of this invention, even if the pixel which is going to be extracted to generate an interpolation pixel is located outside the effective pixel range of the real frame, the interpolation pixel with less visual discomfort Can be generated.

一実施形態の補間フレーム生成装置を備えるフレームレート変換装置の概略的な構成を示すブロック図である。It is a block diagram showing a schematic structure of a frame rate conversion device provided with an interpolation frame generation device of one embodiment. 動きベクトルに基づいて補間画素を生成する動作を概念的に示し、補間画素を生成するため画素が実フレームの有効画素範囲外に位置する状態の一例を示す図である。FIG. 9 is a diagram conceptually illustrating an operation of generating an interpolation pixel based on a motion vector, and illustrating an example of a state where a pixel is located outside an effective pixel range of a real frame in order to generate an interpolation pixel. 補間画素から水平方向及び垂直方向の有効画素範囲の端部までの画素数を示す図である。It is a figure which shows the pixel number from an interpolation pixel to the edge part of the effective pixel range of a horizontal direction and a vertical direction. 動きベクトルに基づいて選択される画素が実フレームの水平方向の有効画素範囲外に位置する一例を示す図である。FIG. 11 is a diagram illustrating an example in which a pixel selected based on a motion vector is located outside an effective pixel range in the horizontal direction of a real frame. 図１における低減画素数生成部４の動作を概念的に示す特性図である。FIG. 2 is a characteristic diagram conceptually showing an operation of a reduced pixel number generation unit 4 in FIG. 1. 図１における抽出画素位置決定部５の動作を概念的に示す特性図である。FIG. 2 is a characteristic diagram conceptually showing an operation of an extracted pixel position determining unit 5 in FIG. 1. 図１における補間画素生成部６０が図４に示す一例において補間画素をどのように生成するかを示す図である。FIG. 5 is a diagram illustrating how the interpolation pixel generation unit 60 in FIG. 1 generates an interpolation pixel in the example illustrated in FIG. 4. 一実施形態の補間フレーム生成装置の動作、及び、一実施形態の補間フレーム生成方法を示すフローチャートである。3 is a flowchart illustrating an operation of the interpolation frame generation device according to the embodiment and an interpolation frame generation method according to the embodiment;

以下、一実施形態の補間フレーム生成装置及び方法について、添付図面を参照して説明する。まず、図１を用いて、一実施形態の補間フレーム生成装置を備えるフレームレート変換装置の概略的な構成及び動作を説明する。   Hereinafter, an interpolation frame generation apparatus and method according to an embodiment will be described with reference to the accompanying drawings. First, a schematic configuration and operation of a frame rate conversion device including an interpolation frame generation device according to an embodiment will be described with reference to FIG.

図１において、動きベクトル検出部１及びフレームメモリ２には、入力映像信号Ｓｉｎの各フレームｆ０（第１のフレーム）を構成する画素が順に入力される。入力映像信号Ｓｉｎのフレームレート（フレーム周波数）は、例えば６０Ｈｚである。フレームｆ０は実フレームであり、フレームｆ０を現在フレームとする。フレームメモリ２は、フレームｆ０の全画素を記憶する。   In FIG. 1, the pixels constituting each frame f0 (first frame) of the input video signal Sin are sequentially input to the motion vector detection unit 1 and the frame memory 2. The frame rate (frame frequency) of the input video signal Sin is, for example, 60 Hz. The frame f0 is a real frame, and the frame f0 is a current frame. The frame memory 2 stores all pixels of the frame f0.

フレームメモリ２は、フレームｆ０を１フレーム期間遅延させて、フレームｆ０に対して１フレーム前のフレームｆ１（第２のフレーム）を動きベクトル検出部１に供給する。動きベクトル検出部１に供給されるフレームｆ１のフレームレートは６０Ｈｚである。フレームｆ１は実フレームである。フレームメモリ２は、フレームレート変換メモリとして機能する。フレームメモリ２は、フレームｆ１をフレームレート１２０Ｈｚで読み出して、補間フレーム内挿部６に供給する。   The frame memory 2 delays the frame f0 by one frame period, and supplies a frame f1 (second frame) one frame before the frame f0 to the motion vector detection unit 1. The frame rate of the frame f1 supplied to the motion vector detection unit 1 is 60 Hz. The frame f1 is a real frame. The frame memory 2 functions as a frame rate conversion memory. The frame memory 2 reads the frame f1 at a frame rate of 120 Hz and supplies the frame f1 to the interpolation frame interpolation unit 6.

動きベクトル検出部１に供給されるフレームｆ１と、補間フレーム内挿部６に供給されるフレームｆ１とはフレームレートが異なるが、両者は同じフレームの信号であるため、双方をフレームｆ１と称する。   Although the frame rate supplied to the motion vector detecting section 1 and the frame f1 supplied to the interpolated frame interpolating section 6 are different from each other, they are signals of the same frame, so both are referred to as a frame f1.

フレームｆ０は、動きベクトル検出部１が後述する動きベクトルＭＶを検出するのに要する時間に相当する数十ライン程度だけフレームメモリ２によって遅延され、フレームレート１２０Ｈｚに変換されて、補間フレーム内挿部６に供給される。   The frame f0 is delayed by the frame memory 2 by about several tens of lines corresponding to the time required for the motion vector detection unit 1 to detect a motion vector MV described later, converted to a frame rate of 120 Hz, and inserted into the interpolation frame interpolation unit. 6.

フレームメモリ２に入力されるフレームｆ０と補間フレーム内挿部６に供給されるフレームｆ０とは、数十ライン程度の時間だけずれており、フレームレートが異なるが、両者は同じフレームの信号であるため、双方をフレームｆ０と称する。   The frame f0 input to the frame memory 2 and the frame f0 supplied to the interpolation frame interpolation unit 6 are shifted by about several tens of lines of time and have different frame rates, but both are signals of the same frame. Therefore, both are referred to as a frame f0.

動きベクトル検出部１は、フレームｆ０内の複数の画素よりなるブロックとフレームｆ１内の複数の画素よりなるブロックとの差分値を算出し、差分値の小さい方向に基づき、動きベクトルＭＶを検出する。   The motion vector detection unit 1 calculates a difference value between a block including a plurality of pixels in the frame f0 and a block including a plurality of pixels in the frame f1, and detects the motion vector MV based on a direction in which the difference value is small. .

なお、複数の画素よりなるブロック間の差分値の算出方法は種々の公知技術を用いればよい。例えば、フレームｆ０内の画素とフレームｆ１内の画素との差分値を算出し、その差分値の絶対値を算出し、ブロックごとにその差分値の総和を求めることでブロック間の差分値を算出してもよい。   Note that various known techniques may be used to calculate a difference value between blocks including a plurality of pixels. For example, a difference value between a pixel in the frame f0 and a pixel in the frame f1 is calculated, an absolute value of the difference value is calculated, and a difference value between the blocks is calculated by obtaining a sum of the difference values for each block. May be.

動きベクトルＭＶはフレームメモリ２に一旦書き込まれ、フレームレート１２０Ｈｚのフレームに対応するようにレートが変換されて、画素数検出部３及び抽出画素位置決定部５に供給される。動きベクトル検出部１より出力される動きベクトルＭＶと、抽出画素位置決定部５に供給される動きベクトルＭＶとはレートが異なるが、両者は同じ動きベクトルであるため、双方を動きベクトルＭＶと称する。   The motion vector MV is once written in the frame memory 2, the rate is converted so as to correspond to a frame with a frame rate of 120 Hz, and supplied to the pixel number detecting unit 3 and the extracted pixel position determining unit 5. Although the rates of the motion vector MV output from the motion vector detecting unit 1 and the motion vector MV supplied to the extracted pixel position determining unit 5 are different, both are called the motion vector MV because they are the same motion vector. .

補間フレーム内挿部６は補間画素生成部６０を備える。仮に、動きベクトルＭＶがそのまま補間画素生成部６０に供給されるとすれば、図２に示すように、補間画素生成部６０は、動きベクトルＭＶに基づいてフレームｆ０及びｆ１より選択した一対の画素Ｐ０及びＰ１を用いて、補間フレームｆ０．５内の補間画素Ｐｉを生成する。   The interpolation frame interpolation unit 6 includes an interpolation pixel generation unit 60. Assuming that the motion vector MV is directly supplied to the interpolation pixel generation unit 60, as shown in FIG. 2, the interpolation pixel generation unit 60 generates a pair of pixels selected from the frames f0 and f1 based on the motion vector MV. Using P0 and P1, an interpolation pixel Pi in the interpolation frame f0.5 is generated.

補間画素生成部６０が動きベクトルＭＶをそのまま用いて補間画素Ｐｉを生成しようとすると、動きベクトルＭＶに基づいて選択しようとするフレームｆ０またはｆ１内の画素が有効画素範囲外に位置することがある。図２は、選択しようとする画素Ｐ０がフレームｆ０の有効画素範囲外に位置している例を示している。   When the interpolation pixel generation unit 60 attempts to generate the interpolation pixel Pi using the motion vector MV as it is, the pixel in the frame f0 or f1 to be selected based on the motion vector MV may be located outside the effective pixel range. . FIG. 2 shows an example in which the pixel P0 to be selected is located outside the effective pixel range of the frame f0.

有効画素範囲とは、フルＨＤの映像信号を例とすると、水平１９２０画素、垂直１０８０画素の領域であり、有効画素範囲外とは、その領域の外部であって、正しい補間画素を生成することができる画素が存在しない領域である。水平１９２０画素、垂直１０８０画素の内部であっても、例えばフレームの上下端部が一様の黒とされているレターボックス形式の画像がある。映像信号がこのような画像である場合には、黒の画素を用いて正しい補間画素を生成することはできない。フレームの一部が黒等の固定色または固定輝度の画素となっている場合には、固定色または固定輝度の画素以外の領域が有効画素範囲となる。   The effective pixel range is an area of 1920 horizontal pixels and 1080 vertical pixels when a full HD video signal is taken as an example, and the area outside the effective pixel area is outside the area and a correct interpolation pixel is generated. This is an area where no pixel is present. Even within the horizontal 1920 pixels and the vertical 1080 pixels, for example, there is a letter box format image in which the upper and lower ends of the frame are uniformly black. If the video signal is such an image, it is not possible to generate correct interpolation pixels using black pixels. When a part of the frame is a fixed color or fixed luminance pixel such as black, an area other than the fixed color or fixed luminance pixel is the effective pixel range.

図１に戻り、動きベクトルＭＶに基づいて抽出しようとする抽出画素がフレームｆ０またはｆ１の有効画素範囲外に位置する場合であっても、視覚的な違和感の少ない補間画素を生成するための具体的な構成を説明する。   Returning to FIG. 1, even if the extracted pixel to be extracted based on the motion vector MV is located outside the effective pixel range of the frame f0 or f1, a specific example for generating an interpolated pixel with little visual discomfort is provided. A typical configuration will be described.

図１において、フレームメモリ２及び画素数検出部３には、補間フレームｆ０．５内の補間画素Ｐｉの位置を特定するためのタイミング信号が供給される。タイミング信号は、補間フレームｆ０．５内の水平方向の位置を示す水平カウント値と、垂直方向の位置を示す垂直カウント値とで構成することができる。   In FIG. 1, a timing signal for specifying the position of the interpolation pixel Pi in the interpolation frame f0.5 is supplied to the frame memory 2 and the pixel number detection unit 3. The timing signal can be composed of a horizontal count value indicating a horizontal position in the interpolation frame f0.5 and a vertical count value indicating a vertical position.

画素数検出部３は、各補間画素Ｐｉから、補間フレームｆ０．５の有効画素範囲の端部までの水平方向または垂直方向の画素数ｄを検出する。一例として、補間画素Ｐｉが図３に示す位置にあるとき、画素数検出部３は、補間画素Ｐｉから水平方向の端部までの水平画素数ｄｈと、垂直方向の端部までの垂直画素数ｄｖを検出するのがよい。   The pixel number detector 3 detects the number d of pixels in the horizontal or vertical direction from each interpolation pixel Pi to the end of the effective pixel range of the interpolation frame f0.5. As an example, when the interpolation pixel Pi is at the position shown in FIG. 3, the pixel number detection unit 3 determines the number of horizontal pixels dh from the interpolation pixel Pi to the horizontal end and the number of vertical pixels from the interpolation pixel Pi to the vertical end. dv is preferably detected.

補間画素Ｐｉを基準とすると、水平方向において、図３に図示している水平画素数ｄｈだけ離れた左側端部と、図示されていない右側端部との２つの端部が存在する。補間画素Ｐｉを基準とすると、垂直方向において、図３に図示している垂直画素数ｄｖだけ離れた上側端部と、図示されていない下側端部との２つの端部が存在する。後述するように、画素数検出部３は、動きベクトルＭＶを参照して、補間画素Ｐｉから、フレームｆ０またはｆ１の抽出画素へと向かう方向に応じた端部までの画素数ｄを検出する。   With reference to the interpolation pixel Pi, there are two left ends in the horizontal direction: a left end separated by the number dh of horizontal pixels shown in FIG. 3 and a right end not shown. With reference to the interpolation pixel Pi, there are two ends in the vertical direction, an upper end separated by the number of vertical pixels dv shown in FIG. 3 and a lower end not shown. As described later, the pixel number detection unit 3 refers to the motion vector MV to detect a pixel number d from the interpolation pixel Pi to an end corresponding to a direction toward the extracted pixel of the frame f0 or f1.

画素数検出部３が検出した画素数ｄは、低減画素数生成部４に供給される。画素数ｄは、水平画素数ｄｈまたは垂直画素数ｄｖであり、好ましくは、水平画素数ｄｈ及び垂直画素数ｄｖである。低減画素数生成部４は、入力された画素数ｄを１未満の低減率で低減させた低減画素数ｄｒを生成して抽出画素位置決定部５に供給する。低減画素数生成部４は、水平画素数ｄｈ及び垂直画素数ｄｖをそれぞれ低減させた水平低減画素数及び垂直低減画素数を生成する。   The pixel number d detected by the pixel number detection unit 3 is supplied to the reduced pixel number generation unit 4. The pixel number d is the horizontal pixel number dh or the vertical pixel number dv, and is preferably the horizontal pixel number dh and the vertical pixel number dv. The number-of-reduced-pixels generating unit 4 generates a reduced pixel number dr obtained by reducing the input pixel number d at a reduction rate of less than 1, and supplies the reduced pixel number dr to the extracted pixel position determining unit 5. The number-of-reduced-pixels generation unit 4 generates the number of horizontally reduced pixels and the number of vertically reduced pixels by respectively reducing the number of horizontal pixels dh and the number of vertical pixels dv.

低減率を例えば１／２とすると、低減画素数生成部４は、画素数ｄに係数１／２を乗じることによって低減画素数ｄｒを生成する。このとき、低減画素数生成部４は例えば小数点以下を繰り上げる。小数点以下を繰り下げてもよい。   Assuming that the reduction rate is, for example, 低 減, the reduced pixel number generation unit 4 generates the reduced pixel number dr by multiplying the pixel number d by the coefficient ２. At this time, the reduced pixel number generation unit 4 moves up the decimal part, for example. Decimals may be rounded down.

抽出画素位置決定部５は、補間画素Ｐｉからフレームｆ０及びｆ１の抽出画素までの水平方向または垂直方向の画素数Ｎを検出する。画素数検出部３が水平画素数ｄｈ及び垂直画素数ｄｖを検出する場合には、抽出画素位置決定部５は、補間画素Ｐｉからフレームｆ０及びｆ１の抽出画素までの水平方向及び垂直方向の画素数Ｎを検出する。フレームｆ０及びｆ１の抽出画素は、補間画素Ｐｉを生成するために検出された動きベクトルＭＶによって決まる。   The extraction pixel position determination unit 5 detects the number N of pixels in the horizontal or vertical direction from the interpolation pixel Pi to the extraction pixels of the frames f0 and f1. When the pixel number detection unit 3 detects the number of horizontal pixels dh and the number of vertical pixels dv, the extraction pixel position determination unit 5 determines the horizontal and vertical pixels from the interpolation pixel Pi to the extraction pixels of the frames f0 and f1. Detect number N. The extracted pixels of the frames f0 and f1 are determined by the motion vector MV detected to generate the interpolation pixel Pi.

図４は、簡略化のため、フレームｆ０、ｆ１、及び補間フレームｆ０．５における各１ラインの左端部を示している。補間フレームｆ０．５における補間画素Ｐｉ１〜Ｐｉ１２を生成するための動きベクトルＭＶが、補間画素Ｐｉ１〜Ｐｉ１２に対して共通に検出されているとする。図４において、ハッチングを付した画素は有効画素範囲外の画素である。   FIG. 4 shows the left end of one line in each of the frames f0 and f1 and the interpolation frame f0.5 for simplification. It is assumed that the motion vector MV for generating the interpolation pixels Pi1 to Pi12 in the interpolation frame f0.5 is commonly detected for the interpolation pixels Pi1 to Pi12. In FIG. 4, the hatched pixels are pixels outside the effective pixel range.

図４に示す例では、補間画素Ｐｉ１〜Ｐｉ１２を生成するために選択されるフレームｆ０の抽出画素は、補間画素Ｐｉ１〜Ｐｉ１２を（１／２）×ＭＶで表されるベクトルだけシフトした画素Ｐ０（−６）〜Ｐ０６である。補間画素Ｐｉ１〜Ｐｉ１２を生成するために選択されるフレームｆ１の抽出画素は、補間画素Ｐｉ１〜Ｐｉ１２を−（１／２）×ＭＶで表されるベクトルだけシフトした画素Ｐ１７〜Ｐ１１８である。   In the example illustrated in FIG. 4, the extracted pixel of the frame f0 selected to generate the interpolation pixels Pi1 to Pi12 is a pixel P0 obtained by shifting the interpolation pixels Pi1 to Pi12 by a vector represented by (1/2) × MV. (-6) to P06. The extracted pixels of the frame f1 selected to generate the interpolation pixels Pi1 to Pi12 are the pixels P17 to P118 obtained by shifting the interpolation pixels Pi1 to Pi12 by a vector represented by − (１ ／) × MV.

画素数検出部３は、補間画素Ｐｉからフレームｆ０またはｆ１の抽出画素へと向かう方向に位置する端部を、補間画素Ｐｉからの画素数ｄを検出する端部とする。後述するように、抽出画素位置決定部５は各補間画素Ｐｉを生成するためのフレームｆ０及びｆ１内の最終的な抽出画素の位置を決定する。   The pixel number detection unit 3 sets an end located in the direction from the interpolation pixel Pi to the extracted pixel of the frame f0 or f1 as an end for detecting the number d of pixels from the interpolation pixel Pi. As described later, the extraction pixel position determination unit 5 determines the final extraction pixel position in the frames f0 and f1 for generating each interpolation pixel Pi.

図４に示す例では、フレームｆ０の画素Ｐ０（−６）〜Ｐ０６は、補間画素Ｐｉ１〜Ｐｉ１２から左方向に向かう画素位置に位置している。よって、画素数検出部３は、抽出画素位置決定部５がフレームｆ０内の抽出画素の位置を決定する際には、補間画素Ｐｉ１〜Ｐｉ１２から補間フレームｆ０．５の左端部までの画素数ｄを検出する。また、フレームｆ１の画素Ｐ１７〜Ｐ１１８は、補間画素Ｐｉ１〜Ｐｉ１２から右方向に向かう画素位置に位置している。よって、画素数検出部３は、抽出画素位置決定部５がフレームｆ１内の抽出画素の位置を決定する際には、補間画素Ｐｉ１〜Ｐｉ１２から補間フレームｆ０．５の右端部までの画素数ｄを検出する。   In the example illustrated in FIG. 4, the pixels P0 (−6) to P06 of the frame f0 are located at pixel positions going leftward from the interpolation pixels Pi1 to Pi12. Therefore, when the extraction pixel position determination unit 5 determines the position of the extraction pixel in the frame f0, the pixel number detection unit 3 determines the number of pixels d from the interpolation pixels Pi1 to Pi12 to the left end of the interpolation frame f0.5. Is detected. Further, the pixels P17 to P118 of the frame f1 are located at pixel positions going rightward from the interpolation pixels Pi1 to Pi12. Therefore, when the extraction pixel position determination unit 5 determines the position of the extraction pixel in the frame f1, the pixel number detection unit 3 determines the pixel number d from the interpolation pixels Pi1 to Pi12 to the right end of the interpolation frame f0.5. Is detected.

抽出画素位置決定部５は、検出した画素数Ｎと、低減画素数生成部４より供給された低減画素数ｄｒとを比較して、小さい方を選択する。抽出画素位置決定部５のフレームｆ０に対する動作と、フレームｆ１に対する動作を説明すると次のとおりである。   The extracted pixel position determination unit 5 compares the detected pixel number N with the reduced pixel number dr supplied from the reduced pixel number generation unit 4 and selects the smaller one. The operation of the extracted pixel position determination unit 5 for the frame f0 and the operation for the frame f1 will be described as follows.

補間画素Ｐｉ１〜Ｐｉ１２からフレームｆ０の抽出画素である画素Ｐ０（−６）〜Ｐ０６までの水平方向の画素数Ｎはそれぞれ６画素である。フレームｆ０に対する動作では、各補間画素Ｐｉから補間フレームｆ０．５の左端部までの画素数ｄが検出されている。補間画素Ｐｉ１において、画素数ｄは０であるから低減画素数ｄｒは０であり、画素数Ｎは６であるから、抽出画素位置決定部５は低減画素数ｄｒの０を選択する。補間画素Ｐｉ２において、画素数ｄは１であるから低減画素数ｄｒは０．５の小数点以下を繰り上げて１であり、画素数Ｎは６であるから、抽出画素位置決定部５は低減画素数ｄｒの１を選択する。   The number N of pixels in the horizontal direction from the interpolation pixels Pi1 to Pi12 to the pixels P0 (−6) to P06, which are the extracted pixels of the frame f0, is six. In the operation for the frame f0, the number of pixels d from each interpolation pixel Pi to the left end of the interpolation frame f0.5 is detected. In the interpolated pixel Pi1, the number of pixels d is 0, the number of reduced pixels dr is 0, and the number of pixels N is 6, so the extracted pixel position determination unit 5 selects 0 of the number of reduced pixels dr. In the interpolation pixel Pi2, the number d of pixels is 1, so the number dr of reduced pixels is 1 after incrementing the decimal point of 0.5, and the number N of pixels is 6, so the extracted pixel position determination unit 5 determines the number of reduced pixels. Select 1 for dr.

同様に、抽出画素位置決定部５は、補間画素Ｐｉ３において低減画素数ｄｒの１を選択し、補間画素Ｐｉ４において低減画素数ｄｒの２を選択し、補間画素Ｐｉ５において低減画素数ｄｒの２を選択する。抽出画素位置決定部５は、補間画素Ｐｉ６以降も同様に、画素数Ｎと低減画素数ｄｒとを比較して、小さい方を選択する。補間画素Ｐｉ１２において、画素数ｄは１１で低減画素数ｄｒは６である。抽出画素位置決定部５は、低減画素数ｄｒと画素数Ｎとが同じであれば、画素数Ｎを選択すればよい。   Similarly, the extracted pixel position determination unit 5 selects 1 of the reduced pixel number dr in the interpolation pixel Pi3, selects 2 of the reduced pixel number dr in the interpolation pixel Pi4, and sets the reduced pixel number dr of 2 in the interpolation pixel Pi5. select. Similarly, the extracted pixel position determination unit 5 compares the pixel number N with the reduced pixel number dr and selects the smaller one after the interpolation pixel Pi6. In the interpolation pixel Pi12, the number of pixels d is 11, and the number of reduced pixels dr is 6. If the number dr of reduced pixels and the number N of pixels are the same, the extracted pixel position determination unit 5 may select the number N of pixels.

補間画素Ｐｉ１〜Ｐｉ１２からフレームｆ１の抽出画素である画素Ｐ１７〜Ｐ１１８までの水平方向の画素数Ｎはそれぞれ６画素である。フレームｆ１に対する動作では、各補間画素Ｐｉから補間フレームｆ０．５の右端部までの画素数ｄが検出されている。補間画素Ｐｉ１〜Ｐｉ１２において、画素数ｄは１９１９〜１９０８であるから低減画素数ｄｒは９６０〜９５４であり、画素数Ｎは６であるから、抽出画素位置決定部５は画素数Ｎを選択する。   The number N of pixels in the horizontal direction from the interpolation pixels Pi1 to Pi12 to the pixels P17 to P118, which are the extraction pixels of the frame f1, is 6 pixels. In the operation for the frame f1, the number of pixels d from each interpolation pixel Pi to the right end of the interpolation frame f0.5 is detected. In the interpolation pixels Pi1 to Pi12, the number d of pixels is 1919 to 1908, so the number dr of reduced pixels is 960 to 954, and the number N of pixels is 6. Therefore, the extracted pixel position determination unit 5 selects the number N of pixels. .

図４は、水平方向の処理を示すが、画素数検出部３〜抽出画素位置決定部５が垂直方向の処理を実行する場合には、水平方向と同様の処理が実行される。画素数検出部３は垂直方向の画素数ｄを検出し、低減画素数生成部４は低減画素数ｄｒを生成し、抽出画素位置決定部５は、垂直方向の画素数Ｎと低減画素数ｄｒとを比較して、小さい方を選択する。   FIG. 4 shows the processing in the horizontal direction. When the pixel number detection unit 3 to the extraction pixel position determination unit 5 execute the processing in the vertical direction, the same processing as in the horizontal direction is executed. The pixel number detection unit 3 detects the number d of pixels in the vertical direction, the reduced pixel number generation unit 4 generates the number of reduced pixels dr, and the extracted pixel position determination unit 5 determines the number N of pixels in the vertical direction and the number of reduced pixels dr. Compare with and select the smaller one.

図５Ａ及び図５Ｂを用いて、画素数検出部３〜抽出画素位置決定部５の動作を説明する。図５Ａ及び図５Ｂにおいて、横軸を画素数ｄ、縦軸を画素数Ｎとする。低減画素数ｄｒはＮ＝ｄ／２の直線で表すことができる。比較のため、二点鎖線にてＮ＝ｄの直線も示されている。図４と同様に、動きベクトルＭＶが、補間画素Ｐｉ１から水平方向の所定の範囲で共通に検出されて、太い破線で示すように、画素数Ｎが一様に画素数Ｎ０であるとする。   The operations of the pixel number detection unit 3 to the extracted pixel position determination unit 5 will be described with reference to FIGS. 5A and 5B. 5A and 5B, the horizontal axis represents the number d of pixels, and the vertical axis represents the number N of pixels. The reduced pixel number dr can be represented by a straight line of N = d / 2. For comparison, the two-dot chain line also shows a straight line of N = d. Similarly to FIG. 4, it is assumed that the motion vector MV is commonly detected within a predetermined range in the horizontal direction from the interpolation pixel Pi1, and the number of pixels N is uniformly the number of pixels N0 as indicated by a thick broken line.

抽出画素位置決定部５は、検出した画素数Ｎ０と低減画素数ｄｒとを比較して、小さい方を選択する。従って、図５Ｂに示すように、抽出画素位置決定部５は、画素数Ｎ０がｄ／２を超える領域において低減画素数ｄｒを選択し、画素数Ｎ０がｄ／２以下の領域において画素数Ｎ０を選択する。これにより、太い破線で示すように、画素数Ｎ０がｄ／２を超える領域においては画素数Ｎ０が低減画素数ｄｒへと置換され、画素数Ｎ０がｄ／２以下の領域においては画素数Ｎ０が維持される。   The extracted pixel position determining unit 5 compares the detected number of pixels N0 with the reduced number of pixels dr and selects the smaller one. Therefore, as shown in FIG. 5B, the extracted pixel position determination unit 5 selects the reduced pixel number dr in a region where the pixel number N0 exceeds d / 2, and selects the pixel number N0 in a region where the pixel number N0 is d / 2 or less. Select As a result, as indicated by the thick broken line, in a region where the number of pixels N0 exceeds d / 2, the number of pixels N0 is replaced with the reduced number of pixels dr, and in a region where the number of pixels N0 is d / 2 or less, the number of pixels N0 is reduced. Is maintained.

抽出画素位置決定部５は、以上のように選択した低減画素数ｄｒまたは画素数Ｎを、フレームｆ０またはｆ１の有効画素範囲内より抽出する最終的な抽出画素の位置と決定する。抽出画素位置決定部５は、抽出画素の位置を示す抽出画素位置指示信号を生成して、補間画素生成部６０に供給する。   The extracted pixel position determination unit 5 determines the reduced pixel number dr or the pixel number N selected as described above as the final extracted pixel position to be extracted from the effective pixel range of the frame f0 or f1. The extraction pixel position determination unit 5 generates an extraction pixel position indication signal indicating the position of the extraction pixel, and supplies the signal to the interpolation pixel generation unit 60.

抽出画素位置指示信号は、各補間画素Ｐｉを基準としてフレームｆ０内の抽出画素の位置を指示する水平方向及び垂直方向のベクトルと、各補間画素Ｐｉを基準としてフレームｆ１内の抽出画素の位置を指示する水平方向及び垂直方向のベクトルとで構成することができる。   The extracted pixel position indicating signal is a vector in the horizontal direction and the vertical direction indicating the position of the extracted pixel in the frame f0 on the basis of each interpolation pixel Pi, and the position of the extraction pixel in the frame f1 on the basis of each interpolation pixel Pi. It can be composed of the specified horizontal and vertical vectors.

補間画素生成部６０は、入力された抽出画素位置指示信号に基づいて抽出したフレームｆ０内の抽出画素とフレームｆ１内の抽出画素とを混合して、補間フレームｆ０．５内の各補間画素Ｐｉを生成する。補間画素生成部６０が、補間フレームｆ０．５内の全ての補間画素Ｐｉを生成することによって、補間フレームｆ０．５が生成される。補間フレーム内挿部６は、時間方向に隣接するフレームｆ０とフレームｆ１との間に補間フレームｆ０．５を内挿して、フレームレート１２０Ｈｚを有する出力映像信号Ｓｏｕｔを生成する。   The interpolated pixel generation unit 60 mixes the extracted pixels in the frame f0 and the extracted pixels in the frame f1 extracted based on the input extracted pixel position indication signal, and interpolates each of the interpolated pixels Pi in the interpolated frame f0.5. Generate The interpolation frame generation unit 60 generates all the interpolation pixels Pi in the interpolation frame f0.5, thereby generating the interpolation frame f0.5. The interpolation frame interpolation unit 6 generates an output video signal Sout having a frame rate of 120 Hz by interpolating the interpolation frame f0.5 between the frames f0 and f1 adjacent in the time direction.

図６を用いて、図４に示す補間フレームｆ０．５内の補間画素Ｐｉ１〜Ｐｉ１２が具体的にどのように生成されるかについて説明する。補間画素生成部６０は、補間画素Ｐｉ１において、低減画素数ｄｒの０に基づいて選択したフレームｆ０内の画素Ｐ０１と、画素数Ｎの６に基づいて選択したフレームｆ１内の画素Ｐ１７とを混合して、補間画素Ｐｉ１を生成する。補間画素生成部６０は、補間画素Ｐｉ２において、低減画素数ｄｒの１に基づいて選択したフレームｆ０内の画素Ｐ０１と、画素数Ｎの６に基づいて選択したフレームｆ１内の画素Ｐ１８とを混合して、補間画素Ｐｉ２を生成する。   6, how the interpolation pixels Pi1 to Pi12 in the interpolation frame f0.5 shown in FIG. 4 are specifically generated will be described. The interpolation pixel generation unit 60 mixes the pixel P01 in the frame f0 selected based on the reduced pixel number dr of 0 and the pixel P17 in the frame f1 selected based on the pixel number N of 6 in the interpolation pixel Pi1. Then, an interpolation pixel Pi1 is generated. The interpolation pixel generation unit 60 mixes the pixel P01 in the frame f0 selected based on the reduced pixel number dr of 1 with the pixel P18 in the frame f1 selected based on the pixel number N of 6 in the interpolation pixel Pi2. Then, an interpolation pixel Pi2 is generated.

補間画素生成部６０は、補間画素Ｐｉ３において、低減画素数ｄｒの１に基づいて選択したフレームｆ０内の画素Ｐ０２と、画素数Ｎの６に基づいて選択したフレームｆ１内の画素Ｐ１９とを混合して、補間画素Ｐｉ３を生成する。補間画素生成部６０は、補間画素Ｐｉ４において、低減画素数ｄｒの２に基づいて選択したフレームｆ０内の画素Ｐ０２と、画素数Ｎの６に基づいて選択したフレームｆ１内の画素Ｐ１１０とを混合して、補間画素Ｐｉ４を生成する。補間画素生成部６０は、補間画素Ｐｉ５以降も同様にして、各補間画素Ｐｉを生成する。   The interpolation pixel generation unit 60 mixes the pixel P02 in the frame f0 selected based on the reduced pixel number dr of 1 with the pixel P19 in the frame f1 selected based on the pixel number N of 6 in the interpolation pixel Pi3. Then, an interpolation pixel Pi3 is generated. The interpolation pixel generation unit 60 mixes the pixel P02 in the frame f0 selected based on the reduced pixel number dr2 with the pixel P110 in the frame f1 selected based on the pixel number N6 in the interpolation pixel Pi4. Then, an interpolation pixel Pi4 is generated. The interpolation pixel generation unit 60 similarly generates the interpolation pixels Pi after the interpolation pixel Pi5.

補間画素生成部６０は、補間画素Ｐｉ１２において、低減画素数ｄｒの６に基づいて選択したフレームｆ０内の画素Ｐ０６と、画素数Ｎの６に基づいて選択したフレームｆ１内の画素Ｐ１１８とを混合して、補間画素Ｐｉ１２を生成する。補間画素Ｐｉ１２では、動きベクトルＭＶをそのまま補間画素生成部６０に供給した場合と同じフレームｆ０及びｆ１内の画素が抽出されて、補間画素Ｐｉ１２が生成される。   The interpolation pixel generation unit 60 mixes the pixel P06 in the frame f0 selected based on the reduced pixel number dr 6 and the pixel P118 in the frame f1 selected based on the pixel number N 6 in the interpolation pixel Pi12. Then, an interpolation pixel Pi12 is generated. In the interpolation pixel Pi12, pixels in the same frames f0 and f1 as when the motion vector MV is supplied to the interpolation pixel generation unit 60 as they are are extracted, and the interpolation pixel Pi12 is generated.

図６より分かるように、本実施形態の補間フレーム生成装置及び方法によれば、特許文献１に記載の方法とは異なり、フレームｆ０及びｆ１内の双方の画素を用いた両側補間であるので、誤った動きベクトルが検出されたとしても、片側補間と比べて視覚的な違和感が少ない補間画素が生成される。本実施形態の補間フレーム生成装置及び方法によれば、特許文献２に記載の方法とは異なり、動きがホールドされたような補間画素が生成されることはない。本実施形態の補間フレーム生成装置及び方法によれば、補間画素を生成するために抽出しようとする画素が実フレームの有効画素範囲外に位置する場合に、有効画素範囲内の画素に置換されて抽出されるため、視覚的な違和感の少ない補間画素を生成することができる。   As can be seen from FIG. 6, according to the interpolated frame generation apparatus and method of the present embodiment, unlike the method described in Patent Document 1, bilateral interpolation using both pixels in frames f0 and f1 is performed. Even if an erroneous motion vector is detected, an interpolated pixel with less visual discomfort compared to one-sided interpolation is generated. According to the interpolated frame generation apparatus and method of the present embodiment, unlike the method described in Patent Document 2, an interpolated pixel whose motion is held is not generated. According to the interpolation frame generation device and method of the present embodiment, when a pixel to be extracted to generate an interpolation pixel is located outside the effective pixel range of the real frame, the pixel is replaced with a pixel within the effective pixel range. Since the pixels are extracted, it is possible to generate an interpolated pixel with less visual discomfort.

図７に示すフローチャートを用いて、本実施形態の補間フレーム生成装置の動作、及び、補間フレーム生成装置で実行される補間フレーム生成方法による処理を改めて説明する。   With reference to the flowchart shown in FIG. 7, the operation of the interpolation frame generation device of the present embodiment and the processing by the interpolation frame generation method executed by the interpolation frame generation device will be described again.

図７において、動きベクトル検出部１に入力映像信号Ｓｉｎが供給されて処理が開始されると、動きベクトル検出部１は、ステップＳ１にて、フレームｆ０及びｆ１の画素に基づいて、補間フレームｆ０．５の補間画素を生成するための動きベクトルＭＶを検出する。   In FIG. 7, when the input video signal Sin is supplied to the motion vector detection unit 1 and processing is started, the motion vector detection unit 1 determines in step S1 the interpolation frame f0 based on the pixels of the frames f0 and f1. .5 to detect an interpolated pixel.

画素数検出部３は、ステップＳ２にて、補間画素Ｐｉから有効画素範囲の端部までの画素数ｄを検出する。低減画素数生成部４は、ステップＳ３にて、画素数ｄに応じた低減画素数ｄｒを生成する。抽出画素位置決定部５は、ステップＳ４にて、低減画素数ｄｒと、動きベクトルＭＶによって決まる抽出画素までの画素数Ｎとを比較し、小さい方を抽出画素位置指示信号として出力する。   In step S2, the pixel number detection unit 3 detects the number d of pixels from the interpolation pixel Pi to the end of the effective pixel range. The reduced pixel number generator 4 generates a reduced pixel number dr according to the pixel number d in step S3. In step S4, the extracted pixel position determination unit 5 compares the reduced pixel number dr with the pixel number N up to the extracted pixel determined by the motion vector MV, and outputs the smaller one as an extracted pixel position instruction signal.

補間画素生成部６０は、ステップＳ５にて、抽出画素位置指示信号に基づいてフレームｆ０及びｆ１より画素を抽出して補間画素Ｐｉを生成する。補間画素生成部６０は、ステップＳ６にて、補間フレームｆ０．５内の全ての補間画素Ｐｉを生成したか否かを判定する。全ての補間画素Ｐｉを生成していなければ（NO）、ステップＳ１〜Ｓ６の処理が繰り返される。   In step S5, the interpolated pixel generation unit 60 extracts pixels from the frames f0 and f1 based on the extracted pixel position indication signal, and generates an interpolated pixel Pi. The interpolation pixel generation unit 60 determines whether or not all the interpolation pixels Pi in the interpolation frame f0.5 have been generated in Step S6. If all the interpolation pixels Pi have not been generated (NO), the processing of steps S1 to S6 is repeated.

ステップＳ６にて全ての補間画素Ｐｉを生成していれば（YES）、補間画素生成部６０は、ステップＳ７にて、入力映像信号Ｓｉｎが継続的に入力されたか否かを判定する。入力映像信号Ｓｉｎが継続的に入力されていれば（YES）、ステップＳ１〜Ｓ７の処理が繰り返される。入力映像信号Ｓｉｎが継続的に入力されなければ（NO）、補間画素生成部６０は、補間フレーム生成の処理を終了させる。   If all the interpolated pixels Pi have been generated in step S6 (YES), the interpolated pixel generation unit 60 determines in step S7 whether or not the input video signal Sin has been continuously input. If the input video signal Sin is continuously input (YES), the processing of steps S1 to S7 is repeated. If the input video signal Sin is not continuously input (NO), the interpolation pixel generation unit 60 ends the interpolation frame generation processing.

図１に示すフレームレート変換装置（補間フレーム生成装置）をハードウェア（回路）で構成してもよいし、少なくとも一部をソフトウェア（コンピュータプログラム）によって構成してもよい。フレームレート変換装置（補間フレーム生成装置）を構成する上で、ハードウェアとソフトウェアとの使い分けは任意である。   The frame rate conversion device (interpolation frame generation device) shown in FIG. 1 may be configured by hardware (circuit), or at least a part may be configured by software (computer program). In configuring the frame rate conversion device (interpolated frame generation device), the use of hardware and software is optional.

コンピュータプログラム（フレームレート変換プログラムまたは補間フレーム生成プログラム）が、コンピュータに図７に示す処理を実行させてもよい。コンピュータプログラムは、非一時的な記憶媒体に記憶されていてもよいし、インターネット等の通信回線でコンピュータへと送信されてもよい。   A computer program (frame rate conversion program or interpolation frame generation program) may cause a computer to execute the processing shown in FIG. The computer program may be stored in a non-transitory storage medium, or may be transmitted to a computer via a communication line such as the Internet.

本発明は以上説明した本実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。   The present invention is not limited to the embodiment described above, and can be variously modified without departing from the gist of the present invention.

１ 動きベクトル検出部
２ フレームメモリ
３ 画素数検出部
４ 低減画素数生成部
５ 抽出画素位置決定部
６ 補間フレーム内挿部
６０ 補間画素生成部 DESCRIPTION OF SYMBOLS 1 Motion vector detection part 2 Frame memory 3 Pixel number detection part 4 Reduction pixel number generation part 5 Extraction pixel position determination part 6 Interpolation frame interpolation part 60 Interpolation pixel generation part

Claims (4)

映像信号における時間方向に隣接する第１のフレームと第２のフレームとの間に内挿する補間フレーム内において生成しようとする補間画素から、前記補間フレームの有効画素範囲の端部までの画素数を検出する画素数検出部と、
前記画素数検出部が検出した画素数を１未満の低減率で低減させた低減画素数を生成する低減画素数生成部と、
前記補間画素を生成するために検出された動きベクトルが示す、前記補間画素から前記第１のフレーム内の抽出画素までの画素数と、前記低減画素数とを比較して小さい方を選択して、前記補間画素を生成するために前記第１のフレーム内より抽出する抽出画素の位置を決定し、前記動きベクトルが示す、前記補間画素から前記第２のフレーム内の抽出画素までの画素数と、前記低減画素数とを比較して小さい方を選択して、前記補間画素を生成するために前記第２のフレーム内より抽出する抽出画素の位置を決定する抽出画素位置決定部と、
前記抽出画素位置決定部によって位置が決定された前記第１のフレーム内の抽出画素と前記第２のフレーム内の抽出画素とを用いて前記補間画素を生成する補間画素生成部と、
を備える補間フレーム生成装置。 The number of pixels from an interpolated pixel to be generated in an interpolated frame interpolated between a first frame and a second frame adjacent in the time direction in the video signal to an end of an effective pixel range of the interpolated frame A pixel number detection unit that detects
A reduced pixel number generation unit that generates a reduced pixel number in which the number of pixels detected by the pixel number detection unit is reduced at a reduction rate of less than 1;
The motion vector detected to generate the interpolated pixel indicates, the number of pixels from the interpolated pixel to the extracted pixel in the first frame, and comparing the reduced pixel number to select the smaller one Determining the positions of the extracted pixels to be extracted from within the first frame to generate the interpolated pixels, and the number of pixels from the interpolated pixels to the extracted pixels in the second frame indicated by the motion vector; An extracted pixel position determining unit that compares the number of reduced pixels and selects a smaller one, and determines a position of an extracted pixel to be extracted from within the second frame to generate the interpolation pixel;
An interpolated pixel generation unit that generates the interpolated pixel using an extracted pixel in the first frame and an extracted pixel in the second frame whose position is determined by the extracted pixel position determination unit;
An interpolation frame generation device comprising: 前記画素数検出部は、前記補間画素から、前記有効画素範囲の端部までの水平方向または垂直方向の画素数を検出し、
前記抽出画素位置決定部は、
前記動きベクトルが示す、前記補間画素から前記第１のフレーム内の抽出画素までの水平方向または垂直方向の画素数と、前記低減画素数とを比較して小さい方を選択して、前記第１のフレーム内より抽出する抽出画素の位置を決定し、
前記動きベクトルが示す、前記補間画素から前記第２のフレーム内の抽出画素までの水平方向または垂直方向の画素数と、前記低減画素数とを比較して小さい方を選択して、前記第２のフレーム内より抽出する抽出画素の位置を決定する
請求項１に記載の補間フレーム生成装置。 The pixel number detection unit, from the interpolation pixel, detects the number of pixels in the horizontal or vertical direction to the end of the effective pixel range,
The extraction pixel position determination unit,
Comparing the number of horizontal or vertical pixels from the interpolated pixel to the extracted pixel in the first frame indicated by the motion vector, and the number of reduced pixels, and selecting the smaller one, Determine the position of the extracted pixel to be extracted from within the frame of
Comparing the number of horizontal or vertical pixels from the interpolated pixel to the extracted pixel in the second frame indicated by the motion vector with the number of reduced pixels, and selecting the smaller one, The interpolation frame generation device according to claim 1, wherein the position of an extraction pixel to be extracted from within the frame is determined. 前記画素数検出部は、前記補間画素から、前記有効画素範囲の端部までの水平方向の水平画素数と垂直方向の垂直画素数との双方を検出し、
前記低減画素数生成部は、前記水平画素数及び前記垂直画素数をそれぞれ１未満の低減率で低減させた水平低減画素数及び垂直低減画素数を生成し、
前記抽出画素位置決定部は、
前記動きベクトルが示す、前記補間画素から前記第１のフレーム内の抽出画素までの水平方向の画素数と、前記水平低減画素数とを比較して小さい方を選択し、垂直方向の画素数と、前記垂直低減画素数とを比較して小さい方を選択して、前記補間画素を生成するために前記第１のフレーム内より抽出する抽出画素の位置を決定し、
前記動きベクトルが示す、前記補間画素から前記第２のフレーム内の抽出画素までの水平方向の画素数と、前記水平低減画素数とを比較して小さい方を選択し、垂直方向の画素数と、前記垂直低減画素数とを比較して小さい方を選択して、前記補間画素を生成するために前記第２のフレーム内より抽出する抽出画素の位置を決定する
請求項１に記載の補間フレーム生成装置。 The pixel number detection unit detects both the number of horizontal pixels in the horizontal direction and the number of vertical pixels in the vertical direction from the interpolation pixel to the end of the effective pixel range,
The reduced pixel number generation unit generates a horizontal reduced pixel number and a vertical reduced pixel number in which the horizontal pixel number and the vertical pixel number are each reduced at a reduction rate of less than 1.
The extraction pixel position determination unit,
The motion vector indicates, the number of pixels in the horizontal direction from the interpolation pixel to the extraction pixel in the first frame, and comparing the number of horizontal reduction pixels, the smaller one is selected, and the number of pixels in the vertical direction is selected. Comparing the number of vertical reduction pixels, selecting the smaller one, and determining the position of an extraction pixel to be extracted from within the first frame to generate the interpolation pixel;
The motion vector indicates, the number of pixels in the horizontal direction from the interpolation pixel to the extraction pixel in the second frame, and compare the horizontal reduction pixel number and select the smaller one, and select the number of pixels in the vertical direction. The interpolated frame according to claim 1, wherein a smaller one is selected by comparing with the number of vertically reduced pixels, and a position of an extracted pixel to be extracted from within the second frame to generate the interpolated pixel is determined. Generator. 映像信号における時間方向に隣接する第１のフレームと第２のフレームとの間に内挿する補間フレーム内において生成しようとする補間画素から、前記補間フレームの有効画素範囲の端部までの画素数を検出し、
検出した画素数を１未満の低減率で低減させた低減画素数を生成し、
前記補間画素を生成するために検出された動きベクトルが示す、前記補間画素から前記第１のフレーム内の抽出画素までの画素数と、前記低減画素数とを比較して小さい方を選択して、前記補間画素を生成するために前記第１のフレーム内より抽出する抽出画素の位置を決定し、
前記動きベクトルが示す、前記補間画素から前記第２のフレーム内の抽出画素までの画素数と、前記低減画素数とを比較して小さい方を選択して、前記補間画素を生成するために前記第２のフレーム内より抽出する抽出画素の位置を決定し、
位置を決定した前記第１のフレーム内の抽出画素と前記第２のフレーム内の抽出画素とを用いて前記補間画素を生成する
補間フレーム生成方法。 The number of pixels from an interpolated pixel to be generated in an interpolated frame interpolated between a first frame and a second frame adjacent in a time direction in a video signal to an end of an effective pixel range of the interpolated frame To detect
Generate a reduced pixel count by reducing the detected pixel count at a reduction rate of less than 1,
The motion vector detected to generate the interpolated pixel indicates, the number of pixels from the interpolated pixel to the extracted pixel in the first frame, and comparing the reduced pixel number to select the smaller one Determining the positions of the extracted pixels to be extracted from within the first frame to generate the interpolated pixels;
The motion vector indicates, the number of pixels from the interpolated pixel to the extracted pixel in the second frame, and comparing the reduced number of pixels to select the smaller one to generate the interpolated pixel Determining the position of the extracted pixel to be extracted from within the second frame;
An interpolated frame generation method for generating the interpolated pixels using the extracted pixels in the first frame and the extracted pixels in the second frame whose positions have been determined.
JP2018137344A 2018-07-23 2018-07-23 Interpolation frame generation apparatus and method Pending JP2020017783A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018137344A JP2020017783A (en) 2018-07-23 2018-07-23 Interpolation frame generation apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018137344A JP2020017783A (en) 2018-07-23 2018-07-23 Interpolation frame generation apparatus and method

Publications (1)

Publication Number Publication Date
JP2020017783A true JP2020017783A (en) 2020-01-30

Family

ID=69581031

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018137344A Pending JP2020017783A (en) 2018-07-23 2018-07-23 Interpolation frame generation apparatus and method

Country Status (1)

Country Link
JP (1) JP2020017783A (en)

Similar Documents

Publication Publication Date Title
US9591258B2 (en) Image processing apparatus, image processing method, program and storage medium
KR101186143B1 (en) Frame rate conversion apparatus and method
JP2008141394A (en) Interpolation frame generation method, and interpolation frame generation device
KR101000612B1 (en) Signal processing apparatus and signal processing method
JP5887764B2 (en) Motion compensation frame generation apparatus and method
JP2018061130A (en) Image processing device, image processing method, and program
EP2533523B1 (en) Motion-vector correction device and method and video-signal processing device and method
US20140043502A1 (en) Flicker noise detection apparatus, flicker noise detection method, and computer-readable storage device storing flicker noise detection program
US10748292B2 (en) Image signal detection device
JP2020017783A (en) Interpolation frame generation apparatus and method
JP2010011108A (en) Image processing apparatus and method, and program
EP3866460B1 (en) Interpolation frame generation device and method
US11308631B2 (en) Motion vector detection device
JP4250598B2 (en) Motion compensation IP conversion processing apparatus and motion compensation IP conversion processing method
JP2009177524A (en) Scanning line interpolating device and scanning line interpolating method
US8405767B2 (en) Image processing device
JP5887763B2 (en) Motion compensation frame generation apparatus and method
JP2013074384A (en) Image processing apparatus and image processing method
JP2008236402A (en) Interpolated image generation device and interpolated image generating method
JP3223577B2 (en) Image stabilization device
JP2019161275A (en) Interpolated frame generator
JP2019062365A (en) Video signal processor
KR101574301B1 (en) An appratus for frame rate conversion and a method thereof
JP2015222895A (en) Image interpolation device, image interpolation program and image reading apparatus
JP2008022156A (en) Device and method for detecting motion vector