JP2020017783A - Interpolation frame generation apparatus and method - Google Patents
Interpolation frame generation apparatus and method Download PDFInfo
- Publication number
- JP2020017783A JP2020017783A JP2018137344A JP2018137344A JP2020017783A JP 2020017783 A JP2020017783 A JP 2020017783A JP 2018137344 A JP2018137344 A JP 2018137344A JP 2018137344 A JP2018137344 A JP 2018137344A JP 2020017783 A JP2020017783 A JP 2020017783A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- frame
- pixels
- extracted
- interpolation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Television Systems (AREA)
Abstract
Description
本発明は、一対の実フレーム間に内挿する補間フレームを生成する補間フレーム生成装置及び方法に関する。 The present invention relates to an interpolation frame generation apparatus and method for generating an interpolation frame to be interpolated between a pair of real frames.
映像信号のフレームレートを変換するフレームレート変換装置は、一対の実フレーム間に内挿する補間フレームを生成する補間フレーム生成装置を備える。フレームレート変換装置は、画像の動きを検出する動きベクトル検出装置を備え、補間フレーム生成装置は動きベクトルに基づいて補間フレームを構成する各画素位置の補間画素を生成する。 A frame rate conversion device that converts a frame rate of a video signal includes an interpolation frame generation device that generates an interpolation frame to be interpolated between a pair of real frames. The frame rate conversion device includes a motion vector detection device that detects a motion of an image, and the interpolation frame generation device generates an interpolation pixel at each pixel position forming an interpolation frame based on the motion vector.
補間フレーム内の補間画素を生成するには、動きベクトルに基づいて選択される、一対の実フレーム双方の画素が必要である。しかしながら、動きベクトルに基づいて補間画素を生成するために画素を選択しようとするときに、選択しようとする画素が実フレームの有効画素範囲外に位置することがある。このような場合には、何らかの対処をして補間画素を生成することが必要となる。 Generating an interpolated pixel in an interpolated frame requires pixels from both of a pair of real frames, selected based on the motion vector. However, when selecting a pixel to generate an interpolation pixel based on a motion vector, the pixel to be selected may be located outside the effective pixel range of the real frame. In such a case, it is necessary to generate an interpolation pixel by taking some measures.
特許文献1には、一対の実フレームのうち、補間画素を生成するために選択しようとする画素が有効画素範囲内に位置する実フレーム内の画素のみを用いて補間画素を生成することが記載されている。特許文献2には、有効画素範囲外に位置する画素に代えて、有効画素範囲の最端部に位置する画素を用いて補間画素を生成することが記載されている。
特許文献1に記載の方法は、いわゆる片側補間であり、正しい動きベクトルが検出されれば適切な補間画素が生成されるが、フレームの端部では正しい動きベクトルの検出が困難であり、動きベクトルが誤検出されると視覚的な違和感が大きくなってしまう。特許文献2に記載の方法は、有効画素範囲外に位置する複数の画素が有効画素範囲の最端部に位置する画素に置換されて補間画素が生成されるため、動きの速い画像において動きがホールドされたような補間画素が生成されてしまう。
The method described in
本発明は、補間画素を生成するために抽出しようとする画素が実フレームの有効画素範囲外に位置する場合であっても、視覚的な違和感の少ない補間画素を生成することができる補間フレーム生成装置及び方法を提供することを目的とする。 The present invention provides an interpolated frame generation method capable of generating an interpolated pixel with less visual discomfort even when a pixel to be extracted to generate an interpolated pixel is located outside an effective pixel range of a real frame. It is an object to provide an apparatus and a method.
本発明は、映像信号における時間方向に隣接する第1のフレームと第2のフレームとの間に内挿する補間フレーム内において生成しようとする補間画素から、前記補間フレームの有効画素範囲の端部までの画素数を検出する画素数検出部と、前記画素数検出部が検出した画素数を1未満の低減率で低減させた低減画素数を生成する低減画素数生成部と、前記補間画素を生成するために検出された動きベクトルが示す、前記補間画素から前記第1のフレーム内の抽出画素までの画素数と、前記低減画素数とを比較して小さい方を選択して、前記補間画素を生成するために前記第1のフレーム内より抽出する抽出画素の位置を決定し、前記動きベクトルが示す、前記補間画素から前記第2のフレーム内の抽出画素までの画素数と、前記低減画素数とを比較して小さい方を選択して、前記補間画素を生成するために前記第2のフレーム内より抽出する抽出画素の位置を決定する抽出画素位置決定部と、前記抽出画素位置決定部によって位置が決定された前記第1のフレーム内の抽出画素と前記第2のフレーム内の抽出画素とを用いて前記補間画素を生成する補間画素生成部とを備える補間フレーム生成装置を提供する。 According to the present invention, an interpolation pixel to be generated in an interpolation frame interpolated between a first frame and a second frame adjacent to each other in a time direction in a video signal is converted to an end of an effective pixel range of the interpolation frame. A pixel number detection unit that detects the number of pixels up to, a reduced pixel number generation unit that generates a reduced pixel number obtained by reducing the number of pixels detected by the pixel number detection unit at a reduction rate of less than 1, and the interpolation pixel. The motion vector detected to be generated indicates that the number of pixels from the interpolated pixel to the extracted pixel in the first frame is compared with the reduced pixel number, and a smaller one is selected, and the interpolated pixel is selected. Determining the position of an extracted pixel to be extracted from within the first frame to generate the number of pixels from the interpolated pixel to the extracted pixel in the second frame indicated by the motion vector; number And selecting a smaller one to determine a position of an extracted pixel to be extracted from within the second frame in order to generate the interpolated pixel, and a position determined by the extracted pixel position determining unit. An interpolated frame generation device comprising: an interpolated pixel generation unit that generates the interpolated pixel by using the extracted pixels in the first frame and the extracted pixels in the second frame for which is determined.
本発明は、映像信号における時間方向に隣接する第1のフレームと第2のフレームとの間に内挿する補間フレーム内において生成しようとする補間画素から、前記補間フレームの有効画素範囲の端部までの画素数を検出し、検出した画素数を1未満の低減率で低減させた低減画素数を生成し、前記補間画素を生成するために検出された動きベクトルが示す、前記補間画素から前記第1のフレーム内の抽出画素までの画素数と、前記低減画素数とを比較して小さい方を選択して、前記補間画素を生成するために前記第1のフレーム内より抽出する抽出画素の位置を決定し、前記動きベクトルが示す、前記補間画素から前記第2のフレーム内の抽出画素までの画素数と、前記低減画素数とを比較して小さい方を選択して、前記補間画素を生成するために前記第2のフレーム内より抽出する抽出画素の位置を決定し、位置を決定した前記第1のフレーム内の抽出画素と前記第2のフレーム内の抽出画素とを用いて前記補間画素を生成する補間フレーム生成方法を提供する。 According to the present invention, an interpolation pixel to be generated in an interpolation frame interpolated between a first frame and a second frame adjacent to each other in a time direction in a video signal is converted to an end of an effective pixel range of the interpolation frame. Detects the number of pixels up to, generates a reduced number of pixels by reducing the detected number of pixels at a reduction rate of less than 1, the motion vector detected to generate the interpolation pixel, from the interpolation pixel The number of pixels up to the extracted pixels in the first frame is compared with the number of reduced pixels, and the smaller one is selected, and the smaller one of the extracted pixels extracted from the first frame to generate the interpolated pixels is selected. The position is determined, the motion vector indicates, the number of pixels from the interpolation pixel to the extraction pixel in the second frame, and the reduced pixel number is compared to select the smaller one, and the interpolation pixel is selected. Generate The position of the extracted pixel to be extracted from within the second frame is determined, and the interpolated pixel is extracted using the extracted pixel in the first frame and the extracted pixel in the second frame whose position has been determined. A method for generating an interpolation frame to be generated is provided.
本発明の補間フレーム生成装置及び方法によれば、補間画素を生成するために抽出しようとする画素が実フレームの有効画素範囲外に位置する場合であっても、視覚的な違和感の少ない補間画素を生成することができる。 ADVANTAGE OF THE INVENTION According to the interpolation frame generation apparatus and method of this invention, even if the pixel which is going to be extracted to generate an interpolation pixel is located outside the effective pixel range of the real frame, the interpolation pixel with less visual discomfort Can be generated.
以下、一実施形態の補間フレーム生成装置及び方法について、添付図面を参照して説明する。まず、図1を用いて、一実施形態の補間フレーム生成装置を備えるフレームレート変換装置の概略的な構成及び動作を説明する。 Hereinafter, an interpolation frame generation apparatus and method according to an embodiment will be described with reference to the accompanying drawings. First, a schematic configuration and operation of a frame rate conversion device including an interpolation frame generation device according to an embodiment will be described with reference to FIG.
図1において、動きベクトル検出部1及びフレームメモリ2には、入力映像信号Sinの各フレームf0(第1のフレーム)を構成する画素が順に入力される。入力映像信号Sinのフレームレート(フレーム周波数)は、例えば60Hzである。フレームf0は実フレームであり、フレームf0を現在フレームとする。フレームメモリ2は、フレームf0の全画素を記憶する。
In FIG. 1, the pixels constituting each frame f0 (first frame) of the input video signal Sin are sequentially input to the motion
フレームメモリ2は、フレームf0を1フレーム期間遅延させて、フレームf0に対して1フレーム前のフレームf1(第2のフレーム)を動きベクトル検出部1に供給する。動きベクトル検出部1に供給されるフレームf1のフレームレートは60Hzである。フレームf1は実フレームである。フレームメモリ2は、フレームレート変換メモリとして機能する。フレームメモリ2は、フレームf1をフレームレート120Hzで読み出して、補間フレーム内挿部6に供給する。
The
動きベクトル検出部1に供給されるフレームf1と、補間フレーム内挿部6に供給されるフレームf1とはフレームレートが異なるが、両者は同じフレームの信号であるため、双方をフレームf1と称する。
Although the frame rate supplied to the motion
フレームf0は、動きベクトル検出部1が後述する動きベクトルMVを検出するのに要する時間に相当する数十ライン程度だけフレームメモリ2によって遅延され、フレームレート120Hzに変換されて、補間フレーム内挿部6に供給される。
The frame f0 is delayed by the
フレームメモリ2に入力されるフレームf0と補間フレーム内挿部6に供給されるフレームf0とは、数十ライン程度の時間だけずれており、フレームレートが異なるが、両者は同じフレームの信号であるため、双方をフレームf0と称する。
The frame f0 input to the
動きベクトル検出部1は、フレームf0内の複数の画素よりなるブロックとフレームf1内の複数の画素よりなるブロックとの差分値を算出し、差分値の小さい方向に基づき、動きベクトルMVを検出する。
The motion
なお、複数の画素よりなるブロック間の差分値の算出方法は種々の公知技術を用いればよい。例えば、フレームf0内の画素とフレームf1内の画素との差分値を算出し、その差分値の絶対値を算出し、ブロックごとにその差分値の総和を求めることでブロック間の差分値を算出してもよい。 Note that various known techniques may be used to calculate a difference value between blocks including a plurality of pixels. For example, a difference value between a pixel in the frame f0 and a pixel in the frame f1 is calculated, an absolute value of the difference value is calculated, and a difference value between the blocks is calculated by obtaining a sum of the difference values for each block. May be.
動きベクトルMVはフレームメモリ2に一旦書き込まれ、フレームレート120Hzのフレームに対応するようにレートが変換されて、画素数検出部3及び抽出画素位置決定部5に供給される。動きベクトル検出部1より出力される動きベクトルMVと、抽出画素位置決定部5に供給される動きベクトルMVとはレートが異なるが、両者は同じ動きベクトルであるため、双方を動きベクトルMVと称する。
The motion vector MV is once written in the
補間フレーム内挿部6は補間画素生成部60を備える。仮に、動きベクトルMVがそのまま補間画素生成部60に供給されるとすれば、図2に示すように、補間画素生成部60は、動きベクトルMVに基づいてフレームf0及びf1より選択した一対の画素P0及びP1を用いて、補間フレームf0.5内の補間画素Piを生成する。
The interpolation
補間画素生成部60が動きベクトルMVをそのまま用いて補間画素Piを生成しようとすると、動きベクトルMVに基づいて選択しようとするフレームf0またはf1内の画素が有効画素範囲外に位置することがある。図2は、選択しようとする画素P0がフレームf0の有効画素範囲外に位置している例を示している。
When the interpolation
有効画素範囲とは、フルHDの映像信号を例とすると、水平1920画素、垂直1080画素の領域であり、有効画素範囲外とは、その領域の外部であって、正しい補間画素を生成することができる画素が存在しない領域である。水平1920画素、垂直1080画素の内部であっても、例えばフレームの上下端部が一様の黒とされているレターボックス形式の画像がある。映像信号がこのような画像である場合には、黒の画素を用いて正しい補間画素を生成することはできない。フレームの一部が黒等の固定色または固定輝度の画素となっている場合には、固定色または固定輝度の画素以外の領域が有効画素範囲となる。 The effective pixel range is an area of 1920 horizontal pixels and 1080 vertical pixels when a full HD video signal is taken as an example, and the area outside the effective pixel area is outside the area and a correct interpolation pixel is generated. This is an area where no pixel is present. Even within the horizontal 1920 pixels and the vertical 1080 pixels, for example, there is a letter box format image in which the upper and lower ends of the frame are uniformly black. If the video signal is such an image, it is not possible to generate correct interpolation pixels using black pixels. When a part of the frame is a fixed color or fixed luminance pixel such as black, an area other than the fixed color or fixed luminance pixel is the effective pixel range.
図1に戻り、動きベクトルMVに基づいて抽出しようとする抽出画素がフレームf0またはf1の有効画素範囲外に位置する場合であっても、視覚的な違和感の少ない補間画素を生成するための具体的な構成を説明する。 Returning to FIG. 1, even if the extracted pixel to be extracted based on the motion vector MV is located outside the effective pixel range of the frame f0 or f1, a specific example for generating an interpolated pixel with little visual discomfort is provided. A typical configuration will be described.
図1において、フレームメモリ2及び画素数検出部3には、補間フレームf0.5内の補間画素Piの位置を特定するためのタイミング信号が供給される。タイミング信号は、補間フレームf0.5内の水平方向の位置を示す水平カウント値と、垂直方向の位置を示す垂直カウント値とで構成することができる。
In FIG. 1, a timing signal for specifying the position of the interpolation pixel Pi in the interpolation frame f0.5 is supplied to the
画素数検出部3は、各補間画素Piから、補間フレームf0.5の有効画素範囲の端部までの水平方向または垂直方向の画素数dを検出する。一例として、補間画素Piが図3に示す位置にあるとき、画素数検出部3は、補間画素Piから水平方向の端部までの水平画素数dhと、垂直方向の端部までの垂直画素数dvを検出するのがよい。
The
補間画素Piを基準とすると、水平方向において、図3に図示している水平画素数dhだけ離れた左側端部と、図示されていない右側端部との2つの端部が存在する。補間画素Piを基準とすると、垂直方向において、図3に図示している垂直画素数dvだけ離れた上側端部と、図示されていない下側端部との2つの端部が存在する。後述するように、画素数検出部3は、動きベクトルMVを参照して、補間画素Piから、フレームf0またはf1の抽出画素へと向かう方向に応じた端部までの画素数dを検出する。
With reference to the interpolation pixel Pi, there are two left ends in the horizontal direction: a left end separated by the number dh of horizontal pixels shown in FIG. 3 and a right end not shown. With reference to the interpolation pixel Pi, there are two ends in the vertical direction, an upper end separated by the number of vertical pixels dv shown in FIG. 3 and a lower end not shown. As described later, the pixel
画素数検出部3が検出した画素数dは、低減画素数生成部4に供給される。画素数dは、水平画素数dhまたは垂直画素数dvであり、好ましくは、水平画素数dh及び垂直画素数dvである。低減画素数生成部4は、入力された画素数dを1未満の低減率で低減させた低減画素数drを生成して抽出画素位置決定部5に供給する。低減画素数生成部4は、水平画素数dh及び垂直画素数dvをそれぞれ低減させた水平低減画素数及び垂直低減画素数を生成する。
The pixel number d detected by the pixel
低減率を例えば1/2とすると、低減画素数生成部4は、画素数dに係数1/2を乗じることによって低減画素数drを生成する。このとき、低減画素数生成部4は例えば小数点以下を繰り上げる。小数点以下を繰り下げてもよい。
Assuming that the reduction rate is, for example, 低 減, the reduced pixel
抽出画素位置決定部5は、補間画素Piからフレームf0及びf1の抽出画素までの水平方向または垂直方向の画素数Nを検出する。画素数検出部3が水平画素数dh及び垂直画素数dvを検出する場合には、抽出画素位置決定部5は、補間画素Piからフレームf0及びf1の抽出画素までの水平方向及び垂直方向の画素数Nを検出する。フレームf0及びf1の抽出画素は、補間画素Piを生成するために検出された動きベクトルMVによって決まる。
The extraction pixel
図4は、簡略化のため、フレームf0、f1、及び補間フレームf0.5における各1ラインの左端部を示している。補間フレームf0.5における補間画素Pi1〜Pi12を生成するための動きベクトルMVが、補間画素Pi1〜Pi12に対して共通に検出されているとする。図4において、ハッチングを付した画素は有効画素範囲外の画素である。 FIG. 4 shows the left end of one line in each of the frames f0 and f1 and the interpolation frame f0.5 for simplification. It is assumed that the motion vector MV for generating the interpolation pixels Pi1 to Pi12 in the interpolation frame f0.5 is commonly detected for the interpolation pixels Pi1 to Pi12. In FIG. 4, the hatched pixels are pixels outside the effective pixel range.
図4に示す例では、補間画素Pi1〜Pi12を生成するために選択されるフレームf0の抽出画素は、補間画素Pi1〜Pi12を(1/2)×MVで表されるベクトルだけシフトした画素P0(−6)〜P06である。補間画素Pi1〜Pi12を生成するために選択されるフレームf1の抽出画素は、補間画素Pi1〜Pi12を−(1/2)×MVで表されるベクトルだけシフトした画素P17〜P118である。 In the example illustrated in FIG. 4, the extracted pixel of the frame f0 selected to generate the interpolation pixels Pi1 to Pi12 is a pixel P0 obtained by shifting the interpolation pixels Pi1 to Pi12 by a vector represented by (1/2) × MV. (-6) to P06. The extracted pixels of the frame f1 selected to generate the interpolation pixels Pi1 to Pi12 are the pixels P17 to P118 obtained by shifting the interpolation pixels Pi1 to Pi12 by a vector represented by − (1 /) × MV.
画素数検出部3は、補間画素Piからフレームf0またはf1の抽出画素へと向かう方向に位置する端部を、補間画素Piからの画素数dを検出する端部とする。後述するように、抽出画素位置決定部5は各補間画素Piを生成するためのフレームf0及びf1内の最終的な抽出画素の位置を決定する。
The pixel
図4に示す例では、フレームf0の画素P0(−6)〜P06は、補間画素Pi1〜Pi12から左方向に向かう画素位置に位置している。よって、画素数検出部3は、抽出画素位置決定部5がフレームf0内の抽出画素の位置を決定する際には、補間画素Pi1〜Pi12から補間フレームf0.5の左端部までの画素数dを検出する。また、フレームf1の画素P17〜P118は、補間画素Pi1〜Pi12から右方向に向かう画素位置に位置している。よって、画素数検出部3は、抽出画素位置決定部5がフレームf1内の抽出画素の位置を決定する際には、補間画素Pi1〜Pi12から補間フレームf0.5の右端部までの画素数dを検出する。
In the example illustrated in FIG. 4, the pixels P0 (−6) to P06 of the frame f0 are located at pixel positions going leftward from the interpolation pixels Pi1 to Pi12. Therefore, when the extraction pixel
抽出画素位置決定部5は、検出した画素数Nと、低減画素数生成部4より供給された低減画素数drとを比較して、小さい方を選択する。抽出画素位置決定部5のフレームf0に対する動作と、フレームf1に対する動作を説明すると次のとおりである。
The extracted pixel
補間画素Pi1〜Pi12からフレームf0の抽出画素である画素P0(−6)〜P06までの水平方向の画素数Nはそれぞれ6画素である。フレームf0に対する動作では、各補間画素Piから補間フレームf0.5の左端部までの画素数dが検出されている。補間画素Pi1において、画素数dは0であるから低減画素数drは0であり、画素数Nは6であるから、抽出画素位置決定部5は低減画素数drの0を選択する。補間画素Pi2において、画素数dは1であるから低減画素数drは0.5の小数点以下を繰り上げて1であり、画素数Nは6であるから、抽出画素位置決定部5は低減画素数drの1を選択する。
The number N of pixels in the horizontal direction from the interpolation pixels Pi1 to Pi12 to the pixels P0 (−6) to P06, which are the extracted pixels of the frame f0, is six. In the operation for the frame f0, the number of pixels d from each interpolation pixel Pi to the left end of the interpolation frame f0.5 is detected. In the interpolated pixel Pi1, the number of pixels d is 0, the number of reduced pixels dr is 0, and the number of pixels N is 6, so the extracted pixel
同様に、抽出画素位置決定部5は、補間画素Pi3において低減画素数drの1を選択し、補間画素Pi4において低減画素数drの2を選択し、補間画素Pi5において低減画素数drの2を選択する。抽出画素位置決定部5は、補間画素Pi6以降も同様に、画素数Nと低減画素数drとを比較して、小さい方を選択する。補間画素Pi12において、画素数dは11で低減画素数drは6である。抽出画素位置決定部5は、低減画素数drと画素数Nとが同じであれば、画素数Nを選択すればよい。
Similarly, the extracted pixel
補間画素Pi1〜Pi12からフレームf1の抽出画素である画素P17〜P118までの水平方向の画素数Nはそれぞれ6画素である。フレームf1に対する動作では、各補間画素Piから補間フレームf0.5の右端部までの画素数dが検出されている。補間画素Pi1〜Pi12において、画素数dは1919〜1908であるから低減画素数drは960〜954であり、画素数Nは6であるから、抽出画素位置決定部5は画素数Nを選択する。
The number N of pixels in the horizontal direction from the interpolation pixels Pi1 to Pi12 to the pixels P17 to P118, which are the extraction pixels of the frame f1, is 6 pixels. In the operation for the frame f1, the number of pixels d from each interpolation pixel Pi to the right end of the interpolation frame f0.5 is detected. In the interpolation pixels Pi1 to Pi12, the number d of pixels is 1919 to 1908, so the number dr of reduced pixels is 960 to 954, and the number N of pixels is 6. Therefore, the extracted pixel
図4は、水平方向の処理を示すが、画素数検出部3〜抽出画素位置決定部5が垂直方向の処理を実行する場合には、水平方向と同様の処理が実行される。画素数検出部3は垂直方向の画素数dを検出し、低減画素数生成部4は低減画素数drを生成し、抽出画素位置決定部5は、垂直方向の画素数Nと低減画素数drとを比較して、小さい方を選択する。
FIG. 4 shows the processing in the horizontal direction. When the pixel
図5A及び図5Bを用いて、画素数検出部3〜抽出画素位置決定部5の動作を説明する。図5A及び図5Bにおいて、横軸を画素数d、縦軸を画素数Nとする。低減画素数drはN=d/2の直線で表すことができる。比較のため、二点鎖線にてN=dの直線も示されている。図4と同様に、動きベクトルMVが、補間画素Pi1から水平方向の所定の範囲で共通に検出されて、太い破線で示すように、画素数Nが一様に画素数N0であるとする。
The operations of the pixel
抽出画素位置決定部5は、検出した画素数N0と低減画素数drとを比較して、小さい方を選択する。従って、図5Bに示すように、抽出画素位置決定部5は、画素数N0がd/2を超える領域において低減画素数drを選択し、画素数N0がd/2以下の領域において画素数N0を選択する。これにより、太い破線で示すように、画素数N0がd/2を超える領域においては画素数N0が低減画素数drへと置換され、画素数N0がd/2以下の領域においては画素数N0が維持される。
The extracted pixel
抽出画素位置決定部5は、以上のように選択した低減画素数drまたは画素数Nを、フレームf0またはf1の有効画素範囲内より抽出する最終的な抽出画素の位置と決定する。抽出画素位置決定部5は、抽出画素の位置を示す抽出画素位置指示信号を生成して、補間画素生成部60に供給する。
The extracted pixel
抽出画素位置指示信号は、各補間画素Piを基準としてフレームf0内の抽出画素の位置を指示する水平方向及び垂直方向のベクトルと、各補間画素Piを基準としてフレームf1内の抽出画素の位置を指示する水平方向及び垂直方向のベクトルとで構成することができる。 The extracted pixel position indicating signal is a vector in the horizontal direction and the vertical direction indicating the position of the extracted pixel in the frame f0 on the basis of each interpolation pixel Pi, and the position of the extraction pixel in the frame f1 on the basis of each interpolation pixel Pi. It can be composed of the specified horizontal and vertical vectors.
補間画素生成部60は、入力された抽出画素位置指示信号に基づいて抽出したフレームf0内の抽出画素とフレームf1内の抽出画素とを混合して、補間フレームf0.5内の各補間画素Piを生成する。補間画素生成部60が、補間フレームf0.5内の全ての補間画素Piを生成することによって、補間フレームf0.5が生成される。補間フレーム内挿部6は、時間方向に隣接するフレームf0とフレームf1との間に補間フレームf0.5を内挿して、フレームレート120Hzを有する出力映像信号Soutを生成する。
The interpolated
図6を用いて、図4に示す補間フレームf0.5内の補間画素Pi1〜Pi12が具体的にどのように生成されるかについて説明する。補間画素生成部60は、補間画素Pi1において、低減画素数drの0に基づいて選択したフレームf0内の画素P01と、画素数Nの6に基づいて選択したフレームf1内の画素P17とを混合して、補間画素Pi1を生成する。補間画素生成部60は、補間画素Pi2において、低減画素数drの1に基づいて選択したフレームf0内の画素P01と、画素数Nの6に基づいて選択したフレームf1内の画素P18とを混合して、補間画素Pi2を生成する。
6, how the interpolation pixels Pi1 to Pi12 in the interpolation frame f0.5 shown in FIG. 4 are specifically generated will be described. The interpolation
補間画素生成部60は、補間画素Pi3において、低減画素数drの1に基づいて選択したフレームf0内の画素P02と、画素数Nの6に基づいて選択したフレームf1内の画素P19とを混合して、補間画素Pi3を生成する。補間画素生成部60は、補間画素Pi4において、低減画素数drの2に基づいて選択したフレームf0内の画素P02と、画素数Nの6に基づいて選択したフレームf1内の画素P110とを混合して、補間画素Pi4を生成する。補間画素生成部60は、補間画素Pi5以降も同様にして、各補間画素Piを生成する。
The interpolation
補間画素生成部60は、補間画素Pi12において、低減画素数drの6に基づいて選択したフレームf0内の画素P06と、画素数Nの6に基づいて選択したフレームf1内の画素P118とを混合して、補間画素Pi12を生成する。補間画素Pi12では、動きベクトルMVをそのまま補間画素生成部60に供給した場合と同じフレームf0及びf1内の画素が抽出されて、補間画素Pi12が生成される。
The interpolation
図6より分かるように、本実施形態の補間フレーム生成装置及び方法によれば、特許文献1に記載の方法とは異なり、フレームf0及びf1内の双方の画素を用いた両側補間であるので、誤った動きベクトルが検出されたとしても、片側補間と比べて視覚的な違和感が少ない補間画素が生成される。本実施形態の補間フレーム生成装置及び方法によれば、特許文献2に記載の方法とは異なり、動きがホールドされたような補間画素が生成されることはない。本実施形態の補間フレーム生成装置及び方法によれば、補間画素を生成するために抽出しようとする画素が実フレームの有効画素範囲外に位置する場合に、有効画素範囲内の画素に置換されて抽出されるため、視覚的な違和感の少ない補間画素を生成することができる。
As can be seen from FIG. 6, according to the interpolated frame generation apparatus and method of the present embodiment, unlike the method described in
図7に示すフローチャートを用いて、本実施形態の補間フレーム生成装置の動作、及び、補間フレーム生成装置で実行される補間フレーム生成方法による処理を改めて説明する。 With reference to the flowchart shown in FIG. 7, the operation of the interpolation frame generation device of the present embodiment and the processing by the interpolation frame generation method executed by the interpolation frame generation device will be described again.
図7において、動きベクトル検出部1に入力映像信号Sinが供給されて処理が開始されると、動きベクトル検出部1は、ステップS1にて、フレームf0及びf1の画素に基づいて、補間フレームf0.5の補間画素を生成するための動きベクトルMVを検出する。
In FIG. 7, when the input video signal Sin is supplied to the motion
画素数検出部3は、ステップS2にて、補間画素Piから有効画素範囲の端部までの画素数dを検出する。低減画素数生成部4は、ステップS3にて、画素数dに応じた低減画素数drを生成する。抽出画素位置決定部5は、ステップS4にて、低減画素数drと、動きベクトルMVによって決まる抽出画素までの画素数Nとを比較し、小さい方を抽出画素位置指示信号として出力する。
In step S2, the pixel
補間画素生成部60は、ステップS5にて、抽出画素位置指示信号に基づいてフレームf0及びf1より画素を抽出して補間画素Piを生成する。補間画素生成部60は、ステップS6にて、補間フレームf0.5内の全ての補間画素Piを生成したか否かを判定する。全ての補間画素Piを生成していなければ(NO)、ステップS1〜S6の処理が繰り返される。
In step S5, the interpolated
ステップS6にて全ての補間画素Piを生成していれば(YES)、補間画素生成部60は、ステップS7にて、入力映像信号Sinが継続的に入力されたか否かを判定する。入力映像信号Sinが継続的に入力されていれば(YES)、ステップS1〜S7の処理が繰り返される。入力映像信号Sinが継続的に入力されなければ(NO)、補間画素生成部60は、補間フレーム生成の処理を終了させる。
If all the interpolated pixels Pi have been generated in step S6 (YES), the interpolated
図1に示すフレームレート変換装置(補間フレーム生成装置)をハードウェア(回路)で構成してもよいし、少なくとも一部をソフトウェア(コンピュータプログラム)によって構成してもよい。フレームレート変換装置(補間フレーム生成装置)を構成する上で、ハードウェアとソフトウェアとの使い分けは任意である。 The frame rate conversion device (interpolation frame generation device) shown in FIG. 1 may be configured by hardware (circuit), or at least a part may be configured by software (computer program). In configuring the frame rate conversion device (interpolated frame generation device), the use of hardware and software is optional.
コンピュータプログラム(フレームレート変換プログラムまたは補間フレーム生成プログラム)が、コンピュータに図7に示す処理を実行させてもよい。コンピュータプログラムは、非一時的な記憶媒体に記憶されていてもよいし、インターネット等の通信回線でコンピュータへと送信されてもよい。 A computer program (frame rate conversion program or interpolation frame generation program) may cause a computer to execute the processing shown in FIG. The computer program may be stored in a non-transitory storage medium, or may be transmitted to a computer via a communication line such as the Internet.
本発明は以上説明した本実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。 The present invention is not limited to the embodiment described above, and can be variously modified without departing from the gist of the present invention.
1 動きベクトル検出部
2 フレームメモリ
3 画素数検出部
4 低減画素数生成部
5 抽出画素位置決定部
6 補間フレーム内挿部
60 補間画素生成部
DESCRIPTION OF
Claims (4)
前記画素数検出部が検出した画素数を1未満の低減率で低減させた低減画素数を生成する低減画素数生成部と、
前記補間画素を生成するために検出された動きベクトルが示す、前記補間画素から前記第1のフレーム内の抽出画素までの画素数と、前記低減画素数とを比較して小さい方を選択して、前記補間画素を生成するために前記第1のフレーム内より抽出する抽出画素の位置を決定し、前記動きベクトルが示す、前記補間画素から前記第2のフレーム内の抽出画素までの画素数と、前記低減画素数とを比較して小さい方を選択して、前記補間画素を生成するために前記第2のフレーム内より抽出する抽出画素の位置を決定する抽出画素位置決定部と、
前記抽出画素位置決定部によって位置が決定された前記第1のフレーム内の抽出画素と前記第2のフレーム内の抽出画素とを用いて前記補間画素を生成する補間画素生成部と、
を備える補間フレーム生成装置。 The number of pixels from an interpolated pixel to be generated in an interpolated frame interpolated between a first frame and a second frame adjacent in the time direction in the video signal to an end of an effective pixel range of the interpolated frame A pixel number detection unit that detects
A reduced pixel number generation unit that generates a reduced pixel number in which the number of pixels detected by the pixel number detection unit is reduced at a reduction rate of less than 1;
The motion vector detected to generate the interpolated pixel indicates, the number of pixels from the interpolated pixel to the extracted pixel in the first frame, and comparing the reduced pixel number to select the smaller one Determining the positions of the extracted pixels to be extracted from within the first frame to generate the interpolated pixels, and the number of pixels from the interpolated pixels to the extracted pixels in the second frame indicated by the motion vector; An extracted pixel position determining unit that compares the number of reduced pixels and selects a smaller one, and determines a position of an extracted pixel to be extracted from within the second frame to generate the interpolation pixel;
An interpolated pixel generation unit that generates the interpolated pixel using an extracted pixel in the first frame and an extracted pixel in the second frame whose position is determined by the extracted pixel position determination unit;
An interpolation frame generation device comprising:
前記抽出画素位置決定部は、
前記動きベクトルが示す、前記補間画素から前記第1のフレーム内の抽出画素までの水平方向または垂直方向の画素数と、前記低減画素数とを比較して小さい方を選択して、前記第1のフレーム内より抽出する抽出画素の位置を決定し、
前記動きベクトルが示す、前記補間画素から前記第2のフレーム内の抽出画素までの水平方向または垂直方向の画素数と、前記低減画素数とを比較して小さい方を選択して、前記第2のフレーム内より抽出する抽出画素の位置を決定する
請求項1に記載の補間フレーム生成装置。 The pixel number detection unit, from the interpolation pixel, detects the number of pixels in the horizontal or vertical direction to the end of the effective pixel range,
The extraction pixel position determination unit,
Comparing the number of horizontal or vertical pixels from the interpolated pixel to the extracted pixel in the first frame indicated by the motion vector, and the number of reduced pixels, and selecting the smaller one, Determine the position of the extracted pixel to be extracted from within the frame of
Comparing the number of horizontal or vertical pixels from the interpolated pixel to the extracted pixel in the second frame indicated by the motion vector with the number of reduced pixels, and selecting the smaller one, The interpolation frame generation device according to claim 1, wherein the position of an extraction pixel to be extracted from within the frame is determined.
前記低減画素数生成部は、前記水平画素数及び前記垂直画素数をそれぞれ1未満の低減率で低減させた水平低減画素数及び垂直低減画素数を生成し、
前記抽出画素位置決定部は、
前記動きベクトルが示す、前記補間画素から前記第1のフレーム内の抽出画素までの水平方向の画素数と、前記水平低減画素数とを比較して小さい方を選択し、垂直方向の画素数と、前記垂直低減画素数とを比較して小さい方を選択して、前記補間画素を生成するために前記第1のフレーム内より抽出する抽出画素の位置を決定し、
前記動きベクトルが示す、前記補間画素から前記第2のフレーム内の抽出画素までの水平方向の画素数と、前記水平低減画素数とを比較して小さい方を選択し、垂直方向の画素数と、前記垂直低減画素数とを比較して小さい方を選択して、前記補間画素を生成するために前記第2のフレーム内より抽出する抽出画素の位置を決定する
請求項1に記載の補間フレーム生成装置。 The pixel number detection unit detects both the number of horizontal pixels in the horizontal direction and the number of vertical pixels in the vertical direction from the interpolation pixel to the end of the effective pixel range,
The reduced pixel number generation unit generates a horizontal reduced pixel number and a vertical reduced pixel number in which the horizontal pixel number and the vertical pixel number are each reduced at a reduction rate of less than 1.
The extraction pixel position determination unit,
The motion vector indicates, the number of pixels in the horizontal direction from the interpolation pixel to the extraction pixel in the first frame, and comparing the number of horizontal reduction pixels, the smaller one is selected, and the number of pixels in the vertical direction is selected. Comparing the number of vertical reduction pixels, selecting the smaller one, and determining the position of an extraction pixel to be extracted from within the first frame to generate the interpolation pixel;
The motion vector indicates, the number of pixels in the horizontal direction from the interpolation pixel to the extraction pixel in the second frame, and compare the horizontal reduction pixel number and select the smaller one, and select the number of pixels in the vertical direction. The interpolated frame according to claim 1, wherein a smaller one is selected by comparing with the number of vertically reduced pixels, and a position of an extracted pixel to be extracted from within the second frame to generate the interpolated pixel is determined. Generator.
検出した画素数を1未満の低減率で低減させた低減画素数を生成し、
前記補間画素を生成するために検出された動きベクトルが示す、前記補間画素から前記第1のフレーム内の抽出画素までの画素数と、前記低減画素数とを比較して小さい方を選択して、前記補間画素を生成するために前記第1のフレーム内より抽出する抽出画素の位置を決定し、
前記動きベクトルが示す、前記補間画素から前記第2のフレーム内の抽出画素までの画素数と、前記低減画素数とを比較して小さい方を選択して、前記補間画素を生成するために前記第2のフレーム内より抽出する抽出画素の位置を決定し、
位置を決定した前記第1のフレーム内の抽出画素と前記第2のフレーム内の抽出画素とを用いて前記補間画素を生成する
補間フレーム生成方法。 The number of pixels from an interpolated pixel to be generated in an interpolated frame interpolated between a first frame and a second frame adjacent in a time direction in a video signal to an end of an effective pixel range of the interpolated frame To detect
Generate a reduced pixel count by reducing the detected pixel count at a reduction rate of less than 1,
The motion vector detected to generate the interpolated pixel indicates, the number of pixels from the interpolated pixel to the extracted pixel in the first frame, and comparing the reduced pixel number to select the smaller one Determining the positions of the extracted pixels to be extracted from within the first frame to generate the interpolated pixels;
The motion vector indicates, the number of pixels from the interpolated pixel to the extracted pixel in the second frame, and comparing the reduced number of pixels to select the smaller one to generate the interpolated pixel Determining the position of the extracted pixel to be extracted from within the second frame;
An interpolated frame generation method for generating the interpolated pixels using the extracted pixels in the first frame and the extracted pixels in the second frame whose positions have been determined.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018137344A JP2020017783A (en) | 2018-07-23 | 2018-07-23 | Interpolation frame generation apparatus and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018137344A JP2020017783A (en) | 2018-07-23 | 2018-07-23 | Interpolation frame generation apparatus and method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020017783A true JP2020017783A (en) | 2020-01-30 |
Family
ID=69581031
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018137344A Pending JP2020017783A (en) | 2018-07-23 | 2018-07-23 | Interpolation frame generation apparatus and method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2020017783A (en) |
-
2018
- 2018-07-23 JP JP2018137344A patent/JP2020017783A/en active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9591258B2 (en) | Image processing apparatus, image processing method, program and storage medium | |
KR101186143B1 (en) | Frame rate conversion apparatus and method | |
JP2008141394A (en) | Interpolation frame generation method, and interpolation frame generation device | |
KR101000612B1 (en) | Signal processing apparatus and signal processing method | |
JP5887764B2 (en) | Motion compensation frame generation apparatus and method | |
JP2018061130A (en) | Image processing device, image processing method, and program | |
EP2533523B1 (en) | Motion-vector correction device and method and video-signal processing device and method | |
US20140043502A1 (en) | Flicker noise detection apparatus, flicker noise detection method, and computer-readable storage device storing flicker noise detection program | |
US10748292B2 (en) | Image signal detection device | |
JP2020017783A (en) | Interpolation frame generation apparatus and method | |
JP2010011108A (en) | Image processing apparatus and method, and program | |
EP3866460B1 (en) | Interpolation frame generation device and method | |
US11308631B2 (en) | Motion vector detection device | |
JP4250598B2 (en) | Motion compensation IP conversion processing apparatus and motion compensation IP conversion processing method | |
JP2009177524A (en) | Scanning line interpolating device and scanning line interpolating method | |
US8405767B2 (en) | Image processing device | |
JP5887763B2 (en) | Motion compensation frame generation apparatus and method | |
JP2013074384A (en) | Image processing apparatus and image processing method | |
JP2008236402A (en) | Interpolated image generation device and interpolated image generating method | |
JP3223577B2 (en) | Image stabilization device | |
JP2019161275A (en) | Interpolated frame generator | |
JP2019062365A (en) | Video signal processor | |
KR101574301B1 (en) | An appratus for frame rate conversion and a method thereof | |
JP2015222895A (en) | Image interpolation device, image interpolation program and image reading apparatus | |
JP2008022156A (en) | Device and method for detecting motion vector |