JP6904192B2

JP6904192B2 - 補間フレーム生成装置

Info

Publication number: JP6904192B2
Application number: JP2017182002A
Authority: JP
Inventors: 真季高見; 吉田　篤史; 篤史吉田
Original assignee: JVCKenwood Corp
Current assignee: JVCKenwood Corp
Priority date: 2017-09-22
Filing date: 2017-09-22
Publication date: 2021-07-14
Anticipated expiration: 2037-09-22
Also published as: JP2019057866A; US10917609B2; US20200204760A1; WO2019058606A1

Description

本発明は、画像の動きベクトルに基づいて補間フレームを生成する補間フレーム生成装置に関する。

補間フレーム生成装置は、映像信号のフレーム周波数を変換するために、隣接する２つのフレーム間に内挿するための補間フレームを生成する。補間フレーム生成装置は、画像の動きベクトルに基づいて補間フレームを構成する各補間画素を生成する。

特開２０１４−１８７６９０号公報

動きベクトルを誤検出すると不適切な補間画素が生成され、視聴者に視覚的な違和感を与えてしまう。そこで、視覚的な違和感を軽減するために、動きベクトルに基づいて生成した動補間の補間画素と、動き０の静止補間の補間画素とを混合して補間画素を生成することがある。

動補間の補間画素と静止補間の補間画素とを混合するときに、動補間の補間画素の比率を増やせば補間フレームにおける画像の動きが滑らかとなるが、動きベクトルを誤検出したときの視覚的な違和感が増大しやすい。一方、静止補間の補間画素の比率を増やせば動きベクトルを誤検出しても視覚的な違和感を少なくすることができるが、画像の動きの滑らさが必要以上に失われることがある。

本発明は、動きベクトルを誤検出したときの視覚的な違和感を少なくし、画像の動きの滑らさが必要以上に失われることなく、補間フレームを生成することができる補間フレーム生成装置を提供することを目的とする。

本発明は、入力された映像信号における少なくとも第１及び第２のフレーム内の画素に基づいて画像の動きベクトルを検出し、前記動きベクトルの信頼度を示す信頼度データを生成する動きベクトル検出部と、前記第１及び第２のフレーム間に内挿される補間フレームを構成する各補間画素を生成するために、前記第１及び第２のフレーム内の画素より、前記動きベクトルに基づく動補間用の一対の画素と、静止補間用の一対の画素とを選択する画素選択部と、前記信頼度データに基づいて、前記動補間用の一対の画素に基づいて生成される動補間の補間画素と、前記静止補間用の一対の画素に基づいて生成される静止補間の補間画素との混合比率を示す第１の混合比率を生成する第１の混合比率生成部と、前記画素選択部によって選択された前記動補間用の一対の画素の差分値に基づいて、前記動補間の補間画素と前記静止補間の補間画素との混合比率を示す第２の混合比率を生成する第２の混合比率生成部と、前記第１の混合比率と前記第２の混合比率とが異なるとき、前記第１の混合比率と前記第２の混合比率とのうち静止補間の補間画素の混合比率が少ない方の混合比率を選択したときよりも静止補間の補間画素の混合比率が多くなるように混合比率を調整して、第３の混合比率を生成する混合比率調整部と、前記動補間の補間画素と前記静止補間の補間画素とを生成し、前記第３の混合比率に応じて前記動補間の補間画素と前記静止補間の補間画素とを適応的に混合して補間画素を生成する補間データ生成部とを備えることを特徴とする補間フレーム生成装置を提供する。

本発明の補間フレーム生成装置によれば、動きベクトルを誤検出したときの視覚的な違和感を少なくし、画像の動きの滑らさが必要以上に失われることなく、補間フレームを生成することができる。

一実施形態の補間フレーム生成装置を含むフレーム周波数変換装置を示すブロック図である。一実施形態の補間フレーム生成装置によって動補間の補間画素を生成する動作を概念的に示す図である。図１中の補間データ生成部８の内部構成例を示すブロック図である。一実施形態の補間フレーム生成装置によって動補間の補間画素と静止補間の補間画素とを混合して補間画素を生成する動作を概念的に示す図である。

以下、一実施形態の補間フレーム生成装置について、添付図面を参照して説明する。図１に示すフレーム周波数変換装置は、本実施形態の補間フレーム生成装置を含んで構成されている。フレーム周波数変換装置の動作を説明しながら、補間フレーム生成装置の動作を説明する。

図１において、フレーム周波数変換の対象となっている映像信号Ｓｉｎの各フレームを構成する各画素位置の画素は、画素単位で順に、フレームメモリ１、動きベクトル検出部２、画素選択部３、及びフレーム周波数変換メモリ９に入力される。入力された映像信号Ｓｉｎのフレームを現在フレームであるフレームＦ１であるとする。フレームＦ１は第１のフレームとしての実フレームである。映像信号Ｓｉｎのフレーム周波数は６０Ｈｚであるとする。

フレームメモリ１はフレームＦ１を１フレーム期間遅延して、１フレーム前のフレームＦ２を生成する。フレームＦ２は第２のフレームとしての実フレームである。フレームＦ２を構成する各画素位置の画素は、画素単位で順に、動きベクトル検出部２及び画素選択部４に入力される。

動きベクトル検出部２は、フレームＦ１内の水平及び垂直方向の所定の範囲及びフレームＦ２内の水平及び垂直方向の所定の範囲から、様々な動きに対応した画素の組を抽出してその差分値を算出し、差分値の小さい方向に基づいて動きベクトルＭＶを検出する。なお、動きベクトル検出部２は、フレームＦ１内の複数の画素よりなるブロック及びフレームＦ２内の複数の画素よりなるブロックのブロック内の各画素において、様々な動きに対応した差分値を算出し、その差分値の絶対値の総和に基づいて動きベクトルＭＶを検出することもできる。

動きベクトル検出部２は、フレームＦ１及びＦ２以外の、例えばフレームＦ１よりも未来のフレームと、フレームＦ２の１フレーム前の過去のフレームとの双方、またはいずれか一方のフレーム内の画素を参照して、動きベクトルＭＶを検出してもよい。このようにすれば、動きベクトルＭＶの検出精度が向上する。動きベクトル検出部２が動きベクトルＭＶを検出する際に比較するフレームは２フレームに限定されず、３フレーム以上であってもよい。動きベクトル検出部２は隣接する２フレームを比較することに限定されず、１フレームまたはそれ以上飛ばしたフレーム間で比較してもよい。

動きベクトル検出部２は、フレームＦ１とフレームＦ２との間の水平及び垂直方向の所定の範囲のブロック間の動きベクトルＭＶを検出するために、入力された画素を水平方向に遅延する画素遅延器（フリップフロップ）及び垂直方向に遅延するラインメモリを備える。画素遅延器及びラインメモリは、動きベクトル検出部２の外部に設けられていてもよい。

動きベクトル検出部２は、動きベクトルＭＶを検出するのに併せて、動きベクトルＭＶの信頼度データＲｅを生成する。動きベクトル検出部２は、動きベクトルＭＶを検出したときの画素の差分値を信頼度データＲｅとすることができる。動きベクトル検出部２は、差分値が小さいほど信頼度が高く、差分値が大きいほど信頼度が低い信頼度データＲｅを生成する。

動きベクトル検出部２は、動きベクトルＭＶを検出したときに、他の候補ベクトルの差分値が動きベクトルＭＶの差分値に対してどれだけ差があるかという基準で信頼度データＲｅを生成してもよい。この場合、動きベクトル検出部２は、他の候補ベクトルの差分値が動きベクトルＭＶの差分値が大きいほど、信頼度が高い信頼度データＲｅを生成する。

動きベクトル検出部２は、動きベクトルＭＶを検出する過程で動きベクトルＭＶの信頼度データＲｅを生成すればよく、信頼度データＲｅの具体的な生成方法は限定されない。

動きベクトルＭＶは、画素選択部３及び４に供給され、信頼度データＲｅは混合比率生成部５に供給される。混合比率生成部５は、信頼度データＲｅに基づいて、後述する動補間の補間画素と静止補間の補間画素とを混合する第１の混合比率Ｍｒ１を生成して、混合比率調整部７に供給する。第１の混合比率Ｍｒ１は、動補間の補間画素と静止補間の補間画素との合計を１としたときの両者の混合比率を示す。

画素選択部３は、動きベクトルＭＶに基づいてフレームＦ１内の画素Ｐ１を選択し、併せて、生成しようとする補間画素と同じ画素位置の画素Ｐ１０を選択して、補間データ生成部８に供給する。画素選択部４は、動きベクトルＭＶに基づいてフレームＦ２内の画素Ｐ２を選択し、併せて、生成しようとする補間画素と同じ画素位置の画素Ｐ２０を選択して、補間データ生成部８に供給する。

画素Ｐ１及びＰ２は動補間用の一対の画素であり、画素Ｐ１０及びＰ２０は静止補間用の一対の画素である。

画素選択部３及び４は、それぞれ、動きベクトルＭＶに基づいてフレームＦ１及びＦ２内の画素Ｐ１及びＰ２、生成しようとする補間画素と同じ画素位置の画素Ｐ１０及びＰ２０を選択するために、入力された画素を水平方向に遅延する画素遅延器及び垂直方向に遅延するラインメモリを備える。動きベクトル検出部２と画素選択部３及び４とで画素遅延器及びラインメモリの少なくとも一部が共通化されていてもよい。画素遅延器及びラインメモリは、画素選択部３及び４の外部に設けられていてもよい。

図２は、画素選択部３及び４が動きベクトルＭＶに基づいて画素Ｐ１及びＰ２を選択して、フレームＦ１とフレームＦ２との間に内挿する補間フレームＦ２１の補間画素Ｐ２１を生成する動作を概念的に示している。ここでは簡略化のため、水平方向の画素のみを示している。

動きベクトルＭＶは、画像が水平方向左側に４画素分移動したことを示す。このとき、仮に動きベクトルＭＶのみに基づく動補間によって補間画素Ｐ２１を生成するとすれば、補間画素Ｐ２１に対して左側に２画素ずれた位置の画素Ｐ１と、右側に２画素ずれた位置の画素Ｐ２とを加算して２で除算すれば、補間画素Ｐ２１が生成される。

しかしながら、画像の動きを全く誤検出することなく検出することは極めて困難であり、動きベクトルＭＶが完全に正しいとは限らない。そこで、画素選択部３及び４は、それぞれ、画素Ｐ１及びＰ２に加えて、図２に示す補間画素Ｐ２１と同じ画素位置の画素Ｐ１０及びＰ２０を選択する。後述するように、補間画素Ｐ２１は、画素Ｐ１及びＰ２と画素Ｐ１０及びＰ２０とに基づいて生成されることがある。

図１に戻り、画素選択部３が選択した画素Ｐ１と、画素選択部４が選択した画素Ｐ２は、混合比率生成部６にも供給される。混合比率生成部６は、動きベクトルＭＶに基づいて選択された画素Ｐ１と画素Ｐ２との差分値に基づいて、動補間の補間画素と静止補間の補間画素とを混合する第２の混合比率Ｍｒ２を生成して、混合比率調整部７に供給する。第２の混合比率Ｍｒ２も、動補間の補間画素と静止補間の補間画素との合計を１としたときの両者の混合比率を示す。

混合比率調整部７は、第１の混合比率Ｍｒ１と第２の混合比率Ｍｒ２とに基づいて最終的な第３の混合比率Ｍｒ３を生成する。第１の例として、混合比率調整部７は、第１の混合比率Ｍｒ１と第２の混合比率Ｍｒ２とのうち、静止補間の補間画素の比率が大きい方の混合比率を選択して、第３の混合比率Ｍｒ３とする。

例えば、第１の混合比率Ｍｒ１が、動補間の補間画素と静止補間の補間画素との混合比率が０．７：０．３であることを示し、第２の混合比率Ｍｒ２が、動補間の補間画素と静止補間の補間画素との混合比率が０．６：０．４であることを示すとする。このとき、混合比率調整部７は、第２の混合比率Ｍｒ２を第３の混合比率Ｍｒ３とする。

第２の例として、混合比率調整部７は、第１の混合比率Ｍｒ１と第２の混合比率Ｍｒ２とを平均して、第３の混合比率Ｍｒ３を生成する。例えば、第１の混合比率Ｍｒ１が０．７：０．３であることを示し、第２の混合比率Ｍｒ２が０．６：０．４であることを示すとき、混合比率調整部７は、両者を平均して第３の混合比率Ｍｒ３を０．６５：０．３５とする。

混合比率調整部７は、第１の混合比率Ｍｒ１と第２の混合比率Ｍｒ２とが同じであれば、第１の混合比率Ｍｒ１と第２の混合比率Ｍｒ２とが示す動補間の補間画素と静止補間の補間画素との混合比率をそのまま第３の混合比率Ｍｒ３とする。

混合比率調整部７は、第１の混合比率Ｍｒ１と第２の混合比率Ｍｒ２とが異なれば、静止補間の補間画素の混合比率が少ない方の混合比率を選択したときよりも、静止補間の補間画素の混合比率が多くなるように混合比率を調整した第３の混合比率Ｍｒ３を生成すればよい。

上述した第１の例では、混合比率調整部７は、第１の混合比率Ｍｒ１と第２の混合比率Ｍｒ２とのうち、静止補間の補間画素の比率が大きい方の混合比率を選択して、第３の混合比率Ｍｒ３とすればよいので、第２の例よりも構成が簡略化されるので好ましい。

混合比率調整部７は、第３の例として、次のように第３の混合比率Ｍｒ３を生成してもよい。混合比率生成部５は、信頼度データＲｅに基づいて第１の混合比率Ｍｒ１の信頼度を生成する。信頼度の生成の仕方は特に限定されないが、信頼度データＲｅが示す信頼度が高いほど高く、低いほど低い信頼度を生成すればよい。混合比率生成部５は、信頼度データＲｅが示す信頼度をそのまま第１の混合比率Ｍｒ１の信頼度としてもよい。

混合比率生成部６は、画素Ｐ１と画素Ｐ２との差分値に基づいて第２の混合比率Ｍｒ２の信頼度を生成する。混合比率生成部６は、差分値が小さいほど高く、差分値が大きいほど低い信頼度を生成すればよい。

混合比率調整部７は、混合比率生成部５が生成した第１の混合比率Ｍｒ１の信頼度と、混合比率生成部６が生成した第２の混合比率Ｍｒ２の信頼度とのうち、より信頼度が高い方の混合比率を第３の混合比率Ｍｒ３とする。

補間データ生成部８は、画素Ｐ１及びＰ２に基づいて生成される動補間の補間画素と、画素Ｐ１０及びＰ２０に基づいて生成される静止補間の補間画素とを、第３の混合比率Ｍｒ３が示す混合比率に応じて適応的に混合する。

図３に示すように、補間データ生成部８は、動補間部８１と、静止補間部８２と、混合部８３とを有する。動補間部８１は、画素Ｐ１と画素Ｐ２とを加算して２で除算して動補間の補間画素Ｐ１２を生成する。静止補間部８２は、画素Ｐ１０と画素Ｐ２０とを加算して２で除算して静止補間の補間画素Ｐ１２０を生成する。混合部８３は、第３の混合比率Ｍｒ３が示す混合比率に応じて、動補間の補間画素Ｐ１２と静止補間の補間画素Ｐ１２０を適応的に混合して、最終的な補間画素Ｐ２１を生成する。

図４は、動補間の補間画素Ｐ１２と静止補間の補間画素Ｐ１２０を適応的に混合して、補間画素Ｐ２１を生成する状態を示している。図２は、第３の混合比率Ｍｒ３が、動補間の補間画素と静止補間の補間画素との混合比率が１：０であることを示すときの補間データ生成部８の動作に相当する。第３の混合比率Ｍｒ３は、動補間の補間画素と静止補間の補間画素との混合比率を１：０〜０：１の範囲で決定すればよい。

図１に戻り、補間フレームＦ２１を構成する各画素位置の補間画素Ｐ２１は、画素単位で順にフレーム周波数変換メモリ９に供給される。フレーム周波数変換メモリ９は、フレームＦ１及び補間フレームＦ２１を書き込む。フレーム周波数変換メモリ９は、書き込まれたフレームＦ１と補間フレームＦ２１とを、映像信号Ｓｉｎのフレーム周波数の２倍である１２０Ｈｚで交互に読み出すことにより、フレーム周波数１２０Ｈｚの映像信号Ｓｏｕｔを生成して出力する。

以上のようにして、本実施形態の補間フレーム生成装置によれば、動きベクトルＭＶを誤検出したときの視覚的な違和感を少なくし、画像の動きの滑らさが必要以上に失われることがなく、補間フレームＦ２１を生成することができる。本実施形態の補間フレーム生成装置を備えるフレーム周波数変換装置によれば、動きベクトルＭＶを誤検出したときの視覚的な違和感が少なく、画像の動きの滑らさが必要以上に失われることなく、フレーム周波数が変換された映像信号Ｓｏｕｔを生成することができる。

本発明は以上説明した本実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。補間フレーム生成装置は、フレーム周波数を４倍に変換するフレーム周波数変換装置で用いられる、隣接する２つの実フレーム間に内挿する３つの補間フレームを生成する補間フレーム生成装置であってもよい。

１フレームメモリ
２動きベクトル検出部
３，４画素選択部
５混合比率生成部（第１の混合比率生成部）
６混合比率生成部（第２の混合比率生成部）
７混合比率調整部
８補間データ生成部
９フレーム周波数変換メモリ

Claims

入力された映像信号における少なくとも第１及び第２のフレーム内の画素に基づいて画像の動きベクトルを検出し、前記動きベクトルの信頼度を示す信頼度データを生成する動きベクトル検出部と、
前記第１及び第２のフレーム間に内挿される補間フレームを構成する各補間画素を生成するために、前記第１及び第２のフレーム内の画素より、前記動きベクトルに基づく動補間用の一対の画素と、静止補間用の一対の画素とを選択する画素選択部と、
前記信頼度データに基づいて、前記動補間用の一対の画素に基づいて生成される動補間の補間画素と、前記静止補間用の一対の画素に基づいて生成される静止補間の補間画素との混合比率を示す第１の混合比率を生成する第１の混合比率生成部と、
前記画素選択部によって選択された前記動補間用の一対の画素の差分値に基づいて、前記動補間の補間画素と前記静止補間の補間画素との混合比率を示す第２の混合比率を生成する第２の混合比率生成部と、
前記第１の混合比率と前記第２の混合比率とが異なるとき、前記第１の混合比率と前記第２の混合比率とのうち静止補間の補間画素の混合比率が少ない方の混合比率を選択したときよりも静止補間の補間画素の混合比率が多くなるように混合比率を調整して、第３の混合比率を生成する混合比率調整部と、
前記動補間の補間画素と前記静止補間の補間画素とを生成し、前記第３の混合比率に応じて前記動補間の補間画素と前記静止補間の補間画素とを適応的に混合して補間画素を生成する補間データ生成部と、
を備えることを特徴とする補間フレーム生成装置。
前記混合比率調整部は、前記第１の混合比率と前記第２の混合比率とのうち、静止補間の補間画素の混合比率が大きい方の混合比率を前記第３の混合比率とすることを特徴とする請求項１に記載の補間フレーム生成装置。
前記混合比率調整部は、前記第１の混合比率と前記第２の混合比率とを平均して前記第３の混合比率を生成することを特徴とする請求項１に記載の補間フレーム生成装置。