JP2016143912A - フレーム補間装置及びプログラム - Google Patents

Abstract

【課題】オプティカルフローを利用しないで、品質の高い補間フレームを生成する。
【解決手段】フレーム補間装置１は、対象ブロックに類似するブロックを隣接するフレームから対応候補ブロックとして検出し、両ブロックの対応関係を示す動きベクトルを検出する動き検出部１１と、第１の対象ブロックと、第１の対象ブロックに対応する第１の対応候補ブロックを第２の対象ブロックとした場合の第１の対応候補ブロックに対応する第２の対応候補ブロックとの空間的距離を算出し、該空間的距離が閾値を超える場合における対象ブロックと第１の対応候補ブロックとの対応関係を示す動きベクトルを無効と判定する有効ブロック選定部１２と、有効ブロック選定部により無効と判定されなかった有効動きベクトル、及び該有効動きベクトルに対応する有効ブロックを用いて補間フレームの画素値を算出する補間画素値算出部１３と、を備える。
【選択図】図１

Description

本発明は、映像フレーム（以下、単に「フレーム」という）の補間処理を行うフレーム補間装置及びプログラムに関する。

映像に対して時間的なコントロールを柔軟に行うことは、特に映像制作のフィールドでは高いニーズがある。特に、撮影時に被写体が高速に動く場合などにその動きをスローモーションで見せることにより、被写体の動きの詳細を表現することや動きに基づく判定等に重要な手掛かりを与えることなどが可能になる。また、魅力的な演出の目的で、スローだけでなく早回しや逆回しなども組み合わせた映像表現も広く用いられている。

しかし、通常のフレームレートのカメラで撮影されたフレームをそのまま出力するだけでは、生成される映像のクオリティーは低くなってしまう。特に、フレームレートを下げたスロー映像を単純に再生時間に合わせただけで生成すると、コマ送りのような表現になる。

また昨今の映像表現では、たくさんのカメラを設置し、同時刻にさまざまな視点からの映像を取得することで、再生するカメラと時刻を選択することにより、時間と空間が自由に操られているような映像が生成されることも広く行われている。たとえば、時間を止めた状態でカメラの視点が変わっていくような映像効果を生み出すことができる。

しかし、空間的に充分密集したカメラ配置を行わない限り、生成される映像のクオリティーは低くなってしまう。そうでないと、カメラすなわち視点を切り替える際にとびとびの映像になり、なめらかな視点移動が行われているようには見えなくなってしまう。

どちらの場合も、コストを度外視すれば解決できる場合がある。たとえば、前者では高フレームレートであるハイスピードカメラを利用することが考えられる。しかし、ハイスピードカメラは収録するフレーム数が大量になるため、撮影時間が長い場合には対応が難しい。また、露光時間が短いために、撮影画質面でも不利になり、別の意味でクオリティーを満たさない映像になってしまう可能性も高くなる。後者の場合も、きわめて多数のカメラを配置すれば解決する場合があるが、当然大量にカメラがあるが故に撮影の自由度は低くなるだけでなく、すべてのカメラの画質を均一にすることも困難であるため、これも最終的な映像のクオリティーに問題を生じる可能性が高い。

そこで、通常のカメラを利用して撮影した映像を基に、存在しないフレームを映像処理によって生成する手法が考えられる。これは、隣接フレーム間の画素の動きベクトルを推定することで、内挿される補間フレームを生成するものである。これは、上記２つのケースどちらにも適用できる。

画素の動きベクトルを推定する手法はいくつか存在するが、広く利用されているのがオプティカルフローを利用するものである。

オプティカルフローを使わない例として、例えば特許文献１には、映像に含まれる時間的に異なる複数のフレームの情報を用いて補間フレームを生成する映像補間処理において、映像の特徴を抽出し、抽出した特徴に応じて、映像を複数の領域に領域分割し、映像の領域ごとに補間フレーム生成処理を指定する補間フレーム生成処理指示信号を生成し、補間フレーム生成処理指示信号に応じて、複数の領域ごとに補間フレーム生成処理を変更する技術が開示されている。

また、オプティカルフローを使わない例として、例えば、非特許文献１には近似最近傍探索（Approximate Nearest Neighbor Search）について開示されており、非特許文献２には稠密な画素パッチ単位で最も類似したパッチの候補を探索するパッチマッチ法が開示されている。パッチマッチ法は、その高速な探索性能から、実用的なアプリケーションへのアプローチとしてさまざまに利用できるものとなっている。

特開２０１０−２８３５４８号公報

Marius Muja and David G. Lowe, "Fast Approximate Nearest Neighbors with Automatic Algorithm Configuration", in International Conference on Computer Vision Theory and Applications (VISAPP'09), 2009 Connelly Barnes, Eli Shechtman, Adam Finkelstein, and Dan B Goldman, "PatchMatch: A Randomized Correspondence Algorithm for Structural Image Editing", ACM Transactions on Graphics (Proc. SIGGRAPH) 28(3), August 2009

しかし、オプティカルフローを利用したフレームの各画素の動きベクトル算出には、オクルージョンやモーションブラーに対する対応など難しい課題が存在する。中でもフレーム間の対応する点の移動量が大きな場合については、対応点探索に失敗する可能性が高くなる。すなわち、隣接フレーム間において充分な量の対応点が得られない場合、また、対応点が得られたとしてもその対応に誤りが多く含まれる場合には、フレームを構成する各画素の移動ベクトルが求められないために、充分なクオリティーで補間フレームを生成することが難しくなる。

また、オプティカルフローを利用せずにパッチマッチ法などの手法によれば対応付け処理速度を向上させることが可能であるが、映像のコンテンツによっては対応付けに失敗する場合がある。

かかる事情に鑑みてなされた本発明の目的は、オプティカルフローを利用しないで、品質の高い補間フレームを生成することが可能なフレーム補間装置及びプログラムを提供することにある。

上記課題を解決するため、本発明に係るフレーム補間装置は、フレーム間に内挿される補間フレームを生成するフレーム補間装置であって、対象フレーム内の対象ブロックに類似するブロックを、前記対象フレームに隣接するフレームから対応候補ブロックとして検出し、前記対象ブロックと前記対応候補ブロックとの対応関係を示す動きベクトルを検出する動き検出部と、第１の対象ブロックと、該第１の対象ブロックに対応する第１の対応候補ブロックを第２の対象ブロックとした場合の前記第１の対応候補ブロックに対応し前記第１の対象ブロックと同一フレーム内に存在する第２の対応候補ブロックと、の空間的距離を算出し、該空間的距離が第１の閾値を超える場合における前記第１の対象ブロックと前記第１の対応候補ブロックとの対応関係を示す動きベクトルを無効と判定する有効ブロック選定部と、前記有効ブロック選定部により無効と判定されなかった動きベクトルである有効動きベクトル、及び該有効動きベクトルに対応する対象ブロックである有効ブロックを用いて、該有効ブロックを前記補間フレーム上に移動させることにより、該補間フレームの画素値を算出する補間画素値算出部と、を備えることを特徴とする。

さらに、本発明に係るフレーム補間装置において、前記有効ブロック選定部は更に、前記第１の対象ブロックと前記第１の対応候補ブロックとの空間的距離を算出し、該空間的距離が第２の閾値を超える場合における前記第１の対象ブロックと前記第１の対応候補ブロックとの対応関係を示す動きベクトルを無効と判定することを特徴とする。

さらに、本発明に係るフレーム補間装置において、前記有効ブロックを含み同一フレーム内でブロックサイズを拡張した空間方向拡張ブロックを生成する有効ブロック領域拡張部を更に備え、前記補間画素値算出部は、前記空間方向拡張ブロックも用いて前記補間フレームの画素値を算出することを特徴とする。

さらに、本発明に係るフレーム補間装置において、前記有効ブロック選定部により生成された動きベクトル及び有効ブロックの対応情報を、すべてのフレーム時間について蓄積する有効ブロック情報蓄積部を更に備え、前記補間画素値算出部は、現フレームの１フレーム前の有効ブロックも用いて前記補間フレームの画素値を算出することを特徴とする。

また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記フレーム補間装置として機能させることを特徴とする。

本発明によれば、オプティカルフローを利用しないで、品質の高い補間フレームを生成することができる。その結果、ハイスピードカメラ装置などを用いることなく、通常のフレームレートによる撮影映像のみから、任意の速度変換を施した高精度なスロー映像を生成することができる。

同様に、複数のカメラを用いて被写体を同時に撮影する多視点映像制作において、例えば同時刻の複数カメラで撮影した一連の撮影フレームを入力することで、映像処理によりその視点間を補間したなめらかな視点移動映像を生成することができる。また、同様の処理を多視点フレームに適用することで、大量のカメラを撮影時にセットアップしなくてもそれら各視点間の補間フレームも頑健かつ高速に生成することができる。

本発明の第１の実施形態に係るフレーム補間装置の構成例を示すブロック図である。 本発明の第１の実施形態に係るフレーム補間装置における動き検出部の処理を説明する図である。 本発明の第１の実施形態に係るフレーム補間装置における移動距離判定部の処理を説明する図である。 本発明の第１の実施形態に係るフレーム補間装置におけるエコーバック距離判定部の処理を説明する図である。 本発明の第１の実施形態に係るフレーム補間装置における補間画素値算出部の処理を説明する図である。 本発明の第２の実施形態に係るフレーム補間装置の構成例を示すブロック図である。 本発明の第２の実施形態に係るフレーム補間装置における補間画素値算出部の構成例を示すブロック図である。

以下、本発明の一実施形態について、図面を参照して詳細に説明する。

本発明は、主に映像制作の現場（制作スタジオや制作ポストプロダクション、あるいはスポーツ競技の中継現場など）で利用されるものである。例えば、映像制作時に広く利用される、元の映像に対して任意の速度変換を施した映像を生成するために、生成したい時刻のフレームを、その前後にある隣接フレームから補間し、新しいフレームを生成する。あるいは、多視点映像など、同時刻に複数の視点で撮影したフレームの視点を補間して、それらの間にある仮想的なフレームを生成し、新しい視点から撮影した映像を生成する。

図１は、本発明の一実施形態に係るフレーム補間装置１の構成例を示すブロック図である。図１に示す例では、フレーム補間装置１は、素材フレーム蓄積部１０と、動き検出部１１と、有効ブロック選定部１２と、補間画素値算出部１３と、処理フレーム蓄積部１４とを備える。

フレーム補間装置１は、入力される映像に対して補間フレームを生成し、補間フレームが内挿された内挿処理映像を出力する。なお、素材フレーム蓄積部１０及び処理フレーム蓄積部１４を外部に配置し、残りの動き検出部１１と、有効ブロック選定部１２と、補間画素値算出部１３とを、本発明に係るフレーム補間装置１としてもよい。

素材フレーム蓄積部１０は、入力された処理対象映像を蓄積し、隣接する２フレームを動き検出部１１に出力する。後述する補間画素値算出部１３からフレーム補間処理が終了したことの通知を受け取ると、１フレームインクリメン卜し、隣接する２フレームを動き検出部１１に出力する。この処理を、処理すべき全てのフレームに関して順次行う。

動き検出部１１は、オプティカルフローを利用せずに、ブロック（パッチ）単位で動き検出を行う。例えば、７×７画素の稠密なブロック単位で動き検出を行う。ここで、稠密なブロックとは、フレーム内の各画素が中心に位置するようにサンプルされるブロックを意味する。ただし、一部がフレームからはみ出してしまうようなブロック（フレームの境界部の画素を中心とするブロック）は除かれる。つまりこの場合、ある画素を中心としたブロックの隣のブロックは、その画素の隣の画素を中心としたブロックになる。なお、ブロックサイズは予め決めておいてもよいし、外部からパラメータ情報として取得してもよい。

すなわち、動き検出部１１は、対象フレーム内の対象ブロックに最も類似するブロックを、該対象フレームに隣接するフレームである参照フレームから対応候補ブロックとして検出し、対象ブロックと対応候補ブロックとの対応関係を示す動きベクトルを検出し、有効ブロック選定部１２に出力する。動き検出の手法として、例えばブロックマッチング、近似最近傍探索、パッチマッチ法などを用いることができる。特に、パッチマッチ法を用いることで処理を高速化することができる。

図２は、動き検出部１１の処理を説明する図であり、隣接するフレームＸ，Ｙ間で動き検出を行う様子を示している。動き検出部１１は、隣接するフレームＸ，Ｙ間で、フレームＸを対象フレームとしフレームＹを参照フレームとして動き検出を行うとともに、逆にフレームＹを対象フレームとしフレームＸを参照フレームとして動き検出を行い、２方向の動きベクトルを検出する。図２に示す例では、フレームＸを対象フレームとしフレームＹを参照フレームとした場合、フレームＸ内の緑色の枠で囲まれた７×７画素のブロックが対象ブロックであり、フレームＹ内の赤色の枠で囲まれた７×７画素のブロックが対応候補ブロックである。同様に、動き検出部１１は、フレームＹを対象フレームとしフレームＸを参照フレームとして、フレームＹ内の７×７画素の対象ブロックに対応する７×７画素の対応候補ブロックをフレームＸ内で検索する。

ただし、動き検出部１１は、映像のコンテンツによってはフレーム補間を行うには望ましくないブロックを対応候補ブロックとして検出しまう場合がある。そこで、有効ブロック選定部１２において、対象ブロックのうち補間フレーム生成に有効なブロックを選定するようにする。

有効ブロック選定部１２は、動き検出部１１により生成された２方向の動きベクトルから、補間フレームの生成に望ましくないブロックを取り除く。そのために以下に説明する判定を行い、条件を満たさない動きベクトルは補間フレームの生成に用いないようにする。有効ブロック選定部１２は、移動距離判定部１２１と、エコーバック距離判定部１２２とを備える。移動距離判定部１２１により１つ目の判定を行い、エコーバック距離判定部１２２により２つ目の判定を行う。本実施形態では、移動距離判定部１２１による判定の後、エコーバック距離判定部１２２による判定を行うが、この順番は逆であってもよいし、いずれか一方のみの判定で済ませるようにしてもよい。

図３は、移動距離判定部１２１の処理を説明する図である。ここでは、フレームＸを対象フレーム、フレームＸに隣接するフレームＹを参照フレームとする。移動距離判定部１２１は、対象フレームＸ内の対象ブロックＢ１と、対象ブロックＢ１に対応する参照フレームＹ内の対応候補ブロックＢ２との空間的距離Ｄ１（動きベクトルの大きさ）を算出し、空間的距離Ｄ１が第１の閾値を超えるか否かを判定する。

そして、動き検出部１１により検出された動きベクトルのうち、空間的距離Ｄ１が第１の閾値を超える場合における対象ブロックＢ１と対応候補ブロックＢ２との対応関係を示す動きベクトルを無効と判定し、空間的距離Ｄ１が第１の閾値以下の場合における対象ブロックＢ１と対応候補ブロックＢ２との対応関係を示す動きベクトルを有効と判定する。これは、本来隣接フレーム間では極端な画素の移動はないという前提の下に、空間的距離Ｄ１が大きい動きベクトルを信頼性が低いものとしてフレームの補間処理に用いないようにするためである。第１の閾値は、例えば４５画素とする。なお、第１の閾値は予め決めておいてもよいし、外部からパラメータ情報として取得してもよい。

図４は、エコーバック距離判定部１２２による処理を説明する図である。ここでは、フレームＸを対象フレーム、フレームＸに隣接するフレームＹを参照フレームとする。エコーバック距離判定部１２２は、フレームＸ内の対象ブロックＢ１と、エコーバックブロックＢ３との空間的距離Ｄ２を算出し、空間的距離Ｄ２が第２の閾値を超えるか否かを判定する。ここで、エコーバックブロックＢ３は、対象ブロックＢ１に対応するフレームＹ内の対応候補ブロックＢ２を対象ブロックとした場合に、対応候補ブロックＢ２に対応するフレームＸ内の対応候補ブロックである。

そして、空間的距離Ｄ２が第２の閾値を超える場合における対象ブロックＢ１と対応候補ブロックＢ２との対応関係を示す動きベクトルを無効と判定し、空間的距離Ｄ２が第２の閾値以下の場合における対象ブロックＢ１と対応候補ブロックＢ２との対応関係を示す動きベクトルを有効と判定する。これは、フレームＸとフレームＹのブロックが完全に１：１の対応をしていた場合は、空間的距離Ｄ２はゼロになり動きベクトルは信頼できるが、空間的距離Ｄ２が大きい動きベクトルは信頼性が低いものとしてフレームの補間処理に用いないようにするためである。第２の閾値は、例えば４画素とする。なお、第２の閾値は予め決めておいてもよいし、外部からパラメータ情報として取得してもよい。

有効ブロック選定部１２は、上記２つの条件で無効と判定された動きベクトルを破棄し、有効と判定された動きベクトル（有効動きベクトル）、及び該有効動きベクトルに対応する対象ブロック（有効ブロック）を補間画素値算出部１３に出力する。

補間画素値算出部１３は、有効ブロック選定部１２により選定された有効動きベクトル及び有効ブロックを用いてフレーム間に内挿される補間フレームの画素値を算出する。

図５は、補間画素値算出部１３の処理を説明する図である。補間画素値算出部１３は、フレームＸからフレームＹへ向かう有効動きベクトルをフレーム間の時間で比例配分することによりフレームＸから補間フレームＺへ向かう動きベクトルを算出し、該動きベクトルを用いてフレームＸ内の有効ブロックを補間フレームＺ上に移動させる。同様に、補間画素値算出部１３は、フレームＹからフレームＸへ向かう有効動きベクトルをフレーム間の時間で比例配分することによりフレームＹから補間フレームＺへ向かう動きベクトルを算出し、該動きベクトルを用いてフレームＹ内の有効ブロックを補間フレームＺ上に移動させる。そして、補間画素値算出部１３は、隣接するフレームＸ，Ｙの２方向からの移動された有効ブロックを集計し平均化することで画素値を算出する。例えば、図５に示すように、補間フレームＺの画素Ｐの画素値を算出する際には、画素Ｐを含む領域に移動される全ての有効ブロックを集計し、該有効ブロックにおける画素Ｐに対応する画素の画素値の平均値を、補間フレームＺの画素Ｐの画素値とする。

しかし、有効ブロック選定部１２による処理において有効ブロックと判定されなかったブロック群が存在することによって、補間フレーム上で有効ブロックが配置されない画素Ｑが発生することがある。この画素Ｑについては素材フレーム蓄積部１０から隣接するフレームＸ，Ｙの元画像を取得し、元の画素値の比例配分による時間方向の線形補間処理（フェード処理）を行うことにより画素Ｑの画素値を算出し、穴埋めを行う。

図５では、隣接するフレームＸ，Ｙの間に補間フレームＺを１枚内挿し、フレーム数を２倍にする例を示しているが、補間画素値算出部１３は、内挿する補間フレームの割合を示す内挿パラメータを外部から取得することにより、フレーム間に任意の数の補間フレームを内挿することができる。例えば、隣接するフレームＸ，Ｙの間に９枚の補間フレームを内挿することにより、１０倍の時間で再生されるスロー映像を生成することができる。

補間画素値算出部１３は、補間フレームＺの画素値の算出が終了すると、フレーム補間処理が終了したことの通知を素材フレーム蓄積部１０に出力する。すると、素材フレーム蓄積部１０は１フレームインクリメン卜し、隣接する２フレームを動き検出部１１に出力する。また、補間画素値算出部１３は、生成した補間フレームを処理フレーム蓄積部１４に蓄積する。

処理フレーム蓄積部１４は、処理すべき全てのフレームの補間処理が終了した後に、最終結果として補間フレームを内挿した内挿処理映像を出力する。

上述したように、フレーム補間装置１は、動き検出部１１により動きベクトルを検出した後、有効ブロック選定部１２により有効動きベクトルを選定し、補間画素値算出部１３により有効動きベクトル及び有効ブロックを用いてフレーム間に内挿される補間フレームの画素値を算出する。かかる構成により、フレーム補間装置１は、オプティカルフローを利用しないで、品質の高い補間フレームを生成することができる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。第２の実施形態は、補間画素値の算出処理においてさらなる高品質化を図ったものである。

図６は、第２の実施形態に係るフレーム補間装置２の構成例を示すブロック図である。図６に示す例では、フレーム補間装置２は、素材フレーム蓄積部１０と、動き検出部１１と、有効ブロック選定部１２と、処理フレーム蓄積部１４と、有効ブロック情報蓄積部１５と、有効ブロック領域拡張部１６と、補間画素値算出部１７とを備える。第２の実施形態のフレーム補間装置２は第１の実施形態のフレーム補間装置１と比較して、有効ブロック情報蓄積部１５と有効ブロック領域拡張部１６を更に備える点、及び補間画素値算出部１７において精度の高い補間処理を行うためにより多くの画素値候補をピックアップできるように、画素値を決定するための入力が２つから４つに増えている点が相違する。その他の構成については第１の実施形態と同一であるため、同一の参照番号を付して適宜説明を省略する。

素材フレーム蓄積部１０、動き検出部１１、及び有効ブロック選定部１２は第１の実施形態と同様の処理を行う。有効ブロック選定部１２により選定された有効動きベクトル及び有効ブロックは、有効ブロック情報蓄積部１５、有効ブロック領域拡張部１６、及び補間画素値算出部１７に入力される。

有効ブロック情報蓄積部１５は、有効ブロック選定部１２により生成された動きベクトル及び有効ブロックの対応情報を、すべてのフレーム時間について蓄積する。第２の実施形態では、有効ブロック情報蓄積部１５に蓄積された、処理対象フレームより前の時刻のフレームにおける有効ブロックを補間フレームの画素値の算出に利用する。

有効ブロック領域拡張部１６は、有効ブロックのブロックサイズを同一フレーム内で拡張してサンプルした拡張ブロックを生成し、補間画素値算出部１７に出力する。この拡張ブロックを空間方向拡張ブロックと称する。例えば有効ブロックのブロックサイズが７×７画素で拡張画素数Ｗ＝２の場合は、水平方向、垂直方向ともにＷ画素分拡張し、有効ブロックと中心を同じくする９×９画素のブロックを空間方向拡張ブロックとする。これは、有効ブロックはその周辺画素も補間フレームの画素値の決定のために充分候補になり得るという考え方に基づいて、それらの画素を利用するものである。なお、拡張画素数Ｗは予め決めておいてもよいし、外部からパラメータ情報として取得してもよい。

図７は、補間画素値算出部１７の構成例を示すブロック図である。図７に示す例では、補間画素値算出部１７は、補間ブロック位置決定部１７１と、補間ブロック位置推定部１７２と、拡張領域抽出部１７３と、有効ブロック画素値積算部１７４と、拡張ブロック画素値積算部１７５と、フェード処理画素値算出部１７６と、最尤画素値算出部１７７とを備える。

補間ブロック位置決定部１７１は、有効ブロック選定部１２から取得した現フレームの有効ブロックについて、内挿する補間フレームの割合を示す内挿パラメータに従って、補間フレーム上の移動位置を決定し、有効ブロック画素値積算部１７４に出力する。また、補間ブロック位置決定部１７１は、有効ブロック領域拡張部１６から取得した現フレームの空間方向拡張ブロックについて、内挿する補間フレームの割合を示す内挿パラメータに従って、補間フレーム上の移動位置を決定し、拡張領域抽出部１７３に出力する。

補間ブロック位置推定部１７２は、有効ブロック情報蓄積部１５から現フレームの１フレーム前の前フレーム内の有効ブロックを取得する。この有効ブロックを時間方向拡張ブロックと称する。そして、時間方向拡張ブロックについて、内挿する補間フレームの割合を示す内挿パラメータに従って、補間フレーム上の移動位置を決定し、拡張ブロック画素値積算部１７５に出力する。例えば、前フレームａと現フレームｂとの間に補間フレームαを生成しており、現フレームｂと現フレームｂの１フレーム後の後フレームｃとの間に補間フレームβを生成しようとしている場合、前フレームａの時間方向拡張ブロックにおける補間フレームαまでの動きベクトルを１フレーム分リニアに延長した位置を、補間フレームβ上の移動位置と決定する。

拡張領域抽出部１７３は、拡張ブロック画素値積算部１７５にて拡張領域のみが積算されるようにするため、空間方向拡張ブロックから拡張領域のみを取り出し、拡張ブロック画素値積算部１７５に出力する。例えば、有効ブロックのサイズが７×７画素であり、拡張ブロックのサイズが９×９画素である場合、拡張ブロックのうち中心の７×７画素に相当する部分は破棄する。

有効ブロック画素値積算部１７４は、補間フレーム上のすべての有効ブロックの位置が決定した後、有効ブロックに対して、画素ごとに画素値候補を蓄積していく。

拡張ブロック画素値積算部１７５は、補間フレーム上のすべての拡張ブロックの位置が決定した後、空間方向拡張ブロックの拡張領域及び時間方向拡張ブロックに対して、画素ごとに画素値候補を蓄積していく。

フェード処理画素値算出部１７６は、ある画素Ｑに対して、有効ブロック画素値積算部１７４及び拡張ブロック画素値積算部１７５ともに画素値候補の蓄積がない場合、素材フレーム蓄積部１０から隣接するフレームＸ，Ｙの元画像を取得し、元の画素値の比例配分による時間方向の線形補間処理（フェード処理）を行うことにより画素Ｑの画素値を算出し、穴埋めを行う。

最尤画素値算出部１７７は、補間フレームの各画素の画素値を算出する。有効ブロック画素値積算部１７４に拡張画素値利用閾値を超える画素値候補の蓄積がある場合は、その蓄積から画素値を算出する。なお、最も簡単な処理は単純平均処理になる。拡張画素値利用閾値は、例えば１とする。なお、拡張画素値利用閾値は予め決めておいてもよいし、外部からパラメータ情報として取得してもよい。

ある画素Ｒに対して、有効ブロック画素値積算部１７４に拡張画素値利用閾値以下の画素値候補の蓄積しかない場合、その有効ブロック画素値候補と、拡張ブロック画素値積算部１７５にある画素値候補を合わせて画素Ｒの画素値を算出する。なお、最も簡単な処理は単純平均処理になる。

また、補間フレームの画素値の算出する際に、拡張画素値利用閾値による判定を行わないで、有効ブロック画素値積算部１７４に蓄積された画素値候補、及び拡張ブロック画素値積算部１７５に蓄積された画素値候補の双方を用いるようにしてもよい。なお、画素値算出には、拡張画素のブロック中心からの距離などを利用した重み付けと、時間方向に延長された時間に応じた重み付けを加味したミーンシフト法による画素値算出プロセスを利用することによって、さらに高品質な画素値算出を図ることも可能である。

補間画素値算出部１７において生成されたフレームは、処理フレーム蓄積部１４に蓄えられ、処理フレーム蓄積部１４は、処理すべきすべてのフレームが終了した後に結果として内挿処理映像を出力する。

映像処理によって補間フレームを内挿するためには、補間フレームを構成するのに充分な画素の動きベクトル情報を取得する必要がある。上述したように、フレーム補間装置２は、補間フレームの各画素値を算出する際に、より多くの情報を利用し、複数の画素値候補から統計処理などを経ることで画素値を決定するため、充分な量の正しい画素の動きベクトル情報を取得でき、その結果フレーム補間装置１よりも更に高品質な補間フレームを生成することができるようになる。

なお、上述したフレーム補間装置１，２として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、フレーム補間装置１，２の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録可能である。

上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。

本発明は主に映像制作の現場（制作スタジオや映像ポストプロダクション）にて利用されるものである。目的としては撮影映像の再生速度を変えた映像の制作や、多視点映像の視点補間映像生成に利用される。

１，２ フレーム補間装置
１０ 素材フレーム蓄積部
２０ フレーム補間処理部
１１ 動き検出部
１２ 有効ブロック選定部
１３，１７ 補間画素値算出部
１４ 処理フレーム蓄積部
１５ 有効ブロック情報蓄積部
１６ 有効ブロック領域拡張部
１２１ 移動距離判定部
１２２ 移動距離判定部
１７１ 補間ブロック位置決定部
１７２ 補間ブロック位置推定部
１７３ 拡張領域抽出部
１７４ 有効ブロック画素値積算部
１７５ 拡張ブロック画素値積算部
１７６ フェード処理画素値算出部
１７７ 最尤画素値算出部

Claims (5)

1. フレーム間に内挿される補間フレームを生成するフレーム補間装置であって、
   対象フレーム内の対象ブロックに類似するブロックを、前記対象フレームに隣接するフレームから対応候補ブロックとして検出し、前記対象ブロックと前記対応候補ブロックとの対応関係を示す動きベクトルを検出する動き検出部と、
   第１の対象ブロックと、該第１の対象ブロックに対応する第１の対応候補ブロックを第２の対象ブロックとした場合の前記第１の対応候補ブロックに対応し前記第１の対象ブロックと同一フレーム内に存在する第２の対応候補ブロックと、の空間的距離を算出し、該空間的距離が第１の閾値を超える場合における前記第１の対象ブロックと前記第１の対応候補ブロックとの対応関係を示す動きベクトルを無効と判定する有効ブロック選定部と、
   前記有効ブロック選定部により無効と判定されなかった動きベクトルである有効動きベクトル、及び該有効動きベクトルに対応する対象ブロックである有効ブロックを用いて、該有効ブロックを前記補間フレーム上に移動させることにより、該補間フレームの画素値を算出する補間画素値算出部と、
   を備えることを特徴とするフレーム補間装置。
2. 前記有効ブロック選定部は更に、前記第１の対象ブロックと前記第１の対応候補ブロックとの空間的距離を算出し、該空間的距離が第２の閾値を超える場合における前記第１の対象ブロックと前記第１の対応候補ブロックとの対応関係を示す動きベクトルを無効と判定することを特徴とする、請求項１に記載のフレーム補間装置。
3. 前記有効ブロックを含み同一フレーム内でブロックサイズを拡張した空間方向拡張ブロックを生成する有効ブロック領域拡張部を更に備え、
   前記補間画素値算出部は、前記空間方向拡張ブロックも用いて前記補間フレームの画素値を算出することを特徴とする、請求項１又は２に記載のフレーム補間装置。
4. 前記有効ブロック選定部により生成された動きベクトル及び有効ブロックの対応情報を、すべてのフレーム時間について蓄積する有効ブロック情報蓄積部を更に備え、
   前記補間画素値算出部は、現フレームの１フレーム前の有効ブロックも用いて前記補間フレームの画素値を算出することを特徴とする、請求項１から３のいずれか一項に記載のフレーム補間装置。
5. コンピュータを、請求項１から４のいずれか一項に記載のフレーム補間装置として機能させるためのプログラム。