JP6313588B2

JP6313588B2 - フレーム補間装置及びプログラム

Info

Publication number: JP6313588B2
Application number: JP2013262881A
Authority: JP
Inventors: 俊枝三須; 俊輔岩村; 境田　慎一; 慎一境田
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2013-12-19
Filing date: 2013-12-19
Publication date: 2018-04-18
Anticipated expiration: 2033-12-19
Also published as: JP2015119409A

Description

本発明は、入力フレーム群のうちの複数のフレームを参照して補間フレームを生成し、フレームを時間方向に補間するフレーム補間装置及びそのプログラムに関する。

従来、動画像の時間分解能を向上させる手法として、フレーム補間技術が用いられている。例えば、隣接フレームの相加平均をとることで中割りのフレームを生成し、もともと存在したフレームと中割りの補間フレームとを交互に配置することでフレーム周波数を倍増する方法が知られている。中割りの補間フレームが隣接フレームの時刻間の中央にあるとは限らない場合には、例えばその時間的な距離に応じて、隣接フレームを重み付け平均して合成する方法もとられる。

しかし、隣接フレームの相加平均や重み付け平均により補間フレームを生成する手法では、動物体が補間フレーム上で二重像になってしまう。そのため、フレーム間で動きベクトルを求め、動きベクトルを按分して動き補償を適用することで内挿フレームを生成する手法が知られている（例えば、特許文献１参照）。

特許第３７９３３３３号公報

特許文献１に記載の手法を含め動きベクトルを用いる手法では、動物体が補間フレーム上で二重像になるという問題は軽減される。しかし、例えば被写体の背後から別の被写体が現れる場合や、フラッシュが焚かれた瞬間のようにある特定フレームだけ全体が明るい、あるいは暗い場合に、動きベクトル推定を誤ってしまうことや、動き補償元に前記別の被写体が写っておらず適切な動き補償を行えないことがあり、このような場合には適切な補間フレームが得られないという問題があった。

かかる事情に鑑みてなされた本発明の目的は、フレーム間で画像の連続性が失われる場合であっても、適切な補間フレームを得ることが可能なフレーム補間装置及びそのプログラムを提供することにある。

上記課題を解決するため、本発明に係るフレーム補間装置は、複数対の画像フレームから補間フレームを生成するフレーム補間装置であって、補間フレームに対する相対的な時刻ａ及びｂ（｜ｂ｜＞｜ａ｜）における画像フレームＩ（ａ）及びＩ（ｂ）を複数対入力し、前記補間フレーム内の点（ｐ，ｑ）及び前記画像フレームＩ（ｂ）内の点（ｐ＋ｕ，ｑ＋ｖ）を時空間内で通る直線が前記画像フレームＩ（ａ）と交差する点（ｐ＋ａｕ／ｂ，ｑ＋ａｖ／ｂ）の画素値と、前記画像フレームＩ（ｂ）内の点（ｐ＋ｕ，ｑ＋ｖ）の画素値との誤差を評価し、前記画像フレームＩ（ａ）及びＩ（ｂ）の対ごとに動きベクトルを推定する動き推定部と、前記動きベクトルに基づいて前記画像フレームＩ（ａ）及びＩ（ｂ）の少なくとも一方を動き補償して前記画像フレームＩ（ａ）及びＩ（ｂ）の対ごとに動き補償画像を生成する動き補償部と、前記動き補償画像を重畳して補間フレームを生成する補間フレーム生成部と、を備え、前記補間フレーム生成部は、前記動き補償画像を重畳する際に、前記誤差が大きいほど重みが小さくなるように重みづけを行うことを特徴とする。

また、上記課題を解決するため、本発明に係るフレーム補間装置は、複数対の画像フレームから補間フレームを生成するフレーム補間装置であって、補間フレームに対する相対的な時刻ａ及びｂ（｜ｂ｜＞｜ａ｜）における画像フレームＩ（ａ）及びＩ（ｂ）を複数対入力し、前記補間フレーム内の点（ｐ，ｑ）及び前記画像フレームＩ（ｂ）内の点（ｐ＋ｕ，ｑ＋ｖ）を時空間内で通る直線が前記画像フレームＩ（ａ）と交差する点（ｐ＋ａｕ／ｂ，ｑ＋ａｖ／ｂ）の画素値と、前記画像フレームＩ（ｂ）内の点（ｐ＋ｕ，ｑ＋ｖ）の画素値との誤差を評価し、前記画像フレームＩ（ａ）及びＩ（ｂ）の対ごとに動きベクトルを推定する動き推定部と、前記動きベクトルに基づいて前記画像フレームＩ（ａ）及びＩ（ｂ）の少なくとも一方を動き補償して前記画像フレームＩ（ａ）及びＩ（ｂ）の対ごとに動き補償画像を生成する動き補償部と、前記動き補償画像を重畳して補間フレームを生成する補間フレーム生成部と、を備え、前記補間フレーム生成部は、前記動き補償画像を重畳する際に、該動き補償画像の動き補償元の画像フレームと前記補間フレームとの時刻が離れているほど重みが小さくなるように重みづけを行うことを特徴とする。

また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記フレーム補間装置として機能させることを特徴とする。

本発明によれば、フレーム間で画像の連続性が失われる場合であっても、適切な補間フレームを得ることができ、補間フレームの画質を向上させることが可能となる。

本発明に係るフレーム補間装置の処理概要を説明する図である。本発明の第１の実施形態に係るフレーム補間装置の構成例を示すブロック図である。本発明の第１の実施形態に係るフレーム補間装置における動き推定部の構成例を示すブロック図である。本発明の第２の実施形態に係るフレーム補間装置の構成例を示すブロック図である。

以下、本発明について、図面を参照して詳細に説明する。本明細書では、入力フレーム群（入力映像）をＩとし、その時刻ｔの画像フレームをＩ（ｔ）と記し、補間フレーム（出力画像フレーム）をＪと記す。また、時刻ｔは補間フレームＪの時刻を基準（時刻０）とし、補間フレームＪに対する相対的な値とする。また、画像フレームＩ（ｔ）の画像座標（ｘ，ｙ）における画素値をＩ（ｔ；ｘ，ｙ）と記し、補間フレームＪの画像座標（ｘ，ｙ）における画素値をＪ（ｘ，ｙ）と記す。

図１は、本発明に係るフレーム補間装置の処理概要を説明する図である。本発明に係るフレーム補間装置は、補間フレームＪに対する相対的な時刻ａ及びｂ（｜ｂ｜＞｜ａ｜）における画像フレームＩ（ａ）及びＩ（ｂ）を参照フレームとして複数対入力し、動きベクトル推定及び動き補償を行い、補間フレームＪを生成する。

動きベクトルを推定するには、まず補間フレームＪ上の部分領域Ｂ内に存在する点（ｐ，ｑ）と、画像フレームＩ（ｂ）上の所定の探索範囲内における動きベクトルの候補（ｕ，ｖ）とを決定する。そして、時空間内において、補間フレームＪ上の点（ｐ，ｑ）と、画像フレームＩ（ｂ）上の点（ｐ＋ｕ，ｑ＋ｖ）とを通る直線Ｌを引く。次に、部分領域Ｂ内において点（ｐ，ｑ）を移動させて直線Ｌを移動させつつ、直線Ｌ及び画像フレームＩ（ｂ）の交差する点（ｐ＋ｕ，ｑ＋ｖ）の画素値Ｉ（ｂ；ｐ＋ｕ，ｑ＋ｖ）と、直線Ｌ及び画像フレームＩ（ａ）の交差する点（ｐ＋ａｕ／ｂ，ｑ＋ａｖ／ｂ）の画素値Ｉ（ａ；ｐ＋ａｕ／ｂ，ｑ＋ａｖ／ｂ）との誤差の大きさを集積する。そして、動きベクトルの候補（ｕ，ｖ）を所定の探索範囲内で走査した時に、集積された誤差の大きさが最小となるときの動きベクトルの候補（ｕ，ｖ）を求め、この誤差最小のベクトルを動きベクトル（Ｕ，Ｖ）とする。

続いて、動きベクトル（Ｕ，Ｖ）をａ／ｂ倍したベクトルを用いて、画像フレームＩ（ａ）から補間フレームＪへの動き補償を行う。なお、動きベクトル（Ｕ，Ｖ）をそのまま用いて、画像フレームＩ（ｂ）から補間フレームＪへの動き補償を行うようにしてもよい。時刻対（ａ，ｂ）を様々に変えて動き補償を行い、得られた複数の動き補償画像を重畳することで補間フレームＪを構成する。

［第１の実施形態］
図２は、本発明の第１の実施形態に係るフレーム補間装置の構成例を示すブロック図である。この例では、フレーム補間装置１は、動き推定部１１と、動き補償部１２と、補間フレーム生成部１３とを備える。また、図２の構成では、フレーム補間装置１の外部に映像信号源２が接続されている。

映像信号源２は、時刻ａ及びｂ、並びに時刻ａ及びｂにおける画像フレームＩ（ａ）及びＩ（ｂ）をフレーム補間装置１に出力する。映像信号源２は、時刻対選択部２１と、フレームメモリ２２と、読出部２３とを備える。

フレームメモリ２２は、映像の複数の画像フレームを記憶する。

時刻対選択部２１は、２時点の時刻ａ及びｂの対を複数出力する。例えば、時刻ａ及びｂの対を時分割的に順次出力する。

読出部２３−１は、時刻対選択部２１が指定した一方の時刻（例えば時刻ａ）の画像フレーム（例えば画像フレームＩ（ａ））をフレームメモリ２２から読み出し、フレーム補間装置１に出力する。読出部２３−２は、時刻対選択部２１が指定した他方の時刻（例えば時刻ｂ）の画像フレーム（例えば画像フレームＩ（ｂ））をフレームメモリ２２から読み出し、フレーム補間装置１に出力する。

動き推定部１１は、映像信号源２から入力される時刻対（ａ，ｂ）、及び画像フレーム対（Ｉ（ａ），Ｉ（ｂ））に基づき動き推定を行って、単位時間あたり（例えば、時刻０から時刻１）の動きベクトル（Ｕ，Ｖ）を動き補償部１２に出力する。また、動き推定部１１は、後述するように誤差マップＥを補間フレーム生成部１３に出力してもよい。

図３は動き推定部１１の構成例を示す図である。動き推定部１１は、領域指定部１１１と、動きベクトル走査部１１２と、按分部１１３と、画素位置走査部１１４と、加算部１１５（１１５−１及び１１５−２）と、画素読出部１１６（１１６−１及び１１６−２）と、誤差評価部１１７と、総和部１１８と、最小化部１１９と、動きベクトル出力部１２０とを備える。

領域指定部１１１は、時刻０における仮想的な画像フレーム上において、動きベクトルを求めるための部分領域（例えば、ブロック領域）Ｂを、場所を変えつつ順次設定する。部分領域Ｂの形状は任意であり、順次形状や大きさが変化してもよいが、以下では部分領域Ｂの形状は矩形とする。また、順次設定される部分領域Ｂ同士は、互いに重なり合っていてもよいし、互いに重なり合わなくてもよい。また、順次設定された部分領域Ｂの和集合は、画像フレーム全体を覆わなくてもよい。

動きベクトル走査部１１２は、部分領域Ｂにおける画像フレーム対（（Ｉ（ａ），Ｉ（ｂ））間の動きベクトルを求めるため、所定の探索範囲において動きベクトルの候補（ｕ，ｖ）を順次出力する。具体的には、例えば探索範囲が部分領域Ｂに対して水平方向に±Ｓｘ画素、垂直方向に±Ｓｙ画素である場合には、式（１）を満たす動きベクトルの候補（ｕ，ｖ）をラスタ走査の順序で順次出力する。

按分部１１３は、動きベクトル走査部１１２から入力される動きベクトルの候補（ｕ，ｖ）、及び映像信号現２から入力される時刻対（ａ，ｂ）から、（ａｕ／ｂ，ａｖ／ｂ）を計算し、加算部１１５−１に出力する。

画素位置走査部１１４は、領域指定部１１１が指定した部分領域Ｂ内に存在する画素位置（ｐ，ｑ）を順次出力する。例えば、画素位置走査部１１４は、部分領域Ｂ内に存在する画素位置をラスタ走査の順序で順次（ｐ，ｑ）として出力する。なお、この画素位置は、整数画素位置に限ってもよいし、小数画素位置（例えば、１／４画素単位）であってもよい。

加算部１１５−１は、按分部１１３から入力されるベクトル（ａｕ／ｂ，ａｖ／ｂ）、及び画素位置走査部１１４から入力されるベクトル（ｐ，ｑ）を加算し、加算したベクトル（ｐ＋ａｕ／ｂ，ｑ＋ａｖ／ｂ）を画素読出部１１６−１に出力する。

加算部１１５−２は、動きベクトル走査部１１２から入力されるベクトル（ｕ，ｖ）、及び画素位置走査部１１４から入力されるベクトル（ｐ，ｑ）を加算し、加算したベクトル（ｐ＋ｕ，ｑ＋ｖ）を画素読出部１１６−２に出力する。

画素読出部１１６−１は、加算部１１５−１から入力される画像座標（ｐ＋ａｕ／ｂ，ｑ＋ａｖ／ｂ）における画像フレームＩ（ａ）の画素値Ｉ（ａ；ｐ＋ａｕ／ｂ，ｑ＋ａｖ／ｂ）を読み出し、誤差評価部１１７に出力する。

画像座標（ｐ＋ａｕ／ｂ，ｑ＋ａｖ／ｂ）が小数画素位置であった場合には、画素読出部１１６−１は例えば、最近傍の整数画素位置における画像フレームＩ（ａ）の画素値を読み出す。または、例えば、画像座標（ｐ＋ａｕ／ｂ，ｑ＋ａｖ／ｂ）近傍の複数の整数画素位置における画像フレームＩ（ａ）の画素値列から補間処理を行うことで、出力すべき画素値を決定してもよい。例えば、前記補間処理としては、双一次補間や双三次補間、スプライン補間、Ｌａｎｃｚｏｓ補間などを用いることができる。また、画像座標（ｐ＋ａｕ／ｂ，ｑ＋ａｖ／ｂ）（またはその近傍の整数画素位置）が画像フレームＩ（ａ）の外側となる場合には、当該位置の画素値を無効値として以降の演算を行わなくてもよいし、または画像座標（ｐ＋ａｕ／ｂ，ｑ＋ａｖ／ｂ）に最も近い画像フレームＩ（ａ）内の画素値を出力してもよい。

画素読出部１１６−２は、加算部１１５−２から入力される画像座標（ｐ＋ｕ，ｑ＋ｖ）における画像フレームＩ（ｂ）の画素値Ｉ（ｂ；ｐ＋ｕ，ｑ＋ｖ）を読み出し、誤差評価部１１７に出力する。

画像座標（ｐ＋ｕ，ｑ＋ｖ）が小数画素位置であった場合には、例えば、最近傍の整数画素位置における画像フレームＩ（ｂ）の画素値を読み出す。または、例えば、画像座標（ｐ＋ｕ，ｑ＋ｖ）近傍の複数の整数画素位置における画像フレームＩ（ｂ）の画素値列から補間処理を行うことで、出力すべき画素値を決定してもよい。例えば、前記補間処理としては、双一次補間や双三次補間、スプライン補間、Ｌａｎｃｚｏｓ補間などを用いることができる。また、画像座標（ｐ＋ｕ，ｑ＋ｖ）（またはその近傍の整数画素位置）が画像フレームＩ（ｂ）の外側となる場合には、当該位置の画素値を無効値として以降の演算を行わなくてもよいし、または画像座標（ｐ＋ｕ，ｑ＋ｖ）に最も近い画像フレームＩ（ｂ）内の画素値を出力してもよい。

誤差評価部１１７は、画素読出部１１６−１読み出した画素値Ｉ（ａ；ｐ＋ａｕ／ｂ，ｑ＋ａｖ／ｂ）と、画素読出部１１６−２の読み出した画素値Ｉ（ｂ；ｐ＋ｕ，ｑ＋ｖ）との誤差を評価し、誤差値ｅ（ｐ，ｑ；ｕ，ｖ）を出力する。例えば、誤差の評価としては式（２）に示す絶対値誤差や二重誤差を用いる。

総和部１１８は、誤差値ｅ（ｐ，ｑ；ｕ，ｖ）の（ｐ，ｑ）に対する総和を求め、式（３）により部分領域Ｂにおける誤差和Ｄ（Ｂ；ｕ，ｖ）を最小化部１１９に出力する。このようにして、図１を参照して説明したように、部分領域Ｂ内において点（ｐ，ｑ）を移動させて直線Ｌを移動させつつ、直線Ｌ及び画像フレームＩ（ｂ）の交差する点（ｐ＋ｕ，ｑ＋ｖ）の画素値Ｉ（ｂ；ｐ＋ｕ，ｑ＋ｖ）と、直線Ｌ及び画像フレームＩ（ａ）の交差する点（ｐ＋ａｕ／ｂ，ｑ＋ａｖ／ｂ）の画素値Ｉ（ａ；ｐ＋ａｕ／ｂ，ｑ＋ａｖ／ｂ）との誤差の大きさを集積する。

最小化部１１９は、総和部１１８からの誤差和Ｄ（Ｂ；ｕ，ｖ）を最小化するベクトル（ｕ_ｏｐｔ（Ｂ），ｖ_ｏｐｔ（Ｂ））、及び誤差和の最小値Ｄ_ｍｉｎ（Ｂ）を、式（４）により求める。

動きベクトル出力部１２０は、最小化部１１９で得られた部分領域Ｂごとのベクトル（ｕ_ｏｐｔ（Ｂ），ｖ_ｏｐｔ（Ｂ））及び誤差和の最小値Ｄ_ｍｉｎ（Ｂ）をまとめ、動きベクトル（Ｕ，Ｖ）及び動きベクトルの誤差を示す誤差マップＥを出力する。このとき、最小値Ｄ_ｍｉｎ（Ｂ）については部分領域Ｂの面積（又は画素数）により正規化を行う。部分領域Ｂの面積（又は画素数）が定数である場合には、最小値Ｄ_ｍｉｎ（Ｂ）の正規化を省略できる。

例えば、動きベクトル（Ｕ，Ｖ）や誤差マップＥが部分領域Ｂごとに表現され出力される場合には、動きベクトル出力部１２０は、式（５）により正規化する。なお、｜Ｂ｜は部分額域の面積又は画素数とする。

また、動きベクトル出力部１２０において、動きベクトル（Ｕ，Ｖ）や誤差マップＥが画素ごとに表現され出力される場合には、部分領域Ｂ内の全ての画素について式（６）を適用するものとする。なお、以下では、動きベクトル（Ｕ，Ｖ）や誤差マップＥが画素ごとに表現され出力される場合で例示する。

なお、領域指定部１１１が順次指定した１個以上の部分領域Ｂのいずれにも含まれない画素位置が存在する場合には、動きベクトル出力部１２０は、１個以上の部分領域Ｂのうち最も当該画素位置に距離の近い部分領域Ｂに属するものとして式（６）を適用してもよいし、あるいは該画素位置については動きベクトル（Ｕ，Ｖ）及び誤差マップＥが未定義であるものとしてもよい。

一方、領域指定部１１１が順次指定した２個以上の部分領域Ｂの複数に含まれる画素位置が存在する場合には、動きベクトル出力部１２０は、該複数部分領域に関する式（６）の結果の代表値（例えば、平均値）をもって動きベクトル（Ｕ，Ｖ）及び誤差マップＥの値を定義してもよいし、あるいは該画素位置を含む部分領域Ｂのうち最もその代表点（例えば、重心点）が近い部分領域Ｂに属するものとして上記式（６）を適用してもよい。

動き補償部１２は、動き推定部１１により求められた動きベクトル（Ｕ，Ｖ）に基づき、式（７）に示すように画像フレームＩ（ａ）を動き補償し、動き補償画像Ｃ_ａ（ｘ，ｙ）を画像重畳部１３１に出力する。

補間フレーム生成部１３は、動き補償部１２から入力される複数の動き補償画像Ｃ_ａ（ｘ，ｙ）を重畳して補間フレームＪを生成する。例えば、補間フレーム生成部１３は、画像重畳部１３１と、正規化部１３２とから構成される。

画像重畳部１３１は、動き補償部１２から出力される動き補償画像Ｃ_ａを、時刻対選択部２１の選んだ時刻対（ａ，ｂ）の複数通りの場合について重ね合わせ、式（８）に示すように重畳画像Ｓ（ｘ，ｙ）及び重畳回数Ｔ（ｘ，ｙ）を出力する。

このとき、画像重畳部１３１は、動き推定部１１からの誤差マップＥや、時刻対選択部２１から入力される時刻ａを勘案した重みづけによって重ね合わせを行ってもよい。画像重畳部１３１が動き推定部１１から入力される誤差マップＥを勘案する場合には、誤差値が大きいほど重みが小さくなるように重みづけを行う。また、画像重畳部１３１が、時刻ａを勘案する場合には、時刻ａの値の絶対値が大きいほど（つまり、画像フレームＩ（ａ）と補間フレームＪとの時刻が離れているほど）重みが小さくなるように重みづけを行う。さらに、画像重畳部１３１が誤差マップＥ及び時刻ａを勘案した重みづけを行いつつ重ね合わせを行う場合には、時刻対選択部２１がｎ番目（ｎは自然数）に選択した時刻をａ_ｎとしたとき、例えば式（９）に示す演算を行う。

ここで、関数ｇ，ｈは広義単調減少関数とする。例えば、式（１０）のような指数関数を用いることができる。なお、ａ_ｇは正の実定数、ｂ_ｇは非負の実定数とする。

正規化部１３２は、時刻対選択部２１と画像重畳部１３１がそれぞれＮ回（Ｎは自然数）動作したときに、画像重畳部１３１から入力されるＳ_Ｎ及びＴ_Ｎに基づき、式（１１）に示すように画素毎の正規化を行うことにより、補間フレームＪを出力する。以上の動作により、フレーム補間装置１は、複数の画像フレーム対（Ｉ（ａ），Ｉ（ｂ））を参照して、それらを重ね合わせた補間フレームＪを生成する。

以上説明したように、フレーム補間装置１は、動き推定部１１により、補間フレームＪ内の点（ｐ，ｑ）及び画像フレームＩ（ｂ）内の点（ｐ＋ｕ，ｑ＋ｖ）を時空間内で通る直線Ｌが画像フレームＩ（ａ）と交差する点（ｐ＋ａｕ／ｂ，ｑ＋ａｖ／ｂ）の画素値Ｉ（ａ；ｐ＋ａｕ／ｂ，ｑ＋ａｖ／ｂ）と、画像フレームＩ（ｂ）内の点（ｐ＋ｕ，ｑ＋ｖ）の画素値Ｉ（ｂ；ｐ＋ｕ，ｑ＋ｖ）との誤差を評価し、画像フレームＩ（ａ）及びＩ（ｂ）の対ごとに動きベクトルを推定する。そして、動き補償部１２により、推定した動きベクトルに基づいて画像フレームＩ（ａ）を動き補償し、複数の動き補償画像を生成し、補間フレーム生成部１３により、複数の動き補償画像を重畳して補間フレームＪを生成する。よって、フレーム補間装置１は、複数の画像フレームＩ（ａ）から補間フレームＪを生成するため、フレーム間で画像の連続性が失われる場合であっても適切な補間フレームを得ることが可能でき、補間フレームの画質を向上させることが可能となる。

［第２の実施形態］
次に、本発明の第２の実施形態について説明する。図４は、本発明の第２の実施形態に係るフレーム補間装置の構成例を示すブロック図である。第２の実施形態のフレーム補間装置３は、第１の実施形態のフレーム補間装置１と比較して動き補償部１４を更に備え、画像重畳部１３１が動き補償部１２及び動き補償部１４から入力される動き補償画像に基づいて画像を重畳する点が相違する。その他の構成については第１の実施形態と同様であるため、同一の参照番号を付して適宜説明を省略する。

動き補償部１４は、動き推定部１１により求められた動きベクトル（Ｕ，Ｖ）に基づき、式（１２）に示すように画像フレームＩ（ｂ）を動き補償し、動き補償画像Ｃ_ｂ（ｘ，ｙ）を画像重畳部１３１に出力する。

画像重畳部１３１は、動き補償部１２から入力される動き補償画像Ｃ_ａ、及び動き補償部１４から入力される動き補償画像Ｃ_ｂを、時刻対選択部２１により選択される時刻対の複数通りについて、式（１３）に示すように重ね合わせる。そして、重畳画像Ｓ（ｘ，ｙ）及び重畳回数Ｔ（ｘ，ｙ）を正規化部１３２に出力する。

このとき、画像重畳部１３１は、動き推定部１１からの誤差マップＥや、時刻対選択部２１から入力される時刻ａ，ｂの少なくとも一方を勘案した重みづけによって重ね合わせを行ってもよい。画像重畳部１３１が動き推定部１１から入力される誤差マップＥを勘案する場合には、誤差値が大きいほど重みが小さくなるように重みづけを行う。画像重畳部１３１が、時刻ａを勘案する場合には、時刻ａの値の絶対値が大きいほど重みが小さくなるように重みづけを行い、時刻ｂを勘案する場合には、時刻ｂの値の絶対値が大きいほど重みが小さくなるように重みづけを行う。画像重畳部１３１が誤差マップＥ、時刻ａ及びｂを勘案した重みづけを行いつつ重ね合わせを行う場合には、時刻対選択部２１がｎ番目（ｎは自然数）に選択した時刻対を（ａ_ｎ，ｂ_ｎ）としたとき、例えば式（１４）に示す演算を行う。

ここで、関数ｇ，ｈ，ｋはいずれも広義単調減少関数とする。例えば、式（１５）のような指数関数を用いることができる。なお、ａ_ｇ，ａ_ｈ，ａ_ｋは正の実定数、ｂ_ｇ，ｂ_ｈ，ｂ_ｋは非負の実定数とする。

以上説明したように、フレーム補間装置３は、フレーム補間装置１と同様に、動き推定部１１により動きベクトル（Ｕ，Ｖ）を推定する。動き補償部１２では、複数の時刻対ａ，ｂについて、動きベクトル（Ｕ，Ｖ）に基づいて画像フレームＩ（ａ）及びＩ（ｂ）を動き補償した複数の動き補償画像を生成し、補間フレーム生成部１３により、複数の動き補償画像を重畳して補間フレームＪを生成する。よって、フレーム補間装置１は、複数の時刻対ａ，ｂに対応する画像フレームＩ（ａ）及びＩ（ｂ）から補間フレームＪを生成するため、フレーム補間装置１よりも多くの動き補償画像に基づいて重畳処理を行うことができ、更に補間フレームの画質を向上させることが可能となる。

なお、上述したフレーム補間装置１，３として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、フレーム補間装置１，３の各機能を実現する処理内容を記述したプログラムを、当該コンピュータの記憶部に格納しておき、当該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。

上述の実施形態は、代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態に記載の構成ブロックは複数を１つに組み合わせたり、あるいは分割したりすることが可能である。

また、上述の第１の実施形態では画像フレームＩ（ａ）を動き補償して補間フレームＪを生成し、第２の実施形態では画像フレームＩ（ａ）及びＩ（ｂ）を動き補償して補間フレームＪを生成したが、同様に画像フレームＩ（ｂ）を動き補償して補間フレームＪを生成することも可能である。

このように、本発明によれば、補間フレームの画質を向上させることができるので、入力フレーム群の補間フレームを生成する任意の用途に有用である。

１，３フレーム補間装置
２映像信号源
１１動き推定部
１２動き補償部
１３補間フレーム生成部
２１時間対選択部
２２フレームメモリ
２３読出部
１１１領域指定部
１１２動きベクトル走査部
１１３按分部
１１４画素位置走査部
１１５加算部
１１６画素読出部
１１７誤差評価部
１１８総和部
１１９最小化部
１２０動きベクトル出力部
１３１画像重畳部
１３２正規化部

Claims

複数対の画像フレームから補間フレームを生成するフレーム補間装置であって、
補間フレームに対する相対的な時刻ａ及びｂ（｜ｂ｜＞｜ａ｜）における画像フレームＩ（ａ）及びＩ（ｂ）を複数対入力し、前記補間フレーム内の点（ｐ，ｑ）及び前記画像フレームＩ（ｂ）内の点（ｐ＋ｕ，ｑ＋ｖ）を時空間内で通る直線が前記画像フレームＩ（ａ）と交差する点（ｐ＋ａｕ／ｂ，ｑ＋ａｖ／ｂ）の画素値と、前記画像フレームＩ（ｂ）内の点（ｐ＋ｕ，ｑ＋ｖ）の画素値との誤差を評価し、前記画像フレームＩ（ａ）及びＩ（ｂ）の対ごとに動きベクトルを推定する動き推定部と、
前記動きベクトルに基づいて前記画像フレームＩ（ａ）及びＩ（ｂ）の少なくとも一方を動き補償して前記画像フレームＩ（ａ）及びＩ（ｂ）の対ごとに動き補償画像を生成する動き補償部と、
前記動き補償画像を重畳して補間フレームを生成する補間フレーム生成部と、
を備え、
前記補間フレーム生成部は、前記動き補償画像を重畳する際に、前記誤差が大きいほど重みが小さくなるように重みづけを行うことを特徴とするフレーム補間装置。
複数対の画像フレームから補間フレームを生成するフレーム補間装置であって、
補間フレームに対する相対的な時刻ａ及びｂ（｜ｂ｜＞｜ａ｜）における画像フレームＩ（ａ）及びＩ（ｂ）を複数対入力し、前記補間フレーム内の点（ｐ，ｑ）及び前記画像フレームＩ（ｂ）内の点（ｐ＋ｕ，ｑ＋ｖ）を時空間内で通る直線が前記画像フレームＩ（ａ）と交差する点（ｐ＋ａｕ／ｂ，ｑ＋ａｖ／ｂ）の画素値と、前記画像フレームＩ（ｂ）内の点（ｐ＋ｕ，ｑ＋ｖ）の画素値との誤差を評価し、前記画像フレームＩ（ａ）及びＩ（ｂ）の対ごとに動きベクトルを推定する動き推定部と、
前記動きベクトルに基づいて前記画像フレームＩ（ａ）及びＩ（ｂ）の少なくとも一方を動き補償して前記画像フレームＩ（ａ）及びＩ（ｂ）の対ごとに動き補償画像を生成する動き補償部と、
前記動き補償画像を重畳して補間フレームを生成する補間フレーム生成部と、
を備え、
前記補間フレーム生成部は、前記動き補償画像を重畳する際に、該動き補償画像の動き補償元の画像フレームと前記補間フレームとの時刻が離れているほど重みが小さくなるように重みづけを行うことを特徴とするフレーム補間装置。
コンピュータを、請求項１又は２に記載のフレーム補間装置として機能させるためのプログラム。