JP5534299B2 - 動き補償において周期的構造に対処する方法および装置 - Google Patents

Description

関連出願

本願は、米国特許仮出願第６１／０７９，２６９号（出願日：２００８年７月９日、発明の名称：「動き補償フレームコンバータ用の周期的構造の処理」）による恩恵を主張する。当該米国仮出願の内容はすべて、参照により本願に組み込まれる。本願は、米国特許出願第１２／４００，２０７号（出願日：２００９年４月９日、発明の名称：「動き推定用のフィルタバンクベースの位相相関アーキテクチャ」）に関連する。当該米国出願の内容はすべて、参照により本願に組み込まれる。

本文献に記載する技術は概して、画像生成技術分野に関する。特に、画像生成における動き情報の利用に関する。

動き情報は、画像生成において非常に重要な部分を占める。例えば、多くのフレームシーケンスにおいて、あるフレームと次のフレームの差分は、当該フレーム内での物体の相対的な動きのみである。ビデオ圧縮は、この事実を利用して、例えば４つおきのフレームの画像データを符号化する。間のフレームについては、それらの欠落フレームを生成するのに必要な情報のみを格納する。欠落フレームを生成するのに必要な情報の一部として、当該フレーム内での物体の動きに関する情報が挙げられる。

動き情報が重要になる別の例を挙げると、入力信号のフレームレートと出力デバイスに必要なフレームレートとが一致しない場合がある。通常の映画フィルムは、２４Ｈｚ、２５Ｈｚ、または３０Ｈｚで記録されている。普通のビデオカメラのピクチャレートは、５０Ｈｚおよび６０Ｈｚである。一方、市販のテレビディスプレイは、ピクチャレートが最高で１２０Ｈｚあり、これを超えることもある。放送ビデオを高性能なテレビディスプレイにインターフェースする場合には、放送ビデオからのオリジナルシーケンスを、例えば、ピクチャレートコンバータを用いてアップコンバートする必要がある。ピクチャレートコンバータは通常、低周波側ソースデバイスからのフレームシーケンスが高周波側デスティネーションディスプレイに対して変換されていない時点の画像フレームを補間するように動作する。

単純なピクチャレートコンバータにおいては、あるピクチャを、次のピクチャがソースデバイスから得られるまで、デスティネーションディスプレイにおいて繰り返すことが多い。このような構成では、動きがある場合には、不鮮明になりブレが発生することが多い。ピクチャレートコンバータでは、動き推定回路および動き補償回路を用いて、このように好ましくない効果を低減して、動きのあるシーケンスについて高品質で変換を実現するとしてよい。動き補償は、物体の動きの方向および速度に基づいて、各補間ピクチャが含む物体の位置がどこになるかを推測するように動作する。このため、方向値および速度値は、動きベクトルとして表現されるとしてよく、新たに生成されるフレームにおいて正しい位置に物体を「移動」させるべく利用されるとしてよい。この技術が正しく適用されれば、その効果は、動きを含むピクチャシーケンスであればどのようなものであっても、即座に目に見えて分かると思われる。つまり、結果として得られるピクチャは、アップコンバート前のオリジナルシーケンスと比べても、ほとんど見分けがつかない程度になり得る。

図１Ａおよび図１Ｂは、周期的な構造を持ち、当該周期的な構造に起因するアーチファクト（図１Ａで見られる）１つの典型的なシーンを示す２つのフレーム（フレームＡおよびフレームＢ）である。フレーム間の動きと、周期的な構造のピッチ（周期）との間には、直接相関関係がある。フレームＡとフレームＢとの間において、周期的な構造を含むピクセルの動きは、１０ピクセルで、周期的な構造のピッチ（周期）は１２ピクセルと仮定する。このため、フレームＡとフレームＢとの間で相関関係を特定しようとする場合、動きとピッチとの間には双対関係がある。領域変換技術または空間領域技術を適用することによって生じる相関曲面は、原点から１０ピクセル離れた箇所に位置するピクセルおよび当該原点から−２ピクセル離れた箇所に位置するピクセルにおいて一致することを示す。一般化すると、垂直方向および水平方向においてピッチが（Ｍ，Ｎ）で動きが（Ｘ，Ｙ）の場合、双対関係のために、正確な動き情報であるＸおよびＹと同様に、不正確な動き情報である（Ｘ−Ｍ）および（Ｙ−Ｎ）も得る。密度の高いピクセル領域に動きがあると、（Ｘ−Ｍ）および（Ｙ−Ｎ）という不正確な動き情報が生じさせるアーチファクトは好ましくないものになるであろう。このように、動き補償された画像に含まれる主なアーチファクトの１つに、周期的な構造が存在することによる動きベクトルエラーがある。このようなアーチファクトは、関連する画像の詳細な情報がなければ解決するのが困難な問題であるので、大半の動き補償されたアルゴリズムで見られる。

本文献は、画像において周期的な構造の存在を特定して、該周期的な構造に対応付けられるアウトライヤー動きベクトルを除去するための方法および装置を開示する。一実施形態によると、当該方法は、少なくとも１つの画像を変換して、少なくとも１つの画像の周波数領域表現を生成する段階と、周波数領域表現に基づいて、複数の動きベクトルおよび周期を推定する段階と、推定された複数の動きベクトルおよび周期に基づいて、支配的ベクトルを選択する段階とを備える。支配的動きベクトルを選択する段階は、支配的動きベクトル候補を決定する段階と、支配的動きベクトル候補と推定された複数の動きベクトルのそれぞれとの間の差分の絶対値を算出する段階とを有するとしてよい。それぞれの絶対値を支配的動きベクトルの範囲と比較して、比較結果に基づいて、推定された動きベクトルを除外する。除外する段階は、絶対値が支配的ベクトルの範囲内に含まれると実行されるとしてよい。支配的ベクトルの範囲は、周期に基づいてルックアップテーブルから得られるとしてよい。

支配的動きベクトル候補は、支配的動きベクトルを決定したいブロックに隣接するブロックの支配的動きベクトルの平均に基づいて、選択されるとしてよい。これに代えて、ハイパスフィルタおよびローパスフィルタで画像がフィルタリングされる実施形態では、支配的動きベクトル候補は、ローパスフィルタの周波数応答から推測される動きベクトルの中から選択されるとしてよい。

さらに、少なくとも１つの画像を変換して、画像の周波数領域表現を生成する変換算出部を備えるシステムを開示する。推定算出部は、周波数領域表現に基づいて、複数の動きベクトルを推定する。周期的構造検出および除外モジュールは、変換算出部および推定算出部に呼応して動作することによって、画像の周波数領域表現に基づいて周期を特定して、推定される複数の動きベクトルおよび特定された周期に基づいて、支配的動きベクトルを選択する。別の実施形態は、ハイパスフィルタおよびローパスフィルタをさらに備え、変換算出部は、ハイパスフィルタおよびローパスフィルタに呼応して動作する。

一実施形態によると、周期的構造検出および除外モジュールは、変換算出部に応じて支配的動きベクトルの範囲を特定し、支配的動きベクトル候補を決定し、支配的動きベクトル候補と推定された複数の動きベクトルのそれぞれとの間の差分の絶対値を算出し、絶対値のそれぞれと前記範囲とを比較し、比較の結果に基づいて、推定された動きベクトルを除外するとしてよい。

支配的動きベクトル候補は、支配的動きベクトルを決定したいブロックに隣接するブロックの支配的動きベクトルの平均に基づいて選択されるとしてよい。または、画像がハイパスフィルタおよびローパスフィルタでフィルタリングされる場合は、支配的動きベクトル候補は、ローパスフィルタの周波数応答から推測される動きベクトルから選択されるとしてよい。

具体的なハードウェア実装の１つは、開示された方法の実施形態を実行して、画像内に現れるブロックについて支配的動きベクトルを決定し得る動き補償ピクチャレートコンバータである。当該ハードウェアを実装したところ、画像シーケンスにおける周期的な構造の存在に対して耐性を示した。このような効果および利点、ならびにその他の利点は、以下の説明により明らかになるであろう。

本開示内容の理解および実施を容易にするべく、本発明を限定するのではなく例示を目的として、以下の図面を参照しつつ本開示を説明する。

物体がフレームＡからフレームＢへと移動する２つのフレームを示す図である。 物体がフレームＡからフレームＢへと移動する２つのフレームを示す図である。

動き補償ピクチャレートコンバータ（ＭＣＰＲＣ）システムを示すブロック図である。

本開示に係る動きベクトルを生成するシステムを説明するための流れ図である。

先行フレームと現在フレームとの間での動きを特定する輪郭マップの一例を示す図である。

本開示に係る、推定動きベクトルを除外して支配的動きベクトルを特定するための処理を示すフローチャートである。

本開示の一実施形態に係る方法による動作の例を示す図である。 本開示の一実施形態に係る方法による動作の例を示す図である。

図２は、動き補償ピクチャレートコンバータ（ＭＣＰＲＣ）システム１０を示すブロック図である。図２に示すＭＣＰＲＣシステム１０に関連付けて本発明を説明するが、当業者であれば、本発明が他の用途でも利用され得ることに想到する。複数のビデオフレームから成る離散シーケンスを持つ入力信号１１が、モジュール１３、１４、１６および１８を介して、アップコンバートされ、且つ、動き補償された出力信号１２を生成するＭＣＰＲＣシステム１０に入力される。ＭＣＰＲＣシステム１０が備える各モジュールを本明細書で説明する。ＭＣＰＲＣシステム１０からの出力信号１２は、フレームレートが通常入力信号１１のフレームレートよりも高い。例えば、入力信号１１は、ピクチャレートが６０Ｈｚであるビデオカメラによって生成されるとしてよい。このようなビデオ信号は、ＭＣＰＲＣシステム１０を用いて、リフレッシュレートが例えば１２０ＨｚのＬＣＤパネルディスプレイでの出力に適切になるように、アップコンバートする必要があるとしてよい。一般的に、フレームレートのアップコンバートは、時間方向に隣接する入力フレームの各対の間に、所定数のフレームを生成して挿入することによって行われる。このような中間フレームは、フレーム間での物体の動きの軌道を近似的に捕らえるように生成され得るので、アップコンバート後に表示されると、ビデオ画像シーケンスは全体的によりスムーズになっている。

図２を参照しつつ説明すると、入力信号１１はまずフロントエンドモジュール１３によって処理される。フロントエンドモジュール１３は、チューナ、復調器、コンバータ、コーデック、アナログビデオデコーダ等の構成要素を有するとしてよい。フロントエンドモジュール１３からの出力は、下流方向に、ビデオフォーマット変換および処理モジュール１４に与えられる。ビデオフォーマット変換および処理モジュール１４は、アナログノイズおよび圧縮アーチファクトの低減、スケーリング、ＯＳＤブレンディング、カラーマネジメント等のビデオエンハンスメント処理を更に実行するとしてよい。その結果得られる出力は、動き補償ピクチャレート変換（ＭＣＰＲＣ）モジュール１６に与えられ、ＭＣＰＲＣモジュール１６が生成する出力は、タイミングコントローラ１８によって処理されてから、出力信号１２として送信される。

図２に示したＭＣＰＲＣシステム１０全体は、ハードウェアまたはソフトウェアに含まれる単一のチップで実装されるとしてよい。一例を挙げると、ＭＣＰＲＣチップはテレビ回路に組み込まれるとしてよく、ＭＣＰＲＣチップからのアップコンバートされた処理後の出力は、ビデオ用の外部ディスプレイパネルに送信される。しかし、図２に示すＭＣＰＲＣシステム１０は複数のチップで実装されるとしてもよく、フロントエンド１３およびビデオフォーマット変換および処理モジュール１４が１つのチップで製造されて、動き補償ピクチャレートコンバータ１６およびタイミングコントローラ１８は別のチップで製造される。図２に示す構成要素については、これ以外のチップの組み合わせも可能であるとしてよい。

図２に示すように、ビデオ情報信号経路２０を設けて、ＭＣＰＲＣシステム１０の構成要素間での情報の伝送を容易にする。具体的には、ＭＣＰＲＣモジュール１６に伝送され得る情報は、例えば、字幕表示の位置、スクリーン上の表示の存在、入力信号の本来のフレームレート、入力信号の本来および現在のビデオ境界等を含む。

図３は、本開示の教示内容に係る、動きベクトルを生成するべく用いられるシステム２１の構造を説明するための流れ図である。システム２１は、フーリエシフト定理を用いて２つのフレーム間の動きを算出する。フーリエシフト定理は、均一な並進によって互いにシフトしている２つの信号は、周波数領域で表現されると、互いに位相シフトしていることを示す。このため、所定量の並進によって互いにシフトしている２つの画像のフーリエ変換を取ると、当該信号のフーリエ表現は、当該並進に比例する位相シフト分だけ、シフトしている。位相シフトを逆フーリエ変換すると、位相相関曲面が得られる。当該位相相関曲面におけるピークの位置は、シフトの大きさを表し、ピークの高さは、推定された動きベクトルの信頼性を表す。システム２１が検出可能な最大の並進は、フーリエ変換のサイズに左右される。水平方向にＮポイントで垂直方向にＭポイントのフーリエ変換は、最大で、水平方向に±Ｎ／２、垂直方向に±Ｍ／２のシフトを測定することができる。１０８０ｐ解像度信号に対する動きの通常の範囲には、６４×３２ピクセル以上のフーリエ変換が必要となり得る。

本明細書で使用する場合、「ブロック」という用語は、ピクセル群を意味し、１ピクセルの場合も含む。ブロックサイズが大きくなると、推定動きベクトルの信頼性は低くなり得る。このため、小さい物体の動きを見逃してしまう可能性が高い。これは、小さい物体は、相関曲面に対する影響が大きくなく、画像中のノイズによって隠されてしまうためである。この問題を避けるべく、フィルタバンクに基づく設計を利用するとしてよい。入力信号をローパス表現とハイパス表現とにフィルタリングすることによって、ビデオフレーム内の大きい物体の動きも小さい物体の動きも共に、特定することができるようになる。入力信号をローパス表現およびハイパス表現の両方に分解することによって、小さい物体の動きも大きい物体の動きもより良好に明らかにすることができ、より好適に動き補償を実行することができるとしてよい。ローパスフィルタで処理された画像は、ブロック内のグローバル動きまたは大きい物体の動きを捉え、ハイパスフィルタで処理された画像は、小さい物体の動きを捉える。２つの経路を設けるとしてよく、そのうち一方をローパスフィルタ処理画像を処理するべく用いて、他方をハイパスフィルタ処理画像を処理するべく用いる。

図３に示す装置が動きベクトルを生成するための処理は、フィルタ帯域に基づく分解および量子化実行部２２において、あるブロックの先行フレームデータと現在フレームデータとを受け取ることから開始される。フィルタ帯域に基づく分解および量子化実行部２２では、信号の量子化によってノイズの影響が最小限に抑えられ、先行フレームデータおよび現在フレームデータは、ローパスフィルタおよびハイパスフィルタを介して、ローパス表現２４とハイパス表現２６とに分解され、先行フレームローパス表現（Ｆ_１（ｘ_１，ｙ_１））と、現在フレームローパス表現（Ｆ_２（ｘ_２，ｙ_２））と、先行フレームハイパス表現（Ｆ_３（ｘ_３，ｙ_３））と、現在フレームハイパス表現（Ｆ_４（ｘ_４，ｙ_４））とが生成される。

分解の後、各表現は１以上の２次元高速フーリエ変換（ＦＦＴ）算出部２８および３０によって処理される。２次元ＦＦＴ算出部２８および３０は、フィルタ帯域に基づく分解および量子化実行部１２２が出力する時間領域の表現を受け取って、当該時間領域表現を周波数領域表現に変換する。つまり、Ｆ_１（ω_ｘ，ω_ｙ）、Ｆ_２（ω_ｘ，ω_ｙ）、Ｆ_３（ω_ｘ，ω_ｙ）、Ｆ_４（ω_ｘ，ω_ｙ）を生成する。周波数領域表現は一部または全てが、ライン３２および３４を介してフレームバッファ３６に一時的に格納されるとしてよい。

周波数領域表現の算出の後、ローパスフィルタ（ＬＰＦ）位相差算出部３８が、先行フレームデータと現在フレームデータとの間の位相差を、該フレームデータのローパス側周波数領域表現について、算出する。例えば、以下に示す式の「Ａ」および「Ｂ」パラメータについて解を求めることによって、位相差を算出するとしてよい。

先行フレームデータと現在フレームデータとの間の位相差を算出後、２次元逆高速フーリエ変換（ＩＦＦＴ）算出部４０は、算出された位相差に対して処理を施す。ＩＦＦＴ算出部４０の処理結果は、２次元位相平面相関曲面となる。図４にそのような相関曲面の一例を示す。位相平面相関曲面は、ソースビデオの先行フレームと現在フレームとの間での動きを特定するための輪郭マップとして考慮されるとしてよい。位相平面相関曲面におけるピークの位置（ａ_１，ｂ_１）は、以下のようにフレームブロック内の動きに対応する。

位相相関曲面におけるピークの高さは、ブロック内で移動している物体のサイズに対応する。位相相関曲面内のピークを推定するべくピーク検索ルーチン４２を実行して、特定されたピークに基づいて、ローパスフィルタに基づく動きベクトル４４を決定する。ローパスフィルタに基づく動きベクトル４４は、フレームブロック内での大きい物体の動きに対応する。

２次元ＦＦＴ算出部３０が算出したハイパス側周波数領域表現（Ｆ_３（ω_ｘ，ω_ｙ），Ｆ_４（ω_ｘ，ω_ｙ））を用いて同様の処理を実行する。ハイパス側周波数領域表現が算出された後、ハイパスフィルタ（ＨＰＦ）位相差算出部４８が、先行フレームデータと現在フレームデータとの間の位相差を、該フレームデータのハイパス側周波数領域表現について、算出する。例えば、以下に示す式の「Ｃ」および「Ｄ」パラメータについて解を求めることによって、位相差を算出するとしてよい。

先行フレームデータと現在フレームデータとの間の位相差を算出後、２次元ＩＦＦＴ算出部５０は、算出された位相差に対して処理を施す。ＩＦＦＴ算出部の処理結果は、第２の２次元位相平面相関曲面と見なされるとしてよい。第２の位相平面相関曲面におけるピークの位置（ｃ_１，ｄ_１）は、以下のようにフレームブロック内の動きに対応する。

第２の位相相関曲面内のピークを推定するべくピーク検索ルーチン５２を実行して、特定されたピークに基づいて、ハイパスフィルタに基づく動きベクトル５４を決定する。ハイパスフィルタに基づく動きベクトル５４は、フレームブロック内での小さい物体の動きに対応する。

ＩＦＦＴ算出部の処理が終了すると、その結果得られた位相相関曲面（図４を参照のこと）は、複数のピークを有する場合がある。ブロック内の動きに対応するものもあれば、動きとピッチとの関係によって生じているものもある。検索ルーチン４２および５２は、相関曲面におけるピークの上位４つの値を推測するとしてよい。サブピクセルの動きが存在するために、隣接する２つの位置の間で値が共通するピークが存在する可能性がある。このため、検索ルーチン４２および５２は、８つの位置を含む近隣領域において一意的なピーク値を推測するとしてよい。つまり、位置（ｘ，ｙ）でピークが見つかると、位置（ｘ±１，ｙ±１）にある近隣のピークは考慮しないとしてよい。そして、推測されたピークの位置および大きさに基づいて、ローパスベースの動きベクトル４４およびハイパスベースの動きベクトル５４を算出する。ローパスベースの動きベクトル４４およびハイパスベースの動きベクトル５４はそれぞれ、周期的構造検出および除外装置５６に入力される。周期的構造検出および除外装置５６の処理は、図５を参照して詳細に説明する。

上述した一般化によると、正確な動きベクトルであるＸおよびＹを得ると共に、一対の不正確な動きベクトル（Ｘ−Ｍ）および（Ｙ−Ｎ）を得る。この時点において、正確な動きベクトルと不正確な動きベクトルとの関係は知られているが、動き補償方法に関する問題は、基準となるフレームの周波数情報が入手できないことが多い点にある。現在の設計によると、位相相関ベースの動き推定を利用しているので、フーリエ変換後には、周期的構造検出および除外装置５６に入力され得る各フレームについてスペクトル情報を取得している。このため、２次元ＦＦＴ算出部２８および３０が利用する各係数における応答の大きさが装置５６に入力される。このスペクトル情報をどのように用いて正確なピッチを特定するのか、そして、ピッチ情報をどのように用いてアウトライヤー動きベクトルを除外するのかを以下で説明する。

図３に示すシステム２１の説明を完了させると、装置５６はさらに、以下で説明するように、１以上の支配的動きベクトル候補を受け取る。

基本的なフーリエ級数の基礎によると、フーリエ級数は、サイン関数およびコサイン関数の線形結合として周期関数を表現するべく用いられることが知られている。ｆ（ｔ）が周期Ｔの周期関数である場合、ある条件下では、当該関数のフーリエ級数は以下のように与えられる。

式中で、ｎ＝１，２，３・・・であり、Ｔは関数ｆ（ｔ）の周期であり、ａ_ｎおよびｂ_ｎはフーリエ係数である。

我々の場合は逆の問題があり、フーリエ係数が既知で、当該係数から関数の周期性を推測しなければならない。既知の係数に基づき、超越方程式を解いて三角級数情報を格納することによって、任意の周期Ｔを推測することができる。困難なのは、所定数の処理で解を求めることにある。この問題を回避するべく、図５に示す周期的構造検出および除外装置５６を利用する。

装置５６で実行される処理は、ステップ７０において開始される。ステップ７０では、ＦＦＴ算出部２８および３０から受け取った係数がソートされて、最上位値が特定される。最上位フーリエ係数の位置は、信号の周期を示す。６４×３２のＦＦＴブロック毎に、４つの水平周期および４つの垂直周期が特定される。フーリエ係数のうち小さい値に対応する周期（以下では「下位周期値」と呼ぶ）はリストから除外される。このような「下位周期値」を特定するためのしきい値は「ｔｈｒ＿ｊ」と表すとしてよく、「ｔｈｒ＿ｊ」の値として可能な値を挙げると、「８」であってよい。フーリエ係数のうち大きい値に対応する周期は、しきい値「ｔｈｒ＿ｉ」よりも大きい値を持ち、「上位周期値」と呼ばれる。「ｔｈｒ＿ｉ」の値として可能な値を挙げると、「３２」であってよい。尚、しきい値の値が、周期特定に利用されることに注意されたい。しきい値が大きいと、周期的構造の検出確率は低く、その逆も同様である。このようにして、現在のウィンドウ（ブロック）の周囲の３×３または５×５のカーネルにおいて最も頻度が高い２つ／３つの周期を、ステップ７２において特定する。このようにして特定された周期は、現在のウィンドウに対して算出されたピッチが上位でない場合、算出されたピッチに代えて利用される。算出されたピッチが上位である場合は、算出されたピッチに代えて特定された周期を用いることはしない。

一部の実施形態によると、ハイパス側の動きベクトルの経路におけるＦＦＴ経路についてのみ、ＦＦＴの大きさの分析を実行するとしてよい。基底関数の大きさは、支配的な傾向として、低周波数を表現する基底関数から高周波数を表現する基底関数へと単調に外れるとしてよい。分析では、しきい値を適用すること以外に、上述した支配的な傾向からの逸脱を探す。支配的な傾向からの逸脱は、強度の周期的構造が存在することを示し得る。ある６４×３２のピクセルブロックと空間的な隣接領域（例えば、周囲の８つの６４×３２ピクセルブロック）からの周期的構造情報とを相関させることによって得られる情報によって、推測が実行され得る。この結果、周期情報を間違って登録してしまう可能性を小さくし得る。ハイパスフィルタは、出力が第１階微分作用素の絶対値と同様であるフィルタとしてモデル化され得る。第１階微分は、絶対値作用素と組み合わせることによって、支配的周波数成分の検出に影響を与え得る。支配的周波数成分は、２の倍数として検出され得る。この解を求めるには、ピッチは、周波数領域から示唆されるピッチ情報の２倍であってよい。

周期が特定されると、周期に対応付けられる不正確な動きベクトルを特定しなければならない。しきい値「ｔｈｒ」を特定して、これに基づいて（ｋ＊Ｍ−ｔｈｒ）から（ｋ＊Ｍ＋ｔｈｒ）という範囲内の水平動きベクトルを一掃する。尚、Ｍは水平方向のピッチで、ｋは正の整数である。「ｋ」を含むことによって、高調波のために存在する不正確な動きベクトルを検出することができるようになるとしてよい。また、（ｋ＊Ｎ−ｔｈｒ）から（ｋ＊Ｎ＋ｔｈｒ）の範囲内の垂直方向の動きベクトルも一掃する。尚、Ｎは垂直方向のピッチで、ｋは０よりも大きい正の整数である。ステップ７４に示すように、ルックアップテーブルを用いて一掃範囲を特定するが、一掃範囲の特定には他の方法を用いるとしてもよい。本明細書に開示する表は、試行錯誤の結果得られたものである。表１は、最大フーリエ係数の位置と、示唆される信号の周期と、ピッチの上側しきい値と、ピッチの下側しきい値との間の関係を定義する。上側しきい値および下側しきい値は、ステップ７２で特定された別個の周期が重複するように選択されるとしてよい。

表１から分かるように、特定されたピッチの精度は、値が小さくなるほど、高くなる。

再び図５を参照すると、装置５６が実行する処理はステップ７６に続く。ステップ７６では、支配的動きベクトル（ＭＶ）候補を、外部から受け取るか、または内部（装置５６に対して）で算出もしくは選択する。このように決定される支配的動きベクトル候補は、隣接するブロックの支配的動きベクトルの平均に基づいて決定されるとしてよい。これに代えて、ローパスフィルタで処理された画像の周波数応答から推定される動きベクトルを、支配的動きベクトル候補として選択するとしてもよい。

ステップ７８において、動きベクトル候補と推定動きベクトル４４および５４との間の差分の絶対値を算出する。そして、このようにして得られた絶対値を、（ｋ＊Ｍ−ｔｈｒ）から（ｋ＊Ｍ＋ｔｈｒ）という範囲および（ｋ＊Ｎ−ｔｈｒ）から（ｋ＊Ｎ＋ｔｈｒ）という範囲と比較する。尚、ｔｈｒの上限値と下限値とは、表から取ってくる。この範囲内に含まれる動きベクトルは除去される。ステップ７６、７８および８０はまとめて、特定された周期に基づいて推定動きベクトルのうち１以上を除去する処理と呼ぶとしてよい。装置５６は、ステップ７２で特定されたピッチ情報と、処理８２によって特定される支配的動きベクトルとを出力する。

以下では例を用いて図５に示す処理を説明する。２つの事例を紹介する。説明の便宜上、１次元のみを考える。以下で説明する例を２次元に拡張するのは簡単なことである。

例１を図６Ａおよび図６Ｂに示す。図６Ａでは、動きベクトルを決定したいブロック９２に関連して、３×３のカーネルを分析している。本例について、周期的動きベクトルはステップ７２で報告された周期とまったく同じであると仮定する。さらに、ステップ７２で報告される周期は１３であり、値が＋６および−７である２つの動きベクトルが推定されて装置５６に入力されていると仮定する。推定された動きベクトルのうち正確なものは１つのみであり、その他の動きベクトルは周期ノイズである。ここで、支配的動きベクトルに基づいて、推定された動きベクトル＋６および−７のうち正確な動きベクトルを決定する。

支配的動きベクトル候補として、アフィン／極大動きベクトルを選択される。極大値がない場合、ローパスフィルタ経路またはエッジマップの最高動きベクトルを用いるとしてよい。ここで、ローパスフィルタ経路の最高動きベクトルは、破損していないと仮定している。図６Ａに示す例では、ブロック９２に隣接するそれぞれのブロックの動きベクトル（＋６）に基づいて、動きベクトル候補として＋６を選択する。

動きベクトル候補と、各推定動きベクトルとの間の差分の絶対値を算出して、算出結果を、報告された周期「１３」に対する上側しきい値および下側しきい値によって定義される範囲と比較する。絶対値が範囲内にあれば、対応する推定動きベクトルは、周期アウトライヤーとされて、除外される。

動きベクトル候補が＋６であると仮定すると、＋６から６を引いた値の絶対値はゼロであり、＋６から−７を引いた値の絶対値は１３である。範囲の下限は１３−１．９＝１１．１で、範囲の上限は１３＋１．９＝１４．９である。−７の動きベクトルに対応付けられている１３という値は、１１．１から１４．９の範囲内に含まれるので、−７の動きベクトルは除外される。＋６の動きベクトルに対応付けられている値であるゼロは、１１．１から１４．９の範囲内に含まれないので、＋６の動きベクトルは正確な動きベクトルとして残ることになる。

図６Ｂでは、隣接する各ブロックの動きベクトル（−７）に基づき、動きベクトル候補として−７を用いる。−７から＋６を引いた値の絶対値は１３である。−７から−７を引いた値の絶対値はゼロである。１１．１から１４．９の範囲内に、１３は含まれるが、ゼロは含まれないので、＋６の動きベクトルは除外され、−７の動きベクトルは正確な動きベクトルとして残ることになる。

例２では、周期的動きベクトルが、報告された周期のしきい値によって決まる範囲内に含まれると仮定する。ステップ７２で報告される周期が１３であると仮定する。２つの推定される動きベクトルは、＋６と−６．２５である。支配的動きベクトル候補は、−６．２５であると仮定する。

推定される動きベクトル−６．２５と支配的動きベクトル候補−６．２５との間の差分絶対値は、ゼロである。推定される動きベクトル＋６と支配的動きベクトル候補−６．２５との間の差分の絶対値は、１２．２５である。表１から、報告されている周期１３について定義されているしきい値は１．９である。このため、１１．１から１４．９という範囲が定義される。１２．２５はこの範囲内に含まれるので、＋６の動きベクトルはアウトライヤーとされて除外される。しかし、ゼロはこの範囲外であるので、推定動きベクトル−６．２５は適切に支配的動きベクトルとして特定される。

下側しきい値「ｌｏｗｔｈｒ」と上側しきい値「ｕｐｔｈｒ」とを異なる値に設定することによって、不均衡な範囲を定義するとしてよい。この場合の範囲は、水平方向の動きベクトルについて（Ｍ−ｌｏｗｔｈｒ）から（Ｍ＋ｕｐｔｈｒ）となり、垂直方向の動きベクトルについて（Ｎ−ｌｏｗｔｈｒ）から（Ｎ＋ｕｐｔｈｒ）となる。さらに、水平方向の動きベクトルと垂直方向の動きベクトルについて、しきい値を異なる値に設定するとしてよい。

上述したように、ピクチャレートアップコンバートでは、広い範囲のソースビデオレートを広い範囲のターゲットデータレートに変換する必要があり得る。ソースデータレートとターゲットデータレートとの比率によって、ターゲットビデオに補間される中間フレームの数が決まる。例えば、６０Ｈｚのソースビデオを１２０Ｈｚのターゲットビデオにアップコンバートする場合、ソースビデオのフレーム間について、ターゲットビデオでは、１フレームを挿入しなければならない。このように、ソースビデオのフレーム間の中間に１フレームを挿入すると、６０Ｈｚ／１２０Ｈｚ＝０．５で、補間係数は０．５となる。２４Ｈｚのソースビデオを１２０Ｈｚのターゲットビデオに変換する場合は、ソースフレーム間に、ターゲットビデオでは、４フレームを挿入する。ソースビデオのフレーム間に４つのフレームを挿入するためには、０．２ソースフレーム毎に中間フレームを挿入する必要があり、補間係数は、２４Ｈｚ／１２０Ｈｚ＝０．２で、０．２、０．４、０．６および０．８となる。

補間係数は、中間フレームを生成する際に利用される。最終的に選択される動きベクトルは、先行フレームとターゲットフレームとの間において検出された動きに対応する。しかし、６０Ｈｚから１２０Ｈｚの変換を例にとると、中間フレームは、先行フレームとターゲットフレームとの間の中間地点において物体の動きを描く。このため、中間フレームのブロック内の物体の正確な動きを算出する場合には、最終動きベクトルを、補間係数０．５で乗算して、所望の時点（つまり、中間フレームの時点）での物体の位置を取得する。同様に、２４Ｈｚから１２０Ｈｚへの変換の場合は、第１の中間フレームは第１の補間係数０．２で乗算した最終動きベクトルを利用し、第２の中間フレームは第２の補間係数０．４で乗算した最終動きベクトルを利用し、第３の中間フレームは第３の補間係数０．６で乗算した最終動きベクトルを利用し、第４の中間フレームは第４の補間係数０．８で乗算した最終動きベクトルを利用する。

現在好まれている実施形態に係る方法および装置を説明したが、当業者であれば、多くの変形および変更が可能であることに想到するであろう。例えば、特定の順序が開示されているとしても、明示されている場合を除き、その順序を守る必要は必ずしもない。また、ステップの順序は、場合によっては並行に複数のステップを実行するので、関係ないとしてよい。請求の範囲は、このような変形および変更を全て網羅するものである。

Claims (20)

1. 少なくとも１つの画像を変換して、前記少なくとも１つの画像の周波数領域表現を生成する段階と、
   前記周波数領域表現に基づいて、複数の動きベクトルおよび周期を推定する段階と、
   前記周期に基づいて、前記複数の動きベクトルのうち、前記画像において周期的な構造に対応付けられ不正確な動きを表すアウトライヤー動きベクトルを除外して、支配的動きベクトルを選択する段階と
   を備える方法。
2. 前記周期を推定する段階は、前記周波数領域表現を生成するべく用いられた係数における応答の大きさから周期を特定する段階を有する
   請求項１に記載の方法。
3. 前記周期に基づいて、前記支配的動きベクトルの選択に用いられる値の範囲を特定する段階
   をさらに備え、
   前記支配的動きベクトルを選択する段階は、
   支配的動きベクトル候補を決定する段階と、
   前記支配的動きベクトル候補と前記推定された複数の動きベクトルのそれぞれとの間の差分の絶対値を算出する段階と、
   それぞれの前記絶対値を前記範囲と比較する段階と、
   前記比較する段階の結果に基づいて、推定された動きベクトルを除外する段階と
   を有する
   請求項１または２に記載の方法。
4. 前記支配的動きベクトル候補を決定する段階は、隣接するブロックの支配的動きベクトルの平均に基づいて、支配的動きベクトル候補を選択する段階を含む
   請求項３に記載の方法。
5. 前記除外する段階は、絶対値が前記範囲内に含まれると実行される
   請求項３または４に記載の方法。
6. 前記範囲を特定する段階は、前記特定された周期に基づいてテーブル内で範囲を検索する段階を有する
   請求項３から５のいずれか１項に記載の方法。
7. 前記範囲はさらに、前記周波数領域表現を生成するべく用いられた係数の値に基づいて特定される
   請求項３から６のいずれか１項に記載の方法。
8. ２つの画像をそれぞれフィルタリングする段階
   をさらに備え、
   前記変換する段階は、フィルタリングされた前記２つの画像に対してフーリエ変換を実行して前記２つの画像のそれぞれの周波数領域表現を生成する段階を有する
   請求項１に記載の方法。
9. 前記フィルタリングする段階は、ハイパスフィルタおよびローパスフィルタを用いて前記２つの画像をフィルタリングする段階を有する
   請求項８に記載の方法。
10. 前記周期に基づいて、前記支配的動きベクトルの選択に用いられる値の範囲を特定する段階
    をさらに備え、
    前記支配的動きベクトルを選択する段階は、
    支配的動きベクトル候補を決定する段階と、
    前記支配的動きベクトル候補と前記推定された複数の動きベクトルのそれぞれとの間の差分の絶対値を算出する段階と、
    それぞれの前記絶対値を前記範囲と比較する段階と、
    前記比較する段階の結果に基づいて、推定された動きベクトルを除外する段階と
    を有する
    請求項９に記載の方法。
11. 前記支配的動きベクトル候補を決定する段階は、前記ローパスフィルタの周波数応答から推定される動きベクトルを選択する段階を含む
    請求項１０に記載の方法。
12. 前記画像の前記周波数領域表現における係数の値と前記周期とに基づいて、前記支配的動きベクトルについての範囲を特定する段階
    をさらに備え、
    前記選択する段階は、前記特定された範囲に基づいて、前記推定された複数の動きベクトルのうち１以上を除外する段階を有する
    請求項１に記載の方法。
13. 少なくとも１つの画像を変換して、前記画像の周波数領域表現を生成する変換算出部と、
    前記周波数領域表現に基づいて、複数の動きベクトルを推定する推定算出部と、
    前記変換算出部および前記推定算出部に呼応して動作することによって、前記画像の前記周波数領域表現に基づいて周期を特定して、特定された前記周期に基づいて、前記複数の動きベクトルのうち、前記画像において周期的な構造に対応付けられ不正確な動きを表すアウトライヤー動きベクトルを除外して、支配的動きベクトルを選択する周期的構造検出および除外モジュールと
    を備えるシステム。
14. ハイパスフィルタおよびローパスフィルタ
    をさらに備え、
    前記変換算出部は、前記ハイパスフィルタおよび前記ローパスフィルタに呼応して動作する
    請求項１３に記載のシステム。
15. 前記周期的構造検出および除外モジュールは、
    前記変換算出部に応じて支配的動きベクトルの選択に用いられる値の範囲を特定し、
    支配的動きベクトル候補を決定し、
    前記支配的動きベクトル候補と前記推定された複数の動きベクトルのそれぞれとの間の差分の絶対値を算出し、
    前記絶対値のそれぞれと前記範囲とを比較し、
    前記比較の結果に基づいて、推定された動きベクトルを除外する
    請求項１４に記載のシステム。
16. 前記支配的動きベクトル候補は、隣接するブロックの支配的動きベクトルの平均に基づいて決定される
    請求項１５に記載のシステム。
17. 前記支配的動きベクトル候補は、前記ローパスフィルタの周波数応答から推測される動きベクトルに基づいて決定される
    請求項１５に記載のシステム。
18. 前記除外することは、絶対値が前記範囲内に含まれると実行される
    請求項１５から１７のいずれか１項に記載のシステム。
19. 前記範囲を特定することは、前記特定された周期に基づいてテーブル内で範囲を検索することを含む
    請求項１５から１８のいずれか１項に記載のシステム。
20. ２つの画像に表れる所定のブロックについて支配的動きベクトルを決定する動き補償ピクチャレートコンバータであって、
    ハイパスフィルタおよびローパスフィルタと、
    前記ハイパスフィルタおよび前記ローパスフィルタに呼応して動作することによって、少なくとも２つの画像を変換して、前記少なくとも２つの画像の周波数領域表現を生成する複数の変換算出部と、
    前記周波数領域表現に基づいて複数の動きベクトルを推定する複数の推定算出部と、
    前記複数の変換算出部および前記複数の推定算出部に呼応して動作することによって、前記少なくとも２つの画像の前記周波数領域表現に基づいて周期を特定して、特定された前記周期に基づいて、前記複数の動きベクトルのうち、前記画像において周期的な構造に対応付けられ不正確な動きを表すアウトライヤー動きベクトルを除外して、支配的動きベクトルを選択する周期的構造検出および除外モジュールと
    を備える動き補償ピクチャレートコンバータ。

Images