JP2012531790A - 多重フレームへのアプローチ方法および画像アップスケール処理システム - Google Patents

Abstract

いつくかの様々な画像処理技術を効率的に複合することによって、動画のアップスケール処理を実行できる。動き推定に基づいた時間フィルタ処理、および後に続く空間フィルタ処理を使用し、動画が処理される。空間フィルタ処理された画像は、はっきりしていて、ノイズ抑制されている。また、動画の画像はアップスケール処理されている。
【選択図】図１

Description

本発明は、動画の空間解像度を上げる方法、およびシステムに関する。

典型的な液晶ディスプレイの解像度は、標準テレビジョンと同様に、約７２０×４８０である。典型的な高解像度を有するディスプレイの対角の解像度は、４０９６×２１６０で、視聴距離が「２画面分の高さ未満」という点が特徴的である。解像度の低い動画を解像度の高いディスプレイに映し出すために、該解像度の低い画像に対してアップスケール処理を行う。近い距離で高解像度の大型ディスプレイを見ると、アップサンプルリングの結果、不自然なパターンを視認する傾向がある。加えて、元の動画コンテンツ中の情報が限られているため、このアップスケール処理によってノイズが生じる傾向にある。

アップスケール技術の１つとして、映し出される画像のエッジや輪郭の位置を特定し、そのエッジ付近のフィルタ処理過程を制御する、エッジ適用空間フィルタ処理を行うものがある。これらの技術によって、明確且つ自然に見えるエッジの輪郭を有する、アップサンプリングされた画像が生み出される。しかしながら、エッジ適用アップサンプリング技術には、テクスチャをぼかす傾向がある。エッジ適用技術には、エッジを分類した結果、「エッジの無い像」を「エッジ」と間違える可能性があるという他の問題点もある。この結果、オリジナルには無い間違った「エッジ」が一部に発生する。そして、その「エッジ」は簡単にエラーとして視認されやすい。

知覚された画質向上のために使用される画像修正技術の他の種類として、アンシャープマスクのような、シャープニング処理が挙げられる。アンシャープマスクは、オリジナルの画像にマスクで覆った部分をつくるために、ぼかしたポジを使用して、画像の外見上「鮮明な」部分を増加させる。その次に、アンシャープマスクは、結果として生じる画像がオリジナルに比べ、よりはっきりとしたという錯覚を伴うように、ネガと合成させる。一般的に、アンシャープマスクは画像の高周波数成分を増幅させる特徴がある。

知覚された画質向上のために使用される画像修正技術の他の種類として、ノイズを低減させる技術が挙げられる。ローパス平滑化フィルタを使用してノイズの低減を達成する。しかし、平滑化フィルタは画像をぼかす傾向があり、ぼかしを低減させるためには非線形のノイズリダクションフィルタがより好ましい。フィルタの他の種類としては、異方性を利用した拡散フィルタや中央値フィルタがある。

本願は、動画を修正する方法を提供するものである。この方法は、動画の複数のフレームを受信し；複数のフレームのうちの任意のフレームと、少なくとも１つの他のフレームとのそれぞれの一部間の動きを推定し；上記動き推定に基づき、上記動画の上記任意のフレーム中のノイズを低減するため、上記動画の上記任意のフレームを動き補償時間フィルタ処理し；第１チャネルは実体のあるエッジとともに上記任意のフレームの低周波数の部分を含み、第２チャネルは上記任意のフレームの高周波数の部分を含むように、上記動画の、上記動き補償時間フィルタ処理された上記任意のフレームを空間フィルタ処理し；上記任意のフレームの上記第１チャネルをシャープニング処理し；上記任意のフレームの上記第２チャネルのノイズを低減し；上記動画の上記フレームをアップスケール処理し；シャープニング処理された上記第１チャネルと、上記ノイズが低減された上記第２チャネルと、を合成することによって構成される。

また、動画を修正するこの方法は、システムに使用することができる。そのシステムは、上記動画の複数のフレームを受信するための入力と；上記複数のフレームのうちの任意のフレームと、少なくとも１つの他のフレームとのそれぞれの一部間での動きを推定するための動き推定部と；上記動き推定に基づき、上記任意のフレーム中のノイズを低減するために、上記動画の任意のフレームを動き補償時間フィルタ処理するための動き補償時間フィルタと；第１チャネルは実体のあるエッジとともに上記任意のフレームの低周波数の部分を含み、第２チャネルは上記任意のフレームの高周波数の部分を含むように、上記動画の、上記動き補償時間フィルタ処理された上記任意のフレームを空間フィルタ処理するための空間処理フィルタと；上記任意のフレームの上記第１チャネルをシャープニング処理のためのシャープナーと；上記任意のフレームの上記第２チャネルのノイズを低減するためのノイズ抑制部と；上記動画の上記フレームをアップスケール処理するためのアップスケーラーと；シャープニング処理された第１チャネルと、上記ノイズが低減された上記第２チャネルと、の合成を出力するための出力と、によって構成される。

前記の内容および、本発明の他の目的、特徴、および優れた点は、以下に示す記載によって十分分かるであろう。また、本発明の利点は、添付図面を参照した次の説明で明白になるであろう。

図１は、本発明の画像アップスケール処理技術を示すものである。 図２は、本発明の第２の画像アップスケール処理技術を示すものである。 図３は、本発明の第３の画像アップスケール処理技術を示すものである。 図４は、本発明の第４の画像アップスケール処理技術を示すものである。 図５は、本発明の画像アップスケール処理技術を使用するシステムを示すものである。

図１を参照して、画像の空間的解像度を上げる技術について説明する。動画の複数のフレームから構成される入力画像１００が、入力として受信される。例えば、解像度は一般にディスプレイ媒体のピクセル数で示される。すなわち、長さの単位当りのピクセル数（例えば、１インチ当たり４５ドット、１インチ当たり３００ドット）；スクリーンの高さ、あるいは幅当りのピクセル数；および／または、網膜における、角度範囲の度合い当たりのピクセル数で表現する。さらに、例えば、解像度を向上させるという事は、コンテンツ情報を増加させることである。また、解像度を向上させるということは、アップサンプリング（例えば、より間隔のつまったサンプリンググリッド）の結果として作成された新たに利用可能な高い空間周波数帯へ周波数成分を追加することとも言われる。アップサンプリングの結果として画像の解像度を向上させることは、入力画像から、実際の場面情報を決定する機能を向上させることである。

動画シーケンスの過程で、動画中の「鳥」等の異なる被写体は、その動画シーケンス範囲内で、ある場所から他の場所へと移動する傾向がある。動画シーケンスをアップスケールするに際して、システムは、動画シーケンスの時間的な動きを把握するために、動き推定１１０で動き推定処理を実行する必要がある。動き推定１１０では、アップサンプリングされた画像データの結果としての「間違った動き」を検出する可能性を減らすために、入力画像１００と同じ解像度で画像データの動きを推定する必要がある。これらを行うことによって、アップサンプリングされたデータにいくらかの誤りが含まれていても、データに「間違った動き」は反映されない。また、アップサンプリングされた画像データに対して動き推定を実行することに比べ、入力画像データに対して動き推定を実行する方が、計算の複雑さを低減させる。動き推定としては、例えばオプティカルフロー、ブロックマッチング、および周波数領域の解析といった適切な技術を使用できる。

動き推定１１０は、動画シーケンス過程で、現在のフレームのピクセルから、隣接したフレーム（あるいは、本質的には時間的な他のフレーム（or other frame,but temporal in nature ））のピクセルに関連する動きベクトルを決定する。ここで、ｉおよびｊによってピクセルの所在地の空間的座標を示し、ｔによって時間指数を示す、２つの二次元画像Ｉ（ｉ，ｊ，ｔ）のことを考える。例えば、現在のフレームＩ（ｉ，ｊ，ｔ）で、それぞれのピクセルに対して、動き推定がベクトルをｍ_{ｉ，ｊ，ｋ}＝［ｖ_{ｉ，ｊ，ｋ}，ｕ_{ｉ，ｊ，ｋ}］^Ｔと指定すると、ピクセルの位置（ｉ＋ｖ_{ｉ，ｊ，ｋ}，ｊ＋ｕ_{ｉ，ｊ，ｋ}，ｔ＋ｋ）と、ピクセルの位置（ｉ，ｊ，ｔ）との間の空間的移動を測定する。動きベクトルは、わずかなピクセルの移動で構成され、有効な解像度向上を達成することになる。

動画シーケンスの過程で、それぞれのフレーム、あるいは選択されたフレームに関しては、フレーム内（ｉｎｔｒａ−ｆｒａｍｅ）画像アップスケール処理１２０により、フレームがアップスケールされる。入力画像１００をアップスケール処理することで、後に続く他の画像処理工程で、アップスケール処理後のデータを扱うことが可能となる。この場合、後に続くフィルタ処理では、さらに、アップスケール処理後のデータの画質を向上させる。画像アップスケール処理１２０は、解像度の低い入力画像を解像度の高い出力画像へ変換させる特徴がある。例えば、バイキュービック、あるいは「Ｌａｎｃｚｏｓ」といった線形のアップスケール処理や、非線形技術が使用されてもよい。

画像アップスケール処理１２０の出力、および動き推定１１０の出力が、異なる解像度の場合、後に続く、画像アップスケール処理１２０の出力、および動き推定１１０の出力の合成処理に支障を来たす。後に続く合成処理を、より確実に実行可能とするため、動きアップスケール処理１３０では、動き推定１１０の出力が、画像アップスケール処理１２０の出力と同じ解像度となるように、動きアップスケール処理を行う。複数のフレームに渡り現れるノイズのように、動画に時間的ノイズが発生しやすい。時間的ノイズとは、本質的に、ある一時フレームに発生するノイズであり、一つのフレームで発生するノイズとは全く関連しない。例えば、時間的ノイズが発生する一つの原因は、合成した画像を感知する装置によって起こる熱ノイズである。動きアップスケール処理１３０（後述の動き補償時間フィルタ処理）、および画像アップスケール処理１２０の出力に基づき、時間フィルタ処理１４０では、動画の時間的ノイズを低減してもよい。時間フィルタ処理１４０の一例は、動き補償時間フィルタ処理（ＭＣＴＦ：motion compensated temporal filtering）技術である。動き補償時間フィルタ処理（ＭＣＴＦ）では、多重動画フレームに跨る推定された動き軌道に沿ってフィルタ処理が施される。

動き補償時間フィルタ処理（ＭＣＴＦ）の主な目的は、時間的ノイズを低減することであり、ノイズ低減によって考慮された動きとの時間的不一致を低減することになる。また、動き補償時間フィルタ処理（ＭＣＴＦ）が多重フレームの情報と調和することによって、有効なアップスケール処理の達成を促しえる。動き補償時間フィルタ処理（ＭＣＴＦ）は、わずかな精密なピクセルの動きベクトル［ｖ_{ｉ，ｊ，ｋ}，ｕ_{ｉ，ｊ，ｋ}］^Ｔを使用してもよいし、

となる、動き補償された輝度を得る為のサブピクセル補間を使用してもよい。動き推定が、（例えば、オクルージョンすることにより）誤差や誤りに左右されると、動き補償時間フィルタ処理（ＭＣＴＦ）後に「ぼけた動き」や他の「動きパターン」を引き起こすことがある。このような問題を低減させるために、時間フィルタの重みｆ_{ｉ，ｊ，ｋ}の設計を考慮し、動き推定モジュールの欠点に対し頑丈なものにしてもよい。動きベクトルの正しさの指標として、二つの動き配向のウィンドウ間で、差し換わったフレーム差の平均二乗誤差（ＭＳＥ：mean square error）を使用する例がある。このような平均二乗誤差（ＭＳＥ）は、機能を単調に減少させることで、フィルタの重みを変換する。指数の機能を使用する可能な実施例の一つでは、フィルタの重みを下記の通り算出する：

そして、ローカルウィンドウで平均二乗誤差（ＭＳＥ）を算出する。

アップスケール処理１２０でアップスケール処理され、時間フィルタ処理１４０を使用して動き補償された画像は、上記フィルタ処理の時間的特徴を得る。本質において、結果として生じる動画フレームは、アップスケール処理、動き補償を経ているため、後に続くフレーム内（ｉｎｔｒａ−ｆｒａｍｅ）フィルタ処理に適している。時間フィルタ処理１４０の後、結果として生じる動画のノイズは、画像の高周波数の部分に存在する傾向がある。フィルタ処理に基づくノイズ抑制は、ノイズを含む画像の高周波数の部分を弱める傾向がある。しかし、フィルタ処理に基づくノイズ抑制は、画像の価値あるテクスチャをも弱める傾向がある。また、画像シャープニング処理は、ノイズを含む画像の高周波数の部分を増幅させる傾向がある。画像シャープニング処理と、ノイズ抑制とを同時に実現するために、空間フィルタ処理１５０を使用することによって、時間フィルタ処理１４０からの出力画像は、一対の異なるチャネルに分かれるようにした方がよい。第１チャネル１６０は、画像の「はっきりしたエッジ（実体のあるエッジ）」とともに、画像の低周波数の部分を有する。本質において、第１チャネル１６０は、アニメ画像（a cartoon image）のように見え、主として画像のテクスチャのない部分である。第２チャネル１７０は、画像の高周波数の部分を有する。当該画像の高周波数の部分は、第１チャネル１６０に含まれている「はっきりした画像」がなく、主として画像のテクスチャとなる部分である。第２チャネル１７０は、空間フィルタ処理１５０の出力、および時間フィルタ処理１４０からの出力画像（言い換えれば、空間フィルタ処理１５０への入力画像）のサブトラクションオペレーション１８０から算出する。

空間フィルタ処理１５０は、精細なテクスチャやノイズから、強調された対象エッジを分離するために、シグナルに依存した処理を行う、エッジ適用平滑化フィルタリング処理である。例えば、上記システムには、バイラテラル（bi-lateral）、異方性拡散（anisotropic diffusion）、適用平滑化（adapribe smoothing）、あるいはシグマフィルタ処理技術を使用してもよい。一般的に、高周波数のアスペクトを取り除いている間に、エッジの特徴を保持する処理を実行してもよい（逆の場合も同じ）。

画像シャープニング処理１９０は、（はっきりとしたエッジのある）第１チャネル１６０の低周波数の部分に使用されてもよい。これにより、画像の顕著なはっきりとしたエッジははっきりし、また、画像の低周波数の部分は、はっきりしなくなる。画像の低周波数の部分には、顕著なノイズは含まれない傾向があるため、画像のノイズはそれ以上増加しない。例えば、アンシャープマスクを使用してもよい。

ノイズを弱めるためのノイズ抑制２００の技術は、画像の第２チャネル１７０の高周波数の部分に使用されてもよい。上記高周波数は、画像のノイズの多くを含む傾向があるため、ノイズ抑制２００により、上記ノイズは弱められる。例えば、画像のノイズおよびパターンを抑制するため、一般的な重み付け、あるいは空間変化型（sparially variant）重み付け技術が使用されてもよい。

アップスケール処理された出力画像２２０を供給するために、第１チャネル１６０を経てはっきりした画像と、第２チャネル１７０を経てノイズ抑制された画像とは合成される。時間的ノイズ、および「動き」に関する問題点を減らす処理が動画になされた後、空間フィルタ処理１５０、画像シャープニング処理１９０、およびノイズ抑制２００の全てを行うことがある。この工程によって、画像シャープニング処理１９０、およびノイズ抑制２００の過程で、時間的ノイズ、および「動き」が誤りを引き起こさないようにする。

また、画像の時間的ノイズを低減させている間、時間フィルタ処理１４０は、画像のいくつかの望ましいテクスチャを弱める傾向もある。加えて、空間フィルタ処理１５０とノイズ抑制２００との合成は、画像のノイズを低減させるが、しかし、画像の大部分の望ましいテクスチャをも弱める。それゆえに、画像処理のさまざまなアスペクト間で減少する望ましいテクスチャの量を、できるだけ少なくすることが望ましい。図２を参照すると、時間フィルタ処理１４０後のテクスチャ処理を減らす技術は、後のノイズ抑制２００のための第２チャネル２５０の生成に、アップスケール処理２４０の出力を使用することである。修正された第２チャネル２５０は、画像の高周波部分を有する。当該画像の高周波部分は、第１画像１６０には含まれていたはっきりした画像を除く、主としてテクスチャ部分である。第２画像２５０は、空間フィルタ処理１５０の出力、および画像アップスケール処理１２０からの出力（言い換えれば、時間フィルタ処理１４０への入力画像）のサブトラクションオペレーション１８０から算出する。

図３および図４を参照すると、初期段階で画像をアップスケール処理し、その後の工程を実行する場合、計算の複雑さが煩わしくなることがわかる。このケースでは、ノイズ抑制２００と、画像シャープニング処理１９０との出力の合成処理２１０後に、画像アップスケール処理１２０が実行される。このような方法の場合、動き推定１１０とフィルタ処理１４０、１５０、１９０、および２００を、より効率的に計算できる。

例えば、テクスチャの量およびタイプ、ノイズの量の推定、ノイズのタイプ、画像のカラー特性、および空間的特性といった他のモジュールに対して、エッジの特性や画像特性の他のタイプを、画像アップスケール処理１２０によって供給する。例えば、時間フィルタ処理１４０の修正といった他のモジュールへ、画像アップスケール処理１２０から得たエッジの特性を供給する。例えば、画像のエッジに目立つような特性がない場合、よりアグレッシブな時間フィルタ処理が適している。

動き推定１１０によって、動きの情報や画像特性の他のタイプを供給する。動き推定１１０から供給された動きの情報は、空間フィルタ処理１５０を修正するため等、他のモジュールへ供給される。例えば、動きが少ない場合、よりアグレッシブな空間フィルタ処理が適している。

一般的には、技術の任意のモジュールに基づいて、画像と関わりを持つ画像特性が決定されてもよいし、この情報が、処理を修正するために使用される他のモジュールに供給されてもよい。

図５は、図１における実施の形態の、画像の空間的解像度を上げるために使用されるシステムを示す。このシステムは、動画の複数のフレームを受信するための入力３００；上記受信した複数のフレームのうちの任意の少なくとも２つのフレームの一部間の動きを推定するための動き推定部３１０；上記動き推定部からの推定された上記動きに基づき、上記動画を動き補償時間フィルタ処理するための動き補償時間フィルタ３４０；実体のあるエッジとともに上記画像の低周波数の部分を上記画像の低周波の部分を上記フレームの第１のチャネル３６０に含めるように、動き補償時間フィルタ３４０からの上記動き補償されたフレームを空間フィルタ処理するための空間フィルタ３５０；上記フレームの第２のチャネル３７０は、上記画像の高周波数の部分を有する；上記フレームの第１チャネル３６０をシャープニング処理するためのシャープナー３９０；上記フレームの第２チャネル３７０のノイズを弱めるためのノイズ抑制部４００；上記動画の上記フレームのアップスケール処理を行うためのアップスケーラー３２０；上記シャープナーからの出力としてのシャープニング処理された第１チャネルと、上記ノイズ抑制部からの（ノイズが）弱まった第２チャネルとの合成４１０により修正されたフレームを出力するための出力４２０によって構成される。

動画フレームのアップスケール処理は、受信した動画フレームに基づいてもよいし、動き補償時間フィルタによって使用されてもよい。このケースでは、アップスケーラー３２０でアップスケール処理されたものと同じ解像度になるよう、動き検出機３１０でアップスケール処理する動きアップスケーラー３３０を使用してもよい。

このシステムでは、空間フィルタ３５０は、エッジ適用平滑化フィルタを用いてもよい。さらに、空間フィルタ３５０は、バイラテラル（bi-lateral）フィルタ、異方性拡散（anisotropic diffusion）フィルタ、適用平滑化（adapribe smoothing）フィルタ、およびシグマフィルタの何れかであってもよい。このシステムは、図２から図４までのあらゆる実施の形態に使用することができる。

前記の明細書中に使用された用語や表現は、説明するための用語として使用されており、これらに限定するわけではない。また、これらの用語や表現を使用するにあたり、説明していたり、記載している特性、および部分の相当語句を除外したり、発明の範囲を規定するものとしたり、以下に示す請求の範囲を限定する意図はない。

本発明は、動画の空間解像度を上げる方法、およびシステムに関する。

典型的な液晶ディスプレイの解像度は、標準テレビジョンと同様に、約７２０×４８０である。典型的な高解像度を有するディスプレイの対角の解像度は、４０９６×２１６０で、視聴距離が「２画面分の高さ未満」という点が特徴的である。解像度の低い動画を解像度の高いディスプレイに映し出すために、該解像度の低い画像に対してアップスケール処理を行う。近い距離で高解像度の大型ディスプレイを見ると、アップサンプルリングの結果、不自然なパターンを視認する傾向がある。加えて、元の動画コンテンツ中の情報が限られているため、このアップスケール処理によってノイズが生じる傾向にある。

アップスケール技術の１つとして、映し出される画像のエッジや輪郭の位置を特定し、そのエッジ付近のフィルタ処理過程を制御する、エッジ適用空間フィルタ処理を行うものがある。これらの技術によって、明確且つ自然に見えるエッジの輪郭を有する、アップサンプリングされた画像が生み出される。しかしながら、エッジ適用アップサンプリング技術には、テクスチャをぼかす傾向がある。エッジ適用技術には、エッジを分類した結果、「エッジの無い像」を「エッジ」と間違える可能性があるという他の問題点もある。この結果、オリジナルには無い間違った「エッジ」が一部に発生する。そして、その「エッジ」は簡単にエラーとして視認されやすい。

知覚された画質向上のために使用される画像修正技術の他の種類として、アンシャープマスクのような、シャープニング処理が挙げられる。アンシャープマスクは、オリジナルの画像にマスクで覆った部分をつくるために、ぼかしたポジを使用して、画像の外見上「鮮明な」部分を増加させる。その次に、アンシャープマスクは、結果として生じる画像がオリジナルに比べ、よりはっきりとしたという錯覚を伴うように、ネガと合成させる。一般的に、アンシャープマスクは画像の高周波数成分を増幅させる特徴がある。

知覚された画質向上のために使用される画像修正技術の他の種類として、ノイズを低減させる技術が挙げられる。ローパス平滑化フィルタを使用してノイズの低減を達成する。しかし、平滑化フィルタは画像をぼかす傾向があり、ぼかしを低減させるためには非線形のノイズリダクションフィルタがより好ましい。フィルタの他の種類としては、異方性を利用した拡散フィルタや中央値フィルタがある。

特開２００５‐１１７５４９号公報（２００５年４月２８日公開） 特開２００６‐２２９７４９号公報（２００６年８月３１日公開） 特開２００６‐２４６２００号公報（２００６年９月１４日公開） 特表２００９‐５２５６３９号公報（２００９年７月９日公表）

本願は、動画を修正する方法を提供するものである。この方法は、動画の複数のフレームを受信し；複数のフレームのうちの任意のフレームと、少なくとも１つの他のフレームとのそれぞれの一部間の動きを推定し；上記動き推定に基づき、上記動画の上記任意のフレーム中のノイズを低減するため、上記動画の上記任意のフレームを動き補償時間フィルタ処理し；第１チャネルは実体のあるエッジとともに上記任意のフレームの低周波数の部分を含み、第２チャネルは上記任意のフレームの高周波数の部分を含むように、上記動画の、上記動き補償時間フィルタ処理された上記任意のフレームを空間フィルタ処理し；上記任意のフレームの上記第１チャネルをシャープニング処理し；上記任意のフレームの上記第２チャネルのノイズを低減し；上記動画の上記フレームをアップスケール処理し；シャープニング処理された上記第１チャネルと、上記ノイズが低減された上記第２チャネルと、を合成することによって構成される。

また、動画を修正するこの方法は、システムに使用することができる。そのシステムは、上記動画の複数のフレームを受信するための入力と；上記複数のフレームのうちの任意のフレームと、少なくとも１つの他のフレームとのそれぞれの一部間での動きを推定するための動き推定部と；上記動き推定に基づき、上記任意のフレーム中のノイズを低減するために、上記動画の任意のフレームを動き補償時間フィルタ処理するための動き補償時間フィルタと；第１チャネルは実体のあるエッジとともに上記任意のフレームの低周波数の部分を含み、第２チャネルは上記任意のフレームの高周波数の部分を含むように、上記動画の、上記動き補償時間フィルタ処理された上記任意のフレームを空間フィルタ処理するための空間処理フィルタと；上記任意のフレームの上記第１チャネルをシャープニング処理のためのシャープナーと；上記任意のフレームの上記第２チャネルのノイズを低減するためのノイズ抑制部と；上記動画の上記フレームをアップスケール処理するためのアップスケーラーと；シャープニング処理された第１チャネルと、上記ノイズが低減された上記第２チャネルと、の合成を出力するための出力と、によって構成される。

前記の内容および、本発明の他の目的、特徴、および優れた点は、以下に示す記載によって十分分かるであろう。また、本発明の利点は、添付図面を参照した次の説明で明白になるであろう。

図１は、本発明の画像アップスケール処理技術を示すものである。 図２は、本発明の第２の画像アップスケール処理技術を示すものである。 図３は、本発明の第３の画像アップスケール処理技術を示すものである。 図４は、本発明の第４の画像アップスケール処理技術を示すものである。 図５は、本発明の画像アップスケール処理技術を使用するシステムを示すものである。

図１を参照して、画像の空間的解像度を上げる技術について説明する。動画の複数のフレームから構成される入力画像１００が、入力として受信される。例えば、解像度は一般にディスプレイ媒体のピクセル数で示される。すなわち、長さの単位当りのピクセル数（例えば、１インチ当たり４５ドット、１インチ当たり３００ドット）；スクリーンの高さ、あるいは幅当りのピクセル数；および／または、網膜における、角度範囲の度合い当たりのピクセル数で表現する。さらに、例えば、解像度を向上させるという事は、コンテンツ情報を増加させることである。また、解像度を向上させるということは、アップサンプリング（例えば、より間隔のつまったサンプリンググリッド）の結果として作成された新たに利用可能な高い空間周波数帯へ周波数成分を追加することとも言われる。アップサンプリングの結果として画像の解像度を向上させることは、入力画像から、実際の場面情報を決定する機能を向上させることである。

動画シーケンスの過程で、動画中の「鳥」等の異なる被写体は、その動画シーケンス範囲内で、ある場所から他の場所へと移動する傾向がある。動画シーケンスをアップスケールするに際して、システムは、動画シーケンスの時間的な動きを把握するために、動き推定１１０で動き推定処理を実行する必要がある。動き推定１１０では、アップサンプリングされた画像データの結果としての「間違った動き」を検出する可能性を減らすために、入力画像１００と同じ解像度で画像データの動きを推定する必要がある。これらを行うことによって、アップサンプリングされたデータにいくらかの誤りが含まれていても、データに「間違った動き」は反映されない。また、アップサンプリングされた画像データに対して動き推定を実行することに比べ、入力画像データに対して動き推定を実行する方が、計算の複雑さを低減させる。動き推定としては、例えばオプティカルフロー、ブロックマッチング、および周波数領域の解析といった適切な技術を使用できる。

動き推定１１０は、動画シーケンス過程で、現在のフレームのピクセルから、隣接したフレーム（あるいは、本質的には時間的な他のフレーム（or other frame,but temporal in nature ））のピクセルに関連する動きベクトルを決定する。ここで、ｉおよびｊによってピクセルの所在地の空間的座標を示し、ｔによって時間指数を示す、２つの二次元画像Ｉ（ｉ，ｊ，ｔ）のことを考える。例えば、現在のフレームＩ（ｉ，ｊ，ｔ）で、それぞれのピクセルに対して、動き推定がベクトルをｍ_{ｉ，ｊ，ｋ}＝［ｖ_{ｉ，ｊ，ｋ}，ｕ_{ｉ，ｊ，ｋ}］^Ｔと指定すると、ピクセルの位置（ｉ＋ｖ_{ｉ，ｊ，ｋ}，ｊ＋ｕ_{ｉ，ｊ，ｋ}，ｔ＋ｋ）と、ピクセルの位置（ｉ，ｊ，ｔ）との間の空間的移動を測定する。動きベクトルは、わずかなピクセルの移動で構成され、有効な解像度向上を達成することになる。

動画シーケンスの過程で、それぞれのフレーム、あるいは選択されたフレームに関しては、フレーム内（ｉｎｔｒａ−ｆｒａｍｅ）画像アップスケール処理１２０により、フレームがアップスケールされる。入力画像１００をアップスケール処理することで、後に続く他の画像処理工程で、アップスケール処理後のデータを扱うことが可能となる。この場合、後に続くフィルタ処理では、さらに、アップスケール処理後のデータの画質を向上させる。画像アップスケール処理１２０は、解像度の低い入力画像を解像度の高い出力画像へ変換させる特徴がある。例えば、バイキュービック、あるいは「Ｌａｎｃｚｏｓ」といった線形のアップスケール処理や、非線形技術が使用されてもよい。

画像アップスケール処理１２０の出力、および動き推定１１０の出力が、異なる解像度の場合、後に続く、画像アップスケール処理１２０の出力、および動き推定１１０の出力の合成処理に支障を来たす。後に続く合成処理を、より確実に実行可能とするため、動きアップスケール処理１３０では、動き推定１１０の出力が、画像アップスケール処理１２０の出力と同じ解像度となるように、動きアップスケール処理を行う。複数のフレームに渡り現れるノイズのように、動画に時間的ノイズが発生しやすい。時間的ノイズとは、本質的に、ある一時フレームに発生するノイズであり、一つのフレームで発生するノイズとは全く関連しない。例えば、時間的ノイズが発生する一つの原因は、合成した画像を感知する装置によって起こる熱ノイズである。動きアップスケール処理１３０（後述の動き補償時間フィルタ処理）、および画像アップスケール処理１２０の出力に基づき、時間フィルタ処理１４０では、動画の時間的ノイズを低減してもよい。時間フィルタ処理１４０の一例は、動き補償時間フィルタ処理（ＭＣＴＦ：motion compensated temporal filtering）技術である。動き補償時間フィルタ処理（ＭＣＴＦ）では、多重動画フレームに跨る推定された動き軌道に沿ってフィルタ処理が施される。

動き補償時間フィルタ処理（ＭＣＴＦ）の主な目的は、時間的ノイズを低減することであり、ノイズ低減によって考慮された動きとの時間的不一致を低減することになる。また、動き補償時間フィルタ処理（ＭＣＴＦ）が多重フレームの情報と調和することによって、有効なアップスケール処理の達成を促しえる。動き補償時間フィルタ処理（ＭＣＴＦ）は、わずかな精密なピクセルの動きベクトル［ｖ_{ｉ，ｊ，ｋ}，ｕ_{ｉ，ｊ，ｋ}］^Ｔを使用してもよいし、

となる、動き補償された輝度を得る為のサブピクセル補間を使用してもよい。動き推定が、（例えば、オクルージョンすることにより）誤差や誤りに左右されると、動き補償時間フィルタ処理（ＭＣＴＦ）後に「ぼけた動き」や他の「動きパターン」を引き起こすことがある。このような問題を低減させるために、時間フィルタの重みｆ_{ｉ，ｊ，ｋ}の設計を考慮し、動き推定モジュールの欠点に対し頑丈なものにしてもよい。動きベクトルの正しさの指標として、二つの動き配向のウィンドウ間で、差し換わったフレーム差の平均二乗誤差（ＭＳＥ：mean square error）を使用する例がある。このような平均二乗誤差（ＭＳＥ）は、機能を単調に減少させることで、フィルタの重みを変換する。指数の機能を使用する可能な実施例の一つでは、フィルタの重みを下記の通り算出する：

そして、ローカルウィンドウで平均二乗誤差（ＭＳＥ）を算出する。

アップスケール処理１２０でアップスケール処理され、時間フィルタ処理１４０を使用して動き補償された画像は、上記フィルタ処理の時間的特徴を得る。本質において、結果として生じる動画フレームは、アップスケール処理、動き補償を経ているため、後に続くフレーム内（ｉｎｔｒａ−ｆｒａｍｅ）フィルタ処理に適している。時間フィルタ処理１４０の後、結果として生じる動画のノイズは、画像の高周波数の部分に存在する傾向がある。フィルタ処理に基づくノイズ抑制は、ノイズを含む画像の高周波数の部分を弱める傾向がある。しかし、フィルタ処理に基づくノイズ抑制は、画像の価値あるテクスチャをも弱める傾向がある。また、画像シャープニング処理は、ノイズを含む画像の高周波数の部分を増幅させる傾向がある。画像シャープニング処理と、ノイズ抑制とを同時に実現するために、空間フィルタ処理１５０を使用することによって、時間フィルタ処理１４０からの出力画像は、一対の異なるチャネルに分かれるようにした方がよい。第１チャネル１６０は、画像の「はっきりしたエッジ（実体のあるエッジ）」とともに、画像の低周波数の部分を有する。本質において、第１チャネル１６０は、アニメ画像（a cartoon image）のように見え、主として画像のテクスチャのない部分である。第２チャネル１７０は、画像の高周波数の部分を有する。当該画像の高周波数の部分は、第１チャネル１６０に含まれている「はっきりした画像」がなく、主として画像のテクスチャとなる部分である。第２チャネル１７０は、空間フィルタ処理１５０の出力、および時間フィルタ処理１４０からの出力画像（言い換えれば、空間フィルタ処理１５０への入力画像）のサブトラクションオペレーション１８０から算出する。

空間フィルタ処理１５０は、精細なテクスチャやノイズから、強調された対象エッジを分離するために、シグナルに依存した処理を行う、エッジ適用平滑化フィルタリング処理である。例えば、上記システムには、バイラテラル（bi-lateral）、異方性拡散（anisotropic diffusion）、適用平滑化（adapribe smoothing）、あるいはシグマフィルタ処理技術を使用してもよい。一般的に、高周波数のアスペクトを取り除いている間に、エッジの特徴を保持する処理を実行してもよい（逆の場合も同じ）。

画像シャープニング処理１９０は、（はっきりとしたエッジのある）第１チャネル１６０の低周波数の部分に使用されてもよい。これにより、画像の顕著なはっきりとしたエッジははっきりし、また、画像の低周波数の部分は、はっきりしなくなる。画像の低周波数の部分には、顕著なノイズは含まれない傾向があるため、画像のノイズはそれ以上増加しない。例えば、アンシャープマスクを使用してもよい。

ノイズを弱めるためのノイズ抑制２００の技術は、画像の第２チャネル１７０の高周波数の部分に使用されてもよい。上記高周波数は、画像のノイズの多くを含む傾向があるため、ノイズ抑制２００により、上記ノイズは弱められる。例えば、画像のノイズおよびパターンを抑制するため、一般的な重み付け、あるいは空間変化型（sparially variant）重み付け技術が使用されてもよい。

アップスケール処理された出力画像２２０を供給するために、第１チャネル１６０を経てはっきりした画像と、第２チャネル１７０を経てノイズ抑制された画像とは合成される。時間的ノイズ、および「動き」に関する問題点を減らす処理が動画になされた後、空間フィルタ処理１５０、画像シャープニング処理１９０、およびノイズ抑制２００の全てを行うことがある。この工程によって、画像シャープニング処理１９０、およびノイズ抑制２００の過程で、時間的ノイズ、および「動き」が誤りを引き起こさないようにする。

また、画像の時間的ノイズを低減させている間、時間フィルタ処理１４０は、画像のいくつかの望ましいテクスチャを弱める傾向もある。加えて、空間フィルタ処理１５０とノイズ抑制２００との合成は、画像のノイズを低減させるが、しかし、画像の大部分の望ましいテクスチャをも弱める。それゆえに、画像処理のさまざまなアスペクト間で減少する望ましいテクスチャの量を、できるだけ少なくすることが望ましい。図２を参照すると、時間フィルタ処理１４０後のテクスチャ処理を減らす技術は、後のノイズ抑制２００のための第２チャネル２５０の生成に、アップスケール処理２４０の出力を使用することである。修正された第２チャネル２５０は、画像の高周波部分を有する。当該画像の高周波部分は、第１画像１６０には含まれていたはっきりした画像を除く、主としてテクスチャ部分である。第２画像２５０は、空間フィルタ処理１５０の出力、および画像アップスケール処理１２０からの出力（言い換えれば、時間フィルタ処理１４０への入力画像）のサブトラクションオペレーション１８０から算出する。

図３および図４を参照すると、初期段階で画像をアップスケール処理し、その後の工程を実行する場合、計算の複雑さが煩わしくなることがわかる。このケースでは、ノイズ抑制２００と、画像シャープニング処理１９０との出力の合成処理２１０後に、画像アップスケール処理１２０が実行される。このような方法の場合、動き推定１１０とフィルタ処理１４０、１５０、１９０、および２００を、より効率的に計算できる。

例えば、テクスチャの量およびタイプ、ノイズの量の推定、ノイズのタイプ、画像のカラー特性、および空間的特性といった他のモジュールに対して、エッジの特性や画像特性の他のタイプを、画像アップスケール処理１２０によって供給する。例えば、時間フィルタ処理１４０の修正といった他のモジュールへ、画像アップスケール処理１２０から得たエッジの特性を供給する。例えば、画像のエッジに目立つような特性がない場合、よりアグレッシブな時間フィルタ処理が適している。

動き推定１１０によって、動きの情報や画像特性の他のタイプを供給する。動き推定１１０から供給された動きの情報は、空間フィルタ処理１５０を修正するため等、他のモジュールへ供給される。例えば、動きが少ない場合、よりアグレッシブな空間フィルタ処理が適している。

一般的には、技術の任意のモジュールに基づいて、画像と関わりを持つ画像特性が決定されてもよいし、この情報が、処理を修正するために使用される他のモジュールに供給されてもよい。

図５は、図１における実施の形態の、画像の空間的解像度を上げるために使用されるシステムを示す。このシステムは、動画の複数のフレームを受信するための入力３００；上記受信した複数のフレームのうちの任意の少なくとも２つのフレームの一部間の動きを推定するための動き推定部３１０；上記動き推定部からの推定された上記動きに基づき、上記動画を動き補償時間フィルタ処理するための動き補償時間フィルタ３４０；実体のあるエッジとともに上記画像の低周波数の部分を上記画像の低周波の部分を上記フレームの第１のチャネル３６０に含めるように、動き補償時間フィルタ３４０からの上記動き補償されたフレームを空間フィルタ処理するための空間フィルタ３５０；上記フレームの第２のチャネル３７０は、上記画像の高周波数の部分を有する；上記フレームの第１チャネル３６０をシャープニング処理するためのシャープナー３９０；上記フレームの第２チャネル３７０のノイズを弱めるためのノイズ抑制部４００；上記動画の上記フレームのアップスケール処理を行うためのアップスケーラー３２０；上記シャープナーからの出力としてのシャープニング処理された第１チャネルと、上記ノイズ抑制部からの（ノイズが）弱まった第２チャネルとの合成４１０により修正されたフレームを出力するための出力４２０によって構成される。

動画フレームのアップスケール処理は、受信した動画フレームに基づいてもよいし、動き補償時間フィルタによって使用されてもよい。このケースでは、アップスケーラー３２０でアップスケール処理されたものと同じ解像度になるよう、動き検出機３１０でアップスケール処理する動きアップスケーラー３３０を使用してもよい。

このシステムでは、空間フィルタ３５０は、エッジ適用平滑化フィルタを用いてもよい。さらに、空間フィルタ３５０は、バイラテラル（bi-lateral）フィルタ、異方性拡散（anisotropic diffusion）フィルタ、適用平滑化（adapribe smoothing）フィルタ、およびシグマフィルタの何れかであってもよい。このシステムは、図２から図４までのあらゆる実施の形態に使用することができる。

前記の明細書中に使用された用語や表現は、説明するための用語として使用されており、これらに限定するわけではない。また、これらの用語や表現を使用するにあたり、説明していたり、記載している特性、および部分の相当語句を除外したり、発明の範囲を規定するものとしたり、以下に示す請求の範囲を限定する意図はない。

Claims (21)

1. 動画を修正する方法であって、
   （ａ）上記動画の複数のフレームを受信するステップと；
   （ｂ）上記複数のフレームのうちの任意のフレームと、少なくとも１つの他のフレームとのそれぞれの一部間での動きを推定するステップと；
   （ｃ）上記動き推定に基づき、上記任意のフレーム中のノイズを低減するために、上記動画の上記任意のフレームを動き補償時間フィルタ処理するステップと；
   （ｄ）第１チャネルは実体のあるエッジとともに上記任意のフレームの低周波数の部分を含み、第２チャネルは上記任意のフレームの高周波数の部分を含むように、上記動画の、上記動き補償時間フィルタ処理された上記任意のフレームを空間フィルタ処理するステップと；
   （ｅ）上記任意のフレームの上記第１チャネルをシャープニング処理するステップと；
   （ｆ）上記任意のフレームの上記第２チャネルのノイズを低減するステップと；
   （ｇ）上記動画の上記フレームをアップスケール処理するステップと；
   （ｈ）シャープニング処理された上記第１チャネルと、上記ノイズが低減された上記第２チャネルと、を合成するステップと、
   を有することを特徴とする動画を修正する方法。
2. 動画を修正する方法であって、
   （ａ）上記動画の複数のフレームを受信するステップと；
   （ｂ）上記複数のフレームのうちの任意のフレームと、少なくとも１つの他のフレームとのそれぞれの一部間での動きを推定するステップと；
   （ｃ）上記動き推定に基づき、上記任意のフレーム中のノイズを低減するために、上記動画の上記任意のフレームを動き補償時間フィルタ処理するステップと；
   （ｄ）第１チャネルは実体のあるエッジとともに主として上記任意のフレームのテクスチャのない部分を含み、第２チャネルは主として上記任意のフレームのテクスチャ部分を含むように、上記動画の、上記動き補償時間フィルタ処理された上記任意のフレームを、空間フィルタ処理するステップと；
   （ｅ）上記任意のフレームの上記第１チャネルをシャープニング処理するステップと；
   （ｆ）上記任意のフレームの上記第２チャネルのノイズを低減するステップと；
   （ｇ）上記動画の上記フレームをアップスケール処理するステップと；
   （ｈ）シャープニング処理された上記第１チャネルと、上記ノイズが低減された上記第２チャネルと、を合成するステップと、
   を有することを特徴とする動画を修正する方法。
3. 上記動き推定は、動きベクトルに基づいている、請求項１または２に記載の方法。
4. 上記動き推定は、オプティカルフロー、ブロックマッチング、および周波数領域解析のうち、少なくとも１つに基づいている、請求項１または２に記載の方法。
5. 上記動き推定は、上記動画と同じ解像度で実行される、請求項１または２に記載の方法。
6. 上記動きベクトルは、わずかなピクセルの移動を含む、請求項３に記載の方法。
7. 上記動画の上記任意のフレームの上記アップスケール処理は、上記動画の上記受信された上記フレームに基づいており、また、上記動き補償時間フィルタ処理に使用される、請求項１または２に記載の方法。
8. 上記動画の上記フレームの上記アップスケール処理は、上記第１チャネルと、上記第２チャネルとの合成に基づいている、請求項１または２に記載の方法。
9. 上記アップスケール処理は、フレーム内技術である、請求項７または８に記載の方法。
10. 動き推定は、上記アップスケール処理された上記動画の上記フレームと同じ解像度となるようスケール処理される、請求項７に記載の方法。
11. 上記動き補償時間フィルタ処理は、わずかなピクセルの移動を含む動きベクトルに基づいている、請求項１または２に記載の方法。
12. 上記空間フィルタ処理は、エッジ適用平滑化フィルタ技術である、請求項１または２に記載の方法。
13. 上記空間フィルタ処理は、バイラテラルフィルタ処理、異方性拡散フィルタ処理、適用平滑化フィルタ処理、およびシグマフィルタ処理技術のうちの少なくとも１つである、請求項１または２に記載の方法。
14. 上記シャープニング処理は、アンシャープマスクを使用する、請求項１または２に記載の方法。
15. 上記第２チャネルは、上記空間フィルタ処理の入力に基づいている、請求項１または２に記載の方法。
16. 上記第２チャネルは、上記動き補償時間フィルタ処理の入力に基づいている、請求項１または２に記載の方法。
17. 動画を修正するシステムであって、
    （ａ）上記動画の複数のフレームを受信するための入力と；
    （ｂ）上記複数のフレームのうちの任意のフレームと、少なくとも１つの他のフレームとのそれぞれの一部間での動きを推定するための動き推定部と；
    （ｃ）上記動き推定に基づき、上記任意のフレーム中のノイズを低減するために、上記動画の上記任意のフレームを動き補償時間フィルタ処理するための動き補償時間フィルタと；
    （ｄ）第１チャネルは実体のあるエッジとともに上記任意のフレームの低周波数の部分を含み、第２チャネルは上記任意のフレームの高周波数の部分を含むように、上記動画の、上記動き補償時間フィルタ処理された上記任意のフレームを空間フィルタ処理するための空間フィルタと；
    （ｅ）上記任意のフレームの上記第１チャネルをシャープニング処理するためのシャープナーと；
    （ｆ）上記任意のフレームの上記第２チャネルのノイズを低減するためのノイズ抑制部と；
    （ｇ）上記動画の上記フレームをアップスケール処理するためのアップスケーラーと；
    （ｈ）シャープニング処理された上記第１チャネルと、上記ノイズが低減された上記第２チャネルと、の合成を出力するための出力と、
    を有することを特徴とする動画を修正するシステム。
18. 上記動画の上記任意のフレームの上記アップスケール処理は、上記動画の上記受信された上記フレームに基づいており、また、上記動き補償時間フィルタに使用される、請求項１７に記載のシステム。
19. 上記アップスケール処理された上記動画の上記フレームと同じ解像度となるよう、上記動き推定をアップスケール処理するための動きアップスケーラーをさらに有する、請求項１８に記載のシステム。
20. 上記空間フィルタは、エッジ適用平滑化フィルタである、請求項１７に記載のシステム。
21. 空間フィルタは、バイラテラルフィルタ、異方性拡散フィルタ、適用平滑化フィルタ、およびシグマフィルタのうちの少なくとも１つである、請求項１７に記載のシステム。