JP2005513968A - 映像鮮明度の向上における一時的な整合性の改善 - Google Patents

Abstract

向上ゲインを備えた鮮明度向上アルゴリズムを用いて、少なくとも１つのフレームを表す向上した信号（210）の一時的な整合性を改善する方法とシステムが提供される。前記方法は、少なくとも１つのフレームを有する前記向上した信号（210）を受信するステップと、前記フレームがIフレーム形式、Pフレーム形式又はBフレーム形式であるかどうかを識別するステップと、前記鮮明度向上アルゴリズムで使用するためのゲインマップを計算することにより、Iフレーム形式用の更新された向上ゲイン（235）を定めるステップとを有する。各画素の前記更新された向上ゲインは、前記鮮明度向上アルゴリズムで使用するために以前に定められた向上ゲインと等しい。更に、前記方法は、前記更新された向上ゲインをゲインメモリに保存し、前記更新された向上ゲインを前記鮮明度向上アルゴリズムに適用して、前記向上した信号（210）の一時的な整合性を改善することを有する。

Description

本発明は、デジタル映像信号の品質を向上させるためのシステムと方法を対象にする。特に、本発明のシステムと方法は、鮮明度向上アルゴリズムの一時的な整合性を改善する。

セットトップボックスや、ハイエンドTV、デジタルTV、パーソナルTV、ストレージ製品、PDA、無線インターネット装置等のような、高品質のマルチメディア装置の発達は、多様な構成とその装置の新しい機能に対する更なるオープン性とを導いている。更に、その新しい製品の発達と、何らかのフォーマットで映像データを表示する機能とは、映像処理と映像向上アルゴリズムに関する新しい要求と機会を結果として生じた。

MPEG（動画専門グループ）映像圧縮は、多数の現在の及び新たな製品で使用されている。MPEGは、デジタルテレビのセットトップボックス、DSS、HDTVデコーダ、DVDプレイヤ、テレビ会議、インターネットビデオ、及び他のアプリケーションの中心にある。前記アプリケーションは、アーカイブされた映像情報のためのより少ないストレージ空間、一点から他方への映像情報の送信のためのより小さい帯域、又はその双方の組み合わせを必要とすることにより、映像圧縮から恩恵を受ける。ほとんどの前記装置は、MPEG-2フォーマットで映像を受信し、及び／又は保存する。将来は、それはMPEG-4フォーマットで映像を受信し、及び／又は保存するかもしれない。そのMPEGソースの画質は、大きく変化し得る。

人間の視覚システムへの調査は、目が輝度の変化により敏感であり、クロミナンスの変化により敏感でないことを示した。MPEGは、輝度とクロミナンス情報に対する目の異なる感受性を効果的に利用する色空間で動作する。従って、MPEGは、RGBの代わりにデータ値を表すために、YCbCr色空間を使用する。ここで、Yは輝度要素であり、実験的にY=0.299R+0.587G+0.114Bと決められ、Cbは青の色差要素であって、Cb=B-Yであり、Crは赤の色差要素であって、Cr=R-Yである。

MPEG映像は、エラー処理と、ランダム検索及び編集と、例えば音声ビットストリームとの同期とに役立つレイヤ階層に構成される。第１のレイヤ又は最上位レイヤは、映像シーケンスレイヤとして知られ、何らかの自己完結型ビットストリーム、例えば符号化された映画、広告又はマンガである。

第１のレイヤの下の第２のレイヤは、１つ以上のフレーム内（I）画像及び／又は非フレーム内（P及び／又はB）画像で構成される画像グループ（GOP）である。Iフレームは完全にフレーム内圧縮されている。その目的は、映像にランダムなアクセスポイントを提供するためである。Pフレームは動き補償された順方向予測符号化フレームである。それはフレーム間圧縮され、一般的にIフレームより大きい圧縮を提供する。Bフレームは動き補償された双方向予測符号化フレームである。それはフレーム間圧縮され、一般的に最大の圧縮を提供する。

第２のレイヤの下の第３のレイヤは、画像レイヤ自体である。第３のレイヤの下の第４のレイヤは、スライスレイヤと呼ばれている。それぞれのスライスは、ラスタ順序のマクロブロックの連続的なシーケンスであり、ほとんどの場合、一般的な映像アプリケーションの行の基礎である。スライス構造は、エラーが存在するところでデコードすることを可能にすることを目的とする。それぞれのスライスはマクロブロックで構成され、前記マクロブロックは16×16の配列の輝度画素、又は（フォーマットに応じて）２つの8×8の配列の関連するクロミナンス画素を備えた画像データ要素である。マクロブロックは、変換符号化のような更なる処理のため、別個の8×8ブロックに更に分割され得る。マクロブロックは、YCbCr色空間を参照すると、いくつかの異なる方法で表され得る。4:4:4と4:2:2と4:2:0の映像として、一般的に使用される３つのフォーマットが知られている。4:2:2は、YCbCr映像の全帯域幅である4:4:4の半分のクロミナンス情報を有し、4:2:0は、４分の１のクロミナンス情報を有する。輝度とクロミナンスの表示の効果的な方法のため、4:2:0表示は、12ブロック／マクロブロックから6ブロック／マクロブロックに迅速なデータの削減を可能にする。

Iフレームは、MPEGが最大の圧縮効率を引き出すPフレームとBフレームに比較して中程度の圧縮のみを提供する。一時的な冗長を利用した動き補償に基づく予測と呼ばれる技術を通じて、前記効率が達成される。フレームは密接に関係しているため、現在の画像は、以前の時間の画像の変形としてモデル化され得る。次に、以前のフレームのデータに基づいて、１つのフレームのデータを正確に予測することが可能である。Pフレームにおいて、それぞれの16×16の大きさのマクロブロックは、以前に符号化されたI又はP画像のマクロブロックから予測される。フレームは移動物の時間のスナップショットであるため、２つのフレームのマクロブロックは同じ空間的位置に対応しない場合がある。エンコーダは、現在のマクロブロックに含まれる情報に近接して適合する他のマクロブロックの位置を求めて、半分の画素の増加の以前のフレーム（Pフレーム、又はBフレームの前後のフレーム）を検索する。参照マクロブロックからの最も適合したマクロブロックの水平及び垂直方向の変位は、動きベクトルと呼ばれる。現在のブロックと適合したブロックとの差分及び動きベクトルが符号化される。動きベクトルはまた、欠落したデータの場合の動き予測に使用されることができ、高機能のデコーダのアルゴリズムは、誤り補正にそのベクトルを使用することができる。Bフレームについて、動き補償に基づく予測と補間は、各フレームのいずれかの側面に存在する参照フレームを使用して実行される。

青色レーザーに基づくデジタルビデオレコーダ（DVR）のような次世代のストレージ装置は、ある程度のHD（高解像度）（ATSC）機能を有しており、新しい画質向上方法が有利である形式の装置の例である。HD番組は、一般的に20Mb/sで放送され、MPEG-2映像規格に従って符号化される。約25Gbのストレージ容量のDVRを考慮すると、それはディスク当たりHD映像の約2時間の録音時間を表す。録音時間を増加させるために、長時間再生（LP）モードや拡張長時間再生（ELP）モードのようないくつかの長時間再生モードが定められ得る。

LPモードの場合、平均の保存ビットレートは、HDの２倍の録音時間を可能にする約10Mb/sと仮定される。従って、20Mb/sの放送ビットレートを10Mb/sの保存ビットレートに減少させる符号変換が、映像処理回路の不可欠な部分である。MPEG-2の符号変換の間に、映像の画像品質（例えば鮮明度）が、多くの場合に減少する。しかし、特にLPモードについては、画像品質はそれほど落ちるべきではない。従って、LPモードについては、後処理が認知される画像品質を改善するのに重要な役割を果たす。

現在まで、ほとんどの最新の鮮明度向上アルゴリズムは、NTSC（National Television System Committee）やPAL（Phase Alternation Line）やSECAM（Sequential Couleur A Memorire）のようなアナログ映像送信規格用に開発され、最適化されてきた。もともとは、画像向上アルゴリズムは、画像の特定の不要な形状を減少させ（例えばノイズ削減）、又は画像の特定の望ましい特徴を改善する（例えば鮮明度向上）。前記の新生のストレージ装置の場合、その情報源の違いにより、従来の鮮明度向上アルゴリズムはMPEG符号化され又は符号変換された映像であまり好ましく実行しないことがある。

画像品質は、相変わらずハイエンドの映像製品の特徴的な要因であるため、画像向上を実行するための特に前記情報源での使用に適した新しい方法が有利である。C-J TsaiとP. KraunaratneとN.P. GalatsanosとA.K. KatsaggelosによるICIP’99のIEEE会報の“圧縮映像向上アルゴリズム（A Compressed Video Enhancement Algorithm）”日本の神戸、1999年10月25-28日において、著者は低ビットレートで符号化された映像シーケンスを向上するための反復アルゴリズムを提案する。MPEGの情報源の場合、画像品質の劣化は、大部分は量子化機能から生じる。従って、著者により使用される反復グラディエント計画アルゴリズムは、量子化ステップの大きさや、マクロブロック形式や、コスト関数における順方向動きベクトルのような符号化情報を使用する。前記アルゴリズムは低ビットレートの映像に有望な結果を示すが、前記方法は、大きい計算上の複雑性によって特徴付けられる。

B. MartinsとS. ForchammerによるIBC’2000会報、109-115ページの“MPEG-2符号化映像の向上したデコード（Improved Decoding of MPEG-2 Coded Video）”オランダのアムステルダム、2000年9月7-12日において、著者はMPEG-2符号化映像のデコードを改善するための新しい概念を説明している。特に、デコード処理に統合されたインターレース解除とフォーマット変換の統一した方法が提案される。前記技術は、通常のデコードで得られたものより有意に高い画像品質を生じる。しかし、現在まで計算上の複雑性が消費者装置へのその実装を妨げている。

双方の文献は、MPEG符号化情報とコスト関数を用いた映像向上アルゴリズムを説明する。しかし、そのシナリオの双方が非実用的であることに加えて、向上関数とコスト関数を組み合わせる。コスト関数は、画像にどのくらい及びどの位置に向上が適用され得るかを定める。コスト関数と向上関数のその組み合わせから生じる問題は、１つのみのアルゴリズムがコスト関数で使用され得ることである。

本発明の目的と利点が本発明の実施により教示されると共に、以下の説明に示され、それから明らかになる。本発明の更なる利点が、記載された説明と特許請求の範囲と添付の図面に特に指摘された方法とシステムによって理解され、達成される。

従って、鮮明度向上アルゴリズムにおける映像信号の一時的な整合性を改善するシステムと方法を提供することが、本発明の目的である。本発明は独立請求項によって定められる。従属請求項は有利な実施例を定める。

具体化されて広く説明された本発明の目的に従って前記及び他の利点を達成するために、本発明は、向上ゲインを備えた鮮明度向上アルゴリズムを用いて、少なくとも１つのフレームを表す向上した信号の一時的な整合性を改善する方法を有する。前記方法は、少なくとも１つのフレームを有する前記向上した信号を受信するステップと、前記フレームの画素毎に前記鮮明度向上アルゴリズムに関連する向上ゲインを得るステップと、前記フレームの画素毎の前記向上ゲインのための更新された向上ゲインを定めるステップとを有する。前記方法は、ゲインメモリに前記更新された向上ゲインを保存するステップと、前記更新された向上ゲインを前記鮮明度向上アルゴリズムに適用して、前記向上した信号の一時的な整合性を改善するステップとを更に有する。

前記システムは、映像信号をフィルタリングして高域信号を生成するフィルタと、本発明の前記方法を通じて生成された更新された向上ゲインにより前記高域信号を増加させ、ゲイン制御された信号を生成するための乗算器と、前記映像信号を前記ゲイン制御された信号と加算するための加算器とを有し、前記加算器は、向上した一時的に整合性のある映像信号を生成する。

当然ながら、前述の一般的な説明と以下の詳細な説明は例示的であり、特許請求の範囲の発明の更なる説明を提供することを目的とする。

この明細書に組み込まれ、その構成部分である添付の図面は、本発明の方法とシステムの更なる理解を説明して提供するために含まれている。その説明とともに、図面は本発明の原理を説明する役割をする。

次に、本発明のこの好ましい実施例について詳細に参照され、その例が添付の図面に示されている。本発明の方法と対応するステップが、前記システムの詳細な説明とともに説明される。

以下に検討される図１から３と、本発明のシステム及び方法の原理を説明する多様な実施例とは、例証としてのみであり、多少なりとも本発明の範囲を限定して解釈されるべきではない。本発明のシステムと方法は、デジタルテレビセットの符号化デジタル映像信号の画像品質を向上するシステムと方法として説明される。本発明のシステムと方法はデジタルテレビセットに限定されないことを認知することが重要である。当業者は、本発明の原理が、限定的ではないが、テレビ受信機、セットトップボックス、ストレージ装置、コンピュータ映像表示システム、及びデジタル映像信号を利用又は処理する何らかの形式の電子装置を含む、何らかの形式のデジタル映像システムにもうまく適用され得ることを容易に理解するだろう。“デジタル映像システム”という用語は、現在又は将来利用可能な前記の及び他の類似の形式の装置を参照するために使用される。以下の説明において、デジタルテレビセットがデジタル映像システムの１つの代表的な実例として使用される。

図１は、本発明の装置と方法を利用するデジタルテレビセット100のブロック図である。デジタルテレビセット100は、テレビ受信機110と表示ユニット115とを有する。表示ユニット115は、陰極線管若しくはフラットパネル・ディスプレイ又はビデオ画像を表示するための何らかの形式の装置であることがある。テレビ受信機110は、テレビ信号を受信するためのアンテナ105を有する。アンテナ105はチューナー120に結合される。チューナー120は中間周波数（“IF”）プロセッサ125に結合される。ここで具体化される通り、IFプロセッサ125はデコーダ130に結合される。本発明はMPEGデコーダを表すが、本発明はMPEG形式の符号化／デコードに限定されない。本発明の他の実施例によると、例えばJPEG（静止画像圧縮規格）やMPEG-1,2,4（デジタル映像規格）やH.261やH.263（テレビ会議規格）や他のもののような、何らかのブロックに基づく圧縮方法が利用され得る。前記の規格において、２次元（2D）DCT（離散コサイン変換）が圧縮される画像の8×8ブロックの画素に適用される。

その他、本発明の他の実施例によると、IFプロセッサから受信された映像信号は符号化される必要がなく、それ故にMPEGデコーダは必要ない。

MPEGデコーダ130の出力は、後処理回路135に結合される。後処理回路135は適応ピーキングユニット140を有することがある。適応ピーキングユニット140は、後処理回路135内の適切な位置に配置されることがある。後処理回路135の出力は表示ユニット115に入力される。

ここで具体化される通り、適応ピーキングユニット140はMPEGデコーダ130から受信された映像信号を処理する。適応ピーキングユニット140は、鮮明度向上アルゴリズムのような適応ピーキング処理で使用するためのゲイン値を生成する。本発明のシステムと方法が適応ピーキングに限定されないことがわかる。本発明は、１つ以上の形式の映像向上アルゴリズムで使用されることがある。

適応ピーキングユニット140の出力は、適応ピーキングユニット140がMPEGデコーダ130から受信した映像信号用の向上した輝度信号である。適応ピーキングユニット140により定められた輝度信号は、先行技術の適応ピーキングユニットで提供されるものより正確であり、視覚的に明確で一時的に整合性のあるビデオ画像を提供する。適応ピーキングユニット140は、後処理回路135内で向上した輝度信号を他の回路に転送する。後処理回路135は、向上した起動信号を利用して映像信号の品質を向上することが可能である。

後処理回路135は、いくつかの異なる形式の映像信号処理を実行することが可能である。例えば、いくつかの映像信号処理アプリケーションには、(a)ノイズレベル適応可能ノイズ削減アルゴリズムと、(b)ノイズレベル適応可能鮮明度向上と、(c)ノイズレベル適応可能輝度・クロミナンス分離と、(d)ノイズレベル適応可能動き検出と、(e)ノイズレベル適応可能動き予測及び補償と、(f)ノイズレベル適応可能アップコンバートと、(g)ノイズレベル適応可能特徴向上と、(h)ノイズレベル適応可能オブジェクトに基づくアルゴリズムとが含まれる。

図２は、本発明の１つの有利な実施例による適応ピーキングユニット140のシステムと方法を示したものである。図２は、本発明の方法に従って計算されたゲインが、どのように鮮明度向上のための適応ピーキングアルゴリズムに適用され得るかを示している。適応ピーキングアルゴリズムは、入力輝度信号210の一時的な大きさを増加することを対象とする。

前述のシステムは、鮮明度向上のために適応ピーキングアルゴリズムを使用する。その他、本発明に採用された鮮明度向上アルゴリズムは、例えば空間ドメインのアルゴリズム、その他既知のアルゴリズム技術であることがある。

本発明は、鮮明度向上アルゴリズムで使用される向上ゲインを計算するために、映像信号の動き情報を考慮に入れる。動きベクトルは、向上される映像の一時的な特徴についての情報を得るために使用される。MPEGビットストリームに存在する動きベクトル、又は他の動き予測方法からの動きベクトルも同様に使用され得る。

図２に示される適応ピーキング鮮明度向上アルゴリズムは、一般的には高域フィルタ（HPF）であるピーキングフィルタ220を最初に通過する入力輝度信号210を示している。次に、高域フィルタが行われた信号は、許容量のピーキングを示す向上ゲインで乗算される。

図２はまた、本発明による映像信号の整合性を改善するためのシステムを示したものである。前記システムは、入力映像信号210をフィルタリングするための高域フィルタ220と、高域フィルタが行われた信号を本発明の何らかの方法を通じて定められた更新された向上ゲイン235で乗算するための乗算器230とを有する。乗算はゲイン制御された信号245を作る。前記システムは、入力映像信号210をゲインコントロールされた信号245に加え、入力信号に比較して鮮明度を向上する出力映像信号250を作るための加算器240を更に有する。更に、向上した出力信号の一時的な整合性は、先行技術の鮮明度向上アルゴリズムで生成された出力信号に関して改善される。

本発明の好ましい実施例によると、向上ゲインを備えた鮮明度向上アルゴリズムを用いて、少なくとも１つのフレームを表す向上した信号の一時的な整合性を改善する方法が提供される。前記方法は、少なくとも１つのフレームを有する向上した信号を受信するステップと、フレームの画素毎に鮮明度向上アルゴリズムに関連する向上ゲインを得るステップと、フレームの画素毎の向上ゲインのための更新された向上ゲインを定めるステップとを有する。

本発明の好ましい実施例によると、フレーム内の画素の更新された向上ゲインは、以下の等式に従って計算される。

gain_update=α*gainSEA+(1-α)*gainREF 等式(1)
ここで、gain_updateは鮮明度向上アルゴリズムで使用する更新された向上ゲインであり、gainSEAは前記鮮明度向上アルゴリズムで以前に定められた向上ゲインであり、gainREFは参照フレームの動きベクトルで示された参照画素のゲイン値であり、αは0と1の間の範囲の係数である（0≦α≦1）。

等式１は、２つの値、すなわち鮮明度向上アルゴリズム用に当該の特定のフレーム内の同じ画素で以前に計算され、その他それに関連付けられた元のゲイン（gainSEA）と、動きベクトルが計算された参照フレーム内の画素のゲイン値（gain_REF）とを考慮に入れる。アルファ（α）が0である場合、gain_updateはgainREFに等しくなり、アルファ（α）が1である場合、gain_updateはgainSEAに等しくなる。gainSEAは、先行技術の鮮明度向上アルゴリズムで一般的に使用される画素の向上ゲインであり、すなわち、それは本発明の好ましい実施例に従って改善されるべきゲインである。

本発明の好ましい実施例によると、前記方法は、ゲインメモリに前記更新された向上ゲインを保存するステップと、前記更新された向上ゲインを鮮明度向上アルゴリズムに適用して、向上した信号の一時的な整合性を改善するステップとを更に有する。

何らかの所定の画素のゲインにおける突然のフレーム間の変化は、望ましくない一時的な矛盾した鮮明度の向上を生じ得る。そのような変化はまた、モスキートノイズ（mosquito noise）のような一時的に可視的な迷惑な加工物を強め得る。

この影響を改善するために、本発明の更なる態様によると、ゲインマップで動き適応可能な一時的な無限インパルス応答（IIR）フィルタを使用することにより、鮮明度向上アルゴリズムの映像信号の一時的な整合性が改善され得る。好ましい実施例において、１つの可能なIIRフィルタは、以下の等式に従って定められ得る。

gain_final=K*gainSEA+(1-K)*gain_prev 等式(2)
ここで、gain_finalは鮮明度向上アルゴリズムで使用する改善された向上ゲインであり、gainSEAは鮮明度向上アルゴリズムで以前に定められた向上ゲインであり、gain_prevは以前のフレームの同じ位置の画素のゲイン値であり、Kは全体の動きの評価に基づいて計算された係数である。

全体の動きは、以下のように評価される。まず、現在のフレームと以前のフレームとの差分の絶対値が画素毎に計算される。次に、前記絶対値が固定の所定の閾値と比較される。次に、前記閾値より大きい絶対値の数が計算される。その結果、全体の動きが次の等式に従って定められる。

motion_global=count_over/count_num 等式(3)
ここで、count_numは計算された差分の数であり、count_overは所定の閾値より大きい絶対値の数であり、motion_globalは等式２で使用されるKの係数である。本発明の好ましい実施例によると、計算上の複雑さを軽減するために、現在のフレームと以前のフレームとの画素毎の差分が、フレームの４ライン毎に、又はその他の望ましい数のラインで計算され得る。

本発明の他の態様によると、IIRフィルタは、映像信号に別々に適用されることとは対照的に、等式１による向上ゲインの方法と共に適用され得る。

本発明の更なる態様によると、向上ゲインは、MPEG符号化シーケンスのIフレームやPフレームやBフレームのような異なる形式の画像の差分で計算される。I（又はフレーム内符号化）フレームは、シーケンスの他のフレームを参照することなく単一のフレームを圧縮するためにのみ、DCT符号化を使用する。P（又は予測）フレームは、最後のIフレーム又はPフレームからの差分として符号化される。新しいPフレームは、最後のIフレーム又はPフレームを受け取り、それぞれの新しい画素の値を予測することによって最初に予測される。結果として、Pフレームは一般的にIフレームよりよい圧縮率を提供する。B（又は双方向）フレームは、最後若しくは次のIフレーム又はPフレームからの差分として符号化される。BフレームはPフレームに似た予測を使用するが、ブロック毎に以前のIフレーム若しくはPフレームが使用され、及び／又は、次のIフレーム若しくはPフレームが使用される。PフレームとBフレームとの双方は、動き予測とDCT符号化とを使用するが、Bフレームは、マクロブロック毎に以前のフレーム又は次のフレームのいずれかが比較に取り入れられるかを選択することが可能であるため、一般的にPフレームに比較して改善された圧縮を有する。

限定のためではなく例示の目的で、図３は本発明の更に組み合わされた態様を示す。

例えば、その実施例として、前記方法は、フレームがIフレームであるかどうかを識別するステップ（315）と、鮮明度向上アルゴリズムで使用するためのゲインマップを計算するステップ（320）とを有することがあり、フレームがIフレーム形式である場合、各画素の更新された向上ゲインは、鮮明度向上アルゴリズムで使用するために以前に定められた向上ゲインと等しい。

同様に、ここで更に具体化される通り、前記方法は、フレームがPフレーム又はBフレーム形式であるかどうかを識別するステップ（340）と、動きベクトルを用いてゲインメモリ（325）から参照フレームにおける各画素の向上ゲイン値を検索するステップ（335）と、等式１に従って更新された向上ゲインを計算するステップとを有する。

映像信号をデコードした後に、一式のIフレーム、Pフレーム及びBフレームの代表値が受け取られ、現在の入力映像フレーム（305）と以前の映像フレーム（300）に基づいて、等式３に従って全体の動きが評価される（310）。全体の動きの評価の結果は、動き適応可能なIIRフィルタ（330）に適用される。全体の動きの評価と並行して、フレーム形式に基づいて入力映像フレームの更新された向上ゲインが計算される。入力映像フレームがIフレームである場合、フレームのゲインマップ（フレームの各ピクセルのゲイン）が先行技術に従って計算され、ゲインメモリ（325）に保存される。フレーム内の各画素のゲイン計算は、当業者に周知である。入力映像フレームがPフレーム又はBフレームである場合、そのフレームの更新された向上ゲイン値は等式１を使用して計算され、メモリに保存される。等式１は参照フレームと以前のフレームのゲイン値を使用するため、必要なゲイン値はゲインメモリから検索される。その他、等式１を使用する代わりに、入力フレームがBフレームである場合には、（ゲインメモリからゲイン値を検索することによって）以前の参照フレームのゲインマップを単にコピー（345）し、その値をゲインメモリに保存することにより、更新された向上ゲイン値が計算され得る。ブロック内（Iフレーム）の場合、使用される動きベクトルはゼロ（0）であるが、Bフレームの場合には、前述の通り、以前の参照フレームのゲインマップが使用され得る。本発明の１つの態様によると、更新された向上ゲインを計算する同じ方法がBフレームとPフレームに使用され得る。

フレーム毎に更新された向上ゲインを計算することに続いて、前述の通り、前述の一時的に適応可能なIIRフィルタ（330）を適用し、それによって更新された向上ゲインを更に変更することで、映像信号が更に改善され得る。最後に改善されたゲイン値がゲインメモリに保存される。

元の向上ゲイン（gainSEA）の決定は技術的に周知であり、当業者はゲインを計算する特有の公式を設計することができる。本発明は、その元の向上ゲインを変更し、一時的に整合性のある鮮明度向上を達成するために使用され得る。

本発明はまた、高解像度（HD）機能を有し、長時間再生（LP）モードを可能にする映像ストレージアプリケーションに存在するような、高解像度（HD）及び標準解像度（SD）シーケンスに適用され得る。大部分のそのような映像シーケンスは、放送MPEG-2ビットストリームから更に低い保存ビットレートに符号変換される。前記アプリケーションの長時間再生（LP）モードの場合、フォーマット変換もまた、符号変換中に行われ得る。標準解像度（SD）又は高解像度（HD）の映像シーケンスは、本発明による鮮明度向上アルゴリズムで符号化され、デコードされ、処理されて、優れた映像品質を提供する。

図２に示される通り、鮮明度向上アルゴリズムの結果は以下になる。

out_pixel=input_pixel+mpeg_gain*convolution_result 等式(4)
ここで、out_pixelは画素に使用される最終的な輝度値であり、input_pixelは入力画素の輝度値であり、mpeg_gainは何らかの前記方法を通じて計算された向上ゲイン（すなわち更新された向上ゲイン又は改善された向上ゲインのいずれか）であり、convolution_resultは高域フィルタの出力である。

本発明の方法とシステムは、前述の通り及び図面に示されている通り、鮮明度向上アルゴリズムを利用することにより、デジタル映像信号の品質を向上する改善された方法を提供する。特に、鮮明度向上アルゴリズムにおける一時的な整合性が達成される。

本発明を逸脱することなく、本発明の方法とシステムにおいて多用な変更形態と変形形態が行われ得ることが当業者に明らかである。従って、本発明は、特許請求の範囲とその同等の範囲にある変更形態と変形形態とを有することを意図する。

本発明のシステムと方法を有する例示的なデジタルテレビセットのブロック図である。 本発明に従って使用される鮮明度向上アルゴリズムを示すブロック図である。 本発明の動作方法の有利な実施例を示したフローチャートである。

Claims (13)

1. 向上ゲインを備えた鮮明度向上アルゴリズムを用いて、少なくとも１つのフレームを表す向上した信号の一時的な整合性を改善する方法であって、
   少なくとも１つのフレームを有する前記向上した信号を受信するステップと、
   前記フレームの画素毎に前記鮮明度向上アルゴリズムに関連する向上ゲインを得るステップと、
   前記フレームの画素毎の前記向上ゲインのための更新された向上ゲインを定めるステップと、
   ゲインメモリに前記更新された向上ゲインを保存するステップと、
   前記更新された向上ゲインを前記鮮明度向上アルゴリズムに適用して、前記向上した信号の一時的な整合性を改善するステップと
   を有する方法。
2. 請求項１に記載の方法であって、
   前記フレームがIフレームであるかどうかを識別するステップを更に有し、
   前記定めるステップが、前記鮮明度向上アルゴリズムで使用するためのゲインマップを計算するステップを有し、
   前記フレームがIフレーム形式である場合、各画素の前記更新された向上ゲインが、前記鮮明度向上アルゴリズムで使用するために以前に得られた前記向上ゲインと等しい方法。
3. 請求項１に記載の方法であって、
   前記フレームがPフレーム形式又はBフレーム形式であるかどうかを識別するステップと、
   前記フレームがPフレーム形式又はBフレーム形式である場合に、
   動きベクトルに基づいて前記ゲインメモリの参照フレームから各画素の向上ゲイン値を検索するステップと
   を更に有し、
   前記定めるステップが、次の等式：
   gain_update=α*gainSEA+(1-α)*gainREF
   に従って更新された向上ゲインを計算することを有し、
   gain_updateが前記鮮明度向上アルゴリズムで使用する前記更新された向上ゲインであり、gainSEAが前記鮮明度向上アルゴリズムで以前に定められた前記向上ゲインであり、gainREFが前記参照フレームの動きベクトルで示された参照画素の前記向上ゲイン値であり、αが0と1の間の範囲の係数である方法。
4. 請求項１に記載の方法であって、
   前記フレームがBフレームであるかどうかを識別するステップを更に有し、
   前記定めるステップが、前記鮮明度向上アルゴリズムで使用するためのゲインマップを計算するステップを有し、
   前記フレームがBフレーム形式である場合、各画素の前記更新された向上ゲインが、以前の参照フレームからの前記向上ゲインと等しい方法。
5. 請求項１に記載の方法であって、
   前記ゲインメモリに保存された前記更新された向上ゲインで動き適応可能な一時的なIIRフィルタを適用することにより、フレームの画素の改善された向上ゲインを計算するステップであって、
   前記改善された向上ゲインが以下の等式：
   gain_final=K*gain_update+(1-K)*gain_prev
   で定められ、
   gain_finalが前記鮮明度向上アルゴリズムで使用する前記改善された向上ゲインであり、gain_updateが前記ゲインメモリに以前に保存された前記更新された向上ゲインであり、gain_prevが前記以前のフレームの同じ位置の画素の前記向上ゲインであり、Kが全体の動きの評価に基づいて計算された係数であるステップと、
   前記改善された向上ゲインをゲインメモリに保存するステップと
   を更に有する方法。
6. 請求項５に記載の方法であって、
   前記Kの係数を定めるためのフレームの前記全体の動きの評価が、
   現在のフレームと以前のフレームとの差分の絶対値を画素毎に計算するステップと、
   前記絶対値を所定の閾値と比較するステップと、
   前記閾値より大きい絶対値の数を数えるステップと、
   次の等式：
   motion_global=count_over/count_num
   に基づいて全体の動きを評価するステップと
   を有し、
   motion_globalが前記Kの係数として使用され、count_overが前記閾値より大きい絶対値の数であり、count_numが計算された差分の総数である方法。
7. 向上ゲインを備えた鮮明度向上アルゴリズムを用いて、少なくとも１つのフレームを表す向上した信号の一時的な整合性を改善する方法であって、
   少なくとも１つのフレームを有する前記向上した信号を受信するステップと、
   前記フレームの画素毎に前記鮮明度向上アルゴリズムに関連する向上ゲインを得るステップと、
   前記向上ゲインで動き適応可能な一時的なIIRフィルタを適用することにより、フレームの画素の改善された向上ゲインを計算するステップであって、
   前記改善された向上ゲインが以下の等式：
   gain_final=K*gain_SEA +(1-K)*gain_prev
   で定められ、
   gain_finalが前記鮮明度向上アルゴリズムで使用する前記改善された向上ゲインであり、gain_SEAが前記鮮明度向上アルゴリズムで以前に定められた前記向上ゲインであり、gain_prevが前記以前のフレームの同じ位置の画素の向上ゲインであり、Kが全体の動きの評価に基づいて計算された係数であるステップと、
   前記改善された向上ゲインをゲインメモリに保存するステップと、
   前記改善された向上ゲインを前記鮮明度向上アルゴリズムに適用して、前記向上した信号の一時的な整合性を改善するステップと
   を有する方法。
8. 請求項７に記載の方法であって、
   前記Kの係数を定めるためのフレームの前記全体の動きの評価が、
   現在のフレームと以前のフレームとの差分の絶対値を画素毎に計算するステップと、
   前記絶対値を所定の閾値と比較するステップと、
   前記閾値より大きい絶対値の数を数えるステップと、
   次の等式：
   motion_global=count_over/count_num
   に基づいて全体の動きを評価するステップと
   を有し、
   motion_globalが前記Kの係数として使用され、count_overが前記閾値より大きい絶対値の数であり、count_numが計算された差分の総数である方法。
9. 向上ゲインを備えた鮮明度向上アルゴリズムを用いて、少なくとも１つのフレームを表す向上した信号の一時的な整合性を改善するシステムであって、
   少なくとも１つのフレームを有する前記向上した信号を受信するための手段と、
   前記フレームの画素毎に前記鮮明度向上アルゴリズムに関連する向上ゲインを得るための手段と、
   前記向上ゲインで動き適応可能な一時的なIIRフィルタを適用することにより、フレームの画素の改善された向上ゲインを計算するための手段であって、
   前記改善された向上ゲインが以下の等式：
   gain_final=K*gain_SEA +(1-K)*gain_prev
   で定められ、
   gain_finalが前記鮮明度向上アルゴリズムで使用する前記改善された向上ゲインであり、gain_SEAが前記鮮明度向上アルゴリズムで以前に定められた前記向上ゲインであり、gain_prevが前記以前のフレームの同じ位置の画素の向上ゲインであり、Kが全体の動きの評価に基づいて計算された係数である手段と、
   前記改善された向上ゲインをゲインメモリに保存するための手段と、
   前記改善された向上ゲインを前記鮮明度向上アルゴリズムに適用して、前記向上した信号の一時的な整合性を改善するための手段と
   を有するシステム。
10. 請求項９に記載のシステムであって、
    前記Kの係数を定めるための前記全体の動きの評価手段が、
    現在のフレームと以前のフレームとの差分の絶対値を画素毎に計算するための手段と、
    前記絶対値を所定の閾値と比較するための手段と、
    前記閾値より大きい絶対値の数を数えるための手段と、
    次の等式：
    motion_global=count_over/count_num
    に基づいて全体の動きを評価するための手段と
    を有し、
    motion_globalが前記Kの係数として使用され、count_overが前記閾値より大きい絶対値の数であり、count_numが計算された差分の総数であるシステム。
11. 向上ゲインを備えた鮮明度向上アルゴリズムを用いて、少なくとも１つのフレームを表す向上した信号の一時的な整合性を改善するシステムであって、
    少なくとも１つのフレームを有する前記向上した信号を受信するための手段と、
    前記フレームの画素毎に前記鮮明度向上アルゴリズムに関連する向上ゲインを得るための手段と、
    動きベクトルに基づいてゲインメモリの参照フレームから各画素の向上ゲイン値を検索するための手段と、
    前記フレームがIフレーム形式、Pフレーム形式又はBフレーム形式であるかどうかを識別するための手段と、
    前記鮮明度向上アルゴリズムで使用するためのゲインマップを計算することにより、Iフレーム形式用の更新された向上ゲインを定めるための手段であって、各画素の前記更新された向上ゲインが、前記鮮明度向上アルゴリズムで使用するために以前に定められた向上ゲインと等しい手段と、
    次の等式：
    gain_update=α*gainSEA+(1-α)*gainREF
    に従ってPフレーム形式又はBフレーム形式用の更新された向上ゲインを定めるための手段であって、
    gain_updateが前記鮮明度向上アルゴリズムで使用する前記更新された向上ゲインであり、gainSEAが前記鮮明度向上アルゴリズムで以前に定められた前記向上ゲインであり、gainREFが前記参照フレームの動きベクトルで示された参照画素の前記向上ゲイン値であり、αが0と1の間の範囲の係数である手段と、
    前記更新された向上ゲインをゲインメモリに保存するステップと
    を有するシステム。
12. 請求項１１に記載のシステムであって、
    前記更新された向上ゲインで動き適応可能な一時的なIIRフィルタを適用することにより、フレームの画素の改善された向上ゲインを計算するための手段であって、
    前記改善された向上ゲインが以下の等式：
    gain_final=K*gain_update +(1-K)*gain_prev
    で定められ、
    gain_finalが前記鮮明度向上アルゴリズムで使用する前記改善された向上ゲインであり、gain_updateが前記鮮明度向上アルゴリズムのために以前に計算された前記更新された向上ゲインであり、gain_prevが前記以前のフレームの同じ位置の画素の向上ゲインであり、Kが全体の動きの評価手段を使用して計算された係数である手段と、
    前記改善された向上ゲインをゲインメモリに保存するための手段と、
    前記改善された向上ゲインを前記鮮明度向上アルゴリズムに適用して、前記向上した信号の一時的な整合性を改善するための手段と
    を更に有するシステム。
13. 請求項１２に記載のシステムであって、
    前記Kの係数を定めるための前記全体の動きの評価手段が、
    現在のフレームと以前のフレームとの差分の絶対値を画素毎に計算するための手段と、
    前記絶対値を所定の閾値と比較するための手段と、
    前記閾値より大きい絶対値の数を数えるための手段と、
    次の等式：
    motion_global=count_over/count_num
    に基づいて全体の動きを評価するための手段と
    を有し、
    motion_globalが前記Kの係数として使用され、count_overが前記閾値より大きい絶対値の数であり、count_numが計算された差分の総数であるシステム。

Images