JP2010503056A - 画像の強調の方法及び装置 - Google Patents

Abstract

本発明は、入力画像１０５に基づいて出力画像１４５を計算する装置及び方法に関する。本方法は、入力画像１００を複数のサブ画像に分割するステップ１０５を含み、それぞれのサブ画像は、入力画像のそれぞれの周波数帯域からの情報を含む。本方法は、入力画像における画素の画素値の強調のために利用可能なマージンを定量化する画素のヘッドルーム信号を計算するステップ１１０、画素のヘッドルーム信号に依存して、変更されるべきサブ画像内の画素について画素のエンハンスメントファクタを計算するステップ１１５を含み、画素のヘッドルーム信号により定量化されるマージンは、変更されるべきそれぞれのサブ画像にわたり拡散される。本方法は、画素のエンハンスメントファクタと、それぞれのサブ画像からの対応する画素値を使用することで、それぞれのサブ画像を変更するステップ１２０、変更されたサブ画像を使用することで出力画像１４５を生成するステップ１３５を含む。また、本発明は、画像１９９を形成する画素値、及び画像の強調を可能にする画素のエンハンスメントファクタのセットを有する画像信号に関する。

Description

本発明は、一般に、入力画像に基づいた出力画像の計算に関し、この場合、入力画像は、たとえば静止画像又はビデオ系列の一部である場合がある。

多様な画像の強調技術は、静止画像及びビデオ系列の両者の観察者により知覚されるとき、画質を改善するために利用可能である。

重要な強調技術のクラスは、コントラスト強調（contrast enhancement）機能により形成される。コントラスト強調機能を実現するBurt-pyramidアルゴリズムと呼ばれるアルゴリズムの例は、US5717789に改善される。このアルゴリズムは、エリアシングによるスプリアスの空間周波数の導入なしにコンポーネントサブスペクトル画像からのオリジナルの高解像度画像の合成を可能にする。Burt-pyramidアルゴリズムによれば、原画像は、個別のコンポーネント画像の階層により、複数のサブ画像に分割される。それぞれのサブ画像は、原画像に残余のガウス像を加えた異なる空間周波数レンジを有するラプラシアン画像である。

画像の強調により、典型的に、対応する周波数レンジ内で画素値が変化する。原画像Ｇ₀は、エンハンス画像Ｇ₀’に強調される。

ここでｇ_n≧１であり、ｇは画素のエンハンスメントファクタ、Ｄ_nはサブ画像又は原画像の対応するスペクトル周波数レンジにおける導出されたサブ画像である。Ｄ_nは「主要な」サブ画像Ｇ_nから導出されたサブ画像のセットとして理解される。この開示の文脈で、Ｄ_n及びＧ_nの両者は、サブ画像として理解され、Ｄ_nはダウンサンプリングを通してＧ_nから導出される。最低の周波数レンジを除いて、全ての周波数レンジにおける画素値を強調することは、コントラストをほとんど持たない、平滑な画像領域にシャープネスとコントラストの両者を強調することができる。

しかし、画像の内容に関わらず画素値を変えることによってオーバーシュートが生じ、望まれるよりも高いエッジを持つエリアにおける画素値が強調され、一般に乏しい画質となる画像の歪みを防止するクリッピング又は他の措置が必要とされる。

本発明の目的は、上記課題を軽減し、オーバーシュートの量、これによりクリッピングの量を防止又は制限する入力画像のコントラスト強調のためのソリューションを提供することにある。

上記目的は、請求項１に定義される方法及び請求項１３で定義される装置により実現される。

本発明は、入力画像における変更するマルチスケールアプローチにおいて入力画像から画素値を使用することを提案する。本発明に係る方法では、入力画像は、多数のサブ画像に分割され、それぞれのサブ画像は、入力画像の周波数帯域に対応する。典型的に、全てのサブ画像が処理されるが、本発明はこれに限定されない。

入力画像における画素の画素値の強調のために利用可能なマージンを定量化することで、画素のヘッドルーム（headroom）の信号が計算される。画素のヘッドルーム信号は入力画像にのみ基づくが、更なる情報の使用を含む他の変形例が以下に記載される。

変更されるべき多数のサブ画像のそれぞれのサブ画像内の画素について画素のエンハンスメントファクタを計算するため、画素のヘッドルーム信号が使用される。典型的に、係る画素のエンハンスメントファクタは、それぞれのサブ画像において各画素について計算される。画素のエンハンスメントファクタは、画素のヘッドルーム信号により定量化されるマージンが、変更されるべきそれぞれのサブ画像にわたり広がるように計算される。代わりに、対応する画素のエンハンスメントファクタを使用して、サブ画像において画素値を強調することで、変更されるべきそれぞれのサブ画像を変更するため、画素のエンハンスメントファクタが使用される。変更されるサブ画像は、出力画像を生成するために続いて使用される。

マルチスケールアプローチを使用して、画素のエンハンスメントファクタの計算における画素のヘッドルーム信号の使用によりサブ画像にわたり利用可能な画素のヘッドルームを広げることにより、入力画像における画素にとって利用可能な画素のヘッドルームを明示的に考慮することで、制限された量のオーバーシュートの有無に関わらず、出力画像と同様にサブ画像を強調することができ、これにより、クリッピングを必要としないか、制限された量のクリッピングのみを必要とする。したがって、本発明は、正確なクリッピング制御を提供する。

マルチスケールアプローチを使用する強調により、特定のサブ画像内の特徴を強調するため、利用可能なヘッドルームを使用することができる。比例的に大量のヘッドルームを個々のサブ画像に割り当てることで個々のサブ画像が支持され、これにより、同じ制御レベルを維持しつつ、支持されるサブ画像内の大きな画素のエンハンスメントファクタの使用が許容される。

好適な実施の形態では、サブ画像が連続的に変更され、画素のヘッドルーム信号は、変更されるべきそれぞれのサブ画像について計算される。さらに、変更されているそれぞれのサブ画像について計算される画素のヘッドルーム信号は、以前に変更されたサブ画像の結果として消費される画素のヘッドルーム（マージン）を考慮する。結果的に、変更されたサブ画像を生成することで消費されたマージンは、更なるサブ画像を変更するためにもはや利用されない。このように、サブ画像処理の優先順位付けと同様に、サブ画像にわたる画素のヘッドルームの割り当てにより、画素のヘッドルームを分散することができる。同時に、オーバーシュートの量を防止又は制限する能力が保持される。さらに、以前に変更されたサブ画像を強調することで消費されていないヘッドルームは、更なるサブ画像の強調のために利用可能である。

別の好適な実施の形態では、サブ画像処理の順序は、それぞれのサブ画像における画素値と計算された画素のヘッドルーム信号とを相関付けすることで確定される。このように、それぞれのサブ画像における強調の可能性は、サブ画像の処理の順序を決定するために確定される。画素のヘッドルーム信号に基づいて、強調の最大の可能性をもつサブ画像が最初にエンハンスされる欲張りなエンハンスメントアルゴリズムのような様々な処理順序が選択される。代替的に、より巧妙なエンハンスメントアルゴリズムが考案され、微妙な強調のみが可能であるサブ画像が最初に強調され、これにより、この強調が保護され、欲張りなエンハンスメントアルゴリズムに比較して、サブ画像を通して更に釣り合いのとれた強調が得られる。

更なる実施の形態では、入力画像の最高の周波数レンジにおける情報を含むサブ画像で開始し、入力画像の最低の周波数レンジにおける情報を含むサブ画像まで、サブ画像の処理の順序が固定される。結果として、高周波帯域が優先され、これにより強調された画像のシャープネスが得られる。

更なる実施の形態では、２つの画素のヘッドルーム信号が計算され、一方の画素のヘッドルーム信号は、最大の画素値まで入力画像のそれぞれの画素の画素値のマージンを定量化し、更なる画素のヘッドルーム信号は、最小の画素値まで入力画像のそれぞれの画素の画素値のマージンを定量化する。続いて、画素のエンハンスメントファクタは、サブ画像の画素の画素値が正であるときに一方の画素のヘッドルーム信号に基づき、サブ画像の画素の画素値が負であるときに更なる画素のヘッドルームに基づく。この特定の特徴は、主に暗い領域においてハイライトのような明るさの詳細の強調を可能にし、代替的に、主に明るい領域において暗さの詳細の強調を可能にする。

予備的な手段なしに個々のサブ画像における画素値を変化するとき、誤った光の放出として又はハイコントラストのオブジェクトのエッジの周りの誤った影として、いわゆるハローアーチファクト（halo artifacts）が現れる場合がある。

好適な実施の形態では、画素のヘッドルーム信号は、それぞれの画素に周りの領域における最小の画素のヘッドルームを定量化する画素のヘッドルーム信号を計算することで、それぞれの画素の周りの領域における画素のヘッドルームの空間的なプロファイルを考慮する。結果として、画素のヘッドルーム信号は、ある領域内のクリッピングとなる局所的な最大の線形な利得を決定するために使用される場合がある。結果的に、ある領域内の強調は、より連続的である。

更なる好適な実施の形態では、画素のヘッドルーム信号は、サブ画像と同じ周波数レンジ内の周波数成分を含む画素のエンハンスメントファクタを計算するため、変更されるべきそれぞれのサブ画像について異なるフィルタを使用することでフィルタリングされる。サブ画像の画素の領域内の画素のヘッドルームを考慮する前の実施の形態との組み合わせにおいて、画素のエンハンスメントファクタの実質的に平滑な周波数スペクトルが得られる。したがって、ハローがサブ画像に導入される確率が低減される。

更なる実施の形態では、画素のエンハンスメントファクタは、全てのサブ画像について単一の最大の画素のエンハンスメントファクタにより上方で境界付けされる。十分な帯域幅が利用可能なとき、全ての変更されたサブ画像は、この最大の画素のエンハンスメントファクタにより強調され、これにより全体的にリニアヒストグラムストレッチ（linear histogram stretch）に類似した強調が得られる。結果として、既に著しいコントラストをもつ過剰な強調領域から生じる「光放出」アーチファクトが防止される。

更なる実施の形態では、画素のエンハンスメントファクタは、０〜１の範囲内からのスケーリングファクタαにより減衰される、クリッピングのないサブ画像における画素の最大の線形の利得に基づく。結果的に、利用可能なヘッドルームの比αのみが現在のサブ画像について使用され、利用可能なヘッドルームの比（１−α）は、残りのサブ画像を強調するために利用可能である。「光放出」アーチファクトも同様に減衰される。

好適な実施の形態では、画素の周りの予め定義された領域内のサブ画像の画素の最大の画素値と最小の画素値との間の差がある閾値以下であるとき、サブ画像の画素の画素エンハンスメントファクタは、画素の画素値を減衰するために設定される。そのようにすることにおいて、たとえばＤＣＴ量子化から生じるノイズを低減することができる。

更なる好適な実施の形態では、本方法は、カラー画像を強調するために使用される。カラー画像を強調するため、カラー画像の輝度成分が入力画像として使用され、サブ画像に分割される。処理の後、出力画像は、カラー画像の強調された輝度成分である。その後、強調されたカラー画像は、輝度成分に対する強調された輝度成分の比により決定されるスケーリングファクタを使用して、カラー画像のＲＧＢ成分をスケーリングすることで形成される。この特定の方法の使用により、オリジナルのカラー画像の色の飽和を実質的に保持することができる。

さらに、本発明は、記録キャリアで実施されるコンピュータプログラムに関し、コンピュータプログラムは、実行されたとき、コンピュータに、請求項１乃至１２の何れか記載の方法のステップを実行させる命令を含む。

さらに、本発明は、請求項１乃至１２記載の方法の何れかに従って、入力画像の処理を可能にする入力画像と画素のエンハンスメントファクタのセットを形成する画素値を有する画像信号に関する。

これらの態様及び他の態様は、図面を参照して更に明らかにされるであろう。図面を通して、同一の参照符号は、同じエレメント、又は同じ機能を実行するエレメントを示す。
画素値を変える好適な方法のフローチャートである。 カラー画像における画素値を変える好適な方法のフローチャートである。 アグレッシブユニフォームヒストグラムストレッチ（aggressive uniform histogram stretching）を例示する概念的な表現である。 アグレッシブユニフォームヒストグラムストレッチについて十分なヘッドルームがない場合の強調を例示する概念的な表現である。 可能性のあるアプリケーションでの本発明に係る装置のブロック図である。

図１は、本発明に係る方法のフローチャートである。このフローチャートは、画素値により表される輝度の入力画像１００を強調するプログラムフローを示す。ステップ１０５では、入力画像１００は、多数のサブ画像に分割される。それぞれの多数のサブ画像は、入力画像１００のそれぞれの周波数帯域からの情報を含む。典型的に、それぞれのサブ画像は、変更されたサブ画像を生成するために処理される。変更されたサブ画像は、その後に結合され、ステップ１３５で強調された輝度画像１４５を生成する。

変更されたサブ画像を生成するため、３つのステップが必要とされる。ステップ１１０は、画素のヘッドルーム信号を計算する。ステップ１１５は、画素のエンハンスメントファクタを計算する。ステップ１２０は、画素のエンハンスメントファクタに基づいてそれぞれのサブ画像を変更する。

本発明は、画素のヘッドルーム信号を計算するステップ１１０を含む。画素のヘッドルーム信号は、画像の画素の画素値の強調について利用可能なマージンを定量化する。それぞれのサブ画像における画素が画素のヘッドルームのそれぞれの比率で変更されるとき、変更されたサブ画像の結合された画素値がオーバーシュートしないように、利用可能なマージンは、サブ画像にわたり広げられる。結果的に、出力画像における画像の歪みを防止するため、クリッピング又は飽和の必要がない。代替的に、少量のクリッピングは、知覚された強調を改善するために許容される場合がある。第一の変形例では、１つの画素のヘッドルームの信号は、その画像について計算され、利用可能なヘッドルームは、それぞれのサブ画像を強調するために全体の画素のヘッドルームの予め定義された比率を割り当てることで、様々なサブ画像にわたり分散される。この機能は、特定のサブ画像を強調することで消費されないヘッドルームが失われるという問題を有する。

サブ画像が順次に処理されるときに特に有効である第二の変形例では、変更されるべきそれぞれのサブ画像を処理する前に、画素のヘッドルームの信号が計算され、それぞれの画素のヘッドルーム信号は、以前に変更されたサブ画像で消費される画素のヘッドルームからなる。結果として、１以上のサブ画像を強調することで消費されないヘッドルームは、更なる後続のサブ画像を強調するために使用することができる。

第三の変形例では、処理の前に計算される画素のヘッドルーム信号は、それぞれのサブ画像を強調する可能性を確定する基礎として続いて使用される。結果として、画像に依存する方式で好適なサブ画像の変更の順序を決定するため、画素のヘッドルーム信号が使用される。第三の変形例は計算が集中するが、個々のサブ画像の強調の優先順位付けを可能にする。

図１に示される実施の形態は、上述された第二の変形例を示し、画素のヘッドルーム信号は、以前のサブ画像を変更することで消費されるヘッドルームを考慮して、変更されるべき各サブ画像について計算される。

この変形例における画素のヘッドルーム信号は、それぞれのサブ画像における画素の画素値を強調するために利用可能なマージンを定量化する。図１に示される画像における画素の変更は、繰り返しプロセスである。各繰り返しの間、残りの画素のヘッドルームが確立される。原画像で利用可能な画素のヘッドルームは、それぞれサブ画像における画素がそれぞれの画素のヘッドルーム信号により示されるマージン内で変更されるやり方で、全てのサブ画像にわたり繰り返し拡散される。様々なサブ画像にわたり画素のヘッドルームを拡散するため、サブ画像における画素を強調するために使用される画素のエンハンスメントファクタは、利用可能な画素のヘッドルームに依存して計算される。出力画像における対応する画素の画素値の結果的な強調は、オーバーシュートを生じない。

本発明は、オーバーシュートの量を防止又は制限することで、これによりクリッピングの必要性を低減又は最小化する目的を有するものである。第一のサブ画像を変更することで消費された画素のヘッドルームの量は、更なるサブ画像を強調するために利用可能なヘッドルームの量に影響を及ぼす。なお、図１におけるフローチャートは、１つの実現のみを表し、様々な代替を考案することができる。

次のステップ１１５は、サブ画像内の画素について、サブ画像について計算される画素のヘッドルーム信号に基づいた画素のエンハンスメントファクタを計算することを含む。この実施の形態では、画素のエンハンスメントファクタは、画像について計算される画素のヘッドルーム信号に依存し、他のサブ画像の前の強調で使用された画素のヘッドルームに依存する。全ての画素がこの実施の形態で強調されたが、本発明の範囲から逸脱することなしに、マスクを使用して、サブ画像の所定の領域又はセグメントのみを強調することが可能である。

この実施の形態では、画素のヘッドルーム信号は、クリッピングとならないサブ画像の画素について最大のリニアなゲインを確立するために使用される。この情報に基づいて、サブ画像の特定の画素について画素のエンハンスメントファクタを計算することが可能である。画素のエンハンスメントファクタは、画素について画素ヘッドルーム信号及びサブ画像のそれぞれの画素値を使用することで計算することができる。特定のオーバーシュートの量が許容される場合、画素のヘッドルーム信号に基づいて許容されるよりも高い画素のエンハンスメントファクタを選択することができる。視覚的な画像の歪みを制限するため、（ソフト）クリッピングのような更なる措置を必要とすることは、当業者にとって明らかである。

第三のステップ１２０は、計算された画素のエンハンスメントファクタを使用することで多数のサブ画像のうちのサブ画像を変更するステップを含む。実際に、これは、対応する画素エンハンスメントファクタを乗算することで使用して、サブ画像におけるそれぞれの画素の画素エンハンスメントファクタ及びそれぞれの画素の画素値のエンハンスメントの使用を含む。

変更されたサブ画像がひとたび生成されると、サブ画像を変更するプロセスは、ステップ１２５で全てのサブ画像が処理及び／又は変更されるまで、ステップ１２５で繰り返される。最後に、出力画像１４５は、変更されたサブ画像を結合することで生成される。１実施の形態では、これは、全ての変更されたサブ画像の追加を通して達成される。

図１におけるフローチャートはサブ画像変更ループ外の出力画像の生成を示すが、生成するステップ１３５は、サブ画像の変更ループに組み込むことができる。その場合、それぞれのループ繰り返しにより、これまで変更された全てのサブ画像が組み込まれる中間の出力画像が得られる。中間の出力画像は全ての以前に変更されたサブ画像からなるので、後続するサブ画像について画素のヘッドルーム信号を確定するため、中間の出力画像が使用される。

サブ画像が繰り返し処理され、画素のヘッドルーム信号がそれぞれの繰り返しで計算されるとき、サブ画像の処理の順序が関連する。あるサブ画像の変更の間に消費される画素のヘッドルームは、更なるサブ画像の変更のためにもはや利用可能ではない。したがって、サブ画像の処理を優先付けすることが重要である。

第一の変形例では、優先順位付けは、画像とは独立である。サブ画像は、高周波のサブ画像から低周波のサブ画像への順序で処理される。結果として、最大の量のヘッドルームは、高周波のサブ画像を強調するために利用可能であり、残りのヘッドルームは、低周波のサブ画像について利用可能である。結果的に、高周波のサブ画像の遷移は更に強調され、鮮鋭化の効果が得られる。

図１に示される実施の形態の更なる変形例では、画素のヘッドルーム信号は、サブ画像の変更を始動する前に計算される。さらに、それぞれの画素のヘッドルーム信号は、サブ画像の処理を優先付けするために続けて使用される。第一の方法は、大部分の強調を可能にするサブ画像を優先し、欲張りなサブ画像の優先付けされた方法となる。代替的に、より多くの強調を可能にするサブ画像に進む前に、最小の強調を可能にするサブ画像を選択して、これらの強調を実現するような、より巧妙なサブ画像の優先順位付けの方法が考案される。このように、欲張りアルゴリズムで強調されない領域を強調するため、利用可能な画素のヘッドルームが使用される。この更にロバストなアプローチにより、典型的に、サブ画像を通して更に一様な強調が得られる。

図２は、カラー画像２００における画素値を変える好適な方法のフローチャートである。この実施の形態におけるオリジナルのカラー画像はＹＵＶフォーマットを有するので、本発明は、これに限定されない。ＹＵＶ入力を使用する利点は、ＹＵＶ入力が個別の輝度成分を既に有することである。しかし、カラーＹＵＶ画像の輝度成分Ｙを強調するため、図１に提示されるアプローチを使用することができるが、カラー画像の色度情報（Ｕ／Ｖ）を維持する一方で、このアプローチは、明るい領域における色飽和の望まれない損失となり、暗い領域における色飽和の望まれない増加に繋がる場合がある。

カラー画像の色飽和を維持するため、画像における輝度情報に基づいてスケーリングファクタを決定し、これに従って画像のそれぞれのＲＧＢ成分をスケーリングすることでカラー画像を強調することが好ましい。結果として、色飽和が実質的に保持される。

図２は、カラー画像２００における画素値を変える好適な方法を示す。ハッチングされた領域２１５は、上述されたアルゴリズムのコアを有する。カラー画像２００から開始して、輝度成分２３０は、ステップ２０５で分離され、強調された輝度画像である出力画像１４５をステップ１３５で生成するために入力画像２３０として使用される。カラー画像２３５がＲＧＢ表現ではないと仮定すると、カラー画像２００は、ステップ２２０で、ＲＧＢ表現に変換される。強調された輝度画像、出力画像１４５の画素値のオリジナルの輝度画像及び入力画像２３０の画素値に対する比に基づくスケーリングファクタを使用して、ＲＧＢ成分は、画素当たりステップ２２０で続いてスケーリングされる。結果的に得られる強調されたカラー画像２２５は、ＲＧＢ成分をスケーリングした後に出力される。

本発明の更なる好適な実施の形態は、コントラスト強調を提供し、それと同時にクリッピングを防止し、高いコントラストのエッジをもつ領域を強調することから生じる「光放出」アーチファクトを低減することにある。このため、この実施の形態は、十分なヘッドルームが利用可能であると仮定された場合、同じ量で全ての周波数帯域を強調するように設計される。結果的に、ある領域が十分なヘッドルームを有するとき、「光放出」アーチファクトを引き起こさない動作である、平均保存的なグローバルリニアヒストグラムストレッチング（mean-preserving global linear histogram stretching）が得られる。

不十分なヘッドルームが存在する領域では、この実施の形態は、最も細かいスケール（最も高い空間周波数）から最も粗いスケール（最も低い空間周波数）までの全ての空間スケールを通した繰り返しを提案し、後者のスケールは、画像の平均輝度（ＤＣ成分）を表し、これにより、高周波のサブ画像が優先される。全てのサブ画像が処理動作に含まれる必要はなく、１つの変形例では、ＤＣ成分は、変化されない形式で保持される。さらに、以下に更に詳細に記載されるように、画素のエンハンスメントファクタにおける変動がサブ画像内で平滑な挙動を示すようなやり方で画素のエンハンスメントファクタが生成され、これにより、サブ画像内での「光放出」アーチファクトが低減される。

はじめに、式におけるＶで示される入力１００は、ステップ１０５でｎ個のサブ画像Ｂⁱに分割される。この特定の実施の形態では、スケールｉについて空間的なロウパスフィルタＦⁱ _LPを使用して、個々のサブ画像は、連続するロウパスフィルタリングを通して得られる。

は空間畳み込みを示す。ロウパスフィルタリングの後、周波数帯域Ｂⁱは、ビデオの後続するロウパスフィルタリングされたバージョンを差し引くことで抽出される。

この特定の実施の形態では、サブ画像の処理順序は、高周波から低周波に予め決定されており、最初の画素のヘッドルーム信号は、最高周波数のサブ画像についてはじめに計算される。この特定の実施の形態では、２つの画素のヘッドルーム信号は、それぞれのサブ画像について

で計算される。これら２つの画素のヘッドルーム信号を確立するため、２つの中間的な信号Ｈⁱ _up及びＨⁱ _doがはじめに計算される。式（４）及び（５）を参照されたい。Ｈⁱ _up（ｘ,ｙ）は、最大の画素値Ｐ_maxに向かって画像における位置（ｘ,ｙ）での画素のヘッドルームを意味し、Ｈⁱ _do（ｘ,ｙ）は、最小の画素値Ｐ_minに向かって位置（ｘ,ｙ）での画素のヘッドルームを意味する。現在のサブ画像の正の画素値及び負の画素値について異なる画素のエンハンスメントファクタを計算するため、それぞれのヘッドルーム信号が使用される。この実施の形態は、実質的に明るい領域で暗い詳細を強調し、実質的に暗い領域で明るい詳細を強調する。１つの全体的な画素のヘッドルーム信号が使用された場合、これは、一方のサイドでヘッドルームがないために可能ではない。

画素のヘッドルーム信号を計算するため、本実施の形態は、スケールｉにまでコントラスト強調の中間的な結果を表わす中間信号Ｖ^i-1 _ENHを使用する。Ｖ^i-1 _ENHは、変更されていないサブ画像と同様に前に変更されたサブ画像を有し、ｉ番目のサブ画像を処理した後の中間的な出力画像と見ることができる。Ｖ⁰ _ENHは、原画像Ｖとして初期化される。

続いて、画素のヘッドルーム信号

が計算される。この特定の実施の形態では、画素のヘッドルーム信号は、それぞれの画素（ｘ,ｙ）の周りの空間領域Ｓを考慮する領域の画素のヘッドルーム信号である。ある画素（ｘ,ｙ）について

を生成するため、Ｈⁱ _up（ｘ,ｙ）の領域の最小値及びＨⁱ _do（ｘ,ｙ）の領域の最大値は、領域Ｓについて確定される。その後、それぞれの画素のヘッドルームフィルタに基づいた画素のエンハンスメントファクタがそれぞれのサブ画像における画素値の周波数レンジ内に含まれることを保証するため、画素のヘッドルーム信号がフィルタリングされる。

最良の結果のため、開口Ｓは、Ｆⁱ _LPのフィルタの開口に等しいか、該開口よりも大きい。この特定の実施の形態では、画素のヘッドルーム信号を形成するため、画像をサブ画像に分割するために使用される空間ロウパスフィルタが使用される。

サブ画像内のそれぞれの画素について画素のエンハンスメントファクタｇⁱ（ｘ,ｙ）を計算するため、計算された画素のヘッドルーム信号が続けて使用される。この実施の形態では、サブ画像におけるそれぞれの画素の画素値に依存して、

の何れかを使用することで、画素のエンハンスメントファクタが計算される。

式（８）及び（９）から分るように、画素のエンハンスメントファクタは、全ての帯域について同じである最大の全体的な画素のゲインｇ_maxにより境界付けされる。十分なヘッドルームが利用可能であると仮定すると、ゲインは、平均保存的なグローバルヒストグラムストレッチングが得られる全てのサブ画像についてｇ_maxである。しかし、ヘッドルームが不十分である場合、画素のエンハンスメントファクタは、クリッピングを生じない領域における最大の線形の利得を定量化する

の何れかに基づく。

０と１の間のユーザにより定義された値をもつパラメータαは、様々なサブ画像にわたり利用可能な画素のヘッドルームの分散を可能にする。変更されるべきそれぞれのサブ画像における強調のため、利用可能なヘッドルームの割合αのみが使用される。割合の画素ヘッドルームの割合を使用することで、ヘッドルームは、全てのサブ画像にわたり除々に分散される。この特定の実施の形態では、最大の線形の利得の割合αは、Ｂ¹を強調するために使用され、α（１−α）の割合は、Ｂ²を強調するために使用され、すなわち、割合αはＢ¹を強調するために使用される条件である。Ｂ¹に割り当てられる全てのヘッドルームが使用されない場合、Ｂ₁の強調の後に残りの最大の線形の利得の割合αは、Ｂ₂を強調するために使用される。

先のメカニズムは、サブ画像内の画素のエンハンスメントファクタを制限する。さらに、サブ画像の周波数帯域に整合するために更にフィルタリングされる、領域の画素のヘッドルーム信号の使用により、画素のエンハンスメントファクタは、周波数領域での平滑な振る舞いを示す。これは、誤った光の放出及び高いコントラストのエッジの周りの誤った影として現れるハローアーチファクトの形成を防止する。これは、入力画像に既に存在するハローアーチファクトを低減しないが、更なるハローアーチファクトが導入される確率を低減する。

画素のエンハンスメントファクタがひとたび計算されると、サブ画像が変更され、変更されたサブ画像

が得られる。

変更されたサブ画像が利用可能なとき、強調された画像Ｖⁱ _ENHは、後続するサブ画像の処理での使用のために計算することができるが、代替的に、強調された輝度画像を得るために全てのサブ画像が処理されるとき、強調された画像Ｖⁱ _ENHを計算することができる。

ＹＵＶカラー画像の輝度成分を処理し、Ｕ成分及びＶ成分をそのまま保存するために先の実施の形態を使用することができるが、これは、明るい領域における望まれない脱飽和となり、暗い領域における過飽和となる場合がある。飽和を保持するため、たとえばＹＵＶ表現をＲＧＢ表現に変換し、個々のＲＧＢ成分をスケーリングすることで、一定の飽和方向において画像をスケーリングするように、オリジナルの輝度成分に対する強調された輝度成分の割合を使用することが好ましい。

先の実施の形態は高周波成分を有するサブ画像を好むので、ノイズが鋭くなる場合がある。このノイズは、ＤＣＴ量子化により部分的に導入される場合がある。ＤＣＴ量子化のアーチファクトにより、サブ画像の領域内の最小の画素値と最大の画素値との間で小さな差が生じることがある。

係るアーチファクトの強調を防止するため、係る量子化ノイズの発生を検出し、続いて、画素のエンハンスメントファクタの計算を却下することが可能である。ＤＣＴを検出するため、ある画素の周りの領域Ｓ内で最小の画素値と最大の画素値を決定し、最大と最小の間の絶対差が閾値以下であるかを判定する。値が閾値以下である場合、画素のエンハンスメントファクタは、作用を減衰するために１よりも小さい値に設定され、値が閾値を超える場合、画素のエンハンスメントファクタは、代わりに利用可能な画素のヘッドルーム信号に基づく。

１つの閾値を使用する代わりに、多数の閾値を使用する更なる段階的なスキームを実現することができ、又は、代替的に、強調から減衰への更に段階的な遷移を実現するように最大と最小の差を使用するスキームが実現される。

図３は、アグレッシブユニフォームヒストグラムストレッチングを示す図である。第一の曲線４０５は、アグレッシブユニフォームヒストグラムストレッチの前のラインでの画素の輝度値を示し、第二の曲線４１０は、アグレッシブユニフォームヒストグラムストレッチングの後のラインでの画素の輝度値を示す。図３における強調は、画素のエンハンスメントファクタが最大値に上に境界付けされ、十分なヘッドルームが利用可能であるという条件で、本発明の強調に類似する。

図４は、アグレッシブユニフォームヒストグラムストレッチの十分なヘッドルームがない場合に理論的な強調を示す図である。第一の曲線５０５は、理論的な強調の前の輝度値を示し、第二の曲線５１０は、理論的な強調の後の輝度値を示す。図４は、曲線５０５の右上の部分におけるヘッドルームがないため、平均保存的なグローバルヒストグラムストレッチのために十分なヘッドルームが存在しないことを示す。第二の曲線５１０は、このヘッドルームがないことにもかかわらず、図の右上におけるオーバーシュート及び／又はクリッピングなしに、高周波の正弦波を強調することが可能である。また、マルチスケール強調の使用によるように局所的な強調を適用することで、左下での正弦波は、右上での正弦波よりも強調することができる。最後に、第二の曲線５１０は、高周波成分を強調し、これにより低周波成分を支持して正弦波の振幅を強調するために、画素のヘッドルームがどのように使用されるかを示す。

上述された実施の形態は、高周波から低周波の順序でサブ画像を処理し、（残りの）ヘッドルームの割合をそれぞれのサブ画像に割り当て、上方向及び下方向の画素のエンハンスメントファクタを独立に決定することで、図４で提示されるものと類似の結果を実現することを目的とする。

入力画像は、等しいサイズの周波数帯域のサブ画像の分割される場合があるが、本発明はこれに限定されるものではない。周波数帯域のサイズを変えることは、周波数レンジに対する利用可能なヘッドルームの割合に影響を及ぼし、したがって、様々なサブ画像に対する強調について利用可能なマージンの割合の適合を必要とすることは明らかである。さらに、画像のＤＣ成分を分離し、これを個別のサブ画像として扱い、任意に、ＤＣ成分の画素のエンハンスメントファクタを強制的に１にすることは本発明の範囲である。

先に記載されたように、サブ画像を処理する順序は、個々のサブ画像の強調にとって利用可能なマージンに影響を及ぼす。第一のサブ画像が強調されるとき、全ての画素のヘッドルームはなお利用可能であり、第一のサブ画像を強調するために利用可能な画素のヘッドルームの全体の割合が使用される場合がある。第一のサブ画像に割り当てられたヘッドルームの割合を低くすることで、「欲張りな」アルゴリズムの性質を控えめにすることができる。

先に説明されたように、本発明は、静止画像及び／又はビデオ系列の両者で画素値を変更するために使用される場合がある。本発明は、スタンドアロンの画像強調装置で実施されるか、他のビデオ処理装置で統合される。これらの装置は、ビデオを処理するために構成される装置を含み、レンダリングする装置に限定されないが、画像及びビデオ系列を捕捉、記憶及び／又は分散する装置を含む場合がある。

本発明は、ディスプレイ、ビデオディスプレイ、デジタルスチルカメラ、ビデオカメラ、ビデオレコーダ、ハードディスクレコーダ、テレビジョンセット、パーソナルコンピュータ向けビデオカード、ＬＣＤディスプレイ、プラズマディスプレイ、電気泳動ディスプレイ、モバイルフォン、パーソナルディジタルアシスタント（ＰＤＡ）、ハンドヘルドビデオレンダリング装置、又はハンドヘルドゲームコンソールのような広範囲の装置に容易に統合される。

図５は、本発明に係る画像内の画素値を変更する装置６００を示す。データベース６０５は、画像の輝度を表す画素値を有する入力画像１００を装置６００に供給する。

装置６００は、画像を多数のサブ画像の分割するために構成される分割手段６１０を有しており、多数のサブ画像のそれぞれ１つは、入力画像１００のそれぞれの周波数帯域からの情報を有する。

装置６００は、入力画像１００における画素の画素値を強調するために利用可能なマージンを定量化する画素のヘッドルーム信号を計算する第一の計算手段６２０を更に有し、画素のヘッドルーム信号は、入力画像の少なくとも１部に基づいている。

装置６００は、画素のヘッドルーム信号に依存して変更されるべきそれぞれのサブ画像内の画素について画素のエンハンスメントファクタを計算するために構成される第二の計算手段６３０を更に有しており、画素のヘッドルーム信号により定量化されるマージンは、変更されるべきそれぞれのサブ画像にわたり拡散される。装置６００は、それぞれのサブ画像からの画素のエンハンスメントファクタ及び対応する画素値を使用して、変更されるべきそれぞれのサブ画像を変更するために構成される変更手段６４０を有する。さらに、装置６００は、変更されたサブ画像を使用することで、出力画像１４５を生成するために構成される生成手段６５０を更に有する。出力画像１４５は、更なるデータベース６６５に送出され、出力画像１４５を表示するためにディスプレイ装置６９５に送出される。

任意に、装置６００は、本発明に従って画像信号６８５の入力を提供し、画像信号は、画像を形成する画素値と、画像の強調を可能にする画素のエンハンスメントファクタのセットとを有しており、生成された画素のエンハンスメントファクタは、本発明に従う方法を使用する。この信号を使用して、装置６００は、画素のエンハンスメントファクタを直接に使用することで、信号に含まれる画像を強調する。係る画素のエンハンスメントファクタは、たとえば式（１２ａ）、（１２ｂ）及び（１２ｃ）を使用することで取得される。

図５における画像信号６８５は、ネットワーク６６０を通して受信され、本発明に係る方法を実行するパーソナルコンピュータ６７０により生成される。本方法を実行するパーソナルコンピュータ６７０により必要とされる命令は、光ディスク、固体メモリカード、又は代替的に前記情報を含むコンピュータ読取り可能な記録媒体のような、記録キャリア６７５によりパーソナルコンピュータ６７０に供給される。

特定用途向け集積回路（ＡＳＩＣ）のような専用ハードウェア、又はパーソナルコンピュータ（ＰＣ）における汎用マイクロプロセッサで実現することができることは当業者にとって明らかである。実際に、本方法は、専用ハードウェアで部分的に実現され、プログラマブルプロセッサで実行するソフトウェアで部分的に実現される場合がある。

上述された実施の形態は、本発明を制限するよりは例示するものであり、当業者であれば、特許請求の範囲から逸脱することなしに、多くの代替的な実施の形態を設計することができる。

請求項では、括弧間で配置される参照符号は、請求項を限定するものとして解釈されるべきではない。動詞「有する“comprise”」及びその派生語の使用は、請求項で述べた以外のエレメント又はステップの存在を排除するものではない。エレメントに先行する冠詞“ａ”及び“ａｎ”の使用は、複数の係るエレメントの存在を排除するものではない。

本発明は、幾つかの個別のエレメントを有するハードウェアにより、適切にプログラムされたコンピュータにより実現することができる。幾つかの手段を列挙する装置の請求項では、これらの手段の幾つかは、同一アイテムのハードウェアにより実施される。所定の手段が相互に異なる従属の請求項で引用される事実は、これらの手段の組み合わせが使用することができないことを示すものではない。

Claims (15)

1. 入力画像に基づいて出力画像を計算する方法であって、
   前記入力画像を複数のサブ画像に分割するステップと、前記複数のサブ画像のそれぞれは、前記入力画像のそれぞれの周波数帯域からの情報を含み、
   前記入力画像における画素の画素値の強調のために利用可能なマージンを定量化する画素のヘッドルーム信号を計算するステップと、前記画素のヘッドルーム信号は、少なくとも部分的に前記入力画像に基づいており、
   前記画素のヘッドルーム信号により定量化されたマージンが、変更されるべきそれぞれのサブ画像のわたり広がるように、前記画素のヘッドルーム信号に依存して、変更されるべきそれぞれのサブ画像内の画素について画素の強調のファクタを計算するステップと、
   前記それぞれのサブ画像からの前記画素のエンハンスメントファクタ及び対応する画素値を使用することで、変更されるべきそれぞれのサブ画像を変更するステップと、
   前記変更されたサブ画像を使用することで前記出力画像を生成するステップと、
   を含むことを特徴とする方法。
2. 前記画素のヘッドルーム信号は、予め決定されたクリッピングの量による前記入力画像の強調を可能にするように計算される、
   請求項１記載の方法。
3. 前記変更されるべきサブ画像は連続して変更され、
   前記画素のヘッドルーム信号は、前記複数のサブ画像のうちの前に変更されたサブ画像で消費されたマージンの量を考慮して、変更されるべきそれぞれのサブ画像について計算される、
   請求項１記載の方法。
4. 前記サブ画像の処理の順序は、前記サブ画像の処理の順序を決定するために前記それぞれのサブ画像における強調の可能性を確定するように、画素のヘッドルームの信号を計算し、前記画素のヘッドルームの信号をそれぞれのサブ画像と相関させることで確定される、
   請求項１記載の方法。
5. 前記複数のサブ画像は、前記入力画像のうちで最も高い周波数レンジにおける情報を含むサブ画像から開始して、前記入力画像のうちで最も低い周波数レンジにおける情報を含むサブ画像へと処理される、
   請求項１記載の方法。
6. 前記画素のヘッドルームの信号は、前記入力画像のそれぞれの画素の画素値のマージンを最大値に定量化し、
   更なる画素のヘッドルームの信号は、前記入力画像のそれぞれの画素の画素値のマージンを最小値に定量化することで計算され、
   前記画素のエンハンスメントファクタは、前記サブ画像の画素の画素値が正である場合に前記画素のヘッドルーム信号に基づいて決定され、前記サブ画像の画素の画素値が負である場合に前記更なる画素のヘッドルームに基づいて決定される、
   請求項１記載の方法。
7. 前記画素のヘッドルーム信号は、それぞれの画素を囲んでいる最も小さな画素のヘッドルームを定量化する画素のヘッドルームの信号を計算することで、それぞれの画素の近隣における画素のヘッドルームの空間プロファイルを考慮する、
   請求項１記載の方法。
8. 前記画素のヘッドルーム信号は、それぞれのサブ画像と同じ周波数レンジ内の周波数成分を有する画素のエンハンスメントファクタを計算するため、変更されるべきそれぞれのサブ画像について異なるフィルタを使用することでフィルタリングされる、
   請求項１記載の方法。
9. 前記画素のエンハンスメントファクタは、全てのサブ画像について１つの最大の画素のエンハンスメントファクタにより制限される、
   請求項１記載の方法。
10. 前記画素のエンハンスメントファクタは、０から１までの範囲のスケーリングファクタαにより減衰される、クリッピングをもたないサブ画像における画素の最大の線形の利得に基づく、
    請求項１記載の方法。
11. 前記画素のエンハンスメントファクタは、ある画素を減衰するために設定され、
    前記画素の周りの予め定義された領域内のサブ画像の画素の最大の画素値と最小の画素値との間の差は、閾値以下である、
    請求項１０記載の方法。
12. 前記入力画像は、カラー画像の輝度成分から構成され、前記出力画像は、前記カラー画像の強調された輝度成分を表し、オリジナルの前記輝度成分に対する前記強調された輝度成分の割合は、前記カラー画像のＲＧＢ成分をスケーリングするために使用される、
    請求項１記載の方法。
13. 入力画像に基づいて出力画像を計算する装置であって、
    当該装置は、
    前記入力画像を複数のサブ画像に分割する分割手段と、前記複数のサブ画像のそれぞれは、前記入力画像のそれぞれの周波数帯域からの情報を含み、
    前記入力画像における画素の値の強調のために利用可能なマージンを定量化する画素のヘッドルーム信号を計算する第一の計算手段と、前記画素のヘッドルーム信号は、少なくとも部分的に前記入力画像に基づいており、
    前記画素のヘッドルーム信号により定量化されたマージンが、変更されるべきそれぞれのサブ画像にわたり広がるように、前記画素のヘッドルーム信号に依存して、変更されるべきそれぞれのサブ画像内の画素について画素の強調のファクタを計算する第二の計算手段と、
    前記それぞれのサブ画像からの前記画素のエンハンスメントファクタ及び対応する画素値を使用することで、変更されるべきそれぞれのサブ画像を変更する変更手段と、
    前記変更されたサブ画像を使用することで前記出力画像を生成する生成手段と、
    を有することを特徴とする装置。
14. 記録媒体で実現されるコンピュータプログラムであって、
    実行されたとき、コンピュータに、請求項１乃至１２の何れか記載の方法のステップを実行させる命令を含む、
    ことを特徴とするコンピュータプログラム。
15. 画像を形成する画素値と、
    前記画像の強調を可能にする画素のエンハンスメントファクタのセットとを含み、
    生成される画素のエンハンスメントファクタは、請求項１乃至１２の何れか記載の方法を使用する、ことを特徴とする画像信号。

Images