JP5100121B2 - 事前に計算されたサンプルをモザイキングすることでフィルムグレインをシミュレートするための方法 - Google Patents

Description

本発明は、画像におけるフィルムグレインをシミュレートするための技術に関する。

この出願は、２００３年９月２３日に提出された米国特許仮出願シリアル番号６０／５０５，１４６号に対するＵ．Ｓ．Ｃ１１９（ｅ）の優先権を主張するものであり、その教示は本明細書に盛り込まれる。

本発明者により立案され、本出願人に譲渡された先の出願は、圧縮前に画像からグレインをはじめにフィルタリングすることで、デコードされたビデオストリームにおけるフィルムグレインをシミュレートすることを提案している。ビデオストリームは、圧縮を受け、圧縮前にストリームに存在していたフィルムグレインに関する情報を含むメッセージと共に受信するため、デコーダへのその後の送信を受ける。圧縮されたビデオストリーム及びグレインを含んだメッセージの受信に応じて、デコーダは、圧縮されたストリームをデコードし、次いで、グレイン情報のメッセージの内容に基づいてフィルムグレインをシミュレートすることで、画像の本来の概観を回復する。フィルムグレインのメッセージは、符号化ビデオストリームを伴うＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）メッセージの形式をとる。

この方式でのフィルムをシミュレートすることは、フィルムグレインの保存が重要となる高品質のアプリケーション向けの大きなビットレートの節約を提供する。しかし、このフィルムグレインをシミュレートする方法は、デコーダがフィルムグレインを再生し、送信されたフィルムグレイン情報のメッセージにより規定されたようにデコードされたビデオストリームとフィルムグレインをブレンドするので、デコーダの複雑さを増加する。

したがって、従来技術の問題点を克服する、フィルムグレインをシミュレートする技術が必要とされている。

要するに、本発明は、入力画像ブロックにおけるフィルムグレインをシミュレートする方法を提供する。本方法は、入力画像ブロックについて少なくとも１つの画像パラメータの平均値をはじめに計算することで始まる。その後、フィルムグレインブロックは、その画像パラメータが入力画像ブロックの画像パラメータに最も密に整合する少なくとも１つの前に確立されたフィルムグレインブロックのプールから選択される。次いで、選択されたブロックは、入力画像ブロックと混合される。

入力画像との混合のために事前に確立されたフィルムグレインの少なくとも１つのプールからフィルムグレインブロックを選択することは、先の方法により行われたデコーダでのフィルムグレインをシミュレートすることに関連する複雑さを低減する。さらに、事前に確立されたフィルムグレインブロックの少なくとも１つのプールからフィルムグレインブロックを選択することは、独立に生成されたフィルムグレインブロックの間で遷移するときに生じる場合があるアーチファクトを低減する。

本発明によれば、画像におけるフィルムグレインをシミュレートすることは、事前に確立された個々のフィルムブロックをモザイキングすることで行われる。個々のフィルムブロックに関する用語「モザイキング（ｍｏｓａｉｃｉｎｇ）」とは、サイズ的に小さい個々のフィルムグレインブロックをブレンドすることでコンポジット画像を構築することを意味する。事前に確立されたフィルムグレインのサンプルをモザイキングすることで、フィルムグレインのシミュレーションの利点を理解するため、従来のフィルムグレインのシミュレーションの説明が役に立つことがわかる。

図１は、ブロック毎にフィルムグレインをシミュレートとする従来の方法のステップを示すフローチャートである。図１の方法は、ステップ１０の間にシステム変数を始めに初期化することで始まる。ステップ１２の間、Ｎ×Ｍ画素（Ｎ及びＭはゼロよりも大きい整数）のブロックのセットの連続する１つは、入力画像１３から読み取られる。ステップ１２の間のブロックの読み取りは、ラスタスキャンの順序で行われる。ステップ１２の前に、入力画像１３は、典型的に、フィルムグレインを除去するか又は少なくとも減衰するためにフィルタリングを受け、これに続いてＮ×Ｍ画素のオーバラップしないブロックを生じるための分解を受ける。最初の画像の圧縮は、フィルムグレインを除去又は減衰するために役立つ。幾つかの例では、入力画像は、初期のフィルムグレインを有さない、これは画像がデジタルで捕捉されたか、及び／又はコンピュータで生成されたかのいずれかであるためである。かかる状況下では、何も存在しないグレインを加えることで画像がエンハンスされる。

以下のステップ１２では、数値的な画像強度の平均は、まさに読取られたブロックについてステップ１４の間に計算される。つぎに、ステップ１６の間に、フィルムグレインパラメータの選択が行われる。選択は、ステップ１４の間に計算された平均の強度値にしたがって入力画像を伴うフィルムグレインメッセージ１７で提供されるフィルムグレインパラメータのセットからなされる。典型的に、フィルムグレインメッセージ１７は、サプルメンタルエンハンスメント（ＳＥＩ）メッセージの形式をとり、その理由のため、用語「ＳＥＩメッセージ」は、以下では、フィルムグレイン情報を含むメッセージを示すときに現れる。フィルムグレイン特性は、強度レベルに依存して変動するため、ステップ１６の間に実行される選択は、抽出された画像ブロックで測定される平均強度に依存して異なるフィルムグレインパラメータを生じる。

ステップ１６の間に選択されたフィルムグレインパラメータを使用して、フィルムグレインサンプルのＮ×Ｍ画素ブロックは、フィルムグレイン画像１９の生成での使用のためにステップ１８の間に発生される。このプロセスを通して生成されるフィルムグレインブロックのそれぞれは、記憶され、オリジナルの入力画像のサイズにマッピングするフィルムグレイン画像を生成するために分解を受ける。この分解プロセスは、先に説明されたようにモザイキングを構成する。ステップ１８に続いて、ステップ１２の間に選択されたブロックが入力画像１１の最後のブロックをなしているかについて、ステップ２０の間にチェックが行われる。更なるブロックが残されている場合、プログラムの実行はステップ１２及びそれに続くステップにブランチする。さもなければ、ステップ２２が生じ、プロセスが終了する。

図２は、Ｎ×Ｍフィルムグレインサンプルのブロックを生成するため、図１のステップ１８を集合的に含む個々のステップを示している。図２のステップは、システム変数の初期化が行われるステップ２００の実行に応じて始まる。その後、Ｎ×Ｍランダム値のブロックの生成は、ＳＥＩメッセージ１７から得られた１以上のパラメータを使用してステップ２０２の間に行われる。ステップ２０４の間に生成されたブロックは、対応するＮ×Ｍの周波数係数のセットを得るため、ステップ２０４の間に離散コサイン変換（ＤＣＴ）を受ける。ＤＣＴ以外の他の変換も使用される。ステップ２０４の間に計算された係数は、ＳＥＩメッセージ１７に含まれる１以上のパラメータに従って計算されたフィルタリング係数により、ステップ２０６の間に周波数フィルタリングを受ける。周波数フィルタリングは、シミュレートされたグレインのサイズを制御する。周波数フィルタリングされた係数は、フィルムグレイン画像１９を生成するため、ステップ２０８の間に逆離散コサイン変換（ＩＤＣＴ）を受ける。このプロセスは、周波数領域でフィルタリングプロセスを制御する高い方の遮断周波数及び低い方の遮断周波数と同様に、雑音の変動の規定を必要とする。ビデオ符号化のアプリケーションについて、ＳＥＩメッセージ１７は、典型的に、かかる情報を伝達する。ステップ２０８に続いて、プロセスが終了する。

図３は、原画像とのフィルムグレインのブレンドを達成するデコーダ３００の一部に関するブロック図を示している。デコーダ３００での加算ブロック３１０は、第一の入力としてデコードされた入力画像１３を受信する。図２のフィルムグレイン画像１９は、加算ブロック３１０の第二の入力での受信の前に、デブロッキング（ｄｅ−ｂｌｏｃｋｉｎｇ）フィルタ３１４でのデブロッキングを受ける。加算ブロック３１０は、入力画像１３とフィルムグレイン画像１９とを加算し、フィルムグレインを含む出力画像３１６を生成する。個々のフィルムグレインのブロックは独立に生成されるので、アーチファクトは、ブロック間の遷移で知覚される。したがって、デブロッキングフィルタ３１４は、フィルムグレインのモザイキングから生じる視覚的なアーチファクトを低減するために重要となる。

記載されたように、フィルムグレインのシミュレーションの従来の方法は、入力画像の画素のそれぞれ処理されたブロックとブレンドするため、フィルムグレインの生成を必要とする。対照的に、本発明に係るフィルムグレインのシミュレーションは、制限された数のフィルムグレインブロックが計算されるプールクリエーションプロセスによるフィルムグレインの生成を制限することで、より高い効率を達成する。このアプローチは、フィルムグレインのシミュレーションプロセスの計算上の複雑さを強く低減する。

図４は、フィルムグレインのシミュレーションについて本発明の原理の第一の実施の形態に係る方法のステップを示している。以下に更に詳細に記載されるように、図５のフィルムグレインシミュレーション方法は、かかるブロックのプールから事前に計算されたフィルムグレインブロックを個々に選択することで、フィルムグレインの生成をオン・ザ・フライで有利に回避する。図４の方法は、ステップ４００の間にシステム変数をはじめに初期化することで始まる。つぎに、Ｎ×Ｍ画素の連続したブロックは、入力画像１３からステップ４０２の間に読取られる。ステップ４０２の間のブロックの読み取りは、ラスタスキャンの順序で行われる。先に記載されたように、入力画像１３は、典型的に、全てのそのグレインを除去又は減衰させ、Ｎ×Ｍ画素のオーバラップしていないブロックに分解される（Ｎ及びＭはそれぞれゼロよりも大きい整数）。最初の画像の圧縮は、フィルムグレインを除去又は減衰する役割をする。幾つかの例では、入力画像は、最初のフィルムゲインを有さない、これは、画像がデジタルで捕捉されたか、及び／又はコンピュータにより生成されたかのいずれかであるためである。かかる状況の下で、何も存在しないグレインを加えることは、画像を強化する。

ステップ４０２に続いて、画像パラメータの平均値、典型的に、平均の強度値は、ステップ４０２の間にまさに読取られたブロックについて、ステップ４０４の間に計算される。つぎに、フィルムグレインブロックは、図５に関して以下に記載されるやり方で事前に計算された、事前に確立されたフィルムグレインブロックの少なくとも１つのプールから、ステップ４０６の間に選択される。フィルムグレインブロックの１つのプールに依存するよりはむしろ、多数のプールは、選択が平均の画像の強度に依存して行われるか、又は１以上の他の画像パラメータに依存して行われるかにより存在する。同じ強度レベル及び色成分について、１以上のブロックが利用可能であるとき、選択の基準が規定されるべきである。たとえば、プールからの擬似ランダムなブロックの選択は、低減された数のブロックが利用可能であるときに、パターンの作成を回避するために行われる。また、利用可能なフィルムグレインのブロックのセットの変換されたコピーの使用がなされる。

ステップ４０６の間のブロック選択に続いて、選択されたブロックは、フィルムグレイン画像とのブレンドのためにフィルムグレイン画像ブロック１９を生成する。ステップ４１０に続いて、更なる画像ブロックがステップ４１２の間に残されているかを判定するためにチェックが行われる。更なる画像ブロックが残されている場合、プログラムの実行は、ステップ４０２及びそれに続くステップにブランチする。さもなければ、プログラム実行は、ステップ４１４の間に終了する。

図５は、図４の事前に確立されたフィルムグレインブロックを生成するため、本発明の原理に従う方法のステップを例示している。図５の方法は、全てのシステム変数をリセットするため、ステップ５００の間に初期化をはじめに実行することで始まる。つぎに、ＳＥＩメッセージ１７からフィルムグレインパラメータのセットの選択は、ステップ５０２の間に行われる。その後、フィルムグレインサンプルのＫブロックのセットは（Ｋはゼロよりも大きい整数）、ステップ５０４の間にＳＥＩメッセージ１７におけるパラメータのそれぞれのセットについて生成される。異なるパラメータのセットは、異なる色成分及び異なる強度レベルを規定する。Ｋ＝１による特定の実現は、最も低い計算上の要件となり、パラメータのセット当たりのフィルムグレインの１ブロックを生成する。しかし、パラメータの生成を回避するため、異なる強度レベルについて多数のブロックの使用又は異なる数のブロックの使用が好ましい。

ステップ５０４に続いて、更なるパラメータのセットが残されているかを判定するため、ステップ５０６の間にチェックが行われる。更なるセットが残されている場合、プログラムの実行は、ステップ５０２及びそれに続くステップにブランチする。さもなければ、プログラムの実行は、ステップ５０８の間に終了する。

事前に確立されたフィルムグレインブロックのプールを生成するために図５に関して記載されるプロセスは、図３に記載されたデコーダ１０で行われるフィルムグレインのブレンドから完全に緩和される。フィルムグレインの生成を期待する計算上の利点にも拘らず、図４のフィルムグレインのシミュレーションの方法は、入力画像がプールに記憶された全てのブロックを利用するかを気付かないままである不便さを受ける。

図６は、入力画像の特性を利用する本発明の原理に係るフィルムグレインシミュレーション方法の代替的な実施の形態を例示している。以下に良好に理解されるように、図６のフィルムグレイン方法は、ＳＥＩメッセージ１７に存在する全ての可能な強度レベルについて経験的にフィルムグレインブロックのプールを生成しない。代わりに、図６の方法は、フィルムグレインブロックの制限されたプールの生成に着手し、入力画像の特性に依存してブロックのプールの更新に着手する。

図６の方法は、全てのシステム変数をリセットするため、ステップ６００の間に初期化をはじめに実行することで始まる。ステップ６０２は、ステップ６００に続き、入力画像１３からＮ×Ｍ画素のブロックの選択が行われる。その後、前に選択された画像ブロックの少なくとも１つの画像パラメータの平均（たとえば画像強度の平均）は、ステップ６０４の間に計算される。ステップ６０６の間、その平均の強度が選択された画像ブロックの平均強度に最も密に整合するフィルムグレインブロックの可用性についてチェックが行われる。かかるブロックが存在しない場合、プログラムの実行はステップ６０８にブランチし、パラメータのセットはＳＥＩメッセージ１７から選択される。つぎに、Ｎ×Ｍフィルムゲインブロックは、ステップ６１０の間に選択されたパラメータから生成される。ステップ６１０の間に生成されたブロックは、事前に計算されたフィルムグレインブロック４０８のプールに入る。ステップ６１２は、ステップ６１０に続く。また、ステップ６１２は、選択された画像ブロックのそれに最も密に整合する平均強度をプールにおけるフィルムグレインブロックが有することの判定に応じて、ステップ６０６に続く。ステップ６１２は、最も密に整合するフィルムグレインブロックの選択は、フィルムグレインブロックのプール４０８から行われる。つぎに、選択されたブロックは、典型的に、フィルムグレイン画像１９を生成するために前に選択されたブロックとモザイクするため、ステップ６１４の間に変換を受ける。このように、変換ブロックは、フィルムグレイン画像とブレンドされる。ステップ６０２の間に選択されたブロックが最後のブロックを構成しているかについて、ステップ６１６の間に判定が行われる。構成していない場合、プログラムの実行はステップ６０２にブランチする。さもなければ、プログラムの実行は、ステップ６１８の間に終了する。

先に記載された方法は、プール４０８が空であるときだけでなく、既存のブロックがブレンドのために最近使用されたときにも、ブロックが利用可能でないかを推定することができる。プール基準及びアップデートプロセスを管理する他の基準も考えることができる。図６の方法は、入力画像の特性に依存して事前に確立されたフィルムグレインブロックのプール４０８をプログレッシブに生成及び／又は更新する。たとえば、プール４０８は、視覚的なパターンの生成を回避するための最も普及している強度レベルで多数のブロックを配置するために編成される。この方式によれば、プール４８におけるフィルムグレインブロックの分散は、暗くなること又は明るくなることに関連する画像特性における変動にプログレッシブに整合する。

上述された内容は、画像におけるフィルムグレインをシミュレートするための教示を説明している。

独立に生成されたフィルムグレインのサンプルをモザイキングすることによるフィルムグレインのシミュレーションのための従来の方法のステップを示すフローチャートである。 図１の方法のためのフィルムグレインブロックを生成するための従来の方法のステップを示すフローチャートである。 出力画像を含むフィルムグレインを生成するための従来のデコーダの一部を示す図である。 フィルムグレインの事前に計算されたブロックをモザイキングすることでフィルムグレインをシミュレートするための本発明の原理の例示的な実施の形態に係る方法のステップを示すフローチャートである。 図４の方法で使用されるフィルムグレインブロックを事前に確立するための本発明の原理の例示的な実施の形態に係る方法のステップを示すフローチャートである。 入力画像の特性から得られたフィルムグレインブロックをモザイキングすることでフィルムグレインをシミュレートするための本発明の原理の別の例示的な実施の形態に係る方法のステップを示すフローチャートである。

Claims (14)

1. 入力画像ブロックにおけるフィルムグレインをシミュレートする方法であって、
   入力画像ブロックについて少なくとも１つの画像パラメータの平均値を計算するステップと、
   その画像パラメータが前記入力画像ブロックの画像パラメータの計算された平均値に最も密に整合するフィルムグレインブロックを、フィルムグレインブロックからなる少なくとも１つの予め設けられたプールから選択するステップと、
   選択されたフィルムグレインブロックを入力画像ブロックと混合するステップと、
   を含むことを特徴とする方法。
2. 前記入力画像ブロックとの混合の前に、前記選択されたフィルムグレインブロックから視覚的なアーチファクトを除くステップを更に含む、
   請求項１記載の方法。
3. 前記フィルムグレインブロックは、画像の強度に基づいて少なくとも１つのプールで編成される、
   請求項１記載の方法。
4. 前記入力画像の特性に従って少なくとも１つのプールを更新するステップを更に含む、
   請求項１記載の方法。
5. 異なるフィルムグレインブロックは、異なる色成分の少なくとも１つについて選択される、
   請求項３記載の方法。
6. 前記混合するステップの前に、前記選択されたフィルムグレインブロックに逆離散コサイン変換を施すステップを更に含む、
   請求項１記載の方法。
7. 複数のフィルムグレインブロックのプールからフィルムグレインブロックを選択するステップを更に含む、
   請求項１記載の方法。
8. フィルムグレインが少なくとも減衰されており且つ入力画像ブロックに分解されている入力画像におけるフィルムグレインをシミュレートする方法であって、
   （ａ）入力画像ブロックのセットのうちの連続するブロックを選択するステップと、
   （ｂ）前記連続するブロックについて少なくとも１つの画像パラメータの平均値を計算するステップと、
   （ｃ）フィルムグレインブロックからなる少なくとも１つの予め設けられたプールのうちから、前記連続するブロックの少なくとも１つの画像パラメータの計算された平均値に最も密に整合する画像パラメータを有するフィルムグレインブロックを選択するステップと、
   （ｄ）前記入力画像における全ての画像ブロックについて、前記ステップ（ａ）〜（ｃ）を繰り返すステップと、
   （ｅ）前記選択されたフィルムグレインブロックを混合してフィルムグレインを含む出力画像を生成するステップと、
   を含むことを特徴とする方法。
9. 前記フィルムグレインのブロックは、画像の強度に基づいて少なくとも１つのプールで編成される、
   請求項８記載の方法。
10. 前記入力画像の特性に従って事前に確立されたフィルムグレインブロックの少なくとも１つのプールを更新するステップを更に含む、
    請求項８記載の方法。
11. 異なるフィルムグレインブロックは、異なる色成分の少なくとも１つについて選択される、
    請求項８記載の方法。
12. 前記ステップ（ｃ）〜（ｄ）を繰り返す前に、前記選択されたフィルムグレインブロックに逆離散コサイン変換を施すステップを更に含む、
    請求項８記載の方法。
13. 複数のフィルムグレインブロックからなるプールからフィルムグレインブロックを選択するステップを更に含む、
    請求項８記載の方法。
14. 前記ステップ（ｃ）〜（ｄ）を繰り返す前に、連続するフィルムグレインブロックから視覚的なアーチファクトを除くステップを更に含む、
    請求項８記載の方法。

Images