JP5706436B2 - デジタル信号処理方法 - Google Patents

Description

デジタルビデオは、画像を表すデジタルデータおよび音声信号を表す別個のデジタルデータを含んでいる。画像を表すデジタルデータは、選択された色空間のコンポーネントに等しい一連の値を含んでいる。（このような値は典型的には圧縮形で保存、送信され、保存および伝送帯域幅の要件を低減しているが、圧縮されたものは関連する色空間に解凍することができる。このような圧縮／解凍は本発明には関係ない。）ビデオ画像の共通色空間には、ＹＵＶ（Ｙは輝度、ＵおよびＶは色差）およびＲＧＢ（赤、緑、青）が含まれている。音声に関しては、デジタルデータは通常、音量に関する値を含んでいる（映像の場合と同様に、音声データは保存／伝送のためにたいてい圧縮されるが、異なる伝送方式が用いられる）。

放送仕様では典型的に、音声データおよび映像データに許容される値の範囲が制限されている。つまり、特定の値は「違法」と見なされる。例えば、ＹＵＶ色空間における画像データに関しては、ＹＵコンポーネントおよびＶコンポーネントの各々は、典型的には８ビットで表される。従って、各々の理論上の範囲は０〜２５５である。しかしながら、０および０に近い値が同期サイクルで、２５５または２５５に近い値が「白すぎる」と見なされるアナログテレビとの過去の互換性を考慮すると、Ｙコンポーネントは典型的には１６〜２３５の範囲に制限され、ＵおよびＶコンポーネントは１６〜２４０の範囲に制限される。同様に、音声値は、短期間の「音量」または長期間（「ラウドネス」として知られる長期間にわたる平均音量）の何れかにわたって高すぎることがある。従って通常、「合法的な」範囲内で放送する前に、これらの「違法な」画像値および音声値を制限または補正することが望ましい。

この問題に対する簡単な解決策として、音声値および画像値全体の線形スケーリングがある。例えば、画像データのＹコンポーネント（１６〜２３５に制限される）に関しては、０〜２５５の範囲を１６〜２３５というより小さな範囲にマッピングする場合にスケーリングを行うことができる。これはＵコンポーネントおよびＶコンポーネント、あるいはＲＧＢ色空間のＲＧＢコンポーネントにも適用することができ、音声データにも適用される。しかしながら、スケーリングは「違法な」値を除く一方で、全ての値の範囲、画像データに関して、画像全体のコントラストや色彩強度を低減して明るすぎるハイライトを下げたり、低くて暗すぎる部分を明るくするだけでなく、全ての中間値にコントラストの低減による影響を与えるという望ましくない効果がある。これは視覚的に見ることができ、望ましいことではない。同様に、音声データに関しては、線形スケーリングによって中間値から低値の範囲における音声のダイナミックコントラストが低減されるが、これも望ましいことではない。

「違法な」音声値および画像値を取り除くための代替手法として、単に違法な値を最大許容値に「引き下げる」ことがある。例えば、画像データ内のＹコンポーネントに関しては、２３６〜２５５の全ての値が最大限度２３５まで引き下げられる。しかしながら、この技術では結果的に、引き下げられたデータ値によって表される画像のコントラストが低減され、最大許容明るさを有する画像領域のサイズが増大することとなる。このことにより、視覚的に好ましくないアーチファクトが放送映像に生じることがある。

従って、上述の技術の望ましくない局面を回避または緩和する、「違法な」画像値および音声値を取り除く、デジタルデータ処理の改善された方法を見つけることが望ましい。

本発明の第１の態様によれば、各データサンプルが視覚特性または音声特性を表す値を有する複数のデータサンプルの形態で、画像および／または音声をデジタル処理する方法が提供される。該方法は、データ値の第１所定範囲外の値を有するデータサンプルの第１セットを識別するステップと、データ値の第２所定範囲外の値を有するデータサンプルの第２セットを識別するステップであって、第２所定範囲は第１所定範囲内であるステップと、データサンプルの第１セットおよび第２セットのデータ値に非線形スケーリングアルゴリズムを適用して、第１所定範囲内のデータ値を有する修正データサンプルのセットを生成するステップとを含み、データサンプルの第１セットの識別後、第１セット内における、所定のマージンを超えない分だけデータ値の第１範囲を外れる値を有するデータサンプルの数を決定し、決定したデータサンプルの数が所定数以下である場合にはさらなる方法のステップを行わず、残りの方法のステップを行うことを特徴とする。

本方法は、複数のデータサンプルの最大値および最小値を決定し、非線形スケーリングアルゴリズムが、該最大データサンプル値または最小データサンプル値の内の一つに依存するようにするステップをさらに含むことができる。

本方法は、データサンプルの複数の第１セットおよび第２セットを識別するステップであって、データサンプルの各第１セットは、データサンプルの対応する第２セットのサブセットであり、一つ一つの第２セットは、時間的または空間的に接続されているステップをさらに含むことができる。加えて、本方法は、各々の第１セット内の最大および最小データサンプル値を決定するステップと、最大値または最小値の各々に依存する非線形スケーリングアルゴリズムを、データサンプルの対応する第１セットおよび第２セットの内の一つに適用するステップとをさらに含むことができる。データサンプルの各々の第２セットは、データ値の対応する第２所定範囲を有することができる。

非線形スケーリングアルゴリズムは、データセットの対応するデータ値とは関係なく、１つまたは複数のデータサンプルにおいてデータサンプルの対応する第１セットおよび第２セットに適用することができる。

非線形スケーリングアルゴリズムは、少なくとも一つの非線形スケーリング係数を含むことができる。複数のデータサンプルが画像データを表す場合、非線形スケーリング係数はガンマ補正値とすることができる。一方で、複数のデータサンプルが音声データを表す場合、非線形スケーリング係数は対数値とすることができる。

所定マージンは、プラスマイナス３％とすることができる。所定数は最大で５％までとすることができる。

本発明の第２の態様によれば、指示データを含む、またはデータ処理ハードウェアに上述の方法を実行させるコンピュータプログラムプロダクトが提供される。

本発明の実施形態を、添付の図面を参照して、非限定的な例示のためのみに下記に説明する。

違法な最大値を超える値を有するデータサンプルのセットの概略図である。 従来技術の合法化後の図１からのデータサンプルの概略図である。 本発明によるデータ処理を行う前の、データサンプルの第１セットおよび第２セットの概略図である。 本発明の実施形態による、処理後の図３のデータサンプルの概略図である。 本発明の実施形態による、「接続領域」の概略図である。

図１は変動値のデータサンプル２のセットの概略図である。例えばデータ値は、映像フレームからの輝度値（Ｙ）またはデジタル音声信号における振幅レベルを表すものとする。破線４は、データサンプル２の所定の最大法定値を表している。従って、示されたデータサンプルのセットに関しては、サンプルＡ〜Ｄのセットが最大値を超えており、よって「違法」と見なされることがわかる。

ビデオリーガライザなどの既知の従来技術のスキームにおいては、サンプルＡ〜Ｄのセットの最大値は、図２に示すように、破線４によって表される最大値に一様に引き下げられる。しかしながらこれは図１および図２に丸で囲んだデータサンプルで示すように、許容最大値を表すサンプル数を増やすという望ましくない効果がある。先述のように、これは映像または音声のコントラストを低減し、画像データの場合においては、最大許容明るさ（輝度Ｙを表すデータサンプルの例において）を有する画像領域のサイズを増大させるというさらに好ましくない効果がある。

本発明の実施形態において、これらの欠点は、非線形スケーリングアルゴリズムを、違法値を有するこれらのデータサンプルだけでなく、以後標準値（knee value）と称する、第２閾値を超えるデータ値を有するデータサンプルのさらなるセットにも適用することによって対処される。図３は、種々の値の素数に対するデータサンプルのセットの概略図である。上限法定値は破線４で示されており、データサンプルＢ〜Ｃは、この上限値を超える値を有するデータサンプルのセットを形成している。点線６は上限標準値を表しており、これは破線４によって表される上限法定値内にある。従って、データサンプルＡ〜Ｄのより広範なセットは、上限標準値を超える値を有している。本発明の実施形態において、制限値を超える値を有するデータサンプルのセットも、標準値と上限法定値の間の値を有するデータサンプルのさらなるセットもどちらも識別され、非線形スケーリングアルゴリズムが両方のセット内のデータサンプルの全てに適用される。図４は、本発明の実施形態に従ってデジタル処理された後の、図３に示すデータサンプルに対応するデータサンプルの概略図である。図に示すように、Ａ〜Ｄのサンプルの全てのデータ値は、どのデータ値も「違法な」データ値を持たないような値に修正されている。すなわち、全てのデータ値は、破線４によって示される法定データ値の範囲内にある。非線形スケーリングアルゴリズムを、違法データ値（Ｂ〜Ｃ）と標準値および上限法定値（Ａ〜Ｂ，Ｃ〜Ｄ）との間にあるデータ値の追加セットの両方に適用することによって、局所最小値または局所最大値が維持される。例えば、図３において、元の未処理画像（例えばビデオ画像において局所的な明るい領域を表す）内に丸で囲んで示す局所最大値は、本発明の実施形態による処理を適用した後も保たれる。図４においては、同じ３つのデータ値が依然として局所最大値を表している。

図３および図４は許容最大法定値を超えるデータ値の例を表しているが、許容最小法定値を下回るデータ値には逆の状況が適用できることが理解できよう。本発明の好適な実施形態において、データのスケーリングは、データサンプルの実際の最小値および最大値に依存して行われる。従ってそれらの値は、スケーリングアルゴリズムを適用する前に決定しておかねばならない。

スケーリングアルゴリズムは任意の非線形方程式に基づくことができる。適切なスケーリング方程式の例を以下に示す。
Ｐ_０＝ｇｍ×（Ｐ_ｉ＋（ｒｆ−（（Ｐ_ｉ−ｕｋｖ）×（（ｍｖ−ｕｌｖ）／（ｍｖ−ｕｋｖ）））））
ここで、Ｐ_０＝出力画素値
ｇｍ＝非線形スケーリング係数
Ｐ_ｉ＝入力画素値
ｒｆ＝０＜ｒｆ＜０．９９の範囲における、浮動小数点値の整数への変換に基づく四捨五入係数
ｕｋｖ＝上限標準値
ｕｌｖ＝上限値
ｍｖ＝最大値
である。

スケーリング係数ｇｍは、データサンプルが派生する元の信号によって異なることがある。例えば、元の信号がビデオ信号（動画）の場合、スケーリング係数は既知の「ガンマ補正値」と同じであってもよい。「ガンマ補正値」はたいていビデオ値に適用され、ビデオ値が線形に見えるようにする。ただし、デジタル値には適用されない、というのも、明るさに対する人間の目の反応は非線形だからである。この状況において、スケーリング係数ｇｍは、標準ガンマ補正表を使った画素値に基づくことができる。あるいは、元の信号が音声信号である場合、スケーリング係数ｇｍは、音声レベルに対する人間の反応が非線形であるという事実を考慮して選択することができる。この状況において、スケーリング係数ｇｍは、音量に対する対数反応曲線を考慮に入れることができる。同様に、さらなる非線形スケーリング係数が必要でない場合、スケーリング係数ｇｍは単に１の値を有することができる。

最小法定値を下回るデータ値のスケーリングには、逆の方程式を適用することが理解されよう。

上述のように、スケーリングアルゴリズムを適用する前に、スケーリングされるデータ値の最大（または最小）値を決定する必要がある。本発明の第１実施形態において、必要な個々のデータサンプルに同一のスケーリングアルゴリズムを適用する前に、全てのデータサンプルの最大および／または最小データ値を決定することができる。例えば、ビデオ画像の場合、全体的なビデオフレームからのこれらのデータサンプルの最大および／最小データ値は、これらのそれぞれの値をそのビデオフレームの必要な全てのデータサンプルのスケーリングに使用する前に決定することができる。

アナログ的なやり方では、音声信号全体からの最大または最小値を、最大または最小法定値を超えるこれらの音声サンプルの単一のスケーリングアルゴリズムに適用する前に決定することができる。これはデジタルシステムにおいて、計算的に簡単に、そして迅速に実行することができる。

しかしながら、本発明のさらなる実施形態では、代替戦略を用いることができる。ビデオ画像の例を再度使用すると、画素値（データサンプル値）は通常、ビデオフレーム内において、そしてあるビデオフレームから次のビデオフレームへと、高度に関連付けられる。そうして、典型的に画像内に類似する画素値の範囲があり、類似の画素値のこれらの領域が、あるフレームから次のフレームへと移動するようにする。従って、ビデオデータ内の画素値は、画像内で比較的徐々に変化し、単一の画素というよりもむしろ、特定のビデオフレームのいくつかの部分において接続された高い（または低い）画素値のセットを形成する高値の領域および低値の領域になる傾向がある。これは図５に概略的に示されている。図５では、画像内の３つの「接続領域」１０が示されており、ここで、画素値は実線で示す上限標準値を超えており、違法な（最大値以上の）値はこれらの領域内に点線で示されている。従って、本発明の実施形態では、個々の「接続領域」のための最大／最小データ値は、対応する個々のスケーリングアルゴリズムにおいて決定され、利用される。すなわち、所与の「接続領域」に関しては、その接続領域の最大／最小値のみがスケーリングアルゴリズムに適用され、該スケーリングアルゴリズムは、違法値およびその特定の接続領域の標準値以上の違法値のみに適用される。このことによって、各々の「接続領域」において最適化されたスケーリングが提供されるが、より計算集約的である。

本発明のその他の実施形態において、「接続領域」の構想は、さらに一つの段階をとる。ビデオデータにおいて、所与のビデオフレームの前および後のフレームは典型的には高度に関連付けられており、よくあることだが、ある領域があるフレームから次のフレームへと徐々に明るく（または暗く）なる場合、上限最大値以上（または最小値以下）である前または後のフレーム内に画素値がなくても、本発明のスケーリングを、前および後のビデオフレーム内の対応する接続領域に適用することができる。このことによって出力ビデオがさらに視覚的に改善される。

上限および下限標準値の一つ一つの値は、複数の接続領域にわたって使用することができる。あるいは、異なる上限および下限の標準値を異なる接続領域のために使用することができる。

放送仕様（例えば、ヨーロッパ放送連合の放送仕様）の中には、より「寛大な」制限を指定しているものもある。例えば、「ＹＵＶは一定の範囲内でなくてはならないが、個々の画像の最大５％までは、範囲をプラスマイナス３％超えてよい」といったものである。これは、先ず「法定の」上限または下限を許容される追加マージン、例えば３％を超えない分だけ超える値を有する識別されたデータサンプルの数を決定する、本発明のいくつかの実施形態によって対応される。決定されたデータサンプルの数がそれ自身許容追加マージン、例えば５％以内である場合、スケーリングは発生しない、そうでなければ、上述のスケーリング方法を適用して、上限または下限を超える全てのサンプルのスケーリングを行う。追加のサンプル値マージン、例えば３％は、放送規格によって予め定められ、規格毎に異なり、「法定の」上限および下限に対して異なる値を有することができる。同様に、これらのマージンを超える可能性のある所与のデータセット、例えばビデオフレーム内のデータサンプルの数は、規格によって異なる。

Claims (11)

1. 各データサンプルが視覚特性または音声特性を表す値を有する複数のデータサンプルの形態で、画像および／または音声をデジタル処理する方法であって、
   データ値の第１所定範囲外の値を有するデータサンプルの第１セットを識別するステップと、
   データ値の第２所定範囲以外の値を有するデータサンプルの第２セットを識別するステップであって、該第２所定範囲は前記第１所定範囲内である第１のステップと、
   前記データサンプルの第１セットおよび第２セットのデータ値に、複数の非線形スケーリング係数を含む非線形スケーリングアルゴリズムであって、複数の非線形スケーリング係数のうち少なくとも一つが、画像データの場合には人間の目の非線形な反応に、音声データの場合には人間の耳の非線形な反応に基づくような非線形スケーリングアルゴリズムを適用して、前記第１所定範囲内のデータ値を有する修正データサンプルのセットを生成する第２のステップとを含む方法において、
   前記データサンプルの第１セットの識別後、該第１セット内における、所定のマージンを超えない分だけ該データ値の前記第１所定範囲を外れる値を有するデータサンプルの数を決定し、前記決定したデータサンプルの数が所定数以下である場合には前記第１及び第２のステップを行うことなく他のステップを行うことを特徴とする方法。
2. 請求項１に記載の方法において、前記複数のデータサンプルの最大値および最小値を決定するステップをさらに含み、前記非線形スケーリングアルゴリズムは、前記最大値または前記最小値の内の一つに依存する方法。
3. 請求項１に記載の方法において、時間的に接続された一連の視覚的画像内で前記データサンプルの複数の第１セットおよび第２セットを識別するステップをさらに含み、データサンプルの各第１セットは、空間的に接続された領域内に位置するとともにデータサンプルの対応する第２セットのサブセットであり、各第２セットは、前記第１及び第２セットの対応する位置が少なくとも部分的に重複する、後のまたは前の視覚的画像内における空間的に接続された領域内に位置する、方法。
4. 請求項３に記載の方法において、視覚的画像内の各々の第１セット内の最大および最小のデータサンプル値を決定するステップと、前記非線形スケーリングアルゴリズムを、時間的に前のまたは後の視覚的画像内からのデータサンプルの前記第１セットおよび第２セットの内の対応するセットに、前記前のまたは後の視覚的画像内の該データサンプルの値が前記第１所定範囲の外に位置するか否かにかかわらず適用するステップとをさらに含む方法。
5. 請求項４に記載の方法において、データサンプルの各第２セットは、データ値の対応する第２所定範囲を有する方法。
6. 請求項３に記載の方法において、前記非線形スケーリングアルゴリズムは、対応するデータセットのデータ値とは関係なく、一つまたは複数のデータサンプル内のデータサンプルの対応する第１セットおよび第２セットに適用される方法。
7. 請求項１に記載の方法において、前記複数のデータサンプルが画像データを表す場合、前記非線形スケーリング係数はガンマ補正値である方法。
8. 請求項１に記載の方法において、前記複数のデータサンプルが音声データを表す場合、前記非線形スケーリング係数は対数値である方法。
9. 請求項１に記載の方法において、前記所定のマージンはプラスマイナス３％である方法。
10. 請求項１に記載の方法において、前記所定数は最大で５％までである方法。
11. 請求項１乃至１０の何れか一項に記載の方法をデータ処理ハードウェアに実行させる指示データを含む、コンピュータプログラム。

Images