JP4017318B2 - 高能率符号化における前処理装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
この発明は、ＭＰＥＧ−２映像符号化に限定するものではないが、ＭＰＥＧ−２映像符号化を含む高能率符号化における前処理装置に係り、特に、低ビットレート時に発生する符号化歪を目立ちにくくするため、かつ符号化を容易にするため、符号化を行うに先立ち、符号化の難易度（アクティビティという）に応じて可変するプリフィルタを用意する技術に関するものである。
【０００２】
【従来の技術】
高能率符号化装置におけるプリフィルタの従来技術は、一例として、図８に示すような空間的な空間ＬＰＦ８１と時間的な時間ＬＰＦ８４とがあり、入力映像信号から何らかの手段で制御器８２で制御信号を発生し、空間ＬＰＦをかけたものとかけないものを制御信号によって、混合器８３で切換えもしくは適応的に混合する。時間ＬＰＦの多くは、いわゆるフレーム間ノイズリデューサで構成され、制御信号に適応して差分信号を抑圧する。
【０００３】
図８における空間ＬＰＦ８１と混合器８３とが制御信号によってその周波数特性が変化する様子を図９に示す。
太線９１が制御信号に適応して決まるある混合比における周波数特性である。このような従来技術で、良好な効果を得ようとすると、空間ＬＰＦ８１の通過帯域をかなり狭くしなければならない。また、中域から高域にかけた成分は、制御信号に応じてその帯域周波数特性がかなり変化する。このことは、高域成分を完全に遮断することができないことを意味し、高能率符号化装置において高域成分が残っているため高い符号化効率が得られない欠点があった。
【０００４】
【発明が解決しようとする課題】
従来技術の問題点を解決する方法は、高域成分の振幅抑圧を制御するのではなく、通過帯域そのものを制御することである。一例として、図１に示すような周波数特性を実現することにある。すなわち、制御信号に応じて周波数特性を図面上で左右に変化させ振幅の小さな高域成分を遮断することを実現することにある。このためには複数の異なる遮断特性を有するＬＰＦを用意するが、その通過帯域はフル帯域の１／２，１／４，１／８，１／１６のように指数関数的に減少するものが好ましい。符号化がやさしい映像に対しては何もＬＰＦをかける必要はなく、符号化が難しくなるにしたがって遮断する高域成分の振幅を大きくしていき、かつその通過帯域も狭くする必要がある。すなわち、符号化がやさしい映像では、ノイズだけを除去し、符号化が難しくなるにつれて、映像信号自身のもつ高域成分をも除去するよう制御するのが望ましい。
そこで、本発明の目的は、ＭＰＥＧ−２映像符号化などの高能率符号化装置において、低ビットレート時に発生する符号化歪を目立ちにくくするため、かつ符号化をしやすくするため、符号化を行う前に、符号化の難易度（以下、アクティビティという）に応じて可変的なプリフィルタをかけることの可能な高能率符号化における前処理装置を提供せんとするものである。
【０００５】
【課題を解決するための手段】
前述の目的を達成するため、本発明による高能率符号化における前処理装置は、テレビジョン映像の動画像の高能率符号化装置において、予め定められた期間ごとに符号化の難易度を表す物理量であるアクティビティを計算する手段と、Ｎを正の整数とした時、前記アクティビティからＮ個のスレッショルドを発生する手段と、水平、垂直および時間方向の帯域の異なる前記スレッショルドと同一個数すなわちＮ個の低域通過フィルタすなわちＬＰＦと、各前記ＬＰＦにおいて、ｋ番目のＬＰＦの出力と前記ｋ番目のＬＰＦの入力とを比較する手段と、前記比較の差の絶対値がｋ番目の前記スレッショルドより小さい時前記ｋ番目のＬＰＦの出力を出力し、否の時前記ｋ番目のＬＰＦの入力を出力する信号処理手段とを具え、前記ｋ番目のｋを１〜Ｎとし、これらＮ個の信号処理手段をカスケードに接続するよう構成した前処理装置であって、前記アクティビティを計算する手段は、予め定められた期間に所属する画像を予め定められた複数のブロックに分割し、前記ブロックにおいて数学的な分散をブロックアクティビティＡと名付け、前記ブロックにおいて前記ブロックと同一位置、かつ同一サイズの１フレーム前のブロックとの画素同士のフレーム差分を求め、前記ブロック内で前記フレーム差分を２乗平均した値をブロックアクティビティＢと名付け、前記ブロックアクティビティＡと前記ブロックアクティビティＢのうち、値の小さい方をブロックアクティビティと名付け、前記ブロックアクティビティを前記予め定められた期間で平均し、この値を前記アクティビティとして出力し、前記アクティビティからＮ個のスレッショルドを発生する手段は、前記スレッショルドの個数と同数の定数を予め用意し、前記アクティビティの平方根と前記定数の積で前記スレッショルドを発生させ、前記Ｎ個の信号処理手段をカスケードに接続する時、前記カスケードの順番を前記スレッショルドの大きい順とすることを特徴とするものである。
【０００９】
また、本発明による高能率符号化における前処理装置は、前記テレビジョン映像の動画像の高能率符号化装置がＩＳＯ／ＩＥＣ１３８１８−２の通称ＭＰＥＧ−２で規定され、かつメインプロファイルを使用する高能率符号化装置において、前記アクティビティからＮ個のスレッショルドを発生する手段が、前記スレッショルドをＩ、ＰおよびＢピクチャで変えるため、前記スレッショルドと同数の定数を３組み用意し、前記アクティビティの平方根と前記３組みの定数の積で前記Ｉ、ＰおよびＢピクチャ用のそれぞれのスレッショルドを発生させる手段を具えることが好ましい。
【００１０】
【発明の実施の形態】
発明が解決しようとする課題の項に記載した前記従来技術の問題点を解決する方法としてまず第１に想到される方法には、通過帯域の異なるＬＰＦを複数用意し、これをアクティビティと映像信号に含まれる高域成分に応じて切り換える手法がある。しかしながら、この手法では、ＬＰＦの通過帯域が狭くなると長大なタップ長を有し、装置規模が複雑になるという問題を生じる。一方、通過帯域の異なるＬＰＦをカスケードに接続する場合は、１つ１つのＬＰＦが緩やかな遮断特性をもったとしても、これらをカスケードに接続することによって、その総合周波数特性は急峻になり、かつ装置規模も小さくてすむという利点がある。当然のことであるが、テレビジョン映像は、水平、垂直および時間方向にサンプリング構造をもつため、それぞれの方向で、かつ通過帯域の異なるＬＰＦを複数用意する必要がある。また、高域成分の遮断は、あるスレッショルドを設け、該スレッショルド以下の振幅を遮断するようにする。このとき、アクティビティによって、スレッショルドの値を変化させれば、所望のプリフィルタを実現することができると想到される。これを実現させようとするのが第１の発明に係る高能率符号化における前処理装置である。
【００１１】
次に、前記第１の発明では水平、垂直および時間方向の帯域の異なる複数個のＬＰＦを備え、これらをカスケード接続している。前記第１の発明ではあるスレッショルド以下の高域成分はある程度除去されるものである。通過帯域の広いＬＰＦで除去されない高域成分は、帯域の狭いＬＰＦでも除去されない確率が高い。このため、カスケードの順は通過帯域の広い順が好ましい。しかしながら、テレビジョン信号は、水平、垂直および時間方向のサンプリング構造をもつ信号であるから、通過帯域の帯域の広さを簡単に表現することはできない。一方、スレッショルドは通過帯域が広いＬＰＦほどその値が大きいため、通過帯域の広い順をスレッショルドの大きい順とすることができる。ここのところを明確に規定したのが第２の発明に係る高能率符号化における前処理装置である。
【００１２】
さらに、前述のごとくスレッショルドが大きいほど高域成分が除去される。これは、映像にぼかすことによって符号化を容易にしようと企てるものである。絵柄によって、符号化のやさしい映像ではぼかす必要はない。すなわち、スレッショルドを小さくしてよい。一方、符号化の難しい映像では、映像をぼかし、符号化を容易にする必要がある。すなわち、スレッショルドを大きくする。このため、予め定められた期間、例えば、フレーム間隔ごとに、符号化の難易度の指標であるアクティビティを計算する必要がある。アクティビティの従来技術としては、数学的な分散が用いられる。これは、ある定められたサイズのブロック（たとえば、ＤＣＴブロックでは８×８、マクロブロックでは１６×１６）で分散を計算し、これを、ある決められた期間、たとえば、１フレームで平均化したものである。この方法では、高域成分が多いほど、すなわち、高精細な映像はたとえ静止画であってもアクティビティが高いという結果になる。本発明の主旨は、高精細であってもフレーム差分が小さければアクティビティが低いと検出する。このため、予め定められたサイズのブロックに対し、フレーム内の分散とフレーム間の差分の２乗平均のうち、小さい方を選択することによってこの間題を解決している。この点を明確に規定したのが第３の発明に係る高能率符号化における前処理装置である。
【００１３】
次に、アクティビティから通過帯域の異なるＬＰＦにおいて高域成分を除去するためのスレッショルドを発生させる手段は、一般的には、スレッショルドはアクティビティの関数である。ここでは、装置化の容易さを考慮し、また、アクティビティのディメンションが振幅の２乗、スレッショルドのディメンションが振幅であることから、ディメンションを揃えて比例関係にするという手法を取っている。この点をさらに明確に規定したのが第４の発明に係る高能率符号化における前処理装置である。
【００１４】
テレビジョン映像など動画像の高能率符号化装置がＭＰＥＧ−２映像符号化で、かつメインプロファイルを使用する場合、ピクチャタイプ（Ｉ、ＰおよびＢ）でスレッショルドを変えると効果的である。具体的には、Ｉピクチャでスレッショルドを小さく、続いてＰピクチヤ、Ｂピクチヤの順にそのスレッショルドを大きくするなどである。この辺を明確に規定したのが第５の発明に係る高能率符号化における前処理装置である。
【００１５】
【実施例】
以下、添付図面を参照し実施例により本願発明の実施の形態を詳細に説明する。
まず、本発明を実施するにあたり、表１に示す水平、垂直および時間（フィールド間とフレーム間）の計９種類のフィルタを用意するものとする。フィルタの応答特性をｚ変換で表し、対象画素より遅延しているものをｚのマイナス乗、対象画素より先行しているものをｚのプラス乗で表す。ただし、ｚ^-Lは１ライン遅延、ｚ^+Lは１ライン先行、ｚ^-Vは１フィールド遅延で、インタレースフォーマットの場合は対象画素の直下ラインに位置するもの、ｚ^+Vは１フィールド先行で、インタレースフォーマットの場合は対象画素の直上ラインに位置するもの、そして、ｚ^-Fは１フレーム遅延である。
【００１６】
【表１】

【００１７】
フィルタの構成は、水平フィルタおよび垂直フィルタが３タップ構成、フィールド間フィルタは３タップ構成であるが、第１フィールドと第２フィールドをマージしてこれをひとつのフレームとみなし、垂直方向にフィルタをかける構成である。そして、フレーム間フィルタはフレーム間ノイズリデューサの構成になっている。
本実施例では、４つの水平フィルタが用意されており、これを全てカスケードに接続したときのタップ係数は、（１，２，３，４，５，６，７，８，９，１０，１１，１２，１３，１４，１５，１６，１５，１４，１３，１２，１１，１０，９，８，７，６，５，４，３，２，１）／２５６となり、かなり狭帯域のＬＰＦを構成する。このようなフィルタを空（そら）のように一様な部分に適用することによって、ノイズを低減するなどの効果を期待できる。
【００１８】
図２に本発明の一実施例に係る全体構成例を示す。ある決められた期間ごと、例えば、１フレーム間隔ごと符号化の難易度を測定するアクティビティを計算するアクティビティ計算部２１と、該アクティビティ計算部から複数、ここでは９個のスレッショルドを発生するスレッショルド発生部２２と、該スレッショルド発生部の発生数と同数のここでは表１に示す９種類のＬＰＦ（ＬＰＦ１〜９）を備え、それぞれのＬＰＦは前記スレッショルド発生部によって制御される構成となっている。これら９種類のＬＰＦは、通過帯域の異なる４種類の水平フィルタ、３種類の垂直フィルタ、１種類のフィールド間フィルタ、１種類のフレーム間フィルタである。
【００１９】
垂直および水平フィルタは図３に示す構成例をもつ３タップのＬＰＦである。ここで、遅延器３１，３２を１画素、２画素、４画素および８画素とすることにより表１の水平フィルタを実現し、遅延を１ライン、２ラインおよび４ラインとすることで表１の垂直フィルタを実現する。
今、時系列で表した入力信号をａ(i) とするとき、ＬＰＦの出力信号ｂ(i) は
ｂ(i) ＝(1/2) ａ(i) ＋(1/4) ｛ａ(i-D) ＋ａ(i+D）｝・・・・（１）
で表すことができる。ただし、Ｄは遅延量である。次に、入力信号とＬＰＦ出力信号の差分をとると、
ａ(i) −ｂ(i) ＝(1/2) ａ(i) −(1/4) ｛ａ(i-D)+ａ(i+D) ｝・・（２）
となる。この差分の絶対値（絶対値器３３で求める）があるスレッショルドより小さいときはＬＰＦ側、すなわち、ｂ(i) を出力し、否のときは入力信号ａ(i)を出力する（比較器３４と切替器３５とによる）。
【００２０】
フィールド間フィルタの構成例を図４に示す。ここで１フィールド遅延器４２，４３とは、１フレームあたりの走査線数を２で割り、０．５の端数を切り捨てた走査線分の遅延である。対象画素が第１フィールドの場合は未来の第２フィールドの画素を用い、対象画素が第２フィールドの場合は過去の第１フィールドの画素を用いてＬＰＦを構成するため、フィールドパリティでこれを切替器４５により切り換える。フィールド間フィルタの構成は、第１フィールドと第２フィールドをマージしてこれを順次走査のフレームと見なしたときの３タップ垂直フィルタにすぎない。これ以後の動作は、水平フィルタ、垂直フィルタとも同じである。
【００２１】
図５にフレーム間フィルタの構成例を示す。入力信号と１フレーム前の信号の差分をとり、その絶対値があるスレッショルド以下の場合は１フレーム前の信号を通過させ、否の場合は入力信号を通過させる構成である。このフィルタはフレームメモリを用いたノイズリダクションフィルタである（以上は、第１の発明の説明である）。
【００２２】
次に、第２の発明の構成は、カスケード接続するフィルタの順番を主張するものである。スレッショルドにより画素単位にＬＰＦがかかったり、かからなかったりするため、これは非線形フィルタであり、フィルタの順番が効果を左右する重要なファクタとなる。確率的にＬＰＦのかかる画素が多い方を前段にもってくる方が大きな効果を期待できる。これは、ＬＰＦの通過帯域の広い順であり、通過帯域の広い方がスレッショルドの値も大きく設定されるため、フィルタの順番はスレッショルドの大きい順とする。スレッショルド発生の手段は第４の発明でより具体的に述べられており、第２の発明で説明されている実施例では、その順番を表１の〔定数〕欄に記された値の大きい順としている。ただし、同じ値の場合の順番は問わない。
【００２３】
第３の発明では、アクティビティの計算手法を規定している。図６にそのアクティビティの計算手法の構成を示すが、ここでは、予め定められた期間を１フレームとし、予め定められたブロックのサイズを８×８としている。最初に入力画像の８×８のブロック化６１を行う。ブロック化６１された信号は、ブロック内で平均値が計算６２され、この値が引かれた後２乗６３され、ブロック内でその平均値を計算６４する。この計算は、数学で言う分散そのものである。この値をブロックアクティビティＡと名付ける。次に、ブロック化６１された信号は、１フレーム遅延器６５で１フレーム遅延され、フレーム差分の２乗６６の平均値が計算６７される。この値をブロックアクティビティＢと名付ける。ブロックアクティビティＡとブロックアクティビティＢの小さい方が選択６８され、これをブロックアクティビティと名付け、ブロックアクティビティをフレーム内で積分平均化６９し、この値をアクティビティとして出力する。アクティビティの値は振幅の２乗のディメンションをもち、実測した結果、おおむね、符号化の難しい映像で４００以上、符号化のやさしい映像で１００以下ということができる。
【００２４】
第４の発明では、アクティビティから各フィルタに入力されるスレッショルドを発生は、アクティビティのディメンションが振幅の２乗であることから、その平方根７１をとり、表１の〔定数〕欄に記載された数値７２と乗算７３が行われスレッショルドとされる。このとき、整数以下の端数は切り捨てられる。この構成は図７に示されている。
【００２５】
第５の発明では、高能率符号化装置がＭＰＥＧ−２メインプロファイルに準拠した符号化装置であるとき、ＭＰＲＧ−２ではピクチャタイプとして、Ｉ、ＰおよびＢピクチャが規定されている。また、Ｉ、ＰおよびＢピクチャの量子化制御は、Ｉピクチャが細かく、続いてＰピクチャの順に、Ｂピクチャは最も粗い量子化制御が行われる。これに伴い、スレッショルドも、Ｉ、ＰおよびＢピクチャの順に大きな値に設定する。この一実施例を表２に示す。ここで、Ｉピクチャのフレーム間フィルタの定数はゼロに設定した。これは、Ｉピクチヤではフレーム間のフィルタは不要であることによる。
【００２６】
【表２】

【００２７】
以上、いくつかの実施例により、本発明の実施の形態について説明してきたが、本発明はこれらに限定されることなく、発明の要旨内で各種の変形、変更の可能なことは自明であろう。
例えば、請求項１で規定されたフィルタの実施例は、ここでは装置化が容易であることを念頭に、オクターブ間隔で通過帯域が狭くなるようなものを選び、ＬＰＦはタップ長が３タップとした。別の実施例として、よりきめ細かな制御を行う場合は半オクターブ間隔でもよいし、タップ長もより長いものも選ぶことができる。
また、スレッショルドを決める定数は、想定するビットレートによって変化させるべきである。ビットレートが高ければより小さな定数となり、ビットレートが高ければより大きなビットレートとなることは当然である。これらは、符号化装置のチューニングの過程で決めるべきであり、ここでは、ハイビジョン１８Ｍｂ／ｓを想定し、比較的、符号化の難しい絵柄で最も好ましいと思われる数値を選んだつもりである。定数表はあくまで実施例であり、本発明の実施例としては別の定数表を設定することもできる。
【００２８】
さらに、前述の実施例では、アクティビティを決定する期間として１フレームをとっている。しかしながら、実際の符号化装置では、バッファメモリによる制御は１フレーム時間より緩和である。もし、符号化装置の遅延が許されるなら、１フレーム間隔ではなく３フレーム間隔とかＭＰＥＧ−２でいう１ＧＯＰ間隔とすることもできる。
また、テレビジョン信号は輝度信号のほか２つの色信号があるが、前述の実施例ではアクティビティの計算に使用する信号の種類のことには触れていない。これには、次のオプションが考えられる。
１）輝度信号でアクティビティを算出し、これで発生したスレッショルドを輝度信号と色信号に適用する。
２）輝度信号と色信号のアクティビティを信号レートに比例する重み和でアクティビティを算出し、これで発生したスレッショルドを輝度信号と色信号に適用する。
３）輝度信号と色信号で独立にアクティビティを算出し、スレッショルド発生も独立に行い、それぞれのスレッショルドで独立に輝度信号と色信号に適用する。
１）〜３）のオプションのうち、最も自然なものは２）である。最後に、輝度信号と色信号でスレッショルドを発生させるための定数表は同じものではなく、異なるものを用いる方が好ましいことを付記しておく。
【００２９】
【発明の効果】
本発明高能率符号化における前処理装置によれば、画像の空間的な解像度を低下させ、目立つ符号化歪の発生を抑えることに重きをおいたため、空（そら）のようにテキスチュアのない部分はノイズが低減し、この部分で得られたビットレート低減のゲインが他の部分でも使用され、全体として見やすい画質に改善された。一方、芝生やアスファルト表面のように、振幅変化は小さいが空間的な解像度が高い部分は、その細かいテキスチュアが損なわれ、ややもすると、質感そのものが失われる傾向にある。しかしながら、ブロック歪やモスキート歪などの符号化特有の劣化は、かなりの部分で低減することができるようになった。
【図面の簡単な説明】
【図１】 本発明装置により制御されるべき通過帯域の変化を説明するための図。
【図２】 本発明装置の一実施例に係る全体構成を示す図。
【図３】 本発明装置に係る水平フィルタおよび垂直フィルタの構成例を示す図。
【図４】 本発明装置に係るフィールド間フィルタの構成例を示す図。
【図５】 本発明装置に係るフレーム間フィルタの構成例を示す図。
【図６】 本発明装置に係るアクティビティの計算手法を説明するための図。
【図７】 本発明装置に係るスレッショルドの発生を説明するための図。
【図８】 従来技術の高能率符号化における前処理装置。
【図９】 図８図示の装置で、空間ＬＰＦと混合器が制御信号により通過周波数特性が変化する様子を説明するための図。
【符号の説明】
２１ アクティビティ計算部
２２ スレッショルド発生部
ＬＰＦ１〜９ 低域通過フィルタ１〜９
３１，３２ 遅延器
３３，４６，５２ 絶対値器
３４，４７，５３ 比較器
３５，４５，４８，５４ 切替器
＋ 加算器
− 減算器
４１，４４ １ライン遅延器
４２，４３ １フィールド遅延器
５１，６５ １フレーム遅延器
６１ ブロック化(8×8)回路
６２，６４，６７ ブロック平均化回路
６３，６６ ２乗器
６８ 小さい方の選択器
６９ フレーム平均化回路
７１ 平方根計算器
７２ 定数：表１の〔定数〕欄による
７３ 乗算器（×）
８１ 空間ＬＰＦ
８２ 制御器
８３ 混合器
８４ 時間ＬＰＦ
８５ 高能率符号化装置
９１ 周波数特性の一例

Claims (2)

1. テレビジョン映像の動画像の高能率符号化装置において、予め定められた期間ごとに符号化の難易度を表す物理量であるアクティビティを計算する手段と、Ｎを正の整数とした時、前記アクティビティからＮ個のスレッショルドを発生する手段と、水平、垂直および時間方向の帯域の異なる前記スレッショルドと同一個数すなわちＮ個の低域通過フィルタすなわちＬＰＦと、各前記ＬＰＦにおいて、ｋ番目のＬＰＦの出力と前記ｋ番目のＬＰＦの入力とを比較する手段と、前記比較の差の絶対値がｋ番目の前記スレッショルドより小さい時前記ｋ番目のＬＰＦの出力を出力し、否の時前記ｋ番目のＬＰＦの入力を出力する信号処理手段とを具え、前記ｋ番目のｋを１〜Ｎとし、これらＮ個の信号処理手段をカスケードに接続するよう構成した前処理装置であって、
   前記アクティビティを計算する手段は、予め定められた期間に所属する画像を予め定められた複数のブロックに分割し、前記ブロックにおいて数学的な分散をブロックアクティビティＡと名付け、前記ブロックにおいて前記ブロックと同一位置、かつ同一サイズの１フレーム前のブロックとの画素同士のフレーム差分を求め、前記ブロック内で前記フレーム差分を２乗平均した値をブロックアクティビティＢと名付け、前記ブロックアクティビティＡと前記ブロックアクティビティＢのうち、値の小さい方をブロックアクティビティと名付け、前記ブロックアクティビティを前記予め定められた期間で平均し、この値を前記アクティビティとして出力し、
   前記アクティビティからＮ個のスレッショルドを発生する手段は、前記スレッショルドの個数と同数の定数を予め用意し、前記アクティビティの平方根と前記定数の積で前記スレッショルドを発生させ、
   前記Ｎ個の信号処理手段をカスケードに接続する時、前記カスケードの順番を前記スレッショルドの大きい順とすることを特徴とする高能率符号化における前処理装置。
2. 前記テレビジョン映像の動画像の高能率符号化装置がＩＳＯ／ＩＥＣ１３８１８−２の通称ＭＰＥＧ−２で規定され、かつメインプロファイルを使用する高能率符号化装置である請求項１記載の装置において、前記アクティビティからＮ個のスレッショルドを発生する手段が、前記スレッショルドをＩ、ＰおよびＢピクチャで変えるため、前記スレッショルドと同数の定数を３組み用意し、前記アクティビティの平方根と前記３組みの定数の積で前記Ｉ、ＰおよびＢピクチャ用のそれぞれのスレッショルドを発生させる手段を具えることを特徴とする高能率符号化における前処理装置。

Images