JP2005530423A - 画像鮮鋭度を符号化中に最適化する方法及びシステム - Google Patents

Abstract

本発明は、符号化中に最適量子化パラメータを選定することによってビデオ・データの品質を制御する方法及びシステムである。このシステムは1つ又は複数のマクロブロックに対する量子化を異なる種々のステップ・サイズを用いて量子化を行うよう構成され、更に各々の量子化データについての尖度計算が行われて最高尖度値をもたらすマクロブロック及び相当する量子化ステップを判定する。最高尖度値を生成する量子化ステップ・サイズが符号化中に入力ビデオ・データのブロックに対して選定される。

Description

本発明は、一般的に、画像鮮鋭度を向上させる方法及びシステムに関し、特に、画像の鮮鋭度品質を符号化及び画像強調の処理中に最適化する方法及びシステムに関する。

ビデオの専門家にとっては、視聴者に対して知覚的に最も魅力的なビデオを提供することが究極的な目的となっている。鮮鋭度はビデオ画像における細部の明瞭度に関し、画像のエッジの鮮明度によって大いにかわってくる。画像の相対鮮鋭度は、空間領域において、参照画像と比較したエッジの鮮明度によって測定し得るか、変換領域において、この場合も又該参照に対する、エッジ及び微細部に関連した高周波エネルギにおける差異によって測定し得る。当業者には分かるように、MPEG/JPEG符号化処理中には、８ｘ８ブロックのDCT係数を量子化することによって、コンテンツを喪失してしまい、これは鮮鋭度を左右する一方、ブロッキング・アーティファクトを挿入するものである。該ブロッキング・アーティファクトはエッジ情報を喪失することなく削減し得るが、DCT量子化によってもたらされる鮮鋭度の低下は後処理によって回復し得るものでない。

したがって、本発明は、ビデオ符号化処理中に、量子化によってもたらされる鮮鋭度の低下を算定し、更にこの低下基準を用いて量子化パラメータを選択的に調節して画像の鮮鋭度を保つ方法を提案するものである。

本発明は、ビデオ鮮鋭度の品質を、鮮鋭度基準を量子化パラメータ選定処理に付加して、その結果画像の鮮鋭度が同じビットレート・バジェットに対して向上するように、制御する装置及び方法に関する。

更に別の特徴は本発明を単純で、信頼でき、かつ安価な実現方法で実現し得ることである。

本発明の上記並びに別の特性及び効果は、添付図面に示す好適実施例の以下の詳細説明から明らかとなり、これらの図面においては種々の図を通して同じ部分を表すものである。これらの図面は必ずしも一定の縮小比で描かれたものでない。その代わりに、本発明の原理を示すことが強調されている。

以下明細書では、限定する目的ではなく説明する目的で、特定のアーキテクチャ、インタフェース、手法等のような特定の詳細を示し、本発明を十分分かるようにしている。簡便性及び明瞭性の目的で、周知の装置、回路、及び方法の詳細説明は割愛して本発明の説明を必要のない詳細によって分かりにくくすることのないようにしている。

本発明の理解を深めるために、動画像専門家グループ(MPEG)及びH.263の符号化に関する背景情報について説明する。一般的に、MPEG-2及びH.263の符号化は画像に対して、その画像を１６ｘ１６画素のマクロブロックで、各々がそれと関連した別個の量子化スケール値を有するもの、に分割することによって、実行される。このマクロブロックは更に、８ｘ８画素の個々のブロックに分割される。各８ｘ８画素ブロックは離散コサイン変換（DCT）されてその中にある６４の周波数帯域の各々についてのDCT係数を生成する。８ｘ８画素ブロックにおけるDCT係数は更に、相当する符号化パラメータ、すなわち、量子化重み値、によって除算される。特定の８ｘ８画素ブロックに対する量子化重み値は８ｘ８量子化マトリックスによって表す。その後、別の計算がDCT係数に行われて、特に、量子化スケール値を、とりわけ、考慮に入れ、それによってMPEG-2及びH.263の符号化を完了する。なお、JPEG等の別の符号化手法を本発明において用い得る。MPEG標準に規定されたビデオ情報のフレームには、フレーム間（Ｉフレーム）、前方予測フレーム（Ｐフレーム）及び双方向予測フレーム（Ｂフレーム）の３つの種類のものがある。Ｉフレーム、すなわち実際のビデオ参照フレームは周期的に符号化される、すなわち、１５のフレームの各々に対して一参照フレームとなる。一ビデオ・フレームを合成したものである、Ｐフレームに予測が行われ、このＰフレームは特定フレーム数だけ前方にあり、かつ次参照フレームより前にあるものである。ＢフレームはＩフレームとＰフレームとの間で予測されるか、過去の参照フレームにおけるマクロブロックを将来の参照フレームにおけるマクロブロックによって補間（平均化）することによって予測される。動きベクトルが更に、符号化され、それは現行フレーム中のマクロブロックに対する、参照フレーム中のマクロブロックの相対位置を特定するものである。

通常の当業者が分かるように、多くの統計解析における基本的な作業としてデータ群の位置及びばらつき状態を特徴付けることがある。このデータの特徴付けは歪度及び尖度によって表し得る。歪度は対称性の尺度であり、データ群、すなわち、分布、は、中心点の左と右とが同じように見える場合、対称であるものと考えられる。尖度は、データが正規分布に対して、ピークを有する（先が尖っている）か、平坦であるか、の尺度である。高尖度を有するデータ群は平均値付近に卓越したピークを有し、次に急速に低下し、更に、太く残った端部を有する傾向にある。低尖度を有するデータ群は平均値付近に尖ったピークではなく平坦な上端部を有する傾向にある。通常、尖度は鮮鋭度を、例えば、電子顕微鏡イメージングの走査において、計算するのに用いられている。しかしながら、ＦＦＴ又はＤＣＴの空間周波数分布の尖度は符号化された画像やビデオには適用されていない。したがって、本発明の主要原理は、尖度及び歪度が符号化によってもたらされる鮮鋭度の低下と高い相関があるという認識に依拠するものである。

次に、本発明に関して詳細説明を細部にわたり、図面を参照しながら、行うこととする。以下明細書の冒頭に、当業者に周知の従来の符号器の機能及び符号化手法の詳細説明は明瞭性及び簡潔性の観点から本明細書においては割愛するものとする。

図１は本発明の第１実施例による鮮鋭度制御器１０の簡易ブロック図である。特に、図１に表す実施例は静止画像のＪＰＥＧ符号化中に適用可能である。図１に表すように、鮮鋭度制御器１０はＤＣＴモジュール１２、量子化モジュール１４、鮮鋭度制御モジュール１６、及びエントロピ符号器１８を有して、符号化中に画像鮮鋭度を最適化する。なお、鮮鋭度制御器１０、は言い換えれば、マイクロプロセッサ、中央処理装置、コンピュータ、回路カード又は特定用途向け集積回路（ＡＳＩＣ）を表し得るものであり、更に、ディジタル信号プロセッサを有し得る。

動作上、ディジタル画像データは、アナログ・ビデオ・データから変換された後、鮮鋭度制御器１０に転送される。入力ディジタル画像データは８ｘ８画素ブロック群に変換され、ＤＣＴモジュール１２は各８ｘ８ブロックをＤＣＴ処理してその中にある６４の周波数帯域の各々に対するＤＣＴ係数を生成する。当業者が分かり得るように、ＤＣＴ符号化は、係数を特定のコサイン基底関数の振幅として符号化するよう機能する。通常の動作においては、量子化器１４は、鮮鋭度制御モジュール１６の制御下で、８ｘ８画素ブロックにおけるＤＣＴ係数を、鮮鋭度制御モジュール１６によって選定された特定の量子化パラメータによって、除算する。当業者が分かるように、量子化処理は冗長であるか、画像の十分な知覚に対してあまり重要でない、と考えられる一部の周波数データを意図的に破棄することを伴う。

鮮鋭度制御モジュール１６は量子化中にＤＣＴ量子化パラメータ、すなわち、量子化ステップ・サイズ、を選定する役目を担う。量子化テーブル２０は種々の量子化ステップ・サイズを、鮮鋭度制御モジュール１６が異なる量子化ステップ・サイズを用いて特定のマクロブロックに対する量子化を行い得るように、有する。異なる量子化ステップ・サイズを用いて量子化ＤＣＴ係数を得た後、各々の量子化ＤＣＴ係数に対する２Ｄ尖度計算が行われる。なお、２Ｄ尖度はmxnの画像全体、又はその画像内のいずれかの領域に対する鮮鋭度指標である。その場合、入力ディジタル画像データのブロックの１つの中で最高の尖度値をもたらす量子化ステップ・サイズが鮮鋭度制御モジュール１６によって選定されて通常動作中にDCTモジュール１２からの出力信号を量子化する。その後、鮮鋭度制御モジュール１６によって選定された量子化ステップ・サイズを用いて量子化器１４によって出力された量子化データはエントロピ符号器１８に転送される。通常の当業者が分かるように、量子化DCT係数値は各々、ハフマン符号のような、可変長符号を用いて符号化されて、データ・レートを最小限にする。符号語及び相当する符号長はハフマン・テーブル２２が符号長ルックアップ・テーブルの形式で有する。最後に、エントロピ符号器１８は入力量子化DCT係数値を圧縮して圧縮データを供給し、それによって符号化を完了する。

図２は本発明の第２実施例による鮮鋭度制御器３０の機能ブロック図である。特に、図２に表す実施例は、MPEG及びH.26xITUファミリなどのブロック・ベースのビデオ圧縮で、動きシーケンスを有するもの、に適用可能である。MPEG標準は、「Information Technology−Coding of moving pictures and associated audio-for-digital storage media at up to approximately 1.5 Mbits/s, Parts 1, 2 及び 3, 第１版、西暦1993年8月１日」と題する、国際標準ISO/IEC 11172-1に規定されており、その全編を本明細書及び特許請求の範囲に援用するものとする。なお、更に、鮮鋭度３０は、言い換えれば、マイクロプロセッサ、中央処理装置、コンピュータ、回路カード又は特定用途向け集積回路（ASIC）を表し得るものであり、更に、ディジタル信号プロセッサを有し得る。

図２に表すように、イメージピクチャ・データを有する着信ビデオ・ストリームがビデオ前処理器３２を通過し、８ｘ８画素ブロック群に変換される。ビデオ前処理器３２の出力は動き予測部３４に入力され、該動き予測部は過去のピクチャを現在のピクチャ・データと比較して、ビデオ・ストリームにおけるピクチャ・データを時間的に圧縮する動きベクトルを生成する。通常の当業者が分かるように、過去のピクチャはフレーム・メモリ４６に記憶され、量子化データをIDCT及び量子化のモジュール４４に備えて、画素値を復元するよう逆DCT演算及び逆量子化を経ることによって得られる。動き予測部34の出力はDCT及び量子化のモジュール３６に転送され、該モジュールは各８ｘ８ブロックをDCT処理において変換してその中にある６４の周波数帯域各々に対するDCT係数を生成する。同時に、量子化器１４は８ｘ８画素ブロックにおけるDCT係数を鮮鋭度制御モジュール４２によって選定された特定の量子化ステップ・サイズによって除算する。なお、量子化エラー（量子化DCT係数と非量子化DCT係数との間の差異）は量子化マトリックス及び（MQANTと呼ぶ）量子化スケールによってかわってくる。量子化マトリックスはほとんど一定であるので、量子化パラメータに関する判定は４つの８ｘ８ブロックに基づいて、固定ビット・レートのアプリケーションにおけるバッファ４０のステータスに基づいたマクロブロックの複雑度を考慮して行われる。なお、MPEG標準に示す標準によれば、一度に処理する４つの8x8画素の数は限定されるものである。しかしながら、本明細書及び特許請求の範囲におけるマクロブロックの数は本発明の範囲に制限を設けるものでないものとする。

量子化ステップ・サイズの選定は以下の方法で行われる。まず、鮮鋭度制御モジュール４２は特定の4つのマクロブロックに対する量子化を異なる種々のステップ・サイズを用いて行い、各々の量子化DCT係数に対する尖度計算が行われる。更に、４つのマクロブロックのうちの１つの中の最高尖度値をもたらす量子化ステップ・サイズが鮮鋭度制御モジュール４２によって選定されて動き予測部３４からの出力信号を量子化する。

量子化ステップ・サイズを得た後、動き予測部34の出力が、鮮鋭度制御モジュール４２によって選定された量子化ステップ・サイズを用いて量子化される。DCT及び量子化のモジュール３６によって出力された量子化DCT係数値はラン長符号器３８に転送される。最後に、ラン長符号器３８はDCT部及び量子化器３６の出力を受信してピクチャに対する圧縮データ・パケットを生成し、該パケットは更にバッファ４０に記憶されて符号化ビデオ・ストリームとして出力される。動きベクトルは更に、符号化され、それは現行フレーム中のマクロブロックに対する参照フレーム中のマクロブロックの相対位置を規定する。

図３は本発明の第１と第２の実施例によって量子化処理中にDCT量子化パラメータを選定する動作工程を表す流れ図である。なお、流れ図は、当業者が回路を製造するか、コンピュータ・ソフトウェアを生成して、特定の装置が要する処理を行うのに要する機能的情報を示すものである。

着信ビデオ・データの８ｘ８ブロックは、工程１００で、その中にある６４の周波数帯域の各々に対するDCT係数を得るようDCT演算される。DCT係数は更に、工程１２０で異なるステップ・サイズを用いて量子化されて、冗長であるか画像の十分な知覚に対してあまり重要でない周波数データを破棄する。その後、工程１４０で全ての量子化DCT係数に対して各マクロブロックについて２D尖度計算が行われる。工程１６０では、最高尖度値を有するマクロブロックが判定される。更に、工程１８０で最高の尖度値をもたらしたステップ・サイズを用いてピクチャ全体の量子化が行われる。

図４は本発明の第３実施例によるビデオ/画像処理システム50を示す。例として、システム５０はテレビジョン受信機、セット・トップ・ボックス、ラップトップ型若しくはパームトップ型のコンピュータ、携帯情報端末（PDA）、ビデオ・カセット・レコーダ（VCR）、ディジタル・ビデオ・レコーダ（DVR）、TiVO装置などのようなビデオ/画像記憶装置、更には、これら及び別の装置の部分又は組み合わせを表し得る。図3に表すように、システム５０は1つ又は複数のビデオ/画像源５２、1つ又は複数の入出力装置５４、プロセッサ５６、及びメモリ５８を有する。ビデオ/画像源５２は、言い換えれば、テレビジョン受信器、VCR又は別のビデオ/画像記憶装置を表し得る。入出力装置５４、プロセッサ５６、及びメモリ５８は通信媒体６０によって通信し合い得るものであり、該媒体は、言い換えれば、バス、通信ネットワーク、回路、回路カード又は別の装置の1つ若しくは複数の内部接続、更には、これら及び別の通信媒体の部分及び組み合わせを表し得る。プログラム・メモリ５８は、言い換えれば、ディスク・ベースの光記憶装置又は磁気記憶装置、電子メモリ、更には、これら及び別のメモリ装置の部分又は組み合わせを表し得る。

鮮鋭度制御器１０及び３０に関連した種々の機能的動作は、上記のように、メモリ５８において記憶され、プロセッサ５６によって実行される1つ又は複数のソフトウェア・プログラム/信号処理ルーチンにおいて全体的又は部分的に実現し得る。別の実施例では、しかしながら、ハードウェア回路をソフトウェア命令の代わりか、該命令と組み合わせて用いて本発明を実現し得る。本発明の好適実施例が図示され、説明されたが、当業者には、本発明の真の範囲から逸脱することなく、種々の変更及び修正を行い得るものであり、同等物によってその構成要素を置換し得ることが分かるものである。更に、多くの修正を行って特定の状況及び本発明の開示内容に、その中心的範囲から逸脱することなく、適応し得る。したがって、本発明は、本発明を実施するのに想定された最良実施例として開示された特定の実施例に限定されるものでないが、本発明は本特許請求の範囲内に収まる実施例を全て有することを意図するものである。

本発明の第１実施例によって構築された装置の簡易ブロック図である。 本発明の第２実施例によって構築された装置の簡易ブロック図である。 本発明によるビデオ品質の鮮鋭度を制御する動作工程を示す流れ図である。 本発明の第３実施例によって構築された装置の簡易ブロック図である。

Claims (19)

1. ビデオ・データの鮮鋭度品質を制御する方法であって：
   入力ビデオ・データをブロックに変換する工程；
   該入力ビデオ・データの該ブロックに離散コサイン変換（DCT）を行ってDCT係数のブロックを生成する工程；
   該DCT係数の該ブロックの１つに最高尖度出力を備える量子化パラメータを選定する工程；及び
   該選定量子化パラメータを用いて該DCT係数の該ブロックを量子化して量子化データを生成する工程；
   を有することを特徴とする方法。
2. 請求項１記載の方法であって、更に：
   該量子化データを所定の、標準準拠パケットに符号化する工程；及び
   該標準準拠パケットを送信する工程；
   を有することを特徴とする方法。
3. 請求項２記載の方法であって、該符号化する工程がハフマン符号を用いて行われることを特徴とする方法。
4. 請求項１記載の方法であって、該DCT係数の該ブロックの１つに最高尖度出力を備える量子化パラメータを選定する工程が、更に：
   所定の種々のステップ・サイズを用いて該DCT係数の該ブロックを量子化し、該量子化ブロックの尖度を判定する工程；及び
   該最高尖度出力をもたらす、該DCT係数の該ブロックの１つ並びに該ブロックに相当するステップ・サイズ、を判定する工程；
   を有することを特徴とする方法。
5. 請求項１記載の方法であって、該入力ビデオ・データがJPEG信号とMPEG信号とのうちの１つであることを特徴とする方法。
6. 入力ビデオ・データの鮮鋭度品質を制御する装置であって：
   該入力ビデオ・データをブロックに変換する手段；
   該入力ビデオの該ブロックをDCT係数のブロックに変換する手段；
   該入力ビデオの該ブロックをDCT係数のブロックに変換する手段からの出力を、量子化パラメータを用いて、適応的に量子化して量子化データを生成する量子化器；及び
   該量子化器に結合されて、該量子化パラメータを、所定の種々のステップ・サイズを用いて該DCT係数の該ブロックを量子化し、該量子化ブロックの尖度を計算することに基づいて、選定し、最高の尖度をもたらす該ステップ・サイズの１つを該量子化パラメータとして選定する、鮮鋭度制御器；
   を有することを特徴とする装置。
7. 請求項６記載の装置であって、更に：
   該量子化データを所定の、標準準拠パケットに符号化する符号器；
   を有することを特徴とする装置。
8. 請求項６記載の装置であって、該尖度が該入力ビデオ・データの該ブロックの鮮鋭度品質を示すことを特徴とする装置。
9. 請求項６記載の装置であって、該入力ビデオ・データがJPEG信号とMPEG信号とのうちの１つであることを特徴とする装置。
10. ビデオ・データの鮮鋭度品質を制御する方法であって：
    入力ビデオ・データをブロックに変換する工程；
    該入力ビデオ・データの該ブロックに動き予測解析を行って参照信号を生成する工程；
    該入力ビデオ・データの該ブロックに離散コサイン変換(DCT)を行ってDCT係数のブロックを生成する工程；
    該DCT係数の該ブロックの１つに最高尖度出力を備える量子化パラメータを選定する工程；
    該選定量子化パラメータを用いて該DCT係数の該ブロックを量子化して量子化データを生成する工程；及び
    該量子化データと該参照信号とを所定の、標準準拠パケットに符号化し、該標準準拠パケットを送信する工程；
    を有することを特徴とする方法。
11. 請求項１０記載の方法であって、更に：
    該標準準拠パケットを、後に送信するよう、記憶する工程；
    を有することを特徴とする方法。
12. 請求項１０記載の方法であって、更に：
    該量子化データを、逆量子化し、復元データに変換する工程；及び
    該復元データを、該参照信号を後に生成するよう、記憶する工程；
    を有することを特徴とする方法。
13. 請求項１０記載の方法であって、該DCT係数の該ブロックの１つに最高尖度出力を備える量子化パラメータを選定する工程が、更に：
    該DCT係数の該ブロックを所定の種々のステップ・サイズを用いて量子化し、該量子化ブロックの尖度を判定する工程；及び
    該最高尖度出力をもたらす、ブロック並びに該ブロックに相当するステップ・サイズ、を判定する工程；
    を有することを特徴とする方法。
14. 請求項１０記載の方法であって、該入力ビデオ・データがJPEG信号とMPEG信号とのうちの１つであることを特徴とする方法。
15. 入力ビデオ・データの鮮鋭度品質を制御する装置であって：
    該入力ビデオ・データをブロックに変換する手段；
    該入力ビデオ・データの該ブロックに動き予測解析を行って参照信号を生成する手段；
    該入力ビデオの該ブロックをDCT係数のブロックに変換し、該DCT係数の該ブロックを、量子化パラメータを用いて、量子化して量子化データを生成する手段；
    該入力ビデオの該ブロックをDCT係数のブロックに変換する手段に結合されて、該量子化パラメータを、所定の種々のステップ・サイズを用いて該DCT係数の該ブロックを量子化し、該量子化ブロックの尖度を計算することに基づいて、選定し、最高の尖度をもたらす該ステップ・サイズの１つを該量子化パラメータとして選定する、鮮鋭度制御器；及び
    該量子化データ並びに該参照信号を、受信し、所定の、標準準拠パケットに符号化するよう構成された符号器；
    を有することを特徴とする装置。
16. 請求項１５記載の装置であって、該尖度が該入力ビデオ・データの該ブロックの鮮鋭度品質を示すことを特徴とする装置。
17. 請求項１５記載の装置であって、該入力ビデオ・データがJPEG信号とMPEG信号とのうちの１つであることを特徴とする装置。
18. 請求項１５記載の装置であって、更に：
    該符号器の出力を受信して該標準準拠パケットを、後に送信するよう、記憶するよう構成されたバッファ；
    を有することを特徴とする装置。
19. 請求項１５記載の装置であって、更に：
    該入力ビデオの該ブロックをDCT係数のブロックに変換する手段の出力を受信するよう結合されて、該量子化データを、逆量子化し、復元データに変換するよう動作する逆変換器；及び
    該復元データを、該参照信号を後に生成するよう、記憶するメモリ；
    を有することを特徴とする装置。

Images