JP2004289790A - マクロブロックのひずみの程度によりビデオ・コード化を行うためのシステムおよび方法 - Google Patents

Abstract

【課題】 圧縮画像の品質を改善するために、ビットレートを効率的に使用することにより、マクロブロックのひずみの程度によりビデオ・コード化を行うための方法を提供すること。
【解決手段】 本発明は、ビデオ画像コード化を行いながら、デジタル画像内の目標マクロブロックにビットレートを分配するためのビデオ画像のコード化を行う方法に関する。デジタル画像内の目標マクロブロックの位置により、デジタル画像内の比較エリアを選択する。比較エリアは、対応するビットレートを既に分配した複数のマクロブロックを含む。類似マクロブロック選択（ＳＭＣ）手順により、選択した比較エリアのマクロブロックから類似マクロブロックを選択する。ビデオひずみ計算（ＶＤＣ）プロセスにより、第１のビデオひずみ変数および第２のビデオひずみ変数をそれぞれ計算する。類似マクロブロックの分配したビットレート、および第１および第２のビデオひずみ変数の間の違いにより目標マクロブロックのビットレートを決定する。
【選択図】 図１

Description

本発明は、ビデオ画像のコード化を行うための方法に関し、特にマクロブロックのひずみの程度によりコード化を行うための方法に関する。

デジタル・ビデオは、一連の静止デジタル画像と見なすことができる。連続的に表示すると、視覚が一時的に停止するので、連続しているビデオと見なすことができる。デジタル画像は、複数のマクロブロックからなる。圧縮しないと、デジタル・ビデオは、一般に、記憶するための広い空間と帯域幅とを必要とする。

デジタル・ビデオを圧縮すると、ビット・バジェットを分配しなければならない。デジタル画像内の各マクロブロックのための従来技術は、ビット・バジェットを分配するのに一定の速度を使用していた。しかし、実際の状況下では、より複雑なマクロブロックは、より多くのビット・バジェットの分配を必要とする。マクロブロックが簡単な場合だけ、ビット・バジェットの分配が少なくてすむ。それ故、固定分配方法では、ビット・バジェットを効果的に分配することができない。

マクロブロックの複雑さをベースとするもう１つの従来技術もビット・バジェット分配を使用していた。しかし、マクロブロックの複雑さは、デジタル画像の品質に対応することができない。それ故、マクロブロック分配の複雑さをベースとする方法もビット・バジェットを効率的に分配することができない。

従って、本発明の１つの目的は、圧縮画像の品質を改善するために、ビットレートを効率的に使用することにより、マクロブロックのひずみの程度によりビデオ・コード化を行うための方法を提供することである。

好ましい実施形態の場合には、本発明のビデオ・コード化を行うための方法は、デジタル画像内の目標マクロブロックにビットレートを分配する。デジタル画像は複数のマクロブロックからなり、各マクロブロックは、分配されたビットレートによりさらにビデオ画像のコード化を行う。最初に、デジタル画像内の目標マクロブロックの位置によりデジタル画像内の比較エリアを選択する。比較エリアは、対応するビットレートを既に分配した複数のマクロブロックを含む。次に、類似マクロブロック選択（ＳＭＣ）手順により、選択した比較エリアのマクロブロックから類似マクロブロックを選択する。次に、ビデオひずみ計算（ＶＤＣ）プロセスにより、第１のビデオひずみ変数および第２のビデオひずみ変数をそれぞれ計算する。第１のビデオひずみ変数は、比較エリア内の複数のマクロブロックのひずみの程度の平均値を表し、第２のビデオひずみ変数は、選択した類似マクロブロックのひずみの程度を表す。最後に、類似マクロブロックの分配されたビットレートにより目標マクロブロックのビットレートを決定し、第１および第２のビデオひずみ変数間の違いを決定する。

本発明により各マクロブロックの分配されたビットレートを計算することにより、本発明は、ビットレートを効率的に分配することができ、各マクロブロック内のビット・バジェットを正確に分配することができる。このデジタル画像を解凍すると、デジタル画像は
より優れた画像効果を得ることができる。

添付の図面を参照しながら、下記の説明を読めば、本発明の利点および精神を理解することができる。

図１について説明すると、この図は、本発明によるビデオ・コード化を行うための方法およびシステムのデジタル画像１０の略図である。デジタル画像１０は、複数のマクロブロック１１を含む。各マクロブロック１１は、正方形であり、縦横方向に１６のピクセル１４を有しているので、各マクロブロックは、２５６のピクセル１４を有する。各ピクセル１４は、元のグレイ・レベルを有する。本発明によるビデオ画像のコード化を行う方法は、ビデオ画像のコード化を行いながら、デジタル画像１０内のマクロブロック１１にビットレートを分配するための方法である。各マクロブロック１１は、分配されたビットレートにより、さらに、ビデオ画像のコード化を行う。本発明のビデオ・コード化を行う方法を示す下記の図面は、説明をするデジタル画像１０内のマクロブロックのためのものである。本明細書においては、このマクロブロックを目標マクロブロック１２と呼ぶ。

図２について説明すると、この図は、本発明によるビデオ・コード化システム１８の機能ブロック図である。本発明によるコード化システム１８は、離散コサイン変換（ＤＣＴ）モジュール２４、量子化スケーリング・モジュール２２、量子化スケーリング・コントローラ２０、逆離散コサイン変換（ＩＤＣＴ）モジュール２６、および逆量子化スケーリング・モジュール２８を備える。

ＤＣＴモジュール２４は、各マクロブロックに対してＤＣＴ手順を行うためのものであり、各マクロブロックはＤＣフォーマットになる。ＤＣフォーマットは、周波数領域内に画像データを表示するためのものである。量子化スケーリング・モジュール２２は、所定の量子化スケールにより入手した値をスケール・ダウンし、さらに対応するＭＰＥＧ圧縮ビデオ画像を生成するために関連するビットレートを低減する。量子化スケーリング・コントローラ２０は、所定の量子化スケールを変更する。逆量子化スケーリング・モジュール２８は、量子化スケーリング・モジュール２２のプロセスを反対にする。ＩＤＣＴモジュール２６は、対応する再構成マクロブロックを再構成するために、圧縮したビデオ画像に対してＩＤＣＴ手順を実行する。再構成マクロブロックは、（圧縮する前の）元のマクロブロックのピクセルと同じ数のピクセル１４を含み、再構成マクロブロック内の各ピクセル１４は対応する再構成グレイ・レベルを有する。

図３について説明すると、この図は、図２の量子化スケーリング・コントローラ２０の機能ブロック図である。本発明による量子化スケーリング・コントローラ２０は、比較エリア選択モジュール３０、類似マクロブロック選択モジュール３２、ひずみ計算モジュール３４、およびビットレート決定モジュール３６を備える。比較エリア選択モジュール３０は、デジタル画像１０内の目標マクロブロック１２の位置により比較エリア１６を選択するために使用される。類似マクロブロック選択モジュール３２は、選択した比較エリア１６のマクロブロック１１から類似マクロブロックを選択するために使用される。ひずみ計算モジュール３４は、第１のビデオひずみ変数Ｒ＿ａｖｇおよび第２のビデオひずみ変数Ｒ＿ｓｍｌをそれぞれ計算するために使用される。ビットレート決定モジュール３６は、目標マクロブロック１２のビットレートを決定するために使用される。

図４について説明すると、この図は、図１の目標マクロブロック１２による比較エリア１６の選択の略図である。本発明による比較エリア選択プロセスは、目標マクロブロック１２上の中心を基準とする比較エリア選択モジュール３０が、比較エリア１６として対応するビットレートを既に分配した複数の隣接するマクロブロックを定義する。それ故、比
較エリア１６は、対応するビットレートを既に分配した複数のマクロブロック１１を備える。図４の斜線で示すエリアは、比較エリア１６である。

図５について説明すると、この図は、図４の比較エリア１６からの類似マクロブロックの選択の略図である。本発明は、類似マクロブロック選択（ＳＭＣ）手順を含む。最初に、類似マクロブロック選択モジュール３２は、目標マクロブロック１２内のすべてのピクセル１４の元のグレイ・レベルの合計を計算する。２５５のピクセル１４を有する目標マクロブロック１２のグレイ・レベルは２であるので、ピクセル１４の唯一のグレイ・レベルは３であり、全部のそして目標の元のグレイ・レベルは全部で５１３である。次に、類似マクロブロック選択モジュール３２は、それぞれ、比較のための元のグレイ・レベル５１５、６１７、１０３および４０２を生成するために、比較エリア１６内のマクロブロック４０、４２、４４および４６のすべてのピクセル１４の元のグレイ・レベルの合計をそれぞれ計算する。次に、類似マクロブロック選択モジュール３２は、それぞれ、マクロブロック４０として違いが最も小さいマクロブロックを取り出すために、目標の元のグレイ・レベルと比較のための元のグレイ・レベルを比較する。その結果、類似マクロブロック選択モジュール３２は、目標マクロブロック１２の類似マクロブロックとして、マクロブロック４０を定義する。

本発明のマクロブロックのビデオひずみ変数計算方法は異なる方法であってもよい。例えば、絶対値の差の合計（ＳＡＤ）、平均二乗誤差（ＭＳＥ）、およびピーク信号対雑音比（ＰＳＮＲ）を計算する方法もある。マクロブロックがｎ個のピクセルを有している場合には、ｉ＝１〜ｎであり、ＯｉおよびＲｉは、それぞれ、ｉ番目のピクセル１４の元のグレイ・レベルおよび再構成グレイ・レベルである。それ故、３つの方法の式は下記のようになる。

第１のビデオひずみ変数Ｒ＿ａｖｇの計算方法は、ひずみ計算モジュール３４により、ひずみ計算プロセスにより実行される。ビデオひずみ変数に対応する比較エリア１６内でマクロブロック４０、４２、４４および４６を加算し、平均値を求める。第１のビデオひずみ変数Ｒ＿ａｖｇは、比較エリア１６内のひずみの程度の平均値である。第２のビデオひずみ変数Ｒ＿ｓｍｌは、目標マクロブロック１２に対応する類似マクロブロック・ビデオひずみ変数である。

目標マクロブロック１２に分配されたビットレートがＴ＿ｔａｒとして定義された場合には、Ｔ＿ｔａｒは、下式に従って、次のマクロブロック１２に分配されたビットレートにより計算することができる。

ここで、Ｔ＿ｓｍｌは前に分配した類似マクロブロックのビットレートであり、ｋは調整可能な加重である。調整可能な加重ｋは、実験による経験値であり、ビットレートに比例する。

本発明による目標マクロブロック１２の分配したビットレートを決定する方法は、ビットレート決定モジュール３６によりビットレート決定プロセスで行われる。類似マクロブロックの分配したビットレートＴ＿ｓｍｌは、第１のビデオひずみ変数Ｒ＿ａｖｇと第２のビデオひずみ変数Ｒ＿ｓｍｌの間の差を加算する。目標マクロブロック１２のビットレートを決定するためにこの合計に調整可能な加重ｋが掛けられる。

図６について説明すると、この図は、本発明によるビデオ・コード化方法のフローチャートである。本発明のビデオ・コード化方法による、デジタル画像１０内の目標マクロブロック１２のビデオ画像コード化ビットレートの分配は下記のステップを含む。

ステップＳ５２：目標マクロブロック１２の位置によるデジタル画像１０内での比較エリア１６の選択。
ステップＳ５４：ＳＭＣ手順による比較エリア１６からの類似マクロブロックの選択。

ステップＳ５６：ＶＤＣプロセスによる第１のビデオひずみ変数Ｒ＿ａｖｇと第２のビデオひずみ変数Ｒ＿ｓｍｌそれぞれの計算。
ステップＳ５８：類似マクロブロックの分配したビットレートＴ＿ｓｍｌ、第１のビデオひずみ変数Ｒ＿ａｖｇ、第２のビデオひずみ変数Ｒ＿ｓｍｌ、および調整可能な加重ｋによる上記式による目標マクロブロック１２のビットレートの決定。

それ故、本発明により計算した各マクロブロックの分配したビットレートによりビットレートを効率的に分配することができる。固定ビットレートを使用する従来技術と比較すると、本発明によるビットレート分配方法は、デジタル画像１０を解凍した後で、より優れたデジタル画像効果を得ることができる。その上、マクロブロックの合成物を使用するもう１つの従来技術と比較すると、本発明はビット・バジェットをより正確に分配することができる。

上記例および説明により、本発明の特徴および精神をよりよく記述することができるだろう。当業者であれば、本発明の教示から逸脱することなしに、上記デバイスに対して多くの修正および変更を行うことができるのを容易に理解することができるだろう。それ故、上記の開示は添付の特許請求の範囲および境界によってのみ制限されると解釈すべきである。

本発明によるビデオ・コード化を行うための方法およびシステムのデジタル画像の略図である。 本発明によるビデオ・コード化システムの機能ブロック図である。 図２の量子化スケーリング・コントローラの機能ブロック図である。 図１の目標マクロブロックによる比較エリアの選択の略図である。 図４の比較エリアからの類似マクロブロックの選択の略図である。 本発明によるビデオ・コード化を行うための方法のフローチャートである。

Claims (19)

1. ビデオ画像コード化を行いながら、デジタル画像内の目標マクロブロックにビットレートを分配するためのビデオ画像コード化方法であって、前記デジタル画像が複数のマクロブロックを備え、各マクロブロックが前記分配されたビットレートによりさらにビデオ画像コード化を行い、
   前記デジタル画像内の目標マクロブロックの位置により、前記デジタル画像内の対応するビットレートを既に分配した複数のマクロブロックを含む比較エリアを選択するステップと、
   類似マクロブロック選択（ＳＭＣ）手順により、前記選択した比較エリアのマクロブロックから類似マクロブロックを選択するステップと、
   ビデオひずみ計算（ＶＤＣ）プロセスにより、第１のビデオひずみ変数および第２のビデオひずみ変数をそれぞれ計算するステップであって、前記第１のビデオひずみ変数が前記比較エリア内の前記複数のマクロブロックのひずみの程度の平均を表し、前記第２のビデオひずみ変数が前記選択した類似マクロブロックのひずみの程度を表すステップと、
   前記類似マクロブロックの前記分配したビットレート、および前記第１および第２のビデオひずみ変数の間の違いにより前記目標マクロブロックのビットレートを決定するステップとを含むコード化方法。
2. 前記比較エリアが、
   前記目標マクロブロックの中心を基準にするステップと、対応するビットレートを既に分配した隣接するマクロブロックを含むように前記比較エリアを定義するステップにより選択される、請求項１に記載のコード化方法。
3. 前記方法が、複数の送信したデジタル画像を順次コード化し、前記デジタル画像内の各マクロブロックが複数のピクセルを含み、各ピクセルがそれぞれ元のグレイ・レベルを有する、請求項１に記載のコード化方法。
4. すべてのマクロブロックが同じ正方形をしていて、各マクロブロックがそれぞれ縦横方向に１６のピクセルを有する、請求項３に記載のコード化方法。
5. 前記ＳＭＣ手順が、下記のステップ、すなわち、
   目標の元のグレイ・レベルを生成するために、前記目標マクロブロック内ですべての前記ピクセルの元のグレイ・レベルの合計を計算するステップと、
   前記比較エリア内の各マクロブロックに対応する複数の比較のための元のグレイ・レベルをそれぞれ生成するために、前記比較エリア内の各マクロブロックのすべてのピクセルの元のグレイ・レベルの合計をそれぞれ計算するステップと、
   前記類似マクロブロックとして最も小さな違いを含む前記マクロブロックを取り出すために、前記目標の元のグレイ・レベルと前記比較のための元のグレイ・レベルとをそれぞれ比較するステップとを含む、請求項３に記載のコード化方法。
6. 前記各マクロブロックが、最初離散コサイン変換（ＤＣＴ）手順により処理され、次に、さらに、対応するＭＰＥＧ圧縮ビデオ画像を生成するために、所定の量子化スケールにより前記入手した値をスケール・ダウンし、関連するビットレートを低減する、請求項３に記載のコード化方法。
7. 逆離散コサイン変換（ＩＤＣＴ）手順の後で、前記圧縮ビデオ画像が、前記元のマクロブロックと同じ数のピクセルを含む対応する再構成マクロブロックになるように再構成され、前記再構成マクロブロック内の各ピクセルが、対応する再構成グレイ・レベルを有する、請求項６に記載のコード化方法。
8. 前記マクロブロックがｎ個のピクセルを含み、ｉ番目のピクセルの元のグレイ・レベルがＯｉ（ｉ＝１〜ｎ）であり、ｉ番目のピクセルの再構成グレイ・レベルがＲｉであり、前記ＶＤＣプロセスが、下式
   

   

   によりマクロブロックのビデオひずみ変数ＳＡＤを計算する、請求項７に記載のコード化方法。
9. 前記マクロブロックがｎ個のピクセルを含み、ｉ番目のピクセルの元のグレイ・レベルがＯｉ（ｉ＝１〜ｎ）であり、ｉ番目のピクセルの再構成グレイ・レベルがＲｉであり、前記ＶＤＣプロセスが、下式
   

   

   によりマクロブロックのビデオひずみ変数ＭＳＥを計算する、請求項７に記載のコード化方法。
10. 前記マクロブロックがｎ個のピクセルを含み、ｉ番目のピクセルの元のグレイ・レベルがＯｉ（ｉ＝１〜ｎ）であり、ｉ番目のピクセルの再構成グレイ・レベルがＲｉであり、前記ＶＤＣプロセスが、下式
    

    

    によりマクロブロックのビデオひずみ変数ＰＳＮＲを計算する、請求項７に記載のコード化方法。
11. 前記第１のビデオひずみ変数が前記ＳＭＣ手順により、前記比較エリア内の前記各マクロブロックの計算結果の平均値を求めることにより入手され、前記第２のビデオひずみ変数が、前記ＳＭＣ手順により前記類似マクロブロックを計算することにより入手される、請求項１に記載のコード化方法。
12. 前記類似マクロブロックの前記前に分配したビットレートがＴ＿ｓｍｌとして定義され、前記第１のビデオひずみ変数がＲ＿ａｖｇとして定義され、前記第２のビデオひずみ変数がＲ＿ｓｍｌとして定義され、前記目標マクロブロックに分配されるビットレートが、下式
    

    

    により計算されるＴ＿ｔａｒとして定義される、請求項１１に記載のコード化方法。
13. ビデオ画像コード化を行いながら、デジタル画像内の目標マクロブロックにビットレートを分配するためのビデオ画像コード化システムであって、前記デジタル画像が複数のマクロブロックを備え、各マクロブロックが前記分配されたビットレートによりさらにビデオ画像コード化を行い、
    前記デジタル画像内の前記目標マクロブロックの位置により、前記デジタル画像内の前記対応するビットレートを既に分配した複数のマクロブロックを含む比較エリアを選択するための比較エリア選択モジュールと、
    類似マクロブロック選択（ＳＭＣ）手順により、前記選択した比較エリアの前記マクロブロックから類似マクロブロックを選択するための類似マクロブロック選択モジュールと、
    第１のビデオひずみ変数および第２のビデオひずみ変数をそれぞれ計算するためのひずみ計算モジュールであって、前記第１のビデオひずみ変数が前記比較エリア内の前記複数のマクロブロックのひずみの程度の平均を表し、前記第２のビデオひずみ変数が前記選択した類似マクロブロックのひずみの程度を表すひずみ計算モジュールと、
    前記類似マクロブロックの前記分配したビットレート、および前記第１および第２のビデオひずみ変数の間の違いにより、前記目標マクロブロックのビットレートを決定するためのビットレート決定モジュールとを備えるビデオ画像コード化システム。
14. 前記比較エリアが、前記目標マクロブロック上の中心を基準とする比較エリア選択モジュールにより選択され、前記対応するビットレートを既に分配した前記隣接するマクロブロックを含むように定義される、請求項１３に記載のコード化システム。
15. 前記システムが、複数の送信したデジタル画像を順次コード化し、前記デジタル画像内の各マクロブロックが複数のピクセルを含み、各ピクセルがそれぞれ元のグレイ・レベルを有する、請求項１３に記載のコード化システム。
16. 前記コード化システムが、さらに、
    前記各マクロブロックに対してＤＣＴ手順を処理するための離散コサイン変換（ＤＣＴ）モジュールと、
    所定の量子化スケールにより前記入手したＤＣＴ値をスケール・ダウンし、前記関連するビットレートを低減し、さらに対応するＭＰＥＧ圧縮ビデオ画像を生成するための量子化スケーリング・モジュールとを備える、請求項１５に記載のコード化システム。
17. 前記コード化システムが前記比較エリア選択モジュール、前記類似マクロブロック選択モジュール、前記ひずみ計算モジュールおよび前記ビットレート決定モジュールを備える量子化スケーリング・コントローラを備え、該量子化スケーリング・コントローラが、さらに前記目標マクロブロックの前記分配したビットレート、前記デジタル画像内の前記対応するビットレートを既に分配した前記マクロブロックの全部の使用したビットレート、および前記デジタル画像の元の全バジェット・ビットレートにより前記所定の量子化スケールを修正する、請求項１６に記載のコード化システム。
18. 前記コード化システムが、さらに、対応する再構成マクロブロックを再構成するために、前記圧縮ビデオ画像に対してＩＤＣＴ手順を行うための逆離散コサイン変換（ＩＤＣＴ）モジュールを備え、
    前記再構成マクロブロックが、前記元のマクロブロックと同じ数のピクセルを含み、前記再構成マクロブロック内の各ピクセルが、対応する再構成グレイ・レベルを有する、請求項１６に記載のコード化システム。
19. 前記第１のビデオひずみ変数が、前記ＳＭＣモジュールにより前記比較エリア内の前記各マクロブロックの計算結果の平均値を求めることにより入手され、前記第２のビデオひず
    み変数が、前記ＳＭＣモジュールにより前記類似マクロブロックを計算することにより入手される、請求項１３に記載のコード化システム。

Images