JP4709074B2 - 動画像符号化方法，装置，そのプログラムおよびそのプログラムを記録した記録媒体 - Google Patents

Description

本発明は，高能率画像信号符号化技術に関し，特に，視覚感度を考慮した動画像符号化方法に関するものである。

Ｈ．２６４では，イントラ予測および可変形状動き補償の導入に伴い，従来の標準化方式と比べて，予測モードの種類が増加している。このため，一定の主観画質を保持しつつ，符号量を削減するには，適切な予測モードを選択する必要がある。Ｈ．２６４の参照ソフトウェアＪＭ［非特許文献１］では，以下のＲ−Ｄコストを最小化する予測モードを選択している。

ここで，Ｓは原信号，ｑは量子化パラメータ，ｍは予測モードを表す番号であり，＾Ｓm,q はＳに対してモードｍを用いて予測し，ｑを用いて量子化した場合の復号信号である。また，λはモード選択に用いるラグランジェの未定乗数である。さらに，Ｄ（Ｓ，＾Ｓm,q ）は次式に示す二乗誤差和である。

ここで，Ｓ^Y ，Ｓ^U ，Ｓ^V は原信号のＹ，Ｕ，Ｖ成分であり，＾Ｓm,q ^Y ，＾Ｓm,q ^U ，＾Ｓm,q ^V は復号信号のＹ，Ｕ，Ｖ成分である。

Ｈ．２６４における復号信号の算出を以下に示す。なお，説明に用いる記号を表１にまとめる。

Ｈ．２６４の符号化処理では，モード番号ｍの予測を用いた場合の予測誤差信号Ｒ（＝Ｓ−Ｐ_m ）に対して，変換行列Φを用いた直交変換が次式のように施される。

Ｃ＝ΦＲΦ^t (1)
Φ^t は変換行列Φに対する転置行列を表す。なお，変換行列Φは次式で表される整数要素の直交行列である。

次に，行列Φが非正規行列であるため，行列の正規化に相当する処理を行う。

Ｃ_n ＝Ｎ（Ｃ） (3)
さらに，Ｃに対して，量子化パラメータｑを用いた量子化が次式のとおり施される。なおＪＭでは，正規化は量子化の中に組み込まれている。

Ｖ＝Ｑ（Ｃ_n ） (4)
一方，Ｈ．２６４の復号処理では，Ｖに対して，次式のように逆量子化を施し，変換係数の復号値を得る。

次に，＾Ｃ_q に対して，次式のように逆変換を施し，予測誤差の復号信号を得る。

最後に，次式により，符号化対象画像の復号信号を得る。

なお，本発明に関連する技術が記載された参考文献としては，上記非特許文献１の他に下記の非特許文献２〜５がある。また，下記の特許文献１には，ハードウェアの大幅な増加なしに複数回の符号化による符号化効率の向上を図るために，第１の符号化時に検出した動きベクトルから動画像の動き量を検出し，第２の符号化時の符号化レートを，人間の視覚特性と符号化歪み低減を考慮して制御する技術が記載されている。
特開平１０−３３６６７５号公報 K.P.Lim and G.Sullivan and T.Wiegand，Text Description of Joint Model Reference Encoding Methods and Decoding Concealment Methods. Joint Video Team (JVT) of ISO/IEC MPEG and ITU-T VCEG，JVT-R95 ，Jan.，2006. J.L.Mannos and D.J.Sakrison. The effect of a visual fidelity criterion on the encoding of images. IEEE Trans. Infomation Theory ，Vol.IT-20 ，pp.523-536，July 1974. N.B.Nill. A visual model weighted cosine transform for image compression and quality assessment. IEEE Trans. Commun.，Vol.COM-33，No.12 ，pp.551-557，June 1985. B.Chitprasert and K.R.Rao. Human visual weighted progressive image transmission. IEEE Trans. Commun.，pp.1040-1044，July 1990. 上倉一人，渡辺裕，小林直樹，一之瀬進，安田浩. 演算量低減を考慮したグローバル動き・輝度変化補償動画像符号化. 電子情報通信学会論文誌，Vol.J82-B ，No.9，pp.1676-1688，Spt. 1999.

前述の通り，ＪＭで用いられている主観画質の尺度は二乗誤差である。しかし，この二乗誤差は必ずしも，主観的な画質劣化を反映した歪み量ではない。例えば，高周波数成分の変化は低周波数成分の変化に比べて，視覚的には検知されにくい。また，動きの早いシーンにおける画質劣化は静止シーンにおける画質劣化よりも相対的に目立ちにくいことが知られている（時間マスキング効果）。しかし，こうした視覚特性を利用していない符号化器（例えば，ＪＭ）には，符号量の効率的な削減に関して，改良の余地が残る。

上記特許文献１に記載の技術では，視覚特性を考慮した量子化ステップ幅の制御などの符号化レートの制御は行っているが，符号化モードの選択には対応していない。

本発明はかかる事情に鑑みてなされたものであって，時空間でのマスキング効果を考慮して，主観画質を反映した歪み量を用いることにより，効率的に符号量を削減する予測モード選択方法を確立することを目的とする。

前述の空間マスキング効果は，空間周波数成分に対する視覚感度に差があることに由来する。そこで，直交変換係数に対して，周波数成分毎の視覚感度に応じて歪み量の重み付けを行うことで，主観画質に対応した歪み量を定義する。さらに，時間マスキングを考慮して，上述の重み付けされた歪み量に対して，動き量に応じてさらに重み付けを行う。こうした時空間的な性質に応じて重み付けされた歪み量をＲ−Ｄコスト内で用いる。

すなわち，本発明は，フレーム内予測およびフレーム間予測に関するブロックサイズ等の予測モードを設定し，同予測により得られた予測誤差信号に対して，直交変換，量子化による情報圧縮を行う動画像符号化において，歪み量，符号量，未定乗数からなるラグランジェのコスト関数に基づき予測モードを決定する際，直交変換を施すブロック内の周波数成分に対して，所定の視覚感度関数によって算出された視覚感度の値を乗じたものと前記直交変換を施すブロック内の周波数成分との比を，感度係数として算出する過程と，各予測モードごとに，前記感度係数を二乗誤差に乗じて得られる重み付き歪み量を算出する過程と，前記重み付き歪み量を用いてコスト関数を設定し，該コスト関数を用いて各予測モードのコストを算出する過程と，前記コスト関数を用いて算出されたコストを最小化する予測モードを選択する過程とを有することを特徴とする。

また，上記本発明において，視覚感度関数は，少なくともパラメータの一つとして視距離を画像の幅で除した視距離パラメータを有し，該視距離パラメータの減少関数であり，感度係数を算出する際，フレーム内の大局的な動き量に応じて，動き量が大きい場合の視距離パラメータが，動き量が小さい場合の視距離パラメータより大きな値となるように設定し，感度係数を各フレーム毎に適応的に変化させることを特徴とする。

また，上記本発明において，視覚感度関数は，少なくともパラメータの一つとして視距離を画像の幅で除した視距離パラメータを有し，該視距離パラメータの減少関数であり，感度係数を算出する際，ブロック内の動き量に応じて，動き量が大きい場合の視距離パラメータが，動き量が小さい場合の視距離パラメータより大きな値となるように設定し，感度係数を各ブロック毎に適応的に変化させることを特徴とする。

本発明では，符号化歪みの主観画質への寄与の度合いを考慮して，モード選択のＲ−Ｄコストを適応的に切り替える。これにより，符号化歪みの主観画質への寄与が小さい領域に対しては，符号量削減を重視するような重み付けがＲ−Ｄコストに加えられる。この場合，視覚的には検知され難い領域に対して符号量の削減を行うため，復号画像の主観画質を保ちながら，効率的に符号量を削減できる。

以下，本発明の具体的な実施形態を詳しく説明する。

［量子化誤差信号の重み付け］
まず，量子化誤差信号に対する視覚感度に基づく重み付けについて，説明する。本実施形態では，次式のＲ−Ｄコストを用いる。

このＲ−Ｄコストの計算に用いる歪み量として，以下の重み付き歪み量を用いる。

ここで，Ｃ_n ^Y(i)［ｋ，ｌ］，Ｃ_n ^U(i)［ｋ，ｌ］，Ｃ_n ^V(i)［ｋ，ｌ］はマクロブロック（Ｙ成分の場合，１６×１６［画素］，Ｕ，Ｖ成分の場合，８×８［画素］）内のサブブロック（Ｎ×Ｎ［画素］）のうち，ラスター走査においてｉ番目に走査されるサブブロックである。また，＾Ｃ_q ^Y(i)［ｋ，ｌ］，＾Ｃ_q ^U(i)［ｋ，ｌ］，＾Ｃ_q ^V(i)［ｋ，ｌ］はマクロブロック内の復号変換係数（Ｙ成分の場合，１６×１６［画素］，Ｕ，Ｖ成分の場合，８×８［画素］）内のサブブロック（Ｎ×Ｎ［画素］）のうち，ラスター走査においてｉ番目に走査されるサブブロックである。さらに，Ｗ_k,l ^Y ，Ｗ_k,l ^U ，Ｗ_k,l ^V は１以下に設定される重み係数であり，以下では，感度係数と呼ぶ。感度係数の算出については，［感度係数の算出］にて詳述する。

上式において，Ｗ_k,l ^Y ，Ｗ_k,l ^U ，Ｗ_k,l ^V を小さな値に設定することは，量子化歪みＤ（Ｃ_n ，＾Ｃ_q ）を小さく見積もることに相当する。なお，直交変換の正規性より，すべてのｋ，ｌに対して，Ｗ_k,l ^Y ＝１，Ｗ_k,l ^U ＝１，Ｗ_k,l ^V ＝１とすれば，上述の重み付き歪み量は二乗誤差和と等価となる。

［感度係数の算出］
変換行列Φ（Ｎ×Ｎ行列）の第ｋ列ベクトル（Ｎ次元ベクトル）をφ_k とすると，同行列に対する基底画像は，次式より得られる。なお，Ｈ．２６４の場合，Ｎとして取りうる値は４または８のいずれかである。

ここで，φ_l ^t はφ_l の転置ベクトルである。

各基底画像ｆ_k,l （ｘ，ｙ）（０≦ｘ，ｙ≦Ｎ−１）に対して，次式に示す離散フーリエ変換を施し，フーリエ係数を得る。なお，以下ではＮ＝２^m とおく。

ここで，ｊは虚数単位である。得られたフーリエ係数Ｆ_k,l （ｕ，ｖ）（０≦ｕ≦Ｎ−１，０≦ｖ≦Ｎ−１）に対して，以下の重み付けを行う。

以下，〜Ｆ_k,l （ｕ，ｖ）（なお，〜はＦの上側に付く綴字記号）について，説明する。＾ｇ（η）はｇ（η）を用いた次式で表される関数である。

ここで，αは重みを制御するパラメータであり，外部から与えられる。また，ｇ（η）は視覚感度関数として知られる関数であり，次式のような関数形で表される。

ｇ（η）＝（ａ＋ｂη）ｅｘｐ（−（ｃη）^d ） (12)
ここで，ａ，ｂ，ｃ，ｄは視覚感度関数の関数形を定めるパラメータ（以後，モデルパラメータと呼ぶ）であり，例えば，次のような値をとる。次の値は，上から順に，非特許文献２，非特許文献３，非特許文献４による。

（ａ，ｂ，ｃ，ｄ）＝（0.4992，0.2964，−0.114 ，1.1 ） (13)
（ａ，ｂ，ｃ，ｄ）＝（0.2 ，0.45，−0.18，1 ） (14)
（ａ，ｂ，ｃ，ｄ）＝（0.246 ，0.615 ，−0.25，1 ） (15)
また，式(12)において，ηは以下の値とする。

η₀ は以下のように，ｇ（η）が最大値をとる引数である。

θ（ｒ，Ｈ）は縦幅Ｈの画像を視距離ｒＨにおいて観測する場合の一画素あたりの角度であり，次式により与えられる。

以後，ｒを視距離パラメータと呼ぶ。以上の議論より，〜Ｆ_k （ｕ，ｖ）は視距離パラメータｒの関数であることが分かる。そこで，以下では，〜Ｆ_k （ｕ，ｖ，ｒ）として，視距離パラメータｒの関数であることを陽に示す表記法を用いる。

基底画像ｆ_k,l （ｘ，ｙ）（０≦ｘ，ｙ≦Ｎ−１）に対する感度係数を次式の電力比として定義する。

感度係数は符号化対象画像とは独立に求めることが可能である。このため，符号化前に予め感度係数を求め，ルックアップテーブルに格納すれば，符号化時の感度係数算出のための演算は省略することができる。なお，Ｗ_k,l ^U （ｒ），Ｗ_k,l ^V （ｒ）についても同様に求めることができる。このとき，輝度成分と色差成分でモデルパラメータを変更することも可能である。

このとき，Ｗ_k,l ^Y （ｒ），Ｗ_k,l ^U （ｒ），Ｗ_k,l ^V （ｒ）は次式を満たす。

Ｗ_k,l ^Y （ｒ）≦１
Ｗ_k,l ^U （ｒ）≦１
Ｗ_k,l ^V （ｒ）≦１
これは，
ｇ（η）≦１
となることから，

となるためである。また，〜Ｆ_k （ｕ，ｖ，ｒ）がｒの減少関数であることから，Ｗ_k,l ^Y （ｒ），Ｗ_k,l ^U （ｒ），Ｗ_k,l ^V （ｒ）は視距離パラメータｒに対する減少関数であることが分かる。これは，視距離と共に視覚感度が鈍化するという視覚特性に対応するものである。

［時間マスキング効果の影響を考慮した修正］
あるフレームにおいて，時間軸方向の大きな変化（高速なカメラパン・チルト，シーンチェンジ等）が発生した場合，そのフレームの画質に対する感度は極端に低下する。これは，時間マスキング効果として知られる視覚特性である。そこで，時間軸方向の大きな変化が発生したフレームに対しては，感度係数が小さな値になるよう制御する。本実施形態では，この感度係数の制御に視距離パラメータを用いる。

例えば，以下のようになる。
（１）フレーム毎に視距離パラメータを制御する場合：
ｒ＝ｒ₁ …グローバル動きベクトルの大きさが閾値以上の場合
ｒ＝ｒ₂ …それ以外の場合 (20)
ここで，ｒ₁ ＞ｒ₂ とする。なお，グローバル動きベクトルの算出については，例えば，非特許文献５の方法による。
（２）マクロブロック毎に視距離パラメータを制御する場合：
ｒ＝ｒ₁ ’…マクロブロックの動きベクトルの大きさが閾値以上の場合
ｒ＝ｒ₂ ’…それ以外の場合 (21)
なお，マクロブロック内のサブマクロブロックが異なる動きベクトルを有する場合には，以下のようになる。

ｒ＝ｒ₁ ’…サブマクロブロックに含まれる動きベクトルの大きさの最小値が閾値以上の場合
ｒ＝ｒ₂ ’…それ以外の場合 (22)
ここで，ｒ₁ ’＞ｒ₂ ’とする。

［処理フローチャート］
本発明の実施形態の処理について，図１の処理フローチャートに従って説明する。なお，予測モードの選択以外の処理については，従来の動画像符号化処理と同様であるため，予測モードの選択以外の処理部分の説明は省略する。

ステップＳ１：予測モードの初期値をレジスタＸに書き込む。

ステップＳ２：最小コストを格納するレジスタＣ，最適モードを格納するレジスタＭを各々，初期値に設定する。

ステップＳ３：予測モード，量子化パラメータ，符号化対象信号，参照信号を入力とし，与えられた予測モードを用いた場合の符号量を算出し，算出した値をレジスタに書き出す。具体的な算出方法は，ＪＭの方法に従う。

ステップＳ４：予測モード，量子化パラメータ，符号化対象信号，参照信号を入力とし，与えられた予測モードを用いた場合の重み付き歪み量を算出し，算出した値をレジスタに書き出す。本処理の詳細については図２を用いて後述する。

ステップＳ５：予測モード，量子化パラメータを入力とし，未定乗数を算出し，算出した値をレジスタに書き出す。具体的な算出方法は，ＪＭの方法に従う。

ステップＳ６：符号量，重み付き歪み量，未定乗数を入力とし，Ｒ−Ｄコストを算出し，算出した値をレジスタに書き出す。具体的な算出方法は，式(8) に従う。

ステップＳ７：ステップＳ６で算出したＲ−Ｄコスト，およびレジスタＣの値を入力とし，ステップＳ６で算出したＲ−ＤコストがレジスタＣの値よりも小さいか否かの判定を行い，判定結果である真偽値を出力する。出力が真値の場合，ステップＳ８に進む。出力が偽値の場合，ステップＳ１０の処理に移る。

ステップＳ８：ステップＳ６で算出したＲ−ＤコストをレジスタＣに書き出す。

ステップＳ９：レジスタＸの値をレジスタＭに書き出す。

ステップＳ１０：全ての予測モードについて，以上の処理を終えたかどうかを判定し，まだの場合には，ステップＳ１１に進む。全ての予測モードについて処理を終えたならば，処理を終了する。最終的にレジスタＭに格納されたモードが最適モードとして選択された予測モードであり，そのときのコストがレジスタＣに格納された値である。

ステップＳ１１：レジスタＸに次の予測モードを表す値を書き出す。レジスタに書き出す予測モードの順番は予め与えられるものとする。その後，ステップＳ３に戻り，同様に処理を繰り返す。

図１におけるステップＳ４の詳しい処理の流れを図２に示す。

ステップＳ２１：変換行列Φにより得られた変換係数を入力とし，正規化処理を行い，正規化後の変換係数を一次元配列としてレジスタに書き出す。なお，二次元データである変換係数を一次元データとする走査方法については外部から与えられるものとする。これは，以下のステップＳ２２，ステップＳ２４においても同様である。

ステップＳ２２：変換係数に対する量子化結果を入力とし，逆量子化処理を行い，変換係数の復号値を一次元配列としてレジスタに書き出す。

ステップＳ２３：動きベクトルを入力とし，その動きベクトルに応じて，視距離パラメータを算出する処理を行い，算出した視距離パラメータをレジスタに書き出す。例えば，式(20)〜(22)に示す方法に従う。ここでは，２種類の感度係数について選択する例を示しているが，本発明は，選択の候補が３種類以上となっても同様に適用できる。なお，ここで入力として用いる動きベクトルは，別途，与えられるものとする。例えば，符号化の過程で算出された動きベクトルを用いる方法（マクロブロック内の動きベクトルの平均ベクトルを用いる等）がある。あるいは，符号化とは独立に求めたマクロブロック（１６×１６［画素］）に対する動きベクトルを用いる方法もある。

ステップＳ２４：視距離パラメータを入力として，視距離パラメータに応じて感度係数を算出する処理を行い，算出された感度係数を一次元配列としてレジスタに書き出す。具体的な算出法は，式(19)に従う。なお，選択可能な視距離パラメータが予め定められている場合は，感度係数も予め算出しておくことができるため，感度係数の算出処理は省略できる。この場合，本処理は，以下のようになる。視距離パラメータを入力として，視距離パラメータに応じて予めレジスタに格納された感度係数を読み出し，一次元配列としてレジスタに書き出す。

ステップＳ２５：繰り返し回数をカウントするために用いるカウンタｉの値を０に初期化する。レジスタＳの値を０に初期化する。

ステップＳ２６：ステップＳ２１で出力された正規化後の変換係数の第ｉ成分，およびステップＳ２２で出力された変換係数の復号値の第ｉ成分を入力とし，両者の差分を求め，同差分値を二乗する処理を行い，算出した二乗誤差（変換係数の符号化歪み）をレジスタに書き出す。

ステップＳ２７：ステップＳ２６で出力した二乗誤差，感度係数の第ｉ成分を入力とし，二乗誤差に感度係数を乗じる処理を行い，乗算結果をレジスタに書き出す。

ステップＳ２８：ステップＳ２７で算出した値，レジスタＳの値を入力として，両者を加算し，加算結果をレジスタＳに書き出す。

ステップＳ２９，Ｓ３０：以上の処理をカウンタｉに１を加算しながら繰り返し，変換係数の全成分について行う。

［装置構成例］
本発明の実施形態に係る装置構成図を図３に示す。なお，本実施形態により選択した最適な予測モードを用いて動画像を符号化する処理部の構成については，従来の一般的な動画像符号化装置の構成と同様であるので，ここでは，予測モードを選択する処理構成の部分だけを説明する。

初期モード設定部１０１：予測モードの初期値をモード記憶部１０２に書き出す。

符号量算出部１０３：予測モード，量子化パラメータ，符号化対象信号，参照信号を入力とし，符号化した場合の符号量を算出し，算出した値を符号量記憶部１０４に書き出す。具体的な算出方法は，ＪＭの方法に従う。

重み付き歪み量算出部１０５：予測モード，量子化パラメータ，符号化対象信号，参照信号を入力とし，符号化した場合の重み付き歪み量を算出し，算出した値を重み付き歪み量記憶部１０６に書き出す。本処理の詳細については図２を用いて後述する。

未定乗数算出部１０７：予測モード，量子化パラメータを入力とし，未定乗数を算出し，算出した値を未定乗数記憶部１０８に書き出す。具体的な算出方法は，ＪＭの方法に従う。

コスト算出部１０９：符号量記憶部１０４，重み付き歪み量記憶部１０６，未定乗数記憶部１０８から読み出した符号量，重み付き歪み量，未定乗数を入力とし，Ｒ−Ｄコストを算出し，算出した値をコスト記憶部１１０に書き出す。具体的な算出方法は，式(8) に従う。

最小コスト判定部１１１：コスト記憶部１１０，最小コスト記憶部１１２から読み出したＲ−Ｄコスト，最小コストを入力とし，Ｒ−Ｄコストが最小コストよりも小さいか否かの判定を行い，判定結果である真偽値を出力する。出力が真値の場合，コスト記憶部１１０から読み出したＲ−Ｄコストを最小コスト記憶部１１２に書き出し，最適モード更新部１１３の処理に進む。出力が偽値の場合，最終モード判定部１１５の処理に移る。

最適モード更新部１１３：最小コスト記憶部１１２に書き出したＲ−Ｄコスト算出に用いたモードを最適モード記憶部１１４に書き出す。

最終モード判定部１１５，モード設定部１１６：以上の処理を全ての予測モードについて行う。

最適モード出力部１１７：全ての予測モードについての処理が終了したならば，最適モード記憶部１１４に記憶されている予測モードを最適モードとして出力する。

図３における重み付き歪み量算出部１０５の詳細構成について図４に示す。

変換係数正規化部２０１：変換行列Φにより得られた変換係数を入力とし，正規化処理を行い，正規化後の変換係数を正規化変換係数記憶部２０２に書き出す。

変換係数復号部２０３：変換係数に対する量子化結果を入力とし，逆量子化処理を行い，変換係数の復号値を復号変換係数記憶部２０４に書き出す。ここでの量子化は，ＪＭと同様に正規化処理を含む。

歪み量算出部２０５：正規化変換係数記憶部２０２，復号変換係数記憶部２０４から読み出した正規化後の変換係数および変換係数の復号値を入力とし，各成分毎に両者の差分を求め，同差分値を二乗する処理を行い，算出した二乗誤差を歪み量記憶部２０６に書き出す。

感度係数乗算部２０７：感度係数記憶部２０８−１，２０８−２のいずれかから読み出した感度係数，歪み量記憶部２０６から読み出した二乗誤差を入力とし，二乗誤差に感度係数を乗じる処理を行い，得られた重み付き歪み量を歪み量記憶部２１２に書き出す。なお，ここでは，２種類の感度係数について選択する例を示しているが，本発明は，選択の候補が３種類以上となっても同様に適用できる。

視距離パラメータ算出部２０９：動きベクトルを入力とし，動きベクトルに応じて，視距離パラメータを算出する処理を行い，算出した視距離パラメータを視距離パラメータ記憶部２１０に書き出す。例えば，式(20)〜(22)に示す方法に従う。なお，ここでは，２種類の視距離パラメータを選択する例を示しているが，本発明は，選択の候補が３種類以上となっても同様に適用できる。また，ここで入力として用いる動きベクトルは，別途，与えられるものとする。例えば，符号化の過程で算出された動きベクトルを用いて，マクロブロック内の動きベクトルの平均ベクトルを用いる方法がある。あるいは，符号化とは独立に求めたマクロブロック（１６×１６［画素］）に対する動きベクトルを用いても良い。

感度係数選択部２１１：視距離パラメータを入力として，視距離パラメータに応じて感度係数を選択する処理を行い，選択された感度係数を感度係数乗算部２０７の入力とすることを表す制御信号を出力する。

歪み量和算出部２１３：歪み量記憶部２１２から読み出した各成分の重み付き歪み量を入力とし，全ての成分についての合計和を算出し，算出結果の合計和を図３の重み付き歪み量記憶部１０６に書き出す。

以上の動画像符号化の処理は，コンピュータとソフトウェアプログラムとによっても実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも，ネットワークを通して提供することも可能である。

以上の手段を用いることにより，本発明は，例えばＨ．２６４のような多くの符号化モードを有する符号化器において，適切な符号化モードを選択することが可能となり，復号画像の主観画質を保ちながら符号化効率を向上させることができるようになる。Ｈ．２６４等の高能率画像信号符号化の特徴は，自由度の高い符号化モードの選択にあるため，適切な符号化モードの選択によって初めて，符号化性能を最大限に引き出すことが可能となる。

本発明の実施形態の処理フローチャートである。 図１におけるステップＳ４の処理フローチャートである。 本発明の実施形態に係る装置構成図である。 図３における重み付き歪み量算出部の詳細構成図である。

符号の説明

１０１ 初期モード設定部
１０２ モード記憶部
１０３ 符号量算出部
１０４ 符号量記憶部
１０５ 重み付き歪み量算出部
１０６ 重み付き歪み量記憶部
１０７ 未定乗数算出部
１０８ 未定乗数記憶部
１０９ コスト算出部
１１０ コスト記憶部
１１１ 最小コスト判定部
１１２ 最小コスト記憶部
１１３ 最適モード更新部
１１４ 最適モード記憶部
１１５ 最終モード判定部
１１６ モード設定部
１１７ 最適モード出力部
２０１ 変換係数正規化部
２０２ 正規化変換係数記憶部
２０３ 変換係数復号部
２０４ 復号変換係数記憶部
２０５ 歪み量算出部
２０６ 歪み量記憶部
２０７ 感度係数乗算部
２０８−１，２０８−２ 感度係数記憶部
２０９ 視距離パラメータ算出部
２１０ 視距離パラメータ記憶部
２１１ 感度係数選択部
２１２ 歪み量記憶部
２１３ 歪み量和算出部

Claims (6)

1. フレーム内予測およびフレーム間予測に関する予測モードを設定し，設定した予測モードによる予測により得られた予測誤差信号に対して，直交変換および量子化による情報圧縮を行う動画像符号化方法において，
   歪み量，符号量および未定乗数からなるラグランジェのコスト関数に基づき予測モードを決定する際，
   直交変換を施すブロック内の周波数成分に対して，所定の視覚感度関数によって算出された視覚感度の値を乗じたものと前記直交変換を施すブロック内の周波数成分との比を，感度係数として算出する過程と，
   各予測モードごとに，前記感度係数を二乗誤差に乗じて得られる重み付き歪み量を算出する過程と，
   前記重み付き歪み量を用いてコスト関数を設定し，該コスト関数を用いて各予測モードのコストを算出する過程と，
   前記コスト関数を用いて算出されたコストを最小化する予測モードを選択する過程とを有する
   ことを特徴とする動画像符号化方法。
2. 請求項１記載の動画像符号化方法において，
   前記視覚感度関数は，少なくともパラメータの一つとして視距離を画像の幅で除した視距離パラメータを有し，該視距離パラメータの減少関数であり，
   前記感度係数を算出する際，フレーム内の大局的な動き量に応じて，動き量が大きい場合の視距離パラメータが，動き量が小さい場合の視距離パラメータより大きな値となるように設定し，前記感度係数を各フレーム毎に適応的に変化させる
   ことを特徴とする動画像符号化方法。
3. 請求項１記載の動画像符号化方法において，
   前記視覚感度関数は，少なくともパラメータの一つとして視距離を画像の幅で除した視距離パラメータを有し，該視距離パラメータの減少関数であり，
   前記感度係数を算出する際，ブロック内の動き量に応じて，動き量が大きい場合の視距離パラメータが，動き量が小さい場合の視距離パラメータより大きな値となるように設定し，前記感度係数を各ブロック毎に適応的に変化させる
   ことを特徴とする動画像符号化方法。
4. フレーム内予測およびフレーム間予測に関する予測モードを設定し，設定した予測モードによる予測により得られた予測誤差信号に対して，直交変換および量子化による情報圧縮を行う動画像符号化装置において，
   各予測モードに対して，符号量を算出する手段と，
   直交変換を施すブロック内の周波数成分に対して，所定の視覚感度関数によって算出された視覚感度の値を乗じたものと前記直交変換を施すブロック内の周波数成分との比を，感度係数として算出し，各予測モードごとに，前記感度係数を二乗誤差に乗じて得られる重み付き歪み量を算出する手段と，
   各予測モードに対して，量子化パラメータを入力としてラグランジュの未定乗数を算出する手段と，
   前記符号量と前記重み付き歪み量と前記未定乗数とによって定められるコスト関数を用いて各予測モードのコストを算出する手段と，
   前記コスト関数を用いて算出されたコストを最小化する予測モードを選択する手段とを備える
   ことを特徴とする動画像符号化装置。
5. 請求項１から請求項３までのいずれか１項に記載の動画像符号化方法を，コンピュータに実行させるための動画像符号化プログラム。
6. 請求項１から請求項３までのいずれか１項に記載の動画像符号化方法を，コンピュータに実行させるための動画像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images