WO2007114368A1

WO2007114368A1 - 画像符号化装置及び方法並びに画像復号化装置及び方法

Info

Publication number: WO2007114368A1
Application number: PCT/JP2007/057197
Authority: WO
Inventors: Reiko Noda; Takeshi Chujoh
Original assignee: Kabushiki Kaisha Toshiba
Priority date: 2006-03-30
Filing date: 2007-03-30
Publication date: 2007-10-11

Abstract

　画像符号化装置は、入力画像の各画素のビット精度を変換することによって変換入力画像を出力すると共に変換により変更されたビット数を表すビット変換情報を出力する画素ビット長拡張変換器（１００１）と、入変換力画像を符号化し画像符号化情報を出力する画像符号化器（１０）と、ビット変換情報と画像符号化情報とを多重化する多重化器（１２）とを具備する。

Description

明細書

画像符号化装置及び方法並びに画像復号化装置及び方法

技術分野

[0001] 本発明は、動画像又は静止画像のための画像符号化装置及び方法並びに画像複号化装置及び方法に関する。

背景技術

[0002] 代表的な動画像符号化標準方式である H. 264は、入力画像信号と、画面内予測や動き補償を行うことで作成された予測画像信号との予測誤差信号に対して離散コサイン変換 (DCT)等の直交変換を行レ、、このような周波軸上への変換を行った後、変換係数に対して量子化及び符号化による圧縮処理を行って符号化画像を得るとレ、う非可逆圧縮方式である。予測画像信号を作成する際には、画面内予測や動き補償の補間フィルタにおいて、複数画素にフィルタ係数をかけて足し合わせた後、入力画像の画素ビット長と同じ精度に丸めを行う処理を行っている。

[0003] 特開 2003— 283872号公報では、入力画像の 1フレーム毎に各色信号のダイナミックレンジを拡大した画像を入力として符号ィ匕し、復号後に元のダイナミックレンジに復元することにより、表示装置の補正による符号化歪の強調を抑制する手法が示されている。

[0004] H. 264では、予測信号を作成する際の丸め処理の過程において丸め誤差が発生するため、画面内予測や動き補償の補間フィルタにおいて十分な精度で処理を行うことができず、予測誤差信号の増大を招き、結果的に符号ィ匕効率が低下する。これに対し、特開 2003— 283872号公報では、入力画像のダイナミックレンジを拡大することにより、前述の丸め誤差を若干少なくすることが可能である。しかし、特開 2003 _ 283872号公報におけるダイナミックレンジの拡大は、入力画像のビット精度の範囲内で行われるだけであり、また、ダイナミックレンジの拡大の際にも丸め誤差が発生することから、十分に計算精度を向上させることはできない。

[0005] 特開平 4— 32667号公報では、エンコーダもデコーダも一体的に設けられたデジタルカメラに適用され、エンコーダもデコーダに共有される DCTの演算精度に合わせて入力画像のビット長をビットシフトする手法を開示している。この手法では、ェンコ一ダとデコーダが別々に設けられ、それぞれの DCTの演算精度が異なっていれば、それぞれに合わせてビットシフトされるので違うビット数でシフトすることになり、ミスマツチが生じる。

[0006] 本発明は、画面内予測や動き補償の精度を十分高めることによって符号化効率を向上させるための画像符号化装置及び画像符号化方法並びに画像複号化装置及び画像複号化方法を提供することを目的とする。

発明の開示

[0007] 本発明の第 1の形態は、入力画像の各画素のビット精度を変換することによって異なるビット精度の変換入力画像を生成し、変換により変更されたビット数を表すビット変換情報を出力する画素ビット長変換器と、前記入変換力画像を符号化し画像符号化情報を出力する画像符号化器と、前記ビット変換情報と前記画像符号化情報とを多重化する多重化器とを備えた画像符号化装置を提供する。

[0008] 本発明の第 2の形態は、 Nビット精度をそれぞれ持つ複数の画素により構成される入力画像の各画素のビット精度を Mビット大きな（N + M)ビット精度に変換する画素ビット精度変換器と、（N + M)ビット精度の前記入力画像に対する（N + M)ビット精度の予測画像を、（N + M)ビット精度の参照画像から作成する予測画像作成器と、 ( N + M)ビット精度の前記入力画像と (N + M)ビット精度の前記予測画像との差分信号を求める減算器と、前記差分信号を符号化して画像符号化情報を出力する符号化器と、前記画像符号化情報に基づいて復号差分画像を出力する復号ィヒ器と、（N + M)ビット精度の前記予測画像と前記復号差分画像とを加算して (N + M)ビット精度の復号画像を出力する加算器と、（N + M)ビット精度の前記復号画像を前記参照画像として保存する参照画像格納メモリとを備えた画像符号化装置を提供する。

[0009] 本発明の第 3の形態は、ビット変換情報と画像符号ィ匕情報とが多重化された画像情報を入力してビット変換情報と画像符号化情報に分離する逆多重化器と、前記画像符号化情報を復号化し復号画像を出力する画像復号化器と、前記ビット変換情報に基づいて前記復号画像の各画素の値をビット精度が異なるビット精度に変換する画素ビット精度変換器と、を備えた画像復号化装置を提供する。本発明の第 4の形態は、入力符号化画像情報を (N + M)ビット精度の復号差分画像に復号する復号化器と、前記符号化画像情報を用いて (N + M)ビット精度の参照画像から (N + M)ビット精度の予測画像を作成する予測画像作成器と、前記復号差分画像と前記予測画像とを加算して (N + M)ビット精度の復号画像を得る加算器と、 (N + M)ビット精度の前記復号画像を前記参照画像として保存する参照画像格納メモリと、（N + M)ビット精度の前記復号画像の各画素を Nビット精度に変換し Nビット精度の復号画像を出力する画素ビット精度変換器と、を備えた画像復号化装置を提供する。

図面の簡単な説明

[図 1A]図 1Aは本発明の第 1の実施形態に係る画像符号化装置の構成例を示すプロック図である。

[図 1B]図 1Bは 1Aの画像符号ィ匕装置の動作を示すフローチャートである。

[図 2]図 2は画素ビット長拡張器の構成を示すブロック図である。

[図 3]図 3は同実施形態で用いるシンタクスの構造の一例を示す図である。

[図 4]図 4は同実施形態で用いるシーケンスパラメータセットシンタクスの構造を示す図である。

[図 5]図 5は同実施形態で用いるサプリメンタルシンタクスの構造を示す図である。

[図 6]図 6は同実施形態で用いるサプリメンタルシンタクスの構造を示す図である。

[図 7A]図 7Aは同実施形態に係る画像複号化装置の構成例を示すブロック図である

[図 7B]図 7Bは図 7Aの画像復号ィ匕装置の動作を示すフローチャートである。

[図 8]図 8は図 7の画素ビット長縮小器の構成を示すブロック図である。

[図 9A]図 9Aは本発明の第 2の実施形態に係る画像符号化装置の構成例を示すブロック図である。

[図 9B]図 9Bは図 9Aの画像復号ィ匕装置の動作を示すフローチャートである。

[図 10A]図 10Aは同実施形態に係る画像復号化装置の構成例を示すブロック図である。

[図 10B]図 10Bは図 10Aの画像復号化装置の動作を示すフローチャートである。園 11A]図 11Aは第 3の実施形態に係る画像符号ィ匕装置の構成例を示すブロック図である。

[図 11B]図 11Bは図 11Aの画像符号化装置の動作を示すフローチャートである。

[図 11C]図 11Cは図 11Aの画素ビット長変換器の動作の概要を示す図である。

[図 11D]図 11Dは図 11Aの画素ビット長変換器の構成の一例を示すブロック図である。

[図 11E]図 11Eは図 11Aの画素ビット長変換器の構成の一例を示すブロック図である

[図 11F]図 11Fは図 11Aのフレームメモリの構成の一例を示すブロック図である。

[図 12]図 12は図 11の画素ビット長変換器の構成を示すブロック図である。

園 13]図 13は同実施形態で用いるシーケンスパラメータセットシンタクスの構造を示す図である。

園 14]図 14は同実施形態で用いるピクチャーパラメータセットシンタクスの構造を示す図である。

[図 15]図 15は同実施形態で用いるスライスレベルシンタクスの構造を示す図である。

[図 16]図 16は同実施形態で用いるマクロブロックレベルシンタクスの構造を示す図である。

園 17A]図 17Aは同実施形態に係る画像復号化装置の構成例を示すブロック図である。

園 17B]図 17Bは図 17Aの画像復号化装置の動作を示すフローチャートである。園 18A]図 18Aは本発明の第 4の実施形態に係る画像符号化装置の構成例を示すブロック図である。

[図 18B]図 18Bは図 18Aの画像符号化装置の動作を示すフローチャートである。園 19A]図 19Aは同実施形態に係る画像複号化装置の構成例を示すブロック図である。

[図 19B]図 19Bは図 19Aの画像複号化装置の動作を示すフローチャートである。園 20A]図 20Aは第 5の実施形態に係る画像符号ィ匕装置の構成例を示すブロック図である。 [図 20B]図 20Bは図 20Aの画像符号化装置の動作を示すフローチャートである。園 21A]図 21Aは同実施形態に係る画像復号化装置の構成例を示すブロック図である。

[図 21B]図 21Bは図 21Aの画像複号化装置の動作を示すフローチャートである。

[図 22]図 22はエンコーダ側の予測画像作成器のブロック図である。

[図 23]図 23はデコーダ側の予測画像作成器のブロック図である。

[図 24]図 24はフレーム間予測器の構成を示すブロック図である。

園 25]図 25はフレーム間予測器の別の構成を示すブロック図である。

[図 26]図 26はフレーム間予測器の別の構成を示すブロック図である。

[図 27]図 27はエンコーダ側のループフィルタの構成を示すブロック図である。

[図 28]図 28は復号側のループフィルタの構成を示すブロック図である。

[図 29]図 29は画素ビット長拡張器の他の構成を示すブロック図である。

[図 30]図 30はフィルタ処理部のブロック図である。

[図 31]図 31はフィルタ処理部の動作の流れ図である。

園 32]図 32は画素ビット長縮小器のブロック図である。

園 33A]図 33Aは第 6の実施形態に係る画像符号ィ匕装置のブロック図である。

[図 33B]図 33Bは図 33Aの画像符号化装置の動作を示すフローチャートである。園 34A]図 34Aは第 6の実施形態に係る画像復号ィ匕装置のブロック図である。

[図 34B]図 34Bは図 34Aの画像復号化装置の動作を示すフローチャートである。園 35A]図 35Aは第 7の実施形態に係る画像符号ィ匕装置のブロック図である。

[図 35B]図 35Bは図 35Aの画像符号化装置の動作を示すフローチャートである。

[図 36]図 36はシーケンスパラメータセットシンタクスを示す図である。

[図 37]図 37はシーケンスパラメータセットシンタクスを示す図である。

園 38]図 38は画像符号ィ匕装置の処理において使用される制御フラグの設定例を示す図である。

園 39A]図 39Aは第 7の実施形態に係る画像復号ィ匕装置の構成を示すブロック図である。

[図 39B]図 39Bは図 39Aの画像複号化装置の動作を示すフローチャートである。 [図 40]図 40はビット変換情報に含まれる制御フラグの設定を示す図である。

[図 41]図 41はビット精度の拡張の有無によって生じる丸め誤差の相違について説明するための図である。

[図 42]図 42は半画素精度の予測画素値を示す図である。

[図 43]図 43は本発明の実施の形態の画素ビット長拡張および画素ビット長縮小における変換特性を示す図である。

発明を実施するための最良の形態

[0011] 以下、図面を参照しながら本発明の実施形態について説明する。

[0012] (第 1の実施形態）

図 1Aを参照して第 1の実施形態に係る動画像符号化のための画像符号化装置の構成を説明する。この画像符号化装置は、入力画像信号 100が供給され、画素ビット長を拡張する画素ビット長拡張器 (即ち、画素ビット精度を変換する画素ビット精度変換器） 1001と、この画像ビット長拡張器 1001の出力に接続される画像符号ィ匕器 1 0と、この画像符号化器 10の出力に接続される多重化器 12と、画像ビット長拡張器 1 001の他の出力に接続され、ビット拡張情報を多重化部 12に供給するビット長変換制御器 1002とを備えている。

[0013] 図 1Bのフローチャートを参照して画像符号ィ匕装置の動作を説明する。この画像符号化装置には、入力画像信号 100として例えばフレーム単位で動画像信号が入力される（Sl l)。画素ビット長拡張器 1001は、入力された Nビット精度の画像信号 100 の各画素を Nビットより Mビット大きな（N + M)ビット精度に変換する処理を行う。即ち、図 2に示される画素ビット長拡張器 1001において、入力された Nビット精度の画像信号 100の各画素のビット長を拡張するかどうかがビット長拡張情報 1003に基づいてスィッチ E0によって選択される（S12)。拡張を行う場合は、スィッチ E0を ON側に、拡張を行わない場合は OFF側に接続する。スィッチ E0を ONとした場合は、画像信号は画素ビット長拡張変換器 (画素ビット精度変換器) E01に入力され、後述の画素ビット長変換が行われる（S 13)。スィッチ E0が OFFの場合は、画像信号は画素ビット長変換されず、そのまま出力される。例えば、入力画像信号のある画素の値が Kであった場合、その画素値 Kを Mビット拡張した後の画素値 K'は、以下の数式（1)のように計算される。

K，=Kくく M

また、例えば、表示装置の特性に合わせて、画素をガンマ変換することも可能である。拡張するビット数を M、ガンマ値を γとすると、以下の数式（1_1)のように画素値 K'が計算される。

Κ，=ΙΝΤ〔〔{Κ/((1 « Ν)-1)}^Ύ X((l « M)-l)] + offset] …（： 1— 1) また、以下の数式（1一 2)のように、さらに入力画像の画素の最小値 Min、最大値 Maxを求め、ダイナミックレンジを広げつつ Mビット大きなビット精度に画素を拡張することも可肯である。

K ' = INT [ [{ (K - Min) / (Max - Min)} ^γ X (( 1くく Μ)_ 1)〕 +offset〕

-(1-2)

INTは整数に丸めを行う処理を示す。数式（1_1), (1_ 2)での offsetは、丸めを行うときのオフセットを示し、 0〜1の任意の値である。

[0014] さらには、上記のような拡張を行った入力画像の系列に対し、ヒストグラム平滑化を行ったり、時空間にフィルタを施したりすることも可能である。

[0015] 入力画像が例えば RGBなどの複数のコンポーネントからなるカラー画像信号である場合には、各コンポーネントの各画素のビット長を Mビット大きなビット精度に拡張した後に、各コンポーネントを別の色空間のコンポーネント信号に変換してもよい。例えば、 RGBから YCoCgに変換する場合には以下の数式（1 3)で変換する。この例では、 Nビットの入力画像の各コンポーネントの各画素 R, G, B力各画素の値を M ビット大きなビット精度に拡張した後、 Y， Co, Cgに変換される。

R， = (Rくく M)

G， = (G « M)

B' = (Bくく M)

Y=Round(0.5*G' +0.25* (R， +B'))

Co = Round(0.5*G'—0.25* (R， +B')) + (1 « (N + M—l))

Cg = Round(0.5* (R，_B + (1 « (N + M—l))

3) ここで、 Round (A)は Aを四捨五入して整数に丸める処理である。数式（1— 3)による変換例では、拡張するビット数 Mを 2以上にすれば、丸め処理において丸め誤差が発生することなく色変換することが可能である。なお、ここで示した色変換は一例であり、色変換を行う処理であればどのような処理を行ってもよい。

[0016] 以上の例は画素ビット長拡張器 1001が行う変換の一例であり、各画素の値を Mビット大きなビット精度に拡張する処理は、上記の例に限るものではなぐビット長を拡大する処理であればどのような処理を行ってもょレ、。

[0017] 上記のようにしてビット拡張が行われたビット拡張入力画像信号 1009は、画像符号化器 10に導かれる。また、拡張されるビット数 M、入力画像信号のビット長 Nおよびその他変換に必要なガンマ値、画素最大値、最小値、ヒストグラムなどのビット変換情報 1010が生成され (S14)、ビット長変換制御器 (ビット精度変換制御器） 1002によりビット拡張情報 1003として多重化部 12に導かれる。

[0018] 画像符号化器 10は、入力されたビット拡張入力画像信号 1009を符号化し、画像符号化データ 11として多重化部 12に出力する（S15)。多重化部 12は、画像符号化データ 11およびビット拡張情報 1003を多重化し（S16)、符号ィ匕データ 117として図示しない伝送系または蓄積系へ送出する（S 17)。

[0019] 次に、拡張するビット数 Mなどの変換に必要なビット拡張情報 1003の多重化方法について説明する。

[0020] 図 3に、本実施形態で用いられるシンタクスの構造の例を示す。

[0021] このシンタクス構造例において、ハイレベルシンタクス（401)には、スライス以上の上位レイヤのシンタクス情報が詰め込まれてレ、る。スライスレベルシンタクス（402)では、スライス毎に必要な情報が明記されており、マクロブロックレべノレシンタクス (403 )では、マクロブロック毎に必要とされる量子化パラメータの変更値やモード情報などが明記されている。

[0022] 各シンタクスは、さらに詳細なシンタクスで構成されている。ハイレベルシンタクス（4 01)では、シーケンスパラメータセットシンタクス（404)とピクチャーパラメータセットシンタクス（405)などのシーケンスおよびピクチヤレベルのシンタクス力、ら構成されてレヽる。スライスレベルシンタクス（402)では、スライスヘッダーシンタクス（406)、スライスデータシンタクス (407)などから構成されている。さらに、マクロブロックレベルシンタタス（403)は、マクロブロックヘッダーシンタクス（408)、マクロブロックデータシンタクス（409)などから構成されてレ、る。

[0023] 上述したシンタクスは復号ィヒ時に必要不可欠な構成要素であり、これらのシンタクス情報が欠けると複号化時に正しくデータを復元できなくなる。一方、復号化時に必ずしも必要とされない情報を多重化するための補助的なシンタクスとしてサブリメンタルシンタクス (410)が存在する。サプリメンタルシンタクスは、復号側で独立に実行可能な処理に対する指示を示す情報を送る役割として用意されている。

[0024] 本実施形態では、拡張するビット数をシーケンスパラメータセットシンタクス (404)に含めてこのシンタクスを送信することが可能である。それぞれのシンタクスを以下で説明する。

[0025] 図 4のシーケンスパラメータセットシンタクス内に示される ex_seq_bit_extention_flagは、ビット拡張を行うかどうかを示すフラグであり、当該フラグ力 STRUEであるときは、ビット拡張を行うか否かをシーケンス単位で切り替えることが可能である。フラグが FALSE であるときは、シーケンス内ではビット拡張は行われない。 ex_seq_bit_extention_flagが TRUEのときは更に何ビット拡張を行うかを示す ex_seq_shift_bitsが送信される。当該フラグの TRUE/FALSEによって例えば図 2で示される画素ビット長拡張器 1001内のスィッチ E0の ON/OFFが決定される。

[0026] シーケンスパラメータセットシンタクス内には、さらに、どのような変換を行つたかを示す ex— bit— transform— type 含めて;^ ¾してもょレヽ。 ex— bit— transform— type ί 、 f列； J 数式（1)で示される単純なビット拡張変換を示す値 BIT_EXT_TRANSや、数式（1 1)で示される γ変換が行われたことを示す GAMMA_TRANS、数式（1 _ 2)で示されるダイナミックレンジ変換が行われたことを示す DR_TRANSなどが格納されてレ、る。 ex_bit_tr ansform_typeが GAMMA_TRANSである場合には、さらにどのようなガンマ値で変換を行つたかを示す gamma_valueが送信される。 ex_bit_transform_typeが DR_TRANSである場合には、さらにそれぞれ入力画像信号の画素の最大値と最小値を示す max_value , min_valueか目される。

[0027] 本実施形態においては、サプリメンタルシンタクス (410)に多重化されたデータを利用することが可能である。図 5にサプリメンタルシンタクスを用いて復号側の出力画像信号のビット精度を送信する例を示す。サプリメンタルシンタクス内に示される ex_se し bit_extention_flagは、出力画像信号のビット精度を変更するかどうかを示すフラグであり、当該フラグが TRUEのときは、出力画像信号のビット精度を変更することを示す。フラグが FALSEであるときは、出力画像信号のビット精度の変更を行わないことを示す。当該フラグ力 STRUEであるときは、さらに bit_d印 th_of_decoded_imageが送信される。 bit_d印 th_of_decoded_imageは、出力画像信号のビット精度を示す値であり、後述の復号側でビット拡張あるいは縮小を行って復号化する能力のある復号ィ匕器で画像信号を復号化する場合は、 bit_d印 th_of_decoded_imageの値に従って、復号画像のビット精度を拡大あるいは縮小して bit_d印 th_of_decoded_imageで示されたビット精度の復号画像を出力することが可能である。

[0028] ただし、ビット拡張あるいは縮小を行って復号化する能力がない復号ィ匕器で画像信号を復号化する場合や、あるいは能力があつたとしても必ずしも bit_depth_of_decoded _imageで示されたビット精度の復号画像を出力する必要はなぐ復号されたビット精度のまま出力することも可能である。

[0029] また、図 6に、サプリメンタルシンタクス 410を用いて復号側の出力画像信号の色空「，送 1§する 1列を不す。 ex— sei— bit— extention— flag, bit— deptn— of— decoded— imageこつレヽては前述の図 4の例と同様である。

[0030] サプリメンタルシンタクス内に示される ex_color_transform_flagは、出力画像信号の色空間を変換するかどうかを示すフラグであり、当該フラグが TRUEのときは、出力画像信号の各コンポーネントの色空間を変更することを示す。一方、フラグが FALSEであるときは、出力画像信号の各コンポーネントの色空間の変更を行わないことを示す。当該フラグが TRUEであるときは、さらに color_space_of_decoded_imageが送信される。 color_space_of_decoded_imageは、出力画像信号の色空間を示す値であり、後述の復号側でビット拡張あるいは縮小を行って復号化する能力がある。 color_space_of dec odedjmageの値で指定される色空間に変換する能力のある複号化器で画像信号を復号化する場合は、出力画像信号の各コンポーネントを color_space_of_decoded_imag eの値で指定される色空間に変換した後、 bit_d印 th_of_decoded_imageの値に従って、復号画像のビット精度を拡大あるいは縮小して bit_depth_of_decoded_imageで示されたビット精度の復号画像を出力することが可能である。

[0031] ただし、 color_space_of_decoded_imageの値で指定される色空間に出力画像信号の各コンポーネントを変換する能力がない複号化器で復号する場合や、あるいは能力があったとしても、必ずしも color_space_of_decoded_imageの値で指定される色空間に変換した復号画像を出力する必要はない。復号された色空間のまま復号画像を出力した後に、 bit_d印 th_of_decoded_imageで示されたビット精度にコンポーネントを変換することも可能である。また、ビット拡張あるいは縮小を行って復号化する能力がない復号化器で画像信号を復号化する場合や、あるいは能力があつたとしても必ずしも bit_ d印 th_of_decoded_imageで示されたビット精度の復号画像を出力する必要はなぐ復号されたビット精度のまま出力することも可能である。

[0032] 次に、図 7A、図 7Bを参照して本実施形態に係る画像復号化装置を説明する。図 7 Aに示すように、この画像復号化装置は、符号化データが入力される逆多重化部 21 と、逆多重化部 21の出力に接続される画像復号ィ匕器 20と、画像復号化器 20の出力に接続される画素ビット長縮小器 (画素ビット精度縮小変換器） 2001と、逆多重化部 21からビット拡張情報を受け、ビット変換情報を画素ビット長縮小器 2001に入力するビット長変換制御器 (ビット精度変換制御器） 2002とを備えている。

[0033] 図 7Bのフローチャートに示すように、まず、図 1Aの画像符号化装置によって符号化された符号化データ 117が逆多重化部 21に入力される（S21)。逆多重化部 21において、符号化データ 117がビット拡張情報 2004および画像符号化データ 11に分離される（S22)。ビット拡張情報 2004はビット長変換制御器 2002に入力され、画像符号化データ 11は画像復号ィ匕器 20に入力される。画像符号化データ 11は、画像符号化器 10で行われた符号化と逆の手順で復号化され、ビット拡張復号画像信号 2 03とされる（S23)。ビット拡張復号画像信号 203は画素ビット長縮小器 2001に入力される。ビット拡張情報 2004が、ビット長変換制御器 2002に入力されると、ビット長変換制御器 2002は復号画像が何ビット拡張されているか、および変換に必要な情報を示すビット変換情報 2003を出力する。

[0034] 図 8に示すように画素ビット長縮小器 2001においては、入力された Nビット精度の画像信号 100はビット変換情報 2003に基づいてスィッチ E2によって、各画素のビット長を縮小するかどうかが選択される（S24)。スィッチ E2は縮小を行う場合は、 ON側に、拡張を行わない場合は OFF側に接続する。スィッチ E2を ONとした場合は、画像信号は画素ビット長縮小変換器 E02に入力され、後述の画素ビット長変換が行われる (S25)。スィッチ E2が OFFの場合は、画像信号は画素ビット長変換されず、そのまま出力される。例えば、 ex_seq_bit_extention_flag力 TRUEであり、各画素のビット長が拡張されていることを示している場合はスィッチを ON側に、 FALSEの場合は OFF側にする。

[0035] ビット変換情報 2003が、例えば、 ex_seq_shift_bitsによって Mビット拡張されており、 e x_bit_transform_typeによって例えば数式（1)で示される変換が行われたことを示す BI T_EXT_TRANSを示していた場合、画素ビット長縮小器 2001に入力されたビット拡張復号画像信号 203は、各画素の値を Mビット縮小する。例えば、ビット拡張復号画像信号 203のある画素の値が Kであった場合、 Mビット縮小した後の画素値 K'は以下のように計算される。

K' = (K + offset) » M

oifset= (1« (M- 1) ) · ' · (2)

これは四捨五入を用いて、画素値を Μビット小さいビット長に縮小する方法の一例であり、ここでの縮小変換方法は、例えば、 offsetを 0〜（： Κく Μ)の任意の値にするなど、ビット長を小さくする方法であれば、どのような変換方法でもよい。

[0036] ビット変換情報 2003が、例えば、 ex_seq_shift_bitsによって Mビット拡張されており、 e x_bit_transform_typeによって例えば数式（1 1)で示されるガンマ変換が行われたことを示す GAMMA_TRANSを示している。 gamma_valueによってガンマ値が γであることが示されている場合には、画素ビット長縮小器 2001に入力されたビット拡張復号画像信号 203は、各画素の値を Μビット縮小する。例えば、ビット拡張復号画像信号 20 3のある画素の値が Κであった場合、 Μビット縮小した後の画素値 K'は以下のように計算される。

Κ，=ΙΝΤ〔〔{Κ/ ((1くく Μ)_ 1)}^{1/ γ} X ((l « N)- l)] + offset]

… 一 1) ビット変換情報 2003が、例えば、 ex_seq_shift_bitsによって Mビット拡張されており、 e x_bit_transform_typeによって例えば数式（1— 2)で示されるダイナミックレンジ変換が行われたことを示す DR_TRANSを示しており、 min.value, maxvalueによって入力画像の画素の最小値と最大値がそれぞれ Max, Minであることが示されてレ、る場合には、画素ビット長縮小器 2001に入力されたビット拡張復号画像信号 203は、各画素の値を Mビット縮小する。例えば、ビット拡張復号画像信号 203のある画素の値が Kであつた場合、 Mビット縮小した後の画素値 K'は以下のように計算される。

K， = INT〔〔{ (K-(Min «M)) / ((Max -Min) «M)} ^y X ((1 « N)_ 1)〕 + offset]

-(2-2)

INTは整数に丸めを行う処理を示す。数式（2_1), (2_2)での offsetは、丸めを行うときのオフセットを示し、 0〜1の任意の値である。

ビット変換情報 2003が、例えば、 ex_seq_shift_bitsによって Mビット拡張されており、復号画像信号のカラースペースが例えば図 5に示すサプリメンタルシンタクス内で指定されている color_space_of_decoded_imageで指定されている色空間とは異なる色空間であった場合には復号画像の各コンポーネントの各画素を color_space_of_decoded_ imageで指定されている色空間に変換した後、ビット長を Mビット縮小する。例えば、入力画像が RGB力 YCoCgに変換されて符号化されており、 color_space_of_ decode d_imageに RGBが指定されてレ、る場合には、復号画像の各コンポーネントの各画素 Y , Co, Cgに対し、以下の数式（2— 3)によりビット縮小と色空間変換が行われ、各コンポーネントの各画素がそれぞれ R, G, Bに変換される。

t=(Y-((Cg-(l « (N + M-1))) » 1))

G' =Cliply(t+ (Cg-(l « (N + M-1))))

B' =Cliply(t-((Co- (l « (Ν + Μ-1)))» 1))

R'=Cliply(B' + (Co-(l « (N + M-1))))

offset = (1«(M-1))

R= (R， + offset) » M

G= (G， + offset)〉〉 M

B= (B， + offset)》 M … 3)

ここで、 Cliply (A)は Aが 0<Aく（Kく（N + M) )を満たす場合には Aをそのまま出力し、 Aく 0ならば 0を、 A≥ (1<< (N + M) )なら（1くく（N + M) )— 1を出力する処理を表している。これは四捨五入を用いて、画素値を Mビット小さいビット長に縮小する方法の一例であり、ここでの縮小変換方法は、例えば、 offsetを 0〜（1 < < M)の任意の値にするなど、ビット小さくする方法であれば、どのような変換方法でもよい。

[0038] ここでは復号画像信号の色空間がサプリメンタルシンタクス内で指定されている colo r_space_of_decoded_imageで指定されている例を示した力 S、このような指定がない場合や、ハイレベルシンタクス 401にサプリメンタルシンタクスで示した例と同様に復号画像信号の色空間を指定している場合でも、復号画像を出力する過程で色変換処理が行われる場合には、色変換処理を行った後、画素値を Mビット小さいビット長に縮小してもよレ、。また、ここで示した色変換は一例であり、色変換を行う処理であればどのような処理を行ってもよレ、。

[0039] 以上に示した縮小変換は一例であり、ビット長を小さくする方法であれば、どのような変換方法でもよい。

[0040] 以上のようにして、画像符号化装置に入力された入力画像と同じ Nビット精度の復号画像 202が画素ビット長縮小器 2001より出力される（S25)。

[0041] 以上の構成によれば、画像符号化および画像復号化が、入力画像のビット精度よりも Mビット大きなビット精度で行うことができ、符号化効率を向上させることができる。

[0042] (第 2の実施形態）

図 9Aを参照して第 2の実施形態に係る動画像符号化のための画像符号化装置の構成を説明する。図 9に示すように、この画像符号化装置は、画素ビット長拡張器 (画素ビット精度変換器） 1001、ビット長変換制御器 (ビット精度変換制御器） 1002、減算器 101、直交変換器 104、量子化器 106、逆量子化器 109、逆直交変換器 110、加算器 111、ノレープフィノレタ 113、フレームメモリ 114、予測画像作成器 115、ェント口ピー符号ィ匕器 108を備えている。入力画像信号を受ける画素ビット長拡張器 1001 の出力は減算器 101、直交変換器 104および量子化器 106を介してエントロピー符号化器 108に接続される。量子化器 106の出力は逆量子化器 109,逆直交変換器 1 10,加算器 111,ループフィルタ 113、フレームメモリ 114を介して予測画像作成器 1 15に接続される。予測画像作成器 115からの予測画像信号は減算器 101およびカロ算器 111に入力される。予測画像作成器 115からの動きべ外ル /予測モード情報はエントロピー符号ィ匕器 108に入力される。ビット長変換制御器 1002はビット変換情報を画素ビット長拡張器 1001に入力し、ビット拡張情報をエントロピー符号ィ匕器 108 に入力する。

[0043] 上記構成の画像符号ィ匕装置の動作を図 9Bのフローチャートを参照して説明する。

画像符号化装置に、入力画像信号 100として例えばフレーム単位で動画像信号が入力されると（S31)、画素ビット長拡張器 1001は、入力された Nビット精度の画像信号 100の各画素の値を Nビットより Mビット大きな（N + M)ビット精度に拡張する処理を行う（S32)。例えば、入力画像信号のある画素の値が Kであった場合、 Mビット拡張した後の画素値 K'は例えば数式（1)や数式（1 _ 1) , (1 - 2) , (1 _ 3)などによつて計算される。

[0044] 拡張されるビット数 Mなどの変換情報は、ビット長変換制御器 1002によりビット拡張情報 1003としてエントロピー符号化器 108に導かれる（S33)。画素ビット長拡張器 1 001の構成例として、図 2の構成をとり、第 1の実施形態と同様に各画素のビット長を拡張するかどうかをフラグで切り替えて制御する処理を行ってもよい。

[0045] 減算器 101により、（N + M)ビット精度にビット長が拡張された入力画像信号 100と

(N + M)ビット精度で作成された予測画像信号 102との差分がとられ、（N + M)ビット精度の予測誤差信号 103が生成される（S34)。生成された予測誤差信号 103は、直交変換器 104により直交変換 (例えば、離散コサイン変換 (DCT) )される（S35)。直交変換器 104では、直交変換係数情報 105 (例えば、 DCT係数情報）が得られる。直交変換係数情報 105は、量子化器 106により量子化され、量子化直交変換係数情報 107はエントロピー符号ィ匕器 108および逆量子化器 109に入力される。量子化直交変換係数情報 107は逆量子化器 109及び逆直交変換器 110により、量子化器 106及び直交変換器 104の処理と逆の処理を順次受けて、即ち局部復号化されて予測誤差信号と同様の信号、即ち局部復号誤差信号に変換される。この局部復号誤差信号は加算器 111で (N + M)ビット精度の予測画像信号 102と加算されることにより、（N + M)ビット精度の局部復号画像信号 112が生成される。即ち、量子化直交変換係数情報 107が局部復号化される（S36)。局部復号画像信号 112は、必要に応じてループフィルタ 113によりフィルタ処理がなされた後、フレームメモリ 114に格納される。

[0046] 予測画像作成器 115は、（N + M)ビット精度にビット長が拡張された入力画像信号 100及びフレームメモリ 114に格納された (N + M)ビット精度の局部復号画像信号 1 12から、ある予測モード情報に基づく（N + M)ビット精度の予測画像信号を生成する。この際、加算器 111からの（N + M)ビット精度の局部復号画像信号 112はフレームメモリ 114に一旦蓄えられる。フレーム内のブロック毎に（N + M)ビット精度の入力画像信号 100とフレームメモリ 114に蓄えられた（N + M)ビット精度の局部復号画像信号 112との間のマッチング（例えば、ブロックマッチング）により、動きベクトルが検出される（S37)。この動きベクトルで補償された (N + M)ビット精度の局部画像信号を用いて (N + M)ビット精度の予測画像信号を作成する（S38)。ここで生成された（ N + M)ビット精度の予測画像信号 102は、選択された予測画像信号の動きベクトル情報/予測モード情報 116とともに予測画像作成器 115より出力される。

[0047] エントロピー符号化器 108では、量子化直交変換係数情報 107、動きベクトル情報 /予測モード情報 116およびビット拡張情報 1003がエントロピー符号化され（S39) 、これによつて生成された符号ィ匕データ 117は、図示しない伝送系または蓄積系へ送出される。

[0048] なお、拡張するビット数 Mの符号化方法については、第 1の実施形態と同様である。また、本実施形態においては、第 1の実施形態と同様にサプリメンタルシンタクスに多重化されたデータを利用することが可能である。

[0049] 次に、図 10Aを参照して、本実施形態に係る画像複号化装置の構成を説明する。

この画像複号化装置は、エントロピー復号化器 200、逆量子化器 109、逆直交変換器 110、加算器 111、ループフィルタ 113、フレームメモリ 114、予測画像作成器 115 、画素ビット長縮小器 (画素ビット精度変換器） 2001、ビット長変換制御器 (ビット精度変換制御器） 2002を備えている。符号化データを受けるエントロピー復号ィ匕器 20 0の係数情報出力は逆量子化器 109、逆直交変換器 110、加算器 111、ループフィルタ 113を介して画素ビット長縮小器 2001に接続される。ループフィルタ 113の出力はフレームメモリ 114を介して予測画像作成器 115の一方入力に接続される。予測画像作成器 115の他方入力は予測画像作成器 115から動きベクトル/予測モード情報を受けている。予測画像作成器 115の出力は加算器 111に接続される。ェントロピー復号ィ匕器 200のビット拡張情報出力はビット長変換制御器 2002を介して場素ビット長縮小器 2001に接続される。

[0050] 図 10Bを参照して画像復号化装置の動作を説明する。画像復号化装置に図 9Aの画像符号化装置によって符号化された符号ィ匕データ 117が入力されると（S41)、ェントロピー複号化器 200において、符号ィ匕データ 117がエントロピー符号ィ匕の逆の手順に従って複号化され (S42)、量子化直交変換係数情報 107、動きベクトル Z予測モード情報 116、ビット拡張情報 2004が得られる。

[0051] 量子化直交変換係数情報 107は、逆量子化器 109及び逆直交変換器 110により、量子化器 106及び直交変換器 104の処理と逆の処理を順次受けて（N + M)ビット精度の残差信号 201に変換される（S43)。動きベクトル/予測モード情報 116は予測画像作成器 115に入力され、フレームメモリ 114に格納された（N + M)ビット精度のビット拡張復号画像信号 203から動きベクトル/予測モード情報 116に基づく（N + M)ビット精度の予測画像信号 102が生成される（S44)。（N + M)ビット精度の残差信号 201と（N + M)ビット精度の予測画像信号 102は、加算器 111によって加算され、復号画像信号が生成される（S45)。この復号画像信号はループフィルタ 113 で必要に応じてフィルタ処理がなされ、（N + M)ビット精度のビット拡張復号画像信号 203として出力され、フレームメモリ 114に格納される。エントロピー復号ィ匕器 200 力出力されたビット拡張情報 2004は、ビット長変換制御器 2002に入力されると、ビット長変換制御器 2002から復号画像が何ビット拡張されているかを示すビット変換情報 2003が出力される。

[0052] 画素ビット長縮小器 2001に入力されたビット拡張復号画像信号 203は、ビット変換情報 2003に基づいて、例えば数式（2)や数式（2— 1)， (2- 2) , (2— 3)などに基づいて第 1の実施形態と同様の処理を受け、各画素の値を Mビット縮小する（S46)。画素ビット長縮小器 2001は、図 8に示される構成とし、第 1の実施形態と同様に各画素のビット長を縮小するかどうかをフラグで切り替える制御が行われてもよい。

[0053] 以上のようにして、画像符号化装置に入力された入力画像と同じ Nビット精度の復号画像信号 202が画素ビット長縮小器 2001より出力される（S47)。

[0054] 以上の構成によれば、予測画像信号が入力画像信号より Mビット大きな精度をもつて作成されるため、動き補償のフィルタやループフィルタ、画面内予測など精度を高めることができ、結果的に予測誤差信号を小さくすることができるため、符号化効率を向上させることができる。

[0055] (第 3の実施形態）

図 11Aに、本発明の第 3の実施形態に係る動画像符号化のための画像符号化装置の構成を示す。この画像符号化装置は、第 2の実施形態で示した構成例（図 9)とほぼ同様の構成であるが、フレームメモリ 114の前段に画素ビット長変換器 1005を備え、フレームメモリ 114の後段に画素ビット長変換器 (画素ビット精度変換器） 1006 を備える点が異なっている。

[0056] 図 11Bを参照してこの画像符号化装置の動作を説明する。この画像符号化装置には、画像信号 100として例えばフレーム単位で動画像信号が入力される（S51)。画素ビット長拡張器 (画素ビット精度変換器） 1001は、第 2の実施形態と同様の処理を行うことにより、入力された Nビット精度の画像信号 100の各画素の値について、 Nビットより Mビット大きな（N + M)ビット精度に拡張する処理を行う（S52)。拡張されたビット数 Mは、ビット長変換制御器 1002によりビット拡張情報 1003としてエントロピー符号化器 108に導かれる。画素ビット長拡張器 1001は、図 2の構成とし、第 1の実施形態と同様に各画素のビット長を拡張するかどうかをフラグで切り替えて画素ビット長を制御する処理を行ってもよい。

[0057] 減算器 101により、（N + M)ビット精度にビット長が拡張された入力画像信号 100と

(N + M)ビット精度で作成された予測画像信号 102との差分がとられ、（N + M)ビット精度の予測誤差信号 103が生成される（S53)。生成された予測誤差信号 103は、直交変換器 104により直交変換 (例えば、離散コサイン変換 (DCT) )される。直交変換器 104では、直交変換係数情報 105 (例えば、 DCT係数情報）が得られる。直交変換係数情報 105は、量子化器 106により量子化される。即ち、予測誤差信号 103 は直交変換され、量子化される（S54)。量子化直交変換係数情報 107はエントロピ一符号化器 108および逆量子化器 109に導かれる。

[0058] 量子化直交変換係数情報 107は、逆量子化器 109及び逆直交変換器 110により、量子化器 106及び直交変換器 104の処理と逆の処理を順次受けて局部復号誤差信号に変換され、加算器 111で (N + M)ビット精度の予測画像信号 102と加算される。これにより、（N + M)ビット精度の局部復号画像信号 112が生成される。即ち、量子化直交変換係数情報 107は、局部符号化される（S55)。

[0059] (N + M)ビット精度の局部復号画像信号 112は、必要に応じてループフィルタ 113 によりフィルタ処理がなされた後、画素ビット長変換器 1005に入力され、各画素の値を Lビット小さな値に縮小変換し、または各画素の値を Lビット大きな値に拡大変換する（S56)。例えば、（N + M)ビット精度の局部復号画像信号 112のある画素の値が Kであった場合、 Lビット縮小した後の画素値 K'は以下のように計算される。

K' = (K + offset) » L

oifset= (1« (L- 1) ) · ' · (3)

ここで、縮小するビット数 Lは、 0< L≤Mを満たす整数である。ビット長を縮小した結果、局部復号画像信号 112の各画素のビット長は (N + M— L)ビットとなる。ここでの縮小変換方法は、例えば、 offsetを 0〜（： Kく L)の任意の値にするなど、ビット長を小さくする方法であれば、どのような変換方法でもよい。

[0060] 変換方法の他の手法を説明する。図 11Cには、符号化単位画像の画素値のヒストグラム (左側）とビット精度変換後のヒストグラム (右側）が示されている。図 11Cに示すように、例えば 12ビットに拡張された局部復号画像 112を 8ビット長の画像に縮小する場合、 12ビット長に拡張された局部復号画像 112を例えばマクロブロック単位などの任意の符号化単位ごとに画素値の最大値 mbjnaxと最小値 mbjninからダイナミックレンジ D=(mb_max-mb_min)を算出する。このダイナミックレンジ Dが 8ビットで表される範囲、即ち 0〜255であれば、そのブロックは 8ビットに変換されてフレームメモリ 114 に出力される。このとき、このブロックの画素値の最大値 mbjnax及び/又は最小値 m bjninを用いて決められる代表値もフレームメモリ 114に出力される。ダイナミックレンジ Dが 8ビットで表現できない値であると、ブロックは 2ビット右へのシフトによる除算処理されてから 8ビットに変換される。このときには、シフト量 Q_bit = 2及び代表値とともにブロックがフレームメモリ 1 14に出力される。ダイナミックレンジが更に大きい場合は、図 1 1 Cに示されるように 8ビット変換ブロックがシフト量 Q_bit = 4と代表値とともにフレームメモリ 1 14に出力される。

[0061] 上記の手法をより詳しく説明すると、図 1 1 Cに示すように、例えばマクロブロック単位などの任意の符号化単位ごとに、局部復号画像信号 1 12内の画素値の最大値 mbjn axと最小値 mb_minを求め、そのダイナミックレンジ D=(mb_max_mb_min)に応じて縮小するビット数 Q_bitを (3-1)式を用いて変更される。

[0062] この場合、画素ビット長変換器 1005は例えば図 1 1Dのような構成となっており、まず、ダイナミックレンジ算出部 10051で局部復号画像信号 1 12内の画素値の最大値 mbjnaxと取/」ヽィ直 mb_min¾r求め、そのタイナミックレンン D=(mb_max-mb_min)を求める

[0063] 次にシフト量/代表値算出部 10052において、ダイナミックレンジ Dに応じてシフト量 Q_bitを例えば（3— la)式を用いて算出する。また例えば mb_minを代表値として設定する。

[0064] Q— bit = log2(D) —（N+M-L- 1) - - - (3 - l a)

さらに、画素ビット精度変換器 10053において、ビット拡張復号画像信号のある画素の値が Kであった場合、 Lビット（L〉0)縮小した後の画素値 K'は例えば以下のように計算され、変換された局部復号画像信号 1 12が、代表値 mbjnin,シフト量 Q_bit (代表値/シフト量 10054)がフレームメモリ 1 14に出力される。

[0065] Offset = (l«(Q_bit-D)

K' = (K-mb_min + Oifset)»Q_bit …（3 _ lb)

このとき、例えばフレームメモリ 1 14を図 1 1 Fのように参照画像を格納するメモリ 1 14a と各参照画像の各符号ィ匕単位（マクロブロック単位）ごとにどのようにビット精度を変換したかを示す情報を格納するサブメモリ 1 14bとで構成し、サブメモリ 1 14bには例えば代表値 mbjninとシフト量 Q_bitを保持しておく。

[0066] また、復号側で N+Mビット精度で得られるビット拡張復号画像信号を Nビット精度に変換して復号画像信号を得る際に例えば (2)式を用いた場合を考える。このとき、（3 -1)式を用いて変換した (N + M— L)ビット精度の局部復号画像信号をフレームメモリに格納し、（3-1)式の逆の手順でフレームメモリからビット精度が N+Mビットに拡張された局部復号画像信号を読み出すと、得られる N+Mビット精度の局部復号画像信号が N+M-Lビットに変換される前の局部復号画像信号を直接（2)式で変換した場合と異なる値が算出される場合がありうる。このことを考慮した変換式が以下の (3_2)_(3-6) 式となる。

[0067] まず、ダイナミックレンジ算出部 10051部において、例えばマクロブロック単位などの任意の符号化単位ごとに、局部復号画像信号 112内の画素値の最大値 mbjnaxと最 /J、値 mbjninを求め、そのダイナミックレンジ D=(mb_max-mb_min)を求める。

[0068] 次に、シフト量 Z代表値算出部 10052において、ダイナミックレンジ Dに応じて縮小する仮のビット数 Q_bitと Q_bitでシフト演算を行う際に用いるオフセット値 Offsetを（3 _ 2)式を用いて算出する。

[0069] mb.min = INT(mb_min»L)

D = mb— max_(mb— mm《L)

Q— bit = log2(D) - (N+M-L- 1)

Offset = (Kく (Q— bit-l》 …（3— 2)

次に、 Q_bitの値が 0か Lでない場合に、以下の条件式（3— 3)を満たすかどうかを判定する。

[0070] D + Offset > (1《N+M- L+Q— bit) - 1 - Offset ) …（3— 3)

ここで、（3— 3)の不等式を満たさない場合は、（3— 4)式に示すとおり、 Q_bitを 1加算し、改めてオフセット値 Offsetの再計算を行う。

[0071] Q_bit = Q_bit+1

Offset = (1くく (Q_bit-1》 …（3 _4)

なお、 Q_bitの値が 0か Lの場合は（3— 2)式の Q_bitと Offsetをそのまま用いる。

[0072] 最後に、画素ビット精度変換器 10053において、ビット拡張復号画像信号のある画素の値が Kであった場合、 Lビット（L〉0)縮小した後の画素値 K'は例えば以下のように計算され、変換された局部復号画像信号 112が、代表値 mbjnin，シフト量 Q_bit (代表値/シフト量 10054)がフレームメモリに出力される。 [0073] . Q_bitが 0か Lの場合

K' = (K - (min_mb«L) + Offset) » Q— bit - (3 -5)

•Q_bitが 0か Lでない場合

K' = (K - (min_mb«L) + 2*Offset) » Q_bit … 一 6) このとき、（3— 1)式を用いた場合と同様に、フレームメモリ 114は、各フレームの各符号化単位ごとにどのようにビット精度を変換したかを示す情報を記憶するサブメモリ持ち、ここに例えば代表値 mbjninとシフト量 Q_bitを保持しておく。

[0074] 以上のように（3_ 1)や（3_ 2)〜（3 _6)式を用いてマクロブロックなどの符号化単位ごとの各画素のダイナミックレンジを考慮して、各画素値を Lビット小さな値に縮小変換した場合、 (3)式のように単純に Lビット小さな値に縮小変換した場合と比較して、縮小時のシフト演算によって生じる丸め誤差を小さく抑えることができ、参照画像信号をより精度を保った状態でフレームメモリに保存することが可能となる。

[0075] 上記実施形態では、代表値を画素値の最小値 mbjninとした力 S、他の値であってもよぐ画素値の最大値 mb_maxと最小値 mbjninによって決まる値であってもよレ、。

[0076] 逆に、各画素の値を（— L)ビット大きな値に拡大変換する場合には、例えば、ビット拡張復号画像信号のある画素の値が Kであった場合、（一 L)ビット拡張した後の画素値 K'は例えば以下のように計算される。

K' =Kくく（一 L) …(

ここで、拡大するビット数 Lは 0く（一 L)を満たす整数である。ビット長を拡大した結果、局部復号画像信号 112の各画素のビット長は (N + M— L)ビットとなる。図 12に画素ビット長変換器 1005の構成例を示す。入力された Nビット精度の画像信号 100 はビット長拡張情報 1003に基づいてスィッチ E3によって、各画素のビット長を拡張するかどうかを選択される。スィッチ E3は拡張を行う場合は、〇N側に、拡張を行わない場合は OFF側に接続する。スィッチ E3を ONとした場合、画素ビット長変換器 100 5に入力された画像信号は、画素ビット長拡張/縮小変換器 E03に入力され、画素ビット長変換される。スィッチ E3が OFFの場合は、画像信号は画素ビット長変換されず、そのまま出力される。このように、ビット長を縮小あるいは拡大された局部復号画像信号 112は、フレームメモリ 114に格納される（S57)。フレームメモリ 114に格納された（ N + M— L)ビット精度の局部復号画像信号 112は、予測画像作成器 115に入力される前に、画素ビット長変換器 1006に導かれ、 L >0の場合には各画素のビット長を L ビット大きなビット精度に拡張変換する（S58)。例えば、（N + M— L)ビット精度の局部復号画像信号 112のある画素の値が Kであった場合、 Lビット拡張した後の画素値 K' は例えば以下のように計算される。

K，=Kくく L - - - (5)

また、変換方法の他の手法として、図 11Cに示すように、例えばマクロブロックなどの任意の符号化単位ごとに、局部復号画像信号 112内の画素値の最大値 mbjnaxと最小値 mbjninを求め、そのダイナミックレンジ D=(mb_max-mb_min)に応じて縮小するビット数 Q_bitを (3-1)式に示す式を用いて変更した場合には、画素ビット精度変換器 1006は例えば図 11Eのような構成を用いて、シフト量 Z代表値読み出し部 10061 においてフレームメモリ 114内のサブメモリ 114bから、該符号化単位の代表値 mbjni nとシフト量 Q_bit (代表値/シフト量 10054)を読み出し、画素ビット精度変換部 100 62において、例えば以下の式を用いてビット精度を Lビット拡張した後の画素値 K'を計算する。

K' = (K«Q_bit) + mb.min · ' · (5— 1)

また、変換方法のさらに別の手法として、（3— 2)〜（3— 6)式に示す式を用いて変更した場合には、シフト量/代表値読み出し部 10061においてフレームメモリ 114内のサブメモリから、該符号化単位の mbjninと Q_bitを読み出し、画素ビット精度変換部 10062において、例えば以下の式を用いてビット精度を Lビット拡張した後の画素値 K'を計算する。

Q_bitが 0か Lの場合

K' = (K «Q_bit ) + (mbjninくく L)

Q_bitが 0か Lでない場合

K， = (K«Q_bit) + (mb_min«L) - (l«(Q_bit - 1))

- (5 - 2)

一方、 Lく 0の場合には、各画素のビット長を（-L)ビット小さなビット精度に縮小変換する。例えば、ビット拡張復号画像信号のある画素の値が Kであった場合、（_U ビット縮小した後の画素値 K'は例えば以下のように計算される。

K' = (K + offset) » (-L)

oifset= (1« (-L- 1) ) · ' · (6)

ここでの縮小変換方法は、例えば、 offsetを 0〜（： 1くく（_L) )の任意の値にするなど、ビット長を小さくする方法であれば、どのような変換方法でもよい。画素ビット長変換器 1006は、画素ビット長変換器 1005と同様の図 12に示す構成とし、各画素のビット長を変換するかどうかの処理をフラグで切り替える制御を行ってもよい。このような変換を行うことによって、予測画像作成器 115に出力される局部復号画像信号 112のビット精度は、（N + M)ビット精度となる。

[0078] フレームメモリ 114の前後で縮小/拡大されるビット長 Lは、 L≤Mを満たす整数であり、かつフレームメモリ 114の前後で縮小/拡大されるビット数が等しければよい。

L = 0の場合は、フレームメモリ 114に格納する際あるいはフレームメモリ 114から出力する際のビット拡張/ビット縮小は行われない。画素ビット長変換器 1005および画素ビット長変換器 1006で行われる変換は、前述の数式（3)〜（6)に限るものではなぐ指定のビット長だけ拡大/縮小が行われる変換であれば、どのような変換を行つてもよレ、。このビット数 Lについても、ビット長変換制御器 1002によりビット拡張情報 1 003としてエントロピー符号化器 108に導かれる。

[0079] 予測画像作成器 115は、 (N + M)ビット精度にビット長が拡張された入力画像信号

100及び (N + M)ビット精度の局部復号画像信号 112からある予測モード情報に基づく（N + M)ビット精度の予測画像信号を生成する。この際、フレーム内のブロック毎に（N + M)ビット精度の入力画像信号 100と画素ビット長変換器 1005によって (N + M)ビット精度に拡大された局部復号画像信号 112との間のマッチング (例えば、ブロックマッチング）をとり、動きベクトルを検出する（S59)。この動きベクトルで補償された（N + M)ビット精度の局部画像信号を用いて (N + M)ビット精度の予測画像信号を作成する（S60)。ここで生成された（N + M)ビット精度の予測画像信号 102は、選択された予測画像信号の動きべ外ル情報/予測モード情報 116とともに予測画像作成器 115より出力される。

[0080] エントロピー符号化器 108では、量子化直交変換係数情報 107、動きベクトル情報 /予測モード情報 116およびビット拡張情報 1003がエントロピー符号化され（S61 ) 、これによつて生成された符号ィ匕データ 117は、図示しない伝送系または蓄積系へ送出される。

[0081] 次に、拡張するビット数 Mおよび Lの符号化方法について説明する。本実施形態で使用されるシンタクスの構造の例は、第 1の実施形態で用いた図 3と同様である。本実施形態では、拡張するビット数をシーケンスパラメータセットシンタクス (404)、ピクチヤ一パラメータセットシンタクス（405)、スライスレベルシンタクス（402)、および、マクロブロックレベルシンタクス（403)に含めて送信することが可能である。それぞれのシンタクスを以下で説明する。

[0082] 図 13のシーケンスパラメータセットシンタクス内に示される ex_seq_bit_extention_flag は、ビット拡張を行うかどうかを示すフラグであり、当該フラグが TRUEであるときは、ビット拡張を行うか否かをシーケンス単位で切り替えることが可能である。一方、フラグカ SFALSEであるときは、シーケンス内ではビット拡張は行われない。 ex_seq_bit_ext ention_flagが TRUEのときは更に何ビット拡張を行うかを示す ex_seq_shift_bitsを送信してもよい。

[0083] ex_seq_bit_extention_flagが TRUEのときは更にフレームメモリ 114に格納される際のビット精度を示す ex_framemem_bitdepthを送信してもよい。本実施形態では、例えば N + M— L力 x_framemem_bitdepthに格納されて送信されることになる。

[0084] 本実施形態では、任意の符号化単位でビット拡張を行うか否かを切り替えたり、拡張するビット数を切り替えたりすることも可能である。この場合には、拡張するビット数をさらにピクチャーパラメータセットシンタクス（405)、スライスレベルシンタクス（402) 、および、マクロブロックレベルシンタクス（403)に含めて送信することが可能である。

[0085] 図 14のピクチャーパラメータセットシンタクス内に示される ex_pi bit_extention_flagは、ピクチャ毎にビット拡張を行うかどうかを変更するかどうかを示すフラグである。当該フラグが TRUEであるときは、ピクチャ単位でビット拡張を行うどうかを切り替えることが可能である。一方、フラグが FALSEであるときは、ピクチャ毎にピクチャ単位でビット拡張を行うどうかを変更することが出来なレ、。 ex_pic_bit_extention_flagが TRUEのときは更に何ビット拡張を行うかを示す ex_pic_shift_bitsが送信される。ここで、シーケンスパラメータシンタクス内の ex_seq_shift_bitsでシーケンスレベルで拡張するビット数が指定されてレ、た場合には、 ex_pic_shift_bitsを拡張するビット数として優先してもよレ、し、 ex_seq_shift_bitsを拡張するビット数として優先してもよレ、し、 ex_seq_shift_bits + ex_pic _shift_bitsを拡張するビット数としてもよレ、。いずれを優先するかは、予め取り決めておくのが好ましい。

[0086] ピクチャーパラメータセットシンタクス内には、 ex_bit_extention_in_slice_flag、 ex_bit_ex tention_in_mb_flagとレ、うフラグが存在していてもよレ、。これらのフラグはそれぞれ、スライスレベル、マクロブロックレベルでビット拡張を行うかどうかを変更するフラグが存在するかどうかを示すフラグである。

[0087] 図 15に示すとおり、スライスレベルシンタクス内では、 ex_bit_extention_in_slice_flagが TRUEのときは、 ex_slice_shift_bitsが送信され、スライス単位で拡張するビット数を切り替えて送信することが可能である。ここで、すでにシーケンスパラメータセットシンタタス、ピクチャパラメータシンタクスによって拡張するビット数 Sが指定されている場合には、 Sを拡張するビット数として優先してもよいし、 ex_slice_shift_bitsを拡張するビット数として優先してもよいし、 S+ ex_slice_shift_bitsを拡張するビット数として優先してもよレヽ。なお、いずれを優先するかは、予め取り決めておくのが好ましい。一方、 ex_bit_ex tention_in_slice_flagが FALSEの場合には、 ex_slice_shift_bitsは送信されない。

[0088] 図 16に示すとおり、マクロブロックレベルシンタクス内では、 ex_bit_extention_in_mb_fl agが TRUEのときは、 ex_mb_shift_bitsが送信され、マクロブロック単位で拡張するビット数を切り替えて送信することが可能である。ここで、すでにシーケンスパラメータセットシンタクス、ピクチャパラメータシンタクス、スライスレベルシンタクスによって拡張するビット数 Sが指定されてレ、る場合には、 Sを拡張するビット数として優先してもよレ、し、 ex_mb_shift_bitsを拡張するビット数として優先してもよいし、 S+ ex_mb_ shift_bitsを拡張するビット数として優先してもよレ、。いずれを優先するかは、予め取り決めておくのが好ましレヽ。一方、 ex_bit_extention_in_mb_flagが FALSEの場合には、 ex_slice_ shift.bit sは送信されない。

[0089] 上述のように、任意の符号ィ匕単位でビット拡張を行うか否力 ^切り替える場合、あるレ、は、拡張するビット数を切り替える場合には、フレームメモリ 114に格納される局部復号画像信号のビット精度がシーケンスパラメータセットシンタクス内に示される ex_fra memem_bitdepthになるように Lが定められる。

[0090] 本実施形態においては、第 1の実施形態と同様にサプリメンタルシンタクスに多重化されたデータを利用することが可能である。

[0091] 次に、図 17Aを参照して本実施形態に係る画像復号化装置の構成を説明する。この画像復号化装置は、第 2の実施形態で示した構成例（図 10A)とほぼ同様の構成である力加算器 111 (及びループフィルタ 113)の後段に画素ビット長縮小器 2001 の代わりに画素ビット長変換器 (画素ビット精度変換器） 2007を備え、フレームメモリ 114は加算器 111 (及びループフィルタ 113)の後段ではなぐ画素ビット長変換器 2 007の後段に接続され、さらに、フレームメモリ 114の後段に画素ビット長変換器 200 8が接続されてレ、る点が異なる。

[0092] 図 17Bのフローチャートを参照して画像復号化装置の動作を説明する。画像復号化装置に図 11 Aの画像符号化装置によって符号化された符号化データ 117が入力されると（S71)、エントロピー復号化器 200において、符号化データ 117がエントロピ一符号化の逆の手順で復号化され、量子化直交変換係数情報 107、動きベクトル/ 予測モード情報 116、ビット拡張情報 2004が得られる（S72)。

[0093] 量子化直交変換係数情報 107は、逆量子化器 109及び逆直交変換器 110により、量子化器 106及び直交変換器 104の処理と逆の処理を順次受けて（N + M)ビット精度の残差信号 201に変換される（S73) (S74)。

[0094] エントロピー復号化器 200から出力されたビット拡張情報 2004は、ビット長変換制御器 2002に入力されると、復号画像が何ビット拡張されているかを示すビット数 Mと、フレームメモリに格納される際に縮小するビット数 Lを示すビット変換情報 2003をビット長変換制御器 2002から出力する。

[0095] 画素ビット長変換器 2008は、後述の手順でフレームメモリ 114に格納された（N + M— L)ビット精度の復号画像信号 202に対し、ビット変換情報 2003に基づいて、例えば L > 0の場合には、数式（5) (5- 1) (5— 2)などと同等の処理を施すことによつて画素ビット長を Lビット大きく拡張変換する処理を行い（S75)、 L< 0の場合には、数式 (6)などと同等の処理を施すことによって画素ビット長を（-L)ビット小さく縮小変換する処理を行い、（N + M)ビット精度のビット拡張参照画像信号 204を出力する (S75)。なお、（5— 1)や（5— 2)と同様の処理を施す場合、画素ビット長変換器 200 8の構成を図 11Dと同様の構成としてもよい。またフレームメモリ 114を例えば図 11F と同様の構成としてもよい。

[0096] 動きベクトル Z予測モード情報 116は予測画像作成器 115に入力され、上記 (N + M)ビット精度のビット拡張参照画像信号 204から動きベクトル Z予測モード情報 11 6に基づく（N + M)ビット精度の予測画像信号 102が生成される（S77)。（N + M)ビット精度の残差信号 201と (N + M)ビット精度の予測画像信号 102は、加算器 111 によって加算される。加算された信号は、ループフィルタ 113で必要に応じてフィルタ処理がなされ、（N + M)ビット精度のビット拡張復号画像信号 203が出力される（S7 8)。

[0097] ビット拡張復号画像信号 203は、画素ビット長変換器 2007に入力され、ビット変換情報 2003に基づいて各画素の値に対し例えば数式（2)などの第 1の実施形態の画像復号化装置における画素ビット長縮小器と同等の処理を施されることにより、 Mビット小さな値に画素ビット長が縮小変換され (S79)、画像符号化装置に入力された入力画像と同じ Nビット精度の復号画像 202を得る（S80)。

[0098] 画素ビット長変換器 2007は、図 12の構成とし、各画素のビット長を縮小するかどう力をフラグで切り替える制御を行ってもよい。

[0099] M = Lの場合には、 Nビット精度の復号画像信号 202はそのままフレームメモリ 114 に格納される。 M≠Lであり、 L >0の場合には、（N + M)ビット精度のビット拡張復号画像信号 203に対して、例えば数式（3) (3 - 1) (3— 2)〜（3— 6)と同様の処理を各画素毎に行うことで、 Lビットだけビット長が縮小された (N + M— L)ビット精度の復号画像を作成し、フレームメモリ 114に格納する。逆に Lく 0の場合には、数式 (4)と同様の処理を各画素に対して行うことで、 (-L)ビットだけビット長が縮小された（N + M —L)ビット精度の復号画像を作成し、フレームメモリ 114に格納する。なお、（3— 1) や（3— 2)〜（3— 6)と同様の処理を施す場合、画素ビット長変換器 2007の構成を図 11Dと同様の構成としてもよい。

[0100] 以上の構成によれば、予測画像信号が入力画像信号より Mビット大きな精度をもつて作成されるため、動き補償のフィルタやループフィルタ、画面内予測など精度を高めることができ、結果的に予測誤差信号を小さくすることができるため、符号化効率を向上させることができる。また、第 1、第 2の実施形態と異なり、 0<L≤Mの場合には、フレームメモリに格納される参照画像信号を、ビット長が拡張された入力画像信号や予測画像信号より小さなビット長で格納することができ、動き補償のフィルタやループフィルタ、画面内予測など精度を高める効果を保ったまま、フレームメモリの使用量を削減することが可能となる。

[0101] 以上の構成によれば、任意の符号化単位でビット拡張を行うか否かを切り替えたり、拡張するビット数を切り替えたりすることができ、任意の符号化単位ごとに最も符号化効率のよい拡張ビット数を選択して符号ィ匕することができるため、さらに符号化効率を高めることも可能である。

[0102] (第 4の実施形態）

図 18Aを参照して第 4の実施形態に係る動画像符号化のための画像符号化装置の構成を説明する。この画像符号化装置は、第 2の実施形態で示した構成例（図 9) と比較して、入力画像に対し画素ビット長を拡大する画素ビット長拡張器を備えず、フレームメモリ 114 (及びループフィルタ 113)の前段に画素ビット長拡張器（画素ビット精度拡張変換器） 1001を備え、予測画像作成器 115の後段に画素ビット長縮小器 (画素ビット精度縮小変換器） 1004を備える点が異なっている。

[0103] 図 18Bのフローチャートを参照して画像符号ィ匕装置の動作を説明する。この画像符号化装置には、入力画像信号 100として例えばフレーム単位で各画素の精度が例えば Nビット精度の動画像信号が入力される（S81)。減算器 101により入力画像信号 100と Nビット精度の予測画像信号 102との差分がとられ、 Nビット精度の予測誤差信号 103が生成される（S82)。 Nビット精度の予測画像信号 102の生成方法については後述する。生成された予測誤差信号 103に対して、直交変換器 104により直交変換 (例えば、離散コサイン変換 (DCT) )が施され、直交変換器 104では、直交変換係数情報 105 (例えば、 DCT係数情報）が得られる（S83)。直交変換係数情報 105は、量子化器 106により量子化され、量子化直交変換係数情報 107はェント口ピー符号ィ匕器 108および逆量子化器 109に導かれる。 [0104] 量子化直交変換係数情報 107は、逆量子化器 109及び逆直交変換器 110により、量子化器 106及び直交変換器 104の処理と逆の処理を順次受けて局部復号誤差信号に変換される。この局部復号誤差信号は加算器 111で Nビット精度の予測画像信号 102と加算されることにより、 Nビット精度の局部復号画像信号 112が生成される (S84)。

[0105] 局部復号画像信号 112は、必要に応じてループフィルタ 113によりフィルタ処理がなされた後、画素ビット長拡張器 1001に入力され、各画素の値を Mビット大きな値に拡張変換する（S85)。例えば、ビット拡張復号画像信号のある画素の値力であつた場合、 Mビット縮小した後の画素値 K'は第 1の実施形態の数式（1)と同様に計算される。ビット精度が（N + M)ビットに拡大された局部復号画像信号 112は、フレームメモリ 114に格納される（S86)。フレームメモリ 114に格納された（N + M)ビット精度の局部復号画像信号 112は、予測画像作成器 115に入力される。画素ビット長拡張器 1001は、図 2の構成とし、第 1の実施形態と同様に各画素のビット長を拡張するかどうかをフラグで切り替えてビット長を制御する処理を行ってもよい。

[0106] 予測画像作成器 115は、（N + M)ビット精度の局部復号画像信号 112からある予測モード情報に基づく（N + M)ビット精度の予測画像信号を生成する。この際、フレーム内のブロック毎に入力画像信号 100の各画素を (N + M)ビット精度に拡張した画像信号と、（N + M)ビット精度に拡大された局部復号画像信号 112との間のマツチング（例えば、ブロックマッチング）をとり、動きベクトルを検出する（S87)。この動きベクトルで補償された (N + M)ビット精度の局部画像信号を用いて (N + M)ビット精度の拡張予測画像信号 117を作成する（S89)。ここで生成された (N + M)ビット精度の拡張予測画像信号 117は、選択された予測画像信号の動きべ外ル情報/予測モード情報 116とともに予測画像作成器 115より出力される。

[0107] (N + M)ビット精度の拡張予測画像信号 117は、画素ビット長縮小器 1004に入力され、各画素のビット長が Mビット小さくなる画像信号に変換される（S90)。この変換は、例えば第 1の実施形態で示した数式（2)と同様の処理により行われる。ここで、縮小されるビット数 M、および画素ビット長拡張器 1001において拡大されるビット数 M は、ともに同じ値であり、ビット長変換制御器 1002によりビット拡張情報 1003としてェントロピー符号化器 108に導かれる。画素ビット長縮小器 1004は、図 8の構成とし、実施の形態 1と同様に各画素のビット長を拡張するかどうかをフラグで切り替えてビット長を制御する処理を行ってもょレ、。

[0108] エントロピー符号化器 108では、量子化直交変換係数情報 107、動きベクトル情報 /予測モード情報 116およびビット拡張情報 1003がエントロピー符号化され (S91) 、これによつて生成された符号ィ匕データ 117は、図示しない伝送系または蓄積系へ送出される。

[0109] 拡張するビット数 Mの符号化方法は、第 1の実施形態と同様である。また、本実施形態においては、第 1の実施形態と同様にサプリメンタルシンタクスに多重化されたデータを利用することが可能である。

[0110] 次に、図 19Aを参照して本実施形態に係る画像復号化装置の構成を説明する。この画像復号化装置は、第 2の実施形態で示した構成（図 10A)と比較して、フレームメモリ 114 (及びループフィルタ 113)の前段に画素ビット長拡張器 2005を備え、予測画像作成器 115の後段に画素ビット長縮小器 (画素ビット精度変換器） 2006を備える点が異なっている。

[0111] 図 19Bのフローチャートを参照して画像復号ィ匕装置の動作を説明する。画像復号化装置に図 18Aの画像符号化装置によって符号化された符号化データ 117が入力されると（S101)、エントロピー復号化器 200において、符号化データ 117がェントロピー符号化の逆の手順で復号化され、量子化直交変換係数情報 107、動きベクトル /予測モード情報 116、ビット拡張情報 2004が得られる（S102)。量子化直交変換係数情報 107は逆量子化器 109及び逆直交変換器 110により、量子化器 106及び直交変換器 104の処理と逆の処理を順次受けて Nビット精度の残差信号 201に変換される（S103)。エントロピー複号化器 200から出力されたビット拡張情報 2004は、ビット長変換制御器 2002に入力されると、復号画像が何ビット拡張されているかを示すビット変換情報 2003をビット長変換制御器 2002から出力する（S104)。

[0112] 動きベクトル Z予測モード情報 116が予測画像作成器 115に入力されると、後述の手順でフレームメモリ 114に格納されたビット拡張復号画像信号 203から動きべタトル/予測モード情報 116に基づく（N + M)ビット精度の拡張予測画像信号 205が生成される（S105)。

[0113] 画素ビット長縮小器 2006は、（N + M)ビット精度の拡張予測画像信号 205に対し、ビット変換情報 2003に基づいて、例えば数式（2)などの第 1の実施形態の画像復号化装置における画素ビット縮小変換器と同等の処理を施すことによって画素ビット長を Mビット縮小変換する処理を行い（S106)、 Nビット精度の予測画像信号 102を出力する。画素ビット長縮小器 2006は、図 8の構成とし、実施の形態 1と同様に各画素のビット長を拡張するかどうかをフラグで切り替えてビット長を制御する処理を行つてもよい。

[0114] Nビット精度の残差信号 201と Nビット精度の予測画像信号 102は加算器 111によつて加算され、縮小復号画像信号が生成される（S107)。縮小復号画像信号は画素ビット長拡張器 2005に入力されると、画素ビット長拡張器 2005は、ビット変換情報 2 003に基づいて、例えば数式（1)などの第 1の実施形態の画像符号化装置における画素ビット長拡張器で行われる処理と同等の処理を施すことによって画素ビット長を Mビット拡張する処理を行う（S108)。画素ビット長拡張器 2005から出力された信号は、ループフィルタ 113で必要に応じてフィルタ処理がなされ、ビット（N + M)ビット精度の拡張復号画像信号 203が出力され (S109)、フレームメモリ 114に格納される。画素ビット長拡張器 2005は、図 2の構成とし、第 1の実施形態と同様に各画素のビット長を拡張するかどうかをフラグで切り替えてビット長を制御する処理を行ってもよレ、。

[0115] (N + M)ビット精度のビット拡張復号画像信号 203は、画素ビット長縮小器 2001に入力され、ビット変換情報 2003に基づいて各画素の値に対し例えば数式（2)などの第 1の実施形態の画像複号化装置における画素ビット縮小変換器と同等の処理を施されることにより、画像符号化装置に入力された入力画像と同じ Nビット精度の復号画像 202を得る（S110) (Sl l l)。

[0116] 以上の構成によれば、予測画像信号が入力画像信号より Mビット大きな精度をもつて作成されるため、動き補償のフィルタやループフィルタ、画面内予測など精度を高めることができる。従って、結果的に予測誤差信号を小さくすることができるため、符号化効率を向上させることができる。また、第 1〜3の実施形態と異なり、予測誤差信号および残差信号の変換 ·量子化の処理を入力画像のビット精度に対応した精度で行うことが可能となり、動き補償のフィルタやループフィルタ、画面内予測など精度を高める効果を保ったまま、変換 ·量子化のビット精度を削減し、演算規模を小さくすることが可能となる。

[0117] (第 5の実施形態）

図 20Aを参照して第 5の実施形態に係る動画像符号化のための画像符号化装置の構成を説明する。この画像符号化装置は、第 2の実施形態で示した構成例（図 9) と比較して、入力画像に対し画素ビット長を拡大する画素ビット長拡張器を備えず、予測画像作成器 115の前段に画素ビット長拡張器 (画素ビット精度拡張変換器) 10 01を備え、予測画像作成器 115の後段に画素ビット長縮小器 (画素ビット精度縮小変換器） 1004を備える点が異なっている。

[0118] 図 20Bのフローチャートを参照して画像符号ィ匕装置の動作を説明する。この画像符号化装置には、入力画像信号 100として例えばフレーム単位で各画素の精度が例えば Nビット精度の動画像信号が入力される（S121)。減算器 101により入力画像信号 100と Nビット精度の予測画像信号 102との差分がとられ、 Nビット精度の予測誤差信号 103が生成される（S122)。 Nビット精度の予測画像信号 102の生成方法については後述する。生成された予測誤差信号 103に対して、直交変換器 104により直交変換、例えば離散コサイン変換 (DCT)が施され、直交変換器 104では直交変換係数情報 105、例えば DCT係数情報が得られる（S123)。直交変換係数情報 105は量子化器 106により量子化され、量子化直交変換係数情報 107は、ェントロピー符号化器 108および逆量子化器 109に導かれる。

[0119] 量子化直交変換係数情報 107は、逆量子化器 109及び逆直交変換器 110により、量子化器 106及び直交変換器 104の処理と逆の処理を順次受けて局部復号誤差信号に変換される。この局部復号誤差信号は加算器 111で Nビット精度の予測画像信号 102と加算されることにより、 Nビット精度の局部復号画像信号 112が生成される (S124)。

[0120] Nビット精度の局部復号画像信号 112は、必要に応じてループフィルタ 113によりフィルタ処理がなされた後、フレームメモリ 114に格糸内される（S125)。フレームメモリ 114に格納された Nビット精度の局部復号画像信号 112は、画素ビット長拡張器 100 1に入力され、各画素の値を Mビット大きな値に拡張変換する（S126)。例えば、ビット拡張復号画像信号のある画素の値カ¾であった場合、 Mビット縮小した後の画素値 K'は第 1の実施形態の数式（1)と同様に計算される。ビット精度が (N + M)ビットに拡張された局部復号画像信号 112は、予測画像作成器 115に入力される。画素ビット長拡張器 1001は、図 2の構成とし、実施の形態 1と同様に各画素のビット長を拡張するかどうかをフラグで切り替えてビット長を制御する処理を行ってもよい。

[0121] 予測画像作成器 115は、（N + M)ビット精度の局部復号画像信号 112からある予測モード情報に基づく（N + M)ビット精度の予測画像信号を生成する。この際、フレーム内のブロック毎に入力画像信号 100の各画素を (N + M)ビット精度に拡張したものと、（N + M)ビット精度に拡大された局部復号画像信号 112との間のマッチング (例えば、ブロックマッチング）をとり、動きベクトルを検出する（S127)。この動きべタトルで補償された (N + M)ビット精度の局部画像信号を用いて (N + M)ビット精度の拡張予測画像信号 117を作成する（S 128)。ここで生成された（N + M)ビット精度の拡張予測画像信号 117は、選択された予測画像信号の動きべ外ル情報/予測モード情報 116とともに予測画像作成器 115より出力される。

[0122] 拡張予測画像信号 117は、画素ビット長縮小器 1004に入力され、各画素のビット長が Mビット小さくなるよう変換が施される（S129)。この変換は、例えば第 1の実施形態の画像復号化器で示した数式 (2)と同様の処理を施すことで行われる。ここで、縮小されるビット数 M、および画素ビット長拡張器 1001において拡大されるビット数 Mは、ともに同じ値であり、ビット長変換制御器 1002によりビット拡張情報 1003としてエントロピー符号化器 108に導かれる。画素ビット長縮小器 1004は、図 8の構成とし、実施の形態 1と同様に各画素のビット長を拡張するかどうかをフラグで切り替えて制御する処理を行ってもよい。

[0123] エントロピー符号化器 108では、量子化直交変換係数情報 107、動きベクトル情報 /予測モード情報 116およびビット拡張情報 1003がエントロピー符号化され (S130 )、これによつて生成された符号ィ匕データ 117は、図示しない伝送系または蓄積系へ送出される。 [0124] 拡張するビット数 Mの符号化方法は、第 1の実施形態と同様である。本実施形態においては、第 1の実施形態と同様にサプリメンタルシンタクスに多重化されたデータを利用することが可能である。

[0125] 次に、図 21Aを参照して本実施形態に係る画像復号化装置の構成を説明する。この画像復号化装置は、第 2の実施形態で示した構成例（図 10)と比較して、加算器 1 11 (及びノレープフィルタ 113)の後段に画素ビット縮小器を備えず、加算器 111 (及びノレープフィルタ 113)から復号画像信号 202が出力されるとともに、予測画像作成器 115の前段に画素ビット長拡張器 (画素ビット精度拡張変換器) 2005を備え、予測画像作成器 115の後段に画素ビット長縮小器 (画素ビット精度縮小変換器） 2001 を備える点が異なっている。

[0126] 図 21Bのフローチャートを参照して画像復号ィ匕装置の動作を説明する。画像復号化装置に図 20Aの画像符号化装置によって符号化された符号ィ匕データ 117が入力されると（S141)、エントロピー復号化器 200において、符号化データ 117がェントロピー符号化の逆の手順で復号化され、量子化直交変換係数情報 107、動きベクトル /予測モード情報 116、ビット拡張情報 2004が得られる（S142)。量子化直交変換係数情報 107は逆量子化器 109及び逆直交変換器 110により、量子化器 106及び直交変換器 104の処理と逆の処理を順次受けて Nビット精度の残差信号 201に変換される（S143)。エントロピー復号化器 200から出力されたビット拡張情報 2004が、ビット長変換制御器 2002に入力されると、復号画像が何ビット拡張されているかを示すビット変換情報 2003をビット長変換制御器 2002から出力する（S144)。

[0127] 画素ビット長拡張器 2005は、後述の手順でフレームメモリ 114に格納された Nビット精度の復号画像信号 202に対し、ビット変換情報 2003に基づいて、例えば数式（1 )などの第 1の実施形態の画像符号ィ匕装置における画素ビット長拡張器で行われる処理と同等の処理を施すことによって画素ビット長を Mビット拡張変換する処理を行レ、、（N + M)ビット精度のビット拡張参照画像信号 204を出力する。画素ビット長拡張器 2005は、図 2の構成とし、実施の形態 1と同様に各画素のビット長を拡張するかどうかをフラグで切り替えて制御する処理を行ってもよい。

[0128] 動きベクトル Z予測モード情報 116は予測画像作成器 115に入力され、上記 (N + M)ビット精度のビット拡張参照画像信号 204から動きベクトル/予測モード情報 11 6に基づく（N + M)ビット精度の拡張予測画像信号 205が生成される（S 145)。画素ビット長縮小器 2001は、（N + M)ビット精度の拡張予測画像信号 205に対し、ビット変換情報 2003に基づいて、例えば数式（2)などの第 1の実施形態の画像複号化装置における画素ビット縮小変換器と同等の処理を施すことによって画素ビット長を M ビット縮小変換する処理を行い、 Nビット精度の予測画像信号 102を出力する（S146 )。画素ビット長縮小器 2001は、図 8の構成とし、実施の形態 1と同様に各画素のビット長を拡張するかどうかをフラグで切り替えて制御する処理を行ってもよい。

[0129] Nビット精度の残差信号 201と Nビット精度の予測画像信号 102は加算器 111によつて加算される。加算された信号は、ループフィルタ 113で必要に応じてフィルタ処理がなされ、 Nビット精度の復号画像信号 202が出力され（S147)、フレームメモリ 1 14に格納される。ここで得られる復号画像信号 202は、画像符号化装置に入力された入力画像と同じ Nビット精度となる。

[0130] 以上の構成によれば、予測画像信号が入力画像信号より Mビット大きな精度をもつて作成されるため、動き補償のフィルタやループフィルタ、画面内予測など精度を高めること力 Sできる。従って、結果的に予測誤差信号を小さくすることができるため、符号化効率を向上させることができる。また、フレームメモリに格納される参照画像信号を、ビット長が拡張された入力画像信号や予測画像信号より小さなビット長で格納すること力 Sできる。故に、動き補償のフィルタやループフィルタ、画面内予測など精度を高める効果を保ったまま、フレームメモリの使用量を削減することが可能となる。さらに、予測誤差信号および残差信号の変換'量子化の処理を入力画像のビット精度に対応した精度で行うことが可能となる。これにより、動き補償のフィルタやループフィルタ、画面内予測など精度を高める効果を保ったまま、変換'量子化のビット精度を削減し、演算規模を小さくすることが可能となる。

[0131] 第 2から第 5の実施形態においては、予測画像作成器 115を図 22のような構成とすることも可能である。図 22に示すエンコーダ側の予測画像作成器 115によると、フレーム内予測器 B101は、フレームメモリ 114内のフレーム内で既に符号ィ匕された領域の局部復号画像信号 112からフレーム内予測に基づく予測画像信号を作成する。一方、フレーム間予測器 B103は、動きベクトル検出器 B102で検出された動きべタトルに基づいてフレームメモリ 114内の局部復号画像信号 112に対して動き補償を施す。適応フィルタ情報生成部 B 104で入力画像信号 101と局部復号画像信号 112と動きベクトルから生成された適応フィルタ情報を用いたフレーム間予測に基づく予測画像信号 102を作成する。

[0132] フレーム内予測器 B101は M個（Mは複数）のフレーム内予測モードを有し、フレーム間予測器 B103は N個（Nは複数）のフレーム間予測モードを有する。フレーム間予測器 B103及びフレーム内予測器 B101の出力に、モード判定器 B105が接続される。モード判定器 B105は、 N個のフレーム間予測モードから選択された一つの予測モードに基づく予測画像信号、あるいは M個のフレーム内予測モードから選択された一つの予測モードに基づく予測画像信号 102を出力する。

[0133] 動きベクトル Z予測モード情報/適応フィルタ情報 116、すなわち動きベクトル検出器 B102から出力される動きベクトルとモード判定器によって選択された予測モードを示す予測モード情報と適応フィルタ情報 116は、エントロピー符号化器 117に送られ、符号化データ 117に含めて復号側に送信される。動きベクトルと適応フィルタ情報は、フレーム間予測モードが選択された場合にのみ動きベクトル検出器 B102から出力される。

[0134] 図 23を参照してデコーダ側の予測画像作成器 115を説明する。この予測画像作成器 115によると、切り替え器 B201は、予測モード情報 116に基づき予測器を選択する。フレーム内予測器 B202は、選択された場合、フレームメモリ 114内のフレーム内で既に符号化された領域の復号画像信号 203からフレーム内予測に基づく予測画像信号 102を作成する。一方、フレーム間予測器 B203は、選択された場合、動きベクトルに基づいてフレームメモリ 114内の復号画像信号 203に対して動き補償を施し、適応フィルタ情報 116を用いたフレーム間予測に基づく予測画像信号 102を作成する。

[0135] 図 24は、フレーム間予測器 B103の構成例を示している。フレーム間予測器 B103 では、動きベクトルと局部復号画像信号と適応フィルタ係数情報からフレーム間予測画像信号 102を生成する。整数画素重み Zオフセット補正部 B301では、整数画素値のいわゆる重みつき予測を行うための処理を行う。具体例としては、以下の数式（7

)にしたがって、整数画素の予測画像信号 102を作成する。

[0136] Y= (W X X+ (1 < < (L- 1) ) > >L) + 0 (7)

ここで、 Wが重み係数、 Lはシフト係数、 Oはオフセット係数で、適応フィルタ係数情報に含まれるものである。画素値 Xに対して数式（7)に基づく処理を行レ、 Yの値に変換することにより、輝度の補正や色の補正が可能となる。

[0137] 数式（8)は、双方向予測を行う場合の重み Zオフセット処理の例である。

[0138] Y= (W X X +W X X + (1 < < (L_ l) ) > >L) + ( (〇 +0 ) > > 1)

1 1 2 2 1 2

(8)

ここで、画素値 Xに対する重み係数が W、オフセット係数が O、画素値 Xに対する

1 1 1 2 重み係数が W、オフセット係数が〇、 Lはシフト係数で、適応フィルタ係数情報に含

2 2

まれるものである。画素値 X、 Xに対して数式 B2の処理を行い Yの値に変換するこ

1 2

とにより、輝度の補正や色の補正が可能となる。

[0139] 適応フィルタ情報 116により、重み/オフセット補正処理を行う必要がない場合は、スィッチ B301を切り替えて、小数点画素適応補間画像を作成する。

[0140] 本発明では、入力画像信号の画素ビット長よりも符号化/復号化処理のビット長が長く設定されるため、重み/オフセット補正処理の計算精度が確保でき、より精度の高い重み/オフセット補正を行うことが可能となる。

[0141] 小数画素適応補間画像作成部 B303では、動きベクトルが、小数点画素位置を示していた場合、適応フィルタ情報の中の補間フィルタ係数を用いて、整数画素値から、小数点画素位置の補間画素値を生成し、予測画像信号 102を生成する。この処理に関しても、本発明では、入力画像信号の画素ビット長よりも符号化/複号化処理のビット長が長く設定されるため、補間フィルタ処理の計算精度が確保でき、より良い小数点画素値を得ることが可能となる。

[0142] 図 25は、フレーム間予測器 B103の別の構成例を示している。同様にこのフレーム間予測器では、動きベクトルと局部復号画像信号と適応フィルタ係数情報からフレーム間予測画像信号 102を生成する。小数画素適応補間画像作成部 B401では、動きベクトルが、小数点画素位置を示していた場合、適応フィルタ情報の中の補間フィルタ係数を用いて、整数画素値から、小数点画素位置の補間画素値を生成し、予測画像信号 102を生成する。

[0143] 本実施形態では、入力画像信号の画素ビット長よりも符号化/復号化処理のビット長が長く設定されるため、補間フィルタ処理の計算精度が確保でき、より良い小数点画素値を得ることが可能となる。

[0144] 重み/オフセット補正部 B403では、予測画像信号の画素値のいわゆる重みつき予測を行うための処理を行う。具体的な例としては、上記の数式（7)あるいは数式（8 )にしたがって、予測画像信号 102を作成する。

[0145] 本実施形態では、入力画像信号の画素ビット長よりも符号化/複号化処理のビット長が長く設定されるため、重み/オフセット補正処理の計算精度が確保でき、より精度の高い重み/オフセット補正を行うことが可能となる。

[0146] 図 26は、フレーム間予測器の別の構成例を示している。このフレーム間予測器では、動きベクトルと再生画像信号と適応フィルタ係数情報からフレーム間予測画像信号を生成する。これによると、動きべタトノレが小数点画素位置を示していた場合、スィツチ B501は小数画素適応補間/オフセット補正画像作成部 B502に接続され、再生画像信号は小数画素適応補間/オフセット補正画像作成部 B502によって処理される。整数画素を示していた場合、スィッチ B501は整数画素重み/オフセット補正画像作成部 B503に接続され、再生画像信号は整数画素重み/オフセット補正画像作成部 B503によって処理される。

[0147] 小数画素適応補間/オフセット補正画像作成部 B502では、動きベクトル力小数点画素位置を示してレ、た場合、適応フィルタ情報の中の補間フィルタ係数とオフセット補正係数を用いて、整数画素値から、小数点画素位置の補間画素値を生成し、予測画像信号を生成する。具体的な例として、下記の片方予測を行う場合は、数式 (9) 、双方向予測を行う場合は、数式（10)を用いる。

[数 1]

[0148] ここで、再生画像信号 Xi，jに対する Wi，j力補間フィルタ係数、〇がオフセット係数、 Y が予測画像信号である。

[数 2]

[0149] ここで、再生画像信号 X^(Q)i,jに対する W^(Q)i，jは、補間フィルタ係数、 O⁽⁰⁾がオフセット係数、再生画像信号 X⁽¹⁾i,jに対するのは、補間フィルタ係数、 0⁽¹⁾がオフセット係数、 Yが予測画像信号である。

[0150] 整数画素重み/オフセット補正部 B503では、予測画像信号の画素値のいわゆる重みつき予測を行うための処理を行う。具体的な例としては、上記の数式（7)あるいは数式（8)にしたがって、予測画像信号を作成する。この時のオフセット補正係数は、入力画素ビット長以上の精度の係数を用いる。

[0151] 本実施形態では、入力画像信号の画素ビット長よりも符号化/複号化処理の演算ビット長が長く設定されるため、補間フィルタ処理の計算精度が確保でき、より良い予測画素値を得ることが可能となる。

[0152] 本実施形態では、入力画像信号の画素ビット長よりも符号化/複号化処理のビット長が長く設定されるため、重み/オフセット補正処理の計算精度が確保でき、より精度の高い重み/オフセット補正を行うことが可能となる。

[0153] (適応ループフィルタ）

第 2から第 5の実施形態においては、ループフィルタ 113を図 27のような構成とすることも可能である。

[0154] 図 27はエンコーダ側のループフィルタ 113の構成を示している。フィルタ係数決定部 C101は、入力画像信号 101および局部復号画像信号 112を入力信号とし、局部復号画像信号 112に対してフィルタ処理を施した際に例えば入力画像信号 101と最小 2乗誤差が最も小さくなるようなフィルタ係数を算出し、算出されたフィルタ係数をフィルタ処理部 C102に出力するとともに、フィルタ係数情報 C103としてエントロピー符号化部 108に出力する。ここでのフィルタ係数の決定方法については、この例に限るものではなぐ例えばデブロッキングフィルタとデリンギングフィルタなどの複数のフィルタをあら力、じめ用意しておき、それらを適応的に切り替え、選択されたフィルタをフィルタ係数情報 C103として出力してもよぐあるいは各フィルタを適用するかどうかを適応的に判定するなどの処理を行ってもよぐ様々な態様を適用することが可能である。入力される入力画像信号 101は、各実施の形態に応じて、ループフィルタに入力される局部画像復号信号 112と同じ画素ビット長とした信号を用いる。

[0155] フィルタ処理部 C102では、フィルタ係数決定部 C101より入力されたフィルタ係数を用レ、て局部復号画像信号の各画素に対してフィルタ処理を施した後、フレームメモリ 114等に出力する。

[0156] エントロピー符号化部 108に出力されたフィルタ係数情報 103はエントロピー符号化部 108にてエントロピー符号化され、符号ィ匕データ 117に含められて送信される。

[0157] 図 28は復号側のループフィルタ 113の構成例を示している。エントロピー復号ィ匕部 200より出力されたフィルタ係数情報 C103を基にフィルタ処理部 C102において復号画像信号の各画素に対してフィルタ処理を施す。フィルタ処理が行われた復号画像信号は各々の実施の形態に応じて、フレームメモリ 114や画素ビット長縮小器に出力されるカあるいは復号画像信号としてそのまま出力される。

[0158] 以上の構成によれば、入力画像信号の画素ビット長よりも符号化/復号化処理のビット長が長く設定されるため、ループフィルタ 113内で行われるフィルタ処理の計算精度が確保でき、より精度の高いループフィルタ処理を行うことが可能となる。

[0159] (プレフィルタを含む構成）

第 1から第 3の実施形態において、入力画像信号 101の画素ビット長を変換する画素ビット長拡張器 1001を図 29のような構成とすることも可能である。この構成では、画素ビット長拡張器 1001に入力された入力画像信号は、第 1の実施形態と同様の手順で各画素のビット長を Nビットより Mビット大きな（N + M)ビット精度に拡張する処理を行った後、フィルタ処理部 7000に導かれ、各画素に対してフィルタ処理が行われる。ここで行われるフィルタ処理は、例えばフレーム内の隣接画素にフィルタ係数を掛けた後足し合わせるような空間フィルタを用いる。空間フィルタとして、例えばィプシロンフィルタを用いたフィルタ処理部 7000が図 30に示されている。

[0160] このフィルタ処理部 7000によると、入力画素値を P [t]，出力画素値を Q [t]とすると , tを画素の位置を示している。 tの位置の画素にフィルタをかける場合には，入力画素値 P[t]と一時メモリ A04に蓄えてあったその一つ手前の出力画素値 Q [t— 1]とを加算器 AO 1に入力し，差分 dが求められる。この差分 dでルックアップテーブル A02 を引き， F (d)が決定される。この値 F (d)を加算器 A03に入力して，入力画素値 P[t ]から引く。この動作を数式で示すと次のようになる。

[0161] Q[t] = P[t] - F (P[t] - Q[t-1]) (11)

関数 Fは式（12)によって表され，（int)は， 0方向への整数化処理とする。

[0162] F (d) = (int)(d/ (d X d/ (u X u) + 1. 0) (12)

d= P[t] - Q[t-1] (13)

ルックアップテーブル A02の中身は，関数 Fで計算される値が予めテーブルとして記憶しておけばよい。例えば，画素値力 ¾ビットならば， dの値は， _ 2ⁿ+ l〜 + 2ⁿ_ 1となって，ルックアップテーブルは， 2^{n+ 1} _ l個の配列を用意しておけばよい。ここで , uはフィルタのパラメータで， uが大きいほど強くフィルタがかかる。このフィルタの演算量は， 1画素のフィルタ処理に加算 2回のみである。

[0163] 図 31は，図 30のフィルタを使ったフィルタ処理部 7000の具体的な流れ図である。

このフィルタ処理部 7000では，フレームの 4方向からフィルタ処理を行う。まず，フレ一ムの右力左のポストフィルタ処理（S101)を行う。次は，反対方向の左から右のポストフィルタ処理（S102)を行う。同様に今度は，上から下のポストフィルタ処理（S10 3)を行い，次に反対方向の下からの上のポストフィルタ処理を行う。この処理を YCb Crそれぞれの信号に対して行う。このように互いに反対方向からフィルタ処理を行うことによって，巡回型フィルタの欠点である位相のずれを打ち消すことができる。

[0164] また、フィルタ処理として、複数のフレームの対応する画素に対してフィルタ係数を掛けた後足し合わせるような時間フィルタを用いてもよい。また、動き補償を伴う時間フィルタを施してもよい。動き補償を伴う時間フィルタは、例えば、特願 2006— 3620 6などに記載されてレ、る方法を用いる。

[0165] 本構成におけるフィルタ処理はここで述べたフィルタ処理に限るわけではなぐフィルタ処理であればどのような処理を行ってもよい。また、第 4および第 5実施の形態については、入力画像信号 101は画素ビット長が変換されずに符号化が行われるが、入力画像信号 101に直接、ここで述べたプレフィルタ処理を施してから符号化を行つてもよい。

[0166] (ポストフィルタを含む構成）

第 1から第 5の実施形態において、画素ビット長縮小器 2001および 2007を図 32 のような構成とすることも可能である。この構成では、画素ビット長拡張器 2001および 2007に入力されたビット拡張復号画像信号 2003は、フィルタ処理部 7001に入力され、各画素に対してフィルタ処理が行われた後、第 1の実施形態 1と同様の手順で各画素のビット長を (N + M)ビットより Mビット小さな Nビット精度に縮小処理が行われ、 N ビットの復号画像信号として出力される。ここで行われるフィルタ処理は、例えばフレーム内の隣接画素にフィルタ係数を掛けた後足し合わせるような空間フィルタを用いてもよいし、複数のフレームの対応する画素に対してフィルタ係数を掛けた後足し合わせるような時間フィルタを用いてもよい。

[0167] (可逆フィルタの構成）

本構成では、上記の画素ビット長拡張器 1001をフィルタ処理を行う構成と組み合わせ、画素ビット長拡張器 1001内のフィルタ処理部 7000で行われるフィルタ処理の逆フィルタ処理を画素ビット長縮小器 2001内のフィルタ処理部で行うことも可能である。例えば、フィルタ処理部 7000において、入力画素値として 2フレーム間で対応する 2点の画素値をそれぞれ X, yとして、対応する出力画素値を a， bとした場合に数式（ 14)に示す処理を施す。

[0168] a = (3x+y+2)»2

b = (x+3y+2)»2 (14)

数式（14)の処理は 2ビットの右シフトによる除算処理を行っている力例えば画素ビット長拡張器 1001において 2ビット左シフトによる画素ビット拡張を行っている場合、数式 A4で示されるフィルタ処理では丸め誤差が生じず、入力画像の情報を失わずにすむ。

[0169] 一方、復号側のフィルタ処理部 7001において、入力画素として復号画像信号の 2 フレーム間で対応する 2点の画素値を a'，とし、対応する出力画素値を χ' , y'とした場合に数式（15)に示す処理を施す。

[0170] x' = (3a ' -b' +4)»3 y' = (3b' -a" +4)»3 (15)

数式（15)の処理は 3ビットの右シフトによる除算処理を行っている力例えば画素ビット長拡張器 1001において 2ビット左シフトによる画素ビット拡張を行っている場合、数式（14)で示されるフィルタ処理と同様に丸め誤差が発生しない。即ち、符号化と複号化の処理によって生じる量子化誤差が 0と仮定すると、数式（14)および数式（1 5)によるフィルタと逆フィルタは、可逆なフィルタとなる。数式（14)は 2フレーム間の対応する 2点の画素値をそれぞれ近づける処理を行うため、動き補償が予測をよりあたりやすぐ予測残差が小さくなる。従って符号量を削減することが可能となる。さらに、画素ビット拡張をおこなっていることにより、量子化誤差を除けば復号側で元の入力画像に戻すフィルタ処理を行うことが可能となるため、符号化効率を高めることが可能である。

[0171] フィルタ処理部 7000および 7001において用いるフィルタはここで述べた例に限定されるものではなぐどのようなフィルタを用いてもよい。もちろん、画素ビット拡張部 1 001において拡張されるビット数 Mに応じた可逆フィルタを用いることでさらに予測などの精度を高めることが可能であることは言うまでもない。また、ここで述べた例では 2 フレーム間で対応する 2点をフィルタ処理の対象とした力この例に限定されるものではなぐ例えば 2フレーム以上のフレームの画素を用いてもよレ、。また、 1フレーム内の隣接する 2点や 2点以上の複数の点の画素をフィルタ処理の対象としてもよレ、。更に、インタレース画像においてトップフィールドとボトムフィールドの対応する 2点の画素値をフィルタ処理の対象とするなど、様々な形態のフィルタ処理を用いることが可能である。

[0172] フィルタ処理部 7000および 7001において用いた可逆フィルタの係数をエントロピ一符号化部 108に出力し、符号ィ匕データ 117に含めることも可能である。このようにすることで、フレームごとに予測などの精度を高める効果が高いフィルタ係数を選択して符号化を行うことができる。

[0173] (第 6の実施形態）

図 33Aを参照して第 6の実施形態に係る動画像符号化のための画像符号化装置の構成を説明する。 [0174] この画像符号化装置は、第 2の実施形態で示した構成例（図 9)とほぼ同様の構成であるが、画素ビット長拡張器 1001の後段に透力情報坦め込み器 3000を備える点が異なっている。

[0175] 図 33Bのフローチャートを参照して画像符号ィ匕装置の動作を説明する。この画像符号化装置には、画像信号 100として例えばフレーム単位で動画像信号が入力される（S151)。画素ビット長拡張器 (画素ビット精度変換器） 1001は、第 2の実施形態と同様の処理を行うことにより、入力された Nビット精度の画像信号 100の各画素の値について、 Nビットより Mビット大きな（N + M)ビット精度に拡張する処理を行う（S15 2)。拡張されたビット数 Mは、ビット長変換制御器 (ビット精度変換制御器） 1002によりビット拡張情報 1003としてエントロピー符号化器 108に導かれる。

[0176] ビット長が拡張された入力画像信号 100は透力データ坦め込み器 3000に入力されると、あらかじめ設定されたパラメータに基づいて生成されたデータ列が入力画像信号 100の各画素の例えば下位ビットに坦め込まれる（S153)。ここで、生成されたデータ列は拡張されたビット長である Mビット以下の語長とする。

[0177] データ列が坦め込まれた入力画像 100は減算器 101に導かれると、減算器 101により、（N + M)ビット精度にビット長が拡張された入力画像信号 100と（N + M)ビット精度で作成された予測画像信号 102との差分が求められる。これにより、（N + M)ビット精度の予測誤差信号 103が生成される（S154)。生成された予測誤差信号 103 に対して、直交変換器 104により直交変換 (例えば、離散コサイン変換 (DCT) )が施され、直交変換器 104では、直交変換係数情報 105 (例えば、 DCT係数情報)が得られる（S155)。直交変換係数情報 105は、量子化器 106により量子化され、量子化直交変換係数情報 107が、エントロピー符号ィ匕器 108および逆量子化器 109に導かれる。

[0178] 量子化直交変換係数情報 107は、逆量子化器 109及び逆直交変換器 110により、量子化器 106及び直交変換器 104の処理と逆の処理を順次受けて予測誤差信号と同様の信号、即ち局部復号誤差信号が生成される。この局部復号誤差信号が、加算器 111で (N + M)ビット精度の予測画像信号 102と加算されることにより、 (N + M )ビット精度の局部復号画像信号 112が生成される（S 156)。（N + M)ビット精度の局部復号画像信号 112は、必要に応じてループフィルタ 113によりフィルタ処理がなされた後、フレームメモリ 114に格納される。フレームメモリ 114に格納された局部復号画像信号 112は、予測画像作成器 115に入力される。

[0179] 予測画像作成器 115は、（N + M)ビット精度にビット長が拡張された入力画像信号 100及び (N + M)ビット精度の局部復号画像信号 112からある予測モード情報に基づく（N + M)ビット精度の予測画像信号を生成する。この際、フレーム内のブロック毎に（N + M)ビット精度の入力画像信号 100と画素ビット長変換器 1005によって (N + M)ビット精度に拡大された局部復号画像信号 112との間のマッチング (例えば、ブロックマッチング）をとり、動きベクトルを検出する（S 157)。この動きベクトルで補償された (N + M)ビット精度の局部画像信号を用いて (N + M)ビット精度の予測画像信号を作成する（S157)。ここで生成された (N + M)ビット精度の予測画像信号 102 は、選択された予測画像信号の動きベクトル情報 Z予測モード情報 116とともに予測画像作成器 115より出力される。

[0180] エントロピー符号化器 108では、量子化直交変換係数情報 107、動きベクトル情報 /予測モード情報 116およびビット拡張情報 1003がエントロピー符号化され（S159 )、これによつて生成された符号ィ匕データ 117は、図示しない伝送系または蓄積系へ送出される。

[0181] 本実施形態においては、第 1の実施形態と同様にサプリメンタルシンタクスに多重化されたデータを利用することが可能である。

[0182] 次に、図 34Aを参照して、本実施形態に係る画像復号化装置の構成を説明する。

この画像復号化装置は、第 2の実施形態で示した構成例（図 10)とほぼ同様の構成であるが、ループフィルタ 113と画素ビット長縮小器 2001 (画素ビット精度変換器）の間に透力検出器 3002が接続されている点が異なる。

[0183] 図 34Bのフローチャートを参照して画像復号ィ匕装置の動作を説明する。画像復号化装置に図 11 Aの画像符号化装置によって符号化された符号ィ匕データ 117が入力されると（S161)、エントロピー複号化器 200において、符号ィ匕データ 117がェントロピー符号化の逆の手順で復号化され、量子化直交変換係数情報 107、動きベクトル /予測モード情報 116、ビット拡張情報 2004が得られる（S162)。 [0184] 量子化直交変換係数情報 107は、逆量子化器 109及び逆直交変換器 110により、量子化器 106及び直交変換器 104の処理と逆の処理を順次受けて（N + M)ビット精度の残差信号 201に変換される（S163)。エントロピー復号化器 200から出力されたビット拡張情報 2004は、ビット長変換制御器 2002に入力された後、復号画像が何ビット拡張されている力、を示すビット数 Mを示すビット変換情報 2003を出力する。

[0185] 動きベクトル Z予測モード情報 116は予測画像作成器 115に入力され、上記 (N + M)ビット精度のビット拡張参照画像信号 204から動きベクトル Z予測モード情報 11 6に基づく（N + M)ビット精度の予測画像信号 102が生成される（S 164)。（N + M) ビット精度の残差信号 201と（N + M)ビット精度の予測画像信号 102は、加算器 11 1によって加算される。加算された信号は、ループフィルタ 113で必要に応じてフィノレタ処理がなされ、（N + M)ビット精度のビット拡張復号画像信号 203が出力される（S 165)。

[0186] ビット拡張復号画像信号 203は、フレームメモリ 114に格納されるとともに、すかし検出部 3002に入力される。す力検出部 3002では、ビット拡張復号画像 203の各画素の例えば下位ビットが埋め込まれた透かしデータであるかどうかの判定を行い、透力データを含むかどうかを示す透力し検出情報 3003を出力する（S166)。透かしデータであるかどうかの判定は、例えばあらかじめ既知の透力しパターンと、ビット拡張復号画像 203の例えば下位 Mビットの相関係数を計算し、その値が一定の閾値以上であった場合は透力しデータであると判定するなどの方法を用いて行う。

[0187] ビット拡張復号画像信号 203は、画素ビット長変換器 2007に入力され、ビット変換情報 2003に基づいて各画素の値に対し例えば数式（2)などの第 1の実施形態の画像複号化装置における画素ビット長縮小器と同等の処理を施されることにより、 Mビット小さな値に画素ビット長が縮小変換され (S167)、画像符号化装置に入力された入力画像と同じ Nビット精度の復号画像 202を得る（S168)。

[0188] 以上の構成によれば、予測画像信号が入力画像信号より Mビット大きな精度をもつて作成されるため、動き補償のフィルタやループフィルタ、画面内予測など精度を高めることができる。結果的に予測誤差信号を小さくすることができるため、符号化効率を向上させることができる。また、拡張した下位ビットを利用して透力、し情報を埋め込むことで、入力画像信号を変化させずに透力し情報を埋め込むことが可能となる。

[0189] 第 2〜6の実施形態において、拡張あるいは縮小を行うビット数 Mはビット拡張情報としてエントロピー符号化されて符号化データに含められているが、画像符号化装置と画像複号化装置であらかじめ決まった数だけビット長を拡張あるいは縮小する場合には、必ずしもビット数 Mを符号化データに含める必要はない。また、あら力め決まつた数だけビット長を拡張あるいは縮小する場合には、拡張あるいは縮小を行うかどう力、を示すフラグだけを符号化データに含めることも可能である。この場合、フラグが TRUEの場合には、第 2〜第 6の実施形態内の画素ビット長拡張器 1001あるいは画素ビット長縮小器 2001あるいは画素ビット長変換器 2007においてスィッチが ON側に接続される。一方、フラグが FALSEの場合には、スィッチが OFF側に接続される。

[0190] 第 2、第 3の実施形態において局部復号画像信号をフレームメモリに格納する際に縮小するビット数 Lについては、 Mと同じ値である場合は必ずしも Lを符号化データに含める必要はない。また、 M、 Lが同じ値であっても異なる値であっても、あらかじめ決まった数である場合には、必ずしもビット数 M、 Lを符号化データに含める必要はない。

[0191] 入力画像や局部復号画像信号および復号画像の画素ビット長を拡張するということは、符号化'復号化の処理過程の整数演算の演算精度を向上させていることに等しレ、。処理過程の任意の箇所の演算精度を可変とし、それらの演算精度を示すフラグあるいは情報を符号化データに含めることも可能である。例えば、第 2〜第 5の実施形態を組み合わせ、符号化'復号ィ匕の処理過程において、フレームメモリに格納される画素ビット精度を拡張するか否かを示すフラグと、直交変換/量子化に入力される予測残差の画素ビット長を拡張するかどうか、すなわち直交変換/量子化の演算精度を拡張するか否力 ^示すフラグを符号ィ匕データに含めておく。これらのフラグの〇N /OFFに応じて，符号ィ匕装置および復号装置でフレームメモリに格納される画素ビット精度を拡張するか否かや、直交変換 Z量子化に入力される予測残差の画素ビット長を拡張するかどうかを切り替えてもよい。さらには、これらのフラグが ONとなっている場合には、何ビット拡張/あるいは縮小するかを示すデータを符号ィ匕データに含めてもよレ、。また、これらの符号化 '複号化の処理の一過程の演算精度を拡張するかどうかを示すフラグや拡張するビット数を示すデータは、ここで示したフレームメモリや直交変換 ·量子化だけを対象とするものではなぐ例えばループフィルタに対するフラグや拡張ビット数を示すデータを追加してもよい。処理が符号化'復号化の処理過程の一部であれば、その処理、あるいは複数の処理を 1つにまとめて、それぞれに対して演算精度を拡張するかどうかを示すフラグや拡張ビット数を示すデータを設定して符号化データに含めてもよい。

[0192] (第 7の実施形態）

図 35Aを参照して第 7の実施形態の画像符号化装置の構成を説明する。この実施形態は基本的には図 11の実施形態と同様な構成を持つが、予測画像作成部 115と減算器 101との間に画素ビット長縮小器 (画素ビット精度縮小変換器） 1004が設けられ、加算器 111とループフィルタ 112との間に画素ビット長拡張器 (画素ビット精度拡張変換器） 1007が設けられている点が図 11の実施形態と異なっている。

[0193] 図 35Bのフローチャートを参照して画像符号ィ匕装置の動作を説明する。この画像符号化装置には、画像信号 100として例えばフレーム単位で動画像信号が入力される（S171)。画素ビット長拡張器 1001は図 2の構成とし、ビット変換情報 1010に含まれている後述のシンタクス情報に基づく制御フラグ F1001に基づいて、入力された N ビット精度の画像信号 100の各画素の値が、 Nビットより Mビット大きな（N + M)ビット精度に拡張するかどうかを判定する（S172)。ここで、制御フラグ F1001が ONの場合は、画素ビット長拡張器 1001内のスィッチ E0を ONに設定し、局部復号画像信号 112の各画素のビット長を、第 1の実施形態における画素ビット長変換器 1001で行われる処理と同様の処理によって拡張する（S173)。例えば、入力画像信号のある画素の値が Kであった場合、 Mビット拡張した後の画素値 K'は例えば数式（1)や数式（1— 1) , (1 - 2) , (1— 3)などの処理によって計算される。

[0194] 制御フラグ F1001が OFFの場合には、スィッチ E0が OFF側に接続され、各画素のビット長を拡張する処理は行わなレ、。拡張されるビット数 Mなどの変換情報は、ビット長変換制御器 1002によりビット拡張情報 1003としてエントロピー符号化器 108に尋カ、れる。

[0195] 減算器 101により、入力画像信号 100と予測画像信号 102との差分がとられ、予測残差信号 103が生成される（S174)。生成された予測誤差信号 103に対して、直交変換器 104により直交変換 (例えば、離散コサイン変換 (DCT) )が施され、直交変換器 104では、直交変換係数情報 105 (例えば、 DCT係数情報）が得られる（S175)。直交変換係数情報 105は、量子化器 106により量子化され、量子化直交変換係数情報 107は、エントロピー符号ィ匕器 108および逆量子化器 109に導かれる。

[0196] 量子化直交変換係数情報 107は、逆量子化器 109及び逆直交変換器 110により、量子化器 106及び直交変換器 104の処理と逆の処理を順次受けて予測誤差信号と同様の信号、即ち局部復号誤差信号に変換される。この局部復号誤差信号は加算器 111で予測画像信号 102と加算されることにより、局部復号画像信号 112が生成される（S176)。局部復号画像信号 112は、画素ビット長拡張器 1007に入力され、ビット変換情報 1010に含まれている後述のシンタクス情報に基づく制御フラグ F1007 に基づいて、局部復号画像信号 112の各画素のビット長を拡張するかどうかを判定する（S177)。制御フラグ F1007が ONの場合には、画素ビット長拡張器 1007内のスィッチ E0を ONに設定し、局部復号画像信号 112の各画素のビット長を、第 4の実施形態における画素ビット長変換器 1007で行われる処理と同様の処理によって拡張する（S178)。制御フラグ F1007が OFFの場合には画素のビット長を拡張する処理は行わない。

[0197] 画素ビット長拡張器 1007から出力された局部復号画像信号 112は必要に応じてループフィルタ 113によりフィルタ処理がなされた後、画素ビット長変換器 1005に入力される。画素ビット長変換器 1005では、ビット変換情報 1010に含まれている後述のシンタクス情報に基づく制御フラグ F1005に基づいて、局部復号画像信号 112の各画素のビット長を変換するかどうかを判定する（S 179)。ここで、制御フラグ F1005 力〇Nの場合には、画素ビット長拡張器 1005内のスィッチ E3を ONに設定し、局部復号画像信号 112の各画素のビット長を、第 3の実施形態における画素ビット長変換器 1005で行われる処理と同様の処理によって拡張する（S180)。制御フラグ F100 5が OFFの場合には画素のビット長を変換する処理は行わなレ、。画素ビット長変換器 1005から出力された局部画像信号 112は、フレームメモリ 114に格納される（S18 1) ₀フレームメモリ 114に格納された局部画像信号は、さらに、画素ビット長変換器 1 006に入力される。画素ビット長変換器 1006では、ビット変換情報 1010に含まれてレ、る後述のシンタクス情報に基づく制御フラグ F1006に基づいて、局部復号画像信号 112の各画素のビット長を変換するかどうかを判定する（S182)。ここで、制御フラグ F1006が ONの場合には、画素ビット長拡張器 1006内のスィッチ E3を〇Nに設定し、局部復号画像信号 112の各画素のビット長を、第 3の実施形態における画素ビット長変換器 1006で行われる処理と同様の処理によって拡張する（S183)。制御フラグ F1006が OFFの場合には画素のビット長を変換する処理は行わなレ、。画素ビット長変換器 1006から出力される局部復号画像信号 112は、予測画像作成器 115に入力される。

[0198] 予測画像作成器 115は、入力画像信号 100及びフレームメモリ 114に格納された局部復号画像信号 112から、ある予測モード情報に基づく予測画像信号を生成する (S184)。この際、加算器 111からの局部復号画像信号 112はフレームメモリ 114に一旦蓄えられ、フレーム内のブロック毎に入力画像信号 100とフレームメモリ 114に蓄えられた局部復号画像信号 112との間のマッチング（例えば、ブロックマッチング）をとり、動きベクトルを検出し、この動きベクトルで補償された局部画像信号を用いて予測画像信号を作成する。ここで生成された予測画像信号 102は、選択された予測画像信号の動きベクトル情報/予測モード情報 116とともに予測画像作成器 115より出力される。

[0199] 予測画像信号作成器 115から出力された予測画像信号 102は画素ビット長縮小器 1004に入力される。画素ビット長縮小器 1004では、ビット変換情報 1010に含まれている後述のシンタクス情報に基づく制御フラグ F1004に基づいて、予測画像信号 102の各画素のビット長を変換するかどうかを判定する（S185)。制御フラグ F1004 力〇Nの場合には、画素ビット長拡張器 1004内のスィッチ E2を ONに設定し、予測画像信号 102の各画素のビット長を、第 4の実施形態と同様の処理によって縮小する (S186)。制御フラグ F1004が OFFの場合には画素のビット長を変換する処理は行わない。

[0200] エントロピー符号化器 108では、量子化直交変換係数情報 107、動きベクトル情報 /予測モード情報 116およびビット拡張情報 1003がエントロピー符号化され (S187 )、これによつて生成された符号ィ匕データ 117は、図示しない伝送系または蓄積系へ送出される。

[0201] 次に、ビット長の拡張 ·縮小'変換を行うかどうかを制御する制御フラグの符号化方法について説明する。

[0202] 本実施形態では、ビット長の拡張 ·縮小'変換を行うかどうかを制御する制御フラグや拡張するビット数をシーケンスパラメータセットシンタクス (404)に含めて送信することが可能である。それぞれのシンタクスを以下で説明する。

[0203] 図 36のシーケンスパラメータセットシンタクス内に示される ex_seq_all_bit_extention_fl agは、ビット拡張を行うかどうかを示すフラグであり、当該フラグが TRUEであるときは、符号化および複号化の内部のデータパスすべてにおいて、各画素のビット長が拡張されたデータを用いて符号化および複号化を行うことを示す。フラグが FALSEであるときは、このフラグは、符号ィ匕および復号ィ匕の内部のデータパスのすべてにおいて各画素のビット長が拡張された画像信号を用いて符号化 ·復号化を行わないか、一部のデータパスでのみ、各画素のビット長が拡張された画像信号を用いて符号化 ·復号化が行われることをしめす。 ex_seq_bit_extention_flag力 STRUEのときは、更に何ビット拡張を行うかを示す ex_seq_shift_bitsをさらに送信してもよレ、。

[0204] ex_seq_all_bit_extention_flagが FALSEのときには、さらに符号化および復号化内部における、予測画像作成部に入力される画像信号の画素ビット長を拡張するかどうかを示すフラグ ee_X_seq_partial_bit_extention_flagをさらに送信してもよい。当該フラグが TR UEの場合は、符号化'復号化内部処理における、予測画像作成時に各画素のビット長が拡張された画像信号を用いることを示す。一方、フラグが FALSEであるときは、このフラグは、符号ィ匕および復号ィ匕の内部のデータパスのすべてにおいて各画素のビット長が拡張された画像信号を用いなレ、ことを示す。 ex_seq_partial_bit_extention_flag 力 STRUEのときには、さらに、予測画像作成部 112に入力される画像信号の画素ビット長を、入力画像信号の画素ビット長と比較して何ビット大きく拡張するかを示す ex_se q_partial_shift_bits 送 1 してもよレヽ。

[0205] ex_seq_partial_bit_extention_flag力 TRUEのときには、さらに符号化'復号化内部のデータパスのある一部分で各画素のビット長が拡張された画像信号を用いる力、を示すフラグを送信してもよレ、。図 36に示した例では、フレームメモリ 114に格納する参照画像信号の画素ビット長を拡張するかどうかを示すフラグ ex_seq_framemem_bit_extent ion_flag、および直交変換部と量子化部（直交変換器 104、量子化器 106、逆量子化器 109および逆直交変換器 110)に入力あるいは出力される予測残差信号の画素ビット長を 5ム張する力どつ力を示すフフグ ex_seq_trans_and_quant_bit_extention_flagを送信している。

[0206] ex_seq_framemem_bit_extention_flagが TRUEの場合には、このフラグはフレームメモリに格納する参照画像信号の画素ビット長を拡張することを示す。フラグが FALSEの場合には、それはフレームメモリに格納する参照画像信号の画素ビット長を入力画像と同じ画素ビット長とすることを示す。 ex_seq_framemem_bit_extention_flagが TRUEの場合にはさらに、フレームメモリに格納される画像信号の画素ビット長を、入力画像信号の画素ビット長と比較して何ビット大きく拡張するかを示す ex_seq_framemem_shift_bits を送信してもよい。

[0207] ex_seq_trans_and_quant_bit_extention_flagが TRUEの場合には、このフラグは直交変換部と量子化部（直交変換器 104、量子化器 106、逆量子化器 109および逆直交変換器 110)に入力あるいは出力される予測残差信号の画素ビット長が拡張されていることを示す。すなわち、入力画像信号と予測画像信号の各画素のビット長が拡張されており、予測残差信号は、各画素のビット長が拡張された入力画像信号と予測画像信号の差分信号であることを示してレ、る。

[0208] 当該フラグが FALSEの場合には、このフラグは直交変換部と量子化部（直交変換器

104、量子化器 106、逆量子化器 109および逆直交変換器 110)に入力あるいは出力される予測残差信号が入力画像信号と同じビット精度の予測画像信号と入力画像信号の差分信号であることを示す。

[0209] ex_seq_trans_and_quant_bit_extention_flagが TRUEの場合にはさらに、直交変換部と量子化部（直交変換器 104、量子化器 106、逆量子化器 109および逆直交変換器 1 10)に入力あるいは出力される予測残差信号の生成時における、入力画像信号と予測画像信号の画素ビット長が、入力画像信号の画素ビット長と比較して何ビット大きく

5ム 5¾する力を不 1 ex_seq_trans_and_quant_shift_Dits¾r¾f¾してもよレヽ。 [0210] 符号化側と復号化側において、各フラグ力 STRUEであった場合に、何ビット拡張あるいは縮小するかをあらかじめ設定されたビット数で行う場合には、図 37に示すとおり、画像信号の画素ビット長を変換するかどうかを示すフラグのみを送信してもよレ、。

[0211] これらのシンタクスの値を元に、図 35で示した画像符号ィ匕装置の処理において使用される制 ί卸フラグ F1001、 F1007、 F1005、 F1006、 F1004の設定例を図 38に示す。図 38において、 allの列は ex_seq_all_bit_extention_flagの値を示している。同様に、 part、 fm、 t/q、の歹 [Jは ex_seq_partial_bit_extention_flag、 ex_seq_framemem_bit_exte ntion_flag、 ex_seq_trans_ana_quant_bit_extention_flagのィ¾_をそれてれ不し飞レヽる。 0は FALSEを、 1は TRUEを示し、一はシンタクスが存在しないことを示している。制御フラグの FlOOl , F1007, F1005, F1006, F1004は歹はそれぞれのシンタクスの値に基づレ、て設定される制御フラグの値を示してレ、る。 1は ONを 0は OFFを示してレ、る。例えば、 ex_seq_all_bit_extention_flag力 STRUEの場合には、制御フラグ F1001のみ O Nとし、残りのフラグは OFFとすることを示している。

[0212] 図 40は後述の画像復号化装置の処理において用いる制御フラグ F2001、 F2005 、 F2006、 F2007、 F2008の設定 ί列を示してレヽる。それぞれ、図 38と同様の値を示している。本実施形態においては、第 1の実施形態と同様にサプリメンタルシンタクスに多重化されたデータを利用することが可能である。

[0213] 図 39Αを参照して本実施形態に係る画像復号化装置の構成を説明する。図 39Α に示すように、この画像復号化装置は、エントロピー復号化器 200、逆量子化器 109 、逆直交変換器 110、加算器 111、ノレープフィルタ 113、フレームメモリ 114、予測画像作成器 115、画素ビット長縮小器 (画素ビット精度縮小変換器） 2001、 2006、画素ビット長拡張器 (画素ビット精度拡張変換器） 2005、画素ビット長変換器 (画素ビット精度変換器） 2007、 2008、ビット長変換制御器 2002を備えている。即ち、ェントロピー複号化器 200の係数情報出力は逆量子化器 109および逆直交変換器 110を介して加算器 111に接続される。エントロピー複号化器 200の動きベクトル/予測モード情報出力は予測画像作成器 115に接続され、そのビット拡散情報出力はビット長変換制御器 2002に接続される。予測画像作成器 115の出力は画素ビット長縮小器を介して加算器 111の他の入力に接続される。加算器 111の出力は画素ビット長拡張器 2005, ノレープフイノレタ 113,画素ビット長変換器 2007を介してフレームメモリ 114に接続される。ループフィルタ 113の他の出力は画素ビット長縮小器 2001の入力に接続される。フレームメモリ 114の出力はビット長変換制御器 2002に出力と共に画素ビット長変換器 2008に接続される。画素ビット長変換器 2008の出力は予測画像作成器 115の他の入力に接続される。ビット長変換制御器 2002の出力は画素ビット長縮小器 2001 ,画素ビット長拡張器 2005、画素ビット長縮小器 2006，画素ビット長変換器 2007および画素ビット長変換器 2008の他の入力に接続される。

[0214] 図 39Bのフローチャートを参照して画像復号ィ匕装置の動作を説明する。図 9の画像符号化装置によって符号化された符号化データ 117が画像復号化装置に入力されると（S201)、エントロピー復号ィ匕器 200によってエントロピー符号化の逆の手順に従つて復号化され、量子化直交変換係数情報 107、動きべ外ル Z予測モード情報 11 6、ビット拡張情報 2004が生成される（S202)。ビット拡張情報 2004がビット長変換制御器 2002に入力されると、ビット長変換制御器 2002は画素ビット長縮小器 2001 , 2006、画素ビット長拡張器 2005、画素ビット長変換器 2007、 2008での画素ビット長変換を行うかどうかの制御フラグや、拡張あるいは縮小するビット長を示す情報などを含むビット変換情報 2003を出力する。このビット変換情報に含まれる制御フラグは、たとえば符号化データ 117にビット拡張情報 2004として多重化されているシンタタス（図 36)の値に基づいて、図 40のようにそれぞれ設定され、ビット変換情報 2003 に含められる。

[0215] 量子化直交変換係数情報 107は、逆量子化器 109及び逆直交変換器 110により、量子化器 106及び直交変換器 104の処理と逆の処理を順次受けて残差信号 201に変換される（S203)。動きベクトル Z予測モード情報 116は予測画像作成器 115に入力され、フレームメモリ 114に格納され、画素ビット長変換器 2008によって必要に応じて各画素のビット長が変換された復号画像信号 203から動きベクトル Z予測モード情報 116に基づく予測画像信号 102が生成される（S204)。

[0216] 予測画像信号 102は画素ビット長縮小器 2006に入力され、ビット変換情報 2003 に含まれている制御フラグ F2006に基づいて、予測画像信号 102の各画素のビット長を変換するかどうかを判定する（S205)。制御フラグ F2006が ONの場合には、画素ビット長拡張器 2006内のスィッチ E2を ONに設定し、予測画像信号 102の各画素のビット長を、第 4の実施形態における画素ビット長拡張器 2006で行われる処理と同様の処理によって縮小する（S206)。制御フラグ F2006が OFFの場合には画素のビット長を変換する処理は行わなレ、。

[0217] 画素ビット長縮小器 2006から出力された予測画像信号 102と残差信号 201は、加算器 111によって加算され、復号画像信号が生成される (S207)。復号画像信号 20 3は画素ビット長拡張器 2005に入力される。画素ビット長変換器 2005では、ビット変換情報 2003に含まれている制御フラグ F2005に基づいて、復号画像信号 203の各画素のビット長を拡張するかどうかを判定する（S208)。制御フラグ F2005が〇Nの場合には、画素ビット長拡張器 2005内のスィッチ E1を〇Nに設定し、復号画像信号 203の各画素のビット長を、第 4の実施形態における画素ビット長変換器 2005で行われる処理と同様の処理によって拡張する（S209)。制御フラグ F2005が OFFの場合には画素のビット長を変換する処理は行わない。

[0218] 画素ビット長拡張器 2005から出力された復号画像信号 203はループフィルタ 113 で必要に応じてフィルタ処理がなされた後出力され、画素ビット長縮小器 2001および画素ビット長変換器 2007に出力される。

[0219] 画素ビット長変換器 2007に復号画像信号 203が入力されると、画素ビット長変換器 2007は、ビット変換情報 2003に含まれている制御フラグ F2007に基づいて、復号画像信号 203の各画素のビット長を変換するかどうかを判定する（S210)。制御フラグ F2007が ONの場合には、画素ビット長拡張器 2007内のスィッチ E3が ONに設定され、復号画像信号 203の各画素のビット長が、第 3の実施形態における画素ビット長変換器 2007で行われる処理と同様の処理によって変換される（S211)。制御フラグ F2007が OFFの場合には画素のビット長を変換する処理は行わない。

[0220] 画素ビット長変換器 2007から出力された復号画像信号 203はフレームメモリ 114 に格納される（S212)。フレームメモリ 114に格納された復号画像信号 203が画素ビット長変換器 2008に入力されると、画素ビット長変換器 2008はビット変換情報 2003 に含まれている制御フラグ F2008に基づいて、復号画像信号 203の各画素のビット長を変換するかどうかを判定する（S213)。制御フラグ F2008が ONの場合には、画素ビット長拡張器 2008内のスィッチ E3を ONに設定し、復号画像信号 203の各画素のビット長を、第 3の実施形態における画素ビット長変換器 2008で行われる処理と同様の処理によって変換する（S214)。制御フラグ F2008が OFFの場合には画素のビット長を変換する処理は行わない。画素ビット長変換器 2008から出力された画像信号は予測画像作成器 115に入力される（S215)。

[0221] 復号画像信号 203はループフィルタ 113で必要に応じてフィルタ処理され、画素ビット長縮小器 2001に出力される。画素ビット長縮小器 2001に復号画像信号 203が入力されると、画素ビット長縮小器 2001は、ビット変換情報 2003に含まれている制御フラグ F2001に基づいて、復号画像信号 203の各画素のビット長を変換するかどう力、を判定する（S216)。制御フラグ F2001が〇Nの場合には、画素ビット長拡張器 2001内のスィッチ E2を ONに設定し、復号画像信号 203の各画素のビット長を、第 1の実施形態における画素ビット長縮小器 2001と同様の処理によって縮小する（S2 17)。制御フラグ F2001が OFFの場合には画素のビット長を変換する処理は行わず、そのまま復号画像信号 202として出力される。

[0222] 以上のようにして、画像符号化装置に入力された入力画像と同じ Nビット精度の復号画像 202が画素ビット長縮小器 2001より出力される（S218)。

[0223] 以上のような図 35、 39のような構成においては、符号化データに含まれるシンタクス情報に基づいて、フレームメモリ、直交変換および量子化の演算精度をフラグによつてそれぞれ切り替えることができ、符号化器側、あるいは復号ィ匕器側の演算コストの制約に応じて、適切な演算精度で符号化を行うことが可能となる。この構成においては、いずれかの制御フラグが ONとなっていれば、予測画像作成器に入力される画像信号の画素ビット長は、入力画像信号 100より大きな精度で入力されるため、予測画像作成の演算精度を高めることができ、符号ィ匕効率を向上させることができる。

[0224] 図 35、 39において画素ビット長拡張器、画素ビット長縮小器、画素ビット長変換器の一部を省略し、第 2〜第 5の実施形態で示した構成とし、画素ビット長拡張器、画素ビット長縮小器、画素ビット長変換器において、ビット長の変換を行うかどうかを例えば図 36で示したシンタクスにおける ex_seq_all_bit_extention_flagで指定されている値に従って決定する。 ex_seq_all_bit_extention_flag力 STRUEならば、各構成における画素ビット長拡張器、画素ビット長縮小器、画素ビット長変換器において各画素のビット長を変換する処理を行い、 FALSEなら変換処理を行わないような制御を行うことも可能である。

[0225] 量子化/逆量子化を行う際、入力画像が Nビット相当の場合に量子化する量子化ステップ幅を Qst印とした場合、第 2、第 3の実施形態における量子化/逆量子化で用いる量子化ステップ幅 Qst印'は、ビット精度を Mビット拡大 '縮小すると、残差の精度が（N + M)ビットに拡大されていることを考慮し、以下の式で計算される Qst印'を用いてもよい。

Qst印， = Qst印 « M ■·■ (16)

これによつて、 Nビット同等の入力画像をそのまま符号化した場合とほぼ同等の符号量の符号化データを得ることができる。このように、量子化ステップ幅を拡張するビット長に応じて変化させた場合に、符号化効率が向上する理由を図 41 , 42を用いて説明する。図 41は各画素位置での、入力画素値（8bit)に対する、 H. 264による 8bi t精度の予測画素値と、本実施形態による 12bit精度の予測画素値とを示すテープルであり、図 42はこれをグラフにしたものである（半画素位置の補間フィルタは、 6タツプ { 1/32, —5/32, 20/32, 20/32, —5/32, 1/32}とする）。

[0226] 前述のとおり、入力画像信号が 8ビットであった場合（図 42では正方形のプロットで表わされている）に、予測画像信号を入力画像信号と同じ 8ビットで作成した場合（図 42ではひし形のプロットで表されている）には、半画素位置に補間される画素の画素値は丸め誤差が生じる。これに対して、例えば本実施形態で述べたようなビット拡張を行い、例えば 12ビットの予測画像を作成した場合（図 42では円形のプロットで表されている）には、半画素位置に補間される画素の画素値の丸め誤差は小さくなる。ビット拡張を行った場合には、ビット拡張を行う前と比較して残差のビット精度が 12ビットに拡大するため、ビット拡張を行わずに 8ビットで残差を求めた場合と比較して残差の絶対値は大きくなる力丸め誤差が小さくなつているため、数式（16)で示した量子化ステップ幅で量子化し、ほぼ同じ符号量とした際の誤差が小さくなり、結果として符号化効率を向上させることが可能となる。

[0227] 本実施形態では、図 43に示すように、入力画像のビット精度よりも Mビット大きなビット精度で行うことができ、予測画像信号が入力画像信号より Mビット大きな精度をもつて作成されるため、動き補償のフィルタやループフィルタ、画面内予測などの精度を高めることができ、結果的に予測誤差信号を小さくすることができるため、符号化効率を向上させることができる。

[0228] なお、本発明は上記実施形態そのままに限定されるものではなぐ実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

[0229] 本発明によれば、画面内予測や動き補償の精度を十分高めることによって符号ィ匕効率を向上させことが可能になる。本発明の構成によれば、予測画像作成器に入力される参照画像のビット精度を入力画像のビット精度よりも大きくすることで、例えば H . 264などに適用されている画面内予測や、単方向動き補償予測、双方向動き補償予測、および重みつき動き補償予測の演算時に発生する丸め誤差を小さく抑えることで、予測誤差信号を小さくし、符号化効率を向上させることができる。すなわち、上記で述べた小数画素の演算精度にかかわるビット精度を高く保つことが可能となるだけではなぐ整数画素の演算精度にかかわるビット精度を高く保つことが可能となる。また、本発明のレ、くつかの構成によれば、入力画像のビット精度よりも高いビット精度で参照画像を保存し、予測に用いることで、さらに予測画像作成器で予測画像を作成する際の演算精度を高めることが可能となり、符号ィヒ効率を向上させることができる。

Claims

請求の範囲

[1] Nビット精度をそれぞれ持つ複数の画素により構成される入力画像の各画素のビット精度を Mビット大きな (N + M)ビット精度に変換する画素ビット精度変換器と、

(N + M)ビット精度の前記入力画像に対する (N + M)ビット精度の予測画像を、 ( N + M)ビット精度の参照画像から作成する予測画像作成器と、

(N + M)ビット精度の前記入力画像と (N + M)ビット精度の前記予測画像との差分信号を求める減算器と、

前記差分信号を符号化して画像符号化情報を出力する符号化器と、

前記画像符号化情報に基づいて復号差分画像を出力する復号化器と、

(N + M)ビット精度の前記予測画像と前記復号差分画像とを加算して (N + M)ビット精度の復号画像を出力する加算器と、

(N + M)ビット精度の前記復号画像を前記参照画像として保存する参照画像格納メモリとを備えた画像符号化装置。

[2] 変換により変更されたビット数を表すビット変換情報と前記画像符号化情報とを多重化する多重化器とを備えた請求項 1に記載の画像符号化装置。

[3] 前記画像符号化装置は、前記参照画像格納メモリの前段に、（N + M)ビット精度の前記復号画像の各画素を (N + M— L) (ただし、 Lは L≤Mを満たす整数）ビット精度に変換する第 1の画素ビット精度変換器を更に備え、

前記参照画像格納メモリは、 (N + M -L)ビット精度の前記復号画像を前記参照画像として保存し、

前記画像符号化装置は、前記参照画像格納メモリの後段に、（N + M— L)ビット精度の前記参照画像の各画素を (N + M)ビット精度に変換する第 2の画素ビット精度変換器を更に備えた請求項 1に記載の画像符号化装置。

[4] 前記第 1の画素ビット精度変換器は、符号化単位ごとに (N + M)ビット精度の前記復号画像の符号化単位画像内に含まれる画素値の最大値と最小値力代表値を算出する手段と、前記符号化単位画像内の各画素の値と代表値との差を Qビット右シフトした値が（N+M-L)ビット精度のダイナミックレンジに収まるようなシフト量 Q (0≤Q≤ L)を算出する手段と、前記符号化単位画像内の各画素値を各画素の値と代表値の差を Qビット右シフトして (N + M— L)精度の値に変換することで、（N + M)ビット精度の前記復号画像を (N + M— L)ビット精度の復号画像に変換する手段とを含み、前記参照画像格納メモリは (N + M— L)ビット精度の前記復号画像を前記参照画像として保存するとともに前記 Qおよび代表値を任意の符号化単位画像ごとに保存し前記第 2の画素ビット精度変換器は、前記符号化単位ごとに前記参照画像と前記シフト量 Qおよび前記代表値を前記参照画像格納メモリから読み出して前記参照画像の各画素の（N + M— L)ビット精度の画素値を Qビット右シフトして前記代表値に加算して (N+M)ビット精度の画素値に変換することを特徴とする請求項 3に記載の画像符号化装置。

[5] Nビット精度の入力画像に対し、（N + M)ビット精度の予測画像を (N + M)ビット精度の参照画像から作成する予測画像作成器と、

(N + M)ビット精度の前記予測画像の各画素を Nビット精度に縮小変換する画素ビット長縮小変換器と、

Nビット精度の前記入力画像と Nビット精度に変換された前記予測画像との差分信号を求める減算器と、

Nビット精度に変換された前記予測画像と前記復号差分画像とを加算して Nビット精度の復号画像を出力する加算器と、

Nビット精度の前記復号画像の各画素の値を Mビット大きな（N + M)ビット精度に変換する画素ビット精度変換器と、

[6] Nビット精度の入力画像に対し、（N + M)ビット精度の予測画像を (N + M)ビット精度の参照画像から作成する予測画像作成器と、

(N + M)ビット精度の前記予測画像の各画素を Nビット精度の画素に変換する画素ビット精度変換器と、 Nビット精度の前記入力画像と Nビット精度の前記予測画像との差分信号を求める減算器と、

前記画像符号化情報に基づいて復号差分画像を出力する復号化器と、 Nビット精度の前記予測画像と前記復号差分画像とを加算して Nビット精度の復号画像を出力する加算器と、

Nビット精度の前記復号画像を前記参照画像として保存する参照画像格納メモリと前記参照画像格納メモリに格納された Nビット精度の前記参照画像の各画素を M ビット大きな（N + M)ビット精度に拡張変換する画素ビット精度変換器と、を備えた画像符号化装置。

[7] 前記画像符号化情報は、ビット変換情報として、任意の符号化単位毎に、拡張するビット数 Mを示すデータを含む、請求項 1ないし 6のいずれか 1項に記載の画像符号化装置。

[8] 前記画像符号化情報は、ビット変換情報として、任意の符号化単位毎に、前記参照画像格納メモリのビット精度（N + M— L)を示すデータを含む、請求項 3に記載の画像符号化装置。

[9] 前記画像符号化情報は、ビット変換情報として、任意の符号化単位毎に、復号画像を出力する際のビット精度 Nを示すデータを含む、請求項 1ないし 6のいずれか 1 項に記載の画像符号化装置。

[10] 前記画素ビット精度変換器は、前記入力画像の各画素の値をビット精度が異なる値に変換した後に、該入力画像の各コンポーネントを異なる色空間に変換する、請求項 1に記載の画像符号化装置。

[11] 前記画素ビット精度変換器は、 Nビット精度の前記画像の各画素の値を Mビット大きな（N + M)ビット精度に変換した後に、該画像の各コンポーネントを異なる色空間に変換する、請求項 1ないし 6のいずれ力、 1項に記載の画像符号ィ匕装置。

[12] 前記画像符号化情報は、ビット変換情報として、任意の符号化単位毎に、拡張するビット数 Mを示すデータと前記復号画像を出力する際の色空間を示すデータを含む、請求項 10または 11に記載の画像符号化装置。

[13] 前記画像符号化情報は、ビット変換情報として、任意の符号化単位毎に、前記復号画像を出力する際のビット精度 Nと前記復号画像を出力する際の色空間を示すデータを含む、請求項 10または 11に記載の画像符号化装置。

[14] 前記予測画像作成器は、適応補間フィルタ情報に基づいて予測画像を生成し、前記画像符号化情報は、前記適応補間フィルタ情報を含む、請求項 1ないし 6のいずれか 1項に記載の画像符号化装置。

[15] 前記画像符号化装置は、前記復号画像に対し、フィルタ処理情報に基づレ、てフィルタ処理を行うフィルタを参照画像メモリの前段にさらに備え、前記画像符号化情報は、前記フィルタ処理情報を含む、請求項 1ないし 6のいずれか 1項に記載の画像符号化装置。

[16] 前記画素ビット精度変換器は、各画素のビット精度が Nビットの入力画像の各画素を Mビット大きな（N + M)ビット精度に変換した後に、前記入力画像にフィルタ処理情報に基づいたフィルタ処理を行うフィルタをさらに備える、請求項 1ないし 3のいずれか 1項に記載の画像符号化装置。

[17] 前記画素ビット精度変換器は、 Nビット精度の入力画像の各画素を Mビット大きな（ N + M)ビット精度の画素に変換した後に、前記入力画像にフィルタ処理情報に基づいたフィルタ処理を行うフィルタをさらに備え、前記画像符号化情報は、前記フィルタ処理情報を含む、請求項 1ないし 3のいずれか 1項に記載の画像符号化装置。

[18] 前記画素ビット精度変換器は、 Nビット精度の入力画像の各画素を Mビット大きな（ N + M)ビット精度の画素に変換した後に、前記入力画像に Mビット以下の語調の透力、し情報を付加する透力情報埋込器をさらに備える、請求項 15に記載の画像符号化装置。

[19] 前記画像符号化情報は、ビット変換情報として、任意の符号化単位毎に、画像信号の各画素のビット精度を Mビット拡張するかどうかのフラグを含む、請求項 1ないし 6 のレ、ずれか 1項に記載の画像符号化装置。

[20] 前記画像符号化情報は、ビット変換情報として、任意の符号化単位毎に、画像信号の各画素のビット精度を Mビット拡張するかどうかのフラグを含み、さらに拡張するビット数 Mを示すデータを含む、請求項 1ないし 6のいずれか 1項に記載の画像符号化装置。

[21] ビット変換情報と画像符号化情報とが多重化された画像情報を入力してビット変換情報と画像符号化情報に分離する逆多重化器と、

前記画像符号化情報を複号化し復号画像を出力する画像複号化器と、前記ビット変換情報に基づいて前記復号画像の各画素の値をビット精度が異なるビット精度に変換する画素ビット精度変換器と、を備えた画像復号化装置。

[22] 入力符号化画像情報を (N + M)ビット精度の復号差分画像に復号する復号化器と前記符号化画像情報を用いて (N + M)ビット精度の参照画像から（N + M)ビット精度の予測画像を作成する予測画像作成器と、

前記復号差分画像と前記予測画像とを加算して (N + M)ビット精度の復号画像を得る加算器と、

(N + M)ビット精度の前記復号画像を前記参照画像として保存する参照画像格納メモリと、

(N + M)ビット精度の前記復号画像の各画素を Nビット精度に変換し Nビット精度の復号画像を出力する画素ビット精度変換器と、を備えた画像復号化装置。

[23] 符号化画像情報を入力して (N + M)ビット精度の復号差分画像を出力する復号化器と、

(N + M— L)ビット精度の参照画像の各画素を (N + M)ビット精度の画素に変換し (N + M)ビット精度の復号画像を出力する画素ビット精度拡張変換器と、前記符号化画像情報を用いて (N + M)ビット精度の参照画像から（N + M)ビット精度の予測画像を作成する予測画像作成器と、

(N + M)ビット精度の前記復号画像の各画素を (N + M— L)ビット精度の画素に変換し (N + M— L)ビット精度の復号画像を出力するとともに、（N + M)ビット精度の前記復号画像の各画素を Nビット精度の画素に変換し、 Nビット精度の復号画像を出力する画素ビット精度縮小変換器と、

(N + M— L)ビット精度の前記復号画像を前記参照画像として保存する参照画像格納メモリと、を備えた画像復号化装置。

[24] 符号化画像情報を入力して Nビット精度の復号差分画像を出力する複号化器と、前記符号化画像情報を用いて (N + M)ビット精度の参照画像から（N + M)ビット精度の予測画像を作成する予測画像作成器と、

(N + M)ビット精度の前記予測画像の各画素を Nビット精度の画素に変換し Nビット精度の予測画像を出力する画素ビット精度変換器と、

前記復号差分画像と前記予測画像とを加算して Nビット精度の復号画像を得る加算器と、

Nビット精度の前記復号画像の各画素を (N + M)ビット精度の画素に変換し (N + M)ビット精度の復号画像を出力する画素ビット長拡張変換器と、

(N + M)ビット精度の前記復号画像を前記参照画像として保存する参照画像格納メモリと、を備えた画像復号化装置。

[25] 前記画素ビット精度変換器は、復号化単位ごとに前記参照画像の符号化単位画像内に含まれる画素値の最大値と最小値から代表値を算出する手段と、前記符号化単位画像内の各画素の値と代表値との差を Qビット右シフトした値が（N+M-L)ビット精度のダイナミックレンジに収まるシフト量 Q (0≤ Q≤ L)を算出する手段と、前記符号化単位画像内の各画素値を各画素の値と前記代表値との差を Qビット右シフトして (N + M— L)精度の値に変換する手段とを含む第 1の画素ビット精度変換器を有し、前記参照画像格納メモリは (N + M— L)ビット精度の前記復号画像を前記参照画像として保存するとともに前記シフト量 Qおよび前記代表値を前記符号化単位ごとに保存し、

前記第画素ビット精度変換器は複号化単位ごとに前記参照画像と前記シフト量 Q および前記代表値を前記参照画像格納メモリから読み出して前記参照画像の各画素の（N + M— L)ビット精度の画素値を Qビット右シフトして前記代表値に加算して（ N+M)ビット精度に変換する手段を含む第 2の画素ビット精度変換器を有することを特徴とする請求項 24に記載の画像復号化装置。

[26] 符号化画像情報を入力して Nビット精度の復号差分画像を出力する復号化器と、

Nビット精度の参照画像の各画素を (N + M)ビット精度の画素に変換し (N + M)ビット精度の参照画像を出力する画素ビット精度変換器と、

前記符号化された画像情報を用いて (N + M)ビット精度の前記参照画像から (N + M)ビット精度の予測画像を作成する予測画像作成器と、

(N + M)ビット精度の前記予測画像の各画素を Nビット精度の画素に変換し Nビット精度の予測画像を出力する画素ビット精度変換器と

Nビット精度の前記復号画像を前記参照画像として保存する参照画像格納メモリとを備えた、画像複号化装置。

[27] 前記符号化画像情報は、ビット変換情報として、任意の符号化単位毎に、拡張するビット数 Mを示すビット変換情報を含み、

前記変換器は、前記ビット変換情報に基づいて、前記画像の各画素のビット精度の拡張又は縮小を行う、請求項 21ないし 26のいずれ力 1項に記載の画像復号ィ匕装置

[28] 前記符号化画像情報は、ビット変換情報として、任意の符号化単位毎に、前記参照画像格納メモリのビット精度（N + M— L)を示すデータを含み、

前記画素ビット精度拡張変換器及び前記画素ビット精度縮小変換器は、前記ビット変換情報に基づいて前記拡張変換及び前記縮小変換を行い、（N + M— L)ビット精度の前記参照画像として参照画像格納メモリに格納する、請求項 23に記載の画像複号化装置。

[29] 前記符号化された画像情報は、ビット変換情報として、任意の符号化単位毎に、復号画像を出力する際のビット精度 Nを示すビット変換情報を含み、

前記ビット変換情報に基づいて、前記復号画像のビット精度を、前記復号画像を出力する際のビット精度 Nと同じ精度を持つものに変換する、請求項 21ないし 26のいずれか 1項に記載の画像復号化装置。

[30] 前記画素ビット精度変換器は、前記復号画像の各コンポーネントを異なる色空間に変換した後に、該復号画像の各コンポーネントの各画素を異なるビット精度に変換する、請求項 21に記載の画像復号化装置。

[31] 前記画素ビット精度縮小変換器は、（N + M)ビット精度の前記画像の各コンポーネントを異なる色空間に変換した後に、該画像の各コンポーネントの各画素を Nビット精度の画素に変換する、請求項 22ないし 26のいずれか 1項に記載の画像複号化装置

[32] 前記符号化された画像情報は、ビット変換情報として、任意の符号化単位毎に、拡張するビット数 Mを示すビット変換情報と復号画像を出力する際の色空間を示すデータを含み、

前記変換器は、前記ビット変換情報に基づいて、前記復号画像を、前記復号画像を出力する際の色空間を示すデータに色変換した後に、該色変換された復号画像の各画素のビット長の拡張及び縮小を行うことを特徴とする請求項 30または 31に記載の画像復号化装置。

[33] 前記符号化画像情報は、ビット変換情報として、任意の符号化単位毎に、復号画像を出力する際の入力画像のビット精度 Nを示すビット変換情報と復号画像を出力する際の色空間を示すデータを含み、

前記ビット変換情報に基づいて、前記復号画像を、前記復号画像を出力する際の色空間を示すデータに色変換した後に、該色変換された復号画像を、前記復号画像を出力する際のビット精度 Nと同じ精度を持つ画素に変換する、請求項 30または 3

1に記載の画像復号化装置。

[34] 前記符号化画像情報は、適応補間フィルタ情報を含み、前記予測画像作成器は、前記適応補間フィルタ情報に基づいて、予測画像を作成する、請求項 21ないし 26 のいずれか 1項に記載の画像復号化装置。

[35] 前記符号化された画像情報は、フィルタ処理情報を含み、前記画像復号化装置は

、前記復号画像に対し、前記フィルタ処理情報に基づいてフィルタ処理を行うフィルタをさらに備える、請求項 21ないし 26のいずれ力、 1項に記載の画像複号化装置。

[36] 前記画素ビット精度変換器は、前記復号画像に対しフィルタ処理を行うフィルタをさらに備え、前記フィルタが前記復号画像に対しフィルタ処理を行った後に、 (N + M) ビット精度の前記復号画像の各画素を Nビット精度の画素に変換し Nビット精度の復号画像を出力する、請求項 21ないし 26のいずれ力 1項に記載の画像復号ィ匕装置。

[37] 前記符号化画像情報は、フィルタ処理情報を含み、前記画素ビット精度変換器は、前記復号画像に対し前記フィルタ処理情報に基づいてフィルタ処理を行うフィルタをさらに備え、前記フィルタが前記復号画像に対しフィルタ処理を行った後に、（N + M )ビット精度の前記復号画像の各画素を Nビット精度の画素に変換し Nビット精度の復号画像を出力する、請求項 21ないし 26のいずれ力 4項に記載の画像復号ィ匕装置

[38] 前記画像複号化装置は、前記加算器の後段に復号画像に坦め込まれた透かレ晴報を検出する透力、し検出器をさらに備える、請求項 22に記載の画像複号化装置。

[39] 前記画像符号化情報は、ビット変換情報として、任意の符号化単位毎に、 Mビット拡張するかどうかのフラグを含み、前記フラグが FALSEの場合には前記変換器は変換を行わず、前記フラグが TRUEの場合には、前記変換器は、前記ビット変換情報に基づいて、前記画像の各画素のビット精度の拡張又は縮小を行う、請求項 21ないし 26のレ、ずれか 1項に記載の画像復号化装置。

[40] 前記画像符号化情報は、ビット変換情報として、任意の符号化単位毎に、 Mビット拡張するかどうかのフラグと、拡張するビット数 Mを示すデータを含み、前記フラグが FALSEの場合には前記変換器は変換を行わず、前記フラグ力 STRUEの場合には、前記変換器は、前記ビット変換情報に基づいて、前記画像の各画素のビット精度の拡張又は縮小を行う、請求項 21ないし 26のいずれ力 1項に記載の画像復号ィ匕装置。

[41] 入力画像の各画素のビット精度を変換することによって異なるビット精度の変換入力画像を生成するステップと、

変換により変更されたビット数を表すビット変換情報を出力するステップと、前記入変換力画像を符号化し画像符号化情報を出力するステップと、前記ビット変換情報と前記画像符号化情報とを多重化するステップと、を有する画像符号化方法。

[42] Nビット精度をそれぞれ持つ複数の画素により構成される入力画像の各画素のビット精度を Mビット大きな（N + M)ビット精度に変換するステップと、 (N + M)ビット精度の前記入力画像に対する（N + M)ビット精度の予測画像を、 (

N + M)ビット精度の参照画像から作成するステップと、

(N + M)ビット精度の前記入力画像と（N + M)ビット精度の前記予測画像との差分信号を求めるステップと、

前記差分信号を符号化して画像符号ィヒ情報を出力するステップと、

前記画像符号化情報に基づいて復号差分画像を出力するステップと、 (N + M)ビット精度の前記予測画像と前記復号差分画像とを加算して (N + M)ビット精度の復号画像を出力するステップと、

(N + M)ビット精度の前記復号画像を前記参照画像として参照画像格納メモリに保存するステップと、を含む画像符号化方法。

[43] ビット変換情報と画像符号化情報とが多重化された入力画像情報をビット変換情報と画像符号化情報に分離するステップと、

前記画像符号化情報を復号化し復号画像を生成するステップと、

前記ビット変換情報に基づいて前記復号画像の各画素をビット精度が異なる画素に変換するステップと、を有する画像復号化方法。

[44] 入力符号化画像情報を (N + M)ビット精度の復号差分画像に復号するステップと前記入力符号化画像情報を用いて (N + M)ビット精度の参照画像から（N + M)ビット精度の予測画像を生成するステップと、

前記復号差分画像と前記予測画像とを加算して (N + M)ビット精度の復号画像を生成するステップと、

(N + M)ビット精度の前記復号画像を前記参照画像として保存するステップと、

(N + M)ビット精度の前記復号画像の各画素の値を Nビット精度に変換し Nビット精度の復号画像を生成するステップとを有する、画像復号化方法。