JP4451759B2 - 可逆ビデオ符号化装置，可逆ビデオ符号化方法，可逆ビデオ復号装置，可逆ビデオ復号方法，可逆ビデオ符号化プログラム，可逆ビデオ復号プログラムおよびそれらのプログラムの記録媒体 - Google Patents

Description

本発明は高能率ビデオ符号化に関し，特に，H.264 標準と親和性が高い可逆ビデオ符号化を実現する可逆ビデオ符号化技術，可逆ビデオ復号技術に関する。

従来の可逆ビデオ符号化方式には，Motion JPEG2000 標準（非特許文献１，非特許文献２参照）の可逆モードや JPEG-LS（非特許文献３，非特許文献４参照）がある。これらは，静止画ベースであるためフレーム内に閉じた符号化を行う。

これらの従来方式には，次のような問題がある。
・Motion JPEG2000 は，段階的伝送が可能であるが，フレーム内符号化をするため，ビデオ特有のフレーム間相関を用いた高能率符号化はできない。
・JPEG-LS は，JPEG2000よりも効率は高いが，やはりフレーム内に閉じた符号化であり効率に限界があるほか，段階的伝送ができない。

また，従来の可逆ビデオ符号化方式として，H.264 標準の第二版“Fidelity Range Extention(FRExt) ”（非特許文献５参照）がある。この方式では，フレーム内・フレーム間予測残差信号を（直交変換・量子化せず）そのまま伝送する。これは，H.264 標準の初版との親和性も高く，処理も簡便であるが，予測残差信号になお残存している相関を除くことができないという問題がある。

このようにフレーム間予測を行うことで効率を高め，かつH.264 標準との親和性を保ちつつ圧縮効率の高い可逆ビデオ符号化方式は提案されていなかった。
ISO/IEC 15444-3:2002 Information technology −JPEG2000 image coding system−Part 3:Motion JPEG2000 "Motion-JPEG2000",http://e-words.jp/w/Motion-JPEG2000.html ISO/IEC 14495-1:1999 Information technology −Lossless and near-lossless coding of continuous tone still images 上野他，"多値ロスレス符号化標準と当社技術の採用"，http://www.mitsubishielectric.co.jp/giho/9809/9809115.pdf Gary J.Sullivan,Pankaj Topiwala,and Ajay Luthra,"The H.264/AVC Advanced Video Coding Standard: Overview and Introduction to the Fidelity Range Extensions",Presented at the SPIE Conference on Applications of Digital Image Processing XXVII Special Session on Advances in the New Emerging Standard: H.264/AVC,August,2004

本発明は，上に述べたような問題に鑑みて，H.264 標準と親和性が高い可逆ビデオ符号化を実現することを目的とする。

〔変数の定義〕
原信号の小ブロックを４×４行列Ｕで表す。H.264 標準においては，フレーム内あるいはフレーム間で該ブロックを予測する。この信号を同じく４×４行列Ｙで表す。そして予測残差信号（４×４行列Ｒ）を両者の差
Ｒ＝Ｕ−Ｙ （１）
とする。これらはいずれも，要素がすべて整数である。

残差信号の各要素を，

のように表記することとする。

〔第１の発明要素〕
H.264 標準においては，Ｒに対して直交変換，ついで係数の量子化を行うが，この発明に係る可逆ビデオ符号化方法は，直交変換および量子化を省略し，その代わりに線形予測を施す。

ここで，Ｒの各要素に対し線形予測を施し，残差変換信号を得る。これを４×４行列Ｐとする。

線形予測においては，一次元予測を水平垂直に繰り返す方法（アルゴリズム１）あるいは二次元予測を行う方法（アルゴリズム２）を用いる。

［アルゴリズム１］
1. （＊水平方向＊）
2. for ｊ← 0 to 3
3. for ｉ← 0 to 3
4. ｐ_i,j ←ｒ_i,j - f(α_h ｒ_i-1,j )
5. （＊垂直方向＊）
6. for ｉ← 0 to 3
7. for ｊ← 3 downto 0
8. ｐ_i,j ←ｐ_i,j - f(α_v ｐ_i,j-1 )
［アルゴリズム２］
1. for ｊ← 0 to 3
2. for ｉ← 0 to 3
3. ｐ_i,j ←ｒ_i,j - f(α_h ｒ_i-1,j + α_v ｒ_i,j-1 - α_h α_v ｒ_i-1,j-1 )
ここで任意の整数ｎに対して
ｒ_-1, _n ＝ｒ_n,-1＝０
であるとし，α_h は水平方向の予測係数，α_v は垂直方向の予測係数であり，予め決められた値（例えばα_h ＝α_v ＝０．７５）を用いるものとする。また，ｆ（ｘ）は，ｘの小数点以下を四捨五入し整数とする関数である。すなわち，
ｆ（ｘ）＝［（ｘ＋０．５）以下の最大の整数］ （４）
こうして得られたＰを，「残差変換信号」と呼ぶ。これを，通常のH.264 における，直交変換と量子化を経た，量子化係数（やはり４×４サイズである）とみなして符号化する。

以上の線形予測を行うためのハードウェア資源と操作手段としては，例えば次のものを用いる。
・整数ｉ記憶装置，整数ｊ記憶装置，整数ｒ_ij記憶装置，整数ｋ記憶装置
・１６要素の整数配列ｐ記憶装置，１６要素の整数配列ｒ記憶装置
・浮動小数点数α_h 記憶装置，浮動小数点数α_v 記憶装置，浮動小数点数ｆ記憶装置
・小数点以下四捨五入手段
・乗算手段，加算手段，減算手段
・整数比較手段。

また，補助手段として，次のものを用いる。
・ｐ_ij設定手段（整数ｉ記憶装置と整数ｊ記憶装置と整数ｘ記憶装置からそれぞれｉ，ｊ，ｘを取得し，整数ｋ記憶装置にｉ＊４＋ｊを記憶し，整数配列ｐ記憶装置のｋ番地にｘを記憶する手段）
・ｐ_ij-1獲得手段（整数ｊ記憶装置からｊを取得し，減算手段により１を減じ，この値を整数ｊ記憶装置に記録し，ｐ_ij獲得手段を実行し，再度整数ｊ記憶装置からｊを取得し，加算手段により１を加え，この値を整数ｊ記憶装置に記録する手段）
・ｒ_ij獲得手段（整数ｉ記憶装置と整数ｊ記憶装置からそれぞれｉ，ｊを取得し，ｉが負またはｊが負ならば０を返し，そうでなければ，整数ｋ記憶装置にｉ＊４＋ｊを記憶し，整数配列ｒ記憶装置のｋ番地の値を整数ｒ_ij記憶装置に記憶する手段）
・ｒ_ij-1獲得手段（整数ｊ記憶装置からｊを取得し，減算手段により１を減じ，この値を整数ｊ記憶装置に記録し，ｒ_ij獲得手段を実行し，再度整数ｊ記憶装置からｊを取得し，加算手段により１を加え，この値を整数ｊ記憶装置に記録する手段）
・ｒ_i-1j獲得手段（整数ｉ記憶装置からｉを取得し，減算手段により１を減じ，この値を整数ｉ記憶装置に記録し，ｒ_ij獲得手段を実行し，再度整数ｉ記憶装置からｉを取得し，加算手段により１を加え，この値を整数ｉ記憶装置に記録する手段）
・ｒ_i-1j-1獲得手段（整数ｉ記憶装置からｉを取得し，減算手段により１を減じ，この値を整数ｉ記憶装置に記録し，ｒ_ij-1獲得手段を実行し，再度整数ｉ記憶装置からｉを取得し，加算手段により１を加え，この値を整数ｉ記憶装置に記録する手段）。

アルゴリズム１は，ハードウェア資源に対する次のような操作として記述される。
［１］整数ｊ記憶装置に値０を記憶する。
［２］整数ｉ記憶装置に値０を記憶する。
［３］（フラグＡ）
［４］α_h 記憶手段からα_h を取得し，ｒ_i-1j獲得手段を実行し，整数ｒ_ij記憶装置から得たｒ_i-1,j 値とα_h の積を乗算手段により求め，該積を小数点以下四捨五入手段により整数とし，ｒ_ij獲得手段を実行し，ｒ_ij記憶装置から得たｒ_i,j 値と該積の差を減算手段により求め，整数ｘ記憶装置に記憶する。
［５］ｐ_ij設定手段を実行する。
［６］整数ｉ記憶装置からｉを取得し，加算手段によりこれに１を加算し，整数ｉ記憶装置に記憶する。
［７］ｉと３の大小を整数比較手段により比較し，ｉが３を超えていなければ，フラグＡの番地へ処理を移す。
［８］ｉが３を超えていれば，整数ｉ記憶装置に０を記憶し，また，整数ｊ記憶装置からｊを取得し，加算手段によりこれに１を加算し，整数ｊ記憶装置に記憶する。
［９］ｊと３の大小を比較し，ｊが３を超えていなければ，フラグＡの番地へ処理を移す。
［１０］整数ｉ記憶装置に値０を記憶する。
［１１］整数ｊ記憶装置に値３を記憶する。
［１２］（フラグＢ）
［１３］α_v 記憶手段からα_v を取得し，ｐ_ij-1獲得手段を実行し，ｐ_ij記憶装置から得たｐ_i,j-1 値とα_v の積を乗算手段により求め，該積を小数点以下四捨五入手段により整数とし，ｐ_ij獲得手段を実行し，ｐ_ij記憶装置から得たｐ_i,j 値と該積の差を減算手段により求め，整数ｘ記憶装置に記憶する。
［１４］ｐ_ij設定手段を実行する。
［１５］整数ｊ記憶装置からｊを取得し，減算手段によりこれから１を減算し，整数ｊ記憶装置に記憶する。
［１６］ｊと０の大小を整数比較手段により比較し，ｊが０を下回っていなければ，フラグＢの番地へ処理を移す。
［１７］ｊが０を下回っていれば，整数ｊ記憶装置に３を記憶し，また，整数ｉ記憶装置からｉを取得し，加算手段によりこれに１を加算し，整数ｉ記憶装置に記憶する。
［１８］ｉと３の大小を比較し，ｉが３を超えていなければ，フラグＢの番地へ処理を移す。
［１９］ｉが３を超えていれば，処理を終了する。

アルゴリズム２は，ハードウェア資源に対する次のような操作として記述される。
［１］整数ｉ記憶装置に値０を記憶する。
［２］整数ｊ記憶装置に値０を記憶する。
［３］（フラグＡ）
［４］α_h 記憶手段からα_h を取得し，α_v 記憶手段からα_v を取得する。
［５］ｒ_ij-1獲得手段を実行し，ｒ_ij記憶装置から得たｒ_i,j-1 値とα_v の積を乗算手段により求め，浮動小数点数ｆ記憶装置に記憶する。
［６］ｒ_i-1j獲得手段を実行し，ｒ_ij記憶装置から得たｒ_i-1,j 値とα_h の積を乗算手段により求め，加算手段により浮動小数点数ｆ記憶装置に加算する。
［７］ｒ_i-1j-1獲得手段を実行し，ｒ_ij記憶装置から得たｒ_i-1,j-1 値とα_h の積を乗算手段により求め，さらに該積とα_v の積を乗算手段により求め，これを減算手段により浮動小数点数ｆ記憶装置から減算する。
［８］小数点以下四捨五入手段により浮動小数点数ｆ記憶装置の値を整数化し，整数ｘ記憶装置に記憶する。
［９］ｒ_ij獲得手段を実行し，ｒ_ij記憶装置から得たｒ_i,j 値とｘの差を減算手段により求め，整数ｘ記憶装置に記憶する。
［１０］ｐ_ij設定手段を実行する。
［１１］整数ｉ記憶装置からｉを取得し，加算手段によりこれに１を加算し，整数ｉ記憶装置に記憶する。
［１２］ｉと３の大小を整数比較手段により比較し，ｉが３を超えていなければ，フラグＡの番地へ処理を移す。
［１３］ｉが３を超えていれば，整数ｉ記憶装置に０を記憶し，また，整数ｊ記憶装置からｊを取得し，加算手段によりこれに１を加算し，整数ｊ記憶装置に記憶する。
［１４］ｊと３の大小を比較し，ｊが３を超えていなければ，フラグＡの番地へ処理を移す。
［１５］ｊが３を超えていれば，処理を終了する。

〔第２の発明要素〕
予測残差信号の統計的性質は，画像そのものによっても大きく変化するが，予測方法，例えばフレーム間予測をする場合とフレーム内予測をする場合によっても予測残差の性質は変化すると考えられる。そこで，該ブロックがフレーム内予測である場合には，水平予測係数，垂直予測係数をそれぞれ
α_h ＝α_h ^intra （５）
α_v ＝α_v ^intra （６）
とし，フレーム間予測である場合には，水平予測係数，垂直予測係数をそれぞれ
α_h ＝α_h ^inter （７）
α_v ＝α_v ^inter （８）
として，アルゴリズム１またはアルゴリズム２の予測を行うこととする。

予測係数の値は，例えば
α_h ^intra ＝α_v ^intra ＝０．８ （９）
α_h ^inter ＝α_v ^inter ＝０．７ （１０）
のように定める。

〔第３の発明要素〕
予測誤差信号は，隣接したブロック同士では，ほぼ類似の性質を持つことが経験上判明している。そこで，近隣のブロックで最適な予測係数が，処理中のブロックでもよい予測をすると期待できる。

符号化中のブロックに隣接する，あるブロックでの予測残差信号Ｒに線形予測を施した残差変換信号Ｐのエントロピを最小にするような予測係数は，

により与えられる。ただし，Ｐはアルゴリズム１あるいはアルゴリズム２により求まる残差変換信号であり，Ｈ（）はエントロピ関数である。

Ｈ（ｐ）＝−Σ_n ｈ_n ｌｏｇ₂ ｈ_n
ここでｈ_n は，Ｐの各要素が値ｎをとる確率である。

なお，実際上，上記を満たす予測係数α_h ，α_v を求めるのは容易ではないので，残差変換信号Ｐの電力を最小とする予測係数を求めるのが現実的である。この係数は，相関係数σにより与えられる。

近隣のブロックでの水平方向の相関係数σ_h は，

垂直方向の相関係数σ_v は，

により，それぞれ解析的に得られる。線形予測の範疇で残差電力を最小とする予測係数は上記で与えられるが，符号化中の画素値は復号側では知り得ないため，図１に示すような，着目ブロック（＊）に隣接した符号化済みブロックであるＮＷ（左上隣接ブロック），Ｎ（上隣接ブロック），ＮＥ（右上隣接ブロック），Ｗ（左隣接ブロック）における相関係数（符号化側・復号側ともに，可逆符号化のため知り得る情報である）を用いる。

すなわち，予測係数α_h ，α_v を，
α_h ＝（σ_h ^W ＋σ_h ^NW＋σ_h ^N ＋σ_h ^NE＋４σ_h ’）／８ （１３）
α_v ＝（σ_v ^W ＋σ_v ^NW＋σ_v ^N ＋σ_v ^NE＋４σ_v ’）／８ （１４）
のように，できるだけ妥当に近いと思われる値に設定し，線形予測する。

式（１３）において，σ_h ^W は左隣接ブロック内水平方向相関係数，σ_h ^NWは左上隣接ブロック内水平方向相関係数，σ_h ^N は上隣接ブロック内水平方向相関係数である。また，σ_h ’は例えば０．７５のような水平方向相関係数デフォルト値である。

式（１４）において，σ_v ^W は左隣接ブロック内垂直方向相関係数，σ_v ^NWは左上隣接ブロック内垂直方向相関係数，σ_v ^N は上隣接ブロック内垂直方向相関係数である。また，σ_v ’は例えば０．７５のような垂直方向相関係数デフォルト値である。

〔第４の発明要素〕
第１ないし第３の発明要素による残差変換信号は，一次元線形予測を縦横に繰り返す（アルゴリズム１による）場合には下記のアルゴリズム３，二次元線形予測する（アルゴリズム２による）場合には下記のアルゴリズム４により，残差信号に完全復元される。前者の場合，水平方向の線形予測と垂直方向の線形予測の順序が符号化と復号で逆になることに注意する。

［アルゴリズム３］
1. （＊垂直方向＊）
2. for ｉ← 0 to 3
3. for ｊ← 0 to 3
4. ｐ_i,j ←ｐ_i,j + f(α_v ｐ_i,j-1 )
5. （＊水平方向＊）
6. for ｊ← 0 to 3
7. for ｉ← 0 to 3
8. ｒ_i,j ←ｐ_i,j + f(α_h ｒ_i-1,j )
［アルゴリズム４］
1. for ｊ← 0 to 3
2. for ｉ← 0 to 3
3. ｒ_i,j ←ｐ_i,j + f(α_h ｒ_i-1,j + α_v ｒ_i,j-1 - α_h α_v ｒ_i-1,j-1 )

本発明によれば，フレーム間予測を行うことで効率を高め，かつ，H.264 標準との親和性を保ちつつ圧縮効率の高い可逆ビデオ符号化を行うことができる。

以下に，本発明の実施形態について，図面を参照して説明する。

図２は，第３の発明要素に係る可逆ビデオ符号化の処理フローチャートである。まず，符号化器では，H.264 準拠の符号化方式に従い，ステップＳ１０１において，画像内の各ブロックが順に，符号化器が定めた予測モードに応じフレーム間あるいはフレーム内予測される。

この予測モードに応じ，ステップＳ１０２において，水平・垂直の予測係数α_h ^mode，α_v ^modeを定める。次に，ステップＳ１０３において，予測残差信号Ｒを得ておき，ステップＳ１０４において，符号化中のブロックの周辺隣接ブロックにおける相関係数（σ_h ^W 〜σ_v ^NE）を，式（１１），式（１２）に従って求める。

次いでステップＳ１０５では，式（１３），式（１４）にならい，例えば以下のようにして水平予測係数α_h ，垂直予測係数α_v を定める。

α_h ＝（σ_h ^W ＋σ_h ^NW＋σ_h ^N ＋σ_h ^NE＋４α_h ^mode）／８ （１５）
α_v ＝（σ_v ^W ＋σ_v ^NW＋σ_v ^N ＋σ_v ^NE＋４α_v ^mode）／８ （１６）
得られた係数を用い，ステップＳ１０６において，アルゴリズム１あるいはアルゴリズム２により予測残差信号Ｒに線形予測を施し残差変換信号Ｐを得る。次いでステップＳ１０７において，このＰをH.264 準拠の方法でエントロピ符号化する。

ステップＳ１０８において，すべてのブロックが符号化されたかを判定し，偽である限りステップＳ１０１へ処理を戻し，次のブロックについて同様に符号化を繰り返す。

図３は，第３の発明要素に係る可逆ビデオ符号化装置の機能ブロック図の一例を示す図である。

可逆ビデオ符号化装置１は，原画像信号を記憶する原画像記憶装置１０１，原画像信号を符号化するH.264 符号化装置１０２，着目ブロックの隣接周辺ブロックの位置情報を順に発生する逐次ブロック位置制御部１０３，着目ブロックの隣接周辺ブロックにおける上下に隣り合う画素対（ａ，ｂ）を列挙する入力制御部Ｖ１０４，着目ブロックの隣接周辺ブロックにおける左右に隣り合う画素対（ａ，ｂ）を列挙する入力制御部Ｈ１０５，Σａｂを出力する積加算器１０６，Σａ，Σｂを出力する加算器１０７，Σａ² ，Σｂ² を出力する二乗和加算器１０８，相関係数を出力する相関係数演算器１０９，相関係数を記憶する相関係数記憶装置１１０，α_h ^modeとα_v ^modeを決定するα^mode決定装置１１１，α_h ^modeとα_v ^modeを記憶するα_h ^mode，α_v ^mode記憶装置１１２，α_h ，α_v を出力するα_h ，α_v 演算器１１３，α_h ，α_v を記憶するα_h ，α_v 記憶装置１１４，着目ブロックに対する予測残差信号Ｒを記憶するＲ記憶装置１１５，整数（ｉ，ｊ）の対を生成するｉｊループ制御部１１６，ｐ_i,j を出力する二次元線形予測器１１７，Ｐのｉ，ｊ番目の要素にｐ_i,j を記憶するＰ記憶装置１１８，Ｐの符号化ビットストリームが蓄積される符号化ビットストリーム蓄積部１１９を備える。

上記α^modeは，予測モード別予測係数を意味し，α_h ^modeは予測モード別水平方向予測係数を意味し，α_v ^modeは予測モード別垂直方向予測係数を意味している。

H.264 符号化装置１０２は，原画像記憶装置１０１から原画像信号を読み込み，ブロック単位で符号化を行う。符号化最中の「着目ブロック」位置の情報は，逐次ブロック位置制御部１０３に伝達される。逐次ブロック位置制御部１０３は，着目ブロックの隣接周辺ブロック（図１に示すＷ，ＮＷ，Ｎ，ＮＥ）の位置情報を順に発生する。

入力制御部Ｖ１０４は，原画像記憶装置１０１から，逐次ブロック位置制御部１０３に指定された位置の４×４ブロック内の画素値の情報を，（ａ，ｂ）という形の対として順に発生する。

その順番は，式（２）において，
（ａ，ｂ）＝（ｒ_0,0 ，ｒ_0,1 ），（ｒ_0,1 ，ｒ_0,2 ），（ｒ_0,2 ，ｒ_0,3 ），（ｒ_1,0 ，ｒ_1,1 ），（ｒ_1,1 ，ｒ_1,2 ），（ｒ_1,2 ，ｒ_1,3 ），（ｒ_2,0 ，ｒ_2,1 ），（ｒ_2,1 ，ｒ_2,2 ），（ｒ_2,2 ，ｒ_2,3 ），（ｒ_3,0 ，ｒ_3,1 ），（ｒ_3,1 ，ｒ_3,2 ），（ｒ_3,2 ，ｒ_3,3 ）
と，上下に隣り合う画素対をすべて列挙する。

入力制御部Ｈ１０５も同様に，式（２）において，
（ａ，ｂ）＝（ｒ_0,0 ，ｒ_1,0 ），（ｒ_1,0 ，ｒ_2,0 ），（ｒ_2,0 ，ｒ_3,0 ），（ｒ_0,1 ，ｒ_1,1 ），（ｒ_1,1 ，ｒ_2,1 ），（ｒ_2,1 ，ｒ_3,1 ），（ｒ_0,2 ，ｒ_1,2 ），（ｒ_1,2 ，ｒ_2,2 ），（ｒ_2,2 ，ｒ_3,2 ），（ｒ_0,3 ，ｒ_1,3 ），（ｒ_1,3 ，ｒ_2,3 ），（ｒ_2,3 ，ｒ_3,3 ）
と，左右に隣り合う画素対をすべて列挙する。

積加算器１０６は，（ａ，ｂ）を入力とし，積ａｂを求め，全１２対についてのａｂ積総和であるΣａｂを出力する。加算器１０７は，（ａ，ｂ）を入力とし，全１２対についてのａ総和であるΣａと，ｂ総和であるΣｂとを出力する。二乗和加算器１０８は，（ａ，ｂ）を入力とし，積ａ² ，ｂ² を求め，全１２対についてのａ二乗和であるΣａ² と，ｂ二乗和であるΣｂ² とを出力する。

相関係数演算器１０９は，積加算器１０６，加算器１０７，二乗和加算器１０８からの出力から，図示しない加減算器，乗算器，除算器，平方根演算器により，

を出力する。

相関係数記憶装置１１０は，入力制御部Ｖ１０４あるいは入力制御部Ｈ１０５のいずれかの制御により，また，逐次ブロック位置制御部１０３からの制御がＷ，ＮＷ，Ｎ，ＮＥのいずれかにより，σ_h ^W ないしσ_v ^NEを記憶する。

一方，α^mode決定装置１１１は，H.264 符号化装置１０２が決定した符号化モード（ｍｏｄｅ）に応じてα_h ^modeとα_v ^modeを適当に決定し，α_h ^mode，α_v ^mode記憶装置１１２に記憶する。

α_h ，α_v 演算器１１３は，相関係数記憶装置１１０およびα_h ^mode，α_v ^mode記憶装置１１２からのσ_h ^W ないしσ_v ^NE，α_h ^mode，α_v ^modeに基づき，図示しない加算器と除算器を用いて式（１５），式（１６）に従いα_h ，α_v を出力し，α_h ，α_v 記憶装置１１４に記憶する。

一方，H.264 符号化装置１０２は，符号化の過程で，着目ブロック（４×４サイズ）に対する予測残差信号Ｒを生成する。これはＲ記憶装置１１５に記憶される。

ｉｊループ制御部１１６は，整数（ｉ，ｊ）の対（０，０），（０，１），（０，２），（０，３），（１，０），（１，１），（１，２），（１，３），（２，０），（２，１），（２，２），（２，３），（２，０），（３，１），（３，２），（３，３）をこの順に生成する。

二次元線形予測器１１７は，Ｒ記憶装置１１５より４つの画素値（ｒ_i,j ，ｒ_i-1,j ，ｒ_i,j-1 ，ｒ_i-1,j-1 ）を得て，また，α_h ，α_v 記憶装置１１４よりα_h ，α_v を得て，これらの入力を図示しない乗算器，加算器，四捨五入器により，
ｐ_i,j ＝ｒ_i,j −ｆ（α_h ｒ_i-1,j ＋α_v ｒ_i,j-1 ＋α_h α_v ｒ_i-1,j-1 ）
に従いｐ_i,j を求め，これを出力する。Ｐ記憶装置１１８は，このｐ_i,j を入力とし，Ｐのｉ，ｊ番目の要素（ｉｊループ制御部１１６により指定される）にこれを記憶する。

このように得られた４×４の残差変換信号Ｐは，H.264 符号化装置１０２にて，エントロピ符号化され，符号化ビットストリーム蓄積部１１９に蓄積される。上記の処理を，原画像記憶装置１０１からの原画像信号入力が終了するまで繰り返す。

図４は，本発明の実施形態に係る可逆ビデオ復号の処理フローチャートである。復号器では，ステップＳ２０１において，ビットストリームから H.264方式に従い，残差変換信号Ｐを順次エントロピ復号する。また，ビットストリームから得られる符号化モードに応じ，ステップＳ２０２において，水平・垂直の予測係数α_h ^mode，α_v ^modeを定める。

ステップＳ２０３において，復号済みの周辺隣接ブロックにおける相関係数（σ_h ^W 〜σ_v ^NE）を，式（１１），式（１２）に従って求める。次いでステップＳ２０４では，式（１５），式（１６）にならい，水平予測係数α_h ，垂直予測係数α_v を定める。

得られた係数を用い，ステップＳ２０５において，アルゴリズム３あるいはアルゴリズム４により残差変換信号Ｐに逆線形予測を施し，予測残差信号Ｒを得る。この予測残差信号Ｒを用い，ステップＳ２０６において，H.264 準拠の方法で復号画像を生成する。

ステップＳ２０７において，すべてのブロックが復号されたかを判定し，偽である限りステップＳ２０１へ処理を戻し，すべてのブロックが復号されるまで同様に復号処理を繰り返す。

図５は，本発明の実施形態に係る可逆ビデオ復号装置の機能ブロック図の一例を示す図である。可逆ビデオ復号装置２は，原画像信号が記憶される原画像記憶装置２０１，符号化ビットストリームを復号するH.264 復号装置２０２，着目ブロックの隣接周辺ブロックの位置情報を発生する逐次ブロック位置制御部２０３，着目ブロックの隣接周辺ブロックにおける上下に隣り合う画素対（ａ，ｂ）を列挙する入力制御部Ｖ２０４，着目ブロックの隣接周辺ブロックにおける左右に隣り合う画素対（ａ，ｂ）を列挙する入力制御部Ｈ２０５，Σａｂを出力する積加算器２０６，Σａ，Σｂを出力する加算器２０７，Σａ² ，Σｂ² を出力する二乗和加算器２０８，相関係数を出力する相関係数演算器２０９，相関係数を記憶する相関係数記憶装置２１０，α_h ^modeとα_v ^modeを決定するα^mode決定装置２１１，α_h ^modeとα_v ^modeを記憶するα_h ^mode，α_v ^mode記憶装置２１２，α_h ，α_v を出力するα_h ，α_v 演算器２１３，α_h ，α_v を記憶するα_h ，α_v 記憶装置２１４，着目ブロックに対する残差変換信号Ｐを記憶するＰ記憶装置２１５，整数（ｉ，ｊ）の対を生成するｉｊループ制御部２１６，ｒ_i,j を出力する二次元逆線形予測器２１７，ｒ_i,j をＲのｉ，ｊ番目の要素に記憶するＲ記憶装置２１８，符号化ビットストリームが蓄積される符号化ビットストリーム蓄積部２１９を備える。

H.264 復号装置２０２は，符号化ビットストリーム蓄積部２１９からビットストリームを読み込み，ブロック単位で復号を行う。復号最中の「着目ブロック」位置の情報は逐次ブロック位置制御部２０３に伝達される。

逐次ブロック位置制御部２０３は，着目ブロックの隣接周辺ブロック（Ｗ，ＮＷ，Ｎ，ＮＥ）の位置情報を順に発生する。入力制御部Ｖ２０４は，原画像記憶装置２０１から，逐次ブロック位置制御部２０３に指定された位置の４×４ブロック内の画素値の情報を，（ａ，ｂ）という形の対として順に発生する。

その順番は，式（２）において，
（ａ，ｂ）＝（ｒ_0,0 ，ｒ_0,1 ），（ｒ_0,1 ，ｒ_0,2 ），（ｒ_0,2 ，ｒ_0,3 ），（ｒ_1,0 ，ｒ_1,1 ），（ｒ_1,1 ，ｒ_1,2 ），（ｒ_1,2 ，ｒ_1,3 ），（ｒ_2,0 ，ｒ_2,1 ），（ｒ_2,1 ，ｒ_2,2 ），（ｒ_2,2 ，ｒ_2,3 ），（ｒ_3,0 ，ｒ_3,1 ），（ｒ_3,1 ，ｒ_3,2 ），（ｒ_3,2 ，ｒ_3,3 ）
と，上下に隣り合う画素対をすべて列挙する。

入力制御部Ｈ２０５も同様に，式（２）において，
（ａ，ｂ）＝（ｒ_0,0 ，ｒ_1,0 ），（ｒ_1,0 ，ｒ_2,0 ），（ｒ_2,0 ，ｒ_3,0 ），（ｒ_0,1 ，ｒ_1,1 ），（ｒ_1,1 ，ｒ_2,1 ），（ｒ_2,1 ，ｒ_3,1 ），（ｒ_0,2 ，ｒ_1,2 ），（ｒ_1,2 ，ｒ_2,2 ），（ｒ_2,2 ，ｒ_3,2 ），（ｒ_0,3 ，ｒ_1,3 ），（ｒ_1,3 ，ｒ_2,3 ），（ｒ_2,3 ，ｒ_3,3 ）
と，左右に隣り合う画素対をすべて列挙する。

積加算器２０６は，（ａ，ｂ）を入力とし，積ａｂを求め，全１２対についてのａｂ積総和であるΣａｂを出力する。加算器２０７は，（ａ，ｂ）を入力とし，全１２対についてのａ総和であるΣａと，ｂ総和であるΣｂとを出力する。二乗和加算器２０８は，（ａ，ｂ）を入力とし，積ａ² ，ｂ² を求め，全１２対についてのａ二乗和であるΣａ² と，ｂ二乗和であるΣｂ² とを出力する。

相関係数演算器２０９は，積加算器２０６，加算器２０７，二乗和加算器２０８からの出力から，図示しない加減算器，乗算器，除算器，平方根演算器により，

を出力する。

相関係数記憶装置２１０は，入力制御部Ｖ２０４あるいは入力制御部Ｈ２０５のいずれかの制御により，また，逐次ブロック位置制御部２０３からの制御がＷ，ＮＷ，Ｎ，ＮＥのいずれかにより，σ_h ^W ないしσ_v ^NEを記憶する。

α^mode決定装置２１１は，H.264 復号装置２０２が決定した符号化モード（ｍｏｄｅ）に応じてα_h ^modeとα_v ^modeを適当に決定し，α_h ^mode，α_v ^mode記憶装置２１２に記憶する。α_h ，α_v 演算器２１３は，相関係数記憶装置２１０，α_h ^mode，α_v ^mode記憶装置２１２からのσ_h ^W ないしσ_v ^NE，α_h ^mode，α_v ^modeに基づき，図示しない加算器と除算器を用いて式（１５），式（１６）に従いα_h ，α_v を出力し，α_h ，α_v 記憶装置２１４に記憶する。

一方，H.264 復号装置２０２は，復号の過程で，着目ブロック（４×４サイズ）に対する残差変換信号Ｐを生成する。これはＰ記憶装置２１５に記憶される。

ｉｊループ制御部２１６は，整数（ｉ，ｊ）の対（０，０），（０，１），（０，２），（０，３），（１，０），（１，１），（１，２），（１，３），（２，０），（２，１），（２，２），（２，３），（２，０），（３，１），（３，２），（３，３）を，この順に生成する。

二次元逆線形予測器２１７は，Ｐ記憶装置２１５よりｐ_i,j を得て，Ｒ記憶装置２１８より３つの画素値（ｒ_i-1,j ，ｒ_i,j-1 ，ｒ_i-1,j-1 ）を得て，また，α_h ，α_v 記憶装置２１４よりα_h ，α_v を得て，これらの入力を図示しない乗算器，加算器，四捨五入器により，
ｒ_i,j ＝ｐ_i,j −ｆ（α_h ｒ_i-1,j ＋α_v ｒ_i,j-1 −α_h α_v ｒ_i-1,j-1 ）
に従いｒ_i,j を求め，これを出力する。Ｒ記憶装置２１８は，このｒ_i,j を入力とし，予測残差信号Ｒのｉ，ｊ番目の要素（ｉｊループ制御部２１６により指定される）にこれを記憶する。

このようにして得られた４×４の予測残差信号Ｒは，H.264 復号装置２０２にて予測信号と加算され，原画像記憶装置２０１の対応位置に蓄積される。上記の処理を，符号化ビットストリーム蓄積部２１９からのビットストリームが尽きるまで繰り返す。

以上の可逆ビデオ符号化および可逆ビデオ復号の処理は，コンピュータとソフトウェアプログラムとによっても実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも，ネットワークを通して提供することも可能である。

以上，実施の形態として，主に第３の発明要素に係る符号化と，その符号化データを復号する発明の具体的な実施の例を説明したが，他の発明についても同様に実施できることは，以上の説明から明らかである。

着目ブロックに隣接した符号化済みブロックを示す図である。 可逆ビデオ符号化の処理フローチャートである。 可逆ビデオ符号化装置の機能ブロック図の一例を示す図である。 可逆ビデオ復号の処理フローチャートである。 可逆ビデオ復号装置の機能ブロック図の一例を示す図である。

符号の説明

１ 可逆ビデオ符号化装置
２ 可逆ビデオ復号装置
１０１，２０１ 原画像記憶装置
１０２ H.264 符号化装置
１０３，２０３ 逐次ブロック位置制御部
１０４，２０４ 入力制御部Ｖ
１０５，２０５ 入力制御部Ｈ
１０６，２０６ 積加算器
１０７，２０７ 加算器
１０８，２０８ 二乗和加算器
１０９，２０９ 相関係数演算器
１１０，２１０ 相関係数記憶装置
１１１，２１１ α^mode決定装置
１１２，２１２ α_h ^mode，α_v ^mode記憶装置
１１３，２１３ α_h ，α_v 演算器
１１４，２１４ α_h ，α_v 記憶装置
１１５，２１８ Ｒ記憶装置
１１６，２１６ ｉｊループ制御部
１１７ 二次元線形予測器
１１８，２１５ Ｐ記憶装置
１１９，２１９ 符号化ビットストリーム蓄積部
２０２ H.264 復号装置
２１７ 二次元逆線形予測器

Claims (8)

1. 動画像の画像信号を可逆符号化する可逆ビデオ符号化装置であって，
   符号化対象画像信号の各ブロックごとに，フレーム内符号化における空間予測あるいはフレーム間符号化における時間予測を施した予測残差信号を算出する手段と，
   符号化済み周囲ブロックにおける予測残差信号の相関係数と，符号化中ブロックの予測モードに応じて定められた予測モード別予測係数とから，符号化中ブロックの線形予測に用いる予測係数を算出し，記憶装置に記憶する手段と，
   前記予測残差信号に対し，前記記憶装置に記憶された予測係数を用いて空間的な線形予測を施すことにより残差変換信号を取得する手段と，
   前記残差変換信号を量子化することなく符号化する手段とを備える
   ことを特徴とする可逆ビデオ符号化装置。
2. 動画像の画像信号を可逆符号化する可逆ビデオ符号化方法であって，
   符号化対象画像信号の各ブロックごとに，フレーム内符号化における空間予測あるいはフレーム間符号化における時間予測を施した予測残差信号を算出するステップと，
   符号化済み周囲ブロックにおける予測残差信号の相関係数と，符号化中ブロックの予測モードに応じて定められた予測モード別予測係数とから，符号化中ブロックの予測係数を算出し，記憶装置に記憶するステップと，
   前記予測残差信号に対し，前記記憶装置に記憶された予測係数を用いて空間的な線形予測を施すことにより残差変換信号を取得するステップと，
   前記残差変換信号を量子化することなく符号化するステップとを有する
   ことを特徴とする可逆ビデオ符号化方法。
3. 請求項１に記載の可逆ビデオ符号化装置を用いて符号化した符号化ストリームを復号する可逆ビデオ復号装置であって，
   符号化ストリームを入力し各ブロックごとに残差変換信号を復号する手段と，
   復号済み周囲ブロックにおける予測残差信号の相関係数と，復号中ブロックの予測モードに応じて定められた予測モード別予測係数とから，復号中ブロックの逆線形予測に用いる予測係数を算出し，記憶装置に記憶する手段と，
   復号された残差変換信号に，前記記憶装置に記憶された予測係数を用いて空間的な逆線形予測を施すことにより符号化時の予測残差信号と同一の信号を得る手段と，
   前記予測残差信号から復号画像を生成する手段とを備える
   ことを特徴とする可逆ビデオ復号装置。
4. 請求項２に記載の可逆ビデオ符号化方法を用いて符号化した符号化ストリームを復号する可逆ビデオ復号方法であって，
   符号化ストリームを入力し各ブロックごとに残差変換信号を復号するステップと，
   復号済み周囲ブロックにおける予測残差信号の相関係数と，復号中ブロックの予測モードに応じて定められた予測モード別予測係数とから，復号中ブロックの逆線形予測に用いる予測係数を算出し，記憶装置に記憶するステップと，
   復号された残差変換信号に，前記記憶装置に記憶された予測係数を用いて空間的な逆線形予測を施すことにより符号化時の予測残差信号と同一の信号を得るステップと，
   前記予測残差信号から復号画像を生成するステップとを有する
   ことを特徴とする可逆ビデオ復号方法。
5. 動画像の画像信号の可逆符号化処理をコンピュータに実行させるための可逆ビデオ符号化プログラムであって，
   前記コンピュータを，
   符号化対象画像信号の各ブロックごとに，フレーム内符号化における空間予測あるいはフレーム間符号化における時間予測を施した予測残差信号を算出する手段と，
   符号化済み周囲ブロックにおける予測残差信号の相関係数と，符号化中ブロックの予測モードに応じて定められた予測モード別予測係数とから，符号化中ブロックの線形予測に用いる予測係数を算出し，記憶装置に記憶する手段と，
   前記予測残差信号に対し，前記記憶装置に記憶された予測係数を用いて空間的な線形予測を施すことにより残差変換信号を取得する手段と，
   前記残差変換信号を量子化することなく符号化する手段，
   として機能させるための可逆ビデオ符号化プログラム。
6. 請求項１に記載の可逆ビデオ符号化装置を用いて符号化した符号化ストリームを復号する可逆復号処理をコンピュータに実行させるための可逆復号プログラムであって，
   前記コンピュータを，
   符号化ストリームを入力し各ブロックごとに残差変換信号を復号する手段と，
   復号済み周囲ブロックにおける予測残差信号の相関係数と，復号中ブロックの予測モードに応じて定められた予測モード別予測係数とから，復号中ブロックの逆線形予測に用いる予測係数を算出し，記憶装置に記憶する手段と，
   復号された残差変換信号に，前記記憶装置に記憶された予測係数を用いて空間的な逆線形予測を施すことにより符号化時の予測残差信号と同一の信号を得る手段と，
   前記予測残差信号から復号画像を生成する手段，
   として機能させるための可逆ビデオ復号プログラム。
7. 動画像の画像信号の可逆符号化処理をコンピュータに実行させるための可逆ビデオ符号化プログラムを記録したコンピュータ読み取り可能な記録媒体であって，
   前記コンピュータを，
   符号化対象画像信号の各ブロックごとに，フレーム内符号化における空間予測あるいはフレーム間符号化における時間予測を施した予測残差信号を算出する手段と，
   符号化済み周囲ブロックにおける予測残差信号の相関係数と，符号化中ブロックの予測モードに応じて定められた予測モード別予測係数とから，符号化中ブロックの線形予測に用いる予測係数を算出し，記憶装置に記憶する手段と，
   前記予測残差信号に対し，前記記憶装置に記憶された予測係数を用いて空間的な線形予測を施すことにより残差変換信号を取得する手段と，
   前記残差変換信号を量子化することなく符号化する手段，
   として機能させるためのプログラムを記録した可逆ビデオ符号化プログラムの記録媒体。
8. 請求項１に記載の可逆ビデオ符号化装置を用いて符号化した符号化ストリームを復号する可逆復号処理をコンピュータに実行させるための可逆復号プログラムを記録したコンピュータ読み取り可能な記録媒体であって，
   前記コンピュータを，
   符号化ストリームを入力し各ブロックごとに残差変換信号を復号する手段と，
   復号済み周囲ブロックにおける予測残差信号の相関係数と，復号中ブロックの予測モードに応じて定められた予測モード別予測係数とから，復号中ブロックの逆線形予測に用いる予測係数を算出し，記憶装置に記憶する手段と，
   復号された残差変換信号に，前記記憶装置に記憶された予測係数を用いて空間的な逆線形予測を施すことにより符号化時の予測残差信号と同一の信号を得る手段と，
   前記予測残差信号から復号画像を生成する手段，
   として機能させるためのプログラムを記録した可逆ビデオ復号プログラムの記録媒体。

Images