JP4331992B2

JP4331992B2 - 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置，それらのプログラムおよびそれらのプログラム記録媒体

Info

Publication number: JP4331992B2
Application number: JP2003289062A
Authority: JP
Inventors: 英明木全; 一人上倉
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2003-08-07
Filing date: 2003-08-07
Publication date: 2009-09-16
Anticipated expiration: 2023-08-07
Also published as: JP2005057674A

Description

本発明は，画像符号化／復号技術に関し，特に，第１の画像と第２の画像との差分情報の一部と第１の画像情報とから第２の画像の近似画像を得ることが可能な画像符号化装置，画像復号装置，画像符号化方法，画像復号方法，それらのプログラムおよびそれらのプログラム記録媒体に関する。

画像を不可逆符号化してベースレイヤ符号化データを作成し，その復号画像と原画像との間の差分情報を符号化して拡張レイヤ符号化データを作成するスケーラブル符号化方法がある。

例えばＭＰＥＧ−４ Simple Scalable符号化ツールでは，原画像を予め設定した符号化レートで不可逆符号化してベースレイヤ符号化データを作成し，その復号画像と原画像の間の差分情報を，フレーム間予測符号化における予測残差として拡張レイヤ符号化データを作成する。

ベースレイヤと拡張レイヤでは，画像情報または予測残差を直交変換の一種である離散コサイン変換（ＤＣＴ）して量子化する手法を採用しており，量子化パラメータを制御することによって目的の符号化レートを実現する。

なお，拡張レイヤの符号化において，差分情報を直交変換せずに直接差分値を符号化する手法が，下記の非特許文献１に記載されている（非特許文献１参照）。
木全，上倉，八島，"画素領域スケーラブル符号化の一検討"，画像電子学会第２０２回研究会，２００３

画像情報のエッジ部分などに見られる高周波成分は，主観品質上で重要である。しかし，このような高周波成分は，直交変換では高符号化効率を得られない。ＭＰＥＧ−４ Simple Scalable等の従来のスケーラブル符号化では，主にベースレイヤで低周波成分を符号化して，拡張レイヤで高周波成分を符号化するが，直交変換を用いた方式では高周波成分を効率よく符号化できないため，拡張レイヤの符号化データ量が多くなる問題がある。

また，上記非特許文献１に記載された方法によれば，高周波成分を符号化する位置を適宜制御することが可能であるため，直交変換を用いる方法よりもエッジ付近の主観品質を向上することが可能である。しかしながら，もともと高周波成分は隣接画素間の相関が低いため，高い符号化効率を得られない問題がある。

本発明は，上記従来技術の問題点を解決し，第１の画像と第２の画像との差分画像情報を符号化／復号して第２の画像を得る際の符号化データ量の軽減を可能とする画像符号化装置，画像復号装置，画像符号化方法，画像復号方法，それらのプログラムおよびそれらのプログラム記録媒体を提供することを目的とする。

以上の課題を解決するため，第１の発明は，符号化時の参照画像として用いられる画像Ａと，符号化対象の画像Ｂがある場合に，画像Ａの画像情報からの，画像Ｂの画像情報の差分を符号化することにより画像Ｂを符号化する画像符号化方法であって，各画素位置における差分情報の絶対値を求め２進数表示によるビット列を作成する差分作成ステップと，差分作成ステップで作成したビット列で，値が１である最上位のビットよりも下位のビットの値をすべて０にするビット切り捨てステップと，ビット切り捨てステップで作成したビット列を，上位レベルから下位レベルまで予め設定されたビット数でもって複数のプレーンに分離し，各プレーンのビット列を抽出するビット抽出ステップと，各プレーンごとに，ビット抽出ステップで抽出したビット列の最上位のビット位置情報を符号化するビット符号化ステップと，ビット符号化ステップで符号化したビット列が正か負かを示す正負情報を符号化する正負符号化ステップと，を実行することを特徴とする。

第２の発明は，符号化時の参照画像として用いられる画像Ａと，符号化対象の画像Ｂがある場合に，画像Ａの画像情報からの，画像Ｂの画像情報の差分を符号化することにより画像Ｂを符号化する画像符号化方法であって，各画素位置における差分情報の絶対値を求め２進数表示によるビット列を作成する差分作成ステップと，差分作成ステップで作成したビット列で，値が１である最上位のビットよりも下位のビットの値をすべて０にするビット切り捨てステップと，ビット切り捨てステップで作成したビット列を，上位レベルから下位レベルまで予め設定されたビット数でもって複数のプレーンに分離し，各プレーンのビット列を抽出するビット抽出ステップと，各プレーンごとに，ビット抽出ステップで抽出したビット列の最上位のビット位置情報と，該ビット列が正か負かを示す正負情報を符号化する正負を含むビット符号化ステップと，を実行することを特徴とする。

第３の発明は，第１または第２の発明の画像符号化方法であって，画像Ｂを分割した領域毎に，ビット抽出ステップとビット符号化ステップを実行することを特徴とする。

第４の発明は，第１〜第３の発明の画像符号化方法であって，ビット符号化ステップにおいて，周囲の画素位置における差分情報の絶対値を使用して算術符号化に用いる確率テーブルを変更し，算術符号化を行うことを特徴とする。

第５の発明は，復号時の参照画像として用いられる画像Ａの画像情報と，第１の発明によって符号化された画像Ｂの符号化データがある場合に，画像Ｂを復号する画像復号方法であって，各プレーンごとに，差分画像情報の符号化データが正か負かを示す正負情報を復号する正負復号ステップと，各プレーンごとに，差分画像情報の符号化データから該プレーンにおける最上位のビット位置情報を復号し，該プレーンにおいて復号により得られたビット位置のビットを１に設定して固定長ビット列を得るビット復号ステップと，ビット復号ステップで得たビット列を，該画素位置の差分絶対値画像における該当するプレーンのビット列位置に設定するビット設定ステップと，該画素位置の差分絶対値画像と正負情報から差分画像情報を作成する差分作成ステップと，予め参照画像メモリに参照画像として蓄積されている画像Ａの画像情報と差分画像情報を加えることにより，画像情報を作成する画像作成ステップと，を実行することを特徴とする。

第６の発明は，復号時の参照画像として用いられる画像Ａの画像情報と，第２の発明によって符号化された画像Ｂの符号化データがある場合に，画像Ｂを復号する画像復号方法であって，各プレーンごとに，差分画像情報の符号化データから該プレーンにおける最上位のビット位置情報を復号し，該プレーンにおいて復号により得られたビット位置のビットを１に設定したビット列と，正か負かを示す正負情報を復号する正負を含むビット復号ステップと，ビット復号ステップで得たビット列を，該画素位置の差分絶対値画像における該当するプレーンのビット列位置に設定するビット設定ステップと，該画素位置の差分絶対値画像と正負情報から差分画像情報を作成する差分作成ステップと，予め参照画像メモリに参照画像として蓄積されている画像Ａの画像情報と差分画像情報を加えることにより，画像情報を作成する画像作成ステップと，を実行することを特徴とする。

第７の発明は，前記第５または第６の発明の画像復号方法であって，差分作成ステップを実行する前に，ビット設定ステップで設定した差分絶対値画像で，値が１である最上位のビットよりも下位のビットの値を，予め定められた値に設定するビット加算ステップを実行することを特徴とする。

第８の発明は，前記第５または第６の発明の画像復号方法であって，差分作成ステップを実行する前に，ビット設定ステップで設定した差分絶対値画像で，値が１である最上位のビットよりも下位のビットの値を，符号化データに含まれる下位ビットの値の計算方法を示すパラメータで指定された値に設定するビット加算ステップを実行することを特徴とする。

第９の発明は，第５〜第８の発明の画像復号方法であって，画像Ｂを分割した領域毎に，ビット設定ステップとビット復号ステップを実行することを特徴とする。

第１０の発明は，第５〜第９の発明の画像復号方法であって，ビット復号ステップにおいて，周囲の画素位置における差分情報の絶対値を使用して算術復号に用いる確率テーブルを変更し，算術復号を行うことを特徴とする。

第１の発明の画像符号化方法と第５の発明または第７の発明の画像復号方法によれば，復号側で画像Ａに対する画像Ｂの差分画像情報の一部と画像Ａの画像情報から画像Ｂに近い画像情報を得ることができるような，画像Ｂの符号化データを作成する際に，差分画像情報を符号化するよりも符号化データ量を軽減することができる。

この発明では，差分画像情報を全て符号化せずに，値が１である最上位のビット以外の情報は全て０に設定して符号化する。したがって，各画素で，値が１となる最上位ビット位置を符号化対象とすることができる。値が１となる最上位ビット位置を，以下では最上位有意ビット位置と呼ぶこととする。

例えば，差分画像情報が８ビットで表現される場合には，各画素で，従来は０〜２５５までの値を表現できる必要があったが，本発明によれば，０〜８まででよく，値を固定長符号化する場合には４ビットでよい。

なお，差分画像情報における最下位ビット位置で１があるかどうかは，差分画像情報における値の変化量は１であり，主観的には顕著な差異ではない。したがって，最下位ビット位置のビット値が０であるか１であるかを区別しなくてもよいものとすれば，本発明で符号化対象となる，値が１となる最上位有意ビット位置は０〜７までを想定すれば十分であり，値を固定長符号化する場合には３ビットでよい。このような差分画像情報を正または負で独立に符号化する。

他方，各画素で，復号側では最上位有意ビット位置以外では値０が復号される。このまま値０を差分画像情報としてもよいし，あるいは予め設定した条件に従って求める値に設定してもよい。例えば最上位有意ビット位置以下の下位ビットをすべて１に設定してもよい。または最上位有意ビット位置以下の下位ビットをすべて１に設定した場合の値の２分の１の値に設定してもよい。

さらに本発明では，差分が大きい画素位置と，差分が小さい画素位置とを分離して符号化してもよい。本発明によれば，差分画像情報を符号化する回数は各画素で１回のみとなるため，符号化対象ではない画素位置は値０を設定すれば，差分の大小によって分離するプレーン数だけの２値または多値の矩形画像情報を構成することができる。これを符号化対象とすればよい。

例えば，差分情報の絶対値が１０進数表現で１００である場合には，２進数表現で０１１００１００であるが，最上位有意ビット位置以外を０にすると，０１００００００となる。これを４ビットずつ分割して２プレーンに分離する場合には，０１００，００００となるため，２プレーンある５値（０〜４）の画像情報として符号化することができる。

各プレーンにおける値は最上位有意ビット位置を示す。上位レベルのプレーン０１００は大きな差分の変化を表しているため，より低周波成分を表していることに相当する。そのため例えば復号側で上位レベルのプレーンのみ復号するだけでも，主観的には，比較的原画像に近い画像を得ることができる。

分割するプレーンの数や各プレーンのビット深度（階調）は予め設定しておけば任意に設定することができる。動画像の場合にはフレーム毎にプレーン数やプレーンのビット深度を変更してもよい。差分画像情報を１プレーンで符号化する場合には，プレーンのビット深度は画像情報のビット深度と同じになる。

なお，プレーン毎にビット深度（階調）を変えてもよい。例えば，８ビットの画像情報を上位レベルから４ビット，２ビット，１ビット，１ビットの４プレーンで構成してもよい。

本発明では，画像Ａと画像Ｂの画像サイズが異なっていてもよい。画像Ａが画像Ｂよりも小さい場合には，画像Ａの画像情報をアップサンプリングして画像Ｂと同じ画像サイズにしてから差分情報を作成する。逆に画像Ａが画像Ｂよりも大きい場合には，画像Ａの画像情報をダウンサンプリングして画像Ｂと同じ画像サイズにしてから差分情報を作成する。

例えば，ＹＣｒＣｂ色空間を使った符号化において，Ｃｒ成分とＣｂ成分の画像サイズをＹ成分の画像サイズの半分にして符号化する方法がある。この方法によって符号化された画像に対して，Ｃｒ成分とＣｂ成分をアップサンプリングして本発明の符号化方法を適用すれば，Ｃｒ成分とＣｂ成分の画像サイズがＹ成分の画像サイズに等しい画像を得る符号化データを作成することができる。

本発明では，画像Ａと画像Ｂの画像情報のビット深度（階調）が異なっていてもよい。画像Ａのビット深度が画像Ｂのビット深度と異なる場合には，画像Ａの画像情報を画像Ｂと同じビット深度に変換してから差分情報を作成する。

例えば，ＹＣｒＣｂ色空間やＲＧＢ色空間において各色コンポーネントを８ビットで表現した画像情報に対して，各色コンポーネントを１０ビットや１２ビットで表現した画像情報を得るような符号化データを作成することができる。

本発明における各プレーン中の２値または多値の符号化方法としては，ロスレスであればどのような符号化方法を使ってもよい。例えば，２値符号化方法としてはＪＢＩＧやＪＢＩＧ２，多値の符号化方法としてはＪＰＥＧ−ＬＳが挙げられる。また特に，多値の場合には，ロスレスの直交変換やサブバンド分割方法を使用してもよい。この符号化方法は，プレーン毎に選択しても好適である。

第２の発明の画像符号化方法と第６の発明または第８の発明の画像復号方法によれば，差分画像の絶対値における最上位有意ビット位置と正負情報をまとめて符号化または復号することができる。差分は正または負または０の値となるため，絶対値がＮビットあるとすると，各画素位置において，
・正の最上位有意ビット位置が１からＮまでのいずれか，
・あるいは負の最上位有意ビット位置が１からＮまでのいずれか，
・あるいは正と負の最上位有意ビット位置が共に０かの，
いずれかとなる。

各画素位置では，これら合計（２Ｎ＋１）種類の状態のうち，いずれかの状態となる。これら（２Ｎ＋１）種類の状態に対して，（２Ｎ＋１）個の番号（以後，正負ビット位置と呼ぶ）を関連付けして，これを符号化対象としてもよい。正負ビット位置として，例えば絶対値が８ビットの場合には，正の最上位有意ビット位置が１から７までのいずれかの場合にそれぞれ８から１５までの番号を関連付けし，負の最上位有意ビット位置が１から７までのいずれかの場合にそれぞれ６から０までの番号を関連付けし，正と負の最上位有意ビット位置が共に０の場合に７の番号を関連付ければよい。

また，この方法は，絶対値がＮビットあるうちの，上位Ｍビット分だけに適用してもよい。また，
・正の最上位有意ビット位置が１からＭ１までのいずれか，
・あるいは負の最上位有意ビット位置が１からＭ２までのいずれか，
・あるいは正と負の最上位有意ビット位置が共に０かの，
のように，正と負とで異なる最上位有意ビット位置の範囲に対して適用してもよい。

この方法によれば，最上位有意ビット位置の情報と正負情報とをまとめて符号化できるため，符号化効率をさらに向上することができる。

第３の発明の画像符号化方法と第９の発明の画像復号方法によれば，画面を分割した領域毎に，差分画像情報を符号化することができる。領域としてはマクロブロックのような矩形のブロックも好適であるし，任意形状の領域も好適である。

これにより特定領域のみ高周波成分を符号化して主観品質を向上することや，すべての領域の高周波成分を符号化しておき，伝送レートに合わせて高品質化する領域を選択し，選択された領域のみ復号側で復号して主観品質を向上することができる。特に任意形状の場合には，特定の画像オブジェクトやエッジ周辺部分のみ高周波成分を符号化することができる。

領域の指定方法は，領域分割情報を２値符号化等で明示的に指定してもよい。復号側でエッジを抽出して領域分割してもよい。ただし，この場合にはエッジ抽出用のパラメータも符号化する必要がある。

あるいは単純に領域外を非有意な値とみなして画面全体を符号化してもよい。例えば領域Ｘと領域Ｙの２つの領域からなる画面があった場合に，領域Ｘを有意な値，領域Ｙを非有意な値（例えば０）とした画面全体と，領域Ｘを非有意な値（例えば０），領域Ｙを有意な値とした画面全体について，それぞれ符号化する。この場合には，同じ領域に対して同じレベルのプレーンが複数存在することになる。分割するプレーンの数や各プレーンのビット深度（階調）を領域毎に変更してもよい。

第４の発明の画像符号化方法と第１０の発明の画像復号方法によれば，プレーンに分割された２値または多値の情報を符号化する際に，周囲の画素位置の情報を使って確率テーブルを変更しながら，算術符号化を適用することができる。これより，単純に各値を算術符号化するよりも，似た領域毎に適応的に算術符号化を適用することができるため，符号化効率を向上することができる。

本発明によれば，復号側で画像Ａに対する画像Ｂの差分画像情報の一部と画像Ａの画像情報から画像Ｂに近い画像情報を得ることができるような，画像Ｂの符号化データを作成する際に，差分画像情報の最上位有意ビット位置を符号化対象とすることができ，差分画像情報を符号化するよりも符号化データ量を軽減することができる。

また差分画像情報を複数のプレーンに分離して符号化することも可能であり，これにより復号側で復号する符号化データ量を判断することができ，高周波成分を徐々に復号するような制御をすることも可能である。

図面を用いて本発明の実施の形態を説明する。８ビットで表現された縦３２０横２４０画素の画像Ａと，１０ビットで表現された縦６４０横４８０の画像Ｂとの差分情報を符号化する方法を示す。復号側では画像Ａと符号化データから画像Ｂの近似画像を得る方法を示す。差分情報は２ビット毎にプレーン化して符号化するものとする。

まず画像符号化装置の説明を行う。図１に装置概要を示す。画像符号化装置１は，符号化対象画像の画像Ｂを入力する画像Ｂ入力部１０２と，参照画像の画像Ａを入力する画像Ａ入力部１０１と，画像Ａと画像Ｂの差分画像情報を作成する差分作成部１０３と，各画素位置における差分情報の絶対値の最上位有意ビット位置以外の値を０にするビット切り捨て部１０７と，ビット切り捨て部１０７で作成した値を，差分が正と負とで別々に蓄積する差分蓄積メモリ１０４と，値を上位から２ビット毎にビットを抽出するビット抽出部１０５と，ビット抽出部１０５で抽出された２ビットを符号化するビット符号化部１０６と，正負情報を符号化する正負符号化部１０８とを備える。

差分作成部１０３では，差分画像情報を作成するにあたり，画像Ａの画像情報を８ビットから１０ビットへ，また画像サイズを２倍に拡大する。まず画像サイズを２倍に拡大した後で，階調を増やす。

２倍に拡大するには隣接画素間の線形補間を使用する。線形補間の模式図を図２に示す。“＞＞１”は右へ１ビットシフトすることを表す。また階調を増やすには式（１）に従って行うものとする。Ｉは画像Ａの画像情報を示し，Ｏは１０ビットに変更された値を示
す。

Ｏ＝Ｉ×４ ……式（１）
差分作成部１０３は，このようにして画像Ａを１０ビットで縦６４０横４８０の画像サイズとした後で画像Ｂとの差分を計算する。また差分蓄積メモリ１０４には，差分が正の値用と負の値用のメモリを用意しておき，ビット切り捨て部１０７は，負の値用のメモリに，差分が正の値の画素位置では値０を蓄積し，正の値用のメモリに，差分が負の値の画素位置では値０を蓄積する。

ビット符号化部１０６は，左上の画素からラスタスキャン方向で，２ビットを符号化するものとする。２ビットの値としては最上位有意ビット位置を符号化対象とする。２進数表現で００，０１，１０のいずれかを取りうるので，この値をグレー符号化して，ＪＢＩＧ方式のグレースケール符号化を使用して符号化する。

また正負符号化部１０８は，ビット符号化部１０６が正の値用の画像情報を符号化する場合には，正負情報に値０を設定し，ビット符号化部１０６が負の値用の画像情報を符号化する場合には，正負情報に値１を設定して，正負情報を各プレーンで１ビット固定長符号化する。

このような前提で画像Ｂの画像情報を次のように符号化する。まず画像Ａ入力部１０１と画像Ｂ入力部１０２はそれぞれ画像を入力する。差分作成部１０３はこれらの画像情報から差分画像情報を作成する。

ビット切り捨て部１０７は，差分情報の絶対値の，最上位有意ビット位置以外の値を０にし，差分が正の値の場合には正の値用の差分蓄積メモリ１０４に蓄積し，差分が負の値の場合には負の値用の差分蓄積メモリ１０４に蓄積する。またビット切り捨て部１０７は，負の値用のメモリに，差分が正の値の画素位置では値０を蓄積し，正の値用のメモリに，差分が負の値の画素位置では値０を蓄積する。

続いて正の値用の差分蓄積メモリ１０４に蓄積された差分情報に関して，上位レベルの２ビットから下位レベルへ，プレーン毎に次のようにして符号化する。まず正負符号化部１０８がプレーンが正の値用の符号化データであることを示す正負情報を符号化する。

次に最上位レベルの第１プレーンを左上の画素から次のように符号化する。該画素位置の差分情報に対して，ビット抽出部１０５はプレーンに含まれる２ビットを抽出する。ビット符号化部１０６は２ビットの値を符号化する。この操作を右下の画素位置を符号化するまで繰り返す。

続いて次の上位レベルとなる第２プレーンについて，左上の画素から上記と同様な手順に従って符号化する。１０ビットの画像情報を２ビットのプレーンで符号化するので，最大５プレーン符号化することができる。

正の値用の差分蓄積メモリ１０４に蓄積された差分情報を全て符号化した後，負の値用の差分蓄積メモリ１０４に蓄積された差分情報を，上記と同様にして符号化する。

次に復号装置の説明を行う。図３に装置概要を示す。画像復号装置２は，復号対象プレーンの正負情報を復号する正負復号部２０７と，復号対象プレーンの符号化データから２ビット固定長ビット列を復号するビット復号部２０１と，ビット復号部２０１で得た２ビットを差分絶対値画像の適切なビットに設定するビット設定部２０２と，画像Ａの画像情報を蓄積する参照画像メモリ２０５と，差分絶対値画像と正負情報から差分画像情報を作成する差分作成部２０６と，差分画像情報を，差分が正と負とで別々に蓄積する差分蓄積メモリ２０３と，画像Ａの画像情報と差分画像情報を加えることにより，画像Ｂの画像情報を作成する画像作成部２０４を備える。

画像作成部２０４では，復号画像を作成するにあたり，画像Ａの画像情報を８ビットから１０ビットへ，また画像サイズを２倍に拡大する。まず画像サイズを２倍に拡大した後で，階調を増やす。

２倍に拡大するには隣接画素間の線形補間を使用する。線形補間の模式図を図２に示す。また階調を増やすには上述した式（１）に従って行うものとする。ビット復号部は，ＪＢＩＧ方式のグレースケール復号を用いて符号化データを復号して，グレー復号して２進数表現で００，０１，１０を復号し，得られた値を最上位有意ビット位置にする。

このような前提で符号化データを次のように復号する。まず正負復号部２０７がプレーンの正負情報を復号する。次に上位プレーンから下位プレーンへ，各プレーンを次のように復号する。左上の画素について，ビット復号部２０１は差分画像情報の符号化データから２ビットの値を復号する。

ビット設定部２０２は，復号した値を差分絶対値画像に設定する。差分作成部２０６は，差分絶対値画像を正負情報に従って差分蓄積メモリ２０３の正の値用のメモリまたは負の値用のメモリに蓄積する。

以上の操作を右下の画素位置を復号するまで繰り返す。続いて次の上位レベルとなる第２プレーンについて，左上の画素から上記と同様な手順に従って復号する。以上の処理を画像復号装置２に入力されるプレーン数に対して行う。

全プレーンを復号した後で，画像作成部２０４は，参照画像メモリ２０５に蓄積された画像Ａの画像情報と，差分蓄積メモリ２０３に蓄積された差分画像情報とから復号画像を作成する。

本実施の形態では全プレーンを復号したが，途中のプレーンまでで，各プレーンから差分画像情報を作成する手順を終了し，復号画像を作成してもよい。また正の値または負の値のいずれかの符号化データのみ復号してもよい。

本実施の形態では１０ビットの差分画像情報を正負それぞれ５プレーンで合計１０プレーンで符号化したが，正負それぞれ１プレーンで合計２プレーンで符号化してもよい。各プレーンのビット数は２ビットに限らない。

また特定の領域のみ符号化／復号する，あるいは復号する領域を選択できるようにすることも可能である。この場合には，特定の領域以外の画素位置の差分情報を値０に設定して，領域毎に別々のプレーンとして符号化／復号する。

また最上位有意ビット位置以下の下位ビットの値を，予め設定した条件に従って求めるようにしてもよい。例えば最上位有意ビット位置以下の下位ビットをすべて１に設定してもよい。または最上位有意ビット位置以下の下位ビットをすべて１に設定した場合の値の，２分の１の値に設定してもよい。

またこの条件をプレーンによって変更してもよい。例えば，最上位有意ビット位置が最上位プレーンに含まれる場合に，最上位有意ビット位置以下の下位ビットをすべて１に設定した場合の値の，２分の１の値に設定し，最上位有意ビット位置が最上位プレーンに含まれない場合に，下位ビットをすべて０に設定してもよい。

このようにプレーン毎に最上位有意ビット位置以下の，下位ビットの値の計算方法（ビット再生情報と呼ぶ）をパラメータで指定するのも好適である。このビット再生情報をパラメータで指定する場合の画像符号化装置の構成図を図４に，画像復号装置の構成図を図５に示す。

画像符号化装置３は，図１に示す画像符号化装置１の構成に加えて，ビット再生情報を符号化するビット再生情報符号化部３０１を備え，画像復号装置４は，図３に示す画像復号装置２の構成に加えて，ビット再生情報を復号するビット再生情報復号部４０２と，ビット設定部２０２で設定する差分絶対値画像で最上位有意ビット位置以下の，下位ビットの値を変更するビット加算部４０１とを備える。

例えば，図４に示す画像符号化装置３のビット再生情報符号化部３０１が，プレーン毎に最上位有意ビット位置以下の，下位ビットの値の計算方法を示すビット再生情報を符号化する。

また，図５に示す画像復号装置４のビット再生情報復号部４０２がビット再生情報を復号し，ビット加算部４０１が，ビット設定部２０２で設定する差分絶対値画像で最上位有意ビット位置以下の，下位ビットの値を変更し，差分作成部２０６が，差分絶対値画像を正負情報に従って差分蓄積メモリ２０３の正の値用のメモリまたは負の値用のメモリに蓄積する。

図１に示す画像符号化装置１および図３に示す画像符号化装置３では，ビット抽出部１０５により抽出したビット列を，ビット符号化部１０６で符号化し，そのビット列が正か負かを示す正負情報を正負符号化部１０８で符号化したが，ビット抽出部１０５により抽出したビット列とその正負情報とをまとめて符号化する実施も可能である。

この場合に，図３に示す画像復号装置２および図５に示す画像復号装置４では，正負復号部２０７が正負情報を復号する代わりに，ビット復号部２０１が，ビット列と共にその正負情報を復号することになる。

以上の画像符号化および画像復号の処理は，コンピュータとソフトウェアプログラムとによって実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも，ネットワークを通して提供することも可能である。

第１の画像と第２の画像との差分情報の一部と第１の画像情報とから第２の画像の近似画像を得るという用途に適用できる。

画像符号化装置の構成例を示す図である。線形補間の例を示す図である。画像復号装置の構成例を示す図である。画像符号化装置の構成例を示す図である。画像復号装置の構成例を示す図である。

符号の説明

１，３画像符号化装置
２，４画像復号装置
１０１画像Ａ入力部
１０２画像Ｂ入力部
１０３差分作成部
１０４差分蓄積メモリ
１０５ビット抽出部
１０６ビット符号化部
１０７ビット切り捨て部
１０８正負符号化部
２０１ビット復号部
２０２ビット設定部
２０３差分蓄積メモリ
２０４画像作成部
２０５参照画像メモリ
２０６差分作成部

Claims

符号化時の参照画像として用いられる第１の画像の画像情報からの，第２の画像の画像情報の差分を符号化することにより，前記第２の画像を符号化する画像符号化方法であって，
前記第１の画像と前記第２の画像の各画素位置における差分情報の絶対値を求め２進数表示によるビット列を作成する差分作成ステップと，
前記差分作成ステップで作成したビット列で，値が１である最上位のビットよりも下位のビットの値をすべて０にするビット切り捨てステップと，
前記ビット切り捨てステップで作成したビット列を，上位レベルから下位レベルまで予め設定されたビット数でもって複数のプレーンに分離し，各プレーンのビット列を抽出するビット抽出ステップと，
前記各プレーンごとに，前記ビット抽出ステップで抽出したビット列の最上位のビット位置情報を符号化するビット符号化ステップと，
前記ビット符号化ステップで符号化したビット列が正か負かを示す正負情報を符号化する正負符号化ステップと，
を実行することを特徴とする画像符号化方法。
符号化時の参照画像として用いられる第１の画像の画像情報からの，第２の画像の画像情報の差分を符号化することにより，前記第２の画像を符号化する画像符号化方法であって，
前記第１の画像と前記第２の画像の各画素位置における差分情報の絶対値を求め２進数表示によるビット列を作成する差分作成ステップと，
前記差分作成ステップで作成したビット列で，値が１である最上位のビットよりも下位のビットの値をすべて０にするビット切り捨てステップと，
前記ビット切り捨てステップで作成したビット列を，上位レベルから下位レベルまで予め設定されたビット数でもって複数のプレーンに分離し，各プレーンのビット列を抽出するビット抽出ステップと，
前記各プレーンごとに，前記ビット抽出ステップで抽出したビット列の最上位のビット位置情報と，該ビット列が正か負かを示す正負情報とを符号化する正負を含むビット符号化ステップと，
を実行することを特徴とする画像符号化方法。
請求項１または請求項２に記載の画像符号化方法において，
前記第２の画像を分割した領域毎に，前記ビット抽出ステップと前記ビット符号化ステップとを実行する
ことを特徴とする画像符号化方法。
請求項１，請求項２または請求項３に記載の画像符号化方法において，
前記ビット符号化ステップにおいて，周囲の画素位置における差分情報の絶対値を使用して算術符号化に用いる確率テーブルを変更し，算術符号化を行う
ことを特徴とする画像符号化方法。
請求項１記載の画像符号化方法によって符号化された，前記第１の画像の画像情報との差分に基づく第２の画像の符号化データを入力し，前記第２の画像を復号する画像復号方法であって，
前記各プレーンごとに，前記差分に基づく第２の画像の符号化データが正か負かを示す正負情報を復号する正負復号ステップと，
前記各プレーンごとに，前記差分に基づく第２の画像の符号化データから該プレーンにおける最上位のビット位置情報を復号し，該プレーンにおいて復号により得られたビット位置のビットを１に設定したビット列を得るビット復号ステップと，
前記ビット復号ステップで得たビット列を，該画素位置の差分絶対値画像における該当するプレーンのビット列位置に設定するビット設定ステップと，
該画素位置の差分絶対値画像と正負情報とから差分画像情報を作成する差分作成ステップと，
予め参照画像として用いる前記第１の画像の画像情報を蓄積する参照画像メモリに蓄積されている第１の画像の画像情報と前記作成された差分画像情報とを加えることにより，前記第２の画像の画像情報を作成する画像作成ステップと，
を実行することを特徴とする画像復号方法。
請求項２記載の画像符号化方法によって符号化された，前記第１の画像の画像情報との差分に基づく第２の画像の符号化データを入力し，前記第２の画像を復号する画像復号方法であって，
前記各プレーンごとに，前記差分に基づく第２の画像の符号化データから該プレーンにおける最上位のビット位置情報を復号し，該プレーンにおいて復号により得られたビット位置のビットを１に設定したビット列と，正か負かを示す正負情報を復号する正負を含むビット復号ステップと，
前記正負を含む前記ビット復号ステップで得たビット列を，該画素位置の差分絶対値画像における該当するプレーンのビット列位置に設定するビット設定ステップと，
該画素位置の差分絶対値画像と正負情報とから差分画像情報を作成する差分作成ステップと，
予め参照画像として用いる前記第１の画像の画像情報を蓄積する参照画像メモリに蓄積されている第１の画像の画像情報と前記作成された差分画像情報とを加えることにより，前記第２の画像の画像情報を作成する画像作成ステップと，
を実行することを特徴とする画像復号方法。
請求項５または請求項６記載の画像復号方法において，
前記差分作成ステップを実行する前に，前記ビット設定ステップで設定した差分絶対値画像で，値が１である最上位のビットよりも下位のビットの値を，予め定められた値に設定するビット加算ステップ
を実行することを特徴とする画像復号方法。
請求項５または請求項６記載の画像復号方法において，
前記差分作成ステップを実行する前に，前記ビット設定ステップで設定した差分絶対値画像で，値が１である最上位のビットよりも下位のビットの値を，符号化データに含まれる下位ビットの値の計算方法を示すパラメータで指定された値に設定するビット加算ステップ
を実行することを特徴とする画像復号方法。
請求項５，請求項６，請求項７または請求項８に記載の画像復号方法において，
前記第２の画像を分割した領域毎に，前記ビット設定ステップと前記ビット復号ステップとを実行する
ことを特徴とする画像復号方法。
請求項５，請求項６，請求項７，請求項８または請求項９に記載の画像復号方法において，
前記ビット復号ステップにおいて，周囲の画素位置における差分情報の絶対値を使用して算術復号に用いる確率テーブルを変更し，算術復号を行う
ことを特徴とする画像復号方法。
符号化時の参照画像として用いられる第１の画像の画像情報からの，第２の画像の画像情報の差分を符号化することにより，前記第２の画像を符号化する画像符号化装置であって，
各画素位置における差分情報の絶対値を求め２進数表示によるビット列を作成する差分作成部と，
前記差分作成部で作成したビット列で，値が１である最上位のビットよりも下位のビットの値をすべて０にするビット切り捨て部と，
前記ビット切り捨て部で作成したビット列を，上位レベルから下位レベルまで予め設定されたビット数でもって複数のプレーンに分離し，各プレーンのビット列を抽出するビット抽出部と，
前記各プレーンごとに，前記ビット抽出部で抽出したビット列の最上位のビット位置情報を符号化するビット符号化部と，
前記ビット符号化部で符号化したビット列が正か負かを示す正負情報を符号化する正負符号化部と，
を備えることを特徴とする画像符号化装置。
符号化時の参照画像として用いられる第１の画像の画像情報からの，第２の画像の画像情報の差分を符号化することにより，前記第２の画像を符号化する画像符号化装置であって，
各画素位置における差分情報の絶対値を求め２進数表示によるビット列を作成する差分作成部と，
前記差分作成部で作成したビット列で，値が１である最上位のビットよりも下位のビットの値をすべて０にするビット切り捨て部と，
前記ビット切り捨て部で作成したビット列を，上位レベルから下位レベルまで予め設定されたビット数でもって複数のプレーンに分離し，各プレーンのビット列を抽出するビット抽出部と，
前記各プレーンごとに，前記ビット抽出部で抽出したビット列の最上位のビット位置情報と，該ビット列が正か負かを示す正負情報とを符号化する正負を含むビット符号化部と，
を備えることを特徴とする画像符号化装置。
請求項１１記載の画像符号化装置によって符号化された，前記第１の画像の画像情報との差分に基づく第２の画像の符号化データを入力し，前記第２の画像を復号する画像復号装置であって，
予め参照画像として用いる前記第１の画像の画像情報を蓄積する参照画像メモリと，
前記各プレーンごとに，前記差分に基づく第２の画像の符号化データが正か負かを示す正負情報を復号する正負復号部と，
前記各プレーンごとに，前記差分に基づく第２の画像の符号化データから該プレーンにおける最上位のビット位置情報を復号し，該プレーンにおいて復号により得られたビット位置のビットを１に設定したビット列を得るビット復号部と，
前記ビット復号部で得たビット列を，該画素位置の差分絶対値画像における該当するプレーンのビット列位置に設定するビット設定部と，
該画素位置の差分絶対値画像と正負情報とから差分画像情報を作成する差分作成部と，
前記参照画像メモリに蓄積されている第１の画像の画像情報と前記作成された差分画像情報とを加えることにより，前記第２の画像の画像情報を作成する画像作成部と，
を備えることを特徴とする画像復号装置。
請求項１２記載の画像符号化装置によって符号化された，前記第１の画像の画像情報との差分に基づく第２の画像の符号化データを入力し，前記第２の画像を復号する画像復号装置であって，
予め参照画像として用いる前記第１の画像の画像情報を蓄積する参照画像メモリと，
前記各プレーンごとに，前記差分に基づく第２の画像の符号化データから該プレーンにおける最上位のビット位置情報を復号し，該プレーンにおいて復号により得られたビット位置のビットを１に設定したビット列と，正か負かを示す正負情報を復号する正負を含むビット復号部と，
前記正負を含む前記ビット復号部で得たビット列を，該画素位置の差分絶対値画像における該当するプレーンのビット列位置に設定するビット設定部と，
該画素位置の差分絶対値画像と正負情報とから差分画像情報を作成する差分作成部と，
前記参照画像メモリに蓄積されている第１の画像の画像情報と前記作成された差分画像情報とを加えることにより，前記第２の画像の画像情報を作成する画像作成部と，
を備えることを特徴とする画像復号装置。
請求項１３または請求項１４記載の画像復号装置において，
前記差分作成部による処理を実行する前に，前記ビット設定部で設定した差分絶対値画像で，値が１である最上位のビットよりも下位のビットの値を，予め定められた値に設定するビット加算部
を備えることを特徴とする画像復号装置。
請求項１３または請求項１４記載の画像復号装置において，
前記差分作成部を実行する前に，前記ビット設定部で設定した差分絶対値画像で，値が１である最上位のビットよりも下位のビットの値を，符号化データに含まれる下位ビットの値の計算方法を示すパラメータで指定された値に設定するビット加算部
を備えることを特徴とする画像復号装置。
請求項１から請求項４までのいずれか１項に記載の画像符号化方法をコンピュータに実行させるための画像符号化プログラム。
請求項５から請求項１０までのいずれか１項に記載の画像復号方法をコンピュータに実行させるための画像復号プログラム。
請求項１から請求項４までのいずれか１項に記載の画像符号化方法をコンピュータに実行させるためのプログラムを記録した画像符号化プログラム記録媒体。
請求項５から請求項１０までのいずれか１項に記載の画像復号方法をコンピュータに実行させるためのプログラムを記録した画像復号プログラム記録媒体。