JP2011171938A - 画像符号化方法、画像符号化装置、画像復号化方法、画像復号化装置、固体撮像素子、ディジタル信号処理素子、ディジタルスチルカメラ及び監視カメラ - Google Patents

Abstract

【課題】より符号化効率が向上された適応型算術符号化による画像符号化方法を提供する。
【解決手段】符号化対象画素の予測値を生成する予測画素生成ステップＳ１０２と、符号化対象画素の画素データと予測値とから予測誤差情報を生成する変化抽出ステップＳ１０３と、予測誤差情報を、ビットごとに、適応的に変化する予測確率を用いて算術符号化をする算術符号化ステップＳ１０５と、算術符号化されたビットが第１の値である場合に当該第１の値の算術符号化に用いられる予測確率を下げ、算術符号化されたビットが第１の値でない場合に当該第１の値の算術符号化に用いられる予測確率を上げるように、予測確率を更新する予測確率更新ステップＳ１０６（Ｓ２０１〜Ｓ２０３）とを含む。
【選択図】図２

Description

本発明は、画像符号化・復号化方法とその装置に関し、特に、ディジタルスチルカメラやネットワークカメラ等のように画像を扱う装置における、画像圧縮によるデータ転送の高速化やメモリの使用量削減を目的とした画像符号化・復号化方法とその装置に関するものである。

近年、ディジタルスチルカメラやディジタルビデオカメラなどの撮像装置に用いられる撮像素子の高画素化に伴い、撮像装置に搭載される集積回路が処理する画像データ量が増大している。多くの画像データを扱うには、集積回路内のデータ転送のバス幅を確保するために、動作周波数の高速化、メモリの大容量化等が考えられるが、これらはコストアップに直接繋がってしまう。

そこで、近年、画像信号に含まれる冗長な信号成分を除去することによって、画像データ量を低減するための様々な処理技術が提案されている。なお、このような画像データ量を低減するための処理を画像の高能率符号化、あるいは単に画像符号化という。また、この技術は、データ圧縮符号化、冗長度抑圧符号化、ビットレート低減符号化などと呼ばれることもある。

最も代表的な符号化方法の１つとして算術符号化がある。これは発生頻度（つまり、出現頻度）の高い出力レベルには短い符号を、発生頻度の低い出力レベルには長い符号を割り当てる。これによって出力符号の平均符号長を短くできる。

以下、算術符号化（より具体的には、レンジ・コーダと呼ばれる算術符号化）について説明する。

算術符号化では、０〜１の数直線を、符号化するデータ（事象）の発生頻度で分割することによって、符号化するデータを発生頻度（具体的には、発生確率）に置き換える。例えば、図２３に示すように入力値“１１００１…”を符号化する場合には、各ビットを順に、“１”の出る予測確率Ｐ（０≦Ｐ≦１）と“０”の出る予測確率Ｑ（Ｑ＝１−Ｐ）とによる発生頻度に置き換えていくことで、これを図２４に示す原点Ｃと幅Ａとで特定される数直線上の分割比率（つまり、数直線上の区間）で表す。具体的には、数直線上に２つの変数Ｃ（原点）とＡ（幅）をもたせ、まず、Ｃ＝０、Ａ＝１図２４と初期化する。次に、最初のビットを検査し、そのビットが、値“１”であるときは、原点Ｃを変えずに数直線の分割を行い、新たに図２４の分割（１）が示す予測確率Ｐの大きさに数直線の幅Ａを更新する。具体的には、予測確率Ｐに対応する符号“１”がきた場合には、数直線の幅Ａを予測確率Ｐ（分割（１）が示す予測確率Ｐの区間）に変更し、原点Ｃはそのままとして変更しない。続いて、予測確率Ｑに対応する符号“０”がきた場合には、図２４原点Ｃの位置を予測確率Ｐ（分割（２）が示す予測確率Ｐの区間）だけ右に動かして幅Ａを分割（２）における予測確率Ｑの区間に変える。

上述した方法に従って図２３に示す入力値“１１００１…”を構成するビットに対して連続的に符号化（つまり、原点Ｃの位置をそのままにして幅Ａだけを狭めるか、原点Ｃを移動させて幅Ａを狭めるかの処理を）していくと、原点Ｃが０〜１の数直線のある点に収束する。これにより、元の入力値は、収束した原点Ｃの位置（あるいは、原点の位置Ｃと幅Ａ）で表現することができる。係る符号化を算術符号化という。

従って、予測確率Ｐに対応する符号“１”がきた場合には、数直線が分割されるが原点Ｃの位置は変化せず、よって、予測確率Ｐに対応する符号“１”が続く限り、数直線を分割していく（つまり、幅Ａが変化していく）だけで原点Ｃの位置は変わらない。すなわち、予測確率Ｐに対応する符号（ビット値）が多い程、数直線の分割が進んでいったとしても、原点Ｃを表現するために必要な算術符号の桁は増えない（予測確率Ｑに対応する符号“０”がきたときだけ原点の位置が動く）。

一方、算術符号の復号化処理は、図２５に示す通りである。まず、符号化のときと同様に、０から１までの数直線を用意する。いま、復号化の対象となる値（符号化された値「符号化値」）は、図２５における一点鎖線で示される位置とする。符号化された値が前記数直線上の予測確率Ｐの範囲にあれば“１”と復号化する。引き続き、符号化時と同様に、幅Ａ（ここでは、図２５の１番目の数直線における予測確率Ｐの区間）をさらに予測確率Ｐと予測確率Ｑ（図２５の２番目の数直線における予測確率Ｐの区間と予測確率Ｑの区間）に分割し、前記符号化された値がどちらの範囲に属するかで復号化すべき符号を“０”か“１”かに判定する。ここでは、符号化された値が図２５の２番目の数直線における予測確率Ｐの区間に属するので、“１”と復号化する。これを繰り返すことにより復号化がなされる。

ここで、上述した算術符号化には、次のような欠点がある。つまり、上記“１”の出る予測確率Ｐ、“０”の出る予測確率Ｑを求めるために発生頻度を事前に知る必要がある。このために、算術符号化をする前に符号化対象のデータ全てを読み込む必要がある。

このような算術符号化の欠点を解消するものとして適応型算術符号化がある。これは、０から１までの数直線上を符号化するデータの予測確率で分割することでは上述した算術符号化と同様であるが、予測確率ＰおよびＱを、予め全部のデータを読み込み予測確率を算出しておくのではない。具体的には、適応型算術符号化では、最初は発生頻度がどちらか分からないから予測確率Ｐ及びＱをそれぞれ０．５と仮に設定し、符号が入力されるに従ってこの予測確率を適応的に変化させる。

例えば、予測確率Ｐ＝０．５と仮定した場合、入ってくる符号に“１”が多いときは予測確率Ｐを０．５よりも大きくなる方向に変化させる。また、逆に“０”が多くなってきたときは予測確率を下げていき、予測確率Ｐを０．５よりも小さく（Ｐ＜０．５）する。このように適応的に予測確率を変化させることで、予め全データを読み込むことでの予測確率の事前の決定を必要としなくなる。

このような適応型算術符号化を利用して画像データを圧縮する技術として、様々な技術が提案されている（例えば、特許文献１参照）。特許文献１の技術は、上記従来技術を用いて、画像データの圧縮処理を撮像素子から入力される画素信号（ＲＡＷデータ）に対しても適用することで、撮像素子の多画素化が進み信号処理の負荷が増大する場合でも、メモリへの書き込みおよび読み出しの際に必要なバス帯域を削減し、高速操作を可能にすることを目的としている。また、圧縮対象画素値と予測値との予測誤差を排他的論理和により抽出して、これを圧縮対象の情報とすることにおいて、圧縮効率を高めるために適応型算術符号化を用いた可変長符号化方式を採用している。その実装方法については、符号化対象画素とその周囲複数画素の値から予測される予測値に基づいて予測誤差を算出し、この予測誤差を所定の変数に変えることで算術符号の分割比率が適応的に変化する算術符号化によって符号化されるが、この際、周囲複数画素が特定パターンであるときには算術符号化における分割比率を制御せず、固定された分割比率を用いて符号化を行っている。

特許第３１２７５１３号公報

しかし、このような従来の適応型算術符号化を用いた符号化方法は、画像データ固有の発生頻度の偏りを考慮しておらず、そのために、効率的な符号化を行えておらず、圧縮効率が悪いという問題がある。

ここで、画像データにおける固有の発生頻度の偏りとは、符号化対象の画素とその近接画素との相関性が高いことから、それらの差である予測誤差はビットプレーン上でＭＳＢ（Ｍｏｓｔ Ｓｉｇｎｉｆｉｃａｎｔ Ｂｉｔ）側程“０”が発生する頻度が高く、ＬＳＢ（Ｌｅａｓｔ Ｓｉｇｎｉｆｉｃａｎｔ Ｂｉｔ）側程“１”が発生する頻度が高くなることである。上記従来の技術はこれを考慮していないがために、ＭＳＢからＬＳＢの方向に符号化をする場合に、符号化開始時には“０”が頻繁に入力されるために、符号化が繰り返されるにつれ、“０”の発生頻度がどんどん高くなる。しかし、符号化処理を進めるにつれ、ＬＳＢ側にいく程“１”の発生頻度が高いために、更新した発生頻度と符号化対象のデータにおける発生頻度の乖離が生じる。その結果、“１”を符号化する際には長い符号量が出力されることとなり、最終的に出力される符号量が多くなってしまうという問題がある。

本発明は、上記の問題を鑑みたものであり、より符号化効率が向上された適応型算術符号化による画像符号化方法等を提供することを目的とする。

上記の問題を解決するため、本発明に係る画像符号化方法の一態様は、画像データを構成する画素データを圧縮する画像符号化方法であって、符号化対象画素の周辺に位置する少なくとも１個の画素の画素データから、当該符号化対象画素の予測値を生成する予測画素生成ステップと、前記符号化対象画素の画素データと前記予測値とのビット変化を抽出することによって当該ビット変化を示す予測誤差情報を生成する変化抽出ステップと、前記変化抽出ステップにより生成された予測誤差情報を、当該予測誤差情報を構成するビットごとに、適応的に変化する予測確率を用いて算術符号化をする算術符号化ステップと、前記算術符号化ステップで符号化されたビットが第１の値である場合に当該第１の値の算術符号化に用いられる予測確率を下げ、前記算術符号化ステップで符号化されたビットが第１の値でない場合に当該第１の値の算術符号化に用いられる予測確率を上げるように、前記予測確率を更新する予測確率更新ステップとを含み、前記算術符号化ステップでは、前記予測誤差情報を構成するビットごとに、前記予測確率更新ステップで更新された予測確率を用いて前記算術符号化を行う。

これにより、予測確率を用いたビットごとの算術符号化において、発生した事象（算術符号化の対象となるビットの値）に対する予測確率を下げる方向に予測確率を更新していく。よって、算術符号化の対象となる予測誤差情報がＭＳＢからＬＳＢにいく従って“０”の発生頻度が高い状態から“１”の発生頻度が高い状態に遷移すること等の状態の反転に対応した予測確率の更新が行われることとなり、これによって、画像データにおけるビットの発生頻度の偏りを考慮した予測確率の適応的な更新が行われ、画像データの符号化効率が向上される。

なお、本発明は、このような画像符号化方法として実現できるだけでなく、画像符号化方法に対応する画像復号化方法として実現したり、それらの方法を構成するステップを電子回路として備えるＬＳＩ等の装置として実現したり、それらの方法を構成するステップをコンピュータに実行させるプログラムとして実現したり、そのプログラムを記録したコンピュータ読み取り可能なＣＤ−ＲＯＭ等の記録媒体として実現することもできる。

本発明によれば、画像データにおける発生頻度の偏りが考慮された適応型算術符号化が行われるので、画像データの符号化効率が向上される。

よって、本発明により、ディジタルカメラ等で得られた画像データがより小さなサイズに圧縮されてメモリに格納されるので、特に、ディジタルカメラが普及してきた今日における本発明の実用的意義は極めて高い。

本発明の実施の形態１における画像符号化装置および画像復号化装置の構成を示すブロック図 （ａ）及び（ｂ）は、それぞれ、画像符号化装置および画像復号化装置における画像符号処理および復号化処理を示すフローチャート 算術符号化における予測確率の更新方法を示すフローチャート 予測画素生成部における予測式を説明する図 算術符号化部に入力される予測誤差情報の入力順番を説明する図 算術符号化部に入力される予測誤差情報の入力順番を説明する図 算術符号化に用いる予測確率の更新を説明する図 算術符号化対象の入力値（具体例）を示す図 （ａ）及び（ｂ）は、実施の形態１において算術符号化される予測誤差情報の入力順序（具体例）を示す図 実施の形態１における算術符号化に用いる予測確率の更新（具体例）を示す図 符号化処理結果（具体例）を示す図 算術符号化を説明するための数式を示す図 本実施の形態における算術符号化の具体例を説明するための図 従来手法における算術符号化の具体例を説明するための図 符号化処理結果（具体例）を示す図 （ａ）及び（ｂ）は、それぞれ、本発明の実施の形態２における画像符号化装置および画像復号化装置の固定長符号化におけるフローチャート （ａ）及び（ｂ）は、実施の形態２において算術符号化される予測誤差情報の入力順序を示す図 （ａ）〜（ｄ）は、実施の形態２において算術符号化される予測誤差情報の入力順序を示す図 本発明の実施の形態３におけるディジタルスチルカメラの構成を示すブロック図 本発明の実施の形態４におけるディジタルスチルカメラの構成を示すブロック図 実施の形態５における監視カメラの構成を示すブロック図 実施の形態６における監視カメラの構成を示すブロック図 従来の算術符号化を説明するための入力値及び予測確率を示す図 従来の算術符号化を説明するための図 従来の算術復号化を説明するための図 従来手法における算術符号化に用いる予測確率の更新を示す図

以下、本発明の実施の形態について図面を参照しながら説明する。なお、以下の各実施の形態や各変形例の説明において、一度説明した構成要素と同様の機能を有する構成要素については、同一の符号を付して説明を省略する。

≪実施の形態１≫
図１は、本発明の実施の形態１における画像符号化装置３００及び画像復号化装置３１０の構成を示すブロック図である。図２（ａ）及び図２（ｂ）は、それぞれ、本発明の実施の形態１における画像符号化方法および画像復号化方法の手順を示すフローチャートである。図３は、図２（ａ）及び図２（ｂ）に示される算術符号化および算術復号化に用いる予測確率の更新（図２（ａ）のステップＳ１０６及び図２（ｂ）のＳ１１５）の詳細を示すフローチャートである。

画像符号化装置３００は、図１に示されるように、画像データを構成する画素データをＭ個の画素（以下、「Ｍ画素」ともいう。）単位で圧縮する装置であって、処理対象画素値入力部３０１、変化抽出部３０２、予測画素生成部３０３、算術符号化部３０４、予測確率更新部３０５及びパッキング部３０６を備える。

処理対象画素値入力部３０１は、符号化対象画素の画素データを受け取り、受け取った画素データが初期画素値データである場合には、その初期画素値データをパッキング部３０６に出力し、受け取った画素データが初期画素値データでない場合には、その画素データを変化抽出部３０２と予測画素生成部３０３に出力する処理部である。なお、初期画素値データとは、圧縮（つまり、算術符号化）の単位となるＭ個の画素における先頭画素の画素データである。

予測画素生成部３０３は、符号化対象画素の周辺に位置する少なくとも１個の画素の画素データから、予め定められた予測手順に従って、当該符号化対象画素の予測値を生成し、変化抽出部３０２に出力する処理部である。

変化抽出部３０２は、処理対象画素値入力部３０１から送られてくる符号化対象画素の画素データと、予測画素生成部３０３から送られてくる当該符号化対象画素の予測値とのビット変化を抽出することによって当該ビット変化を示す予測誤差情報を生成し、算術符号化部３０４に出力する処理部である。

算術符号化部３０４は、変化抽出部から送られてくる予測誤差情報を、当該予測誤差情報を構成するビットごとに、適応的に変化する予測確率を用いて算術符号化をする処理部であり、その算術符号化においては、予測誤差情報を構成するビットごとに、予測確率更新部３０５で更新された予測確率を用いて算術符号化を行う。

予測確率更新部３０５は、算術符号化部３０４で符号化されたビットが第１の値（“１”）である場合に当該第１の値の算術符号化に用いられる予測確率Ｐを予め定められたα分だけ下げ（つまり、第２の値（“０”）の算術符号化に用いられる予測確率Ｑを予め定められたα分だけ上げ）、一方、算術符号化部３０４で符号化されたビットが第１の値でない場合に当該第１の値の算術符号化に用いられる予測確率を上げる（つまり、第２の値（“０”）の算術符号化に用いられる予測確率Ｑを予め定められたα分だけ下げる）ように、予測確率Ｐ及びＱを更新する処理部である。

つまり、この予測確率更新部３０５は、予測確率を用いたビットごとの算術符号化において、発生した事象（算術符号化の対象となるビットの値）に対する予測確率を下げる方向に予測確率を更新していく。これは、算術符号化の対象となる予測誤差情報がＭＳＢからＬＳＢにいく従って“０”の発生頻度が高い状態から“１”の発生頻度が高い状態に遷移すること等の状態の反転に対応した予測確率の更新を行うためである。

パッキング部３０６は、処理対象画素値入力部３０１から送られてくる少なくとも１画素以上の初期画素値データと、算術符号化部３０４から送られてくる少なくとも１ビット以上の算術符号とに対して、それらを結合させるというパッキングを行い、符号化データとして、画像符号化装置３００の外部に出力する出力部である。

一方、画像復号化装置３１０は、図１に示されるように、画像符号化装置３００によって得られた算術符号から画素データを復号化する装置であって、アンパッキング部３１１、算術復号化部３１２、予測確率更新部３１３、変化抽出部３１４、予測画素生成部３１５及び出力部３１６を備える。

アンパッキング部３１１は、外部から、算術復号化の対象となる符号化データを受け取り、受け取った符号化データが初期画素値データである場合には、その初期画素値データを出力部３１６に出力し、受け取ったデータが初期画素値データでない（算術符号である）場合には、そのデータを算術復号化部３１２に出力する処理部である。

算術復号化部３１２は、アンパッキング部３１１から送られてくる算術符号に対して、その算術符号を構成するビットごとに、適応的に変化する予測確率を用いて算術復号化をすることによって予測誤差情報を生成し、変化抽出部３１４、予測確率更新部３１３及び予測画素生成部３１５に出力する処理部であり、その算術復号化においては、その算術符号を構成するビットごとに、予測確率更新部３１３で更新された予測確率を用いて算術復号化を行う。

予測確率更新部３１３は、画像符号化装置３００が備える予測確率更新部３０５と同一の機能を有し、算術復号化部３１２で復号化されたビットが第１の値（“１”）である場合に当該第１の値の算術復号化に用いられる予測確率Ｐを予め定められたα分だけ下げ（つまり、第２の値（“０”）の算術復号化に用いられる予測確率Ｑを予め定められたα分だけ上げ）、一方、算術復号化部３１２で復号化されたビットが第１の値でない場合に当該第１の値の算術復号化に用いられる予測確率を上げる（つまり、第２の値（“０”）の算術復号化に用いられる予測確率Ｑを予め定められたα分だけ下げる）ように、予測確率Ｐ及びＱを更新する処理部である。

予測画素生成部３１５は、出力部３１６から送られてくる初期画素値データ、又は、既に復号された画素値データを用いて、画像符号化装置３００の予測画素生成部３０３と同じ処理ロジックで、変化抽出部３１４での処理対象となっている画素（つまり、復号化対象画素）の予測値を生成する処理部である。

変化抽出部３１４は、算術復号化部３１２で生成された予測誤差情報と予測画素生成部３１５で生成された予測値とに対して予め定められた演算（ここでは、排他的論理和）を行うことで、復号化対象画素の画素データを生成する処理部である。

出力部３１６は、アンパッキング部３１１から送られてくる初期画素値データ、及び、変化抽出部３１４で復元された画素データを、復号後の画素データとして、外部及び予測画素生成部３１５に出力する処理部である。

なお、本実施の形態における画像符号化装置３００及び画像復号化装置３１０の全てまたは一部は、ＬＳＩ（Large Scale Integration）などのハードウェアで実現されてもよいし、ＣＰＵ（Central Processing Unit）等により実行されるプログラムによって実現されてもよい。このことは以下の実施の形態でも同様である。

まず、図２から図６を参照し、本発明に係る画像符号化装置３００が行う画像を符号化するための処理（以下、画像符号化処理という）について説明する。図２（ａ）は、画像符号化処理のフローチャートである。符号化対象となるＭ画素は、処理対象画素値入力部３０１に入力される。本実施の形態において、各画素データはＮビット長のディジタルデータとする。また、パッキング部３０６は、少なくとも１画素以上の初期画素値データと、複数の画素データに対応した算術符号とを、パッキングすることにより、Ｍ画素に対応する符号化データ（パッキングデータ）として、画像符号化装置３００から出力する。ここで、自然数Ｍ、Ｎは、予め決められているものとする。処理対象画素値入力部３０１に入力された画素データは、適切なタイミングで予測画素生成部３０３へ出力される。ただし、着目している符号化対象画素が、初期画素値データとして入力された場合（図２（ａ）：ステップＳ１０１でＹＥＳ）は、直接、パッキング部３０６に入力される。

着目している符号化対象画素が、初期画素データでない場合（図２（ａ）：ステップＳ１０１でＮＯ）は、画素データは、予測画素生成部３０３へ入力される。予測画素生成部３０３に入力される画素データは、着目している符号化対象画素よりも先に入力された、初期画素値データ、または、以前の符号化対象画素、または、先に符号化され、復号化された画素データのいずれかである。予測画素生成部３０３は、入力された画素データを用いて、着目している画素データの予測値を生成する（図２（ａ）：ステップＳ１０２）。

ここで、この画像符号化装置３００は、画素データに対する符号化方法として、予測符号化を採用している。予測符号化とは、符号化対象画素に対する予測値を生成し、符号化対象画素と予測値の差分値を符号化する方式である。予測値については、画素データの場合、近接する画素の値が同一である、又は、近い可能性が高いということに基づき、近傍の画素データから、着目している符号化対象画素の値を予測することで、変化量をできるだけ小さく抑えるというものである。図４は、予測値の算出に用いられる近接する画素の配置を示す説明図である。図中“ｘ”は注目画素の画素値を示す。“ａ”、“ｂ”および“ｃ”は、注目画素の予測値“ｙ”を求めるための近接画素の画素値である。以下に、予測値の算出のために一般的に用いられる予測式（１）〜（７）を以下に示す。

ｙ＝ａ…（１）
ｙ＝ｂ…（２）
ｙ＝ｃ…（３）
ｙ＝ａ＋ｂ−ｃ…（４）
ｙ＝ａ＋（ｂ−ｃ）／２…（５）
ｙ＝ｂ＋（ａ−ｃ）／２…（６）
ｙ＝（ａ＋ｂ）／２…（７）

この画像符号化装置３００は、このように注目画素の近接画素の画素値“ａ”、“ｂ”および“ｃ”を用いて注目画素の予測値“ｙ”を求め、この予測値“ｙ”と符号化対象画素“ｘ”との予測誤差Δ（＝ｙ−ｘ）を求め、この予測誤差Δを符号化する。そのために、予測画素生成部３０３では、前記した予測符号化で用いられる予測式（１）〜（７）のいずれかの予測式を用いて予測値を算出する。なお、前記した予測式（１）〜（７）に限らず、圧縮処理における内部のメモリバッファが確保できる場合は、着目画素に隣接している画素以外の周辺画素もメモリバッファに保持しておき、予測に使用することで予測精度を向上することも可能である。本実施の形態においては、ステップＳ１０２において、予測式（１）を使用する。

変化抽出部３０２は、Ｎビットで表現された符号化対象画素の画素データと予測値との排他的論理和演算を行い、Ｎビット長の予測誤差情報Ｅを算出して、算術符号化部３０４および予測確率更新部３０５へ出力する（図２（ａ）：ステップＳ１０３）。ここで、この予測誤差情報Ｅの算出については、Ｍ画素について繰り返す（図２（ａ）：ステップＳ１０４）。

算術符号化部３０４は、入力されたＭ画素分の予測誤差情報Ｅについて算術符号化を行う（図２（ａ）：ステップＳ１０５）。ここで、算術符号化における処理順序の一例を図５および図６に示す。図５は、Ｍ画素分の予測誤差情報Ｅに対して、全ての予測誤差情報Ｅの桁を横断的にスキャンするように、それらのＭＳＢからＬＳＢに向けて、順次符号化処理を実施する場合の処理順序を示している。つまり、図５に順序では、まず予測誤差情報Ｅ₁の最上位ビットを符号化し、次に予測誤差情報Ｅ₂の最上位ビットを符号化し、さらに予測誤差情報Ｅ₃の最上位ビットを符号化し、・・のように全ての予測誤差情報の最上位ビットの符号化を終えると、次に、予測誤差情報Ｅ₁の最上位から２番目のビットを符号化し、さらに予測誤差情報Ｅ₂の最上位から２番目のビットを符号化するというように、ＭＳＢを優先に符号化処理を行う。一方、図６は、予測誤差情報Ｅの入力に合わせて（予測誤差情報Ｅごとに）順次符号化処理を実施する場合の処理順序を示している。つまり、図６に示される順序では、注目する画素の予測誤差情報のＭＳＢからＬＳＢの順番に符号化処理を行い、引き続き次に注目する別の画素の予測誤差情報のＭＳＢからＬＳＢの順番に符号化処理を行っていく。

予測確率更新部３０５は、変化抽出部３０２から入力された予測誤差情報Ｅを判別して、予測確率を更新する（図２（ａ）：ステップＳ１０６）。具体的には、この予測確率更新部３０５は、入力された情報が“１”の場合（図３：ステップＳ２０１でＹＥＳ）は、“０”の予測確率Ｑをα分上げ、一方、“１”の予測確率Ｐをα分下げるという予測確率の更新を行う（図３：ステップＳ２０２）。また、入力された情報が“０”の場合（図３：ステップＳ２０１でＮＯ）は、“０”の予測確率Ｑをα分下げ、一方、“１”の予測確率Ｐをα分上げるという予測確率の更新を行う（図３：ステップＳ２０３）。

このような予測確率の更新について図７を用いて詳細に説明する。“１”の発生する頻度をＰ（０≦Ｐ≦１の実数）、“０”の発生する頻度をＱ（＝１−Ｐ）として、符号化を開始する前の基準値をＰ＝Ｐbase（０＜Ｐbase＜１の実数）、Ｑ＝１−Ｐとする。“１”が符号化された場合（図３：ステップＳ２０１でＹＥＳ）は、“１”の予測確率Ｐを下げるように予測確率Ｐをα（０＜α＜１の実数）だけ減算する（図３：ステップＳ２０２）。一方、“０”が符号化された場合（図３：ステップＳ２０１でＮＯ）は、“１”の予測確率Ｐを上げるように予測確率Ｐをα（０＜α＜１の実数）だけ加算する（図３：ステップＳ２０３）。また、更新された予測確率ＰがＰの最大値であるＰmax（0≦Ｐmax≦１かつＰbase＜Ｐmax）に達した場合は、予測確率Ｐを最大値であるＰmaxに更新する。また、予測確率Ｐの最小値であるＰmin（０≦Ｐmin≦１かつＰbase＞Ｐmin）に達した場合については、予測確率Ｐを最小値であるＰminに更新する。

パッキング部３０６は、少なくとも１画素以上の初期画素値データと少なくとも１ビット以上の算術符号を結合させるというパッキングをし、パッキング後の符号化データ（つまり、パッキングデータ）をＳＤＲＡＭなどのメモリまたはシステムＬＳＩ等の画像符号化装置３００の外部に出力する。

次に、図１と図２（ｂ）を参照し、本発明に係る画像復号化装置３１０が行う画像を復号化するための処理（以下、画像復号化処理という）について説明する。図２（ｂ）は、画像復号化処理のフローチャートである。復号化対象のデータは画像符号化装置３００から入力される符号化データ（つまり、パッキングデータ）である。前記パッキングデータは、アンパッキング部３１１により、少なくとも初期画素値データと少なくとも１ビット以上の算術符号に分離される（図２（ｂ）：ステップＳ１１１）。

アンパッキング部３１１で分離された情報は、それが初期画素値データである場合（図２（ｂ）：ステップＳ１１２でＹＥＳ）は、出力部３１６へ出力され（図２（ｂ）：ステップＳ１１３）、一方、アンパッキング部３１１で分離された情報が算術符号である場合（図２（ｂ）：ステップＳ１１２でＮＯ）は、算術復号化部３１２へ出力される。

算術復号化部３１２は、アンパッキング部３１１から送られてくる、算術符号化された符号（つまり、算術符号）を復号することにより、予測誤差情報を復元する（図２（ｂ）：ステップＳ１１４）。算術復号化部３１２で復号された結果は予測確率更新部３１３および変化抽出部３１４へ出力される。

予測確率更新部３１３は、算術復号化部３１２から入力される復号結果により、ビット単位で、予測確率の更新を行なう（図２（ｂ）：ステップＳ１１５）。なお、この予測確率更新部３１３での処理は、画像符号化装置３００が備える予測確率更新部３０５の処理と重複するため、詳細な説明はしない。ここで、予測確率の基準値Ｐbase、更新ステップα、Ｐの最大値ＰmaxおよびＰの最小値Ｐminについては、符号化処理で用いた値と同じものを用いる。

予測画素生成部３１５は、着目している復号化対象画素よりも先に入力された、初期画素値データ、または、以前に復号化された画素データを用いて、画像符号化装置３００の予測画素生成部３０３と同じ処理ロジックで、着目している画素データの予測値を生成する（図２（ｂ）：ステップＳ１１６）。

変化抽出部３１４は、算術復号化部３１２から送られてくるＮビットで表現された復号された予測誤差情報Ｅと予測画素生成部３１５から入力されるＮビットの予測値との排他的論理和演算を行うことで画素データを復元する（図２（ｂ）：ステップＳ１１７）。復元された画素データは出力部３１６へ出力される。

出力部３１６は、復元された画素データをＳＤＲＡＭなどのメモリやシステムＬＳＩ等の画像復号化装置３１０の外部へ出力する。

次に、具体的なデータ例を用いて、本実施の形態における画像符号化処理の詳細な説明を行う。

図８から図１５および図２６は、本実施の形態における画像符号化処理の具体例を説明するための図である。

ここで、処理対象画素値入力部３０１は、固定ビット幅（Ｎビット）のデータの画素データを、順次、受信するとする。また、処理対象画素値入力部３０１が受信する画素データのデータ量は４画素（Ｍ＝４）であり、各画素は６ビット（Ｎ＝６）であるとする。すなわち、画素データのダイナミックレンジは６ビットであるとする。

図８には、一例として、処理対象画素値入力部３０１に入力される４つの画素データが示される。処理対象画素値入力部３０１には、画素Ｐ８０１、画素Ｐ８０２、画素Ｐ８０３、画素Ｐ８０４の順で、各画素に対応する６ビットの画素データが入力されるとする。画素データの数値は、対応する画素データが示す信号レベル（例えば、輝度情報）である。なお、画素Ｐ８０１に対応する画素データは、初期画素値データであるとする。

本実施の形態では、符号化対象画素の予測値は、一例として、上述した予測式（１）により算出されるものとする。この場合、算出される符号化対象画素の予測値は、符号化対象画素の左隣の画素の値となる。すなわち、符号化対象画素の画素値は、一つ前に入力された画素と同一の画素値（レベル）になる可能性が高いと予測していることになる。

図２（ａ）に示される画像符号化処理のステップＳ１０１では、処理対象画素値入力部３０１が、入力された画素データが初期画素値データであるか否かを判定する。その判定の結果がＹＥＳならば、処理対象画素値入力部３０１は、受信した画素データを内部のバッファに記憶させ、入力された画素データをパッキング部３０６へ送信する。そして、処理は後述するステップＳ１０８に移行する。一方、ステップＳ１０１における判定の結果がＮＯならば、処理はステップＳ１０２に移行する。

ここで、処理対象画素値入力部３０１は、画素Ｐ８０１に対応する、初期画素値データとしての画素データを受信したとする。この場合、処理対象画素値入力部３０１は、入力された画素データを内部のバッファに記憶させ、処理対象画素値入力部３０１は、受信した画素データをパッキング部３０６へ送信する。なお、バッファに画素データが記憶されている場合、処理対象画素値入力部３０１は、受信した画素データを内部のバッファに上書き記憶させる。

続いて、画素Ｐ８０２が符号化対象画素であるとする。この場合、処理対象画素値入力部３０１は、画素Ｐ８０２に対応する画素データ（符号化対象画素データ）を受信したとする。符号化対象画素データが示す画素値は“３６”である（図８参照）。この場合、受信した画素データは初期画素値データでないので（ステップＳ１０１でＮＯ）、処理対象画素値入力部３０１は、受信した画素データを変化抽出部３０２へ送信する。

また、ステップＳ１０１でＮＯと判定した場合、処理対象画素値入力部３０１は、内部のバッファに記憶している画素データを予測画素生成部３０３へ送信する。ここで、送信される画素データは、画素Ｐ８０１の画素値“４３”である（図８参照）。

処理対象画素値入力部３０１は、受信した画素データを内部のバッファに上書き記憶させる。処理は、ステップＳ１０２に移行する。

ステップＳ１０２では、予測画素生成部３０３は、符号化対象画素の予測値を算出する。具体的には、予測画素生成部３０３は、予測式（１）を使用して、予測値を算出する。この場合、予測画素生成部３０３が処理対象画素値入力部３０１から受信した画素データが示す画素値（“４３”）が予測値として算出される。

ステップＳ１０３では、変化抽出部３０２は、排他的論理和演算処理を行う。具体的には、変化抽出部３０２は、処理対象画素値入力部３０１から入力される画素データと予測画素生成部３０３から入力される予測値との排他的論理和を演算することで、予測誤差情報Ｅを算出する。ここで、受信した画素データが“１００１００”であり、予測値が“１０１０１１”であるとする。変化抽出部３０２は、画素データ（“１００１００”）と予測値（“１０１０１１”）との排他的論理和を演算することにより、予測誤差情報Ｅ“００１１１１”を算出する。変化抽出部３０２は、この処理を符号化対象の４画素について行い、３つの予測誤差情報を算術符号化部３０４および予測確率更新部３０５へ送信する（ステップＳ１０４）。

ステップＳ１０５では、算術符号化部３０４は、算術符号化を行う。具体的には、算術符号化部３０４は、予測誤差情報Ｅについて、ビット単位で順次算術符号化を行う。図９（ａ）及び（ｂ）を用いて、算術符号化される予測誤差情報の順番について説明する。いま、図９（ａ）に示されるように、算術符号化される対象の予測誤差情報ＥはＥ１、Ｅ２、Ｅ３の３つである。算術符号化部３０４は、各予測誤差情報のＭＳＢからＬＳＢの方向へ同位ビット優先で算術符号化する。ここで、予測誤差情報が、Ｅ１（“００１１１１”）、Ｅ２（“００１１０１”）、Ｅ３（“０００１０１”）であることから、算術符号化部３０４は、図９（ｂ）に示されるように、入力順序：“０、０、０、０、０、０、１、１、０・・・”の順番に符号化を行なう。

ステップＳ１０６では、予測確率更新部３０５は、算術符号化に用いられる予測確率の更新を行う。具体的には、ステップＳ１０５において算術符号化された情報を入力として、予測確率更新部３０５は、算術符号化に用いる予測確率の更新を行う。図１０を用いて、予測確率の更新について説明する。“１”に対応する予測確率を０．５（Ｐbase＝０．５）、“０”予測確率を０．５（Ｑ＝１−０．５）とする初期値として、“予測確率Ｐの最大値を０．９（Ｐmax＝０．９）、予測確率Ｐの最小値を０．１（Ｐmin＝０．１）とする。また、更新ステップを０．１（α＝０．１）とする。ここで、“０”が算術符号化された場合は、予測確率更新部３０５は、予測確率Ｐ＝０．５と予測確率Ｑ＝０．５から“０”の予測確率を下げるように予測確率Ｑをα分下げて（つまり、予測確率Ｐをα分上げて）、予測確率Ｐ＝０．６と予測確率Ｑ＝０．４へ更新する。続いて“０”が算術符号化された場合は、予測確率更新部３０５は、先と同様にして予測確率Ｐ＝０．７、予測確率Ｑ＝０．３へ更新する。例えば、予測確率Ｐ＝０．９、予測確率Ｑ＝０．１の状態において、“１”が算術符号化された場合は、予測確率Ｐ＝０．８、予測確率Ｑ＝０．２へ更新される。この処理を入力されるビット長（Ｍ画素×Ｎビット長）について繰り返す。また、新たに３つの予測誤差情報Ｅ１、Ｅ２、Ｅ３が入力された場合は、予測確率Ｐ＝０．５、予測確率Ｑ＝０．５として同じ処理を行う。なお、“１”が算術符号化された場合に、予測確率Ｐをβ（０＜β＜１の実数）倍することで予測確率を下げる、としてもよい。

ここで、図２６を用いて、従来手法における予測確率の更新について説明する。予測確率の初期値、最大値、最小値、更新ステップは前記と同様として、Ｐbase＝０．５、Ｐmax＝０．９、Ｐmin＝０．１、α＝０．１とする。“０”が算術符号化された場合は、予測確率Ｐ＝０．５と予測確率Ｑ＝０．５から“０”の予測確率を上げるようにＱの予測確率をα分上げて（つまり、予測確率Ｐをα分下げて）、予測確率Ｐ＝０．４と予測確率Ｑ＝０．６へ更新する。続いて“０”が算術符号化された場合は、予測確率Ｐ＝０．３、予測確率Ｑ＝０．７へ更新する。例えば、予測確率Ｐ＝０．１、予測確率Ｑ＝０．９の状態において、“１”が算術符号化された場合は、予測確率Ｐ＝０．２、予測確率Ｑ＝０．８へ更新される。この処理を入力されるビット長（Ｍ画素×Ｎビット長）について繰り返す。このように、従来手法は、本実施の形態における予測確率更新部３０５と異なり、発生した事象の予測確率を上げる方向に、予測確率を更新する。

ステップＳ１０７では、算術符号化部３０４は、算術符号化するＭ画素について処理が終了したか否かを判定する。ステップＳ１０７において、ＮＯならば、処理はステップＳ１０５に移行し、算術符号化部３０４による算術符号化が行われる。ステップＳ１０７において、ＹＥＳならば、処理はＳ１０８に移行する。

ステップＳ１０８では、パッキング部３０６は、複数の算術符号をまとめて１つの出力データを生成するパッキング処理を行なう。パッキング処理では、パッキング部３０６は、処理対象画素値入力部３０１から受信した初期画素値データとして画素Ｐ８０１をバッファメモリに格納して、その後は順次、算術符号化部３０４から受信した符号を前記バッファメモリに格納していくことによってパッキング処理を行う。符号化対象画素のパッキング処理が終了するとステップＳ１０９に移行する。

ステップＳ１０９では、パッキング部３０６は、パッキングする単位であるＭ画素についての画像符号化処理が終了したか否かを判定する。ステップＳ１０９において、ＮＯならば、処理はステップＳ１０１に移行し、次に処理対象画素値入力部３０１が受信した画素データに対してステップＳ１０１からステップＳ１０８までの少なくとも一つの処理が実行される。画素Ｐ８０３および画素Ｐ８０４に対して、ステップＳ１０１からステップＳ１０８までの処理が繰り返し行われ、順次、バッファメモリに格納されていく。一方、ステップＳ１０９において、ＹＥＳならば、パッキング部３０６は、バッファメモリ内の符号化データを画像符号化装置３００から外部に出力する。これにより、処理はステップＳ１１０に移行する。

ステップＳ１１０では、画像符号化装置３００は、いま出力した符号化画素データで、１画像についての符号化処理が全て終了したかを判別し、ＹＥＳであれば、符号化処理を終了し、ＮＯであれば、ステップＳ１０１へ移行して、ステップＳ１０１からステップＳ１０９の少なくとも１つの処理を実行する。

以上の処理および演算を実行した結果、算出される符号とその長さを図１１における“本手法”として示す。さらに、図２６に示される従来の予測確率の更新に基づく従来技術で符号化した場合の結果を図１１における“従来手法”として示す。図１２に算術符号化の数直線上の更新式を示し、図１３および図１４に、それぞれ、図１２に示す数式に従った際の“本手法”および“従来手法”における算術符号化の様子を示す。図１３示すように“本手法”の演算処理結果として符号化値は“０．９９９８０５８３１７７２８”であり、必要とされる分解能は“０．００００００４１１５０５９”である。これから“０．９９９８０５８３１７７２８÷０．００００００４１１５０５９≒２４２９６２６”であり、この１０進数の結果を２進数で示すと図１１に示す２２ビット長の符号“１００１０１０００１００１０１０１１１０１０”となる。同様にして、図１４に示すように“従来手法” の演算処理結果として符号化値は“０．９２４５５４７７０７３９２”であり、必要とされる分解能は“０．０００００００５２２５４７”である。“本手法”と同様に演算した結果を２進数で示すと図１１に示す２５ビット長の符号“１００００１１０１１１１１１０１０００１０１１０１”となる。これから、従来手法は符号長が“２５（ビット）”であるのに対し、本手法は符号長が“２２（ビット）”と符号を短くすることができることから、効率的な符号化が行われたことが分かる。また、上記具体例は０、１の発生頻度にほぼ偏りがない例である。しかしながら、通常はその偏りがあるので、符号長は１８ビットより小さくなることが殆どであり、本手法による圧縮効果がある。

つまり、本実施の形態によれば、予測確率を用いたビットごとの算術符号化において、発生した事象（算術符号化の対象となるビットの値）に対する予測確率を下げる方向に予測確率が更新されていく。よって、算術符号化の対象となる予測誤差情報がＭＳＢからＬＳＢにいく従って“０”の発生頻度が高い状態から“１”の発生頻度が高い状態に遷移すること等の状態の反転に対応した予測確率の更新が行われることとなり、これによって、画像データにおけるビットの発生頻度の偏りを考慮した予測確率の適応的な更新が行われ、画像データの符号化効率が向上される。

また、図１５は予測確率の初期値をＰbase＝０．７とした場合の処理および演算を実行した結果、算出される符号とその長さを示す。ここで、Ｐbaseを予測確率が高いとした理由は、符号化される予測誤差情報は符号化される先頭のデータであるほど、“０”である頻度が高いからである。これにより、従来手法では符号長が“２４（ビット）”であるのに対し、“本手法”における符号長は“１７（ビット）”とさらに効率的な符号化が行われていることが分かる。

≪実施の形態２≫
実施の形態２では、実施の形態１で説明した、画像符号化装置３００の改変例を説明する。

図１６（ａ）及び（ｂ）は、それぞれ、実施の形態２に係わる画像符号化装置および画像復号化装置における画像符号処理および復号化処理を示すフローチャートである。図１６（ａ）及び（ｂ）に示されるように、実施の形態１から変更されたのはステップＳ１３０１、ステップＳ１３０２およびステップＳ１３１１である。

図２と対応する機能については同じ符号を付して示し、その説明を省略する。

ステップＳ１３０１では、本実施の形態における算術符号化部３０４は、符号化対象画素に対して、予め定められたグループ（Ｍ画素分のグループ画素）ごとに、算術符号化する予測誤差情報の総ビット数を、予め設定された固定ビットＳ（Ｓは自然数）に制限することで、出力するデータをＳビットにパッキングする。また、符号化すべきビット情報をすべて算術符号化してもパッキングデータがＳビットまで到達しない場合においては、パッキング部３０６は、ダミーデータを補填（つまり、パディング）することで、Ｓビットのパッキングデータとして出力する。

ステップＳ１３０２では、本実施の形態における画像符号化装置３００による制御の下で、算術符号化部３０４は、パッキングされたデータがＳビットに達した時点でグループ画素内の算術符号化を終了し、パッキング部３０６はパッキングデータを外部に出力する。具体例として、図１７（ａ）及び（ｂ）に示されるように、算術符号化部３０４は、符号化すべきグループ画素の予測誤差情報のうち、Ｓ（ここでは、１３）ビットの算術符号化が終了した時点で、当該グループ画素に対する算術符号化を終了する。つまり、発生した符号量がＳビットに達した場合は、算術符号化部３０４は、算術符号化の入力を“００００００１１０１１１１”（Ｓビット）のみとして算術符号化し、それに続く“００１１１”の算術符号化を実施しない。このようにして、グループ画素に対して算術符号化により発生する符号量が固定長Ｓビットとなる。

また、図１８（ａ）〜（ｄ）は、符号化すべき予測誤差情報をＬＳＢ側から優先して符号化対象から外すことで符号化対象情報を減らし、発生する符号量をＳビット以下になるように算術符号化を行う場合の処理を説明する図である。ここで、算術符号化部３０４は、予測誤差情報Ｅの下位１ビットを符号化対象から外して算術符号化を行った場合において、発生する符号量がＳビットより多くなるときは、予測誤差情報Ｅの下位２ビットを符号化対象から外し、再度算術符号化を行う。このように発生する符号化量がＳビット以下になるまで、符号化対象の符号を減らし算術符号化を繰り返す。図１８（ａ）及び（ｃ）は下位１ビットを符号化対象から外した例であり、算術符号化の入力を“００１１１００１１００００１０”のみとする場合の予測誤差情報Ｅ₁〜Ｅ₃を示している。図１８（ｂ）及び（ｄ）は下位２ビットを符号化対象から外した例であり、算術符号化の入力を“００１１００１１０００１”のみとする場合の予測誤差情報Ｅ₁〜Ｅ₃を示している。また、図１７および図１８で用いられる、予測確率の基準値Ｐbase、更新ステップα、Ｐの最大値ＰmaxおよびＰの最小値Ｐminについては、画像符号化装置３００と画像復号化装置３１０で共通していれば入力順番のパターンにあわせて値を変更してもよい。

復号化処理側におけるステップＳ１３１１においては、本実施の形態における画像復号化装置３１０は、復号すべきＳビットの算術符号について、復号処理が終了したか否かの判定を行う。Ｓビットの復号化処理が完了していない場合（ステップＳ１３１１においてＮＯ）は、ステップＳ１１４へ移行する。Ｓビットの復号処理が完了している場合（ステップＳ１３１１においてＹＥＳ）は、ステップＳ１１９へ移行する。また、算術復号化部３１２は、Ｍ画素およびＮビットが既知であることより、本来符号化されるべきビット長（＝Ｍ画素×Ｎビット長）から、Ｓビット長で復元できたビット長を差し引いた分について、ダミーデータとして“０”を補填することで予測誤差情報の復元を行う。なお、ダミーデータは“１”でもよい。

このような固定長符号化を実現することで、生成された複数の固定長の符号化データを、例えばメモリ等に記憶させた場合、画像内の特定の箇所の画素に対応した符号化データを、容易に特定することができる。その結果、符号化データに対するランダムアクセスすることができる。すなわち、本実施の形態によれば、メモリへのランダムアクセス性を実現できる。さらに、バス幅は固定長を保証できることから、ある圧縮された画素データにデータアクセスすることが要求される場合、バス幅毎にパッキングされたパッキングデータにデータアクセスするだけでよい。

≪実施の形態３≫
実施の形態３では、実施の形態１で説明した、画像符号化装置３００及び画像復号化装置３１０を備えたディジタルスチルカメラの例を説明する。

図１９は、実施の形態３に係るディジタルスチルカメラ１６００の構成を示すブロック図である。図１９に示されるように、ディジタルスチルカメラ１６００は、画像符号化装置３００と、画像復号化装置３１０とを備える。画像符号化装置３００および画像復号化装置３１０の構成および機能は、実施の形態１で説明したので詳細な説明は繰り返さない。

ディジタルスチルカメラ１６００は、さらに、撮像部１６１０と、画像処理部１６２０と、表示部１６３０と、圧縮変換部１６４０と、記録保存部１６５０と、ＳＤＲＡＭ１６６０とを備える。

撮像部１６１０は、被写体を撮像して、その像に対応するディジタルの画像データを出力する。この例では、撮像部１６１０は、光学系１６１１と、撮像素子１６１２と、アナログフロントエンド１６１３（図中ではＡＦＥと略記）と、タイミングジェネレータ１６１４（図中ではＴＧと略記）とを含む。光学系１６１１は、レンズ等からなり、被写体を撮像素子１６１２上に結像させるようになっている。撮像素子１６１２は、光学系１６１１から入射した光を電気信号に変換する。撮像素子１６１２としては、ＣＣＤ（Charge Coupled Device）を用いた撮像素子や、ＣＭＯＳを用いた撮像素子等、種々の撮像素子を採用できる。アナログフロントエンド１６１３は、撮像素子１６１２が出力したアナログ信号に対してノイズ除去、信号増幅、Ａ／Ｄ変換などの信号処理を行ない、画像データとして出力するようになっている。タイミングジェネレータ１６１４は、撮像素子１６１２やアナログフロントエンド１６１３の動作タイミングの基準となるクロック信号をこれらに供給する。

画像処理部１６２０は、撮像部１６１０から入力された画素データ（ＲＡＷデータ）に所定の画像処理を施し画像符号化装置３００へ出力するＬＳＩ等である。一般的には、図１９に示すように、ホワイトバランス回路１６２１（図中ではＷＢと略記）、輝度信号生成回路１６２２、色分離回路１６２３、アパーチャ補正処理回路１６２４（図中ではＡＰと略記）、マトリクス処理回路１６２５、及び画像の拡大・縮小を行うズーム回路１６２６（図中ではＺＯＭと略記）等を備えている。ホワイトバランス回路１６２１では、白い被写体がどのような光源下でも白く撮影されるように、撮像素子１６１２のカラーフィルタによる色成分を正しい割合で補正する回路である。輝度信号生成回路１６２２は、ＲＡＷデータから輝度信号（Ｙ信号）を生成する。色分離回路１６２３は、ＲＡＷデータから色差信号（Ｃｒ／Ｃｂ信号）を生成する。アパーチャ補正処理回路１６２４は、輝度信号生成回路１６２２が生成した輝度信号に高周波数成分を足し合わせて解像度を高く見せる処理を行う。マトリクス処理回路１６２５は、撮像素子の分光特性や画像処理で崩れた色相バランスの調整を、色分離回路１６２３の出力に対して行う。

一般的に画像処理部１６２０は、処理対象の画素データをＳＤＲＡＭ等のメモリに一時記憶させ、一時記憶されたデータに対して所定の画像処理や、ＹＣ信号生成、ズーム処理等を行い、処理後のデータを再度ＳＤＲＡＭに一時記憶することが多い。そのため、画像処理部１６２０は、画像符号化装置３００への出力と画像復号化装置３１０からの入力のどちらのためにも使用されることが考えられる。

表示部１６３０は、画像復号化装置３１０からの出力（画像復号化後の画像データ）を表示するＬＣＤ等である。

圧縮変換部１６４０は、画像復号化装置３１０からの出力をＪＰＥＧ等の所定の規格で圧縮変換した画像データを記録保存部１６５０に出力する。また、この圧縮変換部１６４０は、記録保存部１６５０によって読み出された画像データを伸張変換して画像符号化装置３００へ出力する。即ち、圧縮変換部１６４０は、ＪＰＥＧ規格に基づくデータを処理可能な処理部である。このような圧縮変換部１６４０は、一般的にディジタルスチルカメラに搭載される。

記録保存部１６５０は、圧縮された画像データを受信して、記録媒体（例えば不揮発性メモリ等）に記録する。また、この記録保存部１６５０は、記録媒体に記録されている圧縮された画像データを読み出して圧縮変換部１６４０に出力する。

なお、本実施の形態における画像符号化装置３００及び画像復号化装置３１０は、入力信号としてＲＡＷデータに限定されない。例えば、画像符号化装置３００及び画像復号化装置３１０が処理対象とするデータは、画像処理部１６２０によってＲＡＷデータから生成されたＹＣ信号（輝度信号または色差信号）のデータ、一旦ＪＰＥＧ等に圧縮変換されたＪＰＥＧ画像のデータを伸張することにより得られるデータ（輝度信号または色差信号のデータ）等であってもよい。

ここで、画像符号化装置３００及び画像復号化装置３１０の入力信号が、ＲＡＷデータである場合、予測画素生成部３０３において、色成分が同色である近接画素から予測値を生成してもよい。たとえば、符号化対象画素の画素配列がベイヤー配列のＲＡＷデータであるとする。この場合、ＲＡＷデータを、Ｒ（赤）成分と、Ｇ（緑）成分と、Ｂ（青）成分とに分けることができ、予測式（１）を使用する場合は、符号化対象画素の隣接画素ではなく、同色の左隣の画素を利用してもよい。

これにより、例えば、Ｒ成分の変化が大きい画像が入力された場合、同一グループ内にＲＧＢが混同していると、Ｇ成分とＢ成分の変化が小さいにもかかわらず、予測誤差情報ＥにおいてＭＳＢ側で“１”が発生する頻度が高くなり、効率的な符号化ができない。そのため、色成分毎にグループを構成することにより、他の色成分の影響を受けることなく、各々の色の変化に応じた効率的な圧縮を行うことが可能になるため、ＲＧＢ成分間の相関が低い画像に有効である。

このように、本実施の形態におけるディジタルスチルカメラ１６００は、一般的にディジタルスチルカメラに搭載される圧縮変換部１６４０以外にも、ＲＡＷデータやＹＣ信号を処理対象とする画像符号化装置３００及び画像復号化装置３１０を備える。これにより、本実施の形態におけるディジタルスチルカメラ１６００は、同じＳＤＲＡＭ等のメモリ容量で、同じ解像度の連写枚数を増やす高速撮像動作が可能となる。また、ディジタルスチルカメラ１６００は、同じ容量のＳＤＲＡＭ等メモリに記憶させる動画像の解像度を高めることが可能になる。

また、この実施の形態３に示したディジタルスチルカメラ１６００の構成は、ディジタルスチルカメラ１６００と同様の撮像部、画像処理部、表示部、圧縮変換部、記録保存部、及びＳＤＲＡＭを備えるディジタルビデオカメラの構成に適用することも可能である。

≪実施の形態４≫
本実施の形態では、ディジタルスチルカメラに設けられる撮像素子が、画像符号化装置３００を含む場合のディジタルスチルカメラの構成の例を説明する。

図２０は、実施の形態４における、ディジタルスチルカメラ１７００の構成を示すブロック図である。図２０に示されるように、ディジタルスチルカメラ１７００は、図１９のディジタルスチルカメラ１６００と比較して、撮像部１６１０の代わりに撮像部１６１０Ａを備える点と、画像処理部１６２０の代わりに画像処理部１６２０Ａを備える点とが異なる。それ以外の構成は、ディジタルスチルカメラ１６００と同様なので詳細な説明は繰り返さない。

撮像部１６１０Ａは、図１９の撮像部１６１０と比較して、撮像素子１６１２の代わりに撮像素子１６１２Ａを含み、アナログフロントエンド１６１３を省略した点が異なる。それ以外は、撮像部１６１０と同様なので詳細な説明は繰り返さない。撮像素子１６１２Ａは、例えばＣＭＯＳセンサ等の撮像素子と画像符号化装置３００とを含む固体撮像素子の一例であり、画素内に増幅器とＡ／Ｄ変換回路を有し、ディジタル信号を出力するため画像符号化装置３００を搭載する１チップのＬＳＩである。

また、画像処理部１６２０Ａは、図１９の画像処理部１６２０と比較して、さらに、画像復号化装置３１０を含む点が異なる。それ以外の構成は、画像処理部１６２０と同様なので詳細な説明は繰り返さない。この画像処理部１６２０Ａは、実施の形態１における画像復号化装置３１０と同様の機能を備える画像復号化装置３１０ａを内蔵するディジタル信号処理素子の一例であり、１チップのＬＳＩとして実現される。

撮像素子１６１２Ａに含まれる画像符号化装置３００は、撮像素子１６１２Ａにより撮像された画素信号を符号化し、符号化により得られたデータを、画像処理部１６２０Ａ内の画像復号化装置３１０へ送信する。

画像処理部１６２０Ａ内の画像復号化装置３１０は、画像符号化装置３００から受信したデータを復号化する。この処理により、撮像素子１６１２Ａと集積回路内の画像処理部１６２０Ａ間のデータ転送効率を向上させることが可能となる。

したがって、本実施の形態のディジタルスチルカメラ１７００は、実施の形態３のディジタルスチルカメラ１６００よりも、同じメモリ容量で、同じ解像度の連写枚数を増やしたり、動画像の解像度を高めたりする等といった高速撮像動作を実現することが可能になる。

なお、この実施の形態４に示したディジタルスチルカメラ１７００の構成は、ディジタルスチルカメラ１７００と同様の撮像部、画像処理部、表示部、圧縮変換部、記録保存部、及びＳＤＲＡＭを備えるディジタルビデオカメラの構成に適用することも可能である。

≪実施の形態５≫
本実施の形態では、図２１に示すように、監視カメラが受信する画像データが、画像符号化装置３００からの出力である場合の監視カメラの構成の例を説明する。

通常、監視カメラ装置においては、監視カメラから送信される画像データが第３者によって伝送経路上で盗まれないよう、伝送路上のセキュリティ性を確保するため、画像データを暗号化している。一般的には、監視カメラ用信号処理部１８１０内の画像処理部１８０１により所定の画像処理が施された画像データを、圧縮変換部１８０２によりＪＰＥＧやＭＰＥＧ４、Ｈ．２６４等の所定の規格で圧縮変換し、さらに暗号化部１８０３により暗号化して、通信部１８０４からインターネット上に送信することで、個人のプライバシー保護を行っている。なお、監視カメラ用信号処理部１８１０は、画像復号化装置３１０を含むディジタル信号処理素子の一例であり、１チップのＬＳＩとして実現される。

そこで、図２１に示す監視カメラ１８００のように、前述した画像符号化装置３００を含む撮像部１６１０Ａからの出力を、監視カメラ用信号処理部１８１０に入力し、監視カメラ用信号処理部１８１０内に搭載する画像復号化装置３１０により符号化データを復号化することにより、撮像部１６１０Ａで撮影された画像データを擬似的に暗号化することができるため、撮像部１６１０Ａと監視カメラ用信号処理部１８１０間の伝送路上のセキュリティ性が確保され、従来よりもさらにセキュリティ性の向上を図ることが可能になる。

≪実施の形態６≫
また、監視カメラ装置の実現方法として、図２２に示す監視カメラ１９００のように、（１）撮像部１６１０からの入力画像に対して所定のカメラ画像処理を行う画像処理部１９０１と、（２）信号入力部１９０２を搭載して、画像処理部１９０１が送信した画像データを受信して圧縮変換を行い、暗号化した上で通信部１８０４からインターネット上に画像データを送信する監視カメラ用信号処理部１９１０とを、別個のＬＳＩにより実現する形態がある。

この形態においては、画像処理部１９０１に画像符号化装置３００を搭載し、画像復号化装置３１０を監視カメラ用信号処理部１９１０に搭載することにより、画像処理部１９０１が送信する画像データを擬似的に暗号化することができるため、画像処理部１９０１と監視カメラ用信号処理部１９１０間の伝送路上のセキュリティ性が確保され、従来よりもさらにセキュリティ性の向上を図ることが可能になる。なお、画像処理部１９０１は、画像符号化装置３００を含むディジタル信号処理素子の一例であり、１チップのＬＳＩとして実現される。

従って、本実施の形態により監視カメラのデータ転送効率が向上し、動画像の解像度を高める等といった高速撮像動作を実現することが可能になり、さらに、擬似的に画像データを暗号化することにより、画像データの漏洩防止やプライバシー保護を行うなどといったセキュリティ性の向上を図ることが可能となる。

以上のように、本実施の形態における画像符号化・復号化装置及びその方法によれば、予測確率を用いたビットごとの算術符号化において、従来と異なり、発生した事象（算術符号化の対象となるビットの値）に対する予測確率を下げる方向に予測確率を更新していく。よって、算術符号化の対象となる予測誤差情報がＭＳＢからＬＳＢにいく従って“０”の発生頻度が高い状態から“１”の発生頻度が高い状態に遷移すること等の状態の反転に対応した予測確率の更新が行われることとなり、これによって、画像データにおけるビットの発生頻度の偏りを考慮した予測確率の適応的な更新が行われ、画像データの符号化効率が向上される。

以上、本発明に係る画像符号化方法、画像符号化装置、復号化方法、画像復号化装置、固体撮像素子、ディジタル信号処理素子、ディジタルスチルカメラ及び監視カメラについて、実施の形態１〜６を用いて説明したが、本発明は、これらの実施の形態に限定されるものではない。

たとえば、本発明の趣旨を逸脱しない範囲で、これらの実施の形態に対して当業者が思いつく各種変形を施して得られる形態や、各実施の形態における各構成要素を任意に組み合わせて実現される形態も、本発明に含まれる。

また、各ブロック図における各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これら各機能ブロックは、個別のＬＳＩチップとして実現化されても良いし、一部又は全てを含むように１チップ化されても良い。

ここで、集積回路として、ＬＳＩを挙げたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称される集積回路であってもよい。また、集積回路化の手法として、ＬＳＩ等に限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩの製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用して本発明を実現してもよい。

また、上記各実施の形態において、各構成要素は専用のハードウェアにより構成されてもよく、あるいは、ソフトウェアにより実現可能な構成要素については、プログラムを実行することによって実現されてもよい。例えば、ハードディスクや半導体メモリ等の記録媒体に記録されたソフトウェア・プログラムをＣＰＵ等のプログラム実行部が読み出して実行することによって、各構成要素が実現され得る。

本発明は、画像を圧縮するエンコーダ、圧縮画像を伸張するデコーダ、固体撮像素子、ディジタル信号処理素子、ディジタルスチルカメラ及び監視カメラとして、利用できる。特に、本発明に係る画像符号化・復号化装置は、画像データの符号化効率を向上することができるために、従来方式よりもより画像データを短い符号長でデータを符号化することができる。従って、ディジタルスチルカメラやネットワークカメラ等のように、画像を扱う装置において、画質の劣化を防止しつつ、画像データを符号化・復号化が可能になる。そのため、本発明は、近年の画像データ処理量の増大へのキャッチアップに有用である。

３００ 画像符号化装置
３０１ 処理対象画素値入力部
３０２ 変化抽出部
３０３ 予測画素生成部
３０４ 算術符号化部
３０５ 予測確率更新部
３０６ パッキング部
３１０、３１０ａ 画像復号化装置
３１１ アンパッキング部
３１２ 算術復号化部
３１３ 予測確率更新部
３１４ 変化抽出部
３１５ 予測画素生成部
３１６ 出力部
１６００ ディジタルスチルカメラ
１６１０、１６１０Ａ 撮像部
１６１１ 光学系
１６１２、１６１２Ａ 撮像素子
１６１３ アナログフロントエンド
１６１４ タイミングジェネレータ
１６２０、１６２０Ａ 画像処理部
１６２１ ホワイトバランス回路
１６２２ 輝度信号生成回路
１６２３ 色分離回路
１６２４ アパーチャ補正処理回路
１６２５ マトリクス処理回路
１６２６ ズーム回路
１６３０ 表示部
１６４０ 圧縮変換部
１６５０ 記録保存部
１６６０ ＳＤＲＡＭ
１７００ ディジタルスチルカメラ
１８００ 監視カメラ
１８０１ 画像処理部
１８０２ 圧縮変換部
１８０３ 暗号化部
１８０４ 通信部
１８１０ 監視カメラ用信号処理部
１９００ 監視カメラ
１９０１ 画像処理部
１９０２ 信号入力部
１９１０ 監視カメラ用信号処理部

Claims (12)

1. 画像データを構成する画素データを圧縮する画像符号化方法であって、
   符号化対象画素の周辺に位置する少なくとも１個の画素の画素データから、当該符号化対象画素の予測値を生成する予測画素生成ステップと、
   前記符号化対象画素の画素データと前記予測値とのビット変化を抽出することによって当該ビット変化を示す予測誤差情報を生成する変化抽出ステップと、
   前記変化抽出ステップにより生成された予測誤差情報を、当該予測誤差情報を構成するビットごとに、適応的に変化する予測確率を用いて算術符号化をする算術符号化ステップと、
   前記算術符号化ステップで符号化されたビットが第１の値である場合に当該第１の値の算術符号化に用いられる予測確率を下げ、前記算術符号化ステップで符号化されたビットが第１の値でない場合に当該第１の値の算術符号化に用いられる予測確率を上げるように、前記予測確率を更新する予測確率更新ステップとを含み、
   前記算術符号化ステップでは、前記予測誤差情報を構成するビットごとに、前記予測確率更新ステップで更新された予測確率を用いて前記算術符号化を行う
   画像符号化方法。
2. 請求項１記載の画像符号化方法であって、
   前記算術符号化ステップでは、予め定められた複数の画素であるグループ画素ごとに、グループ画素に対応する複数の予測誤差情報のうち、当該複数の予測誤差情報の総ビット数よりも小さい予め定められた固定のビット数Ｓに対してだけ前記算術符号化を行うとともに、前記グループ画素に対応する予測誤差情報を算術符号化して得られたビット数が前記Ｓビットに満たない場合に、算術符号化で得られたビットにダミーデータをパディングすることで、Ｓビットの固定長の算術符号を生成する
   画像符号化方法。
3. 請求項２記載の画像符号化方法であって、
   前記算術符号化ステップでは、前記算術符号化によって発生した符号量が前記Ｓビットに達した場合に算術符号化を終了することで、前記固定長の算術符号を生成する
   画像符号化方法。
4. 請求項１記載の画像符号化方法によって得られた算術符号から画素データを復号化する画像復号化方法であって、
   前記算術符号を構成するビットごとに、適応的に変化する予測確率を用いて算術復号化をすることによって前記予測誤差情報を生成する算術復号化ステップと、
   前記算術復号化ステップで復号化されたビットが第１の値である場合に当該第１の値の算術復号化に用いられる予測確率を下げ、前記算術復号化ステップで復号化されたビットが第１の値でない場合に当該第１の値の算術復号化に用いられる予測確率を上げるように、前記予測確率を更新する予測確率更新ステップと、
   復号化対象画素の予測値を生成する予測画素生成ステップと、
   前記算術復号化ステップで生成された予測誤差情報と前記予測画素生成ステップで生成された予測値とに対して予め定められた演算を行うことで、符号化対象画素の画素データを生成する変化抽出ステップとを含み、
   前記算術復号化ステップでは、前記算術符号を構成するビットごとに、前記予測確率更新ステップで更新された予測確率を用いて前記算術復号化を行う
   画像復号化方法。
5. 画像データを構成する画素データを圧縮する画像符号化装置であって、
   符号化対象画素の周辺に位置する少なくとも１個の画素の画素データから、当該符号化対象画素の予測値を生成する予測画素生成部と、
   前記符号化対象画素の画素データと前記予測値とのビット変化を抽出することによって当該ビット変化を示す予測誤差情報を生成する変化抽出部と、
   前記変化抽出部により生成された予測誤差情報を、当該予測誤差情報を構成するビットごとに、適応的に変化する予測確率を用いて算術符号化をする算術符号化部と、
   前記算術符号化部で符号化されたビットが第１の値である場合に当該第１の値の算術符号化に用いられる予測確率を下げ、前記算術符号化部で符号化されたビットが第１の値でない場合に当該第１の値の算術符号化に用いられる予測確率を上げるように、前記予測確率を更新する予測確率更新部とを備え、
   前記算術符号化部は、前記予測誤差情報を構成するビットごとに、前記予測確率更新部で更新された予測確率を用いて前記算術符号化を行う
   画像符号化装置。
6. 請求項１記載の画像符号化方法によって得られた算術符号から画素データを復号化する画像復号化装置であって、
   前記算術符号を構成するビットごとに、適応的に変化する予測確率を用いて算術復号化をすることによって前記予測誤差情報を生成する算術復号化部と、
   前記算術復号化部で復号化されたビットが第１の値である場合に当該第１の値の算術復号化に用いられる予測確率を下げ、前記算術復号化部で復号化されたビットが第１の値でない場合に当該第１の値の算術復号化に用いられる予測確率を上げるように、前記予測確率を更新する予測確率更新部と、
   復号化対象画素の予測値を生成する予測画素生成部と、
   前記算術復号化部で生成された予測誤差情報と前記予測画素生成部で生成された予測値とに対して予め定められた演算を行うことで、復号化対象画素の画素データを生成する変化抽出部とを備え、
   前記算術復号化部は、前記算術符号を構成するビットごとに、前記予測確率更新部で更新された予測確率を用いて前記算術復号化を行う
   画像復号化装置。
7. 請求項５記載の画像符号化装置を備えた固体撮像素子。
8. 請求項５記載の画像符号化装置を備えたディジタル信号処理素子。
9. 請求項６記載の画像復号化装置を備えたディジタル信号処理素子。
10. 請求項７記載の固体撮像素子、請求項８記載のディジタル信号処理素子、および、請求項９記載のディジタル信号処理素子の少なくとも一つを備えたディジタルスチルカメラ。
11. 請求項７記載の固体撮像素子、請求項８記載のディジタル信号処理素子、および、請求項９記載のディジタル信号処理素子の少なくとも一つを備えたディジタルビデオカメラ。
12. 請求項７記載の固体撮像素子、請求項８記載のディジタル信号処理素子、および、請求項９記載のディジタル信号処理素子の少なくとも一つを備えた監視カメラ。

Images