JP4952624B2 - 圧縮画像再圧縮装置、圧縮画像再圧縮方法及びプログラム - Google Patents

Description

本発明は、一度生成された圧縮画像を再圧縮して蓄積する圧縮画像再圧縮装置、圧縮画像再圧縮方法及びプログラムに関する。

従来、この種の圧縮画像再圧縮システムは、複数の圧縮画像を伸長して得られる画像間で差分情報を生成し、差分情報を圧縮することで圧縮画像を再圧縮し、再圧縮されたデータのサイズを小さくしていた。従来の圧縮画像再圧縮システムの一例が、特許文献１に記載されている。特許文献１に記載されている圧縮画像再圧縮システムは、圧縮された動画データを一度復号装置により復号し、再圧縮用の符号化パラメータを決定した後、差分情報を圧縮する動画符号化処理を行う符号化装置を用いて再圧縮処理を行っている。

また、特許文献２には、符号化しようとするフレームと、直前の参照フレームとの差分値からそのフレームが静止しているフレーム（静止フレーム）であるか否かを判定する静止フレーム符号化判定手段と、画像が静止し始めた初期の１フレームに対してのみ符号化に用いる量子化パラメータ値を制御する量子化パラメータ値制御手段を備え、その他のフレームの符号化時よりも符号化誤差の少ない符号化を行う画像符号化装置が開示されている。
特開２００７−２９５６１７号公報 特開２００３−２８４０７７号公報

しかしながら、特許文献１に記載の圧縮画像再圧縮システムでは、圧縮画像を完全に復号して得られる画像間の差分情報を生成し、生成した差分情報を圧縮するため、再圧縮に必要な処理量が多くなってしまうという問題点がある。

また、特許文献２に記載の画像符号化装置においては、画像間の差分を圧縮することで圧縮率を向上させるものであるが、差分データを生成するために復号処理の最終出力データである画像を生成させているため、処理量が多いという問題点がある。

本発明は、このような問題点を解決するためになされたものであり、処理量が少ない圧縮画像再圧縮装置、圧縮画像再圧縮方法及びプログラムを提供することを目的とする。

本発明に係る圧縮画像再圧縮装置は、圧縮画像を復号する途中で得られる中間データと、参照圧縮画像を復号する途中で得られる参照中間データとの差分を計算する差分演算部と、計算した差分に含まれる情報量が前記中間データに含まれる情報量より少ない場合に前記差分を圧縮することで、圧縮画像を再圧縮する圧縮部とを有するものである。

本発明に係る圧縮画像再圧縮方法は、圧縮画像を復号する途中で得られる中間データと、参照圧縮画像を復号する途中で得られる参照中間データとの差分を計算する差分演算工程と、計算した差分に含まれる情報量が前記中間データに含まれる情報量より少ない場合に前記差分を圧縮することで、圧縮画像を再圧縮する圧縮工程とを有するものである。

また、本発明に係るプログラムは、上述した画像圧縮処理をコンピュータに実行させるものである。

本発明によれば、圧縮画像を再圧縮するために必要な処理量を削減する圧縮画像再圧縮装置、圧縮画像再圧縮方法及びプログラムを提供することができる。

以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。この実施の形態は、本発明を、圧縮画像を再圧縮するために必要な処理量を削減することができる圧縮画像再圧縮システムに適用したものである。

（１）第１の実施の形態
図１は、本発明の第１の実施の形態にかかる画像処理システムの構成を示すブロック図である。図１に示すように、本発明の第１の実施の形態にかかる画像処理システム１０１は、圧縮画像を復号する途中で得られる中間データと、任意の圧縮画像からなる参照圧縮画像を復号する途中で得られる参照中間データとの差分（差分データ）を計算する差分演算部１２３と、計算した差分データに含まれる情報量が中間データに含まれる情報量より少ない場合にその差分データを圧縮することで、圧縮画像を再圧縮する圧縮部１２６とを有する。ここで、上記参照圧縮画像は、複数の圧縮画像に共通に含まれている情報を含む圧縮画像とすることができる。また、圧縮画像を復号する途中で得られる中間データとしては、例えば、画像を直交変換することで得られるデータを用いることができる。

そして、圧縮部１２６は、参照中間データと差分データを用いて、中間データの中で差分データに置換することで情報量が削減できる箇所を特定し、特定した箇所を差分データに置換するブロック種別判定部を有する。また、後述するように、前後の圧縮画像間の差分データが所定の値より小さい圧縮画像を参照変中間データの候補として選択する参照候補中間データ更新部や、参照中間データの候補と現在の参照中間データの間の絵としての変化が所定の値より大きい場合に、参照中間データの候補を新しい参照中間データとして更新する参照中間データ更新部を有するものとすることも可能である。

本実施の形態においては、圧縮画像の復号処理の途中で得られる中間データを用いて、差分演算部が圧縮画像間の差分情報である差分データを生成し、生成した差分データを圧縮部によって圧縮することで、圧縮画像を再圧縮するため、圧縮画像を再圧縮するために必要な処理量を削減することができる。

（２）第２の実施の形態
本実施の形態においては、画像をブロックと呼ばれる矩形領域に分割し、ブロック内の画素データを直交変換し、直交変換後のデータである変換後成分を圧縮することで画像圧縮処理を実現する。直交変換の例としては離散コサイン変換やウェーブレット変換等がある。変換後成分は、直交変換後の値を格納したベクトルデータである。

（２−１）構成
図２は、本発明の第２の実施の形態にかかる画像処理システムの構成を示すブロック図である。図２に示すように、本発明の第２の実施の形態にかかる画像処理システム１は、記憶装置１０、記憶装置３０、圧縮画像再圧縮装置２０、及び再圧縮画像復号装置４０を有する。記憶装置１０は、圧縮画像を、圧縮画像が生成された順に記憶している圧縮画像記憶部１１を備えている。圧縮画像再圧縮装置２０は、変換後成分展開部２１、参照変換後成分記憶部２２、差分演算部２３、並びに圧縮部として機能するブロック種別判定部２４及び変換後成分圧縮部２５とを有する。

変換後成分展開部２１は、記憶装置１０の圧縮画像記憶部から取得した圧縮画像から、中間データとして変換後成分Ｃ１を生成し、生成した変換後成分を差分演算部２３及びブロック種別判定部２４へ送信する。変換後成分Ｃ１とは、画像データ内の画素データが直交変換によって変換されたデータである。変換後成分Ｃ１の例としては直交変換である離散コサイン変換によって変換された係数等がある。前記画像データの例としては、画像内の座標値と色成分毎の強度を表す数値である画素値とから構成される画素データがある。

参照変換後成分記憶部２２は、圧縮画像記憶部１１から取得した任意の１枚の画像から得られた変換後成分Ｃ２を記憶している。本実施の形態にかかる圧縮画像再圧縮装置２０では、複数の圧縮画像のサイズを小さくするために、圧縮画像の変換後成分Ｃ１と参照変換後成分記憶部２２に記憶されている変換後成分Ｃ２の差分を再圧縮する。本明細書においては、前記参照変換後成分記憶部２２に記憶されている変換後成分を参照変換後成分Ｃ２ということとする。ここで、後述する差分演算部２３が生成する差分データをできるだけ小さくするため、複数の圧縮画像に共通に含まれている情報を含む圧縮画像から得られる変換後成分を参照変化後成分Ｃ２として保持することが好ましい。

差分演算部２３は、変換後成分展開部２１及び参照変換後成分記憶部２２からそれぞれ変換後成分Ｃ１及び参照変換後成分Ｃ２を取得し、ブロック単位で２つの変換後成分の差分を計算することで、取得した２つの変換後成分の差分データＤ１を生成する。前記差分計算の例としては、２つの変換後成分間のベクトル差分演算等がある。また、前記差分データの例としては、２つの変換後成分間のベクトル差分演算結果を格納したベクトルデータ等がある。

ブロック種別判定部２４は、変換成分を復号処理の一部の処理によって復号した画像内の情報で人間の視覚で検出しにくい情報に相当する変換成分内の情報を用いて、置換された差分であるか否かを識別する。すなわち、参照変換後成分記憶部２２から参照変換後成分Ｃ２を、変換後成分展開部２１から変換後成分Ｃ１を、差分演算部２３から差分データＤ１を取得し、ブロック種別判定処理に基づいて前記変換後成分のブロックを、差分ブロックＢ１又は非差分ブロックＢ２により置換する。

前記ブロック種別判定処理とは、参照変換後成分記憶部２２から取得した参照変換後成分Ｃ２と、変換後成分展開部２１から取得した変換後成分Ｃ１と、差分演算部２３が生成した差分データＤ１のどれかあるいは全てを用いて、変換後成分展開部２１から取得した変換後成分Ｃ１を構成するブロックの中で、差分ブロックＢ１に置き換えることで情報量が少なくなるブロックを、差分ブロック置換対象とし差分ブロックＢ１に置換する。また、差分ブロックＢ１に置き換えることで情報量が多くなるブロックを非差分ブロック置換対象とし非差分ブロックＢ２に置換する動作を指す。

前記差分ブロックＢ１とは、ブロック種別判定部２４が差分演算部２３から取得した差分データを構成するブロックの中に、差分ブロックであるかどうかを示す情報が追加されたブロックである。また、前記非差分ブロックＢ２とは、ブロック種別判定部２４が変換後成分展開部２１から取得した変換後成分を構成するブロックの中に、差分ブロックではないことを示す情報が追加されたデータである。

変換後成分圧縮部２５は、ブロック種別判定部２４から取得した変換後成分Ｃ３を圧縮し、圧縮の結果得られた圧縮画像を記憶装置３０内の再圧縮画像記憶部３１に記憶する。以下の説明においては、変換後成分圧縮部２５にて行われる圧縮処理によって生成される圧縮画像を再圧縮画像という。記憶装置３０は、再圧縮画像を記憶する再圧縮画像記憶部３１を含む。

再圧縮画像復号装置４０は、変換後成分展開部４１、参照変換後成分記憶部４２、加算演算部４３、変換後成分合成部４４、変換後成分逆変換部４５、及び画像データ記憶部４６を有する。変換後成分展開部４１は、記憶装置３０内の再圧縮画像記憶部３１から取得した再圧縮画像から変換後成分Ｃ３を生成し、生成した変換後成分を変換後成分合成部４４へ送信する。参照変換後成分記憶部４２は、参照変換後成分記憶部２２と同一の変換後成分を１つ記憶している。

加算演算部４３は、変換後成分合成部４４から取得した差分ブロックＢ１と画像内の位置が同じあるブロックを、参照変換後成分記憶部４２に記憶されている変換後成分Ｃ２から取得し、前記取得したブロックと前記差分ブロックＢ１を加算することで得られたブロックを変換後成分合成部４４に送信する。この加算演算部４３が生成するブロックを合成ブロックＢ３ということとする。加算演算部４３が行う加算演算例としては、数値の加算等がある。

変換後成分合成部４４は、変換後成分展開部４１から変換後成分Ｃ３を取得した後、変換後成分合成部４４が取得した変換後成分Ｃ３の中で差分ブロックＢ１を発見した場合は、差分ブロック合成を行い、変換後成分合成部４４が取得した変換後成分Ｃ３の中で非差分ブロックＢ２を発見した場合、非差分ブロック合成を行う。

前記差分ブロック合成とは、差分ブロックＢ１であることを示す情報を前記差分ブロック内から削除し、前記差分ブロックＢ１であることを示す情報が削除された差分ブロックを加算演算部４３に送信し、加算演算部４３が生成した合成ブロックＢ３を受信し、前記差分ブロックＢ１であることを示す情報が削除された差分ブロックＢ１を合成ブロックＢ３で置換する動作をさす。また、前記非差分ブロック合成とは、変換後成分合成部４４が変換後成分展開部４１から取得した変換後成分の中で発見した非差分ブロックＢ２において、非差分ブロックＢ２であることを示す情報を削除する動作をさす。

変換後成分逆変換部４５は、変換後成分合成部４４から取得した変換後成分Ｃ１を画像データへ変換し、前記画像データ記憶部４６に記憶する。前記変換動作の例としては逆離散コサイン変換等がある。画像データ記憶部４６は、変換後成分逆変換部４５が生成した画像データを記憶する。

（２−２）動作
次に、図２及び図３を参照して第２の実施の形態にかかる画像処理システムの圧縮画像再圧縮動作について詳細に説明する。図３は本実施の形態にかかる画像処理システムの圧縮画像再圧縮処理を示すフローチャートである。

まず、圧縮画像記憶部１１が圧縮画像を一枚読み込む（図３のステップＳ１０１）。次に、変換後成分展開部２１が、圧縮画像記憶部１１から圧縮画像を取得する。そして、取得した圧縮画像から変換後成分Ｃ１を展開し、展開した変換後成分Ｃ１を差分演算部２３及びブロック種別判定部２４に送信する（図３のステップＳ１０２）。

差分演算部２３は、ステップＳ１０２で送信された変換後成分を受信すると、参照変換後成分記憶部２２から参照変換後成分Ｃ２を取得する。そして差分演算部２３は、ステップＳ１０２で送信された変換後成分Ｃ１と、前記参照変換後成分Ｃ２から差分データＤ１を生成し、生成した差分データＤ１をブロック種別判定部２４に送信する（図３のステップＳ１０３及びＳ１０４）。

ブロック種別判定部２４は、ステップＳ１０２で送信された変換後成分Ｃ１と、ステップＳ１０４で送信された差分データＤ１を受信後、参照変換後成分記憶部２２から参照変換後成分Ｃ２を取得し、ステップＳ１０２で送信された変換後成分Ｃ１、ステップＳ１０４で送信された差分データＤ１、前記参照変換後成分Ｃ２のどれかあるいは全てを用いてブロック種別判定動作を行う。そして、ブロック種別判定によって生成された変換後成分を変換後成分圧縮部２５に送信する（図３のステップＳ１０５）。

次に、変換後成分圧縮部２５は、ステップＳ１０５で送信された変換後成分Ｃ３を圧縮することで再圧縮画像を生成し、生成した再圧縮画像を再圧縮画像記憶部３１に送信する（図３のステップＳ１０６）。最後に、再圧縮画像記憶部３１が、ステップＳ１０６で送信された再圧縮画像を記憶する（図３のステップＳ１０７）。

そして、圧縮画像再圧縮装置２０は、記憶装置３０に対して、ステップＳ１０７で生成した参照圧縮画像又は再圧縮画像を送信し、送信した圧縮画像を記憶装置３０内の再圧縮画像記憶部３１に書き込むように書込み要求を送信する（図３のステップＳ１０８）。

次に、図２及び図４を用いて、第２の実施の形態における再圧縮画像復号動作について詳細に説明する。図４は、本実施の形態にかかる画像処理システムの再圧縮画像復号処理を示すフローチャートである。

まず、再圧縮画像記憶部３１が再圧縮画像を一枚読み込む（図４のステップＳ２０１）。次に、変換後成分展開部４１が、再圧縮画像記憶部３１から再圧縮画像を取得し、取得した再圧縮画像から変換後成分Ｃ３を展開し、展開した変換後成分Ｃ３を変換後成分合成部４４に送信する（図４のステップＳ２０２）。

次に、変換後成分合成部４４が、ステップＳ２０２で送信された変換後成分Ｃ３の先頭のブロックから順に、差分ブロックＢ１又は非差分ブロックＢ２であるかどうかを識別する(ステップＳ２０３)。そして、差分ブロックＢ１と識別した場合には、変換後成分合成部４４は、差分ブロックＢ１であることを示す情報を前記差分ブロック内から削除し、前記差分ブロックＢ１であることを示す情報が削除された差分ブロックＢ１を加算演算部４３に送信する。そして、加算演算部４３は、変換後成分合成部４４から取得した差分ブロックＢ１と画像内の位置が同じあるブロックを、参照変換後成分記憶部４２に記憶されている変換後成分Ｃ２から取得し(ステップＳ２０４)、前記取得したブロックと前記差分ブロックＢ１を加算することで得られたブロック（合成ブロックＢ３）を変換後成分合成部４４に送信する。変換後成分合成部４４は、加算演算部４３が生成した合成ブロックＢ３を受信し(ステップＳ２０５)、前記差分ブロックＢ１であることを示す情報が削除された差分ブロックＢ１を合成ブロックＢ３で置換する(ステップＳ２０６)。

一方、非差分ブロックＢ２と識別した場合には、変換後成分合成部４４が変換後成分展開部４１から取得した変換後成分Ｃ３の中で発見した非差分ブロックＢ２において、非差分ブロックＢ２であることを示す情報を削除することで非差分ブロックＢ２の置換を行う（ステップＳ２０７）。この処理を最後のブロックに到達するまで各ブロックについて行う（ステップＳ２０８、２０９）。

次に、変換後成分合成部４４は、ステップＳ２０２で送信された変換後成分Ｃ３の全ブロックに対して差分ブロック合成あるいは非差分ブロック合成が行われることで得られた変換後成分を変換後成分逆変換部４５に送信する（図４のステップＳ２１０）。

変換後成分逆変換部４５は、ステップＳ２１０で送信された変換後成分を逆変換することで画像データを生成し（ステップＳ２１１）、生成した画像データを画像データ記憶部４６に記憶する（図４のステップＳ２１２）。

（２−３）効果
次に、本発明の第２の実施の形態の効果について説明する。本第２の実施の形態においては、差分演算部２３にて参照変換後成分Ｃ２と変換後成分Ｃ１との差分を求め、差分データＤ１のブロックが変換後成分Ｃ１のブロックよりデータ量が小さい場合にはこの差分データＤ１を用いて再圧縮をする。このことにより、再圧縮するデータ容量を小さくすることができると共に、再圧縮画像の記憶容量を小さいものとすることができる。

すなわち、記憶装置１０に記憶された圧縮画像を、圧縮画像が生成された順に取り出し、差分演算部２３及びブロック種別判定部２４によって、記憶装置１０に記憶された圧縮画像の中で、時間的に絵として変化した情報のみを取り出して再圧縮し、記憶装置３０に記憶することで、圧縮画像を再圧縮したデータの蓄積容量を少なくすることができる。また、復号処理の途中で得られる変換後成分Ｃ１を変換後成分展開部２１が生成し、生成した変換後成分Ｃ１を用いて時間的に絵として変化した情報を取り出すため、再圧縮に必要な処理量を減らすことができる。

（３）第３の実施の形態
（３−１）構成
次に、本発明を実施するための第３の実施の形態について図面を参照して詳細に説明する。図５は、本発明の第３の実施の形態にかかる画像処理システムを示すブロック図である。

図５に示すように、本実施の形態は、第２の実施の形態の構成要素に加えて、参照変換後成分更新装置５０、参照圧縮画像生成装置６０及び参照変換後成分展開装置７０を備えている点が第２の実施の形態とは異なる。

参照変換後成分更新装置５０は、差分演算部５１、一次変換後成分記憶部５２、参照候補変換後成分更新部５３、参照候補変換後成分記憶部５４、差分演算部５５及び参照変換後成分更新部５６を備えている。

差分演算部５１は、変換後成分展開部２１及び一次変換後成分記憶部５２から変換後成分Ｃ１、Ｃ４を取得し、ブロック単位で２つの変換後成分の差分を計算することで、取得した２つの変換後成分の差分データＤ２を生成する。

一次変換後成分記憶部５２は、参照候補変換後成分更新部５３から取得した変換後成分Ｃ５を記憶している。以下の説明においては、一次変換後成分記憶部５２が記憶している変換後成分を一次変換後成分Ｃ４という。

参照候補変換後成分更新部５３は、差分演算部５１から差分データＤ２を、変換後成分展開部２１から変換後成分Ｃ１を取得し、前記差分データＤ２を用いて参照変換後成分判定を行った後、前記変換後成分Ｃ１を一次変換後成分記憶部５２に記憶する。前記参照変換後成分判定とは、差分演算部５１からの差分データから、絵としての変化量（画像連続変化量）を計算し、この画像連続変化量が更新時の画像連続変化量（候補更新時変化量）以下である場合に変換後成分展開部２１から取得した変換後成分Ｃ１を、参照候補変換後成分記憶部５４に記憶する動作を指す。従って、参照候補変換後成分更新部５３は、連続画像変化量及び候補更新時変化量の２つの数値データを記憶している。候補更新時変化量は正の値である。前記絵としての変化量の例としては、差分データであるベクトルデータの各要素の絶対値の合計値等がある。

参照候補変換後成分記憶部５４は、変換後成分Ｃ５を記憶している。以下の説明においては、参照候補変換後成分記憶部５４が記憶している変換後成分を参照候補変換後成分Ｃ５という。

差分演算部５５は、参照変換後成分記憶部２２及び参照候補変換後成分記憶部５４からそれぞれ変換後成分Ｃ１及び参照候補変換後成分Ｃ５を取得し、ブロック単位で２つの変換後成分の差分を計算することで、取得した２つの変換後成分の差分データＤ３を生成する。

参照変換後成分更新部５６は、差分演算部５５から差分データＤ３を、参照候補変換後成分記憶部５４から参照候補変換後成分Ｃ５を取得し、前記差分データＤ３及び参照候補変換後成分Ｃ５を用いて参照変換後成分更新を行う。前記参照変換後成分更新とは、前記差分データＤ３から絵としての変化量を計算し、前記変化量が参照変換後成分更新閾値Ｔｈ１以上である場合に前記参照候補変換後成分Ｃ５を、参照変換後成分記憶部２２に記憶し、さらに前記参照候補変換後成分Ｃ５を参照圧縮画像生成装置６０に送信する動作を指す。前記参照変換後成分更新閾値Ｔｈ１は正の値である。

参照圧縮画像生成装置６０は、変換後成分圧縮部６１及び参照圧縮画像記憶部６２から構成される。変換後成分圧縮部６１は、参照変換後成分更新部５６から取得した参照候補変換後成分を圧縮することで圧縮画像を生成し、生成した圧縮画像を参照圧縮画像記憶部に記憶する。参照圧縮画像記憶部６２は、圧縮画像を記憶している。前記参照圧縮画像記憶部６２が記憶している圧縮画像を、以降では参照圧縮画像と表現する。

参照変換後成分展開装置７０は、変換後成分展開部７１を備えている。変換後成分展開部７１は、参照圧縮画像記憶部６２から参照圧縮画像を取得し、取得した参照圧縮画像から変換後成分を展開し、展開した変換後成分を参照変換後成分記憶部４２に記憶する。

（３-２）動作
次に、本実施の形態の参照変換後成分更新装置５０における参照候補変換後成分更新動作について、図面を参照して説明する。図６は、本実施の形態における参照候補変換後成分更新動作を示すフローチャートである。まず、変換後成分展開部２１が、展開した変換後成分Ｃ１を差分演算部５１及び参照候補変換後成分更新部５３に送信する（図６のステップＳ３０１）。

次に、差分演算部５１が、一次変換後成分記憶部５２から一次変換後成分Ｃ４を取得し、ステップＳ３０１で送信された変換後成分Ｃ１と一次変換後成分Ｃ４から差分データＤ２を生成し、生成した差分データＤ２を参照候補変換後成分更新部５３に送信する（図６のステップＳ３０２及びＳ３０３）。

次に、参照候補変換後成分更新部５３が、ステップＳ３０１で送信された変換後成分Ｃ１と、ステップＳ３０３で送信された差分データＤ２を受信後、参照変換後判定処理を行う（図６のステップＳ３０４）。すなわち、参照候補変換後成分更新部５３が差分演算部５１からの差分データから、絵としての変化量（画像連続変化量）を計算し、この画像連続変化量が更新時の画像連続変化量（候補更新時変化量）以下である場合に変換後成分展開部２１から取得した変換後成分Ｃ１を、参照候補変換後成分記憶部５４に記憶する(ステップＳ３０６)。また、ステップＳ３０１で送信された変換後成分Ｃ１を一次変換後成分記憶部５２に記憶する(ステップＳ３０５)。

次に、参照変換後成分更新装置５０における参照変換後成分更新動作について説明する。図７は、本実施の形態における参照変換後成分更新動作を示すフローチャートである。

まず、差分演算部５５が、参照変換後成分記憶部２２から参照変換後成分Ｃ２を取得し(ステップＳ４０１)、参照候補変換後成分記憶部５４から参照候補変換後成分Ｃ５を取得し(ステップＳ４０２)、前記参照変換後成分Ｃ２と前記参照候補変換後成分Ｃ５から差分データＤ３を生成し(ステップＳ４０３)、生成した差分データＤ３を参照変換後成分更新部５６に送信する。

次に、参照変換後成分更新部５６は、ステップＳ４０３において送信された差分データＤ３を受信後、参照変換後成分更新を行う（図７のステップＳ４０４、Ｓ４０５、Ｓ４０６及びＳ４０７）。すなわち、前記差分データＤ３から絵としての変化量を計算し、前記変化量が参照変換後成分更新閾値Ｔｈ１以上である場合に前記参照候補変換後成分Ｃ５を、参照変換後成分記憶部２２に記憶し（ステップＳ４０６）、さらに前記参照候補変換後成分Ｃ５を参照圧縮画像生成装置６０に送信する（ステップＳ４０７）。

次に、参照圧縮画像生成装置６０の動作について説明する。変換後成分圧縮部６１が、Ｓ４０７において送信された参照変換後成分を圧縮することで圧縮画像を生成し、生成した圧縮画像を参照圧縮画像記憶部６２に記憶する。次に、参照変換後成分展開装置７０の動作について説明する。変換後成分展開部７１は、参照圧縮画像記憶部に記憶された参照圧縮画像を取得し、取得した参照圧縮画像から変換後成分を展開し、展開した変換後成分を参照変換後成分記憶部４２に記憶する。本実施の形態におけるその他の動作は、第３の実施の形態と同様であるので省略する。

（３−３）効果
次に、本発明の第３の実施の形態の効果について説明する。本実施の形態においては、圧縮画像再圧縮装置２０で生成された圧縮画像を、圧縮画像が生成される毎に受信する。そして、受信した圧縮画像から参照候補変換後成分更新部５３によって、短時間における絵としての変化が小さい圧縮画像から生成された参照候補変換後成分が選択される。さらに、参照変換後成分更新部５６によって、参照変換後成分記憶部２２に記憶された参照変換後成分と、前記参照候補変換後成分の間の絵としての変化が大きい場合に、参照変換後成分記憶部２２に記憶されている変換後成分を、前記参照候補変換後成分として更新する。このことにより、例えば画像全体の輝度の変化等が時間とともに画面全体に変化が生じた場合でも、差分演算部２３によって生成される時間的に絵として変化した情報の情報量を少なくすることができ、記憶装置３０に記憶される再圧縮画像のサイズを小さくすることができる。

また、前記参照候補変換後成分更新部５３の動作と、前記参照変換後成分更新部５６の動作を、復号処理の途中で得られる変換後成分を用いて行うことで、完全に復号して得られる画像データに対して同様の動作を行う場合に比べて処理量を減らすことができる。

（４）実施例
（４−１）第１の実施例
次に、本発明の第１の実施例を、図面を参照して説明する。かかる実施例は本発明の第２の実施の形態に対応するものである。図８は、本発明の第１の実施例にかかる画像処理システムを示す図である。

本実施例においては、図８に示すように、圧縮画像再圧縮装置２０としてパーソナルコンピュータ８０を、記憶装置１０及び３０として磁気ディスク装置８１及び８２を、再圧縮画像復号装置４０としてパーソナルコンピュータ８３を備えている。

パーソナルコンピュータ８０は、変換後成分展開部２１、差分演算部２３、ブロック種別判定部２４、変換後成分圧縮部２５として機能する中央演算装置８４を有しており、また、参照変換後成分記憶部２２として機能する磁気ディスク装置８５を有している。磁気ディスク装置８１内の記憶領域８８は圧縮画像記憶部１１として、磁気ディスク装置８２内の記憶領域８９は再圧縮画像記憶部３１として用いられる。パーソナルコンピュータ８３は、変換後成分展開部４１、加算演算部４３、変換後成分合成部４４、変換後成分逆変換部４５、及び画像データ記憶部４６として機能する中央演算装置８６を有しており、また、参照変換後成分記憶部４２として機能する磁気ディスク装置８７を有している。

本実施例で用いる画像データ、圧縮画像、ブロック、変換後成分、差分データ、差分ブロック、再圧縮画像は次の通りである。監視映像である画像データは、縦１６画素横１６画素の２４ビットＲＧＢカラーのビットマップ画像を用いる。圧縮画像は縦１６画素横１６画素の２４ビットＲＧＢカラーのＪＰＥＧデータ用いる。ブロックは、ＪＰＥＧの仕様に基づき、縦８画素横８画素の矩形領域を用いる。変換後成分は、ＪＰＥＧファイルから復号処理の逆量子化処理後に得られるＤＣＴ（離散コサイン）係数の集合を用いる。

図９に変換後成分の例を示す。図１０は、本実施例における監視映像の例を示す図である。変換後成分Ｃ１は、縦軸が縦の空間周波数０から７まで、横軸が横の空間周波数が０から７までの強度値が、左上が直流成分、右下が縦横ともに最大周波数成分となるように配置された６４個のＤＣＴ係数から構成されるブロック４つで構成される。変換後成分Ｃ１の左上、右上、左下、右下のブロックのＤＣＴ係数を逆離散コサイン変換することで、図１０の画像データＡ１をＪＰＥＧ符号化することで得られるＪＰＥＧデータを復号した際に得られる画像データを生成することができる。

差分データＤ１は、変換後成分であるＤＣＴ係数の集合２つに対して、ブロック毎に同一の周波数成分間の差を求め、さらに求めた差が変換後成分の値の範囲に収まるようにするために、求めた差を２で割った値の集合を用いる。前記ブロックにおいて、縦横とも最大周波数であるＤＣＴ係数が、前記ＤＣＴ係数の値をＪＰＥＧ符号化処理の途中処理として量子化処理を行う際の、最大周波数成分の量子化処理で使用される量子化ステップの最大値（例えば９９）である場合は、前記ブロックを非差分ブロック、前記最大周波数成分の値が０である場合は、差分ブロックであることを示すことにする。再圧縮画像は、変換後成分をＪＰＥＧ符号化処理の量子化以降の処理を行うことで得られるＪＰＥＧデータを指す。

本実施例における再圧縮画像復号部内の変換後成分合成部４４は、変換後成分展開部４１から取得した変換後成分Ｃ３を構成するブロック毎に、前記ブロックを構成するＤＣＴ係数のうち、縦横とも最大周波数であるＤＣＴ係数が０である場合は差分ブロック、０以外の値の場合は非差分ブロックと判定する。

また、本実施例における変換後成分合成部４４における差分ブロック合成は、変換後成分合成部４４によって縦横とも最大周波数であるＤＣＴ係数の値を０にされた差分ブロックを加算演算部４３が取得し、加算演算部４３が前記差分ブロックを構成するＤＣＴ係数を２倍し、２倍した値を加算演算部４３が参照変換後成分記憶部４２から取得した参照変換後成分内の差分ブロックと同位置のブロックのＤＣＴ係数の値に加算した結果得られるブロックを、変換後成分合成部４４が取得し、変換後成分逆変換部４５が前記取得したブロックで、前記差分ブロックを置換する動作を指す。また、本実施例における変換後成分合成部４４の、非差分ブロック合成は、非差分ブロックにおいて縦横とも最大周波数であるＤＣＴ係数の値を０にする動作を指す。

本実施例におけるブロック種別判定処理について図１１を用いて説明する。図１１は、差分ブロック決定および置換処理の動作を示すフローチャートである。まず、ステップＳ１０４で生成された差分データＤ１、ステップＳ１０５で取得した参照変換後成分Ｃ２、ステップＳ１０２で取得した変換後成分Ｃ１の３つの変換後成分の先頭のブロックを選択する（図１１のステップＳ１００１）。前記選択されたブロックを処理対象ブロックという。

次に、処理対象ブロックにおいて、ステップＳ１０２で取得した変換後成分Ｃ１とステップＳ１０５で取得した参照変換後成分Ｃ２で、値が０でないＤＣＴ係数の数を比較する（図１１のステップＳ１００２）。ステップＳ１００２の比較の結果、ステップＳ１０２で取得した変換後成分Ｃ１における値が０でないＤＣＴ係数の数が、ステップＳ１０５で取得した参照変換後成分Ｃ２における値が０でないＤＣＴ係数の数未満である場合、ステップＳ１０４で生成された差分データＤ１のＤＣＴ係数の絶対値の合計値の２倍（以後差分合計値Ｍ１という。）を計算する（図１１のステップＳ１００３）。さらに、ステップＳ１０２で取得した変換後成分Ｃ１のＤＣＴ係数の絶対値の合計値（以後変換後成分合計値Ｍ２という。）を計算する（図１１のステップＳ１００４）。

ステップＳ１００４の後、差分合計値Ｍ１と変換後成分合計値Ｍ２を比較し、差分合計値Ｍ１が変換後成分合計値Ｍ２以下である場合、ステップＳ１０４で生成された差分データＤ１の処理対象ブロックの縦横とも最大周波数であるＤＣＴ係数の値を０にすることで差分ブロックを生成し、ステップＳ１０２で取得した変換後成分Ｃ１の処理対象ブロックを前記差分ブロックで置換する（図１１のステップＳ１００５及びＳ１００６）。

ステップＳ１００６の後、処理対象ブロックがステップＳ１０４で生成された差分データＤ１、ステップＳ１０５で取得した参照変換後成分Ｃ２、ステップＳ１０２で取得した変換後成分Ｃ１の３つの変換後成分の最後のブロックである場合は動作を終了し、最後のブロックではない場合、処理対象ブロックをデータの記憶順で次のブロックに移動し、ステップＳ１００２を実行する（図１１のステップＳ１００７）。

ステップＳ１００２において、ステップＳ１０２で取得した変換後成分Ｃ１における値が０でないＤＣＴ係数の数が、ステップＳ１０５で取得した参照変換後成分Ｃ２における値が０でないＤＣＴ係数の数以上である場合はステップＳ１００６に進み、ステップＳ１００５において差分合計値Ｍ１が変換後成分合計値Ｍ２より大きい場合、ステップＳ１０２で取得した変換後成分Ｃ１の処理対象ブロックの縦横とも最大周波数であるＤＣＴ係数の値を９９にし、ステップＳ１００７の動作を実行する（図１１のステップＳ１００９）。

次に、図１０に示すＡ１〜Ａ６のように時間とともに変化した監視映像を圧縮した圧縮画像が、記憶装置１０に記憶されている場合を例に、ブロック種別判定部２４の動作例について説明する。Ａ１〜Ａ６はそれぞれ縦１６画素横１６画素で２４ビットＲＧＢカラービットマップ画像であり、白い部分の画素値はＲＧＢの各値が２５５である。また、Ａ１とＡ４は同じ画像である。Ａ１〜Ａ４の黒い部分の画素値はＲＧＢの各値が０であり、Ａ５はＡ４の黒い部分のＲＧＢの各値が５１となっており、Ａ６はＡ４の黒い部分のＲＧＢの各値が１０２となっている。

図１２は、監視映像の変化の様子を示す図である。図１２に示すように、Ａ１からＡ２では、Ａ２内の矩形領域Ａ２１が監視カメラの視界に出現し、Ａ２からＡ３では図１２の矢印で示すようにＡ２１が下に移動して矩形領域Ａ２２の位置に到達することでＡ３の画像となる。また、Ａ３からＡ４では、図１２の矢印で示すようにＡ２１が更に下に移動して監視カメラの視界から消えることにより、Ａ４の画像となる。Ａ４からＡ５及びＡ５からＡ６の変化は、監視カメラの照明環境の変化等により、画像全体が明るくなることにより起こったとする。なお、参照変換後成分記憶部２２及び４２には、あらかじめＡ１をＪＰＥＧ符号化することで得られた圧縮画像から生成された変換後成分が、参照変換後成分Ｃ２として記憶されている。

図９、図１３乃至図２８は、本発明の第１の実施例における変換後成分Ｋ１〜Ｋ１７の例を示す図である。Ａ１をＪＰＥＧ符号化することで得られた圧縮画像をステップＳ１０１で取得後、ステップＳ１０２に相当する動作によって、変換後成分展開部２１が、Ｋ１（図９）に示すような輝度成分の変換後成分を生成する。次に、変換後成分展開部２１が生成した変換後成分Ｃ１＝Ｋ１を、ブロック種別判定部２４がステップＳ１０６に相当する動作によって取得する。以降の変換後成分の例では、グレースケール画像Ａ１〜Ａ６をＪＰＥＧ符号化することで得られたＪＰＥＧデータの色差成分は０であるため、輝度成分のみを示す。

次に、差分演算部２３がステップＳ１０３及びステップＳ１０４に相当する動作によって差分データＤ１を生成する。変換後成分Ｃ１及び参照変換後成分Ｃ２ともに変換後成分Ｋ１であるので、前記差分データの要素は全て０になる。次に、ステップＳ１０５及びステップＳ１０６に相当する動作によって、ブロック種別判定部２４がブロック種別判定行う。

前記差分データの全てのブロックで、図１１に示した差分ブロック決定処理動作のステップＳ１００２で、値が０でないＤＣＴ係数の数が、ステップＳ１０２で送信された変換後成分Ｃ１＝Ｋ１、ステップＳ１０５で取得した参照変換後成分Ｃ２＝Ｋ１ともに等しいので、ステップＳ１００６の動作が行われ、全てのブロックにおいて差分ブロックＢ１が生成、置換される。ステップＳ１０６の後、ステップＳ１０７に相当する動作によって、値が全て０のＤＣＴ係数である変換後成分Ｃ３が変換後成分圧縮部２５によって圧縮され、ステップＳ１０８に相当する動作によって前記圧縮されたデータが再圧縮画像として記憶装置３０に記憶される。

次に、Ａ２をＪＰＥＧ符号化することで得られた圧縮画像をステップＳ１０１で取得後、ステップＳ１０２に相当する動作によって、変換後成分展開部２１が、Ｋ２（図１３）に示すような変換後成分Ｃ１を生成する。次に、変換後成分展開部２１が生成した変換後成分Ｃ１＝Ｋ２を、ブロック種別判定部２４がステップＳ１０６に相当する動作によって取得する。Ａ１と同様の処理によって、ステップＳ１０３及びステップＳ１０４に相当する動作によって差分演算部２３が変換後成分Ｃ１＝Ｋ２及び、参照変換後成分Ｃ２＝Ｋ１から、差分データＤ１＝Ｋ３（図１４）を生成する。

次にステップＳ１０５及びステップＳ１０６に相当する動作として、図１１に示した動作が行われ、図１１のステップＳ１００２において、値が０でないＤＣＴ係数の数は、左上のブロックではステップＳ１０２で取得した変換後成分Ｃ１＝Ｋ２の方がステップＳ１０５で取得した参照変換後成分Ｃ２＝Ｋ１よりも多く、その他のブロックでは等しいため、ブロック種別判定部２４によってステップＳ１００６の動作が行われ、全てのブロックにおいて差分ブロックＢ１が生成、置換された結果、Ｋ４（図１５）のような変換後成分が生成される。ただし、Ｋ３の全てのブロックの縦横とも最大周波数であるＤＣＴ係数は０であるため、差分ブロック置換後の変換後成分Ｋ４は変換後成分Ｋ３と同じとなる。ステップＳ１０６の後、ステップＳ１０７に相当する動作によって、変換後成分Ｃ３＝Ｋ４が変換後成分圧縮部２５によって圧縮され、ステップＳ１０８に相当する動作によって前記圧縮されたデータが再圧縮画像として記憶装置３０に記憶される。

次に、Ａ３をＪＰＥＧ符号化することで得られた圧縮画像をステップＳ１０１で取得後、ステップＳ１０２に相当する動作によって、変換後成分展開部２１が、Ｋ５（図１６）に示すような変換後成分Ｃ１を生成する。次に、変換後成分展開部２１が生成した変換後成分Ｃ１＝Ｋ５を、ブロック種別判定部２４がステップＳ１０６に相当する動作によって取得する。

Ａ１、Ａ２と同様の処理によって、ステップＳ１０３及びステップＳ１０４に相当する動作によって差分演算部２３が変換後成分Ｃ１＝Ｋ５及び、参照変換後成分Ｃ２＝Ｋ１から、差分データＤ１＝Ｋ６（図１７）を生成する。

次にステップＳ１０５及びステップＳ１０６に相当する動作として、図１１に示した動作が行われ、図１５のステップＳ１００２において、値が０でないＤＣＴ係数の数は、左下以外のブロックではステップＳ１０２で取得した変換後成分Ｃ１＝Ｋ５と、ステップＳ１０５で取得した参照変換後成分Ｃ２＝Ｋ１で同じであるため、ステップＳ１００６の動作が行われ、差分ブロックＢ１が生成、置換される。

しかし、左下のブロックでは、値が０でないＤＣＴ係数の数は、左下以外のブロックではステップＳ１０２で取得した変換後成分Ｃ１＝Ｋ５の方が、ステップＳ１０５で取得した参照変換後成分Ｃ２＝Ｋ１よりも少ないので、ステップＳ１００３及びステップＳ１００４の動作を行い、差分合計値４７７９、変換後成分合計値２３４８を得る。

ステップＳ１００５において、差分合計値４７７９の方が変換後成分合計値２３４８よりも大きいため、ステップＳ１００９の非差分ブロック生成処理を行い、Ｋ６の左下のブロックの縦横とも最大周波数であるＤＣＴ係数の値を９９にし、変換後成分Ｃ３＝Ｋ７（図１８）を得る。ステップＳ１０６の後、ステップＳ１０７に相当する動作によって、変換後成分Ｃ３＝Ｋ７が変換後成分圧縮部２５によって圧縮され、ステップＳ１０８に相当する動作によって前記圧縮されたデータが再圧縮画像として記憶装置３０に記憶される。

次に、Ａ４をＪＰＥＧ符号化することで得られた圧縮画像をステップＳ１０１で取得後、ステップＳ１０２に相当する動作によって、変換後成分展開部２１が、Ｋ１に示すような変換後成分Ｃ１を生成する。次に、変換後成分展開部２１が生成した変換後成分Ｃ１＝Ｋ１を、ブロック種別判定部２４がステップＳ１０６に相当する動作によって取得する。以降の動作はＡ１をＪＰＥＧ符号化することで得られた圧縮画像をＳ１０１で取得後の動作と同じであるので省略する。

次に、Ａ５をＪＰＥＧ符号化することで得られた圧縮画像をステップＳ１０１で取得後、ステップＳ１０２に相当する動作によって、変換後成分展開部２１が、Ｋ８（図１９）に示すような変換後成分Ｃ１を生成する。次に、変換後成分展開部２１が生成した変換後成分Ｃ１＝Ｋ８を、ブロック種別判定部２４がステップＳ１０６に相当する動作によって取得する。Ａ１〜Ａ４と同様の処理によって、ステップＳ１０３及びステップＳ１０４に相当する動作によって差分演算部２３が変換後成分Ｃ１＝Ｋ８及び、参照変換後成分Ｃ２＝Ｋ１から、差分データＤ１＝Ｋ９（図２０）を生成する。

次にステップＳ１０５及びステップＳ１０６に相当する動作として、図１１に示した動作が行われ、図１１のステップＳ１００２において、値が０でないＤＣＴ係数の数は、左下以外のブロックではステップＳ１０２で取得した変換後成分Ｃ１＝Ｋ８と、ステップＳ１０５で取得した参照変換後成分Ｃ２＝Ｋ１で同じであるため、ステップＳ１００６の動作が行われ、差分ブロックＢ１が生成、置換される。

しかし、左下のブロックでは、値が０でないＤＣＴ係数の数は、左下以外のブロックではステップＳ１０２で取得した変換後成分Ｃ１＝Ｋ８の方が、ステップＳ１０５で取得した参照変換後成分Ｃ２＝Ｋ１よりも少ないので、ステップＳ１００３及びステップＳ１００４の動作を行い、差分合計値１１７８、変換後成分合計値３９４１を得る。ステップＳ１００５において、差分合計値１１７８の方が変換後成分合計値３９４１よりも小さいため、ステップＳ１００６の差分ブロック生成処理を行い、Ｋ９の左下のブロックの縦横とも最大周波数であるＤＣＴ係数の値を０にし、変換後成分Ｃ３＝Ｋ１０（図２１）を得る。ステップＳ１０６の後、ステップＳ１０７に相当する動作によって、変換後成分Ｃ３＝Ｋ１０が変換後成分圧縮部２５によって圧縮され、ステップＳ１０８に相当する動作によって前記圧縮されたデータが再圧縮画像として記憶装置３０に記憶される。

次に、Ａ６をＪＰＥＧ符号化することで得られた圧縮画像をステップＳ１０１で取得後、ステップＳ１０２に相当する動作によって、変換後成分展開部２１が、Ｋ１１（図２２）に示すような変換後成分Ｃ１を生成する。次に、変換後成分展開部２１が生成した変換後成分Ｃ１＝Ｋ１１を、ブロック種別判定部２４がステップＳ１０６に相当する動作によって取得する。Ａ１〜Ａ４と同様の処理によって、ステップＳ１０３及びステップＳ１０４に相当する動作によって差分演算部２３が変換後成分Ｃ１＝Ｋ１１及び、参照変換後成分Ｃ２＝Ｋ１から、Ｋ１２（図２３）のような差分データを生成する。

次にステップＳ１０５及びステップＳ１０６に相当する動作として、図１１に示した動作が行われ、図１１のステップＳ１００２において、値が０でないＤＣＴ係数の数は、左下以外のブロックではステップＳ１０２で取得した変換後成分Ｃ１＝Ｋ１１と、ステップＳ１０５で取得した参照変換後成分Ｃ２＝Ｋ１で同じであるため、ステップＳ１００６の動作が行われ、差分ブロックＢ１が生成、置換される。しかし、左下のブロックでは、値が０でないＤＣＴ係数の数は、左下以外のブロックではステップＳ１０２で取得した変換後成分Ｃ１＝Ｋ１１の方が、ステップＳ１０５で取得した参照変換後成分Ｃ２＝Ｋ１よりも少ないので、ステップＳ１００３及びステップＳ１００４の動作を行い、差分合計値２３９６、変換後成分合計値３１０３を得る。

ステップＳ１００５において、差分合計値２３９６の方が変換後成分合計値３１０３よりも小さいため、ステップＳ１００６の差分ブロック生成処理を行い、Ｋ１２の左下のブロックの縦横とも最大周波数であるＤＣＴ係数の値を０にし、変換後成分Ｃ３＝Ｋ１３（図２４）を得る。ステップＳ１０６の後、ステップＳ１０７に相当する動作によって、変換後成分Ｃ３＝Ｋ１３が変換後成分圧縮部２５によって圧縮され、ステップＳ１０８に相当する動作によって前記圧縮されたデータが再圧縮画像として記憶装置３０に記憶される。

以上の動作により、監視映像の圧縮画像から生成した変換後成分を構成するブロックを、非差分ブロックあるいは差分ブロックに置換する。非差分ブロックあるいは差分ブロックは、人間の視覚で検出しにくい最大周波数成分を用いて非差分ブロックと差分ブロックを識別するように生成されている。差分ブロックに置換することで、前記ブロックで値が０に近い小さな値であるＤＣＴ係数の数を増やすことができる。０に近い小さな値は、変換後成分圧縮部で行われる量子化処理によって０となり、量子化後の圧縮処理による圧縮率を向上させることができる。このため、前記ブロックを変換後成分圧縮部２５が圧縮することで得られた再圧縮画像であるＪＰＥＧデータのサイズは、圧縮画像記憶部１１に記憶されていた圧縮画像であるＪＰＥＧデータのサイズよりも小さくなる。

また、上記の処理を圧縮画像を画像データまで復号してから行うのではなく、復号処理の途中で得られる変換後成分であるＤＣＴ係数を用いて行うことで、従来技術に比べて再圧縮に必要な処理量を削減できる。

次に、図１０のＡ１〜Ａ６のような監視映像をＪＰＥＧ符号化することで得られた圧縮画像から、圧縮画像再圧縮装置２０が生成した再圧縮画像を、再圧縮画像復号装置４０が画像データへと復号する場合を例に、再圧縮画像復号装置４０内の変換後成分合成部４４の動作例について説明する。参照変換後成分記憶部４２には変換後成分Ｃ２＝Ｋ１が記憶されている。

まず、ステップＳ２０２に相当する動作によって、再圧縮画像記憶部３１に記憶されている再圧縮画像から、変換後成分展開部４１が、値が全て０のＤＣＴ係数である変換後成分Ｃ３を生成し、生成した変換後成分が変換後成分合成部４４に送信される。

次に、ステップＳ２０２で送信された値が全て０のＤＣＴ係数である変換後成分は、全てのブロックが差分ブロックであるので、変換後成分合成部４４は、前記変換後成分とステップＳ２０４に相当する動作で参照変換後成分記憶部４２から取得した変換後成分Ｃ１＝Ｋ１を用いて差分ブロック合成処理を行い、変換後成分Ｃ１＝Ｋ１を得る。次に、ステップＳ２０９に相当する動作によって変換後成分合成部４４が、変換後成分Ｃ１＝Ｋ１を変換後成分逆変換部４５に送信し、ステップＳ２１０に相当する動作によって、変換後成分Ｃ１＝Ｋ１を変換後成分逆変換部４５が逆離散コサイン変換し、画像データを生成する。

同様の処理によって、変換後成分合成部４４は、変換後成分Ｃ３＝Ｋ４をステップＳ２０２において取得する。Ｋ４の全ブロックが差分ブロックであるので、ステップＳ２０４、ステップＳ２０５、ステップＳ２０６に相当する動作によって、変換後成分Ｃ３＝Ｋ４と参照変換後成分記憶部４２から取得した変換後成分Ｃ２＝Ｋ１を用いて差分ブロック合成を行い、変換後成分Ｃ１＝Ｋ１４（図２５）を得る。次に、ステップＳ２０９に相当する動作によって変換後成分合成部４４が、変換後成分Ｃ１＝Ｋ１４を変換後成分逆変換部４５に送信し、ステップＳ２１０に相当する動作によって、変換後成分Ｃ１＝Ｋ１４を変換後成分逆変換部４５が逆離散コサイン変換し、画像データを生成する。

同様の処理によって、変換後成分合成部４４は、変換後成分Ｃ３＝Ｋ７をＳ２０２において取得する。Ｋ７は左下のブロックが非差分ブロックであるので、左下のブロックは、非差分ブロックにおいて縦横とも最大周波数であるＤＣＴ係数の値を０にした上で、前記ブロックのＤＣＴ係数の値で参照変換後成分Ｃ２＝Ｋ１の左下のブロックの値を置き換え、残りの差分ブロックを、ステップＳ２０４、ステップＳ２０５、ステップＳ２０６に相当する動作によって、変換後成分Ｃ３＝Ｋ７と参照変換後成分記憶部４２から取得した変換後成分Ｃ２＝Ｋ１を用いて差分ブロック合成を行い変換後成分Ｃ１＝Ｋ１５（図２６）を得る。次に、ステップＳ２０９に相当する動作によって変換後成分合成部４４が、変換後成分Ｃ１＝Ｋ１５を変換後成分逆変換部４５に送信し、ステップＳ２１０に相当する動作によって、変換後成分Ｃ１＝Ｋ１５を変換後成分逆変換部４５が逆離散コサイン変換し、画像データを生成する。

同様の処理によって、変換後成分合成部４４は、値が全て０のＤＣＴ係数である変換後成分Ｃ３をＳ２０２において取得する。値が全て０のＤＣＴ係数である変換後成分の全ブロックが差分ブロックであるので、ステップＳ２０４、ステップＳ２０５、ステップＳ２０６に相当する動作によって、値が全て０のＤＣＴ係数である変換後成分Ｃ３と参照変換後成分記憶部４２から取得した変換後成分Ｃ２＝Ｋ１を用いて差分ブロック合成を行い、変換後成分Ｃ１＝Ｋ１を得る。次に、ステップＳ２０９に相当する動作によって変換後成分合成部４４が、変換後成分Ｃ１＝Ｋ１を変換後成分逆変換部４５に送信し、ステップＳ２１０に相当する動作によって、変換後成分Ｃ１＝Ｋ１を変換後成分逆変換部４５が逆離散コサイン変換し、画像データを生成する。

同様の処理によって、変換後成分合成部４４は、変換後成分Ｃ３＝Ｋ１０をステップＳ２０２において取得する。Ｋ１０の全ブロックが差分ブロックであるので、ステップＳ２０４、ステップＳ２０５、ステップＳ２０６に相当する動作によって、変換後成分Ｃ３＝Ｋ１０と参照変換後成分記憶部４２から取得した変換後成分Ｃ２＝Ｋ１を用いて差分ブロック合成を行い、変換後成分Ｃ１＝Ｋ１６（図２７）を得る。次に、ステップＳ２０９に相当する動作によって変換後成分合成部４４が、変換後成分Ｃ１＝Ｋ１６を変換後成分逆変換部４５に送信し、ステップＳ２１０に相当する動作によって、変換後成分Ｃ１＝Ｋ１６を変換後成分逆変換部４５が逆離散コサイン変換し、画像データを生成する。

同様の処理によって、変換後成分合成部４４は、変換後成分Ｃ３＝Ｋ１３をステップＳ２０２において取得する。Ｋ１３の全ブロックが差分ブロックであるので、ステップＳ２０４、ステップＳ２０５、ステップＳ２０６に相当する動作によって、変換後成分Ｃ３＝Ｋ１３と参照変換後成分記憶部４２から取得した変換後成分Ｃ２＝Ｋ１を用いて差分ブロック合成を行い、変換後成分Ｃ１＝Ｋ１７（図２８）を得る。次に、ステップＳ２０９に相当する動作によって変換後成分合成部４４が、変換後成分Ｃ１＝Ｋ１７を変換後成分逆変換部４５に送信し、ステップＳ２１０に相当する動作によって、変換後成分Ｃ１＝Ｋ１７を変換後成分逆変換部４５が逆離散コサイン変換し、画像データを生成する。

上記の処理によって得られた変換後成分Ｋ１は、再圧縮される前の変換後成分Ｋ１と同一であり、また上記の処理によって得られた変換後成分Ｋ１４〜Ｋ１７は、Ｋ２、Ｋ５、Ｋ８、Ｋ１１と比較して、人間の視覚で検出しにくい最大周波数成分以外のＤＣＴ係数の差が少ないため、変換後成分Ｋ１及びＫ１４〜Ｋ１７を変換後成分逆変換部４５が逆離散コサイン変換することで、圧縮画像からの画質劣化が少ない画像データを得ることができる。

（４−２）第２の実施例
次に、本発明の第２の実施例を、図面を参照して説明する。かかる実施例は本発明の第３の実施の形態に対応するものである。図２９は、本発明の第２の実施例にかかる画像処理システムを示す図である。図２９に示すように、本実施例は、第１の実施例の構成要素に加えて、参照変換後成分更新装置５０としてパーソナルコンピュータ９１を、参照圧縮画像生成装置６０としてパーソナルコンピュータ９２を、参照変換後成分展開装置７０としてパーソナルコンピュータ９３を備えている。

参照変換後成分更新装置５０であるパーソナルコンピュータ９１は、差分演算部５１、参照候補変換後成分更新部５３、参照候補変換後成分記憶部５４、差分演算部５５及び参照変換後成分更新部５６として機能する中央演算装置９４を、一次変換後成分記憶部５２として機能する磁気ディスク装置９５を備えている。参照圧縮画像生成装置６０であるパーソナルコンピュータ９２は、変換後成分圧縮部６１として機能する中央演算装置９６を、参照圧縮画像記憶部６２として機能する磁気ディスク装置９７を備えている。参照変換後成分展開装置７０であるパーソナルコンピュータ９３は、変換後成分展開部７１として機能する中央演算装置９８を備えている。

本実施例では、あらかじめ参照圧縮画像生成装置６０と記憶装置３０の内部の時計の時刻を同期させておき、再圧縮画像復号装置４０を動作させる際、ユーザ操作によって、参照圧縮画像生成装置６０内の参照圧縮画像記憶部６２に記憶されている参照圧縮画像の記録時刻を参照し、変換後成分展開部４１が取得する再圧縮画像の記録時刻よりも前に記録された参照圧縮画像のうち最も新しい参照圧縮画像から、参照変換後成分展開装置７０を用いて変換後成分を展開し、展開した変換後成分を参照変換後成分記憶部４２に記憶させておく。

本実施例で用いる画像データ、圧縮画像、ブロック、変換後成分、差分データ、差分ブロック、再圧縮画像は、第１の実施例と同じである。また、本実施例における記憶装置８１、圧縮画像再圧縮装置（パーソナルコンピュータ８０）、記憶装置（磁気ディスク装置８２）、及び再圧縮画像復号装置（パーソナルコンピュータ８３）の動作は、第１の実施例と同じである。

本実施例における参照変換後成分判定は、次のように動作する。図３０は、参照変換後成分判定処理方法を示すフローチャートである。参照候補変換後成分更新部５３は、連続画像変化量及び候補更新時変化量の２つの数値データを記憶しており、処理開始時に、候補更新時変化量に適等な数値を代入する（図３０のステップＳ９０１）。本実施例では候補更新時変化量にステップＳ９０１において１５００を代入する。

次に、参照候補変換後成分更新部５３は、図６のステップＳ３０３で生成された差分データから画像変化量を計算し、得られた画像変化量を連続画像変化量に代入する（図２９のステップＳ９０２）。本実施例では、前記画像変化量として、差分データを構成するＤＣＴ係数の差分のうち、直流成分以外の差分の絶対値の合計値を用いる。

ステップＳ９０２の後、連続画像変化量と候補更新時変化量の大きさを比較し、連続画像変化量が候補更新時変化量よりも大きい場合、図３０のステップＳ９０４に進み、連続画像変化量が候補更新時変化量よりも小さい場合、図３０のステップＳ３０５に進む（図３０のステップＳ９０３）。連続画像変化量が候補更新時変化量よりも小さい場合、参照候補変換後成分更新部５３は、候補更新時変化量に連続画像変化量の値を代入し、図６のステップＳ３０１で変換後成分展開部２１から取得した変換後成分Ｃ１を参照候補変換後成分記憶部５４に記憶する（図３０のステップＳ９０４及びＳ９０５）。

ステップＳ９０５の後、参照候補変換後成分更新部５３は、ステップＳ３０１で取得した変換後成分Ｃ１を、一次変換後成分Ｃ４として一次変換後成分記憶部５２に記憶する（図３０のステップＳ３０５）。ステップＳ３０５の後、参照候補変換後成分更新部５３は、Ｓ３０１の動作によって変換後成分展開部２１から変換後成分が送信されるまで待機する（図３０のステップＳ９０６）。

次に、Ａ１〜Ａ６のように時間とともに変化した監視映像を圧縮した圧縮画像が、記憶装置１０に記憶されている場合を例に、本実施例の参照候補変換後成分更新部５３における参照変換後成分判定動作例について説明する。なお、参照変換後成分記憶部２２及び４２には、あらかじめＡ１をＪＰＥＧ符号化することで得られた圧縮画像から生成された変換後成分Ｋ１が、参照変換後成分Ｃ２として記憶されており、一次変換後成分記憶部５２には、値が全て０のＤＣＴ係数である変換後成分Ｃ４があらかじめ記憶されている。

図３１は、Ａ１〜Ａ６の監視映像がＪＰＥＧ符号化されることで得られた圧縮画像を圧縮画像再圧縮装置２０が処理した際の、候補更新時変化量、連続画像変化量、一次変換後成分、参照変換後成分、参照候補変換後成分の変化を示す図である。

ステップＳ３０１に相当する動作によって、画像データＡ１をＪＰＥＧ符号化することで得られた圧縮画像（ＪＰＥＧデータ）から、変換後成分展開部２１によってＫ１に示すような変換後成分Ｃ１が得られる。そして、ステップＳ３０３では、Ｋ１と一次変換後成分である値が全て０のＤＣＴ係数である変換後成分Ｃ４から差分演算部５１が差分データＤ２を生成し、生成した差分データＤ２を構成しているＤＣＴ係数の差分のうち、直流成分以外の差分の絶対値の合計値をＫ１及び値が全て０のＤＣＴ係数である変換後成分Ｃ４の画像変化量として計算し、画像変化量６５１２を得る。次に、連続画像変化量に６５１２を代入するが、ステップＳ９０３において候補更新時変化量である１５００よりも連続画像変化量６５１２が大きいため、ステップＳ３０６の参照候補変換後成分記憶処理をせずにＳ３０５の動作に進み、参照候補変換後成分更新部５３が、変換後成分Ｋ２を一次変換後成分記憶部５２に記憶し、参照候補変換後成分はＫ１のまま変化しない。

次に、ステップＳ３０１ではＡ２をＪＰＥＧ符号化することで得られた圧縮画像から、変換後成分展開部２１によってＫ２に示すような変換後成分Ｃ１が得られる。そして、ステップＳ３０３では、Ｋ２と一次変換後成分Ｃ４＝Ｋ１から差分演算部２３が差分データＤ２を生成し、生成した差分データＤ２を構成しているＤＣＴ係数の差分のうち、直流成分以外の差分の絶対値の合計値をＫ１及びＫ２の画像変化量として計算し、画像変化量４２６８を得る。次に、連続画像変化量に４２６８を代入するが、ステップＳ９０３において候補更新時変化量である１５００よりも連続画像変化量４２６８が大きいため、ステップＳ３０６の参照候補変換後成分記憶処理をせずにステップＳ３０５の動作に進み、参照候補変換後成分更新部５３が、変換後成分Ｋ２を一次変換後成分記憶部５２に記憶し、参照候補変換後成分はＫ１のまま変化しない。

同様に、Ｓ３０１でＡ３をＪＰＥＧ符号化することで得られた圧縮画像から、変換後成分展開部２１によってＫ５に示すような変換後成分が得られるが、Ｋ５と一次変換後成分であるＫ２の差分データから生成された連続画像変化量は８４７２となり、候補更新時変化量１５００よりも大きいため、ステップＳ３０６の参照候補変換後成分記憶処理をせずにＳ３０５の動作に進み、参照候補変換後成分更新部５３が、変換後成分Ｋ５を一次変換後成分記憶部５２に記憶し、参照候補変換後成分はＫ１のまま変化しない。

さらに、Ｓ３０１でＡ４をＪＰＥＧ符号化することで得られた圧縮画像から、変換後成分展開部２１によってＫ１に示すような変換後成分が得られるが、Ｋ１と一次変換後成分であるＫ５の差分データから生成された連続画像変化量は４２０４となり、候補更新時変化量１５００よりも大きいため、Ｓ３０６の参照候補変換後成分記憶処理をせずにＳ３０５の動作に進み、参照候補変換後成分更新部５３が、変換後成分Ｋ１を一次変換後成分記憶部５２に記憶し、参照候補変換後成分はＫ１のまま変化しない。

次に、Ｓ３０１でＡ５をＪＰＥＧ符号化することで得られた圧縮画像から、変換後成分展開部２１によってＫ８に示すような変換後成分を得る。ステップＳ９０２に相当する動作によって、Ｋ８と一次変換後成分であるＫ１の差分データから生成された連続画像変化量は１３５１であり、候補更新時変化量１５００よりも小さいため、Ｓ９０４に相当する動作として候補更新時変化量に連続画像変化量１３５１を代入し、Ｓ３０６の参照候補変換後成分記憶処理を行い、参照候補変換後成分記憶部５４にＫ８が記憶され、Ｓ３０５の動作として、参照候補変換後成分更新部５３が、変換後成分Ｋ８を一次変換後成分記憶部５２に記憶する。

次に、Ｓ３０１でＡ６をＪＰＥＧ符号化することで得られた圧縮画像から、変換後成分展開部２１によってＫ１１に示すような変換後成分を得る。ステップＳ９０２に相当する動作によって、Ｋ１１と一次変換後成分であるＫ８の差分データから生成された連続画像変化量は１３８７であり、候補更新時変化量１３５１よりも大きいため、Ｓ３０６の参照候補変換後成分記憶処理をせずにステップＳ３０５の動作に進み、参照候補変換後成分更新部５３が、Ｓ３０５の動作として変換後成分Ｋ１１を一次変換後成分記憶部５２に記憶し、参照候補変換後成分はＫ８のまま変化しない。

次に、Ａ１〜Ａ６のように時間とともに変化した監視映像を圧縮した圧縮画像が、記憶装置１０に記憶されている場合を例に、本実施例の参照変換後成分更新部５６における参照変換後成分更新動作例について説明する。本実施例においては、参照変換後成分更新部５６は、参照変換後成分更新閾値Ｔｈ１＝１０００を記憶し、参照変換後成分更新を行う。

Ｓ３０１でＡ１〜Ａ６をＪＰＥＧ符号化することで得られた圧縮画像から、変換後成分展開部２１が生成した変換後成分に対して、参照候補変換後成分更新部５３が処理を完了した後に、ユーザ操作によって参照変換後成分更新部５６が動作したとする。

Ｓ４０３に相当する動作によって、差分演算部５５が、参照変換後成分であるＫ１と参照候補変換後成分であるＫ８の差分データを生成し、ステップＳ４０５に相当する動作によって、生成した差分データから、参照変換後成分更新部５６が画像変化量１３５１を求める。画像変化量１３５１は参照変換後成分更新閾値Ｔｈ１１０００を超えるので、参照変換後成分更新部５６は、ステップＳ４０６に相当する動作によって、変換後成分Ｋ８を参照変換後成分記憶部２２に記憶する。

以上の動作により、Ａ４〜Ａ６のような変化の少ない連続画像の中から参照候補変換後成分を選択し、さらに参照候補変換後成分が参照変換後成分に比べて変化が大きい場合に参照候補変換後成分を更新することで、画像全体の輝度の変化等が時間とともに画面全体に変化が生じた場合でも非差分ブロックあるいは差分ブロックに置換された変換後成分においてより多くのＤＣＴ係数を０にすることができる。

また、上記の処理を圧縮画像を画像データまで復号してから行うのではなく、復号処理の途中で得られる変換後成分であるＤＣＴ係数を用いて行うことで、従来技術に比べて再圧縮に必要な処理量を削減できる。

以上、第１及び第２の実施例では、画像データとして縦１６画素横１６画素の２４ビットＲＧＢカラーのビットマップ画像を、圧縮画像として縦１６画素横１６画素の２４ビットＲＧＢカラーのＪＰＥＧデータを用いたが、その他の画素数、色空間、画像フォーマットを用いてもよい。また、第１及び第２の実施例では、ブロックとして縦８画素横８画素の矩形領域を用いたが、その他の画素数の矩形領域あるいは矩形以外の円形領域等を用いてもよい。

さらに、第１及び第２の実施例では、変換後成分として、画像データのブロック領域におけるＤＣＴ係数を、画像を構成する全部ロック分集めた集合を用いたが、ＤＣＴ係数以外のウェーブレット係数等の直交変換によって得られた成分を用いてもよい。さらにまた、第１及び第２の実施例では、差分データとして、変換後成分であるＤＣＴ係数の集合２つに対して、ブロック毎に同一の周波数成分間の差を２で割った値の集合を用いたが、差の代わりに割り算やビット列の差分等、２つの集合の差を求めるその他の演算方法を用いてもよく、また、変換後成分の値の範囲に収まるための演算として２で割る以外の方法を用いてもよい。

また、第１及び第２の実施例では、非差分ブロック及び差分ブロックを識別する際、ＤＣＴ係数の値がＪＰＥＧ符号化処理の途中で行われる量子化処理において、最大周波数成分の量子化処理で使用される量子化ステップの最大値（例えば９９）の場合は、前記ブロックを非差分ブロック、前記最大周波数成分の値が０である場合は、差分ブロックであるとしたが、その他の周波数成分を用い、用いた周波数で第１及び第２の実施例で用いた値とは異なる値を用いて識別してもよい。

さらに、第１の実施例では、参照変換後成分記憶部２２及び４２にはあらかじめ変換後成分Ｋ１が記憶されている場合について説明したが、ユーザ操作等によって参照変換後成分記憶部２２及び４２に変換後成分が記憶されていてもよい。さらにまた、第２の実施例では、参照変換後成分更新部５６の動作をユーザ操作によって行ったが、変換後成分展開部２１が処理した圧縮画像の枚数を条件として自動的に実行されるようにしてもよい。

また、第２の実施例では、ユーザ操作によって参照変換後成分展開装置７０が操作されたが、同様の操作をパーソナルコンピュータ等を用いて自動的に行ってもよい。さらに、第１及び第２の実施例では、記憶装置１０であるパーソナルコンピュータ８０から圧縮画像再圧縮装置２０が圧縮画像を取得する場合について説明した、カメラで画像データ撮影した直後に撮影した画像データを圧縮し、圧縮の結果得られた圧縮画像を、圧縮画像再圧縮装置２０が取得してもよい。

なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。

例えば、上述の実施の形態では、ハードウェアの構成として説明したが、これに限定されるものではなく、任意の処理を、ＣＰＵ（Central Processing Unit）にコンピュータプログラムを実行させることにより実現することも可能である。この場合、コンピュータプログラムは、記録媒体に記録して提供することも可能であり、また、インターネットその他の伝送媒体を介して伝送することにより提供することも可能である。

本発明の第１の実施の形態にかかる画像処理システムの構成を示すブロック図である。 本発明の第２の実施の形態にかかる画像処理システムの構成を示すブロック図である。 本発明の第２の実施の形態にかかる画像処理システムの圧縮画像再圧縮処理を示すフローチャートである。 本発明の第２の実施の形態にかかる画像処理システムの再圧縮画像復号処理を示すフローチャートである。 本発明の第２の実施の形態にかかる画像処理システムを示すブロック図である。 本発明の第３の実施の形態における参照候補変換後成分更新動作を示すフローチャートである。 本発明の第３の実施の形態における参照変換後成分更新動作を示すフローチャートである。 本発明の第１の実施例にかかる画像処理システムを示す図である。 本発明の第１の実施例における変換後成分の例を示す図である。 本発明の第１の実施例における監視映像の例を示す図である。 本発明の第１の実施例にける差分ブロック決定および置換処理の動作を示すフローチャートである。 本発明の第１の実施例における監視映像の変化の様子を示す図である。 本発明の第１の実施例における変換後成分Ｋ２の例を示す図である。 本発明の第１の実施例における変換後成分Ｋ３の例を示す図である。 本発明の第１の実施例における変換後成分Ｋ４の例を示す図である。 本発明の第１の実施例における変換後成分Ｋ５の例を示す図である。 本発明の第１の実施例における変換後成分Ｋ６の例を示す図である。 本発明の第１の実施例における変換後成分Ｋ７の例を示す図である。 本発明の第１の実施例における変換後成分Ｋ８の例を示す図である。 本発明の第１の実施例における変換後成分Ｋ９の例を示す図である。 本発明の第１の実施例における変換後成分Ｋ１０の例を示す図である。 本発明の第１の実施例における変換後成分Ｋ１１の例を示す図である。 本発明の第１の実施例における変換後成分Ｋ１２の例を示す図である。 本発明の第１の実施例における変換後成分Ｋ１３の例を示す図である。 本発明の第１の実施例における変換後成分Ｋ１４の例を示す図である。 本発明の第１の実施例における変換後成分Ｋ１５の例を示す図である。 本発明の第１の実施例における変換後成分Ｋ１６の例を示す図である。 本発明の第１の実施例における変換後成分Ｋ１７の例を示す図である。 本発明の第２の実施例にかかる画像処理システムを示す図である。 本発明の第２の実施例における参照変換後成分判定処理方法を示すフローチャートである。 Ａ１〜Ａ６の監視映像がＪＰＥＧ符号化されることで得られた圧縮画像を圧縮画像再圧縮装置が処理した際の、候補更新時変化量、連続画像変化量、一次変換後成分、参照変換後成分、参照候補変換後成分の変化を示す図である。

符号の説明

１ 画像処理システム
１０ 記憶装置
１１ 圧縮画像記憶部
２０ 圧縮画像再圧縮装置
２１ 変換後成分展開部
２２ 参照変換後成分記憶部
２３ 差分演算部
２４ ブロック種別判定部
２５ 変換後成分圧縮部
３０ 記憶装置
３１ 再圧縮画像記憶部
４０ 再圧縮画像復号装置
４１ 変換後成分展開部
４２ 参照変換後成分記憶部
４３ 加算演算部
４４ 変換後成分合成部
４５ 変換後成分逆変換部
４６ 画像データ記憶部
５０ 参照変換後成分更新装置
５１ 差分演算部
５２ 一次変換後成分記憶部
５３ 参照候補変換後成分更新部
５４ 参照候補変換後成分記憶部
５５ 差分演算部
５６ 参照変換後成分更新部
６０ 参照圧縮画像生成装置
６１ 変換後成分圧縮部
６２ 参照圧縮画像記憶部
７０ 参照変換後成分展開装置
７１ 変換後成分展開部
８０、８３、９１−９３ パーソナルコンピュータ
８１、８２、８５、８７、９５、９７ 磁気ディスク装置
８４、８６、９４、９６、９８ 中央演算装置

Claims (12)

1. 圧縮画像を復号する途中で得られる中間データと、参照圧縮画像を復号する途中で得られる参照中間データとの差分を計算する差分演算部と、
   計算した差分に含まれる情報量が前記中間データに含まれる情報量より少ない場合に前記差分を圧縮することで、圧縮画像を再圧縮する圧縮部と、
   前後の前記圧縮画像間の差分が所定の値より小さい圧縮画像を前記参照中間データの候補として選択する参照候補中間データ更新部と、
   前記参照中間データの候補と現在の参照中間データの間の絵としての変化が所定の値より大きい場合に、前記参照中間データの候補を新しい参照中間データとして更新する参照中間データ更新部とを有し、
   前記圧縮部は、前記参照中間データと前記差分を用いて、前記中間データの中で前記差分に置換することで情報量が削減できる箇所を特定し、特定した箇所を前記差分に置換するブロック種別判定部を有する、圧縮画像再圧縮装置。
2. 前記参照圧縮画像は、複数の圧縮画像に共通に含まれている情報を含む圧縮画像であることを特徴とする請求項１記載の圧縮画像再圧縮装置。
3. 前記ブロック種別判定部は、前記中間データを復号処理の一部の処理によって復号した画像内の情報で人間の視覚で検出しにくい情報に相当する前記中間データ内の情報を用いて、前記置換された差分であるか否かを識別する
   ことを特徴とする請求項１または請求項２に記載の圧縮画像再圧縮装置。
4. 前記圧縮画像を復号する途中で得られる中間データとして、画像を直交変換することで得られるデータを用いる
   ことを特徴とする請求項１乃至３のいずれか１項記載の圧縮画像再圧縮装置。
5. 圧縮画像を復号する途中で得られる中間データと、参照圧縮画像を復号する途中で得られる参照中間データとの差分を計算する差分演算工程と、
   計算した差分に含まれる情報量が前記中間データに含まれる情報量より少ない場合に前記差分を圧縮することで、圧縮画像を再圧縮する圧縮工程と、
   前後の前記圧縮画像間の差分が所定の値より小さい圧縮画像を前記参照変中間データの候補として選択する参照候補中間データ更新工程と、
   前記参照中間データの候補と現在の参照中間データの間の絵としての変化が所定の値より大きい場合に、前記参照中間データの候補を新しい参照中間データとして更新する参照中間データ更新工程とを有し、
   前記差分演算工程では、前記参照中間データと前記差分を用いて、前記中間データの中で前記差分に置換することで情報量が削減できる箇所を特定し、特定した箇所を前記差分に置換するブロック種別判定工程を有する、圧縮画像再圧縮方法。
6. 前記参照圧縮画像は、複数の圧縮画像に共通に含まれている情報を含む圧縮画像であることを特徴とする請求項５記載の圧縮画像再圧縮方法。
7. 前記ブロック種別判定工程では、前記中間データを復号処理の一部の処理によって復号した画像内の情報で人間の視覚で検出しにくい情報に相当する前記中間データ内の情報を用いて、前記置換された差分であるか否かを識別することを特徴とする請求項５または請求項６に記載の圧縮画像再圧縮方法。
8. 前記圧縮画像を復号する途中で得られる中間データとして、画像を直交変換することで得られるデータを用いる
   ことを特徴とする請求項５乃至７のいずれか１項記載の圧縮画像再圧縮方法。
9. 所定の動作をコンピュータに実行させるためのプログラムであって、
   圧縮画像を復号する途中で得られる中間データと、参照圧縮画像を復号する途中で得られる参照中間データとの差分を計算する差分演算工程と、
   計算した差分に含まれる情報量が前記中間データに含まれる情報量より少ない場合に前記差分を圧縮することで、圧縮画像を再圧縮する圧縮工程と、
   前後の前記圧縮画像間の差分が所定の値より小さい圧縮画像を前記参照変中間データの候補として選択する参照候補中間データ更新工程と、
   前記参照中間データの候補と現在の参照中間データの間の絵としての変化が所定の値より大きい場合に、前記参照中間データの候補を新しい参照中間データとして更新する参照中間データ更新工程とを有し、
   前記差分演算工程では、前記参照中間データと前記差分を用いて、前記中間データの中で前記差分に置換することで情報量が削減できる箇所を特定し、特定した箇所を前記差分に置換するブロック種別判定工程を有する、プログラム。
10. 前記参照圧縮画像は、複数の圧縮画像に共通に含まれている情報を含む圧縮画像であることを特徴とする請求項９記載のプログラム。
11. 前記ブロック種別判定工程では、前記中間データを復号処理の一部の処理によって復号した画像内の情報で人間の視覚で検出しにくい情報に相当する前記中間データ内の情報を用いて、前記置換された差分であるか否かを識別することを特徴とする請求項９または請求項１０に記載のプログラム。
12. 前記圧縮画像を復号する途中で得られる中間データとして、画像を直交変換することで得られるデータを用いる
    ことを特徴とする請求項９乃至１１のいずれか１項記載のプログラム。

Images