JPH08307865A

JPH08307865A - 画像処理方法

Info

Publication number: JPH08307865A
Application number: JP13754395A
Authority: JP
Inventors: Shinichi Hirata; 晋一平田; Akifumi Arayashiki; 明文荒屋敷
Original assignee: Kokusai Electric Corp
Current assignee: Kokusai Electric Corp
Priority date: 1995-05-12
Filing date: 1995-05-12
Publication date: 1996-11-22

Abstract

(57)【要約】【目的】隣接画素間の相関性を利用して冗長度を削減
し、圧縮効率を向上させることができる画像処理方法を
提供する。【構成】原画像Ａをサブサンプリングした各サブサン
プリング画像Ｂ1,Ｂ2,Ｂ3,Ｂ4 の画素値の平均値で構成
される平均値画像Ｂ'1と、その平均値画像Ｂ'1との差分
をとった差分画像Ｂ'2，Ｂ'3，Ｂ'4とを作成して冗長度
の削減する画像変換を行い、平均値画像Ｂ'1について
は、更にサブサンプリングして、冗長度を削減する画像
変換を行い、以上の行程を多段階で行い、最終的な平均
値画像Ｂ'''1と段階的な差分画像Ｂ'2〜Ｂ'4，Ｂ''2 〜
Ｂ''4 ，Ｂ'''2〜Ｂ'''4とを量子化及び可変長符号化す
る画像処理方法である。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像を圧縮のために符
号化し、伸長のために復号化する画像処理方法に係り、
特に静止画像において圧縮効率を向上させることができ
る画像処理方法に関する。

【０００２】

【従来の技術】静止画像の符号化方式として、ＪＰＥＧ
（Joint Photographic coding Experts Group ）方式が
知られている。このＪＰＥＧ方式の概略を図１２を使っ
て説明する。図１２は、ＪＰＥＧ方式の符号化／復号化
を説明するための概略構成ブロック図である。

【０００３】まず、ＪＰＥＧ方式の符号化は、原画像
を、例えば、８×８画素のブロックに分割し、ブロック
毎にブロックデータを離散コサイン変換（ＤＣＴ）を行
い、変換後の係数を量子化（Ｑ）し、量子化後の係数を
可変長符号化（ＶＬＣ）して符号化データを作成するも
のである。この符号化データは、記憶媒体に格納された
り、伝送路に送出されたりするものである。

【０００４】また、ＪＰＥＧ方式の復号化は、上記符号
化された符号化データを可変長復号化（ＶＬＤ）し、逆
量子化（ＩＱ）し、逆離散コサイン変換（ＩＤＣＴ）し
てブロックのデータを得るようになっている。

【０００５】尚、ＪＰＥＧ方式については、インターフ
ェース「カラー静止画像の国際標準符号化方式」遠藤
俊明著１９９１年１２月号ｐ１６０〜ｐ１８２に
具体的に記載されている。

【０００６】

【発明が解決しようとする課題】しかしながら、上記従
来の静止画像の処理方法では、圧縮率が高くなると周波
数空間上での誤差が大きくなり、更に伸長のための復号
化において再生画像の劣化を招くという問題点があっ
た。

【０００７】また、ある画素が隣接する他の画素との間
に相関関係が高いという特性を充分利用しているとは言
えず、その相関関係を利用して圧縮効率を高めていない
という問題点があった。

【０００８】具体的には、図１３に示すように、一般
に、任意の１画素（pixel ）に対して、隣接する上下左
右の４近傍画素、若しくは周囲の８近傍画素で画素同士
に相関関係（相関性）が高い（よく似ている）ことが知
られており、この相関性を利用できれば圧縮率向上が期
待できるものである。

【０００９】本発明は上記実情に鑑みて為されたもの
で、隣接画素間の相関性を利用して冗長度を削減し、圧
縮効率を向上させることができる画像処理方法を提供す
ることを目的とする。

【００１０】

【課題を解決するための手段】上記従来例の問題点を解
決するための請求項１記載の発明は、静止画像を符号化
し、符号化されたデータを復号化して静止画像を再生す
る画像処理方法において、前記静止画像の画素の画素番
号を整数で割った余りと商でグループ分けするサブサン
プリングを行い、前記グループに分けられた部分画像を
サブサンプリング画像とし、前記全てのサブサンプリン
グ画像で相対的な画素位置にある画素の平均値を計算
し、前記平均値で構成される部分画像を平均値画像とし
て作成して前記サブサンプリング画像の１つの位置に割
り当て、前記平均値画像と割り当てられていない他のサ
ブサンプリング画像との差分を各々計算して差分画像を
作成し、前記各々の差分画像を前記他のサブサンプリン
グ画像の対応する位置に割り当てて符号化を行うことを
特徴としている。

【００１１】上記従来例の問題点を解決するための請求
項２記載の発明は、画像処理方法において、請求項１記
載の画像処理方法で符号化された画像データを復号化
し、前記復号化された各々の差分画像に前記復号化され
た平均値画像を対応画素毎に加算して各々の加算画像を
形成し、前記平均値画像の各画素を前記加算画像の数分
整数倍して前記全ての加算画像との差分を計算した新た
な画像を形成し、前記新たな画像と前記加算画像を請求
項１におけるサブサンプリングの逆の方法で画素の並び
替えを行って静止画像を再生することを特徴としてい
る。

【００１２】上記従来例の問題点を解決するための請求
項３記載の発明は、画像処理方法において、請求項１記
載の平均値画像をサブサンプリングして次段のサブサン
プリング画像を形成し、前記全ての次段のサブサンプリ
ング画像で相対的な画素位置にある画素の平均値を計算
し、前記平均値で構成される部分画像を次段の平均値画
像として作成して前記次段のサブサンプリング画像の１
つの位置に割り当て、前記次段の平均値画像と割り当て
られていない他の次段のサブサンプリング画像との差分
を各々計算して次段の差分画像を作成し、前記各々の次
段の差分画像を前記他の次段のサブサンプリング画像の
対応する位置に割り当て、更に前記次段の平均値画像を
上記同様の処理を繰り返して得られる最終段の平均値画
像と段階的な差分画像との符号化を行うことを特徴とし
ている。

【００１３】上記従来例の問題点を解決するための請求
項４記載の発明は、画像処理方法において、請求項３記
載の画像処理方法で符号化された画像データを復号化
し、前記復号化された最終段の各々の差分画像に前記復
号化された最終段の平均値画像を対応画素毎に加算して
各々の加算画像を形成し、前記最終段の平均値画像の各
画素を前記加算画像の数分整数倍して前記全ての加算画
像との差分を計算した新たな画像を形成し、前記新たな
画像と前記加算画像を請求項１におけるサブサンプリン
グの逆の方法で画素の並び替えを行い画像を合成し、更
に前記合成画像を上記同様の処理を繰り返して静止画像
を再生することを特徴としている。

【００１４】

【作用】請求項１，２記載の発明によれば、原画像をサ
ブサンプリングし、そのサブサンプリング画像から平均
値画像と差分画像を形成し、それら画像を符号化し、ま
た、復号化して平均値画像と差分画像からサブサンプリ
ング画像を復元し、サブサンプリングとは逆の方法で画
素の並び替えを行って原画像を再生する画像処理方法と
しているので、サブサンプリングにより隣接画素間の相
関性を利用し、平均値画像とその差分画像とすることで
冗長度を削減できる。

【００１５】請求項３，４記載の発明によれば、請求項
１におけるサブサンプリングと平均値画像及び差分画像
を形成する処理を多段階に繰り返して符号化し、また、
請求項２における復号化して最終段の平均値画像と最終
段の差分画像から新たな画像と加算画像を形成してサブ
サンプリングの逆の方法で画像を合成する処理を多段階
に繰り返して画像を再生する画像処理方法としているの
で、サブサンプリングにより隣接画素間の相関性を利用
し、最終段の平均値画像と段階的な差分画像とすること
で冗長度を削減し、繰り返し処理の回数により圧縮効率
を向上させることができる。

【００１６】

【実施例】本発明の一実施例について図面を参照しなが
ら説明する。本発明の一実施例に係る画像処理方法は、
原画像を垂直方向又は水平方向若しくは垂直及び水平方
向に画素毎に画像を分割（サブサンプリング）し、複数
に分割された画像（サブサンプリング画像）について、
各サブサンプリング画像の画素値の平均値で構成される
平均値画像と、その平均値画像との差分をとった差分画
像とを作成して冗長度の削減する画像変換を行い、平均
値画像については、更にサブサンプリングして、冗長度
を削減する画像変換を行い、以上の行程を多段階で行
い、最終的な平均値画像と段階的な差分画像とを量子化
及び可変長符号化するもので、隣接する画素間の空間的
相関性を利用して符号化し、圧縮効率を向上させること
ができるものである。

【００１７】まず、本発明の一実施例に係る画像処理方
法の符号化における画像変換方法について、図１〜図４
を使って説明する。図１は、本発明の一実施例に係る画
像処理方法における画像変換方法の中のサブサンプリン
グの例を示す説明図であり、図２は、本実施例の画像変
換方法における冗長度の削減の例を示す説明図であり、
図３は、本実施例の画像変換方法において多段階に冗長
度の削減を行う例を示す説明図であり、図４は、本実施
例の画像変換方法の概念を示す説明図である。

【００１８】本発明の一実施例に係る画像処理方法の符
号化における画像変換方法の概略は、まず、符号化しよ
うとする原画像を複数の画像に分割するサブサンプリン
グを行ってサブサンプリング画像を作成し、次に複数に
分割されたサブサンプリング画像から平均値をとった平
均値画像と、平均値画像との差分をとった差分画像とを
作成して冗長度を削減し、平均値画像を更にサブサンプ
リングして冗長度を削減し、このサブサンプリングと冗
長度の削減とを多段階に行う方法である。

【００１９】ここで、上記サブサンプリング画像の作成
方法について３つの例を用いて説明する。第１の例とし
て、１フレームの静止画像（原画像）が垂直方向にｋ本
の画素ラインから構成されている場合に、ｋ本の画素ラ
インのライン番号を整数ｎで割った時の余りでｎ個にグ
ループ分けし、更に各グループ内でライン毎の画素デー
タを除算結果の商の小さい順で配列してｎ個の部分画像
（サブサンプリング画像）を作成するものである。

【００２０】第２の例として、原画像が水平方向にｓ個
の画素数で構成されている場合に、ｓ個の画素の画素番
号を整数ｍで割った時の余りでｍ個にグループ分けし、
更に各グループ内で画素毎の画素データを除算結果の商
の小さい順で配列してｍ個の部分画像（サブサンプリン
グ画像）を作成するものである。

【００２１】第３の例として、原画像が水平方向にｓ個
の画素数で構成され、水平方向の画素ラインが垂直方向
にｔ本で構成されている場合に、ｓ個の画素の画素番号
を整数ｍで割った時の余りとｔ本の画素ラインのライン
番号をｎで割った時の余りでｍ×ｎ個にグループ分け
し、更に各グループ内で画素毎の画素データを除算結果
の商の小さい順で配列してｍ×ｎ個の部分画像（サブサ
ンプリング画像）を作成するものである。

【００２２】本実施例の説明では、図１に示すように、
原画像Ａを垂直方向、水平方向両方向に２×２で分割
し、原画像の１／４の大きさの４つのサブサンプリング
画像を作成する例で説明する。つまり、水平方向にＷ画
素、垂直方向にＨ画素で構成される原画像Ａについて、
各画素値をｐ（ｘ，ｙ）とすると、サブサンプリング画
像Ｂ1,Ｂ2,Ｂ3,Ｂ4 を作成する方法は、次式のようにな
る。Ｂ1 ＝ａ(i,j) ＝ｐ(2i,2j) Ｂ2 ＝ｂ(i,j) ＝ｐ(2i+1,2j) Ｂ3 ＝ｃ(i,j) ＝ｐ(2i,2j+1) Ｂ4 ＝ｄ(i,j) ＝ｐ(2i+1,2j+1) 但し、０≦ｉ＜Ｗ／２、０≦ｊ＜Ｈ／２である。

【００２３】次に、本実施例の画像変換方法における冗
長度の削減方法は、図２に示すように、サブサンプリン
グ画像Ｂ1,Ｂ2,Ｂ3,Ｂ4 において相対的に同位置にある
４画素の平均値で構成される平均値画像Ｂ'1と、平均値
画像Ｂ'1と各サブサンプリング画像Ｂ2,Ｂ3,Ｂ4 との差
分画像Ｂ'2，Ｂ'3，Ｂ'4を作成するもので、具体的に
は、次式を用いて画素値を算出する。Ｂ'1＝ａ'(i,j)＝｛ａ(i,j)+ｂ(i,j)+ｃ(i,j)+ｄ(i,j)
｝／４Ｂ'2＝ｂ'(i,j)＝ｂ(i,j) −ａ'(i,j) Ｂ'3＝ｃ'(i,j)＝ｃ(i,j) −ａ'(i,j) Ｂ'4＝ｄ'(i,j)＝ｄ(i,j) −ａ'(i,j)

【００２４】例えば、図２のサブサンプリング画像Ｂ1,
Ｂ2,Ｂ3,Ｂ4 の各左上の画素ａ(0,0),ｂ(0,0),ｃ(0,0),
ｄ(0,0) から、平均値をとった画素値を平均値画像Ｂ'1
の左上の画素値ａ'(0,0)とする。また、差分画像Ｂ'2の
左上の画素値ｂ'(0,0)は、サブサンプリング画像Ｂ2 の
左上の画素値ｂ(0,0) から平均値ａ'(0,0)を引いた値に
なり、同様に差分画像Ｂ'3の左上の画素値ｃ'(0,0)は、
サブサンプリング画像Ｂ3 の左上の画素値ｃ(0,0) から
平均値ａ'(0,0)を引いた値になり、差分画像Ｂ'4の左上
の画素値ｄ'(0,0)は、サブサンプリング画像Ｂ4 の左上
の画素値ｄ(0,0) から平均値ａ'(0,0)を引いた値にな
る。そして、以下同様にサブサンプリング画像Ｂ1,Ｂ2,
Ｂ3,Ｂ4 において相対的に同位置にある４画素について
平均値と差分を算出して変換後の画像を求める。

【００２５】ここで、差分画像Ｂ'2，Ｂ'3，Ｂ'4は、エ
ッジなど急激に画素値が変化する場合は大きな値になる
が、その他の場合は、値が０付近の値をとる。そこで、
差分画像Ｂ'2，Ｂ'3，Ｂ'4に対して量子化、可変長符号
化を施すことにより、情報量を削減することができる。

【００２６】一方、４画素の平均値で構成される平均値
画像Ｂ'1は、原画像Ａを１／４の大きさに縮小した画像
といってもよく、情報量はかなり削減されているが、更
に情報量を削減するために、第２段階として、平均値画
像Ｂ'1について、前述したサブサンプリングを行って更
に画像を４分割し、前述した冗長度の削減を行って、図
３に示すように、画像Ｂ'1における平均値画像Ｂ''1
と、差分画像Ｂ''2,Ｂ''3,Ｂ''4 を作成する。そして、
差分画像Ｂ''2,Ｂ''3,Ｂ''4 に対して量子化、可変長符
号化を施す。

【００２７】そして、更に、情報量を削減するために
は、第３段階として、平均値画像Ｂ''1 について、前述
したサブサンプリングを行って画像を４分割し、更に前
述した冗長度の削減を行って、図３に示すように、画像
Ｂ''1 における平均値画像Ｂ'''1と、差分画像Ｂ'''2,
Ｂ'''3, Ｂ'''4を作成して、平均値画像Ｂ'''1と差分画
像Ｂ''2,Ｂ''3,Ｂ''4 に対して量子化、可変長符号化を
施す。

【００２８】このようにして、原画像Ａを変換する処理
を行った結果は、図４に示すように、階層的に表現でき
る画像となる。尚、何段階の変換を行うかは任意であ
り、要求される圧縮率と処理スピードとのかねあいから
決定するものである。

【００２９】次に、上記の本実施例の画像変換方法を用
いて符号化した符号化データを復号化する際の画像逆変
換方法について、図５を使って説明する。図５は、本実
施例に係る画像処理方法の復号化における画像逆変換方
法の中の冗長度復元の例を示す説明図である。尚、図５
では、平均値画像Ｂ'1と差分画像Ｂ'2，Ｂ'3，Ｂ'4から
サブサンプリング画像Ｂ1,Ｂ2,Ｂ3,Ｂ4 を復元する例を
示している。

【００３０】本実施例の画像処理方法の復号化における
画像逆変換方法の概略は、まず、平均値画像と複数の差
分画像から冗長度の復元を行ってサブサンプリング画像
を復元し、次に復元されたサブサンプリング画像からサ
ブサンプリングの逆の操作である画像の合成を行い、こ
の冗長度の復元と画像の合成を多段階に行って原画像を
復元する方法である。

【００３１】まず、冗長度の復元方法は、図５に示すよ
うに、平均値画像Ｂ'1と差分画像Ｂ'2，Ｂ'3，Ｂ'4にお
いて相対的に同位置にある４画素から、次式を用いて復
元するサブサンプリング画像の画素値を算出する。Ｂ2 ＝ｂ(i,j) ＝ｂ'(i,j)+ａ'(i,j) Ｂ3 ＝ｃ(i,j) ＝ｃ'(i,j)+ａ'(i,j) Ｂ4 ＝ｄ(i,j) ＝ｄ'(i,j)+ａ'(i,j) Ｂ1 ＝ａ(i,j) ＝４×ａ'(i,j)−ｂ(i,j) −ｃ(i,j) −
ｄ(i,j)

【００３２】例えば、図５に示すように、サブサンプリ
ング画像Ｂ2 は、差分画像Ｂ'2の画素値ｂ'(i,j)と平均
値画像Ｂ'1の画素値ａ'(i,j)とを加算した画素値で構成
し、同様にサブサンプリング画像Ｂ3 は、差分画像Ｂ'3
の画素値ｃ'(i,j)と平均値画像Ｂ'1の画素値ａ'(i,j)と
を加算した画素値で構成し、サブサンプリング画像Ｂ4
は、差分画像Ｂ'4の画素値d'(i,j)と平均値画像Ｂ'1の
画素値ａ'(i,j)とを加算した画素値で構成する。つま
り、サブサンプリング画像Ｂ2,Ｂ3,Ｂ4 は、平均値画像
Ｂ'1に差分画像Ｂ'2，Ｂ'3，Ｂ'4を加算した加算画像と
なっている。

【００３３】そして、最後に、サブサンプリング画像Ｂ
1 は、平均値画像Ｂ'1の画素値ａ'(i,j)を４倍した画素
値から上記で復元したサブサンプリング画像Ｂ2 の画素
値ｂ(i,j) とサブサンプリング画像Ｂ3 の画素値ｃ(i,
j) とサブサンプリング画像Ｂ4 の画素値ｄ(i,j) とを
減算した画素値で構成する。つまり、サブサンプリング
画像Ｂ1 は、平均値画像Ｂ'1とサブサンプリング画像Ｂ
2,Ｂ3,Ｂ4 から新たな画像を形成している。

【００３４】次に、復元されたサブサンプリング画像か
ら原画像を合成する画像合成方法は、前述した符号化に
おけるサブサンプリングの逆の操作であり、各サブサン
プリング画像の画素が元の順番になるように並び替えて
合成し、本実施例では４倍の大きさの画像を作成するよ
うになっている。具体的には、復元されたサブサンプリ
ング画像Ｂ1,Ｂ2,Ｂ3,Ｂ4 を合成して、原画像Ａが生成
される。

【００３５】尚、ここでは、逆変換方法の詳細について
１段階の逆変換しか記述しないが、符号化部の画像変換
において多段階で変換を行った場合、例えば図４に示し
た例で説明すると、最後に得られた平均値画像Ｂ'''1と
差分画像Ｂ'''2，Ｂ'''3，Ｂ'''4とから逆変換によって
前段階の平均値画像Ｂ''1 を生成し、その平均値画像
Ｂ''1 と前段階の差分画像Ｂ''2 ，Ｂ''3 ，Ｂ''4 とか
ら更に前段階の平均値画像Ｂ'1を生成し、これを繰り返
して原画像Ａを生成するようになっている。

【００３６】次に、本実施例の画像処理方法を実現する
符号化装置について図６を使って説明する。図６は、本
実施例の画像処理方法を実現する符号化装置の構成ブロ
ック図である。本実施例の符号化装置は、図６に示すよ
うに、画像変換器１１と、量子化器１２と、可変長符号
化器１３と、マルチプレクサ（Multiplexer:ＭＰＸ）１
４とから構成されている。

【００３７】次に、本実施例の符号化装置の各部につい
て具体的に説明する。量子化器１２は、量子化テーブル
を用いて量子化するものであり、可変長符号化器１３
は、符号化テーブルを用いて符号化するものであり、い
ずれも一般的に知られている技術を用いて実現するもの
である。尚、量子化器１２及び可変長符号化器１３は、
入出力端子がそれぞれ４つ備えられており、最大４つの
データの入力／処理／出力が並列に可能となっている。
ＭＰＸ１４は、可変長符号化器１３の４つの出力端子か
ら出力される符号化データを一時的に格納して合成し、
誤り訂正符号等を付加して、パケット化して出力するも
のである。

【００３８】また、本実施例の特徴部分である画像変換
器１１は、図１〜図４で説明した画素間の相関性を利用
してサブサンプリングし、冗長度を削減する変換を多段
階に繰り返し行うものである。更に、画像変換器１１内
部の回路構成について図７を使って説明する。図７は、
本実施例の画像変換器１１の概略回路構成図である。

【００３９】画像変換器１１は、図７に示すように、画
像分割器２１と、４入力加算器２２と、１／４倍増幅器
２３と、２入力差分器２４，２５，２６と、スイッチ
（ＳＷ）２７とから構成されている。

【００４０】画像分割器２１は、内部に入力された画像
（原画像）データを１画面分一時的に記憶するメモリ
（大メモリ）と、原画像１をサブサンプリングして得ら
れた４つのサブサンプリング画像をそれぞれ格納するメ
モリ（４つの小メモリ）とを有している。そして、画像
分割器２１は、大メモリに記憶されている原画像を上述
したサブサンプリング手法を用いてサブサンプリング画
像を作成して各小メモリに格納し、出力端子から一斉に
サブサンプリング画像の画像データが出力するものであ
る。尚、大メモリ内の原画像のサブサンプリングが終了
すると、大メモリはリセットされ、また小メモリ内の画
像の画素データ（画素値のデータ）が全て出力端子から
出力されると、小メモリはリセットされるようになって
いる。

【００４１】具体的には、大メモリには図１の原画像Ａ
が格納され、サブサンプリングされてサブサンプリング
画像Ｂ1,Ｂ2,Ｂ3,Ｂ4 が小メモリに格納される。更に、
サブサンプリング画像Ｂ1,Ｂ2,Ｂ3,Ｂ4 の画素データａ
(0,0),ｂ(0,0),ｃ(0,0),ｄ(0,0) がまず出力端子(1)(2)
(3)(4)から出力されることになる。

【００４２】４入力加算器２２は、出力端子(1)(2)(3)
(4)の画素データを加算し、１／４倍増幅器２３は、加
算された画素データを１／４倍に演算し、ＳＷ２７は、
平均値画像の最小単位を出力する場合にのみ、出力１に
出力するよう接続することになるが、それ以外はフィー
ドバックされて画像分割器２１に入力されるよう接続す
るものである。

【００４３】２入力差分器２４は、１／４倍増幅器２３
からの出力（平均値画像Ｂ'1の画素データ）のマイナス
値と画像分割器２１の出力端子(2) からの出力（サブサ
ンプリング画像Ｂ2 の画素データ）の値とを加算して両
データの差分（差分画像Ｂ'2の画素データ）を出力する
ものである。

【００４４】２入力差分器２５は、２入力差分器２４と
同様で、平均値画像Ｂ'1の画素データとサブサンプリン
グ画像Ｂ3 の画素データとの差分を差分画像Ｂ'3の画素
データとして出力するものであり、２入力差分器２６
は、２入力差分器２４，２５と同様で、平均値画像Ｂ'1
の画素データとサブサンプリング画像Ｂ4 の画素データ
との差分を差分画像Ｂ'4の画素データとして出力するも
のである。

【００４５】次に、本実施例の画像符号化装置の処理に
ついて具体的に説明する。ここでは、図４の平均値画像
Ｂ'''1を最小平均値画像とした場合について説明する。
まず、原画像Ａの画像データが画像分割器２１に入力さ
れて大メモリに格納され、画像分割器２１の動作により
サブサンプリングが為されてサブサンプリング画像Ｂ1,
Ｂ2,Ｂ3,Ｂ4 が小メモリに格納されて、大メモリはリセ
ットされ、内容がクリアされる。

【００４６】そして、出力端子(1)(2)(3)(4)から画像Ｂ
1,Ｂ2,Ｂ3,Ｂ4 のそれぞれの画素データａ(0,0),ｂ(0,
0),ｃ(0,0),ｄ(0,0) が同時に出力され、４入力加算器
２２で４つの画素データが加算され、１／４倍増幅器２
３で１／４倍に増幅される。つまり、１／４倍増幅器２
３からの出力が４つの画素データの平均値となり、サブ
サンプリング画像における全ての画素データについて上
記処理が為されると、平均値画像Ｂ'1が形成されること
になる。

【００４７】そして、平均値画像Ｂ'1の画素データとサ
ブサンプリング画像Ｂ2 の画素データとの差分が２入力
差分器２４で、平均値画像Ｂ'1の画素データとサブサン
プリング画像Ｂ3 の画素データとの差分が２入力差分器
２５で、平均値画像Ｂ'1の画素データとサブサンプリン
グ画像Ｂ4 の画素データとの差分が２入力差分器２６で
とられて、出力１〜４に差分画像Ｂ'1，Ｂ'2，Ｂ'3が出
力され、量子化器１２へ入力されることになる。但し、
ＳＷ２７は、この時出力１側に接続されていないため、
平均値画像Ｂ'1は出力１には出力されず、画像分割器２
１に入力される。尚、サブサンプリング画像Ｂ1,Ｂ2,Ｂ
3,Ｂ4 の全ての画素データが読み出されると、小メモリ
はリセットされ、内容がクリアされる。

【００４８】次に、画像分割器２１に入力された平均値
画像Ｂ'1の画像データが大メモリに格納され、更に画像
分割器２１でサブサンプリングが為されて、サブサンプ
リング画像に分割され、各サブサンプリング画像の対応
する位置の画素の画素データが出力端子(1)(2)(3)(4)か
ら出力される。そして、４入力加算器２２、１／４倍増
幅器２３、２入力差分器２４，２５，２６の動作により
平均値画像Ｂ''1 と、差分画像Ｂ''2,Ｂ''3,Ｂ''4 とが
得られ、平均値画像Ｂ''1 は画像分割器２１にフィード
バックして入力され、差分画像Ｂ''2,Ｂ''3,Ｂ''4 は量
子化器１２に入力される。

【００４９】そして、上記処理を繰り返し、最小平均値
画像である平均値画像Ｂ'''1を得る段階に達すると、Ｓ
Ｗ２７は出力１側に切り替わり、得られた平均値画像
Ｂ'''1と差分画像Ｂ'''2，Ｂ'''3，Ｂ'''4とを量子化器
１２に出力するものである。このようにして、図４に示
すような画像変換が為されるものである。そして、画像
変換されたデータは量子化、可変長符号化されてＭＰＸ
１４に出力され、ＭＰＸ１４では、図４に示す状態に等
しい符号化データの配列で一旦記憶して、その内容を誤
り訂正符号化し、パケット化して符号化データとして伝
送路等に出力するものである。

【００５０】尚、上記処理の場合の符号化の順序を図８
を使って説明する。図８は、符号化の最小単位を示す説
明図である。図８に示すように、差分画像Ｂ'2，Ｂ'3，
Ｂ'4が同時に８×８画素ブロック単位で符号化され、次
に、差分画像Ｂ''2,Ｂ''3,Ｂ''4 が同時に８×８画素ブ
ロック単位で符号化され、次に、差分画像Ｂ'''2，
Ｂ'''3，Ｂ'''4が同時に８×８画素ブロック単位で符号
化され、最後に、平均値画像Ｂ'''1が８×８画素ブロッ
ク単位で符号化されものである。

【００５１】また、図７における出力１〜４を直接量子
化器１２に入力せずに、画像変換器１１内で一旦１画面
分のメモリに図４に示す状態にて格納し、その画像デー
タを図９に示すように、平均値画像及び差分画像からそ
の位置及びサイズに応じた画素データを選択して、８×
８画素ブロックを作成して符号化を行うようにしてもよ
い。

【００５２】この場合、８×８画素ブロックを単位とし
て量子化、可変長符号化を行い、符号化された順序でＭ
ＰＸ１４でパケット化されて出力するようにすれば、８
×８画素ブロックには、重要な平均値画像の画素データ
が１つしか含まれないので、ＭＰＸ１４で符号化後の伝
送等で誤りが発生した場合にその誤りの影響を最小限に
止めることができる効果がある。

【００５３】次に、本実施例の画像処理方法を実現する
復号化装置について図１０を使って説明する。図１０
は、本実施例の画像処理方法を実現する復号化装置の構
成ブロック図である。本実施例の復号化装置は、図１０
に示すように、デマルチプレクサ（Demultiplexer:ＤＭ
ＰＸ）３１と、可変長復号化器３２と、逆量子化器３３
と、画像逆変換器３４とから構成されている。

【００５４】次に、本実施例の復号化装置の各部につい
て具体的に説明する。可変長復号化器３２は、符号化装
置の可変長符号化器１３と同様の符号化テーブルを用い
て復号化するものであり、逆量子化器３３は、符号化装
置の量子化器１２と同様の量子化テーブルを用いて逆量
子化するものであり、いずれも一般的に知られている技
術を用いて実現するものである。

【００５５】ＤＭＰＸ３１は、パケット化された符号化
データから符号化データを取り出し、誤り訂正等を行っ
て可変長復号化器３２に出力するものである。但し、本
実施例のＤＭＰＸ３１は、受信した符号化データを合成
して、ＭＰＸ１４で配列した符号化データの状態（図４
の状態に等しい符号化データの配列状態）とするもので
ある。

【００５６】次に、本実施例の特徴部分である画像逆変
換器３４について説明する。画像逆変換器３４は、図５
で説明した平均値画像と差分画像から冗長度を復元して
サブサンプリング画像を復元し、そのサブサンプリング
画像を合成して原画像を再生するものである。

【００５７】本実施例の画像逆変換器３４について図１
１を使って具体的に説明する。図１１は、本実施例の画
像逆変換器３４の概略回路構成図である。本実施例の画
像逆変換器３４は、図１１に示すように、スイッチ（Ｓ
Ｗ）４１と、２入力加算器４２，４３，４４と、４倍増
幅器４５と、４入力差分器４６と、画像合成器４７と、
スイッチ（ＳＷ）４８とから構成されている。

【００５８】尚、本実施例の画像逆変換器３４の入力１
〜４へは、図８で説明した順序で符号化された符号化デ
ータをＤＰＭＸ３１にて逆順序となるよう可変長復号化
器３２、逆量子化器３３に出力してそれぞれ復号化、逆
量子化し、その復号化等された画像データが入力される
ものであり、具体的には、まず、最小単位の平均値画像
Ｂ'''1と差分画像Ｂ'''2，Ｂ'''3，Ｂ'''4が入力１，
２，３，４に入力されるようになっている。

【００５９】ＳＷ４１は、最小単位の平均値画像が入力
１に入力される時には、スイッチが入力１側に接続し、
その他は画像合成器４７側に接続するようになってい
る。ＳＷ４８は、１画面分の画像が再生された時（画像
逆変換終了した時）には出力側に接続するが、その他は
ＳＷ４１側に接続するようになっている。

【００６０】２入力加算器４２は、平均値画像Ｂ'''1の
画素データと差分画像Ｂ'''2の画素データを加算するも
のであり、２入力加算器４３は、平均値画像Ｂ'''1の画
素データと差分画像Ｂ'''3の画素データを加算するもの
であり、２入力加算器４４は、平均値画像Ｂ'''1の画素
データと差分画像Ｂ'''4の画素データを加算するもので
ある。

【００６１】尚、２入力加算器４２からの出力が差分画
像Ｂ'''2を基にしたサブサンプリング画像の画素データ
となり、２入力加算器４３からの出力が差分画像Ｂ'''3
を基にしたサブサンプリング画像の画素データとなり、
２入力加算器４４からの出力が差分画像Ｂ'''4を基にし
たサブサンプリング画像の画素データとなるものであ
る。

【００６２】４倍増幅器４５は、平均値画像Ｂ'''1の画
素データを４倍に増幅し、４入力差分器４６は、４倍に
増幅した値から２入力加算器４２，４３，４４の値を引
いて差分を求めるものである。この差分値が平均値画像
Ｂ'''1を基にしたサブサンプリング画像の画素データと
なる。

【００６３】画像合成器４７は、４入力と１出力の端子
を備えており、内部に４入力からの画素データを格納す
る小メモリをそれぞれ有しており、上記の例では平均値
画像Ｂ'''1を基にしたサブサンプリング画像と、差分画
像Ｂ'''2を基にしたサブサンプリング画像と、差分画像
Ｂ'''3を基にしたサブサンプリング画像と、差分画像
Ｂ'''4を基にしたサブサンプリング画像とが格納される
ようになっている。

【００６４】そして、画像合成器４７では、サブサンプ
リングの逆の方法でサブサンプリング画像の合成が為さ
れ、大メモリに一旦格納される。更に、大メモリの内容
が順次ＳＷ４８を介してＳＷ４１に出力され、ＳＷ４１
が入力１ではない方に接続されるので、その内容が２入
力加算器４２，４３，４４と４倍増幅器４５に入力され
る。

【００６５】また、ＤＭＰＸ３１は、入力２，３，４に
差分画像Ｂ''2,Ｂ''3,Ｂ''4 を選択して入力するもので
あり、２入力加算器４２，４３，４４と、４倍増幅器４
５と、４入力差分器４６とで上記同様の処理を行って、
上記サブサンプリング画像の合成画像を平均値画像と
し、その平均値画像を基にしたサブサンプリング画像
と、差分画像Ｂ''2 を基にしたサブサンプリング画像
と、差分画像Ｂ''3 を基にしたサブサンプリング画像
と、差分画像Ｂ''4 を基にしたサブサンプリング画像と
が得られるものである。

【００６６】更に、ＤＭＰＸ３１は、入力２，３，４に
差分画像Ｂ'2，Ｂ'3，Ｂ'4を選択して入力するものであ
り、２入力加算器４２，４３，４４と、４倍増幅器４５
と、４入力差分器４６とで上記同様の処理を行って、上
記サブサンプリング画像の合成画像を平均値画像とし、
その平均値画像を基にしたサブサンプリング画像と、差
分画像Ｂ'2を基にしたサブサンプリング画像と、差分画
像Ｂ'3を基にしたサブサンプリング画像と、差分画像
Ｂ'4を基にしたサブサンプリング画像とが得られるもの
である。上述したように、画像変換とは逆の手法を用い
る画像逆変換を行うことで、平均値画像と差分画像とか
ら画像を再生するものである。

【００６７】本実施例の画像処理方法によれば、原画像
をサブサンプリングして分割した小さいサブサンプリン
グ画像を相対位置関係にある画素の平均値と差分値を算
出し、１つを平均値画像に割り当て、他を差分画像に割
り当てる画像変換を行い、更にその平均値画像をサブサ
ンプリングして上記同様の画像変換処理で平均値画像と
差分画像にし、この画像変換処理を繰り返して、最小単
位（最終段）の平均値画像とその他の段階的な差分画像
を符号化し、また、復号化して画像逆変換を行って画像
を再生するので、画素間の空間的相関性を利用して差分
画像の部分を多く作成することで情報量を削減して冗長
度を削減し、情報量の少ない画像で符号化及び復号化す
ることになり、画像の圧縮効率を向上させることができ
る効果がある。

【００６８】更に、本実施例の画像処理方法を使用すれ
ば、符号化データ量が減少するので、符号化データを伝
送する場合に伝送時間が短縮され、伝送誤りを低下させ
ることができる効果がある。

【００６９】

【発明の効果】請求項１，２記載の発明によれば、原画
像をサブサンプリングし、そのサブサンプリング画像か
ら平均値画像と差分画像を形成し、それら画像を符号化
し、また、復号化して平均値画像と差分画像からサブサ
ンプリング画像を復元し、サブサンプリングとは逆の方
法で画素の並び替えを行って原画像を再生する画像処理
方法としているので、サブサンプリングにより隣接画素
間の相関性を利用し、平均値画像とその差分画像とする
ことで冗長度を削減できる効果がある。

【００７０】請求項３，４記載の発明によれば、請求項
１におけるサブサンプリングと平均値画像及び差分画像
を形成する処理を多段階に繰り返して符号化し、また、
請求項２における復号化して最終段の平均値画像と最終
段の差分画像から新たな画像と加算画像を形成してサブ
サンプリングの逆の方法で画像を合成する処理を多段階
に繰り返して画像を再生する画像処理方法としているの
で、サブサンプリングにより隣接画素間の相関性を利用
し、最終段の平均値画像と段階的な差分画像とすること
で冗長度を削減し、繰り返し処理の回数により圧縮効率
を向上させることができる効果がある。

【図面の簡単な説明】

【図１】本発明の一実施例に係る画像処理方法の符号化
における画像変換方法の中のサブサンプリングの例を示
す説明図である。

【図２】本実施例の画像変換方法における冗長度の削減
の例を示す説明図である。

【図３】本実施例の画像変換方法において多段階に冗長
度の削減を行う例を示す説明図である。

【図４】本実施例の画像変換方法の概念を示す説明図で
ある。

【図５】本実施例に係る画像処理方法の復号化における
画像逆変換方法の中の冗長度復元の例を示す説明図であ
る。

【図６】本実施例の画像処理方法を実現する符号化装置
の構成ブロック図である。

【図７】本実施例の画像変換器１１の概略回路構成図で
ある。

【図８】符号化の最小単位を示す説明図である。

【図９】符号化の最小単位を示す説明図である。

【図１０】本実施例の画像処理方法を実現する復号化装
置の構成ブロック図である。

【図１１】本実施例の画像逆変換器３４の概略回路構成
図である。

【図１２】ＪＰＥＧ方式の符号化／復号化を説明するた
めの概略構成ブロック図である。

【図１３】画素の相関性を説明する説明図である。

【符号の説明】

１１…画像変換器、１２…量子化器、１３…可変長
符号化器、１４…マルチプレクサ、２１…画像分割
器、２２…４入力加算器、２３…１／４倍増幅器、
２４，２５，２６…２入力差分器、２７…スイッ
チ、３１…デマルチプレクサ、３２…可変長復号化
器、３３…逆量子化器、３４…画像逆変換器、４
１…スイッチ、４２，４３，４４…２入力加算器、
４５…４倍増幅器、４６…４入力差分器、４７…画
像合成器、４８…スイッチ

Claims

【特許請求の範囲】

【請求項１】静止画像を符号化し、符号化されたデー
タを復号化して静止画像を再生する画像処理方法におい
て、前記静止画像の画素の画素番号を整数で割った余り
と商でグループ分けするサブサンプリングを行い、前記
グループに分けられた部分画像をサブサンプリング画像
とし、前記全てのサブサンプリング画像で相対的な画素
位置にある画素の平均値を計算し、前記平均値で構成さ
れる部分画像を平均値画像として作成して前記サブサン
プリング画像の１つの位置に割り当て、前記平均値画像
と割り当てられていない他のサブサンプリング画像との
差分を各々計算して差分画像を作成し、前記各々の差分
画像を前記他のサブサンプリング画像の対応する位置に
割り当てて符号化を行うことを特徴とする画像処理方
法。
【請求項２】請求項１記載の画像処理方法で符号化さ
れた画像データを復号化し、前記復号化された各々の差
分画像に前記復号化された平均値画像を対応画素毎に加
算して各々の加算画像を形成し、前記平均値画像の各画
素を前記加算画像の数分整数倍して前記全ての加算画像
との差分を計算した新たな画像を形成し、前記新たな画
像と前記加算画像を請求項１におけるサブサンプリング
の逆の方法で画素の並び替えを行って静止画像を再生す
ることを特徴とする画像処理方法。
【請求項３】請求項１記載の平均値画像をサブサンプ
リングして次段のサブサンプリング画像を形成し、前記
全ての次段のサブサンプリング画像で相対的な画素位置
にある画素の平均値を計算し、前記平均値で構成される
部分画像を次段の平均値画像として作成して前記次段の
サブサンプリング画像の１つの位置に割り当て、前記次
段の平均値画像と割り当てられていない他の次段のサブ
サンプリング画像との差分を各々計算して次段の差分画
像を作成し、前記各々の次段の差分画像を前記他の次段
のサブサンプリング画像の対応する位置に割り当て、更
に前記次段の平均値画像を上記同様の処理を繰り返して
得られる最終段の平均値画像と段階的な差分画像との符
号化を行うことを特徴とする画像処理方法。
【請求項４】請求項３記載の画像処理方法で符号化さ
れた画像データを復号化し、前記復号化された最終段の
各々の差分画像に前記復号化された最終段の平均値画像
を対応画素毎に加算して各々の加算画像を形成し、前記
最終段の平均値画像の各画素を前記加算画像の数分整数
倍して前記全ての加算画像との差分を計算した新たな画
像を形成し、前記新たな画像と前記加算画像を請求項１
におけるサブサンプリングの逆の方法で画素の並び替え
を行い画像を合成し、更に前記合成画像を上記同様の処
理を繰り返して静止画像を再生することを特徴とする画
像処理方法。