JPH08181997A

JPH08181997A - 画像符号化装置及び画像復号化装置

Info

Publication number: JPH08181997A
Application number: JP32318694A
Authority: JP
Inventors: Hisayoshi Moriwaki; 久芳森脇
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1994-12-26
Filing date: 1994-12-26
Publication date: 1996-07-12

Abstract

(57)【要約】（修正有）【目的】高圧縮率で高品質に符号化する画像符号化装
置。【構成】ブロック化処理部４０１は、１フレーム分の
デジタル映像信号を複数の画像ブロックに分割する。参
考パターンメモリ４０３は、画像ブロックサイズ対応の
参照パターンを記憶する。パターン検出部４０２は、ブ
ロック化処理部４０１からの画像ブロックに対し参照パ
ターンから対応パターンを選択する。パターン変化検出
部４０６は、パターン検出部４０２からの選択パターン
と前の画素ブロックのパターンとの変化を検出する。代
表値検出部４０４は、ブロック処理部４０１からの画像
ブロックの検出し代表値を１画素としてフレームデータ
を生成する。圧縮部４０５，４０８は、パターン検出部
４０２からの選択パターン情報とパターン変化検出部４
０６の情報と代表値検出部４０４からのフレームデータ
を各々圧縮符号化する。ＳＷ４０９は、パターン情報，
検出情報とフレームデータとを切り換え出力する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、デジタル化された映像
信号を圧縮符号化する画像符号化装置、及び、圧縮符号
化された映像信号を復号化する画像復号化装置に関する
ものであり、例えば、アナログ回線や狭帯域サービス総
合デジタル網（Ｎ−ＩＳＤＮ：Ｎａｒｒｏｗｂａｎｄ−
ＩｎｔｅｇｒａｔｅｄＳｅｒｖｉｃｅｓＤｉｇｉｔ
ａｌＮｅｔｗｏｒｋ）等の伝送路を用いた映像伝送、ミ
ニディスクやＩＣメモリ等の媒体への映像信号の記録及
び再生を行う装置に用いて好適な画像符号化装置及び画
像復号化装置に関するものである。

【０００２】

【従来の技術】一般に、テレビ会議システムやテレビ電
話等のような比較的伝送容量の小さい伝送路を使用して
映像信号を遠隔地に伝送する装置では、フレーム間予測
と直交変換を組み合せたハイブリッド符号化方式やベク
トル量子化（ＶＱ：ＶｅｃｔｏｒＱｕａｎｔｉｚａｔ
ｉｏｎ）方式等が適用されている。

【０００３】また、狭帯域サービス総合デジタル網（Ｎ
−ＩＳＤＮ：Ｎａｒｒｏｗｂａｎｄ−Ｉｎｔｅｇｒａｔ
ｅｄＳｅｒｖｉｃｅｓＤｉｇｉｔａｌＮｅｔｗｏ
ｒｋ）用の符号化方式として、Ｈ．２６１という国際標
準規格がある。このＨ．２６１は、ＭＰＥＧ（Ｍｏｔｉ
ｏｎＰｉｃｔｕｒｅＩｍａｇｅＣｏｄｉｎｇＥｘ
ｐｅｒｔｓＧｒｏｕｐ）方式の基になった方式であ
り、ハイブリッド符号化方式を基本としている。即ち、
Ｈ．２６１では、フレーム間予測として動き補償予測
（ＭＣ：ＭｏｔｉｏｎＣｏｍｐｅｎｓａｔｅｄ）が使
用され、直交変換として２次元離散コサイン変換（ＤＣ
Ｔ：ＤｉｓｃｒｅｔｅＣｏｓｉｎｅＴｒａｎｓｆｏ
ｒｍ）が使用される（以下、ＭＣ＋ＤＣＴ方式と言
う。）。また、パッケージメディア系でも、比較的圧縮
率が高い方式としてＭＣ＋ＤＣＴ方式が中心であり、Ｍ
ＰＥＧ１として規格化されている。

【０００４】例えば、Ｈ．２６１方式を適用した画像符
号化／復号化装置は、図７に示すようなエンコーダ１０
０と図８に示すようなデコーダ１５０とを備えており、
８画素×８ラインのブロック単位で符号化及び復号化す
る。

【０００５】まず、エンコーダ１００は、上記図７に示
すように、映像信号Ｘが供給される動きベクトル検出部
（ＭＥ：ＭｏｔｉｏｎＥｓｔｉｍａｔｏｒＭＣ：Ｍ
ｏｔｉｏｎＣｏｍｐｅｎｓａｔｏｒ）１１４と、後述
する加算器１１０の出力が供給されるフレームメモリ
（ＦＭ：ＦｒａｍｅＭｅｍｏｒｙ）１１１と、フレー
ムメモリ１１１の出力が供給されるループフィルタ（Ｌ
Ｆ：ＬｏｏｐＦｉｌｔｅｒ）１１２と、映像信号Ｘと
ループフィルタ１１２の出力が供給される加算器１０１
と、映像信号Ｘと加算器１０１の出力とが各々供給され
るスイッチ１０２と、スイッチ１０２の出力が供給され
るＤＣＴ変換器１０３と、ＤＣＴ変換器１０３の出力が
供給される量子化器（Ｑ：Ｑｕａｎｔｉｚｅｒ）１０４
と、量子化器１０４の出力が供給される可変長符号化器
（ＶＬＣ：ＶａｒｉａｂｌｅＬｅｎｇｔｈＣｏｄｅ
ｒ）１０６と、可変長符号化器１０６の出力が供給され
符号化データＸ^dを出力する出力バッファ（ＯＢ：Ｏｕ
ｔｐｕｔＢｕｆｆｅｒ）１０７とを備えている。

【０００６】また、量子化器１０４の出力が供給される
逆量子化器（ＩＱ：ＩｎｖｅｒｓｅＱｕａｎｔｉｚｅ
ｒ）１０８と、逆量子化器１０８の出力が供給されるＩ
ＤＣＴ変換器（ＩＤＣＴ：ＩｎｖｅｒｓｅＤＣＴ）１
０９と、ループフィルタ１１２の出力が供給されるスイ
ッチ１１３と、ＩＤＣＴ変換器１０９の出力とスイッチ
１１３の出力が各々供給される加算器１１０とを備えて
いる。

【０００７】さらに、出力バッファ１０７の出力に応じ
てスイッチ１０２、スイッチ１１３、及び、量子化器１
０４を各々制御する符号化制御部（ＣＣ）１０５を備え
ている。映像信号Ｘは、８画素×８ラインのブロック
として、例えば、ラスタスキャンのデータ順で動きベク
トル検出部１１４と加算器１０１に各々供給される。動
きベクトル検出部１１４は、フレームメモリ１１１に記
憶されている前画面データを使用して、供給された映像
信号Ｘの最適動きベクトルを求める。そして、フレーム
メモリ１１１に記憶されている前画面データに対して、
求めた最適動きベクトルに基いて動き補償し、動き補償
した前画面データをループフィルタ１１２を介して加算
器１０１に供給する。ここで、ループフィルタ１１２
は、ブロック毎にＯＮ／ＯＦＦできるものであり、例え
ば、符号化制御部１０５により、動きベクトルが検出さ
れた場合にＯＮ、それ以外ではＯＦＦとなるように制御
されるものである。

【０００８】加算器１０１は、入力された映像信号Ｘ、
即ち、現在の画面データと、ループフィルタ１１２を介
して供給された前画面データとの差分をとり、その差分
データを映像差分信号としてスイッチ１０２に供給す
る。

【０００９】符号化制御部１０５は、対象ブロックをフ
レーム内符号化するかフレーム間符号化するかを判断
し、フレーム内符号化と判断した場合には、スイッチ１
０２で映像信号Ｘが選択出力されるように制御し、フレ
ーム間符号化と判断した場合には、スイッチ１０２で映
像差分信号が選択出力されるように制御する。そして、
スイッチ１０２からの出力される映像信号Ｘ、或は、映
像差分信号は、ＤＣＴ変換器１０３に供給される。

【００１０】ＤＣＴ変換器１０３は、スイッチ１０２か
ら出力される映像信号Ｘ、或は、映像差分信号にＤＣＴ
を施すことによりＤＣＴ係数を求め、量子化器１０４に
供給する。この時、符号化制御部１０５は、量子化器１
０４に量子化ステップ情報を与える。量子化器１０４
は、ＤＣＴ変換器１０３からのＤＣＴ係数を符号化制御
部１０５から与えられた量子化ステップで量子化し、低
域から広域へスキャンする順序、所謂ジグザグスキャン
の順序で量子化したＤＣＴ係数を可変長符号化器１０６
と逆量子化器１０９に各々供給する。

【００１１】可変長符号化器１０６は、量子化器１０４
からの量子化されたＤＣＴ係数をランレングスの可変長
符号に変換して、その可変長符号を符号化データＸ^dと
して出力バッファ１０７に蓄える。そして、符号化制御
部１０５は、出力バッファ１０７から一定レイトで符号
化データＸ^dが次段の処理に出力されるように制御す
る。

【００１２】一方、逆量子化器１０８は、量子化器１０
４からの量子化されたＤＣＴ係数を量子化器１０４で使
用された量子化ステップで逆量子化し、ジグザグスキャ
ンされたデータの順序をラスタスキャンに戻す。そし
て、ラスタスキャンに戻したデータをＩＤＣＴ変換器１
０９に供給する。ＩＤＣＴ変換器１０９は、逆量子化器
１０８からのラスタスキャンに戻されたデータに対して
逆ＤＣＴを施し、逆ＤＣＴにより得られたＤＣＴ係数か
ら映像信号Ｘ、或は、映像差分信号に戻す。そして、そ
の映像信号Ｘ、或は、映像差分信号を加算器１１０に供
給する。

【００１３】この時、符号化制御部１０５は、対象ブロ
ックがフレーム内符号化であるかフレーム間符号化であ
るかを判断し、フレーム間符号化であった場合にはルー
プフィルタ１１２から出力される前画面データが選択出
力されるようにスイッチ１１３を制御する。従って、フ
レーム間符号化であった場合のみ、スイッチ１１３から
加算器１１０に前画面データが供給される。

【００１４】従って、加算器１１０からは、フレーム内
符号化の場合には、ＩＤＣＴ変換器１０９から供給され
た映像信号Ｘが出力され、フレーム間符号化の場合に
は、スイッチ１１３から出力される前画面データとＩＤ
ＣＴ変換器１０９から供給された映像差分信号とを加算
したデータが出力され、フレーム内符号化、或は、フレ
ーム間符号化に応じた画面データがフレームメモリ１１
１に書き込まれる。

【００１５】尚、動きベクトル検出のために、前フレー
ムの情報が必要であるため、例えば、フレームメモリ１
１１は、２画面分の容量を有するものとする。

【００１６】次に、デコーダ１５０は、上記図８に示す
ように、符号化データＸ^dが供給される入力バッファ１
５１と、入力バッファ１５１の出力が供給される可変長
復号化器１５２と、可変長復号化器１５２の出力が供給
される逆量子化器１５３と、逆量子化器１５３の出力が
供給されるＩＤＣＴ変換器１５４と、ＩＤＣＴ変換器１
５４の出力と後述するループフィルタ１５７の出力が各
々供給される加算器１５６と、ＩＤＣＴ変換器１５４の
出力と加算器１５６の出力が各々供給され映像信号Ｘを
出力するスイッチ１５５とを備えている。また、スイッ
チ１５５からの映像信号Ｘが供給されるフレームメモリ
１５８と、フレームメモリ１５８の出力が供給されるル
ープフィルタ１５７とを備えている。

【００１７】デコーダ１５０には、例えば、上述したよ
うなエンコーダ１００により映像信号Ｘが圧縮符号化さ
れた符号化データＸ^dが入力され、入力された符号化デ
ータＸ^dは、入力バッファ１５１に蓄えられる。入力バ
ッファ１５１に蓄えられた符号化データＸ^dは、任意の
タイミングで可変長復号化器１５２に供給される。

【００１８】可変長復号化器１５２は、入力バッファ１
５１からの符号化データＸ^dを量子化されたＤＣＴ係数
に戻して逆量子化器１５３に供給する。逆量子化器１５
３は、可変長復号化器１５２からの量子化されたＤＣＴ
係数をエンコーダ１００で使用された量子化ステップで
逆量子化し、ジグザグスキャンされたデータの順序をラ
スタスキャンに戻す。そして、ラスタスキャンに戻した
データをＩＤＣＴ変換器１５４に供給する。ＩＤＣＴ変
換器１５４は、逆量子化器１５３からのラスタスキャン
に戻されたデータに対して逆ＤＣＴを施し、逆ＤＣＴに
より得られたＤＣＴ係数からブロックデータに戻す。そ
して、そのブロックデータをスイッチ１５５と加算器１
５６に各々供給する。

【００１９】この時、図示していない制御部は、対象ブ
ロックがフレーム内符号化であるかフレーム間符号化で
あるかを判断し、フレーム内符号化であった場合にはＩ
ＤＣＴ変換器１５４からのブロックデータが映像信号Ｘ
として選択出力されるようにスイッチ１５５を制御し、
フレーム間符号化であった場合には加算器１５６からの
加算出力が映像信号Ｘとして選択出力されるようにスイ
ッチ１５５を制御する。

【００２０】即ち、加算器１５６には、フレームメモリ
１１１に記憶されている前画面データに対して動き補償
した前画面データがループフィルタ１１２を介して供給
されている。従って、加算器１５６は、ＩＤＣＴ変換器
１５４からのブロックデータとループフィルタ１１２か
らの前画面データとを加算して、その加算データをスイ
ッチ１５５に供給する。

【００２１】上述のように、Ｈ．２６１方式では、直交
変換としてＤＣＴが使用され、フレーム間予測では、動
き補償フレーム間予測が取り入れられるようになってい
る。また、フレーム内符号化とフレーム間予測符号化の
２種類を選択するようにしているが、通常は、動き補償
予測フレーム間予測符号化が選択され、シーンチェンジ
の場合等には、フレーム内符号化が選択されるように制
御されるのが一般的である。

【００２２】一方、入力された映像信号を、エッジ成分
とそれ以外の成分とに分けて符号化する方式も提案され
ており、例えば、静止画圧縮方式としてＶＰＩＣ（Ｖｉ
ｓｕａｌＰａｔｔｅｒｎＩｍａｇｅＣｏｄｉｎ
ｇ：Ｄ．Ｃｈｅｎｅｔａｌ．，“ＶｉｓｕａｌＰ
ａｔｔｅｒｎＩｍａｇｅＣｏｄｉｎｇ”ｖｏｌ．Ｃ
ＯＭ−３８，ＩＥＥＥＴｒａｎｓ．Ｃｏｍｍｕｎ．，ｐ
ｐ．２１３７−２１４５）が提案されている。

【００２３】ＶＰＩＣ方式とは、フレーム内符号化方式
であるが、従来行われている二乗誤差を最小にするとい
う基準で圧縮する方式ではなく、人間の視覚の特性を利
用して一番最もらしく再現することを目的とした方式で
ある。例えば、ＶＰＩＣ方式では、シーンチェンジ直後
等は、解像度をかなり落としても目につかない、また、
エッジ部分の輝度レベルの差厳密でなくても違和感はな
いというような視覚特性を利用する。

【００２４】このようなＶＰＩＣ方式を適用した画像符
号化／復号化装置のエンコーダは、図９に示すように、
映像信号Ｘが各々供給される平均値演算器２０１と輝度
情報演算器２０２，２０３と、参照パターンメモリ２０
４と、輝度情報演算器２０２，２０３の出力と後述する
判別回路２０６の出力と参照パターンメモリ２０４の出
力が各々供給される比較器２０５と、輝度情報演算器２
０２の出力が供給される判別回路２０６と、平均値演算
器２０１の出力と判別回路２０６の出力が各々供給され
る量子化器２０７と、量子化器２０７の出力と判別回路
２０６の出力と参照パターンメモリ２０４の出力が各々
供給され符号化データＸ^dを出力するスイッチ２０８と
を備えている。

【００２５】このエンコーダに入力される映像信号Ｘ
は、１フレーム分の映像信号を人間の目の感度に対し
て、ある程度小さいブロック、例えば、４画素×４ライ
ンのブロックに分割されたものである。このような映像
信号Ｘは、平均値用演算器２０１と輝度情報演算器２０
２，２０３に各々供給される。

【００２６】平均値用演算器２０１は、入力された映像
信号Ｘから各ブロックの平均値を求め、求めた平均値を
量子化器２０７に供給する。輝度情報演算器２０２は、
入力された映像信号Ｘから各ブロックの輝度の傾きの大
きさを求め、求めた輝度の傾きの大きさの情報を比較器
２０５と判別回路２０６に各々供給する。輝度情報演算
器２０３は、ブロック化された映像信号Ｘから各ブロッ
クの輝度の傾きの方向求め、求めた輝度の傾きの方向の
情報を比較器２０５に供給する。

【００２７】判別回路２０６は、輝度情報演算器２０２
で得られた輝度の傾きの大きさの情報からエッジを含む
ブロックであるか否かを判別し、その判別結果をエッジ
有無を示す識別フラグとして量子化器２０７と比較器２
０５とスイッチ２０８に各々供給する。

【００２８】量子化器２０７は、平均値用演算器２０１
からの各ブロックの平均値を量子化し、量子化した平均
値と判別回路２０６からの識別フラグをスイッチ２０８
に供給する。

【００２９】参照パターンメモリ２０４には、例えば、
図１０に示すように、映像信号Ｘの各ブロックのサイズ
と同じサイズ、即ち、４画素×４ラインのサイズの１４
種類のエッジパターンＰ１〜Ｐ１４が予め記憶されてい
る。

【００３０】比較器２０５は、判別回路２０６からの識
別フラグがエッジを含むブロックであることを示してい
る場合には、輝度情報演算器２０２，２０３からの輝度
の傾きの大きさ及び方向の情報が示しているエッジと参
照パターンメモリ２０４に記憶されているエッジパター
ンＰ１〜Ｐ１４とを比較することにより、エッジパター
ンＰ１〜Ｐ１４から対象ブロックのエッジパターンを検
出する。そして、検出したエッジパターンのインデック
ス番号と、エッジパターンの極性、傾きの大きさを示す
インデックス番号を比較結果としてスイッチ２０８に供
給する。

【００３１】従って、スイッチ２０８には、判別回路２
０６からの識別フラグと、量子化器２０７からの量子化
された平均値と、比較器２０５からの比較結果が供給さ
れることとなる。このスイッチ２０８における出力デー
タの選択制御は、例えば、図示していない制御部により
行われる。即ち、上記制御部は、エッジを含まないブロ
ックの場合には、量子化された平均値と識別フラグが符
号化データＸ^dとしてスイッチ２０８から選択出力され
るように、また、エッジを含むブロックの場合には、量
子化された平均値、識別フラグ、エッジパターンのイン
デックス番号と、エッジパターンの極性、傾きの大きさ
を示すインデックス番号である比較結果が符号化データ
Ｘ^dとしてスイッチ２０８から選択出力されるように制
御する。例えば、１画素を８ビット、エッジを含まない
ブロックでの平均値を５ビットとした場合、識別フラグ
と合わせて４画素×４ラインのデータ、即ち、１２８ビ
ットのデータが６ビットに圧縮できる。また、エッジを
含むブロックにおいては、平均値を３ビットで表現すれ
ば、エッジパターンのインデックス４ビット、極性１ビ
ット、及び、識別フラグ１ビットの合計９ビットに圧縮
できる。

【００３２】上述のように、ＶＰＩＣ方式では、原画像
が物理的に完全に再現されなくても、人間の目で見たと
きに原画像と同じように見えればよいことから、人間が
知覚できない成分は、符号化処理においては知覚的冗長
度であるということを利用して、高圧縮率を達成しよう
というものである。

【００３３】尚、この方式の場合、エッジ部分の輝度変
化への感度を考慮して平均値を粗く量子化する。また、
輝度変化の大きさは伝送していないため、輝度変化の大
きさは固定値として再生されることとなる。

【００３４】

【発明が解決しようとする課題】しかし、ＭＣ＋ＤＣＴ
方式等を適用した従来の画像符号化／復号化装置では、
Ｎ−ＩＳＤＮの基本サービスである伝送速度１２８Ｋｂ
ｐｓの２Ｂ＋Ｄや、Ｖ．３４：２８．８Ｋｂｐｓのアナ
ログ回線等に対応させるために、入力された映像の解像
度を落としたり、動きに応じて空間的、或は、時間的な
低域遮断フィルタ（ＬＰＦ）を通過させることにより、
符号化効率を上げていた。このため、再現した画像が非
常にぼけた画像となってしまっていた。

【００３５】また、動きが大きい場合やシーンチェンジ
等の場合には、フレーム内符号化が行われるため多くの
データが発生し、フレームレイトが落ちてしまってい
た。このような問題点に対応する方法として、例えば、
データ発生量を抑えるために量子化ステップを粗くした
場合、ブロックの歪みが目立ってしまっていた。

【００３６】一方、ＶＰＩＣ方式に見られるようなブロ
ック単位でエッジ部分を取り出す方式を適用した従来の
画像符号化／復号化装置における圧縮率は、約２０：１
であり、上述したような伝送容量の小さい伝送路を使用
した画像伝送等に対応するために必要な３桁以上の圧縮
率を得ることができなかった。

【００３７】そこで、本発明は、上述の如き従来の実情
に鑑みてなされたものであり、次のような目的を有する
ものである。

【００３８】即ち、本発明の目的は、高圧縮率で高品質
に符号化する画像符号化装置を提供することにある。

【００３９】また、本発明の目的は、上記画像符号化装
置で圧縮符号化されたデータを復号化して高品質の画像
を再現する画像復号化装置を提供することにある。

【００４０】

【課題を解決するための手段】上述の課題を解決するた
めに、本発明に係る画像符号化装置は、１フレーム分の
デジタル化された映像信号を複数の画像ブロックに分割
する分割手段と、上記画像ブロックのサイズに対応した
サイズの複数個の参照パターンを記憶する記憶手段と、
上記分割手段からの画像ブロックに対して上記記憶手段
に記憶された複数個の参照パターンから対応するパター
ンを選択する選択手段と、上記選択手段により選択され
たパターンと少なくとも１フレーム前の同位置の画素ブ
ロックから得られたパターンとの変化を検出する変化検
出手段と、上記分割手段からの画像ブロックの代表値を
検出する代表値検出手段と、上記代表値検出手段により
検出された各画像ブロックの代表値を各々１画素として
フレームデータを生成する生成手段と、上記選択手段に
より選択されたパターンの情報と上記変化検出手段にお
ける検出結果の情報と上記生成手段により生成されたフ
レームデータを各々圧縮符号化する圧縮符号化手段と、
上記圧縮符号化手段により圧縮符号化されたパターン情
報と検出情報とフレームデータとを切り換えて出力する
出力手段とを備えることを特徴とする。

【００４１】また、本発明に係る画像符号化装置は、上
記変化検出手段は、上記選択手段により選択されたパタ
ーンに対して少なくとも１フレーム前の同位置の画素ブ
ロックから得られたパターンと上記画素ブロックの周辺
のブロックから得られたパターンから変化を検出し、パ
ターン変化がなかった場合には画像ブロックの動き情報
を検出情報とすることを特徴とする。

【００４２】本発明に係る画像復号化装置は、１フレー
ム分のデジタル化された映像信号を複数の画像ブロック
に分割し、上記画像ブロックのサイズに対応したサイズ
の複数個の参照パターンから選択した各画像ブロックの
パターンの情報と、画像ブロック毎に選択したパターン
と１フレーム前の同位置の画素ブロックから得られたパ
ターンの変化の検出情報と、各画像ブロックの代表値を
各々１画素として生成したフレームデータとが各々圧縮
符号化された符号化データを復号化する画像復号化装置
であって、上記複数個の参照パターンを記憶する記憶手
段と、上記符号化データのパターン情報と検出情報とフ
レームデータとを各々復号化する復号化手段と、上記復
号化手段により復号化されたパターン情報を上記復号化
手段により復号化された検出情報に応じて更新する更新
手段と、上記更新手段により得られたパターン情報に対
応するパターンを上記記憶手段に記憶された複数個の参
照パターンから選択する選択手段と、上記選択手段によ
り選択されたパターンに応じて上記復号化手段により復
号化されたフレームデータで各画像ブロックのパターン
を合成する合成手段とを備えることを特徴とする。

【００４３】また、本発明に係る画像復号化装置は、上
記検出情報は、画像ブロック毎に選択したパターンに対
して少なくとも１フレーム前の同位置の画素ブロックか
ら得られたパターンと上記画素ブロックの周辺のブロッ
クから得られたパターンから得られたパターン変化の検
出結果又はパターン変化無し時の画像ブロックの動き情
報であることを特徴とする。

【００４４】

【作用】本発明に係る画像符号化装置では、分割手段
は、１フレーム分のデジタル化された映像信号を複数の
画像ブロックに分割する。記憶手段は、上記画像ブロッ
クのサイズに対応したサイズの複数個の参照パターンを
記憶する。選択手段は、上記分割手段からの画像ブロッ
クに対して上記記憶手段に記憶された複数個の参照パタ
ーンから対応するパターンを選択する。変化検出手段
は、上記選択手段により選択されたパターンと少なくと
も１フレーム前の同位置の画素ブロックから得られたパ
ターンとの変化を検出する。代表値検出手段は、上記分
割手段からの画像ブロックの代表値を検出する。生成手
段は、上記代表値検出手段により検出された各画像ブロ
ックの代表値を各々１画素としてフレームデータを生成
する。圧縮符号化手段は、上記選択手段により選択され
たパターンの情報と上記変化検出手段における検出結果
の情報と上記生成手段により生成されたフレームデータ
を各々圧縮符号化する。出力手段は、上記圧縮符号化手
段により圧縮符号化されたパターン情報と検出情報とフ
レームデータとを切り換えて出力する。

【００４５】また、本発明に係る画像符号化装置では、
上記変化検出手段は、上記選択手段により選択されたパ
ターンに対して少なくとも１フレーム前の同位置の画素
ブロックから得られたパターンと上記画素ブロックの周
辺のブロックから得られたパターンから変化を検出し、
パターン変化がなかった場合には画像ブロックの動き情
報を検出情報とする。

【００４６】本発明に係る画像復号化装置では、記憶手
段は、１フレーム分のデジタル化された映像信号が複数
の画像ブロックに分割され、上記画像ブロックのサイズ
に対応したサイズの複数個の参照パターンを記憶する。
復号化手段は、上記複数個の参照パターンから選択され
た各画像ブロックのパターンの情報と、画像ブロック毎
に選択されたパターンと１フレーム前の同位置の画素ブ
ロックから得られたパターンの変化の検出情報と、各画
像ブロックの代表値を各々１画素として生成されたフレ
ームデータとが各々圧縮符号化された符号化データのパ
ターン情報と検出情報とフレームデータとを各々復号化
する。更新手段は、上記復号化手段により復号化された
パターン情報を上記復号化手段により復号化された検出
情報に応じて更新する。選択手段は、上記更新手段によ
り得られたパターン情報に対応するパターンを上記記憶
手段に記憶された複数個の参照パターンから選択する。
合成手段は、上記選択手段により選択されたパターンに
応じて上記復号化手段により復号化されたフレームデー
タで各画像ブロックのパターンを合成する。

【００４７】また、本発明に係る画像復号化装置では、
上記検出情報は、画像ブロック毎に選択したパターンに
対して少なくとも１フレーム前の同位置の画素ブロック
から得られたパターンと上記画素ブロックの周辺のブロ
ックから得られたパターンから得られたパターン変化の
検出結果又はパターン変化無し時の画像ブロックの動き
情報である。

【００４８】

【実施例】以下、本発明の一実施例について図面を参照
しながら説明する。

【００４９】まず、本発明に係る画像符号化装置につい
て説明する。

【００５０】上記画像符号化装置は、例えば、図１に示
すように、入力映像信号Ｙが供給されるブロック化処理
部４０１と、参照パターンメモリ４０３と、ブロック化
処理部４０１からの映像信号Ｙ_Bと参照パターンメモリ
４０３の出力が各々供給されるパターン検出部４０２
と、パターン検出部４０２の出力を記憶するパターンメ
モリ４０７と、パターン検出部４０２の出力とパターン
メモリ４０７の出力が各々供給されるパターン変化検出
部４０６と、パターン変化検出部４０６の出力が供給さ
れる位置情報圧縮処理部４０８と、ブロック化処理部４
０１から映像信号Ｙ_Bが供給される代表値検出部４０４
と、代表値検出部４０４の出力が供給される代表値圧縮
処理部４０５と、位置情報圧縮処理部４０８の出力とパ
ターンメモリ４０７の出力と代表値圧縮処理部４０５の
出力が各々供給され符号化データＹ^dを出力する出力部
４０９とを備えている。

【００５１】ここで、本実施例では、入力された映像信
号Ｙの解像度を２５６画素×２５６ラインとし、パター
ンを判断するブロックのサイズを４画素×４ラインとす
る。また、参照パターンメモリ４０３には、上記ブロッ
クのサイズに対応したサイズの複数個のパターンが予め
記憶されている。

【００５２】ブロック化処理部４０１は、入力された映
像信号Ｙを４画素×４ラインのブロックに分割し、ブロ
ック化した映像信号Ｙを映像信号Ｙ_Bとする。そして、
映像信号Ｙ_Bをパターン検出部４０２と代表値検出部４
０４に供給する。

【００５３】パターン検出部４０２は、ブロック化処理
部４０１からの映像信号Ｙ_Bの各ブロックに対して参照
パターンメモリ４０３に記憶されている複数個のパター
ンから対応するパターンを選択する。また、パターン検
出部４０２は、選択したパターンをパターンメモリ４０
７に記憶する。

【００５４】ここで、パターンメモリ４０７には、前フ
レームのパターンも記憶されている。パターン変化検出
部４０６は、パターン検出部４０２により選択されたパ
ターンとパターンメモリ４０７に記憶された前フレーム
の同位置のブロックから得られたパターンとの変化を検
出する。

【００５５】位置情報圧縮処理部４０８は、パターン変
化検出部４０６でのパターン変化の検出結果を圧縮符号
化する。

【００５６】一方、代表値検出部４０４は、ブロック化
処理部４０１からの映像信号Ｙ_Bの各ブロックの代表値
を検出する。代表値圧縮処理部４０５は、代表値検出部
４０４で検出された各ブロックの代表値を圧縮符号化す
る。

【００５７】スイッチ４０９は、位置情報圧縮処理部４
０８で得られたパターン変化の検出結果の符号化データ
と、パターンメモリ４０７に記憶されたパターンと、代
表値圧縮処理部４０５で得られた代表値の符号化データ
とを切り換えて符号化データＹ^dとして順次出力する。

【００５８】以下、上記図１に示したブロック化処理部
４０１以降の処理部５００を図２を用いて具体的に説明
する。

【００５９】まず、処理部５００は、上述したような各
構成要素を各々制御する符号化制御部５２４を備えてい
る。

【００６０】また、参照パターンメモリ４０３には、例
えば、図３に示すように、予め、５種類のパターンＰＩ
＝０〜ＰＩ＝４が記憶されており、各パターンは、ブロ
ック化処理部４０１で得られた映像信号Ｙ_Bのブロック
サイズと同じサイズ、即ち、４画素×４ラインのサイズ
のものである。尚、“ＰＩ”が示す番号（０〜４）を、
パターンのインデックスとする。

【００６１】パターン検出部４０２は、ブロック化処理
部４０１からの映像信号Ｙ_Bと参照パターンメモリ４０
３の出力が各々供給される相関演算器５０１と、相関演
算器５０１の出力が供給される比較器５０３とを備えて
いる。また、比較器５０３は、参照パターンメモリ４０
３をデータアクセスする。

【００６２】相関演算器５０１は、ブロック化処理部４
０１で得られた映像信号Ｙ_Bに対して、各ブロック毎に
輝度勾配の向き、及び、傾きの大きさを求める。まず、
映像信号Ｙ_Bの各ブロックに各々分散演算を行う。即
ち、映像信号Ｙ_Bのｊ（＝０〜１５）番目のデータＸ
_jと、映像信号Ｙ_Bの平均値Ｘを持って、パターン分散値
ρ_Xを、数１に示す演算式により求める。

【００６３】

【数１】

【００６４】また、各ブロック毎に上記数１で得られた
パターン分散値ρ_Xと、参照パターンメモリ４０３に記
憶されている参照パターンから相関関数を求める。即
ち、ｋ（＝１〜４）番目の参照パターンのｊ番目のデー
タＰ_j ^kと、ｋ番目の参照パターンの分散値ρ_Pを持っ
て、相関関数Ｒ_kを、数２に示す演算式により求める。

【００６５】

【数２】

【００６６】相関演算器５０１で得られたパターン分散
値ρ_Xと相関関数Ｒ_kは、比較器５０３に供給される。

【００６７】比較器５０３は、参照パターンメモリ４０
３に記憶されている複数個の参照パターンから映像信号
Ｙ_Bの対象ブロックと最も近いパターンを検出する。ま
ず、相関演算器５０１で得られたパターン分散値ρ_Xと
予め設定されているしきい値ρ_T _Hとを比較する。パター
ン分散値ρ_Xがしきい値ρ_THよりも小さい場合（ρ_X＜ρ
_T _H）には、０番目の参照パターン（ＰＩ＝０）を選択
し、選択した参照パターンを最適パターンとする。或
は、パターン分散値ρ_Xがしきい値ρ_THよりも小さくな
い場合（ρ_X≧ρ_TH）には、数３で示されるように、相
関関数Ｒ_kの絶対値（＝｜Ｒ_k｜）の一番大きいパターン
を選択する。

【００６８】

【数３】

【００６９】そして、相関関数Ｒ_kが正であれば（Ｒ_k＞
０）傾きの方向が選択した参照パターン通りであるた
め、選択した参照パターンを最適パターンとする。或
は、相関関数Ｒ_kが負であれば（Ｒ_k＜０）傾きの方向が
選択した参照パターンとは逆であるため、選択した参照
パターンとは逆の参照パターンを最適パターンとする。
そして、選択した最適パターンのインデックスをパター
ンメモリ４０７に記憶する。

【００７０】パターンメモリ４０７は、比較器５０３で
選択された最適パターンのインデックスを記憶する第１
のパターンメモリ５０４と第２のパターンメモリ５０５
とを備えている。

【００７１】第１のパターンメモリ５０４は、比較器５
０３で得られた最適パターンのインデックス（以下、単
にパターンと言う。）を記憶する。第２のパターンメモ
リ５０４は、前フレームのパターンが記憶されている。
即ち、第１のパターンメモリ５０４に現在記憶されてい
るパターンを前フレームのパターンのとして第２のパタ
ーンメモリ５０５に記憶させ、第１のパターンメモリ５
０４に比較器５０３で得られた最適パターンのインデッ
クス番号を記憶する。

【００７２】パターン変化検出器４０６は、第１のパタ
ーンメモリ５０４に記憶された最適パターンと第２のパ
ターンメモリ５０４に記憶されている前フレームのパタ
ーンとから、前フレームからのパターン変化が起こった
ブロックを検出する。そして、パターン変化の位置情報
とパターンが変化したブロックのパターン情報をパター
ン変化検出情報とする。ここで、例えば、変化有りのブ
ロックを「１」で示し、変化無しのブロックを「０」で
示した場合、このパターン変化検出器４０６からは、ブ
ロック数分の０／１データが位置情報圧縮処理部４０８
に供給されることとなる。

【００７３】位置情報圧縮処理部４０８は、パターン変
化検出部４０６からのパターン変化検出情報が供給され
る可変長符号化器５０８と、可変長符号化器５０８の出
力が蓄積されるバッファ５０９とを備えている。

【００７４】可変長符号化器５０８は、ランレングスタ
イプのものであり、パターン変化検出器４０６で得られ
たパターン変化検出情報を可変長符号に変換する。そし
て、その符号化データをバッファ５０９に蓄積する。

【００７５】一方、代表値検出部４０４は、ブロック化
処理部４０１からの映像信号Ｙ_Bが供給される平均値演
算器５１１と、平均値演算器５１１の出力が供給される
ＤＣＴブロック化処理部５１２と、ＤＣＴブロック化処
理部５１２の出力が供給される減算器５１３と、ＤＣＴ
ブロック化処理部５１２の出力と減算器５１３の出力が
各々供給されるスイッチ５１４とを備えている。また、
代表値圧縮処理部４０５の後述する量子化器５１６の出
力が供給される逆量子化器５１９と、逆量子化器５１９
の出力が供給される逆変換器５２０と、逆変換器５２０
の出力が供給される加算器５２１と、加算器５２１の出
力が記憶されるフレームメモリ５２２と、フレームメモ
リ５２２の出力が供給されるスイッチ５２３とを備えて
いる。ここで、フレームメモリ５２２の出力は、減算器
５１３にも供給され、スイッチ５２３の出力は、加算器
５２１にも供給される。

【００７６】平均値演算器５１１は、ブロック化処理部
４０１で得られた映像信号Ｙ_Bに対して、各ブロック毎
に代表点を１つ求める。例えば、各ブロック毎に各々平
均値を求めることにより代表点を求める。このようにし
て求めた各ブロックの代表点を各々１つの画素として、
例えば、６４画素×６４ラインのフレームを生成する。
ここで、映像信号Ｙ_Bは、４画素×４ラインのブロック
に分割されたものであるため、この平均値演算器５１１
で生成されたフレームのサイズは、元のフレームサイズ
に対して１／４のサイズとなる。そして、平均値演算器
５１１で生成されたフレームデータは、ＤＣＴブロック
化処理部５１２に供給される。

【００７７】ＤＣＴブロック化処理部５１２は、平均値
演算器５１１からのフレームデータを８画素×８ライン
のＤＣＴブロックに分割し、ブロック化したブロックデ
ータをスイッチ５１４と減算器５１３に各々供給する。

【００７８】減算器５１３は、ＤＣＴブロック化処理部
５１２からのブロックデータ、即ち、現フレームのデー
タと、フレームメモリ５２２からの後述する前フレーム
のデータとの差分をとり、その差分データをスイッチ５
１４に供給する。

【００７９】スイッチ５１４は、ＤＣＴブロック化処理
部５１２からの現フレームデータと減算器５１３からの
差分データとを選択して出力するものであり、この選択
制御は、符号化制御部５２４により行われる。例えば、
符号化制御部５２４は、対象ブロックをフレーム内符号
化するかフレーム間符号化するかを判断し、フレーム内
符号化と判断した場合（以下、イントラモードと言
う。）には、スイッチ５１４でＤＣＴブロック化処理部
５１２からの現フレームデータ選択され代表値圧縮処理
部４０５に対して出力されるように制御し、フレーム間
符号化と判断した場合（以下、インターモードと言
う。）には、スイッチ５１４で減算器５１３からの差分
データが選択され代表値圧縮処理部４０５に対して出力
されるように制御する。

【００８０】尚、逆量子化器５１９以降の各構成要素の
詳細は後述する。

【００８１】代表値圧縮処理部４０５は、スイッチ５１
４の出力が供給される直交変換器５１５と、直交変換器
５１５の出力が供給される量子化器５１６と、量子化器
５１６の出力が供給される可変長符号化器５１７と、可
変長符号化器５１７の出力が蓄積されるバッファ５１８
とを備えている。

【００８２】直交変換器５１５は、２次元ＤＣＴを行う
ものであり、イントラモードの場合には、スイッチ５１
４から出力される現フレームデータにＤＣＴを施す。或
は、インターモードの場合には、スイッチ５１４から出
力される差分データＤＣＴを施す。そして、ＤＣＴによ
り得られたＤＣＴ係数を量子化器５１６に供給する。量
子化器５１６は、直交変換器５１５からのＤＣＴ係数を
量子化する。この量子化する際の量子化ステップは、符
号化制御部５２４から与えられる。また、量子化したＤ
ＣＴ係数を低域から広域へスキャンする順序、所謂ジグ
ザグスキャンの順序で可変長符号化器５１７と逆量子化
器５１９に対して各々出力する。

【００８３】可変長符号化器５１７は、可変長符号化器
５０８と同様にランレングスタイプのものであり、量子
化器５１６からの量子化されたＤＣＴ係数を可変長符号
に変換する。そして、その符号化データをバッファ５１
８に蓄積する。

【００８４】上述した逆量子化器５１９は、量子化器５
１６からのＤＣＴ係数を量子化器５１６で使用された量
子化ステップで逆量子化し、ジグザグスキャンされたデ
ータの順序をラスタスキャンに戻す。そして、ラスタス
キャンに戻したデータを逆変換器５２０に供給する。

【００８５】逆変換器５２０は、逆量子化器１０８でラ
スタスキャンに戻されたデータに対して逆ＤＣＴを施
し、逆ＤＣＴにより得られたＤＣＴ係数からＤＣＴブロ
ックに分割されたブロックデータに戻す。そして、その
ブロックデータを加算器５２１に供給する。

【００８６】スイッチ５２３は、例えば、予め設定され
た「０」データとフレームメモリ５２２に記憶された後
述する前フレームのデータを選択して出力するものであ
り、この選択制御は、符号化制御部５２４により行われ
る。例えば、符号化制御部５２４は、イントラモードで
あるか、或は、インターモードであるか判断し、イント
ラモードの場合には「０」データが選択され加算器５２
１に対して出力されるようにスイッチ５１４を制御し、
インターモードの場合には前フレームのデータが選択さ
れ加算器５２１に対して出力されるようにスイッチ５１
４を制御する。加算器５２１は、逆変換器５２０からの
ブロックデータと、スイッチ５２３からの前フレームの
データ、或は、「０」データとを加算する。即ち、加算
器５２１では、イントラモードの場合には、逆変換器５
２０で得られたブロックデータと「０」データとが加算
され、インターモードの場合には、逆変換器５２０で得
られたブロックデータとスイッチ５２３からの前フレー
ムのデータとが加算される。

【００８７】従って、加算器５２１で得られた加算デー
タ、即ち、イントラモード、或は、インターモードに応
じて生成されたデータがフレームメモリ５２２に前フレ
ームのデータとして記憶される。

【００８８】上述のようにして得られたパターン変化検
出情報の符号化データ、及び、代表点のデータが各々蓄
積されたバッファ５１８、及び、バッファ５０９は、符
号化制御部１０５により、蓄積されたデータが一定レイ
トで出力部４０９に対して出力されるように各々制御さ
れる。

【００８９】出力部４０９は、第１のパターンメモリ５
０４の出力と第２のパターンメモリ５０５の出力が各々
供給されるスイッチ５０６と、スイッチ５０６の出力と
バッファ５０９の出力とバッファ５１８の出力が各々供
給されるスイッチ５１０とを備えている。

【００９０】スイッチ５０６は、第１のパターンメモリ
５０４に記憶された最適パターンと第２のパターンメモ
リ５０５に記憶された前フレームのパターンとを選択し
て出力するものである。スイッチ５１０は、スイッチ５
０６からの最適パターン、或は、前フレームのパターン
と、バッファ５０９からの圧縮符号化されたパターン変
化検出情報と、バッファ５１８からの圧縮符号化された
代表点のデータとを選択し出力するものであり、この選
択制御は、符号化制御部５２４により行われる。

【００９１】例えば、符号化制御部５２４は、まず、ス
イッチ５１０において、バッファ５０９に蓄積されてい
るパターン変化検出情報が選択出力されるように制御す
る。続いて、スイッチ５０６において、第１のパターン
メモリ５０４或は第２のパターンメモリ５０５に記憶さ
れたパターンのうち、パターンが変化したブロックのパ
ターン情報のみが選択出力されるように制御する。そし
て、スイッチ５１０において、バッファ５１８に蓄積さ
れている代表点のデータが選択出力されるように制御す
る。

【００９２】従って、スイッチ５１０からは、ブロック
のパターン情報、パターン変化検出情報の符号化デー
タ、及び、代表値の符号化データが符号化データＹ^dと
して出力される。

【００９３】上述のように、本実施例では、エッジ等の
高周波成分はＶＰＩＣ方式を用いて検出し、これにフレ
ーム間符号化としてブロックのパラメータ、即ち、参照
パターンのインデックス単位で判別し、各ブロックのパ
ラメータが変化したか否かの情報を可変長符号化で圧縮
するため、高圧縮率の符号化データを得ることができ
る。

【００９４】即ち、ボケやブロックの歪等の特異なノイ
ズに対しては画質の劣化を感じ、逆に、エッジ成分が保
存されているがエッジの位置、或は、エッジの強さが少
々違うといったことに対しては感度は余り高くない等の
人間の目の特性を利用し、高域成分に対してはエッジの
正確な情報ではなくパターンで代表させ、低域成分に対
しては直交変換を行い、各々にフレーム間符号化を用い
ることにより、高圧縮率で、エッジの保存された人間の
目に最もらしく見える画像の符号化データを得ることが
できる。特に、テレビ電話やテレビ会議のように比較的
動きの激しくない画像の伝送に対しては、フレーム間符
号化の効果は大きい。

【００９５】また、高圧縮率で人間の目に最もらしく見
える画像の符号化データを得ることができるため、アナ
ログ電話網、Ｎ−ＩＳＤＮの基本インターフェースのよ
うな伝送容量の小さい伝送路を使用した画像伝送や、ミ
ニディスク、或は、ＩＣカードのような記録容量が大き
くないメディアへの記録を行う際に要する処理時間を短
縮することができる。

【００９６】さらに、上記図３に示したような参照パタ
ーンは、予め設定されたものであるため、ベクトル量子
化のようにトレーニングが必要ない。また、フレーム間
符号化についても、以前のフレームのパターンのインデ
ックスとの比較のみであり、代表点のデータの圧縮につ
いても、見かけ上解像度の小さなフレームに対して行わ
れるため、演算量を少なくすることができる。従って、
ハードウエアの規模を小さくすることができる。

【００９７】さらにまた、通常の画面では、動きのある
部分、即ち、パターンが変化する部分は少ないか否かは
ある程度決まっている、可変長符号化等が効率的であ
る。また、代表点に関しては、従来の直交変換を用いて
フレーム内／フレーム間符号化を行うが、この対象フレ
ームのサイズは、元のフレームのサイズよりも大幅に小
さくなっているめ、直交変換のみの場合に比べて低い圧
縮率で簡単に圧縮処理することができる。即ち、ブロッ
クの歪が目立つ程圧縮しなくても、目的の圧縮率で圧縮
したデータを得ることができる。

【００９８】尚、上述の実施例では、動き補償する際
に、１つ前のフレームから動きベクトルを求めることし
たが、例えば、パターンメモリ４０７に１つ以上の以前
のフレームのパターンを記憶し、任意の範囲内の周辺ブ
ロックと比較することによりパターンの変化を検出し、
変化パターンが検出されない場合、即ち、一致パターン
が存在する場合には、ブロックの動き情報を出力するこ
ととしてもよい。

【００９９】例えば、通常、動きは複数フレームに渡っ
て連続であると考えられるため、４画素×４ラインのブ
ロックの場合、４つ前のフレームを用いれば、１画素単
位のベクトルを求めることができる。このように、複数
の前フレームから動きベクトルを求めることにより、動
きベクトルの解像度を上げることができる。

【０１００】次に、本発明に係る画像復号化装置につい
て説明する。

【０１０１】上記画像復号化装置は、例えば、上記図１
及び図２に示した画像符号化装置で圧縮符号化されたデ
ータＹ^dを復号化する装置であり、図４に示すように、
符号化データＹ^dが各々供給される位置情報復号処理部
４５１と代表値復号処理部４５４と、符号化データＹ^d
と位置情報復号処理部４５１の出力と後述するパターン
メモリ部４５３の出力が各々供給されるスイッチ４５２
と、スイッチ４５２の出力が記憶されるパターンメモリ
４５３と、参照パターンメモリ４５６と、パターンメモ
リ部４５３の出力と代表値復号処理部４５４の出力と参
照パターンメモリ４５６の出力が各々供給されるパター
ン合成部４５５と、パターン合成部４５５の出力が供給
され映像信号Ｙを出力する後処理部４５７とを備えてい
る。

【０１０２】位置情報復号処理部４５１は、入力された
符号化データＹ^dのパターン変化位置情報を復号化し、
その復号化データをスイッチ４５２に供給する。スイッ
チ４５２は、入力された符号化データＹ^dと、位置情報
復号処理部４５１からの復号化されたパターン変化位置
情報と、パターンメモリ４５３に記憶されているパター
ン情報とを切換え出力してパターンメモリ４５３の記憶
内容を更新する。

【０１０３】一方、代表値復号処理部４５４は、入力さ
れた符号化データＹ^dの代表点の情報を復号化し、その
復号化データをパターン合成部４５５に供給する。

【０１０４】参照パターンメモリ４５６には、上述した
画像符号化装置で使用された参照パターン、例えば、上
記図３に示した参照パターンＰＩ＝０〜ＰＩ＝４が記憶
されている。

【０１０５】パターン合成部４５５は、パターンメモリ
４５３に記憶されているパターン情報に対応するパター
ンを参照パターンメモリ４５６に記憶されているパター
ンから選択し、選択したパターンに応じて代表値復号処
理部４５４からの代表点の情報でブロックデータを生成
する。そして、そのブロックデータを後処理部４５７に
供給する。

【０１０６】後処理部４５７は、パターン合成部４５５
からのブロックデータに平滑化処理等を施し、映像信号
Ｙとしてを出力する。

【０１０７】以下、上記図４に示した画像復号化装置を
図５を用いて具体的に説明する。

【０１０８】まず、上記画像復号化装置は、位置情報復
号処理部４５１の前段にバッファ６０１が設けられてお
り、位置情報復号処理部４５１と代表値復号処理部４５
４には、バッファ６０１を介して符号化データＹ^dが供
給される。このバッファ６０１には、入力された符号化
データＹ^dが蓄積され、バッファ６０１からは、例え
ば、図示していない復号化制御部の制御により、任意の
処理タイミングで符号化データＹ^dが出力される。

【０１０９】位置情報復号処理部４５１は、例えば、図
示していないバッファを有しており、このバッファに、
バッファ６０１から任意の処理タイミングで出力される
符号化データＹ^dを一旦格納する。そして、バッファに
一旦格納した符号化データＹ^dのパターン変化位置情報
を復号化し、復号化したパターン変化位置情報をスイッ
チ４５２に供給する。

【０１１０】スイッチ４５２は、可変長復号器４５１か
らのパターン変化位置情報に応じて制御されるものであ
る。この制御により、パターンメモリ部４５３に記憶さ
れている情報を更新する。

【０１１１】即ち、パターンメモリ部４５３は、スイッ
チ４５２の出力が各々供給される第１のパターンメモリ
５０４と第２のパターンメモリ５０５と、第１のパター
ンメモリ５０４の出力と第２のパターンメモリ５０５の
出力が各々供給されるスイッチ６０６とを備えている。

【０１１２】例えば、第１のパターンメモリ６０４に記
憶されている情報が１フレーム前のパターン変化位置情
報であった場合、まず、図示していない復号化制御部
は、スイッチ６０６から第１のパターンメモリ６０４に
記憶されている情報が選択出力されるようにスイッチ６
０６を制御する。そして、パターン変化が生じたブロッ
クであった場合には、バッファ６０１から出力される符
号化データＹ^dのパターン変化位置情報が第２のパター
ンメモリ６０５に記憶されるようにスイッチ４５２の選
択出力を制御し、パターン変化が生じたブロックでなか
った場合には、スイッチ６０６から出力される情報が第
２のパターンメモリ６０５に記憶されるようにスイッチ
４５２の選択出力を制御する。

【０１１３】このようにして、第１のパターンメモリ５
０４と第２のパターンメモリ５０５の記憶内容を更新す
る。また、スイッチ６０６の出力は、参照パターンメモ
リ４５６に供給される。

【０１１４】参照パターンメモリ４５６は、スイッチ６
０６からのパターン変化位置情報に対応するパターンを
エッジパターン合成部６１４に供給する。

【０１１５】一方、代表値復号処理部４５４は、バッフ
ァ６０１を介して符号化データＹ^dが供給される可変長
復号化器６０８と、可変長復号化器６０８の出力が供給
される逆量子化器６０９と、逆量子化器６０９の出力が
供給される逆変換器６１０と、逆変換器６１０の出力と
後述するスイッチ６１３の出力が供給される加算器６１
１と、加算器６１１の出力が記憶されるフレームメモリ
６１２と、フレームメモリ６１２の出力が供給されるス
イッチ６１３とを備えている。

【０１１６】可変長復号器６０８は、バッファ６０１か
ら任意の処理タイミングで出力される符号化データＹ^d
の代表値の符号化データを復号化して、量子化されたＤ
ＣＴ係数に戻す。そして、その量子化されたＤＣＴ係数
を逆量子化器６０９に供給する。

【０１１７】逆量子化器６０９は、可変長復号化器１５
２からの量子化されたＤＣＴ係数を上述した画像符号化
装置で使用された量子化ステップで逆量子化し、ジグザ
グスキャンされたデータの順序をラスタスキャンに戻
す。そして、ラスタスキャンに戻したデータを逆変換器
６１０に供給する。

【０１１８】逆変換器６１０は、逆量子化器１０８でラ
スタスキャンに戻されたデータに対して逆ＤＣＴを施
す。そして、逆ＤＣＴにより得られたＤＣＴ係数からＤ
ＣＴブロックに分割されたブロックデータ、即ち、各ブ
ロックの代表点のデータに戻し、その代表点のデータを
加算器６１１に供給する。

【０１１９】スイッチ６１３は、例えば、予め設定され
た「０」データとフレームメモリ６１２からの後述する
前フレームのデータとを選択して出力するものであり、
この選択制御は、図示していない復号化制御部により行
われる。例えば、復号化制御部は、イントラモードであ
るか、或は、インターモードであるか判断し、イントラ
モードの場合には「０」データが選択出力されるように
スイッチ６１３を制御し、インターモードの場合にはフ
レームメモリ６１２からの前フレームのデータが選択出
力されるようにスイッチ６１３を制御する。

【０１２０】加算器６１１は、逆変換器６１０からの代
表点データと、スイッチ６１３からの前フレームのデー
タ、或は、「０」データとを加算する。即ち、加算器６
１１では、イントラモードの場合には、代表点データと
「０」データとが加算され、インターモードの場合に
は、代表点データと前フレームのデータとが加算され
る。そして、この加算データをフレームメモリ６１２に
記憶する。即ち、フレームメモリ６１２には、イントラ
モード、或は、インターモードに応じて生成された代表
点データが記憶される。

【０１２１】上述のようにして得られたパターン情報と
代表点のデータとを用いて、パターン合成部４５５で各
ブロック毎に画素情報が戻される。

【０１２２】即ち、パターン合成部４５５は、エッジパ
ターン合成部６１４と、ノンエッジパターン合成部６１
５と、エッジパターン合成部６１４の出力とノンエッジ
パターン合成部６１５の出力が各々供給されるスイッチ
６１６とを備えている。

【０１２３】エッジパターン合成部６１４は、参照パタ
ーンメモリ４５６からのパターンがエッジパターンの場
合、即ち、パターンのインデックスがＰＩ＝１〜ＰＩ４
であった場合、まず、人間の目の感度はエッジ部分の輝
度変化量に対して低いという特性を利用して、輝度変化
量を固定値とする。そして、フレームメモリ６１２に記
憶されている代表点データを用いて、パターン、及び、
その極性に応じて各画素の値を、４画素×４ラインのブ
ロック内の画素の垂直方向ｉ（＝０〜３）、水平方向ｊ
（＝０〜３）、再生映像信号Ｘ_ij、再生された平均値
Ｘ、ｋ（＝ＰＩ＝１〜４）番目の参照パターンＰ_ij ^k、
輝度変化量Δを持って、数４に示す演算式により求め
る。

【０１２４】

【数４】

【０１２５】ここで、上記数４において、極性が逆の場
合には、＋−を入れ換える。このようにして得られた各
画素の値は、画素情報としてスイッチ６１６に供給され
る。

【０１２６】また、ノンエッジパターン合成部６１５
は、ブロックのパターンがノンエッジパターンの場合、
即ち、パターンのインデックスがＰＩ＝０であった場
合、フレームメモリ６１２に記憶されている代表点デー
タを用いて、ブロック内の全ての画素に代表点データ、
即ち、平均値を割り当てる（Ｘ_ij＝Ｘ）。このようにし
て得られた各画素の値は、画素情報としてスイッチ６１
６に供給される。

【０１２７】スイッチ６１６は、エッジパターン合成部
６１４で得られた画素情報とノンエッジパターン合成部
６１５で得られた画素情報とを選択して、後処理部４５
７に対して出力する。この選択制御は、図示していない
復号化制御部により行われる。

【０１２８】後処理部４５７は、エッジパターン合成部
６１４、或は、ノンエッジパターン合成部６１５により
ブロック毎に戻された画素情報に対して、ブロックの歪
の抑圧のための平滑化処理等を施し、映像信号Ｙとして
出力する。この平滑化処理として、例えば、ノンエッジ
のブロックに含まれる画素に対してのみ２次元のＬＰＦ
をかける。

【０１２９】上述のように、エッジ等の高周波成分はＶ
ＰＩＣ方式を用いて検出され、これにフレーム間符号化
としてブロックのパラメータ、即ち、参照パターンのイ
ンデックス単位で判別され、各ブロックのパラメータが
変化したか否かの情報を可変長符号化で圧縮された高圧
縮率の符号化データを復号化することができるため、人
間の目に最もらしく見える高品質の再生画像を得ること
ができる。

【０１３０】尚、輝度変化量を画像符号化装置で量子化
して画像復号装置に供給してもよい。或は、画像復号装
置で周囲のブロックから輝度変化量を推定してもよい。
この場合、例えば、数５に示す演算式により近似値を求
め、求めた近似値を用いて輝度変化量を求める。

【０１３１】

【数５】

【０１３２】また、パターンを検出する際に使用した相
関演算の代わりに、ブロック内のマクロな輝度勾配の大
きさと方向を直接計算してもよい。この場合、輝度勾配
の大きさと方向は、数６に示す演算式により求めること
ができる。これにより、演算量を減らすことができる。

【０１３３】

【数６】

【０１３４】また、上記図３に示した参照パターンの代
わりに、図７に示すように、グラデーションを加味した
８個の参照パターンＰＩ＝０〜ＰＩ＝８）を用いてもよ
い。或は、エッジ位置の異なるパターン、エッジ方向の
異なるパターン等より多くのパターンを用いてもよい。

【０１３５】

【発明の効果】本発明に係る画像符号化装置では、分割
手段は、１フレーム分のデジタル化された映像信号を複
数の画像ブロックに分割する。記憶手段は、上記画像ブ
ロックのサイズに対応したサイズの複数個の参照パター
ンを記憶する。選択手段は、上記分割手段からの画像ブ
ロックに対して上記記憶手段に記憶された複数個の参照
パターンから対応するパターンを選択する。変化検出手
段は、上記選択手段により選択されたパターンと少なく
とも１フレーム前の同位置の画素ブロックから得られた
パターンとの変化を検出する。代表値検出手段は、上記
分割手段からの画像ブロックの代表値を検出する。生成
手段は、上記代表値検出手段により検出された各画像ブ
ロックの代表値を各々１画素としてフレームデータを生
成する。圧縮符号化手段は、上記選択手段により選択さ
れたパターンの情報と上記変化検出手段における検出結
果の情報と上記生成手段により生成されたフレームデー
タを各々圧縮符号化する。出力手段は、上記圧縮符号化
手段により圧縮符号化されたパターン情報と検出情報と
フレームデータとを切り換えて出力する。これにより、
高圧縮率で高品質に符号化することができる。

【０１３６】また、本発明に係る画像符号化装置では、
上記変化検出手段は、上記選択手段により選択されたパ
ターンに対して少なくとも１フレーム前の同位置の画素
ブロックから得られたパターンと上記画素ブロックの周
辺のブロックから得られたパターンから変化を検出し、
パターン変化がなかった場合には画像ブロックの動き情
報を検出情報とする。これにより、高圧縮率でさらに高
品質に符号化することができる。

【０１３７】本発明に係る画像復号化装置では、記憶手
段は、１フレーム分のデジタル化された映像信号が複数
の画像ブロックに分割され、上記画像ブロックのサイズ
に対応したサイズの複数個の参照パターンを記憶する。
復号化手段は、上記複数個の参照パターンから選択され
た各画像ブロックのパターンの情報と、画像ブロック毎
に選択されたパターンと１フレーム前の同位置の画素ブ
ロックから得られたパターンの変化の検出情報と、各画
像ブロックの代表値を各々１画素として生成されたフレ
ームデータとが各々圧縮符号化された符号化データのパ
ターン情報と検出情報とフレームデータとを各々復号化
する。更新手段は、上記復号化手段により復号化された
パターン情報を上記復号化手段により復号化された検出
情報に応じて更新する。選択手段は、上記更新手段によ
り得られたパターン情報に対応するパターンを上記記憶
手段に記憶された複数個の参照パターンから選択する。
合成手段は、上記選択手段により選択されたパターンに
応じて上記復号化手段により復号化されたフレームデー
タで各画像ブロックのパターンを合成する。これによ
り、高品質の画像を再現することができる。

【０１３８】また、本発明に係る画像復号化装置では、
上記検出情報は、画像ブロック毎に選択したパターンに
対して少なくとも１フレーム前の同位置の画素ブロック
から得られたパターンと上記画素ブロックの周辺のブロ
ックから得られたパターンから得られたパターン変化の
検出結果又はパターン変化無し時の画像ブロックの動き
情報である。これにより、さらに高品質の画像を再現す
ることができる。

【図面の簡単な説明】

【図１】本発明に係る画像符号化装置の構成を示すブロ
ック図である。

【図２】上記画像符号化装置の構成を具体的に示したブ
ロック図である。

【図３】上記画像符号化装置の参照パターンメモリに記
憶されている参照パターンを示す図である。

【図４】本発明に係る画像復号化装置の構成を示すブロ
ック図である。

【図５】上記画像復号化装置の構成を具体的に示したブ
ロック図である。

【図６】グラデーションを加味した参照パターンを示す
図である。

【図７】Ｈ．２６１方式のエンコーダの構成を示すブロ
ック図である。

【図８】Ｈ．２６１方式のデコーダの構成を示すブロッ
ク図である。

【図９】ＶＰＩＣ方式のエンコーダの構成を示すブロッ
ク図である。

【図１０】上記エンコーダの参照パターンメモリに記憶
されている参照パターンを示す図である。

【符号の説明】

４０１ブロック化処理部４０２パターン検出部４０３参照パターンメモリ４０４代表値検出部４０５代表値圧縮部４０６パターン変化検出部４０７パターンメモリ４０８位置情報圧縮部４０９スイッチ４５１位置情報復号部４５２スイッチ４５３パターンメモリ４５４代表値復号部４５５パターン合成部４５６参照パターン４５７後処理部

Claims

【特許請求の範囲】

【請求項１】１フレーム分のデジタル化された映像信
号を複数の画像ブロックに分割する分割手段と、上記画像ブロックのサイズに対応したサイズの複数個の
参照パターンを記憶する記憶手段と、上記分割手段からの画像ブロックに対して上記記憶手段
に記憶された複数個の参照パターンから対応するパター
ンを選択する選択手段と、上記選択手段により選択されたパターンと少なくとも１
フレーム前の同位置の画素ブロックから得られたパター
ンとの変化を検出する変化検出手段と、上記分割手段からの画像ブロックの代表値を検出する代
表値検出手段と、上記代表値検出手段により検出された各画像ブロックの
代表値を各々１画素としてフレームデータを生成する生
成手段と、上記選択手段により選択されたパターンの情報と上記変
化検出手段における検出結果の情報と上記生成手段によ
り生成されたフレームデータを各々圧縮符号化する圧縮
符号化手段と、上記圧縮符号化手段により圧縮符号化されたパターン情
報と検出情報とフレームデータとを切り換えて出力する
出力手段とを備えることを特徴とする画像符号化装置。
【請求項２】上記変化検出手段は、上記選択手段によ
り選択されたパターンに対して少なくとも１フレーム前
の同位置の画素ブロックから得られたパターンと上記画
素ブロックの周辺のブロックから得られたパターンから
変化を検出し、パターン変化がなかった場合には画像ブ
ロックの動き情報を検出情報とすることを特徴とする請
求項１記載の画像符号化装置。
【請求項３】１フレーム分のデジタル化された映像信
号を複数の画像ブロックに分割し、上記画像ブロックの
サイズに対応したサイズの複数個の参照パターンから選
択した各画像ブロックのパターンの情報と、画像ブロッ
ク毎に選択したパターンと１フレーム前の同位置の画素
ブロックから得られたパターンの変化の検出情報と、各
画像ブロックの代表値を各々１画素として生成したフレ
ームデータとが各々圧縮符号化された符号化データを復
号化する画像復号化装置であって、上記複数個の参照パターンを記憶する記憶手段と、上記符号化データのパターン情報と検出情報とフレーム
データとを各々復号化する復号化手段と、上記復号化手段により復号化されたパターン情報を上記
復号化手段により復号化された検出情報に応じて更新す
る更新手段と、上記更新手段により得られたパターン情報に対応するパ
ターンを上記記憶手段に記憶された複数個の参照パター
ンから選択する選択手段と、上記選択手段により選択されたパターンに応じて上記復
号化手段により復号化されたフレームデータで各画像ブ
ロックのパターンを合成する合成手段とを備えることを
特徴とする画像復号化装置。
【請求項４】上記検出情報は、画像ブロック毎に選択
したパターンに対して少なくとも１フレーム前の同位置
の画素ブロックから得られたパターンと上記画素ブロッ
クの周辺のブロックから得られたパターンから得られた
パターン変化の検出結果又はパターン変化無し時の画像
ブロックの動き情報であることを特徴とする請求項３記
載の画像復号化装置。