JPH0730895A

JPH0730895A - 画像処理装置及びその処理方法

Info

Publication number: JPH0730895A
Application number: JP14388993A
Authority: JP
Inventors: Hirohisa Yamaguchi; 博久山口
Original assignee: Texas Instruments Inc
Current assignee: Texas Instruments Inc
Priority date: 1993-06-15
Filing date: 1993-06-15
Publication date: 1995-01-31

Abstract

(57)【要約】【目的】動画像の圧縮を効率よく行うことができ、安
価で信頼性に優れた画像処理装置及びその処理方法を提
供することを目的とする。【構成】本発明に係る画像処理装置は、８画素＊８行
の画像情報をＤＣＴ変換するＦＤＣＴ変換部１２と、変
換された信号の周波数係数の補償を行う係数補償回路２
０とを有している。係数補償回路２０は、１フレーム前
の周波数空間を表す信号を蓄積するフレームメモリ２８
と、フレームメモリ２８及びＦＤＣＴ変換部１２からの
信号に基づきフレーム間の動画の動きに対応するよう
に、フレームメモリ２８の周波数係数の修正を行う決定
回路３０とを備えている。こうして、現フレームと、最
適に修正された前フレームとのフレーム間差分を符号化
することにより効率の良い圧縮を行う。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像情報をディジタル
処理するための画像処理装置及びその処理方法に関し、
特に、動画像の圧縮を効率よく行う方式に関する。

【０００２】

【従来の技術】近年、画像や音声などの種々のデータを
統合的に扱うマルチメディアシステムの研究、開発が進
められ、これに伴い、ディジタル化された静／動画像の
蓄積・伝送が不可欠となっている。

【０００３】しかし、画像情報をディジタル化すると、
そのデータ量は、音声データなどと比べて非常に膨大で
ある。例えば、７２０＊４８０画素のカラー動画像をデ
ィジタル化した場合には、数１００Ｍｂ／ｓの高速デー
タレートを必要とし、これを実行するには、伝送速度や
記録媒体の面で問題がある。

【０００４】このような問題を解決するために、画像情
報を圧縮する技術が開発されている。テレビ電話やテレ
ビ会議用の方式についてはＣＣＩＴＴで、テレビ伝送用
の方式についてはＣＭＴＴ／２で標準化され、他方、記
録媒体については、静止画像がＪＰＥＧ（Ｊｏｉｎｔ
ＰｈｏｔｏｇｒａｐｈｉｃＥｘｐｅｒｔＧｒｏｕ
ｐ）で、動画像がＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕ
ｒｅＥｘｐｅｒｔＧｒｏｕｐ）で国際標準化されつ
つある。

【０００５】ＪＰＥＧにおいて、静止画像の圧縮、符号
化方式には、２次元ＤＣＴ（離散コサイン変換）を基本
として、フレーム内圧縮をするものがある。この方式に
よれば、図８に示すように、８（ピクセル）＊８（ライ
ン）のブロックに分割された画像情報がＦＤＣＴ変換部
１００に入力され、ここで周波数空間を表す信号に変換
される。ＤＣＴ変換によって得られた周波数係数（ＤＣ
Ｔ係数）は量子化部１０２で量子化され、次に、符号化
部１０４でジクザグスキャン、ランレングス符号化など
により符号化される。こうして符号化されたデータは、
伝送路を介して伝送され、あるいは記憶媒体に蓄積され
る。また、画像データの再生、すなわち圧縮された画像
データの伸長は、上記と逆の手順により圧縮されたデー
タを順次、復号化、逆量子化、逆ＤＣＴ変換すれば良
い。

【０００６】一方、動画像を圧縮する方式もいくつか開
発されている。上述したＪＰＥＧと同様に、各フレーム
の静止画像を繰り返し圧縮する方式や、フレーム間の時
間領域での相関を利用し、フレーム間差分をＤＣＴ変換
する方式（ＭＰＥＧにおける動き補償しないもの）や、
あるいは、フレーム間差分のみならず、これに加えて、
動き補償を行ってフレーム間予測をする方式がある。

【０００７】ここで、動き補償によるフレーム間予測と
は、フレーム間差分の符号化だけでなく、参照フレーム
との動きベクトルから予測値を求め、差分と予測値とを
符号化して、よりデータを圧縮しようとするものであ
る。すなわち、画像信号は、一連の動く物体を記録した
フレームから構成されるため、フレーム内の物体の位置
を調整し、または移動することで、連続した画像信号内
におけるフレーム間差分を効果的に圧縮することができ
るという考えに基づくものである。

【０００８】しかしながら、こうした動き補償によるフ
レーム間予測を行うためには、今日の技術では、非常に
高価なハードウエアを必要とする。この問題は、ソース
ビデオをセントラルステーションで一度に圧縮（コード
化）し、これを、数万の受信者（デコーダー）へ分配す
るような放送や分配アプリケーションでは、それほど重
要なことではない。他方、マルチメディア型のパーソナ
ルコンピュータや、家庭用ビデオ装置（ＶＣＲ、キャン
コーダーなど）などの即時アプリケーションにおいて実
行する場合には、圧縮及び圧縮伸長（記録やプレイバッ
ク）がハードウエア上大きな問題となる。

【０００９】従って、実用的な面を考慮すれば、動画像
の圧縮、符号化方式は、動き補償によるフレーム間予測
を用いるよりは、上述したフレーム内圧縮を利用（ＪＰ
ＥＧにおける静止画像の繰り返し圧縮）するか、あるい
は、動き補償をしないフレーム間差分のＤＣＴ変換（Ｍ
ＰＥＧにおける動き補償をしないもの）を利用するもの
が望ましい。

【００１０】図９に、フレーム間差分をＤＣＴ変換して
符号化を行う方式を示す。同図に示すように、画像信号
は、８＊８画素のブロック単位で減算器１２０へ入力さ
れ、ここで、フレームメモリ１２０に記憶された前のフ
レームに対応するブロックの画像信号との差分がとられ
る。減算器１２０からの差分を表す信号は、ＦＤＣＴ変
換部１２４によって周波数空間を表す信号にＤＣＴ変換
され、変換された周波数係数は、量子化部１２６および
符号化部１２８を介して符号化される。また、量子化部
１２６の出力は、逆量子化部１３０及び逆ＦＤＣＴ変換
部１３２を介してＤＣＴ変換前の状態に戻され、次いで
加算器１３４によってフレームメモリ１２２の出力と加
算され、１フレーム前の画像データとしてフレームメモ
リ１２２に記憶される。このようにして、符号化部１２
８から符号化された画像データが出力される。

【００１１】

【発明が解決しようとする課題】しかしながら、図９に
示すような従来の動画像の圧縮では、画素空間を対象と
して単純なフレーム間差分を行っているにすぎないた
め、物体の動きは、その大きさに応じた差分となって一
律にＤＣＴ変換による周波数係数に表される。例えば、
８＊８ブロックの差分をＤＣＴ変換した場合、６４画素
に対応した周波数係数が、図１０に示すような周波数空
間に分布される。そして、高周波数成分にはピクセルレ
ベルの動きに対応した係数が表され、低周波数成分に
は、ブロックレベルの動きに対応する係数が表される。
大体において、物体の動きが小さい場合、すなわち、フ
レーム間差分で１ピクセルより小さいような場合（サン
プル／フレームが１より小さい）には、フレーム間ＤＣ
Ｔは優れた圧縮効率を奏する。反対に、物体の動きが増
加するにつれ、すなわちフレーム間差分で２ピクセル以
上となるような場合（サンプル／フレームが２以上）に
は、その差分は、高周波数成分にそのまま表われてしま
う。このため、差分値を符号化するには多くのビット数
を必要とし、その結果、圧縮効率が非常に劣化する。

【００１２】従って、フレーム間差分を利用する場合、
静止画像のフレーム内圧縮を繰り返し行うＪＰＥＧに比
べて、圧縮がより効率的となる動きは、非常に小さな非
実用的な範囲に限られてしまう。これが、動画像の圧縮
において、フレーム間ＤＣＴよりもＪＰＥＧ方式を採用
する一般的な理由であった。

【００１３】本発明の目的は、上記従来技術の課題を解
決し、動画像の圧縮を効率よく行うことができ、安価で
信頼性に優れた画像処理装置及びその処理方法を提供す
ることである。

【００１４】本発明の他の目的は、入力された画像情報
を周波数空間においてデータ圧縮することが可能な画像
処理装置及びその処理方法を提供することである。本発
明の他の目的は、物体の動きに応じた最適な予測係数を
各周波数係数に与えることにより予測効率を改善し、高
画質を維持しつつ効率の良いデータ圧縮をすることがで
きる画像処理装置及びその処理方法を提供することであ
る。

【００１５】

【課題を解決するための手段】本発明では、いわゆる係
数補償と呼ばれる新規な技術を開示し、この係数補償
は、従来のＪＰＥＧ方式やフレーム間ＤＣＴ方式を改良
するものである。

【００１６】基本的な考えは、画素空間において単一の
相関係数により表される２次元静止画像信号（マルコ
フ）であっても、フーリエ変換（ＤＣＴ）領域における
フレーム間の相関係数は係数によりまちまちな値とな
り、一定ではないため（他方、従来のピクセル領域内の
フレーム間差分の近似では、フレーム間の相関係数は一
定の値であり、ほとんどの場合、予測係数はコンスタン
トに１．０にセットされる）、最適な予測係数を各周波
数係数に与えることにより、予測効率を改善するもので
ある。

【００１７】従って、上記従来技術の課題を解決するた
めに、本発明に係る画像処理装置は、ｍ画素＊ｎ行の画
像情報を入力し、該画像情報を周波数空間を表す第１の
画像データに変換する変換手段と、前記変換手段により
変換された、前フレームの画像情報に対応する周波数空
間を表す第２の画像データ信号を記憶する記憶手段と、
前記変換手段及び記憶手段に接続され、前記第１及び第
２の画像データ信号に基づきフレーム間の動画の動きに
対応するように前記第２の画像データ信号を修正する最
適化手段と、前記最適化手段によって修正された第２の
画像データ信号と前記第１の画像データ信号との差分値
を符号化する符号化手段とを有するものである。

【００１８】また、本発明に係る画像処理方法は、ｍ画
素＊ｎ行の入力された画像情報を周波数空間を表す第１
の画像データに変換し、前記第１の画像データとフレー
ムメモリに記憶された前のフレームの画像情報の周波数
空間を表す第２の画像データとから、前記画像情報のフ
レーム間の動きに対応する予測係数を選択し、選択され
た予測係数に従い前記第２の画像データ信号を修正し、
修正された画像データ信号と前記第１の画像データ信号
との差分値を符号化するものである。

【００１９】

【作用】本発明によれば、入力画像情報を周波数空間を
表すデータに変換し、このデータの各周波数係数を動画
の動きに応じて補償することができるので、予測効率が
改善され、画質を劣化することなく効率的なデータ圧縮
が可能となる。従って、本発明により動画像を圧縮する
場合には、ＪＰＥＧのフレーム内圧縮で優れている点及
びＭＰＥＧのフレーム間圧縮で優れている点をそれぞれ
利用することができる。

【００２０】

【実施例】以下、本発明の実施例について説明する。本
発明では、上述したように、いわゆる係数補償と呼ばれ
る新規な技術を開示し、これによって、従来のＪＰＥＧ
方式やフレーム間ＤＣＴ方式を改良するものである。

【００２１】係数補償は、最適な予測係数を各周波数係
数に与えることにより行われ、この最適な予測係数ρ
は、以下のようにして得られる。

【００２２】あるフレームとその次のフレームがある場
合、これらの上の画像信号を

【００２３】

【数１】とすると、フレーム内、フレーム間の信号の分散（平均
を０として）は、それぞれ、

【００２４】

【数２】で表される。分散は電力スペクトル密度の周波数＝０の
部分に対応しているから、式(1) 、(2) をそれぞれＳin
tra 、Ｓinter と表すことにし、Ｘｉｊ⁽ⁿ⁾、Ｘｉｊ
⁽ⁿ⁺¹⁾がＤＣＴ係数とすると、

【００２５】

【数３】フレーム間のＤＣＴ係数の最適予測係数は、

【００２６】

【数４】

【００２７】この式は、静止を仮定したときに統計的に
えられるものであり、Ｓinter （Ｐ) 及びＳintra
（Ｐ）は、それぞれフレーム内信号及びフレーム間差分
の信号の周波数空間における電力スペクトル密度であ
る。

【００２８】この式に従い、８（ピクセル）＊８（ライ
ン）のＤＣＴ変換についての最適な予測係数ρの例を求
めると、表１のようになる。表１は、動きが縦１画素、
横２画素で、フレーム間の相関係数を０．９５とした場
合の予測係数である。

【００２９】

【表１】

【００３０】一般に、最適予測係数ρの値は、フレーム
間の動きと、フレーム内の画像信号の相関係数との関数
である。このため、予測係数ρは、変化するパラメータ
にかかわらず最適な値の近傍に位置するような適応型ア
ルゴリズムによることが望ましい。この１つのアプロー
チを図１に示す。同図において、縦及横軸は、それぞれ
画素の垂直及び水平方向の動きを表し、この動きベクト
ル空間内の予想係数ρを、いくつかの重複しない領域、
例えばＳ０−Ｓ３に分離させることである。各領域は、
表１にあるような予測係数にそれぞれ対応し、動きが大
きくなるにつれＳ３からＳ０に向かう。ただし、この領
域の数は、アプリケーションに従い決定されるものであ
り、図１の数に限定されるものではない。

【００３１】上記アルゴリズムに従い、実際のシミュレ
ーションに使用された予測係数（以下、“予測マスク”
と称する）を図２に示す。各予測マスクＳ０−Ｓ３の係
数値は、演算処理を容易とするために、０、１／４、２
／４、３／４及び４／４（図面の濃度が濃くなるに従い
係数値が大きい）を用いている。各予測マスクＳ０−Ｓ
３は、図１に対応し、動きが大きくなるにつれて係数値
“０”の領域が増加する。各マスクの関係は、図からも
わかるように、各々が、他のものに含まれるような関
係、すなわち、予測マスクＳ０は予測マスクＳ１に含ま
れ、Ｓ１は予測マスクＳ２に含まれるような関係にあ
り、これによって、全体的に最適化を容易に実行するこ
とができる。

【００３２】仮に、動画の動きが大きい場合には、予測
マスクＳ０を選択することにより、動きの大きい高周波
数成分の周波数係数を遮断することができ、そうするこ
とで、動画像の圧縮はＪＰＥＧのフレーム内圧縮に近づ
くこととなる。反対に、動画の動きが小さい場合には、
予測マスクＳ３を選択することにより、低周波数成分の
周波数係数を通過させることができ、そうすることで、
動画像の圧縮はＭＰＥＧのフレーム間差分による圧縮に
近づくこととなる。

【００３３】次に、本実施例の画像処理装置において、
上記係数補償を行うための構成を図３に示す。図中、点
線で示した部分は、従来のＪＰＥＧを実行する部分に付
け加えられた係数補償回路を示している。

【００３４】本実施例の画像処理装置１０は、８（ピク
セル）＊８（ライン）のブロックからなる入力画像情報
の離散コサイン変換を行うＦＤＣＴ変換部１２と、ＦＤ
ＣＴ変換部１２の出力と係数補償回路２０からの出力２
４の差分をとる減算器１４と、減算器１４の出力を量子
化する量子化部１６と、量子化部１６の出力をＭＰＥＧ
と互換性のあるビットストリーム構成で符号化するビッ
トストリーム部１８とを有している。これらの構成は、
従来のＪＰＥＧにおけるＤＣＴ変換、ジグザグスキャ
ン、あるいはランレングス符号化などを組み合わせた技
術と同様である。

【００３５】画像処理装置１０は、さらに係数補償回路
２０を備えており、この回路は、量子化部１６からの出
力を逆量子化する逆量子化部２２と、逆量子化部２２の
出力と出力２４とを加算する加算器２６と、加算器２６
の出力を格納するフレームメモリ２８と、フレームメモ
リ２８の出力とＦＤＣＴ変換部１２の出力を入力し、最
適予測マスクを選択する決定回路３０と、決定回路３０
により選択された予測マスクとフレームメモリ２８の出
力とを乗算し、出力２４を減算器１４へ供給する乗算器
３２とを有している。また、決定回路３０によって選択
された予測マスクを識別するための情報、例えば、１フ
レームの各ブロックにつき４つの予測マスクを選択する
のであれば２ビット情報がＭＰＥＧユーザデータレジス
タ３４に出力され、これは、ＭＰＥＧ互換のビットスト
リーム内に符号化され、画像データ信号とともに伝送ま
たは蓄積される。

【００３６】次に、動作について説明する。８＊８画素
の画像情報は、ＦＤＣＴ変換部１２においてＤＣＴ変換
され、画素数に対応した６４個のＤＣＴ係数（周波数係
数）を示す画像データが出力される。本実施例では、周
波数空間、すなわち係数空間内で画像信号を処理するた
め、フレームメモリ２８には、ＦＤＣＴ変換部１２で変
換された前のフレームの対応するＤＣＴ係数が蓄積され
ている。現在入力されたブロックのＤＣＴ係数と前のフ
レームの対応するＤＣＴ係数とが決定回路３０に入力さ
れる。

【００３７】決定回路３０は、以下の式に従い演算処理
を実行し、ブロックの最適な予測マスクを選択する。

【００３８】

【数５】

【００３９】ＸijはＦＤＣＴ変換部１２の出力、Ｙijは
前フレームのＦＤＣＴ出力、Ｓk,i,j（ｋは０、１、
２、３）は予測マスクである。

【００４０】このようにして、決定回路３０により動画
像の動き、すなわち動きベクトルに応じた予測マスクが
選択され、この結果、動きが非常に大きい場合には、予
測マスクＳ０が選択され、動きが非常に小さい場合に
は、予測マスクＳ３が選択される。次いで、予測マスク
は、乗算器３２でフレームメモリ２８からのＤＣＴ係数
と乗算され、周波数係数の補償が行われる。また、選択
された予測マスクを識別するための２ビットの情報がユ
ーザデータレジスタ３４に出力される。

【００４１】補償されたＤＣＴ係数は出力２４として減
算器１４へ供給され、入力画像の変換されたＤＣＴ係数
との差分がとられる。この差分値は、量子化、符号化さ
れてＭＰＥＧ互換のビット構成としてビットストリーム
部１８から出力される。量子化部１６の出力は、さらに
逆量子化された後、補償されたＤＣＴ係数と加算される
ことにより、前のフレームのＤＣＴ係数となってフレー
ムメモリ２８に格納される。

【００４２】次に、本発明の他の実施例を説明する。上
記実施例では、４つの予測マスクＳ０−Ｓ３をブロック
ごとに選択（フレーム毎に予測マスクを変えない）した
が、本実施例は、予め計算によって求められた予測マス
クを３２個用意し、この中から各フレーム毎に最適な予
測マスクを選択するものである。

【００４３】予め準備される３２個の予測マスクは、図
２で示したものと同様に、各々が他のものに含まれるよ
うな線形の順序で配置される。仮に、１フレームが７２
０＊４８０画素からなる場合には、ブロック数は５４０
０個となり、個々のブロックについて３２の予測マスク
をそれぞれ適宜選択するとすれば、ブロックごとに５ビ
ットの情報を一緒に付加して送らなければならない。こ
のため、本実施例では、各フレームごとに３２の予測マ
スクの中から最適な４つの予測マスクを選択することと
し、そして、上記実施例と同様に、個々のブロックにつ
いて４つの予測マスクの中からいずれかを選択する。

【００４４】このアルゴリズムは、図４に示すような構
成で実効可能であり、これは決定回路３０で行うように
しても良い。まず初めに、任意の組の４つの予測マスク
からスタートする。符号化されるフレーム内において、
それぞれの予測マスクを選択するブロックの数が計数さ
れ、この結果はカウンター４０−４３にヒストグラム情
報として蓄えられる。フレームの最後に、これらの計数
結果と予め定められたしきい値Ｒｅｆ０−Ｒｅｆ３と比
較することにより、次の組の予測マスクが決定される。

【００４５】しきい値Ｒｅｆ０−Ｒｅｆ３をそれぞれ等
しくし（それぞれ５４００／４）、ヒストグラムの計数
と比較した結果、予測マスクＳ０−Ｓ３の選択された割
合がＲ０−Ｒ３であるとする。ここで、予測マスクＳ０
−Ｓ３の零でない部分は、Ｓ１からＳ３になるに従い徐
々に拡大されるため（お互いマスクが含まれる関係にあ
る）、Ｓ１−Ｓ３を固定してＳ０を変化させ（Ｒ０が１
／４から＋、−のどちらの方向にずれているのかを見て
次のマスクを選択する）ても、予測マスクＳ１−Ｓ３は
変化しない。次ぎに、予測マスクＳ０を変更して、Ｓ２
とＳ３を固定してＳ１を変化させても、Ｓ０、Ｓ２、Ｓ
３は変化せず、Ｓ１だけの変更が行える。これを順次行
って、予測マスクＳ０−Ｓ３を変更する。これは、上述
のように、予測マスクがお互いの零でない部分が順次含
まれている関係にあることから生じる特徴である。

【００４６】次に、本実施例によるシミュレーションの
結果を説明する。ここでは、４つのマスク（ある特定シ
ーケンスについて最適であるもの）を最初から固定した
ケース、すなわちフレーム毎に予測マスクの変更を行わ
ないケースと、フレーム毎に予測マスクを変更する適応
型制御のケースとを比較した。

【００４７】図５は、固定された４つのマスクのケース
において、各マスクがＭｏｂｉｌｅ＆Ｃａｌｅｎｄｅｒ
（以下、Ｍ＆Ｃと略す）と呼ばれるシーケンス中にどの
ように選択されたかを示し、図６は、適応型制御がどの
ようにして最適な状態を達成するのかを示している。両
図において、縦軸は、７２０（ピクセル）＊４８０（ラ
イン）のフレームを８＊８のブロックに分割した場合に
おけるブロック数を示し、横軸はシーケンスのフレーム
数を示している。

【００４８】最適化は、４つのマスクがそれぞれ２５％
選択されたときに達成されたものと考えることができ、
図中、もっとも下の曲線は、図２のマスクＳ０に対応
し、もっとも上の曲線はＳ３に対応する。マスクＳ０
は、フレームの非予測部分（動きが大きい部分）で選択
され、図５からわかるように、シーケンスの終わり（シ
ーケンスのフレーム１２０−１４０ぐらいで動きが大き
くなる）に向かい、画素の非予測部分が増加する。

【００４９】マスクを固定したケースでは、画素が全体
的に非予測的になると、予測マスク（フィルター）Ｓ０
の使用率が１００％程度となり、係数補償は従来のＪＰ
ＥＧの処理に近づく。他方、動きがないときは、予測効
率が増加し、予測マスク（フィルター）Ｓ３が１００％
使用され、係数補償は、動き補償されたＭＰＥＧの（予
測された）処理に近づく。適応型制御のケースでは、入
力画像の変動などに対して全体の画素の品質を維持し、
画質が最適に近くなるように各マスクの使用率をそれぞ
れ２５％近傍となるように維持する。言い替えれば、こ
の係数補償は、ＪＰＥＧと動き補償されたＭＰＥＧとの
中間に位置するものとみなすことができる。

【００５０】図７に、上記Ｍ＆Ｃシーケンスにおいて符
号化した場合のノイズシミュレーション結果を示す。図
７には、それぞれＪＰＥＧ、固定ケース、適応型ケース
及びフレーム間ＪＰＥＧが表されている。“ＪＰＥＧ”
の曲線は、ＪＰＥＧによるフレーム内圧縮の結果を示
し、“フレーム間ＪＰＥＧ”は１５フレームのＧＯＰ
（Ｇｒｏｕｐｏｆｐｉｃｔｕｒｅ）のフレーム間Ｄ
ＣＴ方式を示し、これは、１つのＪＰＥＧ符号化された
フレームに対して、それに続く１４フレームが予測され
た画素として符号化されることを意味する。“マスク固
定ケース”は、１つの固定された最適予測マスクの結果
を示す（これにより、追加のユーザ情報を節約する）。
“適応型ケース”は、図２に示される４つの分割された
予測マスクの結果に対応する。

【００５１】シミュレーションの最初の部分（フレーム
０からフレーム１５）は、ＭＰＥＧ−ＣＯＲＥシミュレ
ーション（ＩＳＯのＭＰＥＧ委員会でＭＰＥＧ２で同意
されたものであり、このシミュレーションもこれに基づ
く）で定義されたレイト−バッファ（ｒａｔｅ−ｂｕｆ
ｆｅｒ）コントロールの不適切な初期化により安定しな
いということをコメントする必要があるであろう。残り
の結果は、ほとんど安定しており、符号化モードは、画
像の非予測部分がフレーム１２０−１３０（ＳＮＲにお
いても理解される）のあたりで増加するにつれ、ＪＰＥ
Ｇに近似する。

【００５２】圧縮された画質は、内部のビデオ専門家に
よって評価され、ＪＰＥＧやフレーム間ＤＣＴ圧縮に比
べて、非常に大きな改善が得られた。この技術は、動き
補償されるＭＰＥＧにも適用することができる。

【００５３】

【発明の効果】以上詳細に説明したように、本発明によ
れば、単に画素空間においてフレーム間圧縮するのでは
なく、画像情報を周波数空間において処理するので、動
画の動きに対応した適切な圧縮が可能となる。また、動
画の動きに応じて最適な予測係数を各周波数係数に与え
ることができるので、動画の予測効率も改善され、その
結果、動画像を劣化させることなく効率の良いデータ圧
縮が可能となる。

【図面の簡単な説明】

【図１】動きベクトル空間内の予測係数の分離状態を示
す図。

【図２】予測マスクの例を示す図。

【図３】本発明の実施例に係る画像処理装置において係
数補償を行うための構成を示すブロック図。

【図４】他の実施例において係数補償を行うための構成
を示すブロック図。

【図５】テストシーケンスにおいて固定された予測マス
クの選択状況を示す図。

【図６】適応型制御における予測マスクの選択状況を示
す図。

【図７】符号化によるノイズシミュレーションの結果を
示す図。

【図８】従来のＪＰＥＧのフレーム内圧縮方式の示すブ
ロック図。

【図９】従来のＭＰＥＧのフレーム間差分のＤＣＴ変換
による圧縮方式を示すブロック図。

【図１０】ＤＣＴ変換された周波数係数の分布を示す
図。

【符号の説明】

１２ＦＤＣＴ変換部１６量子化部１８ビットストリーム部２０係数補償回路２２逆量子化部２８フレームメモリ３０決定回路

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号庁内整理番号ＦＩ技術表示箇所Ｈ０４Ｎ 7/133 Ｚ

Claims

【特許請求の範囲】

【請求項１】ｍ画素＊ｎ行の画像情報を入力し、該画
像情報を周波数空間を表す第１の画像データに変換する
変換手段と、前記変換手段により変換された、前フレームの画像情報
に対応する周波数空間を表す第２の画像データ信号を記
憶する記憶手段と、前記変換手段及び記憶手段に接続され、前記第１及び第
２の画像データ信号に基づきフレーム間の動画の動きに
対応するように前記第２の画像データ信号を修正する最
適化手段と、前記最適化手段によって修正された第２の画像データ信
号と前記第１の画像データ信号との差分値を符号化する
符号化手段とを有することを特徴とする画像処理装置。
【請求項２】請求項１の記載において、前記最適化手
段は、前記画像情報のフレーム間の動きと、フレーム内
の前記画像情報の相関係数との関数により定められた予
測係数に従い前記第２の画像データ信号を修正すること
を特徴とする画像処理装置。
【請求項３】請求項２の記載において、前記最適化手
段は、予め定められた複数の予測係数の中から動画の動
きに応じた予測係数を選択することを特徴とする画像処
理装置。
【請求項４】請求項３の記載において、前記最適化手
段は、フレーム間の動画の動きが大きい場合には、第２
の画像データ信号の高周波数成分を遮断する予測係数を
選択することを特徴とする画像処理装置。
【請求項５】請求項３の記載において、前記最適化手
段は、フレーム間の動画の動きが小さい場合には、第２
の画像データ信号の低周波数成分を透過する予測係数を
選択することを特徴とする画像処理装置。
【請求項６】請求項３の記載において、前記最適化手
段は、前記画像情報ごとに選択された予測係数を計数す
る手段と、該計数結果から各予測係数が平均して選択さ
れるように予測係数の選択を調製する手段とを有するこ
とを特徴とする画像処理装置。
【請求項７】請求項１ないし請求項６のいずれかの記
載において、前記変換手段は、前記画像情報の２次元離
散コサイン変換を行うことを特徴とする画像処理装置。
【請求項８】ｍ画素＊ｎ行の入力された画像情報を周
波数空間を表す第１の画像データに変換し、前記第１の
画像データとフレームメモリに記憶された前のフレーム
の画像情報の周波数空間を表す第２の画像データとか
ら、前記画像情報のフレーム間の動きに対応する予測係
数を選択し、選択された予測係数に従い前記第２の画像
データ信号を修正し、修正された画像データ信号と前記
第１の画像データ信号との差分値を符号化することを特
徴とする画像処置方法。