JPH06319124A - 画像データ変換装置及びその逆変換装置 - Google Patents

Abstract

(57)【要約】 （修正有） 【目的】 フレーム間予測符号化方式及びフレーム内符
号化方式の両者の長所を合せ持つ画像データ変換方式を
提供する。 【構成】 画像を縦横に分割したブロック単位に相前後
するフレームの画像データが同一内容に係るものである
か否かを判定回路４３で判定する。そして、前フレーム
と異なる内容のブロックの画像データのみに回路４６〜
４８を用いフレーム内符号化方式を適用する。他方、前
フレームと同一内容のブロックについてはその旨のデー
タをエンコーダ及びデコーダで授受する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、入力された画像データ
を記録媒体に記録したり伝送路に出力したりするために
変換する画像データ変換装置、及び、その逆変換装置に
関する。

【０００２】

【従来の技術】例えば、コンピュータを利用したゲーム
システムにおいては、周知のように、ゲームソフトウェ
アを記録媒体（例えばＣＤ−ＲＯＭ）に記録してユーザ
に提供する。このような記録媒体には、画像データ、オ
ーディオデータ、テキストデータ等の各種のデータが記
録されるが、自然画（動画）データを記録する場合に
は、圧縮符号化して記録していた。

【０００３】従来、このような自然画データを符号化す
る方式として、図４に示すフレーム間予測符号化方式
や、図６に示すフレーム内符号化方式が適用されてい
た。

【０００４】まず、フレーム間予測符号化方式に従う符
号化器（エンコーダ）について説明する。アナログ／デ
ジタル変換された画像データは、１画像を縦横に区分し
たブロック単位に、当該フレーム間予測符号化器１０に
入力される。入力された画像データは、１フレーム前の
同一画素の画像データとの差分（予測誤差）が減算器１
１によって取られる。この差分データが離散コサイン変
換器１２によって直交変換方式の１種である離散コサイ
ン変換されて量子化器１３に与えられて量子化された
後、さらに、可変長符号化器１４によって可変長符号化
されて出力される。量子化器１３から出力された量子化
信号はまた、逆量子化器１５に与えれれて逆量子化され
て逆離散コサイン変換器１６に与えられ、この逆離散コ
サイン変換器１６によって逆離散コサイン変換されて局
部再生の差分データに変換されて加算器１７に与えられ
る。加算器１７には、１フレーム前の画像データが与え
られており、１フレーム前の画像データに局部再生の差
分データを加算することで局部再生の画像データを得て
フレームメモリ１８に与える。フレームメモリ１８は、
１フレーム遅延回路として設けられているものであり、
１フレーム前の画像データを用いる上述した減算器１１
及び加算器１７に対して１フレーム前の画像データを供
給する。

【０００５】ゲームソフトウェア再生装置に設けられて
いる、図４に示すフレーム間予測符号化器（エンコー
ダ）１０に対応するフレーム間予測復号化器（デコー
ダ）２０は、図５に示す構成を有する。

【０００６】入力された符号化画像データは可変長復号
化器２１に与えられる。可変長復号化器２１は、上述し
た可変長符号化器１４の逆処理を行なってその変換画像
データを逆量子化器２２に与える。逆量子化器２２及び
逆離散コサイン変換器２３は、上述した符号化器１０に
設けられている量子化器１３及び離散コサイン変換器１
２の逆処理を行なってフレーム間差分データに変換す
る。このフレーム間差分データには、加算器２４におい
て１フレーム前の画像データが加算され、再生画像デー
タとなる。このようにして得られた再生画像データは、
表示部に出力されると共に、１フレーム遅延回路として
動作するフレームメモリ２５に与えられる。フレームメ
モリ２５は、上述した加算器２４に１フレーム前の画像
データを供給する。

【０００７】次に、図６を用いて、ゲームシステムの他
の符号化方式として用いられていたフレーム内符号化方
式に従う符号化器（エンコーダ）について説明する。

【０００８】アナログ／デジタル変換された画像データ
は、１画像を縦横に区分したブロック単位に、当該フレ
ーム内符号化器３０に入力される。入力された画像デー
タは離散コサイン変換器３１に与えられ、この離散コサ
イン変換器３１によって離散コサイン変換されて量子化
器３２に与えられる。量子化器３２は、離散コサイン変
換された画像データを量子化して可変長符号化器３３に
与え、可変長符号化器３３は入力された画像データを可
変長符号化して出力する。

【０００９】ゲームソフトウェア再生装置に設けられて
いる、図６に示すフレーム内符号化器（エンコーダ）３
０に対応するフレーム内復号化器（デコーダ）３５は、
図７に示す構成を有する。

【００１０】入力された符号化画像データは可変長復号
化器３６に与えられる。可変長復号化器３６は、上述し
た可変長符号化器３３の逆処理を行なってその変換画像
データを逆量子化器３７に与える。逆量子化器３７及び
逆離散コサイン変換器３８は、上述した符号化器３０に
設けられている量子化器３２及び離散コサイン変換器３
１の逆処理を行なって画像データを再生する。このよう
にして得られた再生画像データが表示部に出力される。

【００１１】

【発明が解決しようとする課題】フレーム間予測符号化
方式は一般的に圧縮効率が高いが大量のメモリが必要で
あったり、回路が複雑、大規模なものであったりする。
ゲームシステムの場合、ゲームソフトウェアを記録した
記録媒体の作成はメーカー側が行なうので、符号化器を
有する作成装置が複雑、大規模化すること、高価なメモ
リを多量に必要であることという問題は、さほど大きな
問題ではない。しかし、記録媒体の再生装置は、ユーザ
に提供されるものであるので、このような問題は、結果
として高価な装置になるという問題を生じて大きな問題
である。

【００１２】また、フレーム間予測符号化方式の場合、
相前後するフレーム間の差分データを離散コサイン変換
しており、符号化器には局部再生用の逆離散コサイン変
換器を備え、復号化器には逆離散コサイン変換器を備え
る。ゲームシステムの場合、符号化器と復号化器とは、
両逆離散コサイン変換器の演算精度が異なる可能性があ
る。このように演算精度が異なると、演算誤差の蓄積に
よって画質劣化が生じる。

【００１３】他方、フレーム内符号化方式は、使用する
メモリが少ないという利点は有するものの、符号化効率
が悪いという欠点を有する。そこで、フレームレートを
下げるという対処方法も提案されているが、これでも細
かい絵柄の場合には符号化効率が悪く、また、フレーム
レートを下げているため動き内容によっては不自然な表
示画像となるという欠点が生じる。

【００１４】本発明は、以上の点を考慮してなされたも
のであり、フレーム間予測符号化方式及びフレーム内符
号化方式の両者の長所を合せ持つ画像データ変換装置及
びその逆変換装置を提供しようとするものである。

【００１５】

【課題を解決するための手段】かかる課題を解決するた
め、第１の本発明の画像データ変換装置は、処理対象フ
レームの画像データと１フレーム前の画像データとを、
１画像を複数に分割した同一位置のブロック毎に比較し
て、相前後するフレームの画像データが同一内容である
か否かをブロック毎に判定する判定手段と、この判定手
段が画像内容が異なると判定した、処理対象フレームの
ブロックの画像データに対してフレーム内符号化を行な
うフレーム内符号化手段と、フレーム内符号化手段によ
って符号化されたフレーム内符号化データと、判定手段
が同一内容と判定したときに出力した、処理対象ブロッ
クが前フレームと同一内容であることを表すブロック未
符号化データとを合成して出力画像データを形成するデ
ータ合成手段とを備えた。

【００１６】また、第２の本発明の画像データ逆変換装
置は、第１の本発明の画像データ変換装置が出力した画
像データを、フレーム内符号化データとブロック未符号
化データとに分離するデータ分離手段と、フレーム内符
号化データを復号化するフレーム内復号化手段と、デー
タ分離手段が分離したデータがブロック未符号化データ
のときに記録内容を維持し、データ分離手段が分離した
データがフレーム内符号化データのときに、フレーム内
復号化手段が出力した画像データに記憶内容を更新する
画像メモリとを備えた。

【００１７】

【作用】第１の本発明において、判定手段は、処理対象
フレームの画像データと１フレーム前の画像データと
を、１画像を複数に分割した同一位置のブロック毎に比
較して、相前後するフレームの画像データが同一内容で
あるか否かをブロック毎に判定する。フレーム内符号化
手段は、判定手段が画像内容が異なると判定した、処理
対象フレームのブロックの画像データに対してフレーム
内符号化を行なう。データ合成手段は、フレーム内符号
化手段によって符号化されたフレーム内符号化データ
と、判定手段が同一内容と判定したときに出力した、処
理対象ブロックが前フレームと同一内容であることを表
すブロック未符号化データとを合成して出力画像データ
を形成する。

【００１８】すなわち、第１の本発明においては、前フ
レームと同一内容のブロックについては、その旨のブロ
ック未符号化データを画像データ逆変換装置に与え、前
フレームと異なる内容のブロックについては、フレーム
内符号化されたデータを画像データ逆変換装置に与え
る。

【００１９】第２の本発明の画像データ逆変換装置は、
第１の本発明の画像データ変換装置に対するものであ
る。データ分離手段は、第１の本発明の画像データ変換
装置が出力した画像データを、フレーム内符号化データ
とブロック未符号化データとに分離する。フレーム内復
号化手段は、フレーム内符号化データを復号化して画像
メモリに与える。画像メモリは、データ分離手段が分離
したデータがブロック未符号化データのときに記録内容
を維持し、データ分離手段が分離したデータがフレーム
内符号化データのときに、フレーム内復号化手段が出力
した画像データに記憶内容を更新する。

【００２０】

【実施例】以下、本発明の第１実施例を図面を参照しな
がら、画像データの変換装置及びその逆変換装置の順に
詳述する。

【００２１】図１は、第１実施例の画像データの変換装
置（エンコーダ）を示すものである。図１において、ア
ナログ／デジタル変換された画像データは、１画像を縦
横に区分したブロック単位に、当該画像データ変換器４
０に入力される。入力された画像データは、減算器４１
及びスイッチ回路４２に与えられる。

【００２２】減算器４１は、入力された画像データと１
フレーム前の同一画素の画像データとの差分データを得
て判定回路４３に与える。判定回路４３は、現在対象と
なっているブロック内の各画素についての差分データの
２乗和を求め、この２乗和を所定の閾値と比較する。こ
こで、閾値は、相前後するフレーム間の同一位置のブロ
ックが同一内容のブロックであるか否かを、すなわち、
相前後するフレーム間で画像内容が変化しているか否か
を区別できるように選定されている。例えば、静止画で
あれば当然に同一内容と判断される。また、動画であっ
ても、背景部分のブロックは同一内容と判断される。判
定回路４３は、同一内容であると判定すると、スイッチ
回路４２及び後述するスイッチ回路４５に開放指示信号
を与えると共に、マルチプレクサ４４に対してフレーム
内符号化を実行していない旨のブロック未符号化データ
を与える。他方、同一内容でないと判定すると、スイッ
チ回路４２及び後述するスイッチ回路４５に閉成指示信
号を与える。

【００２３】スイッチ回路４２を通過した入力された画
像データは離散コサイン変換器４６に与えられる。入力
された画像データは、この離散コサイン変換器４６によ
って離散コサイン変換されて量子化器４７に与えられ
る。量子化器４７は、離散コサイン変換された画像デー
タを量子化して可変長符号化器４８に与え、可変長符号
化器４８は入力された画像データを可変長符号化してマ
ルチプレクサ４４に出力する。

【００２４】以上のようにして、前フレームと同一内容
のブロックについては、その旨のブロック未符号化デー
タがマルチプレクサ４４に与えられ、前フレームと異な
る内容のブロックについては、フレーム内符号化された
データがマルチプレクサ４４に与えられ、マルチプレク
サ４４はこれらを多重化して出力する。

【００２５】量子化器４７から出力された量子化データ
はまた、逆量子化器４９に与えれれて逆量子化されて逆
離散コサイン変換器５０に与えられ、この逆離散コサイ
ン変換器５０によって逆離散コサイン変換されて局部再
生された画像データに変換される。このような局部再生
の画像データは、減算器４１が対象フレームと１フレー
ム前との差分の算出に利用できるように、スイッチ回路
４５を介して、１フレーム遅延回路としてのフレームメ
モリ５１に与えられる。フレームメモリ５１は、１フレ
ーム前の画像データを上述した減算器４１に供給する。

【００２６】図２は、図１に示した画像データ変換器４
０に対応した、第１実施例の画像データの逆変換装置
（デコーダ）５５の構成を示すものである。

【００２７】入力された変換データはデマルチプレクサ
５６に与えられる。デマルチプレクサ５６は、入力され
たデータをブロック未符号化データ及びフレーム内符号
化データに分離し、ブロック未符号化データが与えられ
ているときにはスイッチ回路５７に対して開放指示信号
を与え、他方、フレーム内符号化データが与えられてい
るときにはスイッチ回路５７に対して閉成指示信号を与
えると共に、そのフレーム内符号化データをこのスイッ
チ回路５７を介して可変長復号化器５８に与える。

【００２８】可変長復号化器５８は、上述した可変長符
号化器４８の逆処理を行なってその変換画像データを逆
量子化器５９に与える。逆量子化器５９及び逆離散コサ
イン変換器６０は、上述した符号化器４０に設けられて
いる量子化器４７及び離散コサイン変換器４６の逆処理
を行なって画像データを再生する。このようにして得ら
れた再生画像データが表示制御構成の一部をなすフレー
ムメモリ６１に与えられる。

【００２９】かくして、フレームメモリ６１は、ブロッ
ク未符号化データが与えられたブロックについては前フ
レームの内容を維持し、フレーム内符号化データが与え
られたブロックについては再生された画像データにその
内容を更新する。

【００３０】従って、上述した第１実施例によれば、前
フレームと異なる内容のブロックの画像データのみにフ
レーム内符号化方式を適用し、前フレームと同一内容の
ブロックについてはその旨のデータをエンコーダ及びデ
コーダで授受するようにしたので、以下の効果を得るこ
とができる。

【００３１】(1) 単にフレーム内符号化方式を適用した
場合に比べて符号化効率が向上する。すなわち、前フレ
ームと同一内容のブロックについてはその旨のデータを
エンコーダ及びデコーダで授受するので、授受される全
体のデータ量が単にフレーム内符号化方式を適用した場
合に比べて少なくなる。

【００３２】(2) フレーム間予測符号化方式を適用して
いないので、構成が簡易なものとなり、また、使用する
メモリも少なくなる。特に、デコーダ５５側についてか
かる効果が大きい。上述したように、ゲームシステムの
場合、デコーダがユーザに提供されるものであるので、
かかる効果の意義は大きい。

【００３３】(3) 前フレームと同一内容のブロックにつ
いてはその旨のデータをエンコーダ及びデコーダで授受
するだけであるので、このようなブロックについてはエ
ンコーダ及びデコーダで逆離散コサイン変換されず、符
号化されるブロックにおいてもフレーム内符号化である
ので、エンコーダ及びデコーダにおける逆離散コサイン
変換器における演算精度が異なっていても、演算誤差が
蓄積されない。

【００３４】図３は、本発明の第２実施例における画像
データ変換装置の構成を示すものである。

【００３５】図３において、アナログ／デジタル変換さ
れた画像データは、１画像を縦横に区分したブロック単
位に、当該画像データ変換装置７０に入力される。入力
された画像データは、減算器７１、スイッチ回路７２及
びフレームメモリ７３に与えられる。

【００３６】フレームメモリ７３は１フレーム遅延回路
として設けられたものであり、１フレーム遅延した画像
データ、すなわち、対象フレームの前のフレームの画像
データを減算器７１に与える。減算器７１は、入力され
た画像データと１フレーム前の同一画素の画像データと
の差分データを得て判定回路７４に与える。判定回路７
４は、現在対象となっているブロック内の各画素につい
ての差分データの２乗和を求め、この２乗和を所定の閾
値と比較して、相前後するフレーム間の同一位置のブロ
ックが同一内容のブロックであるか否かを、すなわち、
相前後するフレーム間で画像内容が変化しているか否か
を判定する。判定回路７４は、同一内容であると判定す
ると、スイッチ回路７２に開放指示信号を与えると共
に、マルチプレクサ７５に対してフレーム内符号化を実
行していない旨のブロック未符号化データを与える。他
方、同一内容でないと判定すると、スイッチ回路７２に
閉成指示信号を与える。

【００３７】スイッチ回路７２を通過した入力された画
像データは離散コサイン変換器７６に与えられる。この
画像データは、この離散コサイン変換器７６によって離
散コサイン変換されて量子化器７７に与えられる。量子
化器７７は、離散コサイン変換された画像データを量子
化して可変長符号化器７８に与える。可変長符号化器７
８は、量子化された画像データを可変長符号化してマル
チプレクサ７５に出力する。

【００３８】以上のようにして、前フレームと同一内容
のブロックについては、その旨のブロック未符号化デー
タがマルチプレクサ７５に与えられ、前フレームと異な
る内容のブロックについては、フレーム内符号化された
データがマルチプレクサ７５に与えられ、マルチプレク
サ７５はこれらを多重化して出力する。

【００３９】なお、第２実施例における画像データの逆
変換器の構成は第１実施例と同様であるので、その説明
は省略する。

【００４０】従って、第２実施例においても、上述した
第１実施例と同様な効果を得ることができる。ここで、
第２実施例の場合、逆量子化器及び逆離散コサイン変換
器がエンコーダに設けられていないので、メモリ数を含
めてエンコーダの構成を一段と簡易なものとすることが
できる。また、符号化されるブロックにおいてもフレー
ム内符号化であるので、フレーム間予測符号化における
エンコーダ及びデコーダの逆離散コサイン変換器での演
算精度の相違によって従来生じていた蓄積誤差は無視す
ることができる。

【００４１】なお、本発明は、記録媒体への記録及びそ
の記録媒体からの再生のために適用されるだけでなく、
伝送系を介する場合にも適用することができる。従っ
て、適用システムは、ゲームシステムに限定されるもの
ではない。

【００４２】

【発明の効果】以上のように、本発明によれば、前フレ
ームと異なる内容のブロックの画像データのみにフレー
ム内符号化方式を適用し、前フレームと同一内容のブロ
ックについてはその旨のデータをエンコーダ及びデコー
ダで授受するようにしたので、フレーム間予測符号化方
式及びフレーム内符号化方式の両者の長所を合せ持つ画
像データ変換装置及びその逆変換装置を実現することが
できる。

【図面の簡単な説明】

【図１】第１実施例の画像データ変換装置を示すブロッ
ク図である。

【図２】第１実施例の画像データ逆変換装置を示すブロ
ック図である。

【図３】第２実施例の画像データ変換装置を示すブロッ
ク図である。

【図４】従来のフレーム間予測符号化器を示すブロック
図である。

【図５】従来のフレーム間予測復号化器を示すブロック
図である。

【図６】従来のフレーム内符号化器を示すブロック図で
ある。

【図７】従来のフレーム内復号化器を示すブロック図で
ある。

【符号の説明】

４０…画像データ変換装置、４１…減算器、４２、４５
…スイッチ回路、４３…マルチプレクサ、４６…離散コ
サイン変換器、４７…量子化器、４８…可変長符号化
器、４９、５９…逆量子化器、５０、６０…逆離散コサ
イン変換器、５１、６１…フレームメモリ、５５…画像
データ逆変換装置。

Claims (2)

【特許請求の範囲】
1. 【請求項１】 処理対象フレームの画像データと１フレ
   ーム前の画像データとを、１画像を複数に分割した同一
   位置のブロック毎に比較して、相前後するフレームの画
   像データが同一内容であるか否かをブロック毎に判定す
   る判定手段と、 この判定手段が画像内容が異なると判定した、処理対象
   フレームのブロックの画像データに対してフレーム内符
   号化を行なうフレーム内符号化手段と、 このフレーム内符号化手段によって符号化されたフレー
   ム内符号化データと、上記判定手段が同一内容と判定し
   たときに出力した、処理対象ブロックが前フレームと同
   一内容であることを表すブロック未符号化データとを合
   成して出力画像データを形成するデータ合成手段とを備
   えたことを特徴とする画像データ変換装置。
2. 【請求項２】 請求項１に記載の画像データ変換装置が
   出力した画像データを、フレーム内符号化データとブロ
   ック未符号化データとに分離するデータ分離手段と、 フレーム内符号化データを復号化するフレーム内復号化
   手段と、 上記データ分離手段が分離したデータがブロック未符号
   化データのときに記録内容を維持し、上記データ分離手
   段が分離したデータがフレーム内符号化データのとき
   に、上記フレーム内復号化手段が出力した画像データに
   記憶内容を更新する画像メモリとを備えたことを特徴と
   する画像データ逆変換装置。