JP3709092B2 - 画像圧縮装置および画像伸張装置 - Google Patents
画像圧縮装置および画像伸張装置 Download PDFInfo
- Publication number
- JP3709092B2 JP3709092B2 JP06236399A JP6236399A JP3709092B2 JP 3709092 B2 JP3709092 B2 JP 3709092B2 JP 06236399 A JP06236399 A JP 06236399A JP 6236399 A JP6236399 A JP 6236399A JP 3709092 B2 JP3709092 B2 JP 3709092B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- matrix
- reduced
- reduced image
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000006835 compression Effects 0.000 title claims description 45
- 238000007906 compression Methods 0.000 title claims description 45
- 239000011159 matrix material Substances 0.000 claims description 186
- 230000009466 transformation Effects 0.000 claims description 19
- 238000006243 chemical reaction Methods 0.000 claims description 14
- 230000006870 function Effects 0.000 description 53
- 238000010586 diagram Methods 0.000 description 20
- 230000006837 decompression Effects 0.000 description 13
- 238000000034 method Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 239000000470 constituent Substances 0.000 description 5
- 230000009467 reduction Effects 0.000 description 4
- 230000007423 decrease Effects 0.000 description 3
- 238000011946 reduction process Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4084—Scaling of whole images or parts thereof, e.g. expanding or contracting in the transform domain, e.g. fast Fourier transform [FFT] domain scaling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/007—Transform coding, e.g. discrete cosine transform
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Discrete Mathematics (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Editing Of Facsimile Originals (AREA)
- Image Processing (AREA)
- Television Signal Processing For Recording (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、静止画像である原画像の画素数を低減させて得られた画像データを記録媒体に記録し、その記録媒体から画像データを読み出して原画像を復元させる画像圧縮伸張装置に関する。
【０００２】
【従来の技術】
従来、画像圧縮伸張装置における画像圧縮処理の例として、原画像を構成する多数の画素に含まれる所定数の画素値の平均値を求めて１つの画素を生成し、このような画素から成る縮小画像を記録媒体に記録するものが知られている。また画像圧縮伸張装置における画像伸張処理では、記録媒体から読み出された縮小画像に対して補間処理を施すことにより、原画像と同じ画素数の拡大画像が生成される。
【０００３】
一方、他の画像圧縮伸張装置として、縮小画像に２次元離散コサイン変換を施して得られたＤＣＴ係数を記録媒体に記録し、記録媒体から読み出されたＤＣＴ係数に対して２次元逆離散コサイン変換を施してＩＤＣＴ係数を得るものが知られている。ＩＤＣＴ係数は原画像の画素に含まれる一部の画素に対応しており、ＩＤＣＴ係数に対して補間処理を施すことによって、原画像と同じ画素数の拡大画像を生成することが可能である。
【０００４】
【発明が解決しようとする課題】
画像圧縮伸張装置によって再生された拡大画像は、理想的には原画像に一致すべきであるが、縮小画像を生成したときに原画像に含まれる情報の一部が欠落するため、通常、原画像に一致せず、画質は相対的に悪い。
【０００５】
本発明は、縮小画像から、原画像に対応した拡大画像を再生する画像圧縮伸張装置において、拡大画像の画質を向上させることを目的としている。
【０００６】
【課題を解決するための手段】
本発明に係る第１の画像圧縮装置は、複数の画素から成る第１のマトリクスによって構成される原画像データに基づいて、第１のマトリクスよりも少ない数の画素から成る第２のマトリクスによって構成される縮小画像データを生成する縮小画像生成手段と、第２のマトリクスを所定の方向に移動させて得られるマトリクスによって構成され、縮小画像データに含まれる１つの対象画素を構成要素とする縮小画像領域を設定する縮小画像領域設定手段と、縮小画像領域における縮小画像データに直交変換を施して縮小直交変換係数データを求める第１の直交変換手段と、縮小直交変換係数データに対して、第２のマトリクスよりも多い画素から成る第３のマトリクスによって構成される拡大画像データを得るように、逆直交変換を施す第１の拡大画像生成手段と、原画像データと拡大画像データの差に対応した誤差関数値を計算する誤差関数計算手段と、対象画素毎に、誤差関数値が最小になるように縮小画像領域の移動方向および移動量を選択する移動量選択手段とを備えたことを特徴としている。
【０００７】
画像圧縮装置は、縮小画像データと、移動量選択手段によって選択された移動方向および移動量を示すパラメータとを記録媒体に記録する記録手段を備えていてもよい。
【０００８】
縮小画像生成手段は例えば、第１のマトリクスに含まれる所定数の画素値の平均値を求め、この平均値を、第２のマトリクスに含まれ、所定数の画素に対応した１つの画素値として定める。この場合、平均値は例えば、第１のマトリクスに含まれる８×８の画素値から求められる。
【０００９】
第１のマトリクスは例えば６４×６４の画素から成り、第２のマトリクスは例えば８×８の画素から成る。
【００１０】
直交変換が２次元離散コサイン変換であるとき、逆直交変換は２次元逆離散コサイン変換である。この場合、第１、第２および第３のマトリクスがそれぞれ６４×６４、８×８および６４×６４の画素から成り、かつ第１の拡大画像生成手段が（１）式によって表される２次元逆離散コサイン変換により拡大画像データを得ることが好ましい。
【数２】
ただし、 0≦x≦63、 0≦y≦63、I'(s,t,q,r) yxは拡大画像データの画素値、
u,v＝0 のとき Cu,Cv＝1/21/2、 u,v≠0 のとき Cu,Cv＝1 、Ｄ(s,t,q,r) vuは２次元離散コサイン変換によって得られたＤＣＴ係数である。
【００１１】
画像圧縮装置は、第３のマトリクスの画素の座標系を原画像データの画素の座標系に変換することによって第４のマトリクスを生成する座標変換手段を備えることが好ましい。そして、この場合、誤差関数計算手段は第１のマトリクスに含まれる所定の画素と、第４のマトリクスに含まれ、第１のマトリクスの所定の画素に対応した画素との差の二乗和を、誤差関数値として計算する。誤差関数値は、縮小画像領域に含まれる縮小画像データと、拡大画像データが有するコントラストが原画像データが有するコントラストに近くなるようにして求められた修正拡大画像データとの差に対応していてもよい。
【００１２】
本発明に係る第１の画像伸張装置は、記録媒体に記録されたパラメータと縮小画像データとを読み出すデータ読出手段と、縮小画像データに含まれる１つの対象画素に対応した移動方向および移動量に基づいて、縮小画像領域を選択する縮小画像領域選択手段と、対象画素毎に、縮小画像領域における縮小画像データに直交変換を施して縮小直交変換係数データを求める第２の直交変換手段と、縮小直交変換係数データに対して、第２のマトリクスよりも多い画素数から成る第３のマトリクスによって構成される拡大画像データを得るように、逆直交変換を施す第２の拡大画像生成手段とを備えたことを特徴としている。
【００１３】
本発明に係る第２の画像圧縮装置は、複数の画素から成る第１のマトリクスによって構成される原画像データに基づいて、第１のマトリクスよりも少ない数の画素から成る第２のマトリクスによって構成される縮小画像データを生成する縮小画像生成手段と、第２のマトリクスを所定の方向に移動させて得られるマトリクスによって構成され、縮小画像データに含まれる１つの対象画素を構成要素とする縮小画像領域を設定する縮小画像領域設定手段と、縮小画像データに直交変換を施して縮小直交変換係数データを求める第１の直交変換手段と、縮小直交変換係数データに対して、第２のマトリクスよりも多い画素から成る第３のマトリクスによって構成される拡大画像データを得るように、逆直交変換を施す第１の拡大画像生成手段と、拡大画像データにコントラスト係数を施すことによって、拡大画像データが有するコントラストが原画像データが有するコントラストに近くなるように、コントラスト係数を求めるコントラスト係数演算手段と、拡大画像データにコントラスト係数を施すことによって、拡大画像データを修正し、修正拡大画像データを求めるコントラスト変換手段と、原画像データと修正拡大画像データの差に対応した誤差関数値を計算する誤差関数計算手段と、対象画素毎に、誤差関数値が最小になるように縮小画像領域の移動方向および移動量を選択する移動量選択手段とを備えたことを特徴としている。
【００１４】
画像圧縮装置は、縮小画像データと、コントラスト係数と、移動量選択手段によって選択された移動方向および移動量を示すパラメータとを記録媒体に記録する記録手段を備えていてもよい。
【００１５】
本発明に係る第２の画像伸張装置は、記録媒体に記録された縮小画像データとコントラスト係数とパラメータとを読み出すデータ読出手段と、縮小画像データに含まれる１つの対象画素に対応した移動方向および移動量に基づいて、縮小画像領域を選択する縮小画像領域選択手段と、対象画素毎に、縮小画像領域における縮小画像データに直交変換を施して縮小直交変換係数データを求める第２の直交変換手段と、縮小直交変換係数データに対して、第２のマトリクスよりも多い画素数から成る第３のマトリクスによって構成される拡大画像データを得るように、逆直交変換を施す第２の拡大画像生成手段と、拡大画像データにコントラスト係数を施すことによって、拡大画像データを修正し、修正拡大画像データを求めるコントラスト変換手段とを備えたことを特徴としている。
【００１６】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して説明する。
図１および図２は本発明の第１の実施形態である画像圧縮伸張装置を示すブロック図である。図１は画像圧縮装置を示し、図２は画像伸張装置を示す。
【００１７】
被写体ＳＰからの反射光は撮影光学系１１によって集光され、これにより撮像素子１２の受光面に被写体ＳＰの画像が結像される。撮像素子１２の受光面にはレッド（Ｒ）、グリーン（Ｇ）およびブルー（Ｂ）のカラーフィルタが設けられており、撮像素子１２では、Ｒ、ＧおよびＢの各画像に対応したアナログの電気信号がそれぞれ発生する。この電気信号はＡＤ変換器１３において、デジタルの電気信号であるＲ、ＧおよびＢの画像信号に変換される。Ｒ、ＧおよびＢの画像信号は図示しない画像処理回路において、輝度データＹ、および色差データＣｂ、Ｃｒに変換され、メモリ１４に格納される。
【００１８】
輝度データＹ、および色差データＣｂ、Ｃｒは、画像において水平方向に約１０００個、垂直方向に約６００個の画素が配列して構成される原画像データである。後述するように縮小画像生成部１５では、６４×６４の画素から成る第１のマトリクスが原画像データから抽出され、第１のマトリクスの原画像データに対して縮小処理が施される。縮小処理において原画像データは、第２のマトリクスによって構成される縮小画像データに変換される。第２のマトリクスは第１のマトリクスよりも少ない数の画素から成る。すなわち縮小画像データは、第１のメモリ１４に格納された輝度データＹ、および色差データＣｂ、Ｃｒよりも圧縮されており、圧縮率は例えば６４分の１である。縮小画像データは、ＩＣメモリカード等の記録媒体ＲＭに記録される。
【００１９】
縮小画像領域設定部１６では、縮小画像データに含まれる各画素に対して、縮小画像領域が設定される。縮小画像領域は、後に詳述するように、第２のマトリクスを所定の方向に所定量だけ移動させて得られるマトリクスによって構成され、その対象画素を構成要素として含んでいる。縮小画像領域のマトリクスは、第２のマトリクスと同じ構成を有し、例えば、第２のマトリクスが８×８の画素から成るとき、縮小画像領域のマトリクスも８×８の画素から成る。すなわち縮小画像領域は、１つの画素に対して複数個設定可能であり、例えば第２のマトリクスが８×８の画素から成るとき、６４種類の縮小画像領域が設定可能である。縮小画像領域設定部１６では、６４種類の中から１つの縮小画像領域が設定される。
【００２０】
第１のＤＣＴ処理部１７では、縮小画像領域に含まれる縮小画像データに２次元離散コサイン変換（２次元ＤＣＴ）を施すことによって、縮小ＤＣＴ係数データが求められる。すなわち、縮小ＤＣＴ係数データを構成するマトリクスの要素数は、縮小画像データを構成する第２のマトリクスと同じである。
【００２１】
第１の拡張ＩＤＣＴ処理部１８では、縮小ＤＣＴ係数データのマトリクスの構成要素である各ＤＣＴ係数に対して、後述する拡張２次元逆離散コサイン変換（拡張ＩＤＣＴ）が施され、第３のマトリクスによって構成される拡大画像データが得られる。第３のマトリクスに含まれる画素数は第２のマトリクスの画素数よりも多く、例えば、第１のマトリクスと同じである。
【００２２】
縮小画像生成部１５および第１のＤＣＴ処理部１７における処理によってデータの欠落が生じなければ、拡大画像データは原画像データに一致するが、通常はデータの一部が欠落するために、拡大画像データの各画素値は原画像データの各画素値とは異なったものとなる。誤差関数計算部１９では、原画像データの各画素値と、これに対応する拡大画像データの画素値との差に対応した誤差関数値が計算される。この計算については後述する。
【００２３】
誤差関数計算部１９において誤差関数値の計算が終了すると、縮小画像領域設定部１６において、今までとは異なる縮小画像領域が設定される。第１のＤＣＴ処理部１７では、新たに設定された縮小画像領域に関して縮小ＤＣＴ係数データが求められ、拡張ＩＤＣＴ処理部１８では、拡大画像データが得られる。次いで誤差関数計算部１９では、再び誤差関数値が計算される。
【００２４】
このようにして、全ての縮小画像領域に関して誤差関数値が計算されると、移動量選択部２０では、対象画素毎に、誤差関数値が最小になるような縮小画像領域の移動方向および移動量が選択される。対象画素毎に求められた最適な移動方向および移動量を示すパラメータｍｍは、縮小画像生成部１５において求められた縮小画像データと同様に記録媒体ＲＭに記録される。
【００２５】
輝度データＹ、および色差データＣｂ、Ｃｒに対応した縮小画像データと最適な移動方向および移動量のパラメータｍｍは、それぞれ記録媒体ＲＭから読み出される。縮小画像領域選択部３１では、縮小画像データを構成する各画素毎に、パラメータｍｍに基づいて、その画素に対する縮小画像領域の移動方向および移動量が選択される。第２のＤＣＴ処理部３２では、各画素毎に、縮小画像領域における縮小画像データに２次元ＤＣＴを施され、ＤＣＴ係数が求められる。ＤＣＴ係数は、第２の拡張ＩＤＣＴ処理部３３において拡張ＩＤＣＴを施され、第３のマトリクスによって構成される拡大画像データが得られる。拡大画像データは輝度データＹ、および色差データＣｂ、Ｃｒの形式で第２のメモリ３４に格納される。
【００２６】
図３は、図１および図２に示す画像圧縮伸張装置において処理される各画像データのマトリクスを示す図である。図４は縮小画像生成部１５における縮小処理を示す図である。図３および図４を参照して縮小画像生成部１５の作用を説明する。
【００２７】
原画像データは約１０００×６００の画素値Ｐyxから成り、８×８の画素から成るブロックに分割される。図３においてブロックＢ１は、原画像データの左上隅のブロックを原点として、水平方向にｓブロック目、垂直方向にｔブロック目に位置する。水平方向に８個並び、かつ垂直方向に８個並ぶ６４個のブロックによって第１のマトリクスＭ１が構成される。すなわち第１のマトリクスＭ１は６４×６４の画素値Ｐyxから成る。
【００２８】
縮小画像生成部１５では、第１のマトリクスＭ１によって構成される原画像データに基づいて第２のマトリクスＭ２が生成される。第２のマトリクスＭ２における画素値Ｒtsは下記（２）式によって示される。すなわち第２のマトリクスＭ２の画素値Ｒtsは、第１のマトリクスＭ１において、ブロックＢ１を構成する８×８の画素値Ｐyxの平均値を求めることによって得られる。
【００２９】
【数３】
ただし、原画像データにおいて原点は画像の左上隅Ｃ１の画素であり、ｘは画素の水平方向における座標、ｙは画素の垂直方向における座標を示す。
【００３０】
図４に示す例では、第１のマトリクスＭ１に含まれるブロックＢ１は、１６０、１５８、１８３、２１１、２２１、２２６・・・の６４個の画素値Ｐyxから成り、これら６４個の画素値Ｐyxの平均値１７４が第２のマトリクスＭ２の対応画素値Ｒtsとして求められる。
【００３１】
このように第２のマトリクスＭ２は８×８の画素値から成り、第２のマトリクスＭ２によって構成される縮小画像データは、原画像データよりも少ない画素によって元の画像を示すものである。換言すれば、原画像データにおいて水平方向にｓブロック目、垂直方向にｔブロック目に位置するブロックＢ１は、縮小画像データにおいて水平方向にｓ画素目、垂直方向にｔ画素目に位置する画素Ｐ１に対応する。
【００３２】
図５は、第２のマトリクスＭ２の８×８の画素値と、これらの画素値のＤＣＴ係数とを示している。図３および図５を参照して、第１および第２のＤＣＴ処理部１７、３２において実行される２次元ＤＣＴを説明する。
【００３３】
縮小画像データにおいて、第２のマトリクスＭ２の構成要素である画素値Ｒtsは、縮小画像データにおいて左上隅Ｃ２を原点とする（ｓ，ｔ）の座標系によって示されている。
【００３４】
第２のマトリクスＭ２の画素値Ｒtsに関してＤＣＴを行ない、さらに拡張ＩＤＣＴを行なって拡大画像データを求める場合、例えば画素Ｐ１に対応する拡大画像データは、画素Ｐ１を構成要素とする８×８の画素から成るマトリクスＭ２１を用いて計算することができる。マトリクスＭ２１は、第２のマトリクスＭ２を水平方向あるいは垂直方向にそれぞれ、最大で７画素移動させることによって得られ、第２のマトリクスＭ２に一致する場合を含めて全部で６４通りある。マトリクスＭ２１によって構成され、縮小画像データに含まれる１つの対象画素Ｐ１を構成要素とする領域を、この明細書では「縮小画像領域」と呼んでいる。
【００３５】
第１および第２のＤＣＴ処理部１７、３２におけるＤＣＴに先立ち、縮小画像領域設定部１６および縮小画像領域選択部３１では、それぞれ所定の縮小画像領域が設定あるいは選択される。ＤＣＴ処理部１７、３２ではまず、ＤＣＴを行なうため、画素値Ｒtsは（３）式に従って、縮小画像領域のマトリクスＭ２１において左上隅の画素Ｐ２を原点とする座標系に変換される。
【００３６】
【数４】
【００３７】
なお（３）式において符号ｑは、縮小画像領域のマトリクスＭ２１の第２のマトリクスＭ２に対する水平方向のずれを示し、左方向へのずれ量は負の値を有する。例えば、図３に示されるようにマトリクスＭ２１が第２のマトリクスＭ２に対して左方向へ５画素分ずれているとき、ｑ＝−５である。また符号ｒは、縮小画像領域のマトリクスＭ２１の第２のマトリクスＭ２に対する垂直方向のずれを示し、上方向へのずれ量は負の値を有する。
【００３８】
ＤＣＴは、第１および第２のＤＣＴ処理部１７、３２において下記（４）式に従って行なわれる。
【数５】
【００３９】
ＤＣＴによって得られたＤＣＴ係数Ｄ(s,t,q,r) vuから成るマトリクスＭＤにおいて、原点（０，０）にあるＤＣＴ係数Ｄ(s,t,q,r) 00は直流成分であり、残りの６３個のＤＣＴ係数Ｄ(s,t,q,r) vuは交流成分である。直流成分は第２のマトリクスを構成する８×８の画素値の平均値に対応し、各交流成分は、それぞれ所定の空間周波数成分に対応している。
【００４０】
次に、図３および図６を参照して、第１および第２の拡張ＩＤＣＴ処理部１８、３３において実行される拡張ＩＤＣＴを説明する。
ここでは、説明の簡単のために、画像データのマトリクスが１次元的に配列されている場合について、すなわち１次元の拡張ＩＤＣＴについて述べる。
【００４１】
８つの画素Ｐｘ（＝Ｐ0,Ｐ1,Ｐ2, ．．．Ｐ7)が１次元的に配置されて成る画像データに対する１次元離散コサイン変換は下記（５）式によって表される。
【数６】
【００４２】
（５）式から理解されるように、１次元離散コサイン変換によって、８個の領域ｘにおける画素値Ｐｘに基づいて空間周波数成分Ｆ（ｕ）が求められる。空間周波数の種類の数（すなわち "ｕ" の数）は領域ｘの数に等しく、領域ｘの数が８の場合は８である。すなわち、この場合、直流成分Ｆ（０）と７つの交流成分Ｆ（１）、Ｆ（２）、・・・Ｆ（７）とが求められる。
【００４３】
１次元逆離散コサイン変換は下記（６）式によって表される。
【数７】
【００４４】
（６）式から理解されるように、１次元逆離散コサイン変換によって、８個の空間周波数成分Ｆ（ｕ）に基づいて画素値Ｐ'xが求められる。
【００４５】
図６は、画素値Ｐ'xにおいて、直流成分Ｆ（０）に関する成分と、交流成分Ｆ（１）、Ｆ（２）、Ｆ（３）に関する成分とを示している。直流成分Ｆ（０）に関する画素値Ｐ'xの成分Ａ０は
【数８】
によって示される。交流成分Ｆ（１）に関する画素値Ｐ'xの成分Ａ１は
【数９】
によって示される。交流成分Ｆ（２）に関する画素値Ｐ'xの成分Ａ２は
【数１０】
によって示される。交流成分Ｆ（３）に関する画素値Ｐ'xの成分Ａ３は
【数１１】
によって示される。
【００４６】
画素値Ｐ'xは、全ての空間周波数成分Ｆ（０）、Ｆ（１）、Ｆ（２）、・・・Ｆ（７）に関する画素値Ｐ'xの成分の和である。例えばｘ＝１における画素値は、下記（７）式によって表される。
【数１２】
【００４７】
図６には、（７）式における空間周波数成分Ｆ（０）、Ｆ（１）、Ｆ（２）、Ｆ（３）に関する画素値の成分Ａ０１、Ａ１１、Ａ２１、Ａ３１が示されている。
【００４８】
ｘ＝１における画素値Ｐ'1を求めるのと同様な手法によって、すなわち各空間周波数成分Ｆ（０）、Ｆ（１）、・・・Ｆ（７）に関する画素値Ｐ'xの各成分Ａ０、Ａ１、Ａ２、Ａ３・・・の曲線（図６参照）において補間することによって、任意の領域ｘにおける画素値Ｐ'xを求めることができる。例えば、画素の領域ｘの範囲０〜７を６４等分した場合、すなわちｘ＝0, 0.125, 0.25, 0.375, 0.5, 0.625, ．．．. 7.75,7,875 に関する画素値は、（８）式によって求められる。
【００４９】
【数１３】
なお（８）式において、コサインの分母を１２８としたのは、領域ｘを整数として扱えるようにしたためである。
【００５０】
このようにして領域ｘの範囲をさらに細かく分割して逆離散コサイン変換を行なうことを、この明細書では「拡張ＩＤＣＴ」と呼んでいる。換言すると、拡張ＩＤＣＴとは、通常のＩＤＣＴにより得られる画素データのサンプリング数を、通常のＤＣＴ係数の数Ａ個よりも多いＢ個となるようにＩＤＣＴを施すことである。拡張ＩＤＣＴは、上述のような１次元配列の画像データの場合と同様にして２次元配列の画像データにも適用できる。（９）式は２次元配列の場合の拡張ＩＤＣＴを行なって、画素値Ｉ' (s,t,q,r) yxを求めるための式を示している。
【００５１】
【数１４】
【００５２】
（９）式に示される拡張ＩＤＣＴによれば、マトリクスＭＤを構成する８×８のＤＣＴ係数Ｄ(s,t,q,r) vuは、図７に示すように、６４×６４の画素値Ｉ' (s,t,q,r) yxから成る第３のマトリクスＭ３に変換される。第３のマトリクスＭ３は、前述したように拡大画像データを構成する。
【００５３】
第３のマトリクスＭ３における画素値Ｉ' (s,t,q,r) yxの座標（ｘ，ｙ）は、第２のマトリクスＭ２と同様に、左上隅の画素を原点としている。そこで、第３のマトリクスＭ３の画素値Ｉ' (s,t,q,r) yxを原画像データと同じ座標系に戻すため、（１０）式に従って座標変換が行なわれ、第４のマトリクスＭ４が求められる。
【００５４】
【数１５】
【００５５】
（１０）式から理解されるように、第４のマトリクスＭ４を求めるための座標変換は、縮小画像領域のマトリクスＭ２１の左上隅の画素の縮小画像データにおける位置（s+q, t+r）と、第３のマトリクスＭ３における画素値Ｉ' (s,t,q,r) yxの位置（ｘ，ｙ）とに基づいて行なわれる。なお以下の説明において、（１０）式の左辺に示される第４のマトリクスＭ４の画素値をＪyxと表示する。
【００５６】
図８は、原画像データと縮小画像データと縮小ＤＣＴ係数データと拡大画像データにおける関係を立体的に示す図である。この図に基づいて、これらのデータの関係を説明する。なおマトリクスＭ１、Ｍ２、Ｍ３、ＭＤは、図３に示されるマトリクスＭ１、Ｍ２、Ｍ３、ＭＤに対して相対的にずれている。
【００５７】
原画像データの第１のマトリクスＭ１は６４×６４の画素から成る。第１のマトリクスＭ１において、ブロックＢ１１は原画像データの原点から水平方向にｓブロック目、垂直方向にｔブロック目に位置し、左上隅のブロックＢ１２は原画像データの原点から水平方向に（ｓ−５）ブロック目、垂直方向の（ｔ−５）ブロック目に位置する。すなわちブロックＢ１１は、ブロックＢ１２を原点とする座標系では水平方向に５ブロック目、垂直方向に５ブロック目に位置する。
【００５８】
縮小画像データの第２のマトリクスＭ２における画素Ｐ１１は、第１のマトリクスＭ１のブロックＢ１１を構成する８×８の画素を平均することによって得られ、第２のマトリクスＭ２は８×８の画素から成る。縮小ＤＣＴ係数データは、縮小画像データに２次元ＤＣＴを施すことによって得られ、マトリクスＭＤは８×８のＤＣＴ係数から成る。２次元ＤＣＴによって、第２のマトリクスＭ２に含まれる１つの画素Ｐ１１に関連した情報が、縮小ＤＣＴ係数データを構成する全ての要素（ＤＣＴ係数）に拡散される。すなわち、全てのＤＣＴ係数は、第２のマトリクスＭ２に含まれる各画素に関連している。
【００５９】
縮小ＤＣＴ係数データは拡張ＩＤＣＴによって拡大画像データに変換され、縮小ＤＣＴ係数データを構成する８×８のＤＣＴ係数に基づいて、６４×６４の画素から成る拡大画像データが得られる。すなわち拡大画像データにおいて、原画像データのブロックＢ１１に対応する８×８の画素ブロックＢ１３は、マトリクスＭＤに含まれる全てのＤＣＴ係数に基づいて得られる。
【００６０】
図９は、原画像データにおいて第１のマトリクスＭ１を右方向に１ブロック、下方向に２ブロックだけ移動させて得られるマトリクスＭ１１に関して、縮小画像データ、縮小ＤＣＴ係数データおよび拡大画像データを求めたときにおける、原画像データと縮小画像データと縮小ＤＣＴ係数データと拡大画像データの関係を立体的に示す図である。マトリクスＭ１１の左上隅のブロックＢ１４は、原画像データの原点から水平方向に（ｓ−４）ブロック目、垂直方向に（ｔ−３）ブロック目に位置し、ブロックＢ１１は、マトリクスＭ１１の左上隅のブロックＢ１４を原点とする座標系では水平方向に４ブロック目、垂直方向に３ブロック目に位置する。
【００６１】
原画像データのマトリクスＭ１１に縮小処理を施すことによって縮小画像データを求めると、縮小画像データにおいて、マトリクスＭ１１に対応するマトリクスＭ２１は、第２のマトリクスＭ２に対して右方向に１画素、下方向に２画素だけずれている。したがって、マトリクスＭ２１の縮小画像データから得られる縮小ＤＣＴ係数データのマトリクスＭＥは、マトリクスＭＤに対して右方向に１画素、下方向に２画素だけずれている。また、拡大画像データにおいて、マトリクスＭ２１に対応するマトリクスＭ３１は、第３のマトリクスＭ３に対して右方向に１ブロック分、下方向に２ブロック分だけずれている。
【００６２】
拡大画像データにおけるブロックＢ１３の８×８の画素値は、縮小ＤＣＴ係数データのマトリクスＭＥを構成する画素に応じて変化する。すなわちブロックＢ１３の画素値は、縮小画像データのマトリクスＭ２１あるいは原画像データのマトリクスＭ１１に応じて変化する。
【００６３】
マトリクスＭ１１は、ブロックＢ１１を含むようにして、第１のマトリクスＭ１を水平方向あるいは垂直方向に移動させることによって得られ、その移動の範囲は水平方向および垂直方向にそれぞれ最大で７ブロック分である。同様に、マトリクスＭ２１は、画素Ｐ１１を含むようにして、第２のマトリクスＭ２を水平方向あるいは垂直方向に最大で７画素分だけずらせることによって得られる。したがってマトリクスＭ１１、Ｍ２１は、移動量が水平方向、垂直方向ともに０である場合を含めて、それぞれ６４種類あり、拡大画像データのブロックＢ１３の８×８の画素値は６４通りに変化する。
【００６４】
図１０は、縮小画像領域を所定方向に所定量だけ移動させたときにおける、拡大画像データの１つのブロックの画素値Ｉ' (s,t,q,r) yxを示している。なお図示された例は、第２のマトリクスＭ２の左上隅の画素Ｐ１（図３参照）に対応するブロックの画素値を示し、図７に示される第３のマトリクスＭ３の左上に位置する８×８の画素に対応している。
【００６５】
シフト（ｑ，ｒ）は縮小画像領域の水平および垂直方向における移動量を示す。シフト（ｑ，ｒ）＝（０，０）は、画素Ｐ１が縮小画像領域のマトリクスＭ２１の左上隅に位置する場合に対応し、この場合マトリクスＭ２１は第２のマトリクスＭ２に一致する。シフト（ｑ，ｒ）＝（−４，−３）は、シフト（ｑ，ｒ）＝（０，０）の状態から、マトリクスＭ２１が第２のマトリクスＭ２に対して、右方向に４画素分、下方向に３画素分だけ移動した場合に対応する。
【００６６】
図１０から理解されるように、拡大画像データの各ブロックの画素値は縮小画像領域の第２のマトリクスＭ２に対する相対位置に応じて変化する。すなわち、拡大画像データの各ブロックを構成する８×８の画素が、対応する原画像データの８×８の画素にできるだけ近くなるように、最適な縮小画像領域を選択することができ、最適な縮小画像領域はブロック毎に異なる。
【００６７】
最適な縮小画像領域を選択するために、誤差関数値Ｅ(s,t) が下記（１１）式に従って計算される。
【数１６】
【００６８】
（１１）式から理解されるように誤差関数値は、第１のマトリクスＭ１に含まれるブロックの８×８画素と、第４のマトリクスＭ４の対応するブロックに含まれ、第１のマトリクスＭ１のブロックの画素に対応した画素との差の二乗和である。
【００６９】
図１１は、縮小画像領域を第２のマトリクスＭ２に対して水平方向および垂直方向に所定量だけ移動させたときにおける、８×８の画素から成る１つのブロックに関する誤差関数値Ｅ(s,t) の一例を示している。シフト（ｑ，ｒ）＝（０，０）は、縮小画像領域のマトリクスＭ２１における左上隅の画素Ｐ２（図３参照）が第２のマトリクスＭ２の左上隅の画素Ｐ１（図３参照）に一致する場合を示しており、縮小画像領域が１画素分だけ左方向へ移動するとｑの値が１だけ減少し、縮小画像領域が１画素分だけ上方向へ移動するとｒの値が１だけ減少する。すなわちシフト（ｑ、ｒ）＝（−７，−７）は、縮小画像領域のマトリクスＭ２１における右下隅の画素が第２のマトリクスＭ２の左上隅の画素Ｐ１に一致する場合に対応する。図示された例では、シフト（ｑ，ｒ）＝（−７，−３）の場合に誤差関数値Ｅ(s,t) は最小（＝16654 ）である。
【００７０】
図１２は、最適な誤差関数値Ｅ(s,t) を求めるための最小誤差関数値選択プログラムのフローチャートである。このプログラムは、移動量選択部２０（図１参照）において、第２のマトリクスＭ２の各画素に対応する第１のマトリクスＭ１の１ブロックに対して実行される。すなわち最適誤差関数値は各ブロック毎に求められる。
【００７１】
ステップ１０１では、縮小画像領域の第２のマトリクスＭ２に対する水平方向および垂直方向への移動量の最適値ＳＱ、ＳＲが、それぞれ初期値０に定められ、これはシフト（ｑ，ｒ）＝（０，０）に対応している。またステップ１０１では、シフト（ｑ，ｒ）＝（０，０）のときの誤差関数値Ｅ（０，０）が最適な誤差関数値Ｅmin の初期値として定められる。ステップ１０２では、垂直方向への移動量ｒが０に定められ、ステップ１０３では、水平方向への移動量ｑが０に定められる。
【００７２】
ステップ１０４では、シフト（ｑ，ｒ）における誤差関数値Ｅ（ｑ，ｒ）が、現在設定されている最適誤差関数値Ｅmin よりも小さいか否かが判定される。誤差関数値Ｅ（ｑ，ｒ）が現在設定されている最適誤差関数値Ｅmin よりも小さいとき、ステップ１０５が実行され、ステップ１０４において求められた誤差関数値Ｅ（ｑ，ｒ）が新たに最適誤差関数値Ｅmin として設定される。またステップ１０５では、移動量ｑ、ｒが最適値ＳＱ、ＳＲとして、それぞれ定められる。ステップ１０４において、現在設定されている最適誤差関数値Ｅmin 以上であると判定されたとき、ステップ１０５は実行されない。
【００７３】
ステップ１０６では、水平方向の移動量ｑが１だけ減算される。すなわち、次のステップ１０４、１０５では、１画素分だけ左方向へ移動した縮小画像領域に関する処理が行なわれる。
【００７４】
ステップ１０７では、移動量ｑが−８に等しいか否かが判定される。移動量ｑが−８に等しくないとき、ステップ１０４へ戻り、上述した処理が再び実行される。これに対して移動量ｑが−８に等しいとき、第２のマトリクスＭ２に対して７画素分だけ左へ移動した縮小画像領域についてステップ１０４、１０５の処理が終了している。この場合、次に、垂直方向の位置が異なる縮小画像領域に関してステップ１０４、１０５を実行するために、ステップ１０８、１０９が実行される。ステップ１０８では、垂直方向の移動量ｒが１だけ減算される。ステップ１０９では、移動量ｒが−８に等しいか否かが判定される。移動量ｒが−８に等しくないとき、ステップ１０３へ戻る。すなわち、水平方向の移動量ｑが０にクリアされて、ステップ１０４〜１０７が再び実行される。
【００７５】
これに対して、ステップ１０９において移動量ｒが−８に等しいと判定されたとき、６４通りの縮小画像領域についてステップ１０４が実行されて最適な誤差関数値が検出されており、このプログラムは終了する。
【００７６】
以上のように本実施形態では、誤差関数計算部１９において、第２のマトリクスＭ２に含まれる全ての画素について、それぞれ６４通りの縮小画像領域に関する誤差関数値が求められる。そして移動量選択部２０では、拡大画像データと原画像データが最も近くなるような縮小画像領域の移動方向および移動量が、第２のマトリクスＭ２の各画素に対応する第１のマトリクスＭ１の各ブロック毎に求められ、その移動方向および移動量を示すパラメータｍｍが縮小画像データとともに記録媒体ＲＭに記録される。したがって画像伸張装置（図２参照）では、その移動方向および移動量に基づいて拡張ＩＤＣＴを実行することができ、再生画像の画質を向上させることができる。
【００７７】
図１３および図１４は第２の実施形態である画像圧縮伸張装置を示すブロック図である。図１３は画像圧縮装置を示し、図１４は画像伸張装置を示す。図１および図２に示す第１の実施形態と同一または相当する構成要件に関しては、同じ符号を用いている。
【００７８】
第１の実施形態と異なる構成を説明する。
第２の実施形態の画像圧縮装置において、第１の拡張ＩＤＣＴ処理部１８と誤差関数計算部１９の間に、コントラスト係数計算部２１と第１のコントラスト変換部２２が設けられている。誤差関数計算部１９の後段には、移動量・コントラスト係数選択部２３が設けられている。また、画像伸張装置において、拡張ＩＤＣＴ処理部３３の後段には第２のコントラスト変換部３５が設けられている。その他の構成は、基本的に第１の実施形態と同様である。
【００７９】
コントラスト係数計算部２１では、拡大画像データにおけるコントラストの低下を補正するためのコントラスト係数が求められる。すなわちコントラスト係数は、拡大画像データが有するコントラストが原画像データが有するコントラストにできるだけ近くなるように、拡大画像データに施されるものである。コントラスト変換部２２では、コントラスト係数con を用いて拡大画像データが修正される。
【００８０】
図３に示される画像データの構成は第２の実施形態においても共通であるので、図３および図１５を参照して、コントラスト係数計算部２１において実行されるコントラスト係数con の演算、およびコントラスト変換部２２、３５において実行される拡大画像データの修正について説明する。
【００８１】
原画像データのブロックＢ１を構成する８×８のマトリクスにおいて、水平方向に延びる１つの列を構成する８個の画素が例えばＰy0、Ｐy1、Ｐy2、Ｐy3、Ｐy4、Ｐy5、Ｐy6、Ｐy7の値をとり、これらに対応する拡大画像データの８個の画素が例えばＪy0、Ｊy1、Ｊy2、Ｊy3、Ｊy4、Ｊy5、Ｊy6、Ｊy7の値をとるとする。また、原画像データの８個の画素Ｐy0、Ｐy1・・・Ｐy7の平均値がＡＰであり、拡大画像データの８個の画素Ｊy0、Ｊy1・・・Ｊy7の平均値がＡＪであるとする。
【００８２】
縮小画像生成部１５および第１のＤＣＴ処理部１７における処理によってデータの一部が欠落するため、拡大画像データの各画素値は原画像データとは異なる値をとる。すなわち拡大画像データの各画素値は、原画像データと比較して、平均値ＡＪに近くなり、全体的に変化量は小さくなる。換言すれば、拡大画像データのコントラストは原画像データよりも低下する。
【００８３】
そこでコントラスト係数計算部２１では、拡大画像データのコントラストをできるだけ原画像データに近づけるための修正係数として、下記（１２）〜（１７）式に従ってコントラスト係数con が求められる。コントラスト変換部２２、３５では、コントラスト係数con を用いて、拡大画像データの各画素値において、平均値ＡＪよりも大きい値をとるものに対しては、より大きい値をとるように修正され、平均値ＡＪよりも小さい値をとるものに対しては、より小さい値をとるように修正され、中間修正拡大画像データの画素Ｊc y0、Ｊc y1・・・Ｊc y7が求められる。
【００８４】
なおこの修正に先立ち、拡大画像データの画素値の平均値ＡＪが原画像データの画素値の平均値ＡＰに等しくなるように、拡大画像データの各画素値には補正係数が乗じられる。例えば平均値ＡＰが平均値ＡＪの1.05倍であった場合、拡大画像データの各画素値には補正係数として1.05が乗じられ、拡大画像データの画素値は平均値ＡＪ’（＝ＡＰ）をとるように補正される。すなわち、修正された拡大画像データの画素Ｊc y0、Ｊc y1・・・Ｊc y7の平均値ＡＪ’は原画像データの平均値ＡＰに等しい。
【００８５】
コントラスト係数con の求め方について詳述する。
なお、第３および第４のマトリクスＭ３、Ｍ４における対応した画素同士は同じ値を有し、コントラスト係数con は第４のマトリクスＭ４の画素値を用いて、計算される。すなわちコントラスト係数con の計算では、第４のマトリクスＭ４の画素値を拡大画像データとして用いる。
【００８６】
まず（１２）式に従って、第４のマトリクスＭ４（座標変換された拡大画像データ）の１つのブロックを構成する８×８個の画素Ｊyxの平均値ave'が求められる。また、（１３）式に従って第１のマトリクス（原画像データ）に含まれ、第４のマトリクスＭ４のブロックに対応するブロックを構成する８×８個の画素Ｐyxの平均値ave が求められる。なお以下では、第１のマトリクスＭ１のブロックＢ１と、第４のマトリクスＭ４のブロックＢ４とが相互に対応するとして説明する。
【００８７】
【数１７】
【数１８】
【００８８】
次いで、上述したように、平均値ave'が平均値ave に等しくなるように、画素Ｊyxに補正係数が乗じられる。以下の説明では、この補正係数を乗じたものを画素Ｊyxとして説明する。すなわち８×８個の画素Ｊyxの平均値はave である。
【００８９】
中間修正拡大画像データの画素Ｊc yxが（１４）式によって定義される。すなわち中間修正拡大画像データの画素Ｊc yxは、画素Ｊyxと平均値ave との差に修正係数con を乗じたことによって得られる修正値（Ｊyx−ave ）×con に対して、平均値ave を加算することにより得られる。
【数１９】
【００９０】
（１４）式において画素Ｊc yxは、con=1 のとき拡大画像データの画素Ｊyxに等しくなり、con=0 のとき平均値ave に等しくなる。またcon ＞1 のとき、画素Ｊc yxは拡大画像データの画素Ｊyxに対してコントラストが増加せしめられる。このようにコントラスト係数con を最適値に定めることにより、原画像データの画素Ｐyxに近い画素Ｊc yxを有する修正拡大画像データを得ることができる。
【００９１】
修正拡大画像データを計算するため、まず、（１５）式に従って中間修正拡大画像データの画素値と原画像データの画素値との二乗誤差の合計Ｅ(s,t) が、第１および第４のマトリクスＭ１、Ｍ４のブロックＢ１、Ｂ４に関して求められる。
【数２０】
【００９２】
二乗誤差の合計Ｅ(s,t) は正の値をとり、コントラスト係数con の値によって変化する。したがって（１５）式をコントラスト係数con によって偏微分し、その値が０となるようにコントラスト係数con を選べば、そのとき、合計Ｅ(s,t) は最小になり、そのコントラスト係数con は最適値を有する。すなわち、最適なコントラスト係数con は（１６）式および（１７）式に従って求められる。
【数２１】
【数２２】
【００９３】
この最適なコントラスト係数con は、コントラスト変換部２２、３５において、拡大画像データの画素Ｊyxを修正するために用いられる。すなわち（１４）式に従って拡大画像データの画素Ｊyxが修正され、原画像データが有するコントラストにできるだけ近いコントラストを有する修正拡大画像データが得られる。
【００９４】
図１６は、コントラスト係数計算部２１において実行され、（１７）式に従ってコントラスト係数con を求めるプログラムのフローチャートである。
【００９５】
ステップ２０１では、原画像データの画素Ｐyxと拡大画像データの画素Ｊyxとの積ＰＪの初期値が０に定められ、画素Ｊyxの二乗ＪＪの初期値が０に定められる。またステップ２０１では、第１および第４のマトリクスＭ１、Ｍ４の各ブロックＢ１、Ｂ４において左上隅に位置する画素の縦座標ｙが（ｔ×８）によって求められ、同様にしてステップ２０２では、ブロックＢ１、Ｂ４において左上隅に位置する画素の横座標ｘが（ｓ×８）によって求められる。
【００９６】
ステップ２０３では、原画像データの画素Ｐyxと拡大画像データの画素Ｊyxとの積が求められ、ステップ２０３における前回の計算結果である積ＰＪに加算される。また、画素Ｊyxの二乗が求められ、ステップ２０３における前回の計算結果である二乗ＪＪに加算される。
【００９７】
ステップ２０４では、画素の横座標ｘに１が加算される。ステップ２０５では、画素の横座標ｘがブロックＢ１、Ｂ４から離れたときの値（ｓ×８）＋８に等しいか否かが判定される。画素の横座標ｘがブロックＢ１、Ｂ４の範囲内にあるとき、ステップ２０３が再び実行される。これに対して横座標ｘがブロックＢ１、Ｂ４から離れたとき、ステップ２０６において画素の縦座標ｙに１が加算された後、ステップ２０７において、画素の縦座標ｙがブロックＢ１、Ｂ４から離れたときの値（ｔ×８）＋８に等しいか否かが判定される。画素の縦座標ｙがブロックＢ１、Ｂ４の範囲内にあるとき、ステップ２０２へ戻り、横座標ｘが初期値（ｓ×８）にリセットされる。そして、ステップ２０３、２０４、２０５から成るループが再び実行される。
【００９８】
このようにしてブロックＢ１、Ｂ４を構成する８×８個の画素に関して積和ＰＪと二乗和ＪＪが求められると、ステップ２０８において、（１７）式に従ってコントラスト係数con が計算され、このプログラムは終了する。
【００９９】
図１７は、コントラスト変換部２２、３５において実行され、（１４）式に従って修正拡大画像データの画素Ｊc yxを求めるプログラムのフローチャートである。
【０１００】
ステップ３０１では、第１および第４のマトリクスＭ１、Ｍ４のブロックＢ１、Ｂ４において左上隅に位置する画素の縦座標ｙが（ｔ×８）によって求められ、同様にしてステップ３０２では、ブロックＢ１、Ｂ４において左上隅に位置する画素の横座標ｘが（ｓ×８）によって求められる。ステップ３０３では、（１４）式に従って修正拡大画像データの画素Ｊc yxが計算される。
【０１０１】
ステップ３０４では、画素の横座標ｘに１が加算される。ステップ３０５では、画素の横座標ｘがブロックＢ１、Ｂ４から離れたときの値（ｓ×８）＋８に等しいか否かが判定される。画素の横座標ｘがブロックＢ１、Ｂ４の範囲内にあるとき、ステップ３０３が再び実行される。これに対して横座標ｘがブロックＢ１、Ｂ４から離れたとき、ステップ３０６において画素の縦座標ｙに１が加算された後、ステップ３０７において、画素の縦座標ｙがブロックＢ１、Ｂ４から離れたときの値（ｔ×８）＋８に等しいか否かが判定される。画素の縦座標ｙがブロックＢ１、Ｂ４の範囲内にあるとき、ステップ３０２へ戻り、横座標ｘが初期値（ｓ×８）にリセットされる。そして、ステップ３０３、３０４、３０５から成るループが再び実行される。
【０１０２】
このようにしてブロックＢ１、Ｂ４を構成する８×８個の画素の全てについてステップ３０３が実行されると、このプログラムは終了する。
【０１０３】
誤差関数計算部１９では、縮小画像領域設定部１６において設定された縮小画像領域に含まれる原画像データの各画素値と、コントラスト変換部２２によって得られた修正拡大画像データの画素値との差に基づいて誤差関数値が計算される。誤差関数値の計算は、第１の実施形態と同じである。誤差関数計算部１９において誤差関数値の計算が終了すると、縮小画像領域設定部１６において次の縮小画像領域が設定される。そしてＤＣＴ処理部１７、拡張ＩＤＣＴ処理部１８、コントラスト係数計算部２１、コントラスト変換部２２の順に処理が行なわれ、誤差関数計算部１９において、再び誤差関数値が計算される。
【０１０４】
図１８は、第１の実施形態における図１０に対応しており、１つのブロックに関する修正拡大画像データを示し、対応する原画像データは、第１の実施形態と同じである。第１の実施形態における拡大画像データ（図１０参照）と比較することから理解されるように、第２の実施形態によれば、コントラスト係数計算部２１とコントラスト変換部２２、３５を設けたことによって、相対的に大きい値を有する画素は、より大きい値に修正され、相対的に小さい値を有する画素は、より小さい値に修正される傾向にある。
【０１０５】
図１９は第１の実施形態における図１１に対応しており、縮小画像領域を第２のマトリクスＭ２に対して水平方向および垂直方向に所定量だけ移動させたときにおける、コントラスト係数と誤差関数値の例を示している。この図に示される例では、シフト（ｑ，ｒ）＝（−７，−３）における誤差関数値が最小であり、そのときのコントラスト係数は1.103 である。また図１１との対比から明らかなように、コントラスト係数の導入によって、誤差関数値は小さくなっている。
【０１０６】
誤差関数値が最小になるときの縮小画像領域の移動方向および移動量とコントラスト係数con は、第１の実施形態と同様に、８×８の画素ブロック毎に異なり、その移動方向および移動量を示すパラメータｍｍとともに記録媒体ＲＭに記録される。
【０１０７】
以上のように本実施形態によれば、第１の実施形態によって得られる効果に加えて、コントラスト係数con を用いたことによって、原画像により近い画像を再生することが可能となる。
【０１０８】
【発明の効果】
以上のように本発明によれば、縮小画像から、原画像に対応した拡大画像を再生する画像圧縮伸張装置において、拡大画像の画質を向上させることが可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態である画像圧縮伸張装置に含まれる画像圧縮装置を示すブロック図である。
【図２】本発明の第１の実施形態である画像圧縮伸張装置に含まれる画像伸張装置を示すブロック図である。
【図３】図１および図２に示す画像圧縮伸張装置において処理される各画像データのマトリクスを示す図である。
【図４】縮小画像生成部における縮小処理を示す図である。
【図５】第２のマトリクスの８×８の画素値と、これらの画素値から成る画像データに対応したＤＣＴ係数とを示す図である。
【図６】画素値における直流成分Ｆ（０）に関する成分と、交流成分Ｆ（１）、Ｆ（２）、Ｆ（３）に関する成分とを示す図である。
【図７】８×８のマトリクスのＤＣＴ係数と、再生画像データの第３のマトリクスを構成する画素値とを示す図である。
【図８】原画像データと縮小画像データと縮小ＤＣＴ係数データと拡大画像データの関係を立体的に示す図である。
【図９】原画像データにおいて第１のマトリクスを上側に２ブロック、左側に１ブロックだけ移動させて得られるマトリクスに関して、縮小画像データ、縮小ＤＣＴ係数データおよび拡大画像データを求めたときにおける、原画像データと縮小画像データと縮小ＤＣＴ係数データと拡大画像データの関係を立体的に示す図である。
【図１０】対象画素に対して縮小画像領域を所定の方向に所定量だけ移動させたときにおける、拡大画像データの１つのブロックの画素値を示す図である。
【図１１】縮小画像領域を第２のマトリクスに対して水平方向および垂直方向に所定量だけ移動させたときにおける、８×８の画素から成る１つのブロックに関する誤差関数値の一例を示す図である。
【図１２】最小誤差関数値選択プログラムのフローチャートである。
【図１３】本発明の第２の実施形態である画像圧縮伸張装置に含まれる画像圧縮装置を示すブロック図である。
【図１４】本発明の第２の実施形態である画像圧縮伸張装置に含まれる画像伸張装置を示すブロック図である。
【図１５】原画像データ、拡大画像データおよび中間修正拡大画像データの画素値の例を示す図である。
【図１６】コントラスト係数を求めるためのプログラムのフローチャートである。
【図１７】修正拡大画像データの画素値を求めるためのプログラムのフローチャートである。
【図１８】第１の実施形態における図１０に対応し、修正拡大画像データの１つのブロックの画素値を示す図である。
【図１９】第１の実施形態における図１１に対応し、１つのブロックに関する誤差関数値の一例を示す図である。
【符号の説明】
１５ 縮小画像生成部
１６ 縮小画像領域設定部
１７ 第１のＤＣＴ処理部
１８ 第１の拡張ＩＤＣＴ処理部
１９ 誤差関数計算部
２０ 移動量選択部
２１ コントラスト係数計算部
２２ 第１のコントラスト変換部
２３ 移動量・コントラスト係数選択部
３１ 縮小画像領域選択部
３２ 第２のＤＣＴ処理部
３３ 第２の拡張ＩＤＣＴ処理部
３５ 第２のコントラスト変換部
ＲＭ 記録媒体
Ｍ１ 第１のマトリクス
Ｍ２ 第２のマトリクス
Ｍ３ 第３のマトリクス
Ｍ４ 第４のマトリクス
【発明の属する技術分野】
本発明は、静止画像である原画像の画素数を低減させて得られた画像データを記録媒体に記録し、その記録媒体から画像データを読み出して原画像を復元させる画像圧縮伸張装置に関する。
【０００２】
【従来の技術】
従来、画像圧縮伸張装置における画像圧縮処理の例として、原画像を構成する多数の画素に含まれる所定数の画素値の平均値を求めて１つの画素を生成し、このような画素から成る縮小画像を記録媒体に記録するものが知られている。また画像圧縮伸張装置における画像伸張処理では、記録媒体から読み出された縮小画像に対して補間処理を施すことにより、原画像と同じ画素数の拡大画像が生成される。
【０００３】
一方、他の画像圧縮伸張装置として、縮小画像に２次元離散コサイン変換を施して得られたＤＣＴ係数を記録媒体に記録し、記録媒体から読み出されたＤＣＴ係数に対して２次元逆離散コサイン変換を施してＩＤＣＴ係数を得るものが知られている。ＩＤＣＴ係数は原画像の画素に含まれる一部の画素に対応しており、ＩＤＣＴ係数に対して補間処理を施すことによって、原画像と同じ画素数の拡大画像を生成することが可能である。
【０００４】
【発明が解決しようとする課題】
画像圧縮伸張装置によって再生された拡大画像は、理想的には原画像に一致すべきであるが、縮小画像を生成したときに原画像に含まれる情報の一部が欠落するため、通常、原画像に一致せず、画質は相対的に悪い。
【０００５】
本発明は、縮小画像から、原画像に対応した拡大画像を再生する画像圧縮伸張装置において、拡大画像の画質を向上させることを目的としている。
【０００６】
【課題を解決するための手段】
本発明に係る第１の画像圧縮装置は、複数の画素から成る第１のマトリクスによって構成される原画像データに基づいて、第１のマトリクスよりも少ない数の画素から成る第２のマトリクスによって構成される縮小画像データを生成する縮小画像生成手段と、第２のマトリクスを所定の方向に移動させて得られるマトリクスによって構成され、縮小画像データに含まれる１つの対象画素を構成要素とする縮小画像領域を設定する縮小画像領域設定手段と、縮小画像領域における縮小画像データに直交変換を施して縮小直交変換係数データを求める第１の直交変換手段と、縮小直交変換係数データに対して、第２のマトリクスよりも多い画素から成る第３のマトリクスによって構成される拡大画像データを得るように、逆直交変換を施す第１の拡大画像生成手段と、原画像データと拡大画像データの差に対応した誤差関数値を計算する誤差関数計算手段と、対象画素毎に、誤差関数値が最小になるように縮小画像領域の移動方向および移動量を選択する移動量選択手段とを備えたことを特徴としている。
【０００７】
画像圧縮装置は、縮小画像データと、移動量選択手段によって選択された移動方向および移動量を示すパラメータとを記録媒体に記録する記録手段を備えていてもよい。
【０００８】
縮小画像生成手段は例えば、第１のマトリクスに含まれる所定数の画素値の平均値を求め、この平均値を、第２のマトリクスに含まれ、所定数の画素に対応した１つの画素値として定める。この場合、平均値は例えば、第１のマトリクスに含まれる８×８の画素値から求められる。
【０００９】
第１のマトリクスは例えば６４×６４の画素から成り、第２のマトリクスは例えば８×８の画素から成る。
【００１０】
直交変換が２次元離散コサイン変換であるとき、逆直交変換は２次元逆離散コサイン変換である。この場合、第１、第２および第３のマトリクスがそれぞれ６４×６４、８×８および６４×６４の画素から成り、かつ第１の拡大画像生成手段が（１）式によって表される２次元逆離散コサイン変換により拡大画像データを得ることが好ましい。
【数２】
u,v＝0 のとき Cu,Cv＝1/21/2、 u,v≠0 のとき Cu,Cv＝1 、Ｄ(s,t,q,r) vuは２次元離散コサイン変換によって得られたＤＣＴ係数である。
【００１１】
画像圧縮装置は、第３のマトリクスの画素の座標系を原画像データの画素の座標系に変換することによって第４のマトリクスを生成する座標変換手段を備えることが好ましい。そして、この場合、誤差関数計算手段は第１のマトリクスに含まれる所定の画素と、第４のマトリクスに含まれ、第１のマトリクスの所定の画素に対応した画素との差の二乗和を、誤差関数値として計算する。誤差関数値は、縮小画像領域に含まれる縮小画像データと、拡大画像データが有するコントラストが原画像データが有するコントラストに近くなるようにして求められた修正拡大画像データとの差に対応していてもよい。
【００１２】
本発明に係る第１の画像伸張装置は、記録媒体に記録されたパラメータと縮小画像データとを読み出すデータ読出手段と、縮小画像データに含まれる１つの対象画素に対応した移動方向および移動量に基づいて、縮小画像領域を選択する縮小画像領域選択手段と、対象画素毎に、縮小画像領域における縮小画像データに直交変換を施して縮小直交変換係数データを求める第２の直交変換手段と、縮小直交変換係数データに対して、第２のマトリクスよりも多い画素数から成る第３のマトリクスによって構成される拡大画像データを得るように、逆直交変換を施す第２の拡大画像生成手段とを備えたことを特徴としている。
【００１３】
本発明に係る第２の画像圧縮装置は、複数の画素から成る第１のマトリクスによって構成される原画像データに基づいて、第１のマトリクスよりも少ない数の画素から成る第２のマトリクスによって構成される縮小画像データを生成する縮小画像生成手段と、第２のマトリクスを所定の方向に移動させて得られるマトリクスによって構成され、縮小画像データに含まれる１つの対象画素を構成要素とする縮小画像領域を設定する縮小画像領域設定手段と、縮小画像データに直交変換を施して縮小直交変換係数データを求める第１の直交変換手段と、縮小直交変換係数データに対して、第２のマトリクスよりも多い画素から成る第３のマトリクスによって構成される拡大画像データを得るように、逆直交変換を施す第１の拡大画像生成手段と、拡大画像データにコントラスト係数を施すことによって、拡大画像データが有するコントラストが原画像データが有するコントラストに近くなるように、コントラスト係数を求めるコントラスト係数演算手段と、拡大画像データにコントラスト係数を施すことによって、拡大画像データを修正し、修正拡大画像データを求めるコントラスト変換手段と、原画像データと修正拡大画像データの差に対応した誤差関数値を計算する誤差関数計算手段と、対象画素毎に、誤差関数値が最小になるように縮小画像領域の移動方向および移動量を選択する移動量選択手段とを備えたことを特徴としている。
【００１４】
画像圧縮装置は、縮小画像データと、コントラスト係数と、移動量選択手段によって選択された移動方向および移動量を示すパラメータとを記録媒体に記録する記録手段を備えていてもよい。
【００１５】
本発明に係る第２の画像伸張装置は、記録媒体に記録された縮小画像データとコントラスト係数とパラメータとを読み出すデータ読出手段と、縮小画像データに含まれる１つの対象画素に対応した移動方向および移動量に基づいて、縮小画像領域を選択する縮小画像領域選択手段と、対象画素毎に、縮小画像領域における縮小画像データに直交変換を施して縮小直交変換係数データを求める第２の直交変換手段と、縮小直交変換係数データに対して、第２のマトリクスよりも多い画素数から成る第３のマトリクスによって構成される拡大画像データを得るように、逆直交変換を施す第２の拡大画像生成手段と、拡大画像データにコントラスト係数を施すことによって、拡大画像データを修正し、修正拡大画像データを求めるコントラスト変換手段とを備えたことを特徴としている。
【００１６】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して説明する。
図１および図２は本発明の第１の実施形態である画像圧縮伸張装置を示すブロック図である。図１は画像圧縮装置を示し、図２は画像伸張装置を示す。
【００１７】
被写体ＳＰからの反射光は撮影光学系１１によって集光され、これにより撮像素子１２の受光面に被写体ＳＰの画像が結像される。撮像素子１２の受光面にはレッド（Ｒ）、グリーン（Ｇ）およびブルー（Ｂ）のカラーフィルタが設けられており、撮像素子１２では、Ｒ、ＧおよびＢの各画像に対応したアナログの電気信号がそれぞれ発生する。この電気信号はＡＤ変換器１３において、デジタルの電気信号であるＲ、ＧおよびＢの画像信号に変換される。Ｒ、ＧおよびＢの画像信号は図示しない画像処理回路において、輝度データＹ、および色差データＣｂ、Ｃｒに変換され、メモリ１４に格納される。
【００１８】
輝度データＹ、および色差データＣｂ、Ｃｒは、画像において水平方向に約１０００個、垂直方向に約６００個の画素が配列して構成される原画像データである。後述するように縮小画像生成部１５では、６４×６４の画素から成る第１のマトリクスが原画像データから抽出され、第１のマトリクスの原画像データに対して縮小処理が施される。縮小処理において原画像データは、第２のマトリクスによって構成される縮小画像データに変換される。第２のマトリクスは第１のマトリクスよりも少ない数の画素から成る。すなわち縮小画像データは、第１のメモリ１４に格納された輝度データＹ、および色差データＣｂ、Ｃｒよりも圧縮されており、圧縮率は例えば６４分の１である。縮小画像データは、ＩＣメモリカード等の記録媒体ＲＭに記録される。
【００１９】
縮小画像領域設定部１６では、縮小画像データに含まれる各画素に対して、縮小画像領域が設定される。縮小画像領域は、後に詳述するように、第２のマトリクスを所定の方向に所定量だけ移動させて得られるマトリクスによって構成され、その対象画素を構成要素として含んでいる。縮小画像領域のマトリクスは、第２のマトリクスと同じ構成を有し、例えば、第２のマトリクスが８×８の画素から成るとき、縮小画像領域のマトリクスも８×８の画素から成る。すなわち縮小画像領域は、１つの画素に対して複数個設定可能であり、例えば第２のマトリクスが８×８の画素から成るとき、６４種類の縮小画像領域が設定可能である。縮小画像領域設定部１６では、６４種類の中から１つの縮小画像領域が設定される。
【００２０】
第１のＤＣＴ処理部１７では、縮小画像領域に含まれる縮小画像データに２次元離散コサイン変換（２次元ＤＣＴ）を施すことによって、縮小ＤＣＴ係数データが求められる。すなわち、縮小ＤＣＴ係数データを構成するマトリクスの要素数は、縮小画像データを構成する第２のマトリクスと同じである。
【００２１】
第１の拡張ＩＤＣＴ処理部１８では、縮小ＤＣＴ係数データのマトリクスの構成要素である各ＤＣＴ係数に対して、後述する拡張２次元逆離散コサイン変換（拡張ＩＤＣＴ）が施され、第３のマトリクスによって構成される拡大画像データが得られる。第３のマトリクスに含まれる画素数は第２のマトリクスの画素数よりも多く、例えば、第１のマトリクスと同じである。
【００２２】
縮小画像生成部１５および第１のＤＣＴ処理部１７における処理によってデータの欠落が生じなければ、拡大画像データは原画像データに一致するが、通常はデータの一部が欠落するために、拡大画像データの各画素値は原画像データの各画素値とは異なったものとなる。誤差関数計算部１９では、原画像データの各画素値と、これに対応する拡大画像データの画素値との差に対応した誤差関数値が計算される。この計算については後述する。
【００２３】
誤差関数計算部１９において誤差関数値の計算が終了すると、縮小画像領域設定部１６において、今までとは異なる縮小画像領域が設定される。第１のＤＣＴ処理部１７では、新たに設定された縮小画像領域に関して縮小ＤＣＴ係数データが求められ、拡張ＩＤＣＴ処理部１８では、拡大画像データが得られる。次いで誤差関数計算部１９では、再び誤差関数値が計算される。
【００２４】
このようにして、全ての縮小画像領域に関して誤差関数値が計算されると、移動量選択部２０では、対象画素毎に、誤差関数値が最小になるような縮小画像領域の移動方向および移動量が選択される。対象画素毎に求められた最適な移動方向および移動量を示すパラメータｍｍは、縮小画像生成部１５において求められた縮小画像データと同様に記録媒体ＲＭに記録される。
【００２５】
輝度データＹ、および色差データＣｂ、Ｃｒに対応した縮小画像データと最適な移動方向および移動量のパラメータｍｍは、それぞれ記録媒体ＲＭから読み出される。縮小画像領域選択部３１では、縮小画像データを構成する各画素毎に、パラメータｍｍに基づいて、その画素に対する縮小画像領域の移動方向および移動量が選択される。第２のＤＣＴ処理部３２では、各画素毎に、縮小画像領域における縮小画像データに２次元ＤＣＴを施され、ＤＣＴ係数が求められる。ＤＣＴ係数は、第２の拡張ＩＤＣＴ処理部３３において拡張ＩＤＣＴを施され、第３のマトリクスによって構成される拡大画像データが得られる。拡大画像データは輝度データＹ、および色差データＣｂ、Ｃｒの形式で第２のメモリ３４に格納される。
【００２６】
図３は、図１および図２に示す画像圧縮伸張装置において処理される各画像データのマトリクスを示す図である。図４は縮小画像生成部１５における縮小処理を示す図である。図３および図４を参照して縮小画像生成部１５の作用を説明する。
【００２７】
原画像データは約１０００×６００の画素値Ｐyxから成り、８×８の画素から成るブロックに分割される。図３においてブロックＢ１は、原画像データの左上隅のブロックを原点として、水平方向にｓブロック目、垂直方向にｔブロック目に位置する。水平方向に８個並び、かつ垂直方向に８個並ぶ６４個のブロックによって第１のマトリクスＭ１が構成される。すなわち第１のマトリクスＭ１は６４×６４の画素値Ｐyxから成る。
【００２８】
縮小画像生成部１５では、第１のマトリクスＭ１によって構成される原画像データに基づいて第２のマトリクスＭ２が生成される。第２のマトリクスＭ２における画素値Ｒtsは下記（２）式によって示される。すなわち第２のマトリクスＭ２の画素値Ｒtsは、第１のマトリクスＭ１において、ブロックＢ１を構成する８×８の画素値Ｐyxの平均値を求めることによって得られる。
【００２９】
【数３】
【００３０】
図４に示す例では、第１のマトリクスＭ１に含まれるブロックＢ１は、１６０、１５８、１８３、２１１、２２１、２２６・・・の６４個の画素値Ｐyxから成り、これら６４個の画素値Ｐyxの平均値１７４が第２のマトリクスＭ２の対応画素値Ｒtsとして求められる。
【００３１】
このように第２のマトリクスＭ２は８×８の画素値から成り、第２のマトリクスＭ２によって構成される縮小画像データは、原画像データよりも少ない画素によって元の画像を示すものである。換言すれば、原画像データにおいて水平方向にｓブロック目、垂直方向にｔブロック目に位置するブロックＢ１は、縮小画像データにおいて水平方向にｓ画素目、垂直方向にｔ画素目に位置する画素Ｐ１に対応する。
【００３２】
図５は、第２のマトリクスＭ２の８×８の画素値と、これらの画素値のＤＣＴ係数とを示している。図３および図５を参照して、第１および第２のＤＣＴ処理部１７、３２において実行される２次元ＤＣＴを説明する。
【００３３】
縮小画像データにおいて、第２のマトリクスＭ２の構成要素である画素値Ｒtsは、縮小画像データにおいて左上隅Ｃ２を原点とする（ｓ，ｔ）の座標系によって示されている。
【００３４】
第２のマトリクスＭ２の画素値Ｒtsに関してＤＣＴを行ない、さらに拡張ＩＤＣＴを行なって拡大画像データを求める場合、例えば画素Ｐ１に対応する拡大画像データは、画素Ｐ１を構成要素とする８×８の画素から成るマトリクスＭ２１を用いて計算することができる。マトリクスＭ２１は、第２のマトリクスＭ２を水平方向あるいは垂直方向にそれぞれ、最大で７画素移動させることによって得られ、第２のマトリクスＭ２に一致する場合を含めて全部で６４通りある。マトリクスＭ２１によって構成され、縮小画像データに含まれる１つの対象画素Ｐ１を構成要素とする領域を、この明細書では「縮小画像領域」と呼んでいる。
【００３５】
第１および第２のＤＣＴ処理部１７、３２におけるＤＣＴに先立ち、縮小画像領域設定部１６および縮小画像領域選択部３１では、それぞれ所定の縮小画像領域が設定あるいは選択される。ＤＣＴ処理部１７、３２ではまず、ＤＣＴを行なうため、画素値Ｒtsは（３）式に従って、縮小画像領域のマトリクスＭ２１において左上隅の画素Ｐ２を原点とする座標系に変換される。
【００３６】
【数４】
なお（３）式において符号ｑは、縮小画像領域のマトリクスＭ２１の第２のマトリクスＭ２に対する水平方向のずれを示し、左方向へのずれ量は負の値を有する。例えば、図３に示されるようにマトリクスＭ２１が第２のマトリクスＭ２に対して左方向へ５画素分ずれているとき、ｑ＝−５である。また符号ｒは、縮小画像領域のマトリクスＭ２１の第２のマトリクスＭ２に対する垂直方向のずれを示し、上方向へのずれ量は負の値を有する。
【００３８】
ＤＣＴは、第１および第２のＤＣＴ処理部１７、３２において下記（４）式に従って行なわれる。
【数５】
ＤＣＴによって得られたＤＣＴ係数Ｄ(s,t,q,r) vuから成るマトリクスＭＤにおいて、原点（０，０）にあるＤＣＴ係数Ｄ(s,t,q,r) 00は直流成分であり、残りの６３個のＤＣＴ係数Ｄ(s,t,q,r) vuは交流成分である。直流成分は第２のマトリクスを構成する８×８の画素値の平均値に対応し、各交流成分は、それぞれ所定の空間周波数成分に対応している。
【００４０】
次に、図３および図６を参照して、第１および第２の拡張ＩＤＣＴ処理部１８、３３において実行される拡張ＩＤＣＴを説明する。
ここでは、説明の簡単のために、画像データのマトリクスが１次元的に配列されている場合について、すなわち１次元の拡張ＩＤＣＴについて述べる。
【００４１】
８つの画素Ｐｘ（＝Ｐ0,Ｐ1,Ｐ2, ．．．Ｐ7)が１次元的に配置されて成る画像データに対する１次元離散コサイン変換は下記（５）式によって表される。
【数６】
（５）式から理解されるように、１次元離散コサイン変換によって、８個の領域ｘにおける画素値Ｐｘに基づいて空間周波数成分Ｆ（ｕ）が求められる。空間周波数の種類の数（すなわち "ｕ" の数）は領域ｘの数に等しく、領域ｘの数が８の場合は８である。すなわち、この場合、直流成分Ｆ（０）と７つの交流成分Ｆ（１）、Ｆ（２）、・・・Ｆ（７）とが求められる。
【００４３】
１次元逆離散コサイン変換は下記（６）式によって表される。
【数７】
（６）式から理解されるように、１次元逆離散コサイン変換によって、８個の空間周波数成分Ｆ（ｕ）に基づいて画素値Ｐ'xが求められる。
【００４５】
図６は、画素値Ｐ'xにおいて、直流成分Ｆ（０）に関する成分と、交流成分Ｆ（１）、Ｆ（２）、Ｆ（３）に関する成分とを示している。直流成分Ｆ（０）に関する画素値Ｐ'xの成分Ａ０は
【数８】
【数９】
【数１０】
【数１１】
【００４６】
画素値Ｐ'xは、全ての空間周波数成分Ｆ（０）、Ｆ（１）、Ｆ（２）、・・・Ｆ（７）に関する画素値Ｐ'xの成分の和である。例えばｘ＝１における画素値は、下記（７）式によって表される。
【数１２】
図６には、（７）式における空間周波数成分Ｆ（０）、Ｆ（１）、Ｆ（２）、Ｆ（３）に関する画素値の成分Ａ０１、Ａ１１、Ａ２１、Ａ３１が示されている。
【００４８】
ｘ＝１における画素値Ｐ'1を求めるのと同様な手法によって、すなわち各空間周波数成分Ｆ（０）、Ｆ（１）、・・・Ｆ（７）に関する画素値Ｐ'xの各成分Ａ０、Ａ１、Ａ２、Ａ３・・・の曲線（図６参照）において補間することによって、任意の領域ｘにおける画素値Ｐ'xを求めることができる。例えば、画素の領域ｘの範囲０〜７を６４等分した場合、すなわちｘ＝0, 0.125, 0.25, 0.375, 0.5, 0.625, ．．．. 7.75,7,875 に関する画素値は、（８）式によって求められる。
【００４９】
【数１３】
【００５０】
このようにして領域ｘの範囲をさらに細かく分割して逆離散コサイン変換を行なうことを、この明細書では「拡張ＩＤＣＴ」と呼んでいる。換言すると、拡張ＩＤＣＴとは、通常のＩＤＣＴにより得られる画素データのサンプリング数を、通常のＤＣＴ係数の数Ａ個よりも多いＢ個となるようにＩＤＣＴを施すことである。拡張ＩＤＣＴは、上述のような１次元配列の画像データの場合と同様にして２次元配列の画像データにも適用できる。（９）式は２次元配列の場合の拡張ＩＤＣＴを行なって、画素値Ｉ' (s,t,q,r) yxを求めるための式を示している。
【００５１】
【数１４】
（９）式に示される拡張ＩＤＣＴによれば、マトリクスＭＤを構成する８×８のＤＣＴ係数Ｄ(s,t,q,r) vuは、図７に示すように、６４×６４の画素値Ｉ' (s,t,q,r) yxから成る第３のマトリクスＭ３に変換される。第３のマトリクスＭ３は、前述したように拡大画像データを構成する。
【００５３】
第３のマトリクスＭ３における画素値Ｉ' (s,t,q,r) yxの座標（ｘ，ｙ）は、第２のマトリクスＭ２と同様に、左上隅の画素を原点としている。そこで、第３のマトリクスＭ３の画素値Ｉ' (s,t,q,r) yxを原画像データと同じ座標系に戻すため、（１０）式に従って座標変換が行なわれ、第４のマトリクスＭ４が求められる。
【００５４】
【数１５】
（１０）式から理解されるように、第４のマトリクスＭ４を求めるための座標変換は、縮小画像領域のマトリクスＭ２１の左上隅の画素の縮小画像データにおける位置（s+q, t+r）と、第３のマトリクスＭ３における画素値Ｉ' (s,t,q,r) yxの位置（ｘ，ｙ）とに基づいて行なわれる。なお以下の説明において、（１０）式の左辺に示される第４のマトリクスＭ４の画素値をＪyxと表示する。
【００５６】
図８は、原画像データと縮小画像データと縮小ＤＣＴ係数データと拡大画像データにおける関係を立体的に示す図である。この図に基づいて、これらのデータの関係を説明する。なおマトリクスＭ１、Ｍ２、Ｍ３、ＭＤは、図３に示されるマトリクスＭ１、Ｍ２、Ｍ３、ＭＤに対して相対的にずれている。
【００５７】
原画像データの第１のマトリクスＭ１は６４×６４の画素から成る。第１のマトリクスＭ１において、ブロックＢ１１は原画像データの原点から水平方向にｓブロック目、垂直方向にｔブロック目に位置し、左上隅のブロックＢ１２は原画像データの原点から水平方向に（ｓ−５）ブロック目、垂直方向の（ｔ−５）ブロック目に位置する。すなわちブロックＢ１１は、ブロックＢ１２を原点とする座標系では水平方向に５ブロック目、垂直方向に５ブロック目に位置する。
【００５８】
縮小画像データの第２のマトリクスＭ２における画素Ｐ１１は、第１のマトリクスＭ１のブロックＢ１１を構成する８×８の画素を平均することによって得られ、第２のマトリクスＭ２は８×８の画素から成る。縮小ＤＣＴ係数データは、縮小画像データに２次元ＤＣＴを施すことによって得られ、マトリクスＭＤは８×８のＤＣＴ係数から成る。２次元ＤＣＴによって、第２のマトリクスＭ２に含まれる１つの画素Ｐ１１に関連した情報が、縮小ＤＣＴ係数データを構成する全ての要素（ＤＣＴ係数）に拡散される。すなわち、全てのＤＣＴ係数は、第２のマトリクスＭ２に含まれる各画素に関連している。
【００５９】
縮小ＤＣＴ係数データは拡張ＩＤＣＴによって拡大画像データに変換され、縮小ＤＣＴ係数データを構成する８×８のＤＣＴ係数に基づいて、６４×６４の画素から成る拡大画像データが得られる。すなわち拡大画像データにおいて、原画像データのブロックＢ１１に対応する８×８の画素ブロックＢ１３は、マトリクスＭＤに含まれる全てのＤＣＴ係数に基づいて得られる。
【００６０】
図９は、原画像データにおいて第１のマトリクスＭ１を右方向に１ブロック、下方向に２ブロックだけ移動させて得られるマトリクスＭ１１に関して、縮小画像データ、縮小ＤＣＴ係数データおよび拡大画像データを求めたときにおける、原画像データと縮小画像データと縮小ＤＣＴ係数データと拡大画像データの関係を立体的に示す図である。マトリクスＭ１１の左上隅のブロックＢ１４は、原画像データの原点から水平方向に（ｓ−４）ブロック目、垂直方向に（ｔ−３）ブロック目に位置し、ブロックＢ１１は、マトリクスＭ１１の左上隅のブロックＢ１４を原点とする座標系では水平方向に４ブロック目、垂直方向に３ブロック目に位置する。
【００６１】
原画像データのマトリクスＭ１１に縮小処理を施すことによって縮小画像データを求めると、縮小画像データにおいて、マトリクスＭ１１に対応するマトリクスＭ２１は、第２のマトリクスＭ２に対して右方向に１画素、下方向に２画素だけずれている。したがって、マトリクスＭ２１の縮小画像データから得られる縮小ＤＣＴ係数データのマトリクスＭＥは、マトリクスＭＤに対して右方向に１画素、下方向に２画素だけずれている。また、拡大画像データにおいて、マトリクスＭ２１に対応するマトリクスＭ３１は、第３のマトリクスＭ３に対して右方向に１ブロック分、下方向に２ブロック分だけずれている。
【００６２】
拡大画像データにおけるブロックＢ１３の８×８の画素値は、縮小ＤＣＴ係数データのマトリクスＭＥを構成する画素に応じて変化する。すなわちブロックＢ１３の画素値は、縮小画像データのマトリクスＭ２１あるいは原画像データのマトリクスＭ１１に応じて変化する。
【００６３】
マトリクスＭ１１は、ブロックＢ１１を含むようにして、第１のマトリクスＭ１を水平方向あるいは垂直方向に移動させることによって得られ、その移動の範囲は水平方向および垂直方向にそれぞれ最大で７ブロック分である。同様に、マトリクスＭ２１は、画素Ｐ１１を含むようにして、第２のマトリクスＭ２を水平方向あるいは垂直方向に最大で７画素分だけずらせることによって得られる。したがってマトリクスＭ１１、Ｍ２１は、移動量が水平方向、垂直方向ともに０である場合を含めて、それぞれ６４種類あり、拡大画像データのブロックＢ１３の８×８の画素値は６４通りに変化する。
【００６４】
図１０は、縮小画像領域を所定方向に所定量だけ移動させたときにおける、拡大画像データの１つのブロックの画素値Ｉ' (s,t,q,r) yxを示している。なお図示された例は、第２のマトリクスＭ２の左上隅の画素Ｐ１（図３参照）に対応するブロックの画素値を示し、図７に示される第３のマトリクスＭ３の左上に位置する８×８の画素に対応している。
【００６５】
シフト（ｑ，ｒ）は縮小画像領域の水平および垂直方向における移動量を示す。シフト（ｑ，ｒ）＝（０，０）は、画素Ｐ１が縮小画像領域のマトリクスＭ２１の左上隅に位置する場合に対応し、この場合マトリクスＭ２１は第２のマトリクスＭ２に一致する。シフト（ｑ，ｒ）＝（−４，−３）は、シフト（ｑ，ｒ）＝（０，０）の状態から、マトリクスＭ２１が第２のマトリクスＭ２に対して、右方向に４画素分、下方向に３画素分だけ移動した場合に対応する。
【００６６】
図１０から理解されるように、拡大画像データの各ブロックの画素値は縮小画像領域の第２のマトリクスＭ２に対する相対位置に応じて変化する。すなわち、拡大画像データの各ブロックを構成する８×８の画素が、対応する原画像データの８×８の画素にできるだけ近くなるように、最適な縮小画像領域を選択することができ、最適な縮小画像領域はブロック毎に異なる。
【００６７】
最適な縮小画像領域を選択するために、誤差関数値Ｅ(s,t) が下記（１１）式に従って計算される。
【数１６】
（１１）式から理解されるように誤差関数値は、第１のマトリクスＭ１に含まれるブロックの８×８画素と、第４のマトリクスＭ４の対応するブロックに含まれ、第１のマトリクスＭ１のブロックの画素に対応した画素との差の二乗和である。
【００６９】
図１１は、縮小画像領域を第２のマトリクスＭ２に対して水平方向および垂直方向に所定量だけ移動させたときにおける、８×８の画素から成る１つのブロックに関する誤差関数値Ｅ(s,t) の一例を示している。シフト（ｑ，ｒ）＝（０，０）は、縮小画像領域のマトリクスＭ２１における左上隅の画素Ｐ２（図３参照）が第２のマトリクスＭ２の左上隅の画素Ｐ１（図３参照）に一致する場合を示しており、縮小画像領域が１画素分だけ左方向へ移動するとｑの値が１だけ減少し、縮小画像領域が１画素分だけ上方向へ移動するとｒの値が１だけ減少する。すなわちシフト（ｑ、ｒ）＝（−７，−７）は、縮小画像領域のマトリクスＭ２１における右下隅の画素が第２のマトリクスＭ２の左上隅の画素Ｐ１に一致する場合に対応する。図示された例では、シフト（ｑ，ｒ）＝（−７，−３）の場合に誤差関数値Ｅ(s,t) は最小（＝16654 ）である。
【００７０】
図１２は、最適な誤差関数値Ｅ(s,t) を求めるための最小誤差関数値選択プログラムのフローチャートである。このプログラムは、移動量選択部２０（図１参照）において、第２のマトリクスＭ２の各画素に対応する第１のマトリクスＭ１の１ブロックに対して実行される。すなわち最適誤差関数値は各ブロック毎に求められる。
【００７１】
ステップ１０１では、縮小画像領域の第２のマトリクスＭ２に対する水平方向および垂直方向への移動量の最適値ＳＱ、ＳＲが、それぞれ初期値０に定められ、これはシフト（ｑ，ｒ）＝（０，０）に対応している。またステップ１０１では、シフト（ｑ，ｒ）＝（０，０）のときの誤差関数値Ｅ（０，０）が最適な誤差関数値Ｅmin の初期値として定められる。ステップ１０２では、垂直方向への移動量ｒが０に定められ、ステップ１０３では、水平方向への移動量ｑが０に定められる。
【００７２】
ステップ１０４では、シフト（ｑ，ｒ）における誤差関数値Ｅ（ｑ，ｒ）が、現在設定されている最適誤差関数値Ｅmin よりも小さいか否かが判定される。誤差関数値Ｅ（ｑ，ｒ）が現在設定されている最適誤差関数値Ｅmin よりも小さいとき、ステップ１０５が実行され、ステップ１０４において求められた誤差関数値Ｅ（ｑ，ｒ）が新たに最適誤差関数値Ｅmin として設定される。またステップ１０５では、移動量ｑ、ｒが最適値ＳＱ、ＳＲとして、それぞれ定められる。ステップ１０４において、現在設定されている最適誤差関数値Ｅmin 以上であると判定されたとき、ステップ１０５は実行されない。
【００７３】
ステップ１０６では、水平方向の移動量ｑが１だけ減算される。すなわち、次のステップ１０４、１０５では、１画素分だけ左方向へ移動した縮小画像領域に関する処理が行なわれる。
【００７４】
ステップ１０７では、移動量ｑが−８に等しいか否かが判定される。移動量ｑが−８に等しくないとき、ステップ１０４へ戻り、上述した処理が再び実行される。これに対して移動量ｑが−８に等しいとき、第２のマトリクスＭ２に対して７画素分だけ左へ移動した縮小画像領域についてステップ１０４、１０５の処理が終了している。この場合、次に、垂直方向の位置が異なる縮小画像領域に関してステップ１０４、１０５を実行するために、ステップ１０８、１０９が実行される。ステップ１０８では、垂直方向の移動量ｒが１だけ減算される。ステップ１０９では、移動量ｒが−８に等しいか否かが判定される。移動量ｒが−８に等しくないとき、ステップ１０３へ戻る。すなわち、水平方向の移動量ｑが０にクリアされて、ステップ１０４〜１０７が再び実行される。
【００７５】
これに対して、ステップ１０９において移動量ｒが−８に等しいと判定されたとき、６４通りの縮小画像領域についてステップ１０４が実行されて最適な誤差関数値が検出されており、このプログラムは終了する。
【００７６】
以上のように本実施形態では、誤差関数計算部１９において、第２のマトリクスＭ２に含まれる全ての画素について、それぞれ６４通りの縮小画像領域に関する誤差関数値が求められる。そして移動量選択部２０では、拡大画像データと原画像データが最も近くなるような縮小画像領域の移動方向および移動量が、第２のマトリクスＭ２の各画素に対応する第１のマトリクスＭ１の各ブロック毎に求められ、その移動方向および移動量を示すパラメータｍｍが縮小画像データとともに記録媒体ＲＭに記録される。したがって画像伸張装置（図２参照）では、その移動方向および移動量に基づいて拡張ＩＤＣＴを実行することができ、再生画像の画質を向上させることができる。
【００７７】
図１３および図１４は第２の実施形態である画像圧縮伸張装置を示すブロック図である。図１３は画像圧縮装置を示し、図１４は画像伸張装置を示す。図１および図２に示す第１の実施形態と同一または相当する構成要件に関しては、同じ符号を用いている。
【００７８】
第１の実施形態と異なる構成を説明する。
第２の実施形態の画像圧縮装置において、第１の拡張ＩＤＣＴ処理部１８と誤差関数計算部１９の間に、コントラスト係数計算部２１と第１のコントラスト変換部２２が設けられている。誤差関数計算部１９の後段には、移動量・コントラスト係数選択部２３が設けられている。また、画像伸張装置において、拡張ＩＤＣＴ処理部３３の後段には第２のコントラスト変換部３５が設けられている。その他の構成は、基本的に第１の実施形態と同様である。
【００７９】
コントラスト係数計算部２１では、拡大画像データにおけるコントラストの低下を補正するためのコントラスト係数が求められる。すなわちコントラスト係数は、拡大画像データが有するコントラストが原画像データが有するコントラストにできるだけ近くなるように、拡大画像データに施されるものである。コントラスト変換部２２では、コントラスト係数con を用いて拡大画像データが修正される。
【００８０】
図３に示される画像データの構成は第２の実施形態においても共通であるので、図３および図１５を参照して、コントラスト係数計算部２１において実行されるコントラスト係数con の演算、およびコントラスト変換部２２、３５において実行される拡大画像データの修正について説明する。
【００８１】
原画像データのブロックＢ１を構成する８×８のマトリクスにおいて、水平方向に延びる１つの列を構成する８個の画素が例えばＰy0、Ｐy1、Ｐy2、Ｐy3、Ｐy4、Ｐy5、Ｐy6、Ｐy7の値をとり、これらに対応する拡大画像データの８個の画素が例えばＪy0、Ｊy1、Ｊy2、Ｊy3、Ｊy4、Ｊy5、Ｊy6、Ｊy7の値をとるとする。また、原画像データの８個の画素Ｐy0、Ｐy1・・・Ｐy7の平均値がＡＰであり、拡大画像データの８個の画素Ｊy0、Ｊy1・・・Ｊy7の平均値がＡＪであるとする。
【００８２】
縮小画像生成部１５および第１のＤＣＴ処理部１７における処理によってデータの一部が欠落するため、拡大画像データの各画素値は原画像データとは異なる値をとる。すなわち拡大画像データの各画素値は、原画像データと比較して、平均値ＡＪに近くなり、全体的に変化量は小さくなる。換言すれば、拡大画像データのコントラストは原画像データよりも低下する。
【００８３】
そこでコントラスト係数計算部２１では、拡大画像データのコントラストをできるだけ原画像データに近づけるための修正係数として、下記（１２）〜（１７）式に従ってコントラスト係数con が求められる。コントラスト変換部２２、３５では、コントラスト係数con を用いて、拡大画像データの各画素値において、平均値ＡＪよりも大きい値をとるものに対しては、より大きい値をとるように修正され、平均値ＡＪよりも小さい値をとるものに対しては、より小さい値をとるように修正され、中間修正拡大画像データの画素Ｊc y0、Ｊc y1・・・Ｊc y7が求められる。
【００８４】
なおこの修正に先立ち、拡大画像データの画素値の平均値ＡＪが原画像データの画素値の平均値ＡＰに等しくなるように、拡大画像データの各画素値には補正係数が乗じられる。例えば平均値ＡＰが平均値ＡＪの1.05倍であった場合、拡大画像データの各画素値には補正係数として1.05が乗じられ、拡大画像データの画素値は平均値ＡＪ’（＝ＡＰ）をとるように補正される。すなわち、修正された拡大画像データの画素Ｊc y0、Ｊc y1・・・Ｊc y7の平均値ＡＪ’は原画像データの平均値ＡＰに等しい。
【００８５】
コントラスト係数con の求め方について詳述する。
なお、第３および第４のマトリクスＭ３、Ｍ４における対応した画素同士は同じ値を有し、コントラスト係数con は第４のマトリクスＭ４の画素値を用いて、計算される。すなわちコントラスト係数con の計算では、第４のマトリクスＭ４の画素値を拡大画像データとして用いる。
【００８６】
まず（１２）式に従って、第４のマトリクスＭ４（座標変換された拡大画像データ）の１つのブロックを構成する８×８個の画素Ｊyxの平均値ave'が求められる。また、（１３）式に従って第１のマトリクス（原画像データ）に含まれ、第４のマトリクスＭ４のブロックに対応するブロックを構成する８×８個の画素Ｐyxの平均値ave が求められる。なお以下では、第１のマトリクスＭ１のブロックＢ１と、第４のマトリクスＭ４のブロックＢ４とが相互に対応するとして説明する。
【００８７】
【数１７】
次いで、上述したように、平均値ave'が平均値ave に等しくなるように、画素Ｊyxに補正係数が乗じられる。以下の説明では、この補正係数を乗じたものを画素Ｊyxとして説明する。すなわち８×８個の画素Ｊyxの平均値はave である。
【００８９】
中間修正拡大画像データの画素Ｊc yxが（１４）式によって定義される。すなわち中間修正拡大画像データの画素Ｊc yxは、画素Ｊyxと平均値ave との差に修正係数con を乗じたことによって得られる修正値（Ｊyx−ave ）×con に対して、平均値ave を加算することにより得られる。
【数１９】
（１４）式において画素Ｊc yxは、con=1 のとき拡大画像データの画素Ｊyxに等しくなり、con=0 のとき平均値ave に等しくなる。またcon ＞1 のとき、画素Ｊc yxは拡大画像データの画素Ｊyxに対してコントラストが増加せしめられる。このようにコントラスト係数con を最適値に定めることにより、原画像データの画素Ｐyxに近い画素Ｊc yxを有する修正拡大画像データを得ることができる。
【００９１】
修正拡大画像データを計算するため、まず、（１５）式に従って中間修正拡大画像データの画素値と原画像データの画素値との二乗誤差の合計Ｅ(s,t) が、第１および第４のマトリクスＭ１、Ｍ４のブロックＢ１、Ｂ４に関して求められる。
【数２０】
二乗誤差の合計Ｅ(s,t) は正の値をとり、コントラスト係数con の値によって変化する。したがって（１５）式をコントラスト係数con によって偏微分し、その値が０となるようにコントラスト係数con を選べば、そのとき、合計Ｅ(s,t) は最小になり、そのコントラスト係数con は最適値を有する。すなわち、最適なコントラスト係数con は（１６）式および（１７）式に従って求められる。
【数２１】
この最適なコントラスト係数con は、コントラスト変換部２２、３５において、拡大画像データの画素Ｊyxを修正するために用いられる。すなわち（１４）式に従って拡大画像データの画素Ｊyxが修正され、原画像データが有するコントラストにできるだけ近いコントラストを有する修正拡大画像データが得られる。
【００９４】
図１６は、コントラスト係数計算部２１において実行され、（１７）式に従ってコントラスト係数con を求めるプログラムのフローチャートである。
【００９５】
ステップ２０１では、原画像データの画素Ｐyxと拡大画像データの画素Ｊyxとの積ＰＪの初期値が０に定められ、画素Ｊyxの二乗ＪＪの初期値が０に定められる。またステップ２０１では、第１および第４のマトリクスＭ１、Ｍ４の各ブロックＢ１、Ｂ４において左上隅に位置する画素の縦座標ｙが（ｔ×８）によって求められ、同様にしてステップ２０２では、ブロックＢ１、Ｂ４において左上隅に位置する画素の横座標ｘが（ｓ×８）によって求められる。
【００９６】
ステップ２０３では、原画像データの画素Ｐyxと拡大画像データの画素Ｊyxとの積が求められ、ステップ２０３における前回の計算結果である積ＰＪに加算される。また、画素Ｊyxの二乗が求められ、ステップ２０３における前回の計算結果である二乗ＪＪに加算される。
【００９７】
ステップ２０４では、画素の横座標ｘに１が加算される。ステップ２０５では、画素の横座標ｘがブロックＢ１、Ｂ４から離れたときの値（ｓ×８）＋８に等しいか否かが判定される。画素の横座標ｘがブロックＢ１、Ｂ４の範囲内にあるとき、ステップ２０３が再び実行される。これに対して横座標ｘがブロックＢ１、Ｂ４から離れたとき、ステップ２０６において画素の縦座標ｙに１が加算された後、ステップ２０７において、画素の縦座標ｙがブロックＢ１、Ｂ４から離れたときの値（ｔ×８）＋８に等しいか否かが判定される。画素の縦座標ｙがブロックＢ１、Ｂ４の範囲内にあるとき、ステップ２０２へ戻り、横座標ｘが初期値（ｓ×８）にリセットされる。そして、ステップ２０３、２０４、２０５から成るループが再び実行される。
【００９８】
このようにしてブロックＢ１、Ｂ４を構成する８×８個の画素に関して積和ＰＪと二乗和ＪＪが求められると、ステップ２０８において、（１７）式に従ってコントラスト係数con が計算され、このプログラムは終了する。
【００９９】
図１７は、コントラスト変換部２２、３５において実行され、（１４）式に従って修正拡大画像データの画素Ｊc yxを求めるプログラムのフローチャートである。
【０１００】
ステップ３０１では、第１および第４のマトリクスＭ１、Ｍ４のブロックＢ１、Ｂ４において左上隅に位置する画素の縦座標ｙが（ｔ×８）によって求められ、同様にしてステップ３０２では、ブロックＢ１、Ｂ４において左上隅に位置する画素の横座標ｘが（ｓ×８）によって求められる。ステップ３０３では、（１４）式に従って修正拡大画像データの画素Ｊc yxが計算される。
【０１０１】
ステップ３０４では、画素の横座標ｘに１が加算される。ステップ３０５では、画素の横座標ｘがブロックＢ１、Ｂ４から離れたときの値（ｓ×８）＋８に等しいか否かが判定される。画素の横座標ｘがブロックＢ１、Ｂ４の範囲内にあるとき、ステップ３０３が再び実行される。これに対して横座標ｘがブロックＢ１、Ｂ４から離れたとき、ステップ３０６において画素の縦座標ｙに１が加算された後、ステップ３０７において、画素の縦座標ｙがブロックＢ１、Ｂ４から離れたときの値（ｔ×８）＋８に等しいか否かが判定される。画素の縦座標ｙがブロックＢ１、Ｂ４の範囲内にあるとき、ステップ３０２へ戻り、横座標ｘが初期値（ｓ×８）にリセットされる。そして、ステップ３０３、３０４、３０５から成るループが再び実行される。
【０１０２】
このようにしてブロックＢ１、Ｂ４を構成する８×８個の画素の全てについてステップ３０３が実行されると、このプログラムは終了する。
【０１０３】
誤差関数計算部１９では、縮小画像領域設定部１６において設定された縮小画像領域に含まれる原画像データの各画素値と、コントラスト変換部２２によって得られた修正拡大画像データの画素値との差に基づいて誤差関数値が計算される。誤差関数値の計算は、第１の実施形態と同じである。誤差関数計算部１９において誤差関数値の計算が終了すると、縮小画像領域設定部１６において次の縮小画像領域が設定される。そしてＤＣＴ処理部１７、拡張ＩＤＣＴ処理部１８、コントラスト係数計算部２１、コントラスト変換部２２の順に処理が行なわれ、誤差関数計算部１９において、再び誤差関数値が計算される。
【０１０４】
図１８は、第１の実施形態における図１０に対応しており、１つのブロックに関する修正拡大画像データを示し、対応する原画像データは、第１の実施形態と同じである。第１の実施形態における拡大画像データ（図１０参照）と比較することから理解されるように、第２の実施形態によれば、コントラスト係数計算部２１とコントラスト変換部２２、３５を設けたことによって、相対的に大きい値を有する画素は、より大きい値に修正され、相対的に小さい値を有する画素は、より小さい値に修正される傾向にある。
【０１０５】
図１９は第１の実施形態における図１１に対応しており、縮小画像領域を第２のマトリクスＭ２に対して水平方向および垂直方向に所定量だけ移動させたときにおける、コントラスト係数と誤差関数値の例を示している。この図に示される例では、シフト（ｑ，ｒ）＝（−７，−３）における誤差関数値が最小であり、そのときのコントラスト係数は1.103 である。また図１１との対比から明らかなように、コントラスト係数の導入によって、誤差関数値は小さくなっている。
【０１０６】
誤差関数値が最小になるときの縮小画像領域の移動方向および移動量とコントラスト係数con は、第１の実施形態と同様に、８×８の画素ブロック毎に異なり、その移動方向および移動量を示すパラメータｍｍとともに記録媒体ＲＭに記録される。
【０１０７】
以上のように本実施形態によれば、第１の実施形態によって得られる効果に加えて、コントラスト係数con を用いたことによって、原画像により近い画像を再生することが可能となる。
【０１０８】
【発明の効果】
以上のように本発明によれば、縮小画像から、原画像に対応した拡大画像を再生する画像圧縮伸張装置において、拡大画像の画質を向上させることが可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態である画像圧縮伸張装置に含まれる画像圧縮装置を示すブロック図である。
【図２】本発明の第１の実施形態である画像圧縮伸張装置に含まれる画像伸張装置を示すブロック図である。
【図３】図１および図２に示す画像圧縮伸張装置において処理される各画像データのマトリクスを示す図である。
【図４】縮小画像生成部における縮小処理を示す図である。
【図５】第２のマトリクスの８×８の画素値と、これらの画素値から成る画像データに対応したＤＣＴ係数とを示す図である。
【図６】画素値における直流成分Ｆ（０）に関する成分と、交流成分Ｆ（１）、Ｆ（２）、Ｆ（３）に関する成分とを示す図である。
【図７】８×８のマトリクスのＤＣＴ係数と、再生画像データの第３のマトリクスを構成する画素値とを示す図である。
【図８】原画像データと縮小画像データと縮小ＤＣＴ係数データと拡大画像データの関係を立体的に示す図である。
【図９】原画像データにおいて第１のマトリクスを上側に２ブロック、左側に１ブロックだけ移動させて得られるマトリクスに関して、縮小画像データ、縮小ＤＣＴ係数データおよび拡大画像データを求めたときにおける、原画像データと縮小画像データと縮小ＤＣＴ係数データと拡大画像データの関係を立体的に示す図である。
【図１０】対象画素に対して縮小画像領域を所定の方向に所定量だけ移動させたときにおける、拡大画像データの１つのブロックの画素値を示す図である。
【図１１】縮小画像領域を第２のマトリクスに対して水平方向および垂直方向に所定量だけ移動させたときにおける、８×８の画素から成る１つのブロックに関する誤差関数値の一例を示す図である。
【図１２】最小誤差関数値選択プログラムのフローチャートである。
【図１３】本発明の第２の実施形態である画像圧縮伸張装置に含まれる画像圧縮装置を示すブロック図である。
【図１４】本発明の第２の実施形態である画像圧縮伸張装置に含まれる画像伸張装置を示すブロック図である。
【図１５】原画像データ、拡大画像データおよび中間修正拡大画像データの画素値の例を示す図である。
【図１６】コントラスト係数を求めるためのプログラムのフローチャートである。
【図１７】修正拡大画像データの画素値を求めるためのプログラムのフローチャートである。
【図１８】第１の実施形態における図１０に対応し、修正拡大画像データの１つのブロックの画素値を示す図である。
【図１９】第１の実施形態における図１１に対応し、１つのブロックに関する誤差関数値の一例を示す図である。
【符号の説明】
１５ 縮小画像生成部
１６ 縮小画像領域設定部
１７ 第１のＤＣＴ処理部
１８ 第１の拡張ＩＤＣＴ処理部
１９ 誤差関数計算部
２０ 移動量選択部
２１ コントラスト係数計算部
２２ 第１のコントラスト変換部
２３ 移動量・コントラスト係数選択部
３１ 縮小画像領域選択部
３２ 第２のＤＣＴ処理部
３３ 第２の拡張ＩＤＣＴ処理部
３５ 第２のコントラスト変換部
ＲＭ 記録媒体
Ｍ１ 第１のマトリクス
Ｍ２ 第２のマトリクス
Ｍ３ 第３のマトリクス
Ｍ４ 第４のマトリクス
Claims (14)
- 複数の画素から成る第１のマトリクスによって構成される原画像データに基づいて、前記第１のマトリクスよりも少ない数の画素から成る第２のマトリクスによって構成される縮小画像データを生成する縮小画像生成手段と、
前記第２のマトリクスを所定の方向に移動させて得られるマトリクスによって構成され、前記縮小画像データに含まれる１つの対象画素を構成要素とする縮小画像領域を設定する縮小画像領域設定手段と、
前記縮小画像領域における縮小画像データに直交変換を施して縮小直交変換係数データを求める第１の直交変換手段と、
前記縮小直交変換係数データに対して、前記第２のマトリクスよりも多い画素から成る第３のマトリクスによって構成される拡大画像データを得るように、逆直交変換を施す第１の拡大画像生成手段と、
前記原画像データと拡大画像データの差に対応した誤差関数値を計算する誤差関数計算手段と、
前記対象画素毎に、前記誤差関数値が最小になるように前記縮小画像領域の移動方向および移動量を選択する移動量選択手段と
を備えたことを特徴とする画像圧縮装置。 - 前記縮小画像データと、前記移動量選択手段によって選択された移動方向および移動量を示すパラメータとを記録媒体に記録する記録手段を備えたことを特徴とする請求項１に記載の画像圧縮装置。
- 前記縮小画像生成手段が、前記第１のマトリクスに含まれる所定数の画素値の平均値を求め、この平均値を、前記第２のマトリクスに含まれ、前記所定数の画素に対応した１つの画素値として定めることを特徴とする請求項１に記載の画像圧縮装置。
- 前記平均値が、前記第１のマトリクスに含まれる８×８の画素値から求められることを特徴とする請求項３に記載の画像圧縮装置。
- 前記第１のマトリクスが６４×６４の画素から成り、前記第２のマトリクスが８×８の画素から成ることを特徴とする請求項１に記載の画像圧縮装置。
- 前記直交変換が２次元離散コサイン変換であり、前記逆直交変換が２次元逆離散コサイン変換であることを特徴とする請求項１に記載の画像圧縮装置。
- 前記第１、第２および第３のマトリクスがそれぞれ６４×６４、８×８、および６４×６４の画素から成り、かつ前記第１の拡大画像生成手段が下式によって表される２次元逆離散コサイン変換により前記拡大画像データを得ることを特徴とする請求項６に記載の画像圧縮装置。
- 前記第３のマトリクスの画素の座標系を原画像データの画素の座標系に変換することによって第４のマトリクスを生成する座標変換手段を備えることを特徴とする請求項１に記載の画像圧縮装置。
- 前記誤差関数計算手段が、前記第１のマトリクスに含まれる所定の画素と、前記第４のマトリクスに含まれ、前記第１のマトリクスの所定の画素に対応した画素との差の二乗和を、前記誤差関数値として計算することを特徴とする請求項８に記載の画像圧縮装置。
- 前記誤差関数値が、前記縮小画像領域に含まれる縮小画像データと、前記拡大画像データが有するコントラストが前記原画像データが有するコントラストに近くなるようにして求められた修正拡大画像データとの差に対応することを特徴とする請求項８に記載の画像圧縮装置。
- 請求項２に記載された画像圧縮装置によって前記記録媒体に記録された前記パラメータと縮小画像データとを読み出すデータ読出手段と、
前記縮小画像データに含まれる１つの対象画素に対応した前記移動方向および移動量に基づいて、縮小画像領域を選択する縮小画像領域選択手段と、
前記対象画素毎に、縮小画像領域における縮小画像データに直交変換を施して縮小直交変換係数データを求める第２の直交変換手段と、
前記縮小直交変換係数データに対して、前記第２のマトリクスよりも多い画素数から成る第３のマトリクスによって構成される拡大画像データを得るように、逆直交変換を施す第２の拡大画像生成手段と
を備えたことを特徴とする画像伸張装置。 - 複数の画素から成る第１のマトリクスによって構成される原画像データに基づいて、前記第１のマトリクスよりも少ない数の画素から成る第２のマトリクスによって構成される縮小画像データを生成する縮小画像生成手段と、
前記第２のマトリクスを所定の方向に移動させて得られるマトリクスによって構成され、前記縮小画像データに含まれる１つの対象画素を構成要素とする縮小画像領域を設定する縮小画像領域設定手段と、
前記縮小画像データに直交変換を施して縮小直交変換係数データを求める第１の直交変換手段と、
前記縮小直交変換係数データに対して、前記第２のマトリクスよりも多い画素から成る第３のマトリクスによって構成される拡大画像データを得るように、逆直交変換を施す第１の拡大画像生成手段と、
前記拡大画像データにコントラスト係数を施すことによって、前記拡大画像データが有するコントラストが前記原画像データが有するコントラストに近くなるように、前記コントラスト係数を求めるコントラスト係数演算手段と、
前記拡大画像データに前記コントラスト係数を施すことによって、前記拡大画像データを修正し、修正拡大画像データを求めるコントラスト変換手段と、
前記原画像データと修正拡大画像データの差に対応した誤差関数値を計算する誤差関数計算手段と、
前記対象画素毎に、前記誤差関数値が最小になるように前記縮小画像領域の移動方向および移動量を選択する移動量選択手段と
を備えたことを特徴とする画像圧縮装置。 - 前記縮小画像データと、前記コントラスト係数と、前記移動量選択手段によって選択された移動方向および移動量を示すパラメータとを記録媒体に記録する記録手段を備えたことを特徴とする請求項１２に記載の画像圧縮装置。
- 請求項１３に記載された画像圧縮装置によって前記記録媒体に記録された前記縮小画像データとコントラスト係数とパラメータとを読み出すデータ読出手段と、
前記縮小画像データに含まれる１つの対象画素に対応した前記移動方向および移動量に基づいて、縮小画像領域を選択する縮小画像領域選択手段と、
前記対象画素毎に、縮小画像領域における縮小画像データに直交変換を施して縮小直交変換係数データを求める第２の直交変換手段と、
前記縮小直交変換係数データに対して、前記第２のマトリクスよりも多い画素数から成る第３のマトリクスによって構成される拡大画像データを得るように、逆直交変換を施す第２の拡大画像生成手段と、
前記拡大画像データに前記コントラスト係数を施すことによって、前記拡大画像データを修正し、修正拡大画像データを求めるコントラスト変換手段と
を備えたことを特徴とする画像伸張装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP06236399A JP3709092B2 (ja) | 1999-03-09 | 1999-03-09 | 画像圧縮装置および画像伸張装置 |
| US09/521,429 US6718064B1 (en) | 1999-03-09 | 2000-03-08 | Image compression and expansion apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP06236399A JP3709092B2 (ja) | 1999-03-09 | 1999-03-09 | 画像圧縮装置および画像伸張装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000261661A JP2000261661A (ja) | 2000-09-22 |
| JP3709092B2 true JP3709092B2 (ja) | 2005-10-19 |
Family
ID=13197974
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP06236399A Expired - Fee Related JP3709092B2 (ja) | 1999-03-09 | 1999-03-09 | 画像圧縮装置および画像伸張装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6718064B1 (ja) |
| JP (1) | JP3709092B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7042439B2 (en) * | 2001-11-06 | 2006-05-09 | Omnivision Technologies, Inc. | Method and apparatus for determining relative movement in an optical mouse |
| JP2005278025A (ja) * | 2004-03-26 | 2005-10-06 | Olympus Corp | 輝度・色差信号生成装置、画像圧縮装置、及び画像処理システム |
| JP4529874B2 (ja) * | 2005-11-07 | 2010-08-25 | ソニー株式会社 | 記録再生装置および記録再生方法、記録装置および記録方法、再生装置および再生方法、並びにプログラム |
| EP2348487A3 (en) * | 2010-01-22 | 2017-09-13 | Samsung Electronics Co., Ltd. | Method and apparatus for creating animation message |
| US8873884B2 (en) * | 2010-10-06 | 2014-10-28 | International Business Machines Corporation | Method and system for resizing an image |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4903317A (en) * | 1986-06-24 | 1990-02-20 | Kabushiki Kaisha Toshiba | Image processing apparatus |
| US5309524A (en) * | 1988-12-08 | 1994-05-03 | Canon Kabushiki Kaisha | Image reducing apparatus |
| EP0372950B1 (en) * | 1988-12-08 | 1995-07-05 | Canon Kabushiki Kaisha | Image reducing apparatus |
| GB9015986D0 (en) * | 1990-07-20 | 1990-09-05 | Philips Electronic Associated | Image display |
| US5168375A (en) * | 1991-09-18 | 1992-12-01 | Polaroid Corporation | Image reconstruction by use of discrete cosine and related transforms |
| US5414469A (en) * | 1991-10-31 | 1995-05-09 | International Business Machines Corporation | Motion video compression system with multiresolution features |
| US5262854A (en) * | 1992-02-21 | 1993-11-16 | Rca Thomson Licensing Corporation | Lower resolution HDTV receivers |
| EP0624032B1 (en) * | 1993-05-07 | 2000-07-26 | Lg Electronics Inc. | Video format conversion apparatus and method |
| JP3532963B2 (ja) | 1994-05-31 | 2004-05-31 | ペンタックス株式会社 | 画像圧縮装置 |
| US5937098A (en) | 1995-02-06 | 1999-08-10 | Asahi Kogaku Kogyo Kabushiki Kaisha | Adaptive quantization of orthogonal transform coefficients for setting a target amount of compression |
| US6023301A (en) * | 1995-07-14 | 2000-02-08 | Sharp Kabushiki Kaisha | Video coding device and video decoding device |
| US5845015A (en) * | 1995-10-12 | 1998-12-01 | Sarnoff Corporation | Method and apparatus for resizing images using the discrete cosine transform |
| JP3579544B2 (ja) | 1996-08-29 | 2004-10-20 | ペンタックス株式会社 | 画像圧縮伸張装置 |
| US6157749A (en) * | 1997-03-05 | 2000-12-05 | Canon Kabushiki Kaisha | Image processing apparatus and method, and storing medium |
-
1999
- 1999-03-09 JP JP06236399A patent/JP3709092B2/ja not_active Expired - Fee Related
-
2000
- 2000-03-08 US US09/521,429 patent/US6718064B1/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000261661A (ja) | 2000-09-22 |
| US6718064B1 (en) | 2004-04-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP1855486B1 (en) | Image processor correcting color misregistration, image processing program, image processing method, and electronic camera | |
| KR101442462B1 (ko) | 전체 초점 화상 생성 방법, 그 장치 및 그 프로그램, 및, 피사체 높이 정보 취득 방법, 그 장치 및 그 프로그램 | |
| JP3893099B2 (ja) | 撮像システムおよび撮像プログラム | |
| JP4700445B2 (ja) | 画像処理装置および画像処理プログラム | |
| EP1289310B1 (en) | Method and system for adaptive demosaicing | |
| JP4350706B2 (ja) | 画像処理装置及び画像処理プログラム | |
| US8040558B2 (en) | Apparatus and method for shift invariant differential (SID) image data interpolation in fully populated shift invariant matrix | |
| JP4065155B2 (ja) | 画像処理装置および画像処理プログラム | |
| WO2005112470A1 (ja) | 画像処理装置および画像処理プログラム | |
| US20030160875A1 (en) | Image processing device | |
| KR20100080772A (ko) | 화상 처리 장치 및 화상 처리 방법, 화상 처리 프로그램 | |
| WO2006048962A1 (ja) | 画素信号処理装置及び画素信号処理方法 | |
| JP4317619B2 (ja) | 画像処理装置 | |
| JPS63266982A (ja) | 画像信号の補間方法及びそれを実施する画像信号処理装置 | |
| US8098308B2 (en) | Image processing device and computer-readable storage medium | |
| JP3709092B2 (ja) | 画像圧縮装置および画像伸張装置 | |
| JP3857829B2 (ja) | 画像圧縮装置および画像伸張装置 | |
| US7139443B2 (en) | Signal processing method for producing interpolated signal values in a sampled signal | |
| JP3600750B2 (ja) | 画像圧縮装置および画像伸張装置 | |
| JP3917316B2 (ja) | 画像圧縮装置および画像伸張装置 | |
| JP3907729B2 (ja) | 静止画像撮像装置 | |
| JP4302855B2 (ja) | 画像処理方法および装置並びに記録媒体 | |
| JP4074323B2 (ja) | 再生システムおよび再生プログラム | |
| JP4239483B2 (ja) | 画像処理方法、画像処理プログラム、画像処理装置 | |
| JP3899144B2 (ja) | 画像処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041020 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041210 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050204 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050726 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050805 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080812 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090812 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090812 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100812 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110812 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120812 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120812 Year of fee payment: 7 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120812 Year of fee payment: 7 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120812 Year of fee payment: 7 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120812 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130812 Year of fee payment: 8 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |