JP2000132704A - Image information processor and method - Google Patents

Abstract

PROBLEM TO BE SOLVED: To obtain a three-dimensional image that is subjected to natural texture mapping even when a polygon is enlarged. SOLUTION: This processor is provided with a CPU 1 which performs the entire control, a main memory 2 that temporarily stores programs and data, a ROM 3 which stores a basic program such as an OS and data, an external storage device 4 such as a CD-ROM storing image data, etc., and a hard disk drive, a graphic drawing chip 5 for three-dimensional image drawing provided with a texture mapping function, a video memory 6 which stores images and an image outputting part 7. A natural image texture with high resolution is generated from a small bit stream by decoding a texture to be mapped to a three-dimensional polygon according to algorithm based on fractal theory.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【０００１】[0001]

【発明の属する技術分野】本発明は、画像情報処理装置
及び方法に関し、特に、３次元のポリゴンにマッピング
するための２次元テクスチャ画像を反復変換符号化・復
号処理（フラクタル画像符号化・復号処理）により画像
を生成するような画像情報処理装置及び方法に関するも
のである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image information processing apparatus and method, and more particularly to iterative transform coding / decoding of a two-dimensional texture image for mapping to a three-dimensional polygon (fractal image coding / decoding). ), An image information processing apparatus and method for generating an image.

【０００２】[0002]

【従来の技術】従来の代表的な画像圧縮方式として、Ｉ
ＳＯによって標準化されたいわゆるＪＰＥＧ（Joint Ph
otographic Coding Experts Group） 方式が知られてい
る。このＪＰＥＧ方式は、ＤＣＴ（離散コサイン変換：
Discrete Cosine Transform）を用い、比較的高いビッ
トが割り当てられる場合には、良好な符号化・復号画像
を供することが知られている。ところが、ある程度符号
化ビット数を少なくすると、ＤＣＴ特有のブロック歪み
が顕著になり、主観的に劣化が目立つようになる。2. Description of the Related Art As a conventional typical image compression method, I
The so-called JPEG standardized by SO (Joint Ph
The otographic Coding Experts Group) method is known. This JPEG method uses DCT (discrete cosine transform:
It is known that when a relatively high bit is assigned using Discrete Cosine Transform, good encoded / decoded images are provided. However, if the number of coded bits is reduced to some extent, block distortion peculiar to DCT becomes remarkable, and deterioration is subjectively noticeable.

【０００３】これとは別に最近、反復変換方式（ＩＦ
Ｓ：Iterated Function Systems） を利用した画像圧縮
方式が注目され始めている。この方式は、画像全体の中
で、その画像の一部分を取り出した場合に、その取り出
された画像と良く似た別の画像が、その画像の中に異な
るサイズの形で存在するという前提で、画像の自己相似
性を利用したものである。この反復変換方式は、上記Ｊ
ＰＥＧのようなブロック歪みが目立つことがなく、しか
も画像内の異なるサイズのブロック間の自己相似性を利
用していることから、復号時には解像度に依存しないと
いう利点がある。この反復変換符号化は、別名フラクタ
ル符号化とも呼ばれており、様々な領域への応用が期待
されている。[0003] Apart from this, recently, iterative conversion schemes (IF
An image compression method using S (Iterated Function Systems) has been receiving attention. This method is based on the premise that if a part of the image is extracted from the whole image, another image very similar to the extracted image exists in the image in a different size. This is based on the self-similarity of images. This iterative conversion method is based on J
Since block distortion unlike PEG is not noticeable, and since self-similarity between blocks of different sizes in an image is used, there is an advantage that decoding does not depend on resolution. This iterative transform coding is also called fractal coding, and is expected to be applied to various areas.

【０００４】ところで、３次元のポリゴン（多角形）を
用いた画像表示は、近年ゲームや仮想現実などに広く利
用されている。これは３次元ポリゴン描画機能を備えた
専用のグラフィックチップを用い、３次元の仮想空間内
に配置した多数のポリゴンの位置情報を計算して２次元
のスクリーン画面上に画像を表示するものである。[0004] Image display using three-dimensional polygons (polygons) has been widely used in games and virtual reality in recent years. This uses a dedicated graphic chip having a three-dimensional polygon drawing function, calculates position information of a large number of polygons arranged in a three-dimensional virtual space, and displays an image on a two-dimensional screen screen. .

【０００５】図２１は、３次元ポリゴンを用いた画像表
示の原理を説明するものであり、スクリーン１０上に、
仮想的な３次元空間内の物体１１を視点１２から見たと
きの像１３を表示する様子を示している。FIG. 21 illustrates the principle of image display using three-dimensional polygons.
FIG. 5 shows a state in which an image 13 is displayed when an object 11 in a virtual three-dimensional space is viewed from a viewpoint 12.

【０００６】この図２１において、仮想物体１１の各面
はそれぞれがポリゴンにより構成されており、その各頂
点の位置は、x,y,z の３次元座標で表される。この３次
元座標には、仮想物体１１に固定のローカル座標系、仮
想物体１１が置かれている仮想的な３次元空間に固定の
ワールド座標系、スクリーンに固定のスクリーン座標系
がある。仮想物体１１を最終的にスクリーン１０上の像
１３として表示するためには、まずローカル座標系で定
義された各ポリゴンの頂点の座標を回転・平行移動の座
標変換によりワールド座標系に変換する。In FIG. 21, each surface of the virtual object 11 is constituted by a polygon, and the position of each vertex is represented by three-dimensional coordinates of x, y, and z. The three-dimensional coordinates include a local coordinate system fixed to the virtual object 11, a world coordinate system fixed to the virtual three-dimensional space where the virtual object 11 is placed, and a screen coordinate system fixed to the screen. In order to finally display the virtual object 11 as the image 13 on the screen 10, first, the coordinates of the vertices of each polygon defined in the local coordinate system are transformed into the world coordinate system by coordinate transformation of rotation and translation.

【０００７】[0007]

【数１】 (Equation 1)

【０００８】次に、回転・平行移動の座標変換によりス
クリーン座標系に変換する。Next, the image is converted into a screen coordinate system by coordinate conversion of rotation and translation.

【０００９】[0009]

【数２】 (Equation 2)

【００１０】さらに、視点の近くにあるポリゴンを大き
く、遠くにあるポリゴンを小さく表示することで奥行き
感を持たせるために、透視変換がかけられる。Further, in order to give a sense of depth by displaying a large polygon near the viewpoint and a small polygon far away from the viewpoint, perspective transformation is applied.

【００１１】[0011]

【数３】 (Equation 3)

【００１２】さらに、生成される画像のリアリティを高
めるため、通常これらのポリゴンにはテクスチャと呼ば
れる２次元画像が貼り付けられる。この手法はテクスチ
ャマッピングと呼ばれ、３次元ポリゴンを用いた画像表
示の基礎的技術の一つである。Further, in order to enhance the reality of the generated image, a two-dimensional image called a texture is usually attached to these polygons. This technique is called texture mapping, and is one of the basic techniques for displaying images using three-dimensional polygons.

【００１３】図６は、このテクスチャマッピングを説明
するための図である。この図６において、テクスチャ２
２は２次元の画像であり、スクリーン２０に投射された
物体の像２１を構成するポリゴンの形状に合わせて拡大
・縮小・回転・変形され、ポリゴン上に重ね描きされ
る。これにより、スクリーン２０上に表示される画像は
あたかも３次元物体の表面が複雑な構造を有しているか
のように見え、高いリアリティを得ることができる。FIG. 6 is a diagram for explaining this texture mapping. In FIG. 6, the texture 2
Reference numeral 2 denotes a two-dimensional image, which is enlarged, reduced, rotated, and deformed according to the shape of the polygon constituting the image 21 of the object projected on the screen 20, and is drawn on the polygon. As a result, the image displayed on the screen 20 looks as if the surface of the three-dimensional object has a complicated structure, and high reality can be obtained.

【００１４】[0014]

【発明が解決しようとする課題】上記の従来技術の例で
は、テクスチャはポリゴンの視点からの距離に応じて拡
大・縮小されるため、ポリゴンが視点に近い位置にある
場合にはテクスチャの画像が拡大され、結果としてテク
スチャの一つ一つの画素が大きな四角形として描画され
てしまう。本来は近い位置にある物体ほどその表面の細
かい部分が見えるはずであるから、これはリアリティを
損なわれた不自然な画像である。これを避けるために、
拡大されたテクスチャ画像に対しフィルタリングなどの
手法でぼかしをかける方法が取られることもあるが、こ
の方法では近い位置にあるものほどぼやけた画像とな
り、やはり不自然である。In the above-mentioned prior art example, the texture is enlarged or reduced in accordance with the distance from the viewpoint of the polygon. Therefore, when the polygon is at a position close to the viewpoint, the texture image is not displayed. As a result, each pixel of the texture is drawn as a large square. This is an unnatural image whose reality has been impaired, since originally closer objects should see finer details on the surface. To avoid this,
A method of blurring the enlarged texture image by a method such as filtering may be used. However, in this method, the closer the image is, the more blurred the image becomes, which is also unnatural.

【００１５】本発明は、このような問題点を解決するた
めになされたものであり、上述のように、テキスチャマ
ッピングした物体形状をズーミングした際、テキスチャ
の画質が劣化しにくい復号画像を得ることができるよう
な画像情報処理装置及び方法を提供することを目的とす
る。The present invention has been made in order to solve such a problem. As described above, when a texture-mapped object shape is zoomed, a decoded image in which the image quality of the texture is hardly degraded is obtained. It is an object of the present invention to provide an image information processing apparatus and an image processing method capable of performing the above.

【００１６】[0016]

【課題を解決するための手段】本発明は、上述した課題
を解決するために、主記憶手段に記憶されたフラクタル
符号を用いて反復変換復号処理を施す際に、グラフィッ
ク描画手段によるテクスチャマッピング機能を用いて写
像変換を行わせ、上記フラクタル符号を用いて反復変換
復号処理を施すことによりテクスチャ画像を生成し、こ
の生成されたテクスチャ画像の解像度がテクスチャマッ
ピングの対象となるポリゴンの視点からの距離によって
決定されることを特徴としている。SUMMARY OF THE INVENTION In order to solve the above-mentioned problems, the present invention provides a texture mapping function by a graphic drawing means when performing iterative transformation decoding using a fractal code stored in a main storage means. To generate a texture image by performing iterative transformation decoding using the fractal code. The resolution of the generated texture image is the distance from the viewpoint of the polygon to be texture-mapped. It is characterized by being determined by

【００１７】ここで、上記反復変換復号処理の際に、初
期画像を生成し、この生成された初期画像に基づいて上
記フラクタル符号を用いた反復変換復号を施すことによ
り画像を生成することが好ましい。また、上記反復変換
復号処理の際に、反復前の画像と反復後の画像とを所定
の比率に応じて合成することが好ましい。さらに、上記
反復変換復号処理の際に、複数の画像コンポーネントに
対して同時に反復変換復号することが好ましい。Here, it is preferable to generate an image by generating an initial image and performing iterative conversion decoding using the fractal code on the basis of the generated initial image during the iterative transform decoding process. . In the iterative transformation decoding process, it is preferable that the image before the repetition and the image after the repetition are combined according to a predetermined ratio. Further, in the iterative transform decoding process, it is preferable to perform iterative transform decoding on a plurality of image components simultaneously.

【００１８】[0018]

【発明の実施の形態】以下、本発明に係るいくつかの実
施の形態について図面を参照しながら説明する。図１
は、本発明の第１の実施の形態となる画像情報処理装置
として、フラクタルデコード機能、すなわち画像の反復
変換復号の機能を搭載したゲーム機等のエンタテインメ
ント装置あるいはパーソナルコンピュータ装置の概略構
成を示すブロック図である。DESCRIPTION OF THE PREFERRED EMBODIMENTS Some embodiments according to the present invention will be described below with reference to the drawings. FIG.
Is a block diagram showing a schematic configuration of an entertainment device such as a game machine or a personal computer device equipped with a fractal decoding function, that is, a function of iterative conversion decoding of an image, as an image information processing device according to a first embodiment of the present invention. FIG.

【００１９】この図１に示す装置は、装置全体の制御を
行う制御手段であるＣＰＵ１と、フラクタル変換パラメ
ータを含むデータを記憶する主記憶手段であるメインメ
モリ２と、ＯＳ等の基本プログラムやデータを収めたＲ
ＯＭ３と、画像データやプログラムを貯えたいわゆるＣ
Ｄ−ＲＯＭやＲＯＭカセット等の外部記憶装置４と、ポ
リゴンへのテクスチャマッピング機能を備えたグラフィ
ック描画チップ、いわゆる３Ｄグラフィックチップ５
と、画像を展開し保持するビデオメモリ６と、画像出力
部７とを有して構成されている。この画像出力部７から
の画像信号が図示しないＣＲＴ（陰極線管）モニタ等の
画像表示装置に送られて、視覚的に画像表示が行われ
る。The apparatus shown in FIG. 1 has a CPU 1 as control means for controlling the entire apparatus, a main memory 2 as main storage means for storing data including fractal conversion parameters, and basic programs and data such as an OS. R containing
OM3 and the so-called C that stores image data and programs
An external storage device 4 such as a D-ROM or a ROM cassette, and a graphic drawing chip having a texture mapping function to polygons, a so-called 3D graphic chip 5
, A video memory 6 for developing and holding an image, and an image output unit 7. The image signal from the image output unit 7 is sent to an image display device such as a CRT (cathode ray tube) monitor (not shown) to visually display an image.

【００２０】ここで、反復変換符号化・復号の基本概念
について、図２参照しながら説明する。反復変換符号化
は、フラクタル画像符号化とも称され、画像のある一部
分が同じ画像のより大きな一部分に相似しているという
自己相似性を利用した２次元画像の符号化技術である。
この反復変換符号化（フラクタル符号化）の基本的な構
成は、例えばアーノード・イー・ジャッキン（Arnaud
E. Jacquin） による論文「反復収縮画像変換のフラク
タル理論に基づく画像符号化」（"Image codingbased o
n a fractal theory of Iterated Contractive Image T
ransformations", IEEE Transactions on Image Proces
sing, Vol.1, No.1, pp.18-30）に示されている。Here, the basic concept of iterative transform coding / decoding will be described with reference to FIG. Iterative transform coding, also referred to as fractal image coding, is a two-dimensional image coding technique that exploits the self-similarity that a portion of an image is similar to a larger portion of the same image.
The basic configuration of this iterative transform coding (fractal coding) is, for example, Arnaud E. Jackin (Arnaud
E. Jacquin), "Image coding based o Fractal Theory of Iterative Shrinkage Image Transformation"
na fractal theory of Iterated Contractive Image T
ransformations ", IEEE Transactions on Image Proces
sing, Vol.1, No.1, pp.18-30).

【００２１】反復変換符号化（フラクタル符号化）で
は、画像をレンジブロックと呼ばれる互いに重なり合わ
ない複数の矩形領域に分割し、それぞれのレンジブロッ
クについて、同じ画像の中からドメインブロックと呼ば
れる、より大きくかつ相似な矩形領域を探索する。レン
ジブロックとドメインブロックとの間の位置関係は、写
像変換として表される。反復変換復号（フラクタル復
号）は、通常、ドメインブロック画像からレンジブロッ
ク画像への縮小画像写像変換を、画面を構成するすべて
のレンジブロック画像に対して反復して行うことで、画
像全体を収束させて復元画像を生成する手法である。エ
ンコーダ側では、各レンジブロックを最も近似するドメ
インブロックの位置情報、変換パラメータを符号化すれ
ばよい。In iterative transform coding (fractal coding), an image is divided into a plurality of non-overlapping rectangular areas called range blocks, and for each range block, a larger one called a domain block is called from the same image. In addition, a similar rectangular area is searched. The positional relationship between the range block and the domain block is expressed as a mapping transformation. In the iterative transform decoding (fractal decoding), the reduced image mapping transform from the domain block image to the range block image is usually performed repeatedly on all the range block images constituting the screen, thereby converging the entire image. This is a technique for generating a restored image. On the encoder side, the position information and the conversion parameter of the domain block that most closely approximates each range block may be encoded.

【００２２】図２において、レンジブロックＲ_k のブロ
ックサイズをｍ×ｎ、ドメインブロックＤ_k のブロック
サイズをＭ×Ｎとしており、画面全体ではレンジブロッ
クがＬ×Ｌ個存在することを示している。ドメインブロ
ックＤ_k からレンジブロックＲ_k への写像変換は、写像
関数ｗ_k で表される。画面全体のレンジブロックの数を
Ｎとすると、画像fは画像全体の写像関数Ｗによって、 Ｗ(ｆ) ＝ ｗ₁(ｆ) ∪ ｗ₂(ｆ) ∪ … ∪ ｗ_N(ｆ) …… （１） に写像される。従って、Ｗは、 Ｗ ＝ ∪^N _k=1ｗ_k …… （２） と表すことができる。In FIG. 2, the block size of the range block R _k is m × n, and the block size of the domain block D _k is M × N, which indicates that there are L × L range blocks in the entire screen. . The mapping conversion from the domain block D _k to the range block R _k is represented by a mapping function w _k . If the number of range blocks of the entire screen is N, the image f by the mapping function W of the entire _{image, W (f) = w 1} (f) ∪ w 2 (f) ∪ ... ∪ w N (f) ...... ( 1) is mapped to Thus, W can be expressed as _{^{W = ∪ N k = 1 w}} k ...... (2).

【００２３】ここで、上記写像関数ｗ_k は、処理の簡単
化のために、アフィン変換が用いられることが多い。ア
フィン変換によるドメインブロックＤ_k からレンジブロ
ックＲ_k への写像変換は、次のように表される。Here, an affine transformation is often used as the mapping function w _k in order to simplify the processing. The mapping transformation from the domain block D _k to the range block R _k by the affine transformation is expressed as follows.

【００２４】[0024]

【数４】 (Equation 4)

【００２５】以上はブロックの空間座標の変換である
が、画素値（輝度、色差情報等の濃淡値）に関しても同
様に変換することができる。Ｄ_k 内の画素値ｄ_i がＲ_k
の画素値ｒ_i に変換される関係式を表すと、下式のよう
になる。The above is the conversion of the spatial coordinates of the block, but the pixel values (shading values such as luminance and color difference information) can be similarly converted. The pixel value d _i in D _k is R _k
Expressing the relational expression that is converted into the pixel value r _i of

【００２６】 ｒ_i ＝ Ｃ × ｄ_i ＋ Ｂ …（３） この式（７）で、Ｃをコントラスト、Ｂを輝度オフセッ
トと定義する。これらの値は、ｒ_i との誤差の２乗和Ｅ
が最小になるように選択する。すなわち、 Ｅ ＝ Σ（Ｃ × ｄ_i ＋ Ｂ − ｒ_i)² …（４） が最小となるようにＣとＢを選択する。[0026] _{r i = C × d i +} B ... (3) In this equation (7), defines the contrast of C, and B luminance offset. These values are the sum of squares of the error with r _i , E
Is minimized. That, E = Σ (C × d i + B - r i) 2 ... (4) selects the C and B so as to minimize.

【００２７】次に、反復変換符号化装置（フラクタル符
号化装置）の構成及び動作について、図３を参照しなが
ら説明する。Next, the configuration and operation of the iterative transform encoder (fractal encoder) will be described with reference to FIG.

【００２８】この図３の反復変換符号化装置（フラクタ
ル符号化装置）には、符号化しようとする入力画像、す
なわち原画像３００が供給されている。この原画像３０
０は、ブロック生成部２００に入力されて、互いに重な
り合わない複数個のレンジブロック３０１に分割され
る。また原画像３００を縮小画像生成部２０２にて縮小
することにより得られた縮小画像３０７は、縮小画像記
憶部２０４において記憶される。上記分割されたブロッ
ク３０１は、近似領域検索部２０１において、縮小画像
記憶部２０４の中から全探索で縮小画像を探索して、そ
の中から最も良く似た縮小画像を検出する。ここで得ら
れた、縮小画像中のどの部分を抜き出すかという近似ブ
ロック位置情報３０６が、縮小画像記憶部２０４に伝送
され、指定領域の縮小画像３０５が取り出される。続い
て、指定領域の縮小画像３０５は、変換パラメータ３０
４に従って、回転・変転・レベル値変換部２０３におい
て、例えば回転・変転・レベル値変換を行い、変換後の
縮小画像３０３が出力される。その結果、変換パラメー
タ３０４と近似ブロック位置情報３０６とは、ＩＦＳ
（反復関数方式：Iterated Function System）符号、い
わゆるフラクタル符号３０２として出力される。An input image to be encoded, that is, an original image 300, is supplied to the iterative transform encoding device (fractal encoding device) shown in FIG. This original image 30
0 is input to the block generation unit 200 and is divided into a plurality of range blocks 301 that do not overlap with each other. A reduced image 307 obtained by reducing the original image 300 by the reduced image generation unit 202 is stored in the reduced image storage unit 204. In the divided block 301, the approximate area search unit 201 searches the reduced image storage unit 204 for a reduced image by full search, and detects the most similar reduced image from the search. The obtained approximate block position information 306 indicating which part of the reduced image is to be extracted is transmitted to the reduced image storage unit 204, and the reduced image 305 of the designated area is extracted. Subsequently, the reduced image 305 of the designated area is
According to 4, the rotation / transformation / level value conversion unit 203 performs, for example, rotation / transformation / level value conversion, and outputs the reduced image 303 after the conversion. As a result, the conversion parameter 304 and the approximate block position information 306 are
(Iterated Function System) The code is output as a so-called fractal code 302.

【００２９】なお、原画像３００、縮小画像３０３、指
定領域の縮小画像３０５などの画像はすべてグレイスケ
ール画像である。カラー画像を符号化するときには、原
画像をＲ，Ｇ，ＢやＹ，Ｃｂ，Ｃｒなどのカラーコンポ
ーネントに分離し、それぞれのコンポーネントをグレイ
スケール画像とみなして上記の符号化処理を行う。The images such as the original image 300, the reduced image 303, and the reduced image 305 in the designated area are all gray scale images. When encoding a color image, the original image is separated into color components such as R, G, B, Y, Cb, and Cr, and the above encoding process is performed by regarding each component as a grayscale image.

【００３０】図４は、この図３の反復変換符号化装置の
動作を説明するためのフローチャートである。FIG. 4 is a flowchart for explaining the operation of the iterative transform coding apparatus of FIG.

【００３１】この図４において、最初のステップＳ１０
１では、図３のブロック生成部２００にて、上記原画像
３００を互いに重なり合わない複数個のレンジブロック
３０１に分割する。次のステップＳ１０２では、原画像
３００を縮小画像生成部２０２にて縮小し、得られた縮
小画像３０７を縮小画像記憶部２０４に記憶する。次の
ステップＳ１０３では、近似領域探索部２０１におい
て、上記分割されたレンジブロック３０１に最も良く似
た変換後の縮小画像３０３を探索する。ステップＳ１０
４では、全てのレンジブロックについて処理を行ったか
否かを判別し、ＮＯのときはステップＳ１０３に戻り、
ＹＥＳとなったとき、次のステップＳ１０５に進む。ス
テップＳ１０５では、各レンジブロックについて、それ
ぞれの近似ブロックの位置情報３０６と変換パラメータ
３０４をフラクタル符号３０２として出力する。In FIG. 4, first step S10
In 1, the original image 300 is divided into a plurality of non-overlapping range blocks 301 by the block generation unit 200 in FIG. In the next step S102, the original image 300 is reduced by the reduced image generation unit 202, and the obtained reduced image 307 is stored in the reduced image storage unit 204. In the next step S103, the approximate area search unit 201 searches for a converted reduced image 303 most similar to the divided range block 301. Step S10
In 4, it is determined whether or not the processing has been performed for all the range blocks. If NO, the process returns to step S103,
When YES is determined, the process proceeds to the next step S105. In step S105, the position information 306 and the conversion parameter 304 of each approximate block are output as the fractal code 302 for each range block.

【００３２】次に、上述した図３の反復変換符号化装置
（フラクタル符号化装置）に対応する反復変換復号装置
（フラクタル復号装置）について、図５を参照しながら
説明する。Next, an iterative transform decoder (fractal decoder) corresponding to the above-described iterative transform encoder (fractal encoder) shown in FIG. 3 will be described with reference to FIG.

【００３３】上記図３の反復変換符号化装置（フラクタ
ル符号化装置）から出力されたビットストリームである
上記ＩＦＳ符号（フラクタル符号）３０２は、一度フラ
クタル符号蓄積部２０５に入力されて記憶され、ここか
ら複数回に渡ってシーケンシャルにブロック単位で読み
出される。フラクタル符号読み出し部２０６では、ブロ
ック単位のフラクタル符号３０８を読み出して、前記近
似ブロック位置情報３０６及び変換パラメータ３０４と
に分ける。続いて、近似ブロック位置情報３０６は縮小
画像記憶部２１０に入力し、縮小画像中で前記位置情報
３０６によって指定領域の縮小画像３０５が取り出され
る。この指定領域の縮小画像３０５は、回転・変転・レ
ベル値変換部２０９において、変換パラメータ３０４に
基づいた変換処理が施され、さらに復号倍率３１７によ
って拡大・縮小され、復号画像記憶部２０８中の復号画
像に加算、複写処理されて記憶される。フラクタル符号
読み出し部２０６は、全てのブロックのフラクタル符号
３０８を読み出し終わると、読み出し終了通知信号３１
０を複写制御部２０７に送る。この複写制御部２０７で
は、一連の上記複写処理を何回実行したかを計測してい
て、予め設定した値に達していない場合には、再読み出
し指示信号３０９をフラクタル符号読み出し部２０６に
出力して、上記複写処理を再度、画像中の全てのブロッ
クに対して行う。同時に、復号画像出力制御信号３１１
で再処理指示情報を送り、スイッチ２１２により復号画
像３１３を縮小画像記憶部２１０への入力３１４に接続
する。一方、前記複写処理が一定の回数に達した時に
は、複写制御部２０７は、復号画像出力制御信号３１１
で終了の指示を出し、スイッチ２０９により復号画像３
１３を最終出力画像３１６側に接続して、復号器の出力
を得る。The IFS code (fractal code) 302, which is a bit stream output from the iterative transform coding device (fractal coding device) shown in FIG. 3, is once input to and stored in the fractal code storage unit 205. Are sequentially read in blocks for a plurality of times. The fractal code reading unit 206 reads the fractal code 308 for each block and divides the fractal code 308 into the approximate block position information 306 and the conversion parameter 304. Subsequently, the approximate block position information 306 is input to the reduced image storage unit 210, and the reduced image 305 of the designated area is extracted from the reduced image by the position information 306. The reduced image 305 in the designated area is subjected to a conversion process based on the conversion parameter 304 in the rotation / transformation / level value conversion unit 209, is further enlarged / reduced by the decoding magnification 317, and is decoded in the decoded image storage unit 208. The image is added to the image, copied, and stored. When the fractal code reading unit 206 finishes reading the fractal codes 308 of all the blocks, the reading completion notification signal 31
0 is sent to the copy control unit 207. The copy control unit 207 measures how many times the series of copy processing has been executed, and outputs a reread instruction signal 309 to the fractal code read unit 206 if the value does not reach a preset value. Then, the copying process is performed again for all the blocks in the image. At the same time, the decoded image output control signal 311
And the switch 212 connects the decoded image 313 to the input 314 to the reduced image storage unit 210. On the other hand, when the copy processing reaches a certain number of times, the copy control unit 207 sends the decoded image output control signal 311
To issue an end instruction, and the switch 209 outputs the decoded image 3
13 is connected to the final output image 316 to obtain the output of the decoder.

【００３４】なお、指定領域の縮小画像３０５、復号画
像３１３、最終出力画像３１６などの画像はすべてグレ
イスケール画像である。カラー画像を復号するときに
は、Ｒ，Ｇ，ＢやＹ，Ｃｂ，Ｃｒなどのカラーコンポー
ネントに分離し、それぞれのコンポーネントに対応した
フラクタル符号について上記の復号処理を行う。The images such as the reduced image 305, the decoded image 313, and the final output image 316 in the designated area are all grayscale images. When decoding a color image, the color image is separated into color components such as R, G, B, Y, Cb, and Cr, and the above-described decoding process is performed on a fractal code corresponding to each component.

【００３５】次に、上記図１に示す本発明の第１の実施
の形態の装置の動作について説明する。図１において、
ＣＰＵ１は外部記憶装置４から上記図３、図５と共に説
明した上記ビットストリームであるフラクタル符号（Ｉ
ＦＳ符号）３０２を読み出し、メインメモリ２に記憶さ
せる。ポリゴンは、視点からの距離が近いほど画面上で
は大きく、また遠いほど小さく表示されるので、上記復
号倍率３１７はポリゴンの画面上での大きさに比例した
値に設定される。ＣＰＵ１はソフトウェアにより図５に
示したフラクタル復号を行い、生成したフラクタル復号
画像３１６を３Ｄ描画機能を備えたグラフィックチップ
５に送る。グラフィックチップ５は、図６に示すような
テクスチャマッピングを行い、ビデオメモリ６上にポリ
ゴンを使った画像を生成する。Next, the operation of the apparatus according to the first embodiment of the present invention shown in FIG. 1 will be described. In FIG.
The CPU 1 sends a fractal code (I), which is the bit stream described with reference to FIGS.
(FS code) 302 is read out and stored in the main memory 2. Since the polygon is displayed larger on the screen as the distance from the viewpoint is shorter, and smaller as the distance from the viewpoint is larger, the decoding magnification 317 is set to a value proportional to the size of the polygon on the screen. The CPU 1 performs the fractal decoding shown in FIG. 5 by software, and sends the generated fractal decoded image 316 to the graphic chip 5 having a 3D drawing function. The graphic chip 5 performs texture mapping as shown in FIG. 6 and generates an image using polygons on the video memory 6.

【００３６】すなわち、図６において、テクスチャ２２
は２次元の画像であり、スクリーン２０に投射された物
体の像２１を構成するポリゴンの形状に合わせて拡大・
縮小・回転・変形され、ポリゴン上に重ね描きされる。
このようなスクリーン２０上に表示される画像は画像出
力部７により出力される。That is, in FIG.
Is a two-dimensional image, which is enlarged and adjusted according to the shape of the polygon constituting the image 21 of the object projected on the screen 20.
It is reduced, rotated, deformed, and overlaid on a polygon.
The image displayed on the screen 20 is output by the image output unit 7.

【００３７】図７は、以上のような処理を表したフロー
チャートである。この図７において、最初のステップＳ
１１１で、外部記憶装置より上記ビットストリームであ
るフラクタル符号を読み出す。次のステップＳ１１２で
は、上記ビットストリームをデコードし、上述した近似
ブロック位置情報、変換パラメータを取り出す。次のス
テップＳ１１３では、ポリゴンと視点との距離から、フ
ラクタル復号倍率を決定する。次のステップＳ１１４
で、ビデオメモリ上に復号用の画像メモリを確保する。FIG. 7 is a flowchart showing the above processing. In FIG. 7, the first step S
At 111, the fractal code which is the bit stream is read from the external storage device. In the next step S112, the bit stream is decoded, and the above-described approximate block position information and conversion parameters are extracted. In the next step S113, the fractal decoding magnification is determined from the distance between the polygon and the viewpoint. Next step S114
Thus, an image memory for decoding is secured on the video memory.

【００３８】次のステップＳ１１５では、ドメインブロ
ックからレンジブロックへのアフィン写像を計算する。
次のステップＳ１１６で、全てのアフィン写像について
処理したか否かを判別し、ＮＯのときはステップＳ１１
５に戻り、ＹＥＳのときは次のステップＳ１１７に進
む。ステップＳ１１７では、この反復変換復号処理を規
定回数反復したか否かを判別し、ＮＯのときはステップ
Ｓ１１５に戻り、ＹＥＳのときは次のステップＳ１１８
に進む。ステップＳ１１８では、生成された復号画像を
テクスチャとしてポリゴンにマッピングする。In the next step S115, an affine mapping from the domain block to the range block is calculated.
In the next step S116, it is determined whether or not all the affine mappings have been processed.
Returning to step S5, if YES, the process proceeds to the next step S117. In step S117, it is determined whether or not this iterative conversion decoding process has been repeated a specified number of times. If NO, the process returns to step S115, and if YES, the next step S118.
Proceed to. In step S118, the generated decoded image is mapped to a polygon as a texture.

【００３９】以上説明したような本発明に係る第１の実
施の形態によれば、ポリゴンの表示領域の大きさに応じ
てフラクタル復号倍率を変化させ、ポリゴンが視点に近
く、大きく表示されるときには大きい復号倍率で細かい
テクスチャを生成することができるので、テクスチャが
粗い解像度のまま拡大されるようなことがなく、よりリ
アリティの高い画像を生成することができるという効果
がある。また、最初から複数の解像度でテクスチャ画像
を用意しておく場合と異なり、単一の小さなビットスト
リームから複数の異なる解像度のテクスチャ画像を生成
することができることから、メモリや通信路の容量の節
約になるという効果もある。According to the first embodiment of the present invention as described above, the fractal decoding magnification is changed according to the size of the polygon display area, and when the polygon is close to the viewpoint and is displayed large, Since a fine texture can be generated with a large decoding magnification, there is an effect that an image with higher reality can be generated without the texture being enlarged at a coarse resolution. Also, unlike the case where texture images are prepared at multiple resolutions from the beginning, texture images with multiple different resolutions can be generated from a single small bit stream, thus saving memory and communication channel capacity. There is also the effect of becoming.

【００４０】次に、本発明の第２の実施の形態について
説明する。上記第１の実施の形態においては、フラクタ
ル復号の処理すべてに図１のＣＰＵ１を用いていたが、
３Ｄ描画機能を備えたグラフィックチップ５は、ジオメ
トリ演算やテクスチャマッピングのための図形の回転・
拡大・縮小・平行移動の機能を備えている。そこで、こ
の第２の実施の形態ではこの機能を利用して、ドメイン
ブロックからレンジブロックへのアフィン写像の計算を
高速に行っている。Next, a second embodiment of the present invention will be described. In the first embodiment, the CPU 1 of FIG. 1 is used for all the fractal decoding processes.
The graphic chip 5 having the 3D drawing function is used to rotate and rotate figures for geometry calculation and texture mapping.
It has functions of enlargement / reduction / translation. Therefore, in the second embodiment, the affine mapping from the domain block to the range block is calculated at high speed using this function.

【００４１】すなわち、図８は、テクスチャマッピング
を用いた写像変換を説明するための図であり、この図８
において、描画領域３５１は、上記図１のビデオメモリ
６の一部に設けられ、この描画領域３５１内に、ポリゴ
ンの表示される領域３５２及びポリゴンにマッピングさ
れるテクスチャ画像の存在する領域３５３が設定され
る。図１のグラフィックチップ５は、領域３２３にある
テクスチャ画像を領域３２２の形状に合わせて拡大・縮
小・回転・反転・変形し、領域３２２に表示されるポリ
ゴンの上に描画する。そこで、描画領域３２１をフラク
タル復号のための作業領域として使い、レンジブロック
の位置にポリゴン描画領域３２２、ドメインブロックの
位置にテクスチャ領域３２３を設定し、グラフィックチ
ップ５に対してテクスチャマッピングを実行させると、
グラフィックチップ５は、ドメインブロックの画像の縮
小・回転・反転イメージを計算し、レンジブロックの位
置に描画する。これにより、ＣＰＵ１よりも高速にドメ
インブロックのアフィン写像を計算することができる。
このほかの動作は、上記第１の実施の形態において説明
したものと同一である。That is, FIG. 8 is a diagram for explaining mapping conversion using texture mapping.
1, a drawing area 351 is provided in a part of the video memory 6 shown in FIG. 1, and an area 352 where a polygon is displayed and an area 353 where a texture image mapped to the polygon exists are set in the drawing area 351. Is done. The graphic chip 5 in FIG. 1 enlarges, reduces, rotates, flips, and deforms the texture image in the area 323 according to the shape of the area 322, and draws the texture image on the polygon displayed in the area 322. Therefore, when the drawing area 321 is used as a work area for fractal decoding, the polygon drawing area 322 is set at the position of the range block, the texture area 323 is set at the position of the domain block, and texture mapping is performed on the graphic chip 5. ,
The graphic chip 5 calculates a reduced / rotated / reversed image of the image of the domain block and draws the image at the position of the range block. Thereby, the affine mapping of the domain block can be calculated faster than the CPU 1.
Other operations are the same as those described in the first embodiment.

【００４２】図９は、この第２の実施の形態の動作を説
明するためのフローチャートである。この図９におい
て、最初のステップＳ１２１からステップＳ１２４まで
は、上記図７のフローチャートのステップＳ１１１から
ステップＳ１１４までに相当しており、同じ動作となっ
ているため説明を省略する。ステップＳ１２５ａからス
テップＳ１２５ｃまでは、図１のフローチャートのステ
ップＳ１１５に対応するが、この図９に示す第２の実施
の形態では、上記グラフィックチップ５によるテクスチ
ャマッピング機能を用いてフラクタル復号のための写像
変換を行わせるのに適した内容に変更されている。すな
わち、ステップＳ１２５ａでレンジブロックと同じ位置
と大きさを持つポリゴンを定義し、ステップＳ１２５ｂ
でドメインブロックと同じ位置と大きさを持つテクスチ
ャを定義し、ステップＳ１２５ｃで、３Ｄ描画チップ
（グラフィックチップ５）のテクスチャマッピング機能
を利用し、ドメインブロックからレンジブロックへのマ
ッピングを行っている。図９のステップＳ１２６からス
テップＳ１２８までは、上記図１のステップＳ１１６か
らステップＳ１１８までと同じ動作であるため、説明を
省略する。FIG. 9 is a flowchart for explaining the operation of the second embodiment. In FIG. 9, the first steps S121 to S124 correspond to the steps S111 to S114 in the flowchart of FIG. 7 described above, and the operations are the same. Steps S125a to S125c correspond to step S115 in the flowchart of FIG. 1, but in the second embodiment shown in FIG. 9, mapping for fractal decoding is performed using the texture mapping function of the graphic chip 5. The content has been changed to make it suitable for conversion. That is, in step S125a, a polygon having the same position and size as the range block is defined, and in step S125b
, A texture having the same position and size as the domain block is defined, and in step S125c, the mapping from the domain block to the range block is performed using the texture mapping function of the 3D drawing chip (graphic chip 5). Steps S126 to S128 in FIG. 9 are the same operations as steps S116 to S118 in FIG.

【００４３】このような本発明の第２の実施の形態によ
れば、フラクタル復号に必要な写像変換の処理を、ソフ
トウェアのみに負担させてＣＰＵが行うのでなく、グラ
フィックチップのテクスチャマッピング機能を用いてハ
ードウェアで行うので、高速に復号することができると
いう効果がある。また、高速化のために新たなハードウ
ェアを付加することなく、既存のグラフィックチップを
利用するため、低いコストで高速化が実現できるという
効果もある。According to the second embodiment of the present invention, the processing of the mapping conversion required for the fractal decoding is not performed by the CPU with only the software burden, but the texture mapping function of the graphic chip is used. Since the decoding is performed by hardware, there is an effect that decoding can be performed at high speed. In addition, since an existing graphic chip is used without adding new hardware for speeding up, there is an effect that speeding up can be realized at low cost.

【００４４】次に、本発明の第３の実施の形態について
説明する。３Ｄ描画機能を備えたグラフィックチップの
中には、コントラストや輝度オフセットの変換ができな
いか、できても変換できる範囲や計算精度に制約がある
など自由に変換できないものもある。通常のフラクタル
復号では、図１０に示すように、アフィン変換を適用す
る前の初期画像は任意でよく、反復してアフィン変換を
適用していくに従い復号画像に収束している。すなわ
ち、符号化側で原画像３００をレンジブロックに分割し
て各レンジブロックについてドメインブロック探索処理
２３０を施すことによりフラクタル符号３０２を生成
し、このフラクタル符号３０２を反復変換復号する復号
側では、任意のあるいは不定の初期画像３１８に対して
上述したアフィン変換処理２４０を反復して行うことに
より、復号画像３１６を得ている。Next, a third embodiment of the present invention will be described. Some graphic chips having a 3D drawing function cannot be converted freely, for example, because the conversion of the contrast and the luminance offset cannot be performed, or even if the conversion can be performed, the conversion range and calculation accuracy are restricted. In normal fractal decoding, as shown in FIG. 10, the initial image before applying the affine transformation may be arbitrary, and converges on the decoded image as the affine transformation is repeatedly applied. That is, on the encoding side, the original image 300 is divided into range blocks, and a domain block search process 230 is performed on each range block to generate a fractal code 302. On the decoding side that iteratively transforms and decodes the fractal code 302, The decoded image 316 is obtained by repeatedly performing the above-described affine transformation process 240 on the undefined or indeterminate initial image 318.

【００４５】しかし、上述のグラフィックチップを用い
る場合のように、コントラストや輝度オフセットの変換
に制約がある場合、復号画像を得ることがきわめて困難
となる。このようなグラフィックチップでもフラクタル
復号を可能とするため、本第３の実施の形態では、予め
小さな（解像度を落とした）画像の情報をビットストリ
ームの中に含め（これを「種画像」と呼ぶ）、デコード
時にこの画像を復号画像と同じ大きさにアップサンプリ
ングしてビデオメモリに貼り付けて初期画像としてい
る。However, when the conversion of the contrast and the luminance offset is restricted as in the case of using the above-described graphic chip, it is extremely difficult to obtain a decoded image. In order to enable fractal decoding even with such a graphic chip, in the third embodiment, information of a small (reduced-resolution) image is included in a bit stream in advance (this is referred to as a “seed image”). At the time of decoding, this image is up-sampled to the same size as the decoded image, and is pasted to the video memory to form an initial image.

【００４６】図１１は、このような種画像を用いる復号
方法を説明するための図である。この図１１において、
符号化の段階で原画像３００を縮小処理２５１によって
縮小し、種画像３２１を作成する。これをフラクタル符
号とともに復号装置に送り、復号装置における拡大処理
２５２によりデコード画像の大きさに拡大し、デコード
の初期画像３２２とする。この画像に対し、アフィン写
像を反復変換することにより、最終的な復号画像３１６
を得る。種画像を用いた場合、変換パラメータに制約が
あっても復号が可能なだけでなく、変換パラメータを全
く用いずにアフィン変換を行っても復号画像を得ること
ができる。このほかの動作は、上記第１、第２の実施の
形態で示したものと同一である。FIG. 11 is a diagram for explaining a decoding method using such a seed image. In FIG. 11,
At the encoding stage, the original image 300 is reduced by a reduction process 251 to create a seed image 321. This is sent to the decoding device together with the fractal code, and is enlarged to the size of the decoded image by the enlarging process 252 in the decoding device to obtain an initial image 322 for decoding. By iteratively transforming the affine mapping for this image, the final decoded image 316 is obtained.
Get. When a seed image is used, not only can decoding be performed even if there are restrictions on the conversion parameters, but a decoded image can be obtained by performing affine transformation without using any conversion parameters. Other operations are the same as those described in the first and second embodiments.

【００４７】図１２は、このような初期画像生成を伴う
復号処理を行うための画像情報処理装置となるゲーム機
等のエンタテインメント装置あるいはパーソナルコンピ
ュータ装置の概略構成を示すブロック図である。FIG. 12 is a block diagram showing a schematic configuration of an entertainment device such as a game machine or a personal computer device serving as an image information processing device for performing such a decoding process involving generation of an initial image.

【００４８】この図１２の装置には、上述した種画像を
再生し拡大して上記初期画像３２２を生成するための初
期画像生成部８が設けられている。この図１２の他の構
成については、上記図１と同様であるため、同じ部分に
同じ指示符号を付して説明を省略する。The apparatus shown in FIG. 12 is provided with an initial image generation unit 8 for reproducing the above-described seed image and generating the initial image 322 by enlarging the seed image. Since the other configuration of FIG. 12 is the same as that of FIG. 1, the same portions are denoted by the same reference symbols, and description thereof will be omitted.

【００４９】図１３は、この種画像に基づく初期画像を
用いて反復変換復号を行う場合の処理手順を示すフロー
チャートである。FIG. 13 is a flowchart showing a processing procedure when iterative transform decoding is performed using an initial image based on this seed image.

【００５０】この図１３において、最初のステップＳ１
３１は、上記図７のフローチャートのステップＳ１１１
に相当し、外部記憶装置より上記ビットストリームであ
るフラクタル符号を読み出す。次のステップＳ１３２
は、上記図７のステップＳ１１２にほぼ相当するが、こ
のステップＳ１３２では、上記ビットストリームをデコ
ードし、上述した近似ブロック位置情報、変換パラメー
タを取り出すのみならず、上記原画像を縮小した種画像
を取り出している。次のステップＳ１３３では、上記図
７のステップＳ１１３と同様に、ポリゴンと視点との距
離から、フラクタル復号倍率を決定する。In FIG. 13, the first step S1
31 corresponds to step S111 in the flowchart of FIG.
And reads a fractal code as the bit stream from the external storage device. Next step S132
Is substantially equivalent to step S112 in FIG. 7, but in this step S132, not only is the bit stream decoded and the above-described approximate block position information and conversion parameters are extracted, but the seed image obtained by reducing the original image is I'm taking it out. In the next step S133, the fractal decoding magnification is determined from the distance between the polygon and the viewpoint, as in step S113 in FIG.

【００５１】この図１３に示すフローチャートの次のス
テップＳ１３４ａは、図１のフローチャートのステップ
Ｓ１１４に対応し、ビデオメモリ上に復号用の画像メモ
リを確保しているが、次のステップＳ１３４ｂでは、上
記種画像をアップサンプリングによりデコード画像の大
きさに拡大し、画像メモリ上に展開している。これを初
期画像として反復変換復号を行う。次のステップＳ１３
５ａからステップＳ１３８までは、上記図９のステップ
Ｓ１２５ａからステップＳ１２８までに相当し、同様の
処理を行っているため説明を省略する。なお、このステ
ップＳ１３５ａからステップＳ１３８までの代わりに、
図７のステップＳ１１５からステップＳ１１８までの処
理を行うようにしてもよい。The next step S134a in the flow chart shown in FIG. 13 corresponds to step S114 in the flow chart in FIG. 1, and an image memory for decoding is secured in the video memory. The seed image is enlarged to the size of the decoded image by upsampling, and is expanded on the image memory. Using this as an initial image, iterative transformation decoding is performed. Next step S13
Steps 5a to S138 correspond to steps S125a to S128 in FIG. 9 described above, and the same processing is performed, so that the description is omitted. Note that instead of steps S135a to S138,
The processing from step S115 to step S118 in FIG. 7 may be performed.

【００５２】このような第３の実施の形態によれば、あ
らかじめ小さな種画像のデータを送り、これを拡大して
初期画像とするため、コントラストや輝度オフセットを
調整する機能が制約されたグラフィックチップでも画像
のフラクタル復号が可能となるという効果がある。ま
た、写像の反復変換の際に画像の収束が早まるため、反
復処理の回数が少なくてすみ、高速化につながるという
効果もある。According to the third embodiment, since the data of the small seed image is sent in advance and enlarged to obtain the initial image, the graphic chip with a limited function of adjusting the contrast and the luminance offset is restricted. However, there is an effect that fractal decoding of an image becomes possible. Further, since the convergence of the image is accelerated at the time of the iterative transformation of the mapping, there is an effect that the number of times of the iterative processing can be reduced and the speed is increased.

【００５３】次に、本発明の第４の実施の形態について
説明する。上記第３の実施の形態では、種画像３１８を
そのまま復号装置に送っているが、図１４に示すよう
に、種画像３１８をＤＣＴ（離散コサイン変換）を基本
とした符号化アルゴリズムにより符号化し、圧縮された
種画像３１９として復号器に送ることにより、情報量を
減らすことができる。圧縮された種画像３１９は、復号
装置においてＩＤＣＴ（逆離散コサイン変換）を基本と
した復号アルゴリズムにより復号される。Next, a fourth embodiment of the present invention will be described. In the third embodiment, the seed image 318 is directly sent to the decoding device. However, as shown in FIG. 14, the seed image 318 is encoded by an encoding algorithm based on DCT (discrete cosine transform). By sending the compressed seed image 319 to the decoder, the amount of information can be reduced. The compressed seed image 319 is decoded by a decoding device using a decoding algorithm based on IDCT (Inverse Discrete Cosine Transform).

【００５４】この図１４において、原画像３００から縮
小処理２５１を経て得られた種画像３２１は、ＤＣＴに
よる符号化処理２５３が施され、圧縮符号化された種画
像データ３１９が符号化装置から復号装置に送られる。
復号装置では、圧縮符号化された種画像データ３１９を
ＩＤＣＴによる復号処理２５４により種画像を復元し、
これを拡大処理２５２によるアップサンプリングにより
デコード画像の大きさに拡大して、初期画像３２２とし
ている。このほかの動作は、上記第３の実施の形態で説
明したものと同様である。In FIG. 14, the seed image 321 obtained from the original image 300 through the reduction process 251 is subjected to DCT encoding process 253, and the compressed and encoded seed image data 319 is decoded from the encoding device. Sent to the device.
In the decoding device, the seed image data 319 that has been compression-encoded is restored to a seed image by a decoding process 254 using IDCT,
This is enlarged to the size of the decoded image by up-sampling by the enlargement processing 252 to obtain the initial image 322. Other operations are the same as those described in the third embodiment.

【００５５】図１５は、この第４の実施の形態の動作を
説明するためのフローチャートであり、この図１５の処
理手順における各ステップは、上述した図１３のフロー
チャートの各ステップにほぼ対応している。ただし、圧
縮符号化された種画像を復号している点が異なってい
る。すなわち、図１５のステップＳ１４２は、図１３の
ステップＳ１３２にほぼ相当するが、このステップＳ１
４２では、上述した近似ブロック位置情報、変換パラメ
ータと共に、上記符号化装置側でＤＣＴ（離散コサイン
変換）により圧縮符号化された種画像を取り出してい
る。また、図１５のステップＳ１４４ｂでは、ＩＤＣＴ
（逆離散コサイン変換）により種画像を復号し、次のス
テップＳ１４４ｃで、種画像をアップサンプリングによ
りデコード画像の大きさに拡大し、画像メモリ上に展開
している。これ以降のステップＳ１４５ａ〜ステップＳ
１４８は、上記図１３のフローチャートのステップＳ１
３５ａ〜ステップＳ１３８と同様であるため、説明を省
略する。FIG. 15 is a flowchart for explaining the operation of the fourth embodiment. Each step in the processing procedure of FIG. 15 substantially corresponds to each step of the flowchart of FIG. I have. However, the difference is that the compression-encoded seed image is decoded. That is, step S142 in FIG. 15 substantially corresponds to step S132 in FIG.
At 42, a seed image compressed and encoded by DCT (Discrete Cosine Transform) on the encoding device side is extracted together with the above-described approximate block position information and transformation parameters. Also, in step S144b of FIG.
The seed image is decoded by (inverse discrete cosine transform), and in the next step S144c, the seed image is enlarged to the size of the decoded image by up-sampling and expanded on the image memory. Subsequent steps S145a to S145
148 is the step S1 in the flowchart of FIG.
35a to step S138, so the description is omitted.

【００５６】次に、図１６は、上記第４の実施の形態の
種画像の符号化方式としてのＤＣＴ変換の代わりに、ウ
ェーブレット変換を用いた第５の実施の形態を説明する
ための図である。Next, FIG. 16 is a diagram for explaining a fifth embodiment using a wavelet transform instead of the DCT transform as the seed image encoding system of the fourth embodiment. is there.

【００５７】この図１６に示す第５の実施の形態におい
ては、原画像３００から縮小処理２５１を経て得られた
種画像３２１を、ウェーブレット変換による符号化処理
２５６が施され、圧縮符号化された種画像データ３１９
が符号化装置から復号装置に送られる。復号装置では、
上記ウェーブレット変換符号化により圧縮された種画像
データ３１９に対して、ウェーブレット逆変換による復
号処理２５７を施して種画像を復元し、これを拡大処理
２５２によるアップサンプリングによりデコード画像の
大きさに拡大して、初期画像３２２としている。このほ
かの動作は、上記第３、第４の実施の形態で説明したも
のと同様である。In the fifth embodiment shown in FIG. 16, the seed image 321 obtained from the original image 300 through the reduction process 251 is subjected to a wavelet transform coding process 256, and is compression-coded. Seed image data 319
Is sent from the encoding device to the decoding device. In the decryption device,
The seed image data 319 compressed by the wavelet transform coding is subjected to decoding processing 257 by inverse wavelet transform to restore the seed image, which is enlarged to the size of the decoded image by upsampling by the enlargement processing 252. Thus, the initial image 322 is set. Other operations are the same as those described in the third and fourth embodiments.

【００５８】図１７は、この第５の実施の形態の動作を
説明するためのフローチャートであり、この図１７の処
理手順における各ステップは、上述した図１５に示す第
４の実施の形態のフローチャートの各ステップにほぼ対
応している。ただし、種画像の符号化・復号にウェーブ
レット変換・逆変換を用いている点が異なっている。す
なわち、図１７のステップＳ１５２は、図１５のステッ
プＳ１４２にほぼ相当するが、このステップＳ１５２で
は、上述した近似ブロック位置情報、変換パラメータと
共に、上記符号化側で上記ウェーブレット変換により圧
縮符号化された種画像を取り出している。また、図１７
のステップＳ１５４ｂでは、ウェーブレット逆変換によ
り種画像を復号している。これ以降のステップＳ１５４
ｃ〜ステップＳ１５８は、上記図１３のフローチャート
のステップＳ１４４ｃ〜ステップＳ１４８と同様である
ため、説明を省略する。FIG. 17 is a flowchart for explaining the operation of the fifth embodiment. Each step in the processing procedure of FIG. 17 is the same as that of the fourth embodiment shown in FIG. Each step corresponds to almost. The difference is that the wavelet transform / inverse transform is used for encoding / decoding the seed image. That is, step S152 in FIG. 17 substantially corresponds to step S142 in FIG. 15, but in this step S152, the encoding side is compression-coded by the wavelet transform together with the above-described approximate block position information and conversion parameters. The seed image is taken out. FIG.
In step S154b, the seed image is decoded by the inverse wavelet transform. Subsequent steps S154
Steps c to S158 are the same as steps S144c to S148 in the flowchart of FIG.

【００５９】このような本発明の第４、第５の実施の形
態によれば、種画像を離散コサイン変換、あるいはウェ
ーブレット変換をベースにした画像圧縮アルゴリズムに
より圧縮して伝送するため、ビットストリーム全体の圧
縮率が向上し、ビットレートが低減するという効果があ
る。According to the fourth and fifth embodiments of the present invention, a seed image is compressed by an image compression algorithm based on a discrete cosine transform or a wavelet transform and transmitted. This has the effect of improving the compression ratio and reducing the bit rate.

【００６０】次に、本発明の第６の実施の形態について
説明する。３Ｄ描画機能を備えたグラフィックチップの
中には、アフィン写像で画像を縮小する際、きちんとフ
ィルタリングを行わず、元の画像の中から適当な画素を
拾い出すことで縮小画像を作るものがある。例えば２×
２画素の画像を１×１画素に縮小するとき、元の４画素
の輝度の平均値を計算して新しい画素の値とするのでは
なく、４画素の中から１画素のみを選び出してその画素
の値を使うというものがある。このようなグラフィック
チップでは、反復変換するごとに画像の持つ情報量が失
われ、復号画像の画質が劣化してしまう。そこで本実施
例では、縮小画像を作った後、それをそのままビデオメ
モリに描画するのでなく、一つ前の反復処理のときに描
画された画像と縮小画像とを、次の計算により半透明合
成して作った画像を描画するようにしている。Next, a sixth embodiment of the present invention will be described. Some graphic chips having a 3D drawing function create a reduced image by picking up appropriate pixels from the original image without properly filtering when reducing the image by affine mapping. For example 2 ×
When reducing an image of two pixels to 1 × 1 pixel, instead of calculating the average value of the luminance of the original four pixels to obtain a new pixel value, only one pixel is selected from the four pixels and the pixel is selected. Some use the value of In such a graphic chip, the amount of information of the image is lost each time the repetitive conversion is performed, and the image quality of the decoded image deteriorates. Therefore, in the present embodiment, after a reduced image is created, it is not directly drawn in the video memory, but the image drawn in the previous iteration and the reduced image are translucently synthesized by the following calculation. I draw the image I made.

【００６１】すなわち、 Ｐ_N ＝ ｍＷ(Ｐ_N-1)＋ｎＰ_N-1 但し、 Ｐ_N ……Ｎ回目の反復によってできる画像 Ｐ_N-1 ……Ｎ−１回目の反復によってできる画像 Ｗ ……アフィン写像 ｍ，ｎ ……係数 の計算による半透明合成である。That is, P _N = mW (P _{N -1} ) + nP _{N -1} where P _N ... An image formed by the N-th iteration P _N-1 ... An image W formed by the N-1 th iteration Affine mapping m, n... Is a translucent composition by calculating coefficients.

【００６２】例えば、ｍ＝0.５、ｎ＝0.５の場合、Ｎ回
目の反復によってできる画像は、Ｎ−１回目の反復によ
ってできた画像とその画像を写像変換した画像を５０％
ずつ混ぜ合わせた画像となる。このほかの動作は、上述
した各実施の形態、例えば第２の実施の形態で示したも
のと同一とすればよい。なお、上記係数ｍ，ｎは任意の
実数であり、１.０ 以上の値や負の値を取ることも可能
である。これらの係数を変化させることにより、同じフ
ラクタル符号から異なる復号画像を得ることも可能であ
る。またこの実施例で示されている半透明合成の利用
は、第１，３，４，５の実施の形態組み合わせることも
当然可能である。For example, when m = 0.5 and n = 0.5, the image formed by the N-th iteration is 50% of the image formed by the (N-1) -th iteration and the image obtained by mapping the image.
It becomes an image that is mixed together. Other operations may be the same as those described in the above embodiments, for example, the second embodiment. Note that the coefficients m and n are arbitrary real numbers, and can take values of 1.0 or more or negative values. By changing these coefficients, it is also possible to obtain different decoded images from the same fractal code. In addition, the use of the translucent composition shown in this embodiment can naturally be combined with the first, third, fourth and fifth embodiments.

【００６３】図１８は、上述した第６の実施の形態を説
明するためのフローチャートである。この図１８におい
て、ステップＳ１６１からステップＳ１６５ｂまでは、
上記図１３に示すフローチャートのステップＳ１３１か
らステップＳ１３５ｂまでと同様であるため、説明を省
略する。図１８のステップＳ１６５ｃでは、ポリゴンに
半透明属性を設定し、次のステップＳ１６５ｄで、３Ｄ
描画チップ（図１２のグラフィックチップ５）のアフィ
ン変換機能を利用し、ドメインブロックからレンジブロ
ックへのマッピングを行う。次のステップＳ１６６では
すべてのアフィン変換について処理したか否かを判別
し、ステップＳ１６７で規定回数反復したか否かを判別
し、ステップＳ１６８で生成された復号画像をテクスチ
ャとしてポリゴンにマッピングしている。これらのステ
ップＳ１６６からステップＳ１６８までは、図１３のス
テップＳ１３６からステップＳ１３８までと同様であ
る。FIG. 18 is a flowchart for explaining the sixth embodiment described above. In FIG. 18, from step S161 to step S165b,
Since this is the same as steps S131 to S135b in the flowchart shown in FIG. 13, the description will be omitted. In step S165c of FIG. 18, a semi-transparent attribute is set to the polygon, and in the next step S165d, the 3D attribute is set.
The mapping from the domain block to the range block is performed using the affine transformation function of the drawing chip (graphic chip 5 in FIG. 12). In the next step S166, it is determined whether or not all affine transformations have been processed. In step S167, it is determined whether or not the specified number of repetitions has been performed. The decoded image generated in step S168 is mapped to a polygon as a texture. . Steps S166 to S168 are the same as steps S136 to S138 in FIG.

【００６４】このような本発明の第６の実施の形態によ
れば、アフィン変換を繰り返すたびに繰り返した後の画
像を繰り返す前の画像と相応の比率に応じて合成するた
め、縮小画像を作るときに元の画像の一部の画素のみを
使い、他の画素の情報を捨ててしまうようなグラフィッ
クチップを使用する場合にも、アフィン変換の繰り返し
による画質の劣化を抑えることができるという効果があ
る。According to the sixth embodiment of the present invention, each time the affine transformation is repeated, the image after the repetition is synthesized with the image before the repetition in accordance with a corresponding ratio, so that a reduced image is created. Even when a graphic chip that uses only some pixels of the original image and discards information of other pixels is used, the effect of suppressing the deterioration of image quality due to repeated affine transformation can be reduced. is there.

【００６５】次に、本発明の第７の実施の形態について
説明する。上述した第１〜第６の実施の形態において想
定されているのはいわゆるグレイスケール画像なので、
カラー画像を扱う場合にはＲ（赤），Ｇ（緑），Ｂ
（青）や、Ｙ（輝度），Ｃｂ，Ｃｒ（色差）など複数の
カラーコンポーネントに分離し、それぞれのコンポーネ
ントの画像を独立して符号化・復号する必要がある。し
かし、３Ｄ描画機能を備えたグラフィックチップの中に
は、カラー画像をコンポーネント単位で描画できず、す
べてのコンポーネントについて同時に処理するしかない
ものがある。本実施の形態では、このようなグラフィッ
クチップに対応するため、複数のコンポーネントに対し
てまとめて共通の写像変換をかけている。Next, a seventh embodiment of the present invention will be described. Since what is assumed in the first to sixth embodiments is a so-called gray scale image,
When handling color images, R (red), G (green), B
It is necessary to separate the image into a plurality of color components such as (blue), Y (luminance), Cb, and Cr (color difference), and encode and decode the image of each component independently. However, some graphic chips having a 3D drawing function cannot draw a color image in component units, and have to process all components simultaneously. In the present embodiment, in order to cope with such a graphic chip, a plurality of components are collectively subjected to a common mapping transformation.

【００６６】先ず、この第７の実施の形態における符号
化側の構成及び動作について、図１９を参照しながら説
明する。この図１９において、カラーの原画像３２４は
ブロック生成部２００に入力して、互いに重なり合わな
い複数個のカラーのレンジブロック３２５に分割され
る。またカラーの原画像３２４を縮小画像生成部２０２
にて縮小して得られたカラーの縮小画像３２８が、縮小
画像記憶部２０４において記憶される。近似領域探索部
２０１は、近似ブロックの位置情報３０６を縮小画像記
憶部２０４に伝送し、指定領域のカラーの縮小画像３２
７を取り出す。続いて指定領域のカラーの縮小画像３２
７は、変換パラメータ３０４に従って、縮小・回転・反
転・レベル値変換部２０３において縮小・回転・反転・
レベル値変換を行われ、変換後のカラーの縮小画像３２
６が出力される。近似領域探索部２０１は、前記分割さ
れたレンジブロック３０１に最も良く似た変換後の縮小
画像３０３を探索し、その位置情報３０６と変換パラメ
ータ３０４をフラクタル符号３０２として出力する。近
似領域探索部２０１では、通常は各コンポーネントの画
像に対して、次式の計算によりアフィン写像を探索する
が、ここではカラー画像のすべてのコンポーネントに対
し、 Ｅ = Σ(ｄ_Ri−ｒ_Ri)²+Σ(ｄ_Gi−ｒ_Gi)²+Σ(ｄ_Bi−
ｒ_Bi)² が最小となるようなアフィン写像を探索する。ただし、
ｄ_Ri,ｄ_Gi,ｄ_Bi：各コンポーネントのドメインブロック
内の各画素の値、ｒ_Ri,ｒ_Gi,ｒ_Bi：各コンポーネントの
レンジブロック内の各画素の値である。First, the configuration and operation of the encoding side according to the seventh embodiment will be described with reference to FIG. In FIG. 19, a color original image 324 is input to the block generation unit 200 and divided into a plurality of color range blocks 325 that do not overlap with each other. Also, the color original image 324 is converted into the reduced image generation unit 202.
Is stored in the reduced image storage unit 204. The approximate area search unit 201 transmits the approximate block position information 306 to the reduced image storage unit 204, and stores the color reduced image 32 of the designated area.
Take out 7. Subsequently, the color reduced image 32 of the designated area
7 is the reduction / rotation / inversion / level value conversion unit 203 according to the conversion parameter 304
A level value conversion is performed, and the converted color reduced image 32
6 is output. The approximate area search unit 201 searches for a converted reduced image 303 most similar to the divided range block 301, and outputs position information 306 and conversion parameters 304 as a fractal code 302. The approximation area search unit 201 normally searches for an affine mapping for the image of each component by calculating the following equation. Here, for all components of the color image, E = Σ (d _Ri −r _Ri ) ² + Σ (d _Gi −r _Gi ) ² + Σ (d _Bi −
Search for an affine mapping that minimizes r _Bi ) ² . However,
d _Ri , d _Gi , d _Bi : the value of each pixel in the domain block of each component, r _Ri , r _Gi , r _Bi : the value of each pixel in the range block of each component.

【００６７】これは、各コンポーネントごとにレンジブ
ロックとドメインブロックの２乗誤差を計算し、その合
計値が最小となるアフィン写像を探索していることに相
当する。This is equivalent to calculating the square error between the range block and the domain block for each component, and searching for an affine mapping with the minimum total value.

【００６８】続いて、この第７の実施の形態に用いられ
るフラクタル復号装置の構成及び動作を図２０によって
説明する。図２０において、符号化器から出力されたビ
ットストリーム３０２は、一度フラクタル符号蓄積部２
０５に入力して記憶され、ここから複数回に亘ってブロ
ック単位で読み出される。フラクタル符号読み出し部２
０６では、ブロック単位のフラクタル符号３０８を読み
出して、前記近似ブロック位置情報３０６及び変換パラ
メータ３０４とに分ける。続いて、近似ブロック位置情
報３０６は部分画像抽出部２１０に入力し、復号画像記
憶部内で前記位置情報３０６によって指定領域のカラー
の画像３２７が取り出される。この指定領域のカラーの
画像３２７は、拡大・縮小・回転・反転・レベル値変換
部２０９において、変換パラメータ３０４に基づいた変
換処理が施され、さらに復号倍率３１７によって拡大・
縮小されて復号画像記憶部２０８内の復号画像に加算・
複写変換されて記憶される。フラクタル符号読み出し部
２０６は、すべてのブロックのフラクタル符号３０８を
読み出し終わると、読み出し終了通知信号３１０を複写
制御部２０７に送る。この複写制御部２０７では、一連
の上記複写処理を何回実行したかを計測していて、あら
かじめ設定した値に達していない場合には、再読み出し
指示信号３０９をフラクタル符号読み出し部２０６に出
力して上記複写処理を再度、画像中のすべてのブロック
に対して行う。同時に、復号画像出力制御信号３１１で
再処理指示情報を送り、カラーの復号画像３２９を部分
画像抽出部２１０への入力３１４に接続する。一方、前
記複写処理が一定の回数に達したときには、複写制御部
２０７は復号画像出力制御信号３１１で終了の指示を出
し、カラーの復号画像３２９をカラーの最終出力画像３
３０側に接続して、復号器の出力を得る。Next, the configuration and operation of the fractal decoding device used in the seventh embodiment will be described with reference to FIG. In FIG. 20, the bit stream 302 output from the encoder is once stored in the fractal code storage unit 2.
The data is input to and stored in a block 05, and is read out in blocks from a plurality of times. Fractal code reading unit 2
In step 06, the fractal code 308 is read out for each block and divided into the approximate block position information 306 and the conversion parameter 304. Subsequently, the approximate block position information 306 is input to the partial image extraction unit 210, and the color image 327 of the designated area is extracted from the decoded image storage unit based on the position information 306. The color image 327 in this designated area is subjected to conversion processing based on the conversion parameter 304 in the enlargement / reduction / rotation / inversion / level value conversion unit 209, and is further enlarged / decoded by the decoding magnification 317.
Reduced and added to the decoded image in the decoded image storage unit 208
It is copied and converted and stored. After reading the fractal codes 308 of all the blocks, the fractal code reading unit 206 sends a read end notification signal 310 to the copy control unit 207. The copy control unit 207 measures how many times the series of the above-described copy processing has been executed, and outputs a re-read instruction signal 309 to the fractal code read unit 206 when the value does not reach a preset value. The above-described copying process is performed again for all blocks in the image. At the same time, reprocessing instruction information is sent by the decoded image output control signal 311, and the color decoded image 329 is connected to the input 314 to the partial image extracting unit 210. On the other hand, when the copy processing reaches a certain number of times, the copy control unit 207 issues an end instruction with the decoded image output control signal 311, and converts the color decoded image 329 into the color final output image 311.
30 to obtain the output of the decoder.

【００６９】なお、この第７の実施の形態で示されてい
る複数のコンポーネントの同時処理は、上記第２、３、
４、５、６の各実施の形態と組み合わせることも当然可
能である。特に種画像を送る場合には、符号化器におい
てカラーの原画像３２４を縮小し、カラーの種画像３３
１を作成してフラクタル符号とともに復号器に送り、復
号器においてこれをデコード画像の大きさに拡大し、カ
ラーの初期画像３３２とする。The simultaneous processing of a plurality of components shown in the seventh embodiment is performed by the second, third,
Naturally, it is also possible to combine with the fourth, fifth and sixth embodiments. In particular, when transmitting a seed image, the color original image 324 is reduced by the encoder, and the color seed image 33 is reduced.
1 is generated and sent to a decoder together with the fractal code, and the decoder expands this to the size of the decoded image to obtain a color initial image 332.

【００７０】以上説明した本発明の第７の実施の形態に
よれば、複数のコンポーネントに対してまとめてひとつ
のアフィン写像を適用するので、復号処理の簡略化がで
き、またコンポーネントごとにテクスチャマッピングを
する機能がないグラフィックチップを使用する場合で
も、フラクタル復号によるテキスチャ生成が可能である
という効果がある。According to the seventh embodiment of the present invention described above, since one affine mapping is applied to a plurality of components at a time, the decoding process can be simplified, and texture mapping can be performed for each component. Even when a graphic chip without the function of performing the above is used, there is an effect that the texture can be generated by fractal decoding.

【００７１】上述したような本発明の実施の形態を、ゲ
ーム機等のエンタテインメント装置に適用することがで
き、また、ゲーム機以外にも、フラクタル変換符号化さ
れたデータを高速でデコードする処理が必要とされる画
像情報処理の用途に適用することができる。この場合、
反復変換符号化された符号語を復号してテキスチャを復
元し、復元されたテキスチャを３次元形状を有するポリ
ゴンにマッピング（テキスチャマッピング）を行う処理
を、高速のＣＰＵ等を用いた高価なハードウェアを用い
なくとも、高速に行わせることができ、ゲーム機等のエ
ンタテインメント装置に適用した場合には、物体形状の
ズーミング等の際により良い画質で快適な応答性を実現
でき、例えばゲームへの感情移入の度合いを高め、ゲー
ムをより一層楽しむことができる。The embodiment of the present invention as described above can be applied to an entertainment device such as a game machine. In addition to the game machine, a process for decoding fractal-transform encoded data at high speed can be performed. The present invention can be applied to required image information processing applications. in this case,
A process of decoding a code word subjected to iterative transformation coding to restore a texture and mapping the restored texture to a polygon having a three-dimensional shape (texture mapping) is performed by expensive hardware using a high-speed CPU or the like. Can be performed at a high speed without using a game, and when applied to an entertainment device such as a game machine, it is possible to realize comfortable responsiveness with better image quality when zooming in on an object shape, for example, The degree of transfer can be increased, and the game can be more enjoyed.

【００７２】[0072]

【発明の効果】本発明によれば、主記憶手段に記憶され
たフラクタル符号を用いて反復変換復号処理を施すこと
によりテクスチャ画像を生成し、この生成されたテクス
チャ画像の解像度がテクスチャマッピングの対象となる
ポリゴンの視点からの距離によって決定されるようにし
て、ポリゴンの表示領域の大きさに応じてフラクタル復
号化倍率を変化させ、ポリゴンが視点に近く、大きく表
示されるときには大きい復号化倍率で細かいテクスチャ
を生成することができるので、テクスチャが粗い解像度
のまま拡大されるようなことがなく、よりリアリティの
高い画像を生成することができる。また、最初から複数
の解像度でテクスチャ画像を用意しておく場合と異な
り、単一の小さなビットストリームから複数の異なる解
像度のテクスチャ画像を生成することができることか
ら、メモリや通信路の容量の節約になる。According to the present invention, a texture image is generated by performing an iterative transformation decoding process using the fractal code stored in the main storage means, and the resolution of the generated texture image is determined by the texture mapping target. The fractal decoding magnification is changed according to the size of the display area of the polygon as determined by the distance of the polygon from the viewpoint, and when the polygon is close to the viewpoint and is displayed large, a large decoding magnification is used. Since a fine texture can be generated, the texture is not enlarged at a coarse resolution, and an image with higher reality can be generated. Also, unlike the case where texture images are prepared at multiple resolutions from the beginning, texture images with multiple different resolutions can be generated from a single small bit stream, thus saving memory and communication channel capacity. Become.

【００７３】また、グラフィック描画手段によるテクス
チャマッピング機能を用いて写像変換を行わせ、反復変
換復号を実現しているため、グラフィックチップのテク
スチャマッピング機能を用いてハードウェアで行うこと
により、高速に復号化を行うことができる。また、高速
化のために新たなハードウェアを付加することなく、既
存のグラフィックチップを利用するため、低いコストで
高速化が実現できる。Further, since the mapping conversion is performed by using the texture mapping function of the graphic drawing means and the iterative conversion decoding is realized, the decoding is performed at high speed by performing the processing by hardware using the texture mapping function of the graphic chip. Can be performed. Further, since an existing graphic chip is used without adding new hardware for speeding up, speeding up can be realized at low cost.

【００７４】また、種画像に基づく初期画像を生成し、
この生成された初期画像に基づいてフラクタル符号を用
いた反復変換復号により画像を生成するようにしてお
り、これは、予め小さな種画像のデータを送り、これを
拡大して初期画像とするため、コントラストや輝度オフ
セットを調整する機能が制約されたグラフィックチップ
でも画像のフラクタル復号が可能となる。また、写像の
反復変換の際に画像の収束が早まるため、反復処理の回
数が少なくてすみ、高速化につながる。Further, an initial image based on the seed image is generated,
Based on the generated initial image, an image is generated by iterative transform decoding using a fractal code.This is to send small seed image data in advance, and to enlarge this as the initial image, Fractal decoding of an image is possible even with a graphic chip in which the function of adjusting contrast and brightness offset is restricted. In addition, since the convergence of the image is accelerated at the time of the iterative transformation of the mapping, the number of times of the iterative processing can be reduced, which leads to speeding up.

【００７５】この初期画像の生成は、離散コサイン変換
された種画像を逆離散コサイン変換したり、あるいはウ
ェーブレット変換された種画像をウェーブレット逆変換
したりすることで実現でき、これらの画像圧縮アルゴリ
ズムにより圧縮するため、ビットストリーム全体の圧縮
率が向上する。The generation of the initial image can be realized by inverse discrete cosine transform of the discrete cosine transformed seed image or inverse wavelet transform of the wavelet transformed seed image. These image compression algorithms are used. The compression improves the compression ratio of the entire bit stream.

【００７６】また、反復前の画像と反復後の画像とを所
定の比率に応じて合成することにより、アフィン変換を
繰り返すたびに繰り返した後の画像を繰り返す前の画像
と相応の比率に応じて合成するため、縮小画像を作ると
きに元の画像の一部の画素のみを使い、他の画素の情報
を捨ててしまうようなグラフィックチップを使用する場
合にも、アフィン変換の繰り返しによる画質の劣化を抑
えることができる。Further, by synthesizing the image before the repetition and the image after the repetition according to a predetermined ratio, each time the affine transformation is repeated, the image after the repetition is repeated according to the ratio before the image before the repetition and the corresponding ratio Degradation of image quality due to repeated affine transformation even when using a graphic chip that uses only some pixels of the original image and discards information of other pixels when creating a reduced image for synthesis Can be suppressed.

【００７７】さらに、複数の画像コンポーネントに対し
て同時に反復変換復号することにより、複数のコンポー
ネントに対してまとめてひとつのアフィン写像を適用す
るので、復号化処理の簡略化ができ、またコンポーネン
トごとにテクスチャマッピングをする機能がないグラフ
ィックチップを使用する場合でも、フラクタル復号化に
よるテキスチャ生成が可能である。Furthermore, by performing iterative transformation decoding on a plurality of image components simultaneously, one affine mapping is applied to a plurality of components at a time, so that the decoding process can be simplified and Even when using a graphic chip without the function of performing texture mapping, texture generation by fractal decoding is possible.

【図面の簡単な説明】[Brief description of the drawings]

【図１】本発明に係る画像情報処理装置の第１の実施の
形態となる装置の概略構成を示すブロック図である。FIG. 1 is a block diagram illustrating a schematic configuration of an image information processing apparatus according to a first embodiment of the present invention.

【図２】ドメインブロックとレンジブロックとの間の写
像変換を示す図である。FIG. 2 is a diagram showing a mapping conversion between a domain block and a range block.

【図３】反復変換符号化（フラクタル符号化）装置の一
例の概略構成を示すブロック図である。FIG. 3 is a block diagram illustrating a schematic configuration of an example of an iterative transform coding (fractal coding) apparatus.

【図４】反復変換符号化（フラクタル符号化）処理を説
明するためのフローチャートである。FIG. 4 is a flowchart for explaining an iterative transform coding (fractal coding) process.

【図５】反復変換復号（フラクタル復号）装置の一例の
概略構成を示すブロック図である。FIG. 5 is a block diagram illustrating a schematic configuration of an example of an iterative transform decoding (fractal decoding) device.

【図６】スクリーン上のポリゴンへのテクスチャマッピ
ングを示す図である。FIG. 6 is a diagram showing texture mapping to polygons on a screen.

【図７】本発明の第１の実施の形態における反復変換復
号（フラクタル復号）処理を伴う画像表示動作を説明す
るためのフローチャートである。FIG. 7 is a flowchart illustrating an image display operation involving iterative transform decoding (fractal decoding) according to the first embodiment of the present invention.

【図８】テクスチャマッピングを使った写像変換を説明
するための図である。FIG. 8 is a diagram for explaining mapping conversion using texture mapping.

【図９】本発明の第２の実施の形態の動作を説明するた
めのフローチャートである。FIG. 9 is a flowchart for explaining the operation of the second exemplary embodiment of the present invention.

【図１０】符号化側及び復号側での原画像・デコード初
期画像・復号画像の関係を示す図である。FIG. 10 is a diagram illustrating a relationship between an original image, a decoded initial image, and a decoded image on the encoding side and the decoding side.

【図１１】種画像を使用した場合の符号化側及び復号側
での原画像・デコード初期画像・復号画像の関係を示す
図である。FIG. 11 is a diagram illustrating a relationship between an original image, a decoded initial image, and a decoded image on the encoding side and the decoding side when a seed image is used.

【図１２】本発明の第３の実施の形態に係る画像情報処
理装置の概略構成を示すブロック図である。FIG. 12 is a block diagram illustrating a schematic configuration of an image information processing apparatus according to a third embodiment of the present invention.

【図１３】本発明の第３の実施の形態の動作を説明する
ためのフローチャートである。FIG. 13 is a flowchart for explaining the operation of the third exemplary embodiment of the present invention.

【図１４】本発明の第４の実施の形態として、種画像を
ＤＣＴを基本とした符号化アルゴリズムにより圧縮した
場合の原画像・デコード初期画像・復号画像の関係を示
す図である。FIG. 14 is a diagram illustrating a relationship between an original image, a decoded initial image, and a decoded image when a seed image is compressed by a coding algorithm based on DCT as a fourth embodiment of the present invention.

【図１５】本発明の第４の実施の形態の動作を説明する
ためのフローチャートである。FIG. 15 is a flowchart for explaining the operation of the fourth exemplary embodiment of the present invention.

【図１６】本発明の第５の実施の形態として、種画像を
ウェーブレット変換を基本とした符号化アルゴリズムに
より圧縮した場合の原画像・デコード初期画像・復号画
像の関係を示す図である。FIG. 16 is a diagram illustrating a relationship between an original image, a decoded initial image, and a decoded image when a seed image is compressed by a coding algorithm based on wavelet transform as a fifth embodiment of the present invention.

【図１７】本発明の第５の実施の形態の動作を説明する
ためのフローチャートである。FIG. 17 is a flowchart for explaining the operation of the fifth embodiment of the present invention.

【図１８】本発明の第６の実施の形態の動作を説明する
ためのフローチャートである。FIG. 18 is a flowchart for explaining the operation of the sixth embodiment of the present invention.

【図１９】本発明の第７の実施の形態に用いられる反復
変換符号化（フラクタル符号化）装置の一例の概略構成
を示すブロック図である。FIG. 19 is a block diagram illustrating a schematic configuration of an example of an iterative transform coding (fractal coding) device used in a seventh embodiment of the present invention.

【図２０】本発明の第７の実施の形態に用いられる反復
変換復号（フラクタル復号）装置の一例の概略構成を示
すブロック図である。FIG. 20 is a block diagram illustrating a schematic configuration of an example of an iterative transform decoding (fractal decoding) device used in a seventh embodiment of the present invention.

【図２１】３次元ポリゴンを用いた画像表示の原理を説
明するための図である。FIG. 21 is a diagram for explaining the principle of image display using three-dimensional polygons.

【符号の説明】[Explanation of symbols]

１ ＣＰＵ、 ２ メインメモリ、 ３ ＲＯＭ、 ４
外部記憶装置、 ５３Ｄグラフィックチップ（グラフ
ィック描画素子）、 ６ ビデオメモリ、７ 画像出力
部、 ８ 初期画像生成部、 ２００ ブロック生成
部、 ２０１近似領域探索部、 ２０２ 縮小画像生成
部、 ２０３ 回転・反転・レベル値変換部、 ２０４
縮小画像記憶部、 ２０５ フラクタル符号蓄積部、
２０６ フラクタル符号読み出し部、 ２０７ 複写
制御部、 ２０８ 復号画像記憶部、 ２０９ 拡大・
縮小・回転・レベル値変換部、 ２１０ 縮小画像記憶
部1 CPU, 2 main memory, 3 ROM, 4
External storage device, 53D graphic chip (graphic rendering element), 6 video memory, 7 image output unit, 8 initial image generation unit, 200 block generation unit, 201 approximate area search unit, 202 reduced image generation unit, 203 rotation / inversion / Level value converter, 204
Reduced image storage unit, 205 fractal code storage unit,
206 fractal code readout unit, 207 copy control unit, 208 decoded image storage unit, 209
Reduction / rotation / level value conversion unit, 210 Reduced image storage unit

Claims (11)

【特許請求の範囲】[Claims] 【請求項１】 プログラム及びフラクタル符号を含むデ
ータを記憶する主記憶手段と、 基本プログラム及び基本データが記憶されたＲＯＭと、 フラクタル符号を含む画像データ及びプログラムが記憶
された外部記憶手段と、 ポリゴンへのテクスチャマッピング機能を備えたグラフ
ィック描画手段と、 画像を展開する画像記憶手段と、 生成された画像を表示制御する表示制御手段と、 上記グラフィック描画手段による処理及び上記表示制御
手段による表示動作を制御する制御手段とを備え、 上記主記憶手段に記憶されたフラクタル符号を用いて反
復変換復号処理を施すことによりテクスチャ画像を生成
し、この生成されたテクスチャ画像の解像度がテクスチ
ャマッピングの対象となるポリゴンの視点からの距離に
よって決定されることを特徴とする画像情報処理装置。A main storage for storing data including a program and a fractal code; a ROM for storing a basic program and basic data; an external storage for storing image data and a program including a fractal code; A graphic drawing unit having a texture mapping function on the image, an image storage unit for developing an image, a display control unit for controlling the display of the generated image, and a process by the graphic drawing unit and a display operation by the display control unit. A texture image is generated by performing an iterative transformation decoding process using the fractal code stored in the main storage unit, and the resolution of the generated texture image is a target of texture mapping. Specially, it is determined by the distance of the polygon from the viewpoint. Image information processing apparatus according to. 【請求項２】 反復変換復号手段をさらに有し、 この反復変換復号手段は、フラクタル符号読み出し手段
と、復号画像記憶手段と、部分画像抽出手段と、写像変
換手段とを有して成ることを特徴とする請求項１記載の
画像情報処理装置。2. It further comprises iterative transform decoding means, wherein the iterative transform decoding means comprises fractal code reading means, decoded image storage means, partial image extracting means, and mapping conversion means. The image information processing apparatus according to claim 1, wherein: 【請求項３】 上記反復変換復号処理は、上記グラフィ
ック描画手段によるテクスチャマッピング機能を用いて
写像変換を行わせることにより実現することを特徴とす
る請求項１記載の画像情報処理装置。3. The image information processing apparatus according to claim 1, wherein said iterative transformation decoding processing is realized by performing a mapping transformation using a texture mapping function of said graphic drawing means. 【請求項４】 初期画像を生成する初期画像生成手段を
有し、この生成された初期画像に基づいて上記フラクタ
ル符号を用いた反復変換復号を施すことにより画像を生
成することを特徴とする請求項１記載の画像情報処理装
置。4. An initial image generating means for generating an initial image, wherein an image is generated by performing iterative transform decoding using the fractal code based on the generated initial image. Item 2. The image information processing apparatus according to Item 1. 【請求項５】 上記初期画像生成手段は、離散コサイン
変換された種画像を逆離散コサイン変換することによ
り、あるいはウェーブレット変換された種画像をウェー
ブレット逆変換することにより、初期画像を生成するこ
とを特徴とする請求項１記載の画像情報処理装置。5. The method according to claim 1, wherein the initial image generating means generates the initial image by performing an inverse discrete cosine transform of the discrete cosine-transformed seed image or performing a wavelet inverse transform of the wavelet-transformed seed image. The image information processing apparatus according to claim 1, wherein: 【請求項６】 上記反復変換復号処理の際に、反復前の
画像と反復後の画像とを所定の比率に応じて合成するこ
とを特徴とする請求項１記載の画像情報処理装置。6. The image information processing apparatus according to claim 1, wherein in the iterative transform decoding process, the image before the repetition and the image after the repetition are combined according to a predetermined ratio. 【請求項７】 上記反復変換復号処理の際に、複数の画
像コンポーネントに対して同時に反復変換復号すること
を特徴とする請求項１記載の画像情報処理装置。7. The image information processing apparatus according to claim 1, wherein in the iterative transform decoding process, a plurality of image components are subjected to iterative transform decoding at the same time. 【請求項８】 主記憶手段に記憶されたフラクタル符号
を用いて反復変換復号処理を施す際に、 グラフィック描画手段によるテクスチャマッピング機能
を用いて写像変換を行わせ、上記フラクタル符号を用い
て反復変換復号処理を施すことによりテクスチャ画像を
生成し、この生成されたテクスチャ画像の解像度がテク
スチャマッピングの対象となるポリゴンの視点からの距
離によって決定されることを特徴とする画像情報処理方
法。8. When performing iterative transformation decoding processing using the fractal code stored in the main storage means, a mapping transformation is performed using a texture mapping function of a graphic drawing means, and the iterative transformation is performed using the fractal code. An image information processing method, wherein a texture image is generated by performing a decoding process, and a resolution of the generated texture image is determined by a distance from a viewpoint of a polygon to be texture-mapped. 【請求項９】 上記反復変換復号処理の際に、初期画像
を生成し、この生成された初期画像に基づいて上記フラ
クタル符号を用いた反復変換復号を施すことにより画像
を生成することを特徴とする請求項８記載の画像情報処
理方法。9. An image is generated by generating an initial image in the iterative transform decoding process and performing iterative transform decoding using the fractal code based on the generated initial image. 9. The image information processing method according to claim 8, wherein: 【請求項１０】 上記反復変換復号処理の際に、反復前
の画像と反復後の画像とを所定の比率に応じて合成する
ことを特徴とする請求項８記載の画像情報処理方法。10. The image information processing method according to claim 8, wherein in the iterative transform decoding processing, the image before the repetition and the image after the repetition are combined according to a predetermined ratio. 【請求項１１】 上記反復変換復号処理の際に、複数の
画像コンポーネントに対して同時に反復変換復号するこ
とを特徴とする請求項８記載の画像情報処理方法。11. The image information processing method according to claim 8, wherein in said iterative transform decoding processing, a plurality of image components are subjected to iterative transform decoding simultaneously.