JP4968686B2 - 画像圧縮装置、画像再生装置、および画像圧縮プログラム - Google Patents

画像圧縮装置、画像再生装置、および画像圧縮プログラム Download PDF

Info

Publication number
JP4968686B2
JP4968686B2 JP2008015585A JP2008015585A JP4968686B2 JP 4968686 B2 JP4968686 B2 JP 4968686B2 JP 2008015585 A JP2008015585 A JP 2008015585A JP 2008015585 A JP2008015585 A JP 2008015585A JP 4968686 B2 JP4968686 B2 JP 4968686B2
Authority
JP
Japan
Prior art keywords
image
block
pixel data
interpolation
reproduction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008015585A
Other languages
English (en)
Other versions
JP2009176167A (ja
Inventor
俊介 山内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sammy Corp
Original Assignee
Sammy Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sammy Corp filed Critical Sammy Corp
Priority to JP2008015585A priority Critical patent/JP4968686B2/ja
Publication of JP2009176167A publication Critical patent/JP2009176167A/ja
Application granted granted Critical
Publication of JP4968686B2 publication Critical patent/JP4968686B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Generation (AREA)

Description

本発明は、補間演算によりピクセルデータを生成するフォーマットを画像生成装置が採用している場合に適した画像圧縮技術に関する。
テクスチャマッピング法は、三次元オブジェクトの表面にテクスチャ画像をマッピングすることによりオブジェクトの質感を表現する技術である。テクスチャ画像のデータ容量はコンピュータグラフィックの画像データの中でもとりわけ大きいため、テクスチャ画像のデータ容量を効率よく低減するための圧縮技術が従来から提供されている。
例えば、特開平10−11594号公報に開示されたデータ圧縮方法では、テクスチャ画像データを、その縮小率に対応した圧縮率で圧縮している。例えば、縮小率1/1の場合には1/10に圧縮し、縮小率1/2の場合には1/5に、縮小率1/4の場合には1/2に圧縮し、縮小率1/8の場合には圧縮しない。このようにして画質の劣化を低減させながらデータ量の低減を図っている(特許文献1)。
一方、画像の拡大や縮小を行うとピクセルデータの欠落を生じ、生成された画像が粗くなる。いわゆるジャギや線の寸断、モアレ、ワゴンホイールの発生である。このような画像劣化現象に対処するために、アンチエイリアシング法が用いられる。例えば、DXTテクスチャ圧縮フォーマットは、このアンチエイリアシング法の一つであり、周囲のピクセルデータを含めた補間演算をすることにより、自然な画像を発生可能になっている(非特許文献1)。
特開平10−11594号公報 http://www.sjbrown.co.uk/?article=dxt
画像の圧縮効率を高めるためには、ピクセルデータが存在しない部分を排除してメモリに格納していけばよい。ところが、画像再生装置に何らかのアンチエイリアシング法が用いられる場合、補間演算が周囲のピクセルデータを参照するため時として隣接して圧縮された全く異質なピクセルデータに基づく補間演算がされ、不自然な再生画像が出現することがあった。
そこで本発明は、周囲のピクセルデータとの補間演算をしてピクセルデータを生成するフォーマットが利用される場合であっても不自然な再生画像となることを防止しながら、メモリの利用効率を向上させることが可能な画像圧縮装置および画像圧縮プログラムを提供することを目的とする。
本発明に係る画像圧縮装置は、周囲のピクセルデータとの補間演算をしてピクセルデータを生成するフォーマットの利用を前提とした画像を圧縮するための画像圧縮装置であって、再生対象となるピクセルで構成される再生ブロックと、再生ブロックの外側であってフォーマットが補間演算のために参照するピクセルの範囲であるマージン領域と、を含めて設定された補間ブロックを元テクスチャ画像から順に読み出すブロック読出部と、読み出された再生ブロックが予め定めた格納条件に合致するか否かを判定する判定部と、格納条件に合致すると判定された補間ブロックを画像メモリに順に格納していく格納部と、を備え、判定部は、再生ブロックを構成するピクセルの少なくとも一つにピクセルデータが設定されていること、かつ、再生ブロックを構成するピクセルデータの総てが既に格納されているいずれかの補間ブロックに対応する再生ブロックを構成するピクセルデータの総てと同一でないことを格納条件とすることを特徴とする。
また本発明に係る画像圧縮プログラムは、周囲のピクセルデータとの補間演算をしてピクセルデータを生成するフォーマットの利用を前提とした画像を圧縮するための画像圧縮プログラムであって、コンピュータに、再生対象となるピクセルで構成される再生ブロックと、再生ブロックの外側であってフォーマットが補間演算のために参照するピクセルの範囲であるマージン領域と、を含めて設定された補間ブロックを元テクスチャ画像から順に読み出す機能と、読み出した再生ブロックが予め定めた格納条件に合致するか否かを判定する機能と、格納条件に合致すると判定された補間ブロックを画像メモリに順に格納していく機能と、を実行させ、格納条件が、再生ブロックを構成するピクセルの少なくとも一つにピクセルデータが設定されていること、かつ、再生ブロックを構成するピクセルデータの総てが既に格納されているいずれかの補間ブロックに対応する再生ブロックを構成するピクセルデータの総てと同一でないことであることを特徴とする。
係る構成によれば、元テクスチャ画像が複数のピクセルで構成されるブロックに分割され、それが順に、例えば元テクスチャ画像のアドレスの若い方に位置しているブロックから順に読み出される。この際、再生対象となるピクセルで構成される再生ブロックのみではなく、再生ブロックの外側であってフォーマットが補間演算のために参照するピクセルの範囲であるマージン領域までを含めて設定された補間ブロックが読み出される。そのため、再生時にフォーマットで必要とされる周囲のピクセルデータとの補間演算をしたとしてもマージン領域には異質な画像が含まれていないので、補間演算後のピクセルデータに異質な画像のピクセルデータが反映されることはない。よって、再生ブロックの範囲のピクセルデータを生成する限り、再生後の画像に不要な筋やノイズが表示されることを防止することが可能である。特に、再生ブロックのピクセルデータ総てが既存の補間ブロックと同じ場合には、再生されるピクセルデータもほぼ同じになるので、複数の再生ブロックを格納することは冗長である。よって、その再生ブロックを使用する画像メモリ空間でのアドレスを別途記録することを条件として、そのような重複する再生(補間)ブロックを複数格納することを禁止すれば、冗長なデータを削減することができる。
ここで、フォーマットは、テクスチャ圧縮フォーマットであることが考えられる。テクスチャ圧縮フォーマットは、汎用のパーソナルコンピュータで採用される画像の縮小や拡大時の補間演算を行うものであり、本発明によって圧縮された画像が不自然なく再生可能なフォーマットだからである。例えば、マイクロソフト(商標)社提供のDXTフォーマット(S3テクスチャ圧縮)は、周囲の4ビットを含めて補間演算をするテクスチャ圧縮フォーマットの代表である。
またフォーマットは、バイリニア・フィルタであってもよい。バイリニア・フィルタは、周囲4個の画素をサンプリングし、線形補間するアンチエイリアス法であり、本発明によって圧縮された画像が不自然なく再生可能なフォーマットだからである。
ここで、再生ブロックを構成するピクセルデータが同一であることを格納条件としたのは、マージン領域のピクセルデータが再生ブロック内のピクセルデータ再生に与える影響を無視できる場合が多いからである。しかしながら、補間演算では、マージン領域のピクセルデータも影響を与えるため、この影響が大きいような画像である場合には、再生ロックに代えて補間ブロックを構成するピクセルデータが同一であることを格納条件としてもよい。
上記本発明の画像圧縮装置で圧縮された画像を再生する画像再生装置は、再生ブロックを構成するピクセルデータを生成するように構成されており、フォーマットに基づいて、前記画像メモリに格納されている再生ブロックを構成するピクセルのピクセルデータと該ピクセルデータの周囲のピクセルデータとの補間演算により該ピクセルデータを生成することを特徴とする。
係る構成によれば、画像再生装置は、再生ブロックのピクセルデータを生成する際に周囲のピクセルデータとの補間演算によりピクセルデータを生成する。その際に、補間ブロックはマージン領域を含んでいるので、再生ブロックの端部のピクセルデータを補間演算する場合でも、異質なピクセルデータが補間演算に加えられることがない。よって、不自然な画像が再生されることが防止される。
なお、本発明の画像圧縮プログラムは、記憶媒体に格納されて流通されうるものである。このような記憶媒体としては、コンピュータに読み取り可能な媒体であり、各種ROM、フラッシュメモリを備えたUSBメモリ、SDメモリ、メモリスティック、メモリカードや、FD、CD−ROM、DVD−ROM等の物理的な記憶媒体を含む。また広義の記録媒体として、プログラムを伝送可能なインターネット等の伝送媒体をも含むものとする。伝送媒体を通して伝送(ダウンロード)されたプログラムは、そのままメモリに記憶されて、コンピュータに実行されるものだからである。
本発明によれば、再生対象となるピクセルで構成される再生ブロックのみではなく、再生ブロックの外側であって該フォーマットが該補間演算のために参照するマージン領域までを含めて設定された補間ブロックが格納されるので、再生時にマージン領域のピクセルデータとの補間演算がされても異質な画像のピクセルデータが反映されることはない。従って、再生後の画像に不要な筋やノイズが表示されることを防止することができる。
次に、本発明の実施の形態について図面を参照して説明する。
以下の実施の形態は本発明の適用方法の例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明は、本発明の趣旨を逸脱しない範囲において種々に変形して適用することが可能である。
(実施形態1)
本発明の実施形態1は、元画像であるテクスチャ画像を分割してブロック化し、ピクセルデータが存在しないブロックを除外することにより画像を圧縮する方法に関する。
(画像圧縮用コンピュータの構成)
図1は、画像圧縮用コンピュータのハードウェア構成を示すブロック図である。
図1に示すように、テクスチャ画像圧縮のためのハードウェア環境は、画像圧縮用コンピュータ1、操作入力装置20、および表示装置30から構成されている。画像圧縮プログラムが実行される汎用コンピュータ(以下「画像圧縮装置」という。)1は、デザイナやプログラマによって制作されたテクスチャ画像の元データ(以下「元テクスチャ画像」という。)を読み込んで民生用装置のROMに組み込むための元テクスチャ画像の画像圧縮処理を実行するコンピュータである。操作入力装置20は、操作入力手段であり、例えばキーボードおよびマウスを含む。表示装置30は、画像圧縮用コンピュータ1の出力する画像を表示するディスプレイである。
画像圧縮装置1は、CPU10、ROM11、メインメモリ(RAM)12、外部記憶媒体ドライブ13、画像処理部14、および操作入力処理部15を含んでいる。
CPU10は、画像圧縮用コンピュータの制御動作の中枢となり、システムバスSBを介してI/Oアドレスを出力して特定の構成要素を選択し、データの入出力を行って装置全体を統括的に制御する。CPU10は、プログラム読み込み時、外部記憶媒体ドライブ13を介して外部記憶媒体DM1に記録されている本発明に係る画像圧縮プログラムをメインメモリ12の画像圧縮プログラム記録領域12aに転送し、画像圧縮プログラムを実行するように構成されている。またCPU10は、元テクスチャ画像(データ)をメインメモリ12の元テクスチャ画像記録領域12bに転送する。なお、元テクスチャ画像は、画像圧縮プログラムと同じ記録媒体に記録されている必要はなく、他の手段(着脱自在の携帯型記録媒体やネットワークを介した通信等)でメインメモリ12に展開されるようにしてもよい。CPU10は画像圧縮プログラムを実行することにより、当該画像圧縮用コンピュータを本発明の画像圧縮装置として機能させ、ブロック化されて圧縮されたテクスチャ画像(以下「圧縮テクスチャ画像」という。)を順次メインメモリ12の圧縮テクスチャ画像記録領域12cに記録していく。
ROM11は、画像圧縮装置1の起動時に使用する起動用プログラムや装置を動かすための基本的なシステムプログラム等を格納する不揮発性メモリである。電源投入直後は、CPU10はこのROM11の起動用プログラムを実行し、外部記憶媒体DM1が外部記憶媒体DM1のプログラムデータをメインメモリ12に転送するように動作する。
RAM12は、メインメモリであり、外部記憶媒体DM1から転送された画像圧縮プログラムを画像圧縮プログラム記録領域12aに一時記録保持するとともに、元テクスチャ画像を元テクスチャ画像記録領域12bに一時記録保持する。
外部記憶媒体ドライブ13は、DVD−ROMなどの外部記憶媒体DM1に記録された画像圧縮プログラムおよび元テクスチャ画像を読み取る。
画像処理部14は、画像圧縮に必要な情報の表示制御をするブロックである。少なくとも、元テクスチャ画像を表示装置30のディスプレイ画面で確認することが可能になっている。
操作入力処理部15には、操作入力装置20からの操作信号を入力するI/Oポートであり、操作信号が受信されるとCPU10に対し割り込み要求を出力したり、CPU10からの読み出しコマンドに対応して操作信号をシステムバスSBに出力したりする。
(民生用装置の構成)
図2は、民生用装置のハードウェア構成を示すブロック図である。
民生用装置2は、上記画像圧縮装置1により圧縮された圧縮テクスチャ画像を所定のフォーマットに従って復元し、復元後のテクスチャ画像を表示する装置をいい、民生用のゲーム装置や遊技機に相当している。
図2に示すように、民生用装置2は、汎用コンピュータとしての構成を備えており、上記と同様の操作入力装置20、および表示装置30が接続されて構成されている。民生用装置2は、CPU20、ROM21、メインメモリ(RAM)22、外部記憶媒体ドライブ23、画像処理部24、および操作入力処理部25を含んでいる。
CPU20は、民生用装置の制御動作の中枢となり、上記CPU10と同様の構成を備えている。CPU20は、外部記憶媒体ドライブ23を介して外部記憶媒体DM2に記録されている民生用遊技プログラムをメインメモリ22の遊技プログラム記録領域22aに転送し、遊技プログラムを実行するように構成されている。同様にCPU20は、オブジェクトのモデリングに必要なオブジェクトデータをオブジェクトデータ記録領域22bに転送する。さらにCPU20は、上記画像圧縮装置1により圧縮された圧縮テクスチャ画像をメインメモリ12の圧縮テクスチャ画像記録領域22cに転送する。
ROM21は、民生用装置2の起動時に使用する起動用プログラムや装置を動かすための基本的なシステムプログラム等を格納する不揮発性メモリである。電源投入直後は、CPU20はこのROM21の起動用プログラムを実行し、外部記憶媒体DM2が外部記憶媒体DM2のプログラムデータをメインメモリ22に転送するように動作する。
RAM22は、メインメモリであり、外部記憶媒体DM2から転送された遊技プログラム、オブジェクトデータ、および圧縮テクスチャ画像を遊技プログラム記録領域22a、オブジェクトデータ記憶領域22b、および圧縮テクスチャ画像記憶領域22cにそれぞれ一時記録保持する。
外部記憶媒体ドライブ23は、DVD−ROMなどの外部記憶媒体DM2に記録された遊技プログラム、オブジェクトデータ、および圧縮テクスチャ画像を読み取る。
画像処理部24は、画像デコーダ24a、フレームバッファ(VRAM)24cを有するGPU24b、ディスプレイコントローラ24d等の半導体デバイスを備え、遊技実行に便宜な画像を表示可能に構成されている。
画像処理部24の画像デコーダ24aは、外部記憶媒体DM2に動画像圧縮化されたファイルが格納されている場合に、動画像圧縮フォーマットに対応した復号化処理によりフレーム画像を再生する。
画像処理部24のGPU24bは、CPU20からのコマンドに応じて、オブジェクトデータや圧縮テクスチャ画像を参照してレンダリング処理を実行し、1フレーム分のビデオ画像をフレームバッファ24cに出力可能に構成されている。
ディスプレイコントローラ24dは、各フレーム時間にフレームバッファ24cに格納された画像データを、それぞれ次のフレーム時間に読み出し、該読み出した画像データに対応した輝度信号(明るさの情報)と色信号(色の情報)を含む映像信号を生成して表示装置30に出力する。
操作入力処理部25には、操作入力装置20からの操作信号を入力するI/Oポートであり、上記操作入力処理部15と同様に動作する。
特に、民生用装置2において、上記画像処理部24のGPU24bは、所定のフォーマットに基づいてテクスチャ画像の補間演算を実行するように構成されている。上記画像圧縮装置1は、この民生用装置2に採用されているフォーマットに基づく補間演算を実行しても復元後のテクスチャ画像に不自然な画像が発生しないようにテクスチャ画像を圧縮する点に特徴がある。
(本発明の原理説明)
次に本発明に係る画像圧縮方法の原理を説明する。
上述したように、本発明は、圧縮テクスチャ画像を復元する民生用装置が、周囲のピクセルデータとの補間演算をしてピクセルデータを生成するフォーマットを利用することを前提としている。このフォーマットは、種々の規格に基づくテクスチャ圧縮フォーマットであり、例えば、マイクロソフト(商標)社提供のDXTフォーマット(S3テクスチャ圧縮)である。DXTフォーマットは、あるピクセルデータを生成する際に、メモリに格納されている当該ピクセルの周囲の4ピクセルのピクセルデータを参照して補間演算をするテクスチャ圧縮フォーマットである。またバイリニア・フィルタといわれるアンチエイリアシングフォーマットであってもよい。
これらのテクスチャ圧縮フォーマットは、一つのピクセルデータを生成する際に、メモリに格納されたそのピクセルの周囲のピクセルデータを参照して補間演算を行うことによりピクセルデータを生成するように定められている。
テクスチャ画像を制作するデザイナやプログラマは、画像デザイン用コンピュータで3Gグラフィックスツールを動作させ、コンピュータグラフィックスのモデルとなるオブジェクトにマッピングするためのテクスチャ画像を制作する。制作されたテクスチャ画像は、一定の二次元論理画像空間で定義されたデータとなる。例えばテクスチャ画像は表示装置における表示画像空間と同じx座標およびy座標を有する論理画像空間の一部に設定される。
図4にこのような元テクスチャ画像の例を示す。
図4に示すように、画像空間200にはテクスチャ201およびテクスチャ202が設定されている。画像空間200は、ここでは右上隅を原点(0,0)とし、横方向にx座標、縦方向にy座標が割り振られている。最大のx座標がXであり、最大のy座標がYである。テクスチャ201および202以外の領域のピクセルデータは設定されていない。すなわちテクスチャ201および202以外のピクセルデータはゼロまたは初期値(以下「NULL」と称する。)である。
本発明の前提として、この画像空間200を所定のピクセル数のブロックに分割し、ブロック単位でピクセルデータの判定を行う。本実施形態では、ブロックを構成するピクセルデータが総てNULLではないことを、当該ブロックを圧縮テクスチャ画像記憶領域に格納するための「格納条件」としている。この格納条件に基づけば、判定対象となるブロックを構成するピクセルデータに何らかのデータが設定されていれば、当該ブロックを順に圧縮テクスチャ画像記憶領域に格納し、総てのピクセルデータがNULLであればそのブロックを記憶対象から除外する。
図5に上記元テクスチャ画像をブロックに分割した概念図を示す。
図5に示すように、画像空間200は格子gによって複数のブロックに分割されている。このように元テクスチャ画像から分割された個々のブロックを「再生ブロック」と称する。いずれのピクセルも、複数の再生ブロックによって共有されることはない。各再生ブロックBaはx軸方向にax個のピクセル、y軸方向にay個のピクセルで構成される。再生ブロックBaはx軸方向にm個、y軸方向にn個に分けられているものとする。x軸方向にp番目、y軸方向にp番目の升目を(p,q)で表示し、その升目に位置する再生ブロックをBa(p,q)と表すものとする。
なお、再生ブロックは画像空間200の解像度に鑑み均等に分割できるようなピクセル数に設定することが好ましいが、画像空間端部のブロックにはテクスチャを設定しないという前提であれば、画像空間200の端部に、いずれの再生ブロックにも含まれない領域が生じてしまってもよい。また、端部を構成する再生ブロックにそのような余剰な領域が含まれるように、他の再生ブロックとは異なるピクセル数に設定してしまってもよい。
図5において、テクスチャ201は格子(p,q)、(p+1,q)、(p,q+1)、(p+1,q+1)に分割されている。テクスチャ202は(p−1,q+2)、(p,q+2)、(p+1,q+2)、(p+2,q+2)に分割されている。これら以外の升目の再生ブロックのピクセルデータは総てNULLである。よって、データが存在する上記合計8つの再生ブロックBaのみを圧縮テクスチャ画像記憶領域に格納することにすれば、テクスチャ画像の圧縮が可能となる。
図13(a)に、圧縮テクスチャ画像記憶領域のメモリ空間MAを示す。圧縮テクスチャ画像記憶領域におけるメモリ空間MAは必ずしも元テクスチャ画像の画像空間200や再生のための画像空間を同じ空間を有している必要はない。
上記の圧縮方法に従えば、圧縮テクスチャ画像記憶領域には、図13(a)に示すようにピクセルデータが存在する再生ブロックが記憶される。すなわちメモリ空間MAの若いアドレスから順に格子(p,q)、(p+1,q)、(p,q+1)、(p+1,q+1)、(p−1,q+2)、(p,q+2)、(p+1,q+2)、(p+2,q+2)の8つの再生ブロックが記憶されることになる。
さて、民生用装置が、この再生ブロックのテクスチャ画像をそのまま読み出してテクスチャ201やテクスチャ202を復元するような構成である場合には問題を生じない。再生ブロックを圧縮した順番でそのまま読み出して合成すれば、元テクスチャ画像と同じテクスチャが複製できる。
しかしながら、圧縮されたテクスチャ画像を再利用する民生用装置において画像を生成する際に補間演算をする前述のようなフォーマットを利用している場合、図13のように再生ブロックのみを圧縮テクスチャ画像記憶領域に記憶すると表示上の不都合を生じる。補間演算をするフォーマットでは、一つのピクセルデータを生成するに際しその周囲のピクセルデータとの補間演算を実施するように構成されている。特にテクスチャ画像を拡大したり縮小したりしてマッピングする場合には補間演算が必須となる。補間演算をしないと、境界線のジャギ等のエイリアシングが発生してしまうからである。このため、再生ブロックの一つのピクセルを復元する場合にこのピクセルに隣接しているメモリ空間MA内の他のピクセルデータも参照して補間演算される。
ところが、メモリ空間MAには、再生ブロックが圧縮して格納されているため、隣接する再生ブロック間で画像が連続していない場合がある。具体的には行方向(x軸方向)に連なる再生ブロック間では連続した画像である可能性が高いが、列方向(y軸方向)に連なる再生ブロック間では無関係の画像である可能性が高い。例えば、図13(a)では、破線の円で囲まれた領域においてテクスチャ201の端部のピクセルデータを生成するためにその周囲のピクセルデータの補間演算をする場合、無関係なテクスチャ202を構成するピクセルデータが参照されてしまう。逆に、テクスチャ202の端部のピクセルデータの補間演算をする場合、無関係なテクスチャ201を構成するピクセルデータが参照されてしまう。
無関係なピクセルデータを参照した補間演算により復元されたテクスチャ画像は、元テクスチャ画像のようには復元されず、不自然なラインが表示されてしまう。例えば、テクスチャ201であれば、図13(b)のように、再生ブロックの升目近傍に位置していたピクセルデータの補間演算時にテクスチャ202のピクセルデータの影響を受けて異なる色データが計算され、ノイズのような線L1が出現することとなってしまう。また、テクスチャ202であれば、図13(c)のように、再生ブロックの升目近傍に位置していたピクセルデータの補間演算時にテクスチャ201のピクセルデータの影響を受けて異なる色データが計算され、ノイズのような線L2が出現することとなってしまう。ラインのない所にラインが出現したり、周囲と異なる色のラインがテクスチャ画像内部に出現したりしてしまうのである。
これらの不都合に鑑み、本発明では、元テクスチャ画像をブロック化する際に、再生ブロックの周囲に補間演算で参照されるピクセルの範囲であるマージン領域を含めてブロック化し、格納するようにした。このマージン領域は、再生ブロックの端部のピクセルデータを生成する場合に参照されうるピクセル数の幅を有するように設定される。以下、再生ブロックBaにマージン領域を含めたブロックを「補間ブロック」と称し、「Bb」で表すこととする。
図6に補間ブロックの設定方法の具体例を示す。図6は、図4におけるテクスチャ201をブロック化する場合を拡大した図である。
本発明の画像圧縮方法に従えば、図6に示すように、例えば、格子(p,q)をブロック化する際に、再生ブロックBa(p,q)のみならず、その周囲のマージン領域を含めた補間ブロックBb(p,q)を切り出して、圧縮テクスチャ画像記憶領域に格納する。マージン領域は、x軸方向にMxのピクセル数、y軸方向にMyのピクセル数を有するものとする。よって補間ブロックBbのx軸方向のピクセル数をbx、y軸方向のピクセル数をbyとすれば、bx=ax+2Mx、by=ay+2Myという関係になる。図4のテクスチャ201を、マージン領域を含めて補間ブロックBbで切り出せば、図6に示すように、再生ブロックの周囲のピクセルも含んだ画像単位となる。
図7に、このようにして切り出された補間ブロックBbを圧縮テクスチャ画像記憶領域の画像空間300に格納した場合のメモリ空間概念図を示す。図7に示すように、再生ブロックBaのピクセルデータがNULLではない補間ブロックBbが若いアドレスから順に格納されている。当然ながら補間ブロックBbは再生ブロックBaよりも若干大きなピクセル数で構成されるので、圧縮効率が僅かながら落ちるが、再生側でどのような補間演算を実行しようと、不自然な画像が表示されることが防止可能となる。
(画像圧縮に関する機能ブロック)
次に上記原理に基づく動作する画像圧縮装置1の機能ブロックを説明する。
図3に示すように、画像圧縮装置1は、機能的に、ブロック読出部101、判定部102、および格納部103を備えて構成されている。これらの機能ブロックはいずれもCPU101が画像圧縮プログラムを実行することによって実現される機能ブロックである。
ブロック読出部101は、元テクスチャ画像記憶領域12bに記憶された元テクスチャ画像をブロック単位で読み出す機能ブロックである。このとき、ブロック読出部101は、民生用装置2で採用されている画像生成フォーマットの補間演算で使用するピクセル数を考慮し、再生対象となるピクセルで構成される再生ブロックBaの外側にマージン領域を含めた補間ブロックBbを元テクスチャ画像記憶領域12bから順に読み出す。
なお、ここでは再生ブロックの大きさは例えば32ピクセル×32ピクセルであり、マージン領域は4ピクセルであるから、補間ブロックの大きさは、40ピクセル×40ピクセルとなる。再生ブロックの大きさは、テクスチャ全体における空白部分の割合に基づいて、最も記憶領域の利用効率が高い値を決定することができる。例えば空白部の割合が30%の場合には、32ピクセル×32ピクセルが適している。また補間ブロックの大きさは、民生用装置2で用いるフォーマットで利用する補間演算のピクセル数に基づくものであり、フォーマットに応じて変化する。
判定部102は、読み出された再生ブロックBaが予め定めた格納条件に合致するか否かを判定する機能ブロックである。本実施形態において、この格納条件は、再生ブロックBaを構成するピクセルの少なくとも一つにピクセルデータが設定されていること、すなわちNULLではないことである。
格納部103は、上記格納条件に合致すると判定された補間ブロックBbを画像メモリである圧縮テクスチャ画像記憶領域12cに順に格納していく機能ブロックである。
(動作説明)
次に図8のフローチャートに基づいて本発明の画像圧縮方法を説明する。
ステップS100において、画像圧縮装置1のブロック読出部101は、再生ブロックBaを特定するための行ポインタi、列ポインタjをリセット、すなわち「1」にリセットする。これによって、元テクスチャ画像記憶領域12bの格子(1,1)がポイントされるようになる。
ステップS101に移行し、ブロック読出部101は元テクスチャ画像記憶領域12bを参照し、格子(i,j)に位置している補間ブロックBb(i,j)を読み出す。すなわち格子(i,j)の範囲に入る再生ブロックBa(i,j)とその周囲のマージン領域とを共に読み出す。格子が画像空間200の端部に位置し、マージン領域に対応するピクセルが存在しない場合には、マージン領域のピクセルデータをNULLに設定する。
次いでステップS102に移行し、画像圧縮装置1の判定部102は、読み出された再生ブロックBa(i,j)を構成するピクセルデータに何らかのデータが設定されているか否かを判定する。その結果、何らかのピクセルデータが設定されている、すなわち再生ブロックの総てのピクセルデータがNULLではないと判定できたら(YES)、画像圧縮装置1の格納部103は、ステップS103に移行し、当該補間ブロックBb(i,j)をメインメモリ12の圧縮テクスチャ画像記憶領域12cに若いアドレスから順に格納する。一方、ステップS102において、読み出された再生ブロックBa(i,j)を構成するピクセルデータが総てNULLであったら(NO)、格納処理をスキップしてステップS104に移行する。
ステップS104において、ブロック読出部101は、行ポインタiを一つ増加させ、ステップS105において、行ポインタiが行ブロック最大数mを超えたか否かを判定する。行ポインタiが行ブロック最大数mを超えていない場合には(NO)、同じ行に次のブロックを格納できるので、ブロック読出部101はステップS101に移行する。ステップS105において、行ポインタiが行ブロック最大数mを超えた場合には(YES)、圧縮テクスチャ画像記憶領域12cにおける画像空間200の行の最後に達していると判断できるので、ブロック読出部101は、ステップS106に移行し、行ポインタiをリセット(i=1)するとともに、列ポインタjを一つ増加させてから、ステップS107に移行する。
ステップS107において、ブロック読出部101は増加させた列ポインタjが列ポインタ最大数nを超えたか否かを判定する。その結果、列ポインタjが列ポインタ最大数nを超えていない場合には(NO)、まだ有効な列ポインタ数であるため、ブロック読出部101はステップS101に移行する。ステップS107において、列ポインタjが列ポインタ最大数nを超えた場合には(YES)、有効な列が終了したことを意味するため、当該ルーチンから復帰させる。
以上の画像圧縮処理により、総てのピクセルデータがNULLでない再生ブロックについてはその再生ブロックの周囲のマージン領域も含めた補間ブロックが保存され、総てのピクセルデータがNULLである再生ブロックについては、対応する補間ブロックの保存がスキップされる。よって、実質的な画像が設定されているブロックのみが保存される。
次に図9のフローチャートに基づいて上記画像圧縮方法で圧縮されたテクスチャ画像の復元方法を説明する。このフローチャートは、ソフトウェアプログラムで実行されるように構成してもよいが、ハードウェアにより同等の機能を奏するように構成することが高速化の観点から好ましい。以下の処理は、民生用装置2のGPU24bにおいて実行されるものとする。
ステップS200において、GPU24bは、圧縮テクスチャ画像記憶領域22cの画像空間300における再生ブロックの位置を特定する再生ブロックポインタ(i,j)をリセットする。次いでステップS201において、GPU24bは、各再生ブロックを構成するピクセルの各々を特定するピクセルポインタをリセットする。初期状態では、画像空間300の最も若い再生ブロックの最初のピクセルが指示されていることになる。
ステップS202において、GPU24bは再生ブロックBa(i,j)のうちピクセルポインタで示されるピクセルデータを生成するための補間演算を実施する。すなわち当該ピクセルデータとその周囲のピクセルデータ(DXTフォーマットであれば4ピクセル)との補間演算を実施する。周囲のピクセルデータが存在しない場合にはそのようなピクセルデータがNULLであるものとして演算する。生成されたピクセルデータが該当するテクスチャ画像記憶領域に格納される。
補間演算が終了すると、ステップS203に移行し、GPU24bはピクセルポインタをカウントアップする。ステップS204においてカウントアップしたピクセルポインタの指示するピクセルが存在している場合には(NO)、再びステップS202に移行し、GPU24bは次のピクセルデータの補間演算を実行する。カウントアップしたピクセルポインタの指示するピクセルが存在しない場合、すなわち再生ブロックBa(i,j)内のピクセルが終了した場合には(YES)、ステップS205に移行し、GPU24bは再生ブロックポインタをカウントアップする。
ステップS206において、カウントアップした再生ブロックが存在している場合には(NO)、ステップS201に移行し、GPU24bは新たな再生ブロックにおける最初のピクセルデータからの補間演算を繰り返す。カウントアップした再生ブロックが存在しない場合、すなわち圧縮テクスチャ画像記憶領域22cに格納されたテクスチャが存在しない場合には(YES)、当該ルーチンから復帰させる。
なお、上記画像伸張処理は、テクスチャ毎に必要な再生(補間)ブロックのみを参照して行うように構成してもよい。
以上、本実施形態1によれば、元テクスチャ画像が複数のピクセルで構成されるブロックに分割され、それが順に、例えば元テクスチャ画像のアドレスの若い方に位置しているブロックから順に読み出される。この際、再生対象となるピクセルで構成される再生ブロックのみではなく、再生ブロックの外側であって該フォーマットが該補間演算のために参照するピクセルの範囲であるマージン領域までを含めて設定された補間ブロックが読み出される。そのため、再生時にフォーマットで必要とされる周囲のピクセルデータとの補間演算をしたとしてもマージン領域には異質な画像が含まれていないので、補間演算後のピクセルデータに異質な画像のピクセルデータが反映されることはない。よって、再生ブロックの範囲のピクセルデータを生成する限り、再生後の画像に不要な筋やノイズが表示されることを防止することが可能である。
また本実施形態1によれば、補間ブロックの格納条件を、再生ブロックを構成するピクセルの少なくとも一つにピクセルデータが設定されていることとしたので、デザイナやプログラマがデータを設定しなかったブロックを除外し、実質的に画像の存在するブロックのみを格納して、テクスチャ画像のデータ容量を削減することが可能である。
また本実施形態1によれば、民生用装置2は、再生ブロックのピクセルデータを生成する際に周囲のピクセルデータとの補間演算によりピクセルデータを生成する。その際に、補間ブロックはマージン領域を含んでいるので、再生ブロックの端部のピクセルデータを補間演算する場合でも、異質なピクセルデータが補間演算に加えられることがない。よって、不自然な画像が再生されることが防止される。
(実施形態2)
次の本発明の実施形態2を説明する。本実施形態2は、既に格納した再生ブロックと同じピクセルデータを有する再生ブロックの格納を禁止することによりテクスチャ画像のデータ容量を削減する態様に関する。
本実施形態2における画像圧縮装置1および民生用装置2の構成は上記実施形態1と同様でありその説明を省略する。ただし、判定部102は、再生ブロックBaを構成するピクセルデータの総てが既に格納されているいずれかの再生ブロックを構成するピクセルデータの総てと同一でないことを格納条件としている。
図10に本実施形態2における元テクスチャ画像のブロック分割例を示す。
本実施形態2においても、上記実施形態1(図5)と同様に、画像空間200が格子gによって複数のブロックに分割され、同様に再生ブロックBaが設定されている。ここで、画像空間200には、テクスチャ201の他に、テクスチャ203が設定されている。升目(p−1,q)に位置するテクスチャ203と升目(r,s)に位置するテクスチャ203とは全く同じ画像であり、升目内における位置も同一である。よって、再生ブロックBa(p−1,q)と再生ブロックBa(r,s)とは、ピクセルデータを比較した場合に全く同一の再生ブロックとなっている。
本実施形態2では、ピクセルデータが総てNULLである再生ブロックが排除される点は上記実施形態1と同様とするが、さらに判定対象の再生ブロックが既に圧縮格納された再生ブロックとピクセルデータが総て同じ場合にその格納が禁止される点に特徴がある。
上記手順に従って図10に示す元テクスチャ画像から再生ブロックを順に読み出し、判定し、格納していった場合、圧縮テクスチャ画像記憶領域12cの画像空間300には、最初にピクセルデータが設定された再生ブロックBa(p−1,q)がそのマージン領域とともに補間ブロックBbとして格納され、以降、Bb(p,q)、Bb(p+1,q)、Bb(p,q+1)、Bb(p+1,q+1)の順で各補間ブロックが格納される。
次に図12のフローチャートに基づいて本発明の画像圧縮方法を説明する。
ステップS102までは、上記実施形態1と同様である。
ステップS110において、画像圧縮装置1の判定部102は、読み出された再生ブロックBa(i,j)と既に圧縮テクスチャ画像記憶領域12cの画像空間300に圧縮されている再生ブロックとをピクセルデータ単位で比較し、判定対象の再生ブロックと同じピクセルデータを有する再生ブロックが既に格納されているか否かを判定する。この比較判定は、例えば再生ブロック同士の減算演算を行ってゼロ以外のピクセルデータが存在するか否かにより実行することが可能である。
その結果、当該再生ブロックBa(i,j)が既に格納されている再生ブロックと異なるピクセルデータを有すると判定されれば(YES)、再生ブロックを構成するピクセルデータがNULLでもなく、既に格納もされてもいないことを意味するので、ステップS103に移行し、画像圧縮装置1の格納部103は、当該補間ブロックBb(i,j)をメインメモリ12の圧縮テクスチャ画像記憶領域12cに若いアドレスから順に格納する。
一方、ステップS110において、当該再生ブロックBa(i,j)が既に格納されている再生ブロックと同一のピクセルデータを有すると判定された場合(NO)、この再生ブロックを記憶させることは冗長となる。そこで、ステップS111に移行し、格納部103は、当該再生ブロックBa(i,j)に対応する補間ブロックを記憶させる代わりに、その格子(i,j)を示す位置情報および対応付けられる補間ブロックを記憶し、次の処理に移行する。
ステップS104以降の処理は上記実施形態1と同様である。
以上の画像圧縮処理により、総てのピクセルデータがNULLである再生ブロックに対応する補間ブロックが除外される他、ピクセルデータがNULLでない再生ブロックに対応する補間ブロックであって一旦記憶された補間ブロックであっても、既に記憶された補間ブロックと同一のピクセルデータ構成を有する補間ブロックの保存も禁止される。
上記画像圧縮方法で圧縮されたテクスチャ画像を復元する場合、民生用装置2のGPU24bは、ステップS111で格納された再生ブロックの格子位置情報を参照し、そのような格子位置情報が記録されていた場合には、対応付けられた補間ブロックを読み出して、テクスチャ画像の復元を実行する。
以上、本実施形態2によれば、重複する再生(補間)ブロックを複数格納することが禁止されるので、冗長なデータをさらに削減することが可能である。
特に本実施形態2によれば、テクスチャ画像の背景に広く色づけがされている場合に、その色づけされたテクスチャ画像を排除することなく、かつ、極力画像を圧縮することが可能となる。
(変形例)
本発明は上記実施形態に限定されることなく、種々に変形して適用することが可能である。例えば、上記実施形態では、再生ブロックを構成するピクセルデータがNULLであるか、また、再生ブロックを構成するピクセルデータが既に記憶されている再生ブロックのピクセルデータと一致するかを格納条件としていたが、再生ブロックの代わりに、マージン領域まで含めた補間ブロック全体のピクセルデータが設定されていることを格納条件としてもよい。このようにすれば、補間演算に影響を与えるマージン領域のピクセルデータの状態も含めて判定ができるので、テクスチャ画像に影響を与えるおそれのない補間ブロックのみが除外されることになる。
また上記実施形態2では、ピクセルデータのNULL判定(S102)に加えて異同判定(S110)を実施していたが、NULL判定を省き、異同判定のみとしてもよい。この場合、総てのピクセルデータがNULLであると最初に判定された再生ブロックはメモリに格納されることになる。
また、上記画像圧縮装置によって作成された圧縮テクスチャ画像は、民生用装置として、各種情報端末や、家庭用ゲーム機、遊技機等の表示装置に表示するテクスチャ画像として利用することができる。遊技機は、例えば、ぱちんこ機(第一種ぱちんこ機、第二種ぱちんこ機を含む。)、回動式遊技機(以下、「スロットマシン」という。)等を含む。
実施形態における画像圧縮装置のハードウェア・ブロック図 実施形態における民生用装置のハードウェア・ブロック図 実施形態における画像圧縮装置の機能ブロック図 実施形態1における元テクスチャ画像の例 実施形態1における元テクスチャ画像のブロック分割例 元テクスチャ画像を例に採った場合の再生ブロックおよび補間ブロック設定を示す図 実施形態1における圧縮テクスチャ画像記憶領域内の補間ブロック記憶例 実施形態1における画像圧縮装置の画像圧縮方法を示すフローチャート 実施形態における民生用装置の画像復元方法を示すフローチャート 実施形態2における元テクスチャ画像のブロック分割例 実施形態2における圧縮テクスチャ画像記憶領域内の補間ブロック記憶例 実施形態2における画像圧縮装置の画像圧縮方法を示すフローチャート 本発明を適用しないでブロック圧縮を行った場合に生ずる不都合を説明する図であり、(a)はブロック記憶例、(b)は画像復元後のテクスチャ201における不都合な表示例、(c)は画像復元後のテクスチャ202における不都合な表示例
符号の説明
1…画像圧縮装置、2…民生用装置、12…メインメモリ、12a…画像圧縮プログラム記録領域、12b…元テクスチャ画像記録領域、12c…圧縮テクスチャ画像記憶領域、13…外部記憶媒体ドライブ、14…画像処理部、15…操作入力処理部、20…操作入力装置、22…メインメモリ、22a…遊技プログラム記録領域、22b…オブジェクトデータ記録領域、22c…圧縮テクスチャ画像記憶領域、23…外部記憶媒体ドライブ、24…画像処理部、24a…画像デコーダ、24c…フレームバッファ、24d…ディスプレイコントローラ、25…操作入力処理部、30…表示装置、101…ブロック読出部、102…判定部、103…格納部、200…画像空間、Ba…再生ブロック、Bb…補間ブロック、DM1…外部記憶媒体、DM2…外部記憶媒体、g…格子、i…行ポインタ、j…列ポインタ、L1…線、L2…線、m…行ブロック最大数、MA…メモリ空間、n…列ポインタ最大数、SB…システムバス

Claims (5)

  1. 周囲のピクセルデータとの補間演算をしてピクセルデータを生成するフォーマットの利用を前提とした画像を圧縮するための画像圧縮装置であって、
    再生対象となるピクセルで構成される再生ブロックと、前記再生ブロックの外側であって前記フォーマットが前記補間演算のために参照するピクセルの範囲であるマージン領域と、を含めて設定された補間ブロックを元テクスチャ画像から順に読み出すブロック読出部と、
    読み出された前記再生ブロックが予め定めた格納条件に合致するか否かを判定する判定部と、
    前記格納条件に合致すると判定された補間ブロックを画像メモリに順に格納していく格納部と、
    を備え、
    前記判定部は、
    前記再生ブロックを構成するピクセルの少なくとも一つにピクセルデータが設定されていること、かつ、
    前記再生ブロックを構成するピクセルデータの総てが既に格納されているいずれかの補間ブロックに対応する再生ブロックを構成するピクセルデータの総てと同一でないことを前記格納条件とする
    ことを特徴とする画像圧縮装置。
  2. 前記フォーマットは、テクスチャ圧縮フォーマットである、
    請求項1に記載の画像圧縮装置。
  3. 前記フォーマットは、バイリニア・フィルタである、
    請求項1に記載の画像圧縮装置。
  4. 請求項1乃至3のいずれか一項に記載の画像圧縮装置で圧縮された画像を再生する画像再生装置であって、
    前記再生ブロックを構成するピクセルデータを生成するように構成されており、
    前記フォーマットに基づいて、前記画像メモリに格納されている再生ブロックを構成するピクセルのピクセルデータと前記ピクセルデータの周囲のピクセルデータとの補間演算により前記ピクセルデータを生成することを特徴とする画像再生装置。
  5. 周囲のピクセルデータとの補間演算をしてピクセルデータを生成するフォーマットの利用を前提とした画像を圧縮するための画像圧縮プログラムであって、
    コンピュータに、
    再生対象となるピクセルで構成される再生ブロックと、前記再生ブロックの外側であって前記フォーマットが前記補間演算のために参照するピクセルの範囲であるマージン領域と、を含めて設定された補間ブロックを元テクスチャ画像から順に読み出す機能と、
    読み出した前記再生ブロックが予め定めた格納条件に合致するか否かを判定する機能と、
    前記格納条件に合致すると判定された補間ブロックを画像メモリに順に格納していく機能と、を実行させ
    前記格納条件が、
    前記再生ブロックを構成するピクセルの少なくとも一つにピクセルデータが設定されていること、かつ、
    前記再生ブロックを構成するピクセルデータの総てが既に格納されているいずれかの補間ブロックに対応する再生ブロックを構成するピクセルデータの総てと同一でないことである、
    画像圧縮プログラム。
JP2008015585A 2008-01-25 2008-01-25 画像圧縮装置、画像再生装置、および画像圧縮プログラム Expired - Fee Related JP4968686B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008015585A JP4968686B2 (ja) 2008-01-25 2008-01-25 画像圧縮装置、画像再生装置、および画像圧縮プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008015585A JP4968686B2 (ja) 2008-01-25 2008-01-25 画像圧縮装置、画像再生装置、および画像圧縮プログラム

Publications (2)

Publication Number Publication Date
JP2009176167A JP2009176167A (ja) 2009-08-06
JP4968686B2 true JP4968686B2 (ja) 2012-07-04

Family

ID=41031158

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008015585A Expired - Fee Related JP4968686B2 (ja) 2008-01-25 2008-01-25 画像圧縮装置、画像再生装置、および画像圧縮プログラム

Country Status (1)

Country Link
JP (1) JP4968686B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107463398B (zh) * 2017-07-21 2018-08-17 腾讯科技(深圳)有限公司 游戏渲染方法、装置、存储设备及终端

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3013698B2 (ja) * 1994-04-20 2000-02-28 松下電器産業株式会社 ベクトル量子化符号化装置と復号化装置
JP3770422B2 (ja) * 1996-06-27 2006-04-26 ソニー株式会社 画像生成装置および方法並びにデータ圧縮方法
JP3886184B2 (ja) * 1996-09-20 2007-02-28 株式会社ソニー・コンピュータエンタテインメント 画像データの処理方法および画像処理装置
JP4042462B2 (ja) * 2002-04-24 2008-02-06 ソニー株式会社 画像処理装置およびその方法

Also Published As

Publication number Publication date
JP2009176167A (ja) 2009-08-06

Similar Documents

Publication Publication Date Title
KR101868200B1 (ko) 타일 기반 렌더링에서의 테셀레이션
CN106408634B (zh) 纹理处理设备和方法
KR102258100B1 (ko) 텍스쳐 처리 방법 및 장치
JP4917346B2 (ja) ゲーム画像処理プログラムおよびゲーム画像処理装置
JP6955417B2 (ja) テクスチャ圧縮方法及びその装置、並びにテクスチャ圧縮解除方法及びその装置
US10621761B2 (en) Computer-readable recording medium, computer apparatus, and computer processing method for placing object in virtual space and displaying placed object according to display mode
JP5320334B2 (ja) 画像処理装置及びプログラム
CN115315727A (zh) 图形处理单元渲染模式选择***
JP2008059582A (ja) 省エネのためのlod値計算方法とこれを利用した3次元レンダリングシステム
US11694367B2 (en) Compressing texture data on a per-channel basis
TWI221588B (en) Apparatus and method for rendering antialiased image
US6392643B1 (en) Image generation apparatus
JP4968686B2 (ja) 画像圧縮装置、画像再生装置、および画像圧縮プログラム
US11748933B2 (en) Method for performing shader occupancy for small primitives
JP2010277304A (ja) 描画データ処理方法、図形描画システム、及び図形描画データ作成プログラム
CN115049531A (zh) 图像渲染方法、装置、图形处理设备及存储介质
JP4402088B2 (ja) 画像処理方法および装置およびこれらを利用した電子機器
US20020190983A1 (en) Image processing method
JP2006277772A (ja) 情報処理装置、情報処理方法、情報処理プログラム、記録媒体、及び情報提供装置
JP2003196674A (ja) 画像処理方法、画像処理装置及びコンピュータ読み取り可能記憶媒体
JP4669334B2 (ja) エッジ・マルチサンプリングハイブリッドアンチエイリアス
JP5024831B2 (ja) 画像作成装置及びプログラム
WO2024118082A1 (en) Methods and systems for rendering video graphics
KR102077146B1 (ko) 그래픽 처리 방법 및 장치
KR101416106B1 (ko) 사용자 인터페이스에 대한 응답성을 개선한 조합형 렌더링 방법, 및 이를 위한 렌더링 프로그램을 기록한 컴퓨터로 판독가능한 기록매체

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20100528

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101105

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111222

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120215

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120305

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120327

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150413

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees