JP3453410B2 - 画像処理装置及びその方法 - Google Patents

画像処理装置及びその方法

Info

Publication number
JP3453410B2
JP3453410B2 JP23470093A JP23470093A JP3453410B2 JP 3453410 B2 JP3453410 B2 JP 3453410B2 JP 23470093 A JP23470093 A JP 23470093A JP 23470093 A JP23470093 A JP 23470093A JP 3453410 B2 JP3453410 B2 JP 3453410B2
Authority
JP
Japan
Prior art keywords
image
texture
animation
input
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP23470093A
Other languages
English (en)
Other versions
JPH0793587A (ja
Inventor
浩和 秋定
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP23470093A priority Critical patent/JP3453410B2/ja
Priority to US08/307,152 priority patent/US5687307A/en
Publication of JPH0793587A publication Critical patent/JPH0793587A/ja
Application granted granted Critical
Publication of JP3453410B2 publication Critical patent/JP3453410B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Image Generation (AREA)
  • Processing Or Creating Images (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明はコンピュータグラフィッ
クス等の画像処理装置及びその方法に関するものであ
り、特に3次元空間内の複数個の物体それぞれに独立し
たテクスチャアニメーションを施したコンピュータグラ
フィックスアニメーション(CGアニメーション)を実
現する画像処理装置及びその方法に関するものである。
【0002】
【従来の技術】従来のコンピュータグラフィックス、特
に3次元物体を表現した画像を形成する3次元グラフィ
ックスにおいては、通常画像を得るためには大きく分け
て、 ・モデリング ・レンダリング という2つの作業が必要となる。
【0003】まずモデリングは、画像の中で表現したい
対象物の形,色,表面の性質などのデータをコンピュー
タの中に作成する作業である。たとえば、人間の顔の画
像を作るのであれば、その表面の形がどうなっているの
か、顔のどの部分がどのような形をしているのか、光の
反射率はどうか、といったデータを作成し、あとのレン
ダリングで使えるような形式でコンピュータ内に格納す
る。このようなデータの集まりを物体のモデルという。
【0004】またレンダリングは、モデルができあがっ
た後で、その物体をある位置から見たときにどのように
見えるかを考え、その見え方にしたがった画像を作成す
ることをいう。したがって、レンダリングを行うには、
モデルの他に、見る位置(視点)や照明に関する条件を
考える必要がある。レンダリング作業を細分化すると次
のようになる。
【0005】・座標変換 ・隠面消去 ・シェーディング ・リアルさを出すための工夫 まず、座標変換はモデルを表している種々の座標値に対
して、視点の位置から見たときに、画面上のどの位置に
見えるのかを計算して、画面上の座標に変換することを
意味する。次に、隠面消去によって、モデルの中で、現
在の視点の位置から考えて、どの部分が見え、どの部分
が見えないかを判断する。隠面消去の代表的な手法とし
てはZバッファ法やスキャンライン法といったアルゴリ
ズムが挙げられる。そして、隠面消去が済んで、物体の
どの部分が見えるかが確定したら、次に照明を考えて各
部分がどのような色、どのような明るさに見えるかを判
断し、その色を画面、すなわち、ピクセルに塗るシェー
ディングの処理を行う。そして、通常レンダリングの最
後に実行されるのが、リアルさを出すための工夫であ
る。これは、視野変換,隠面消去,シェーディングを行
って画像を作成したとしても、得られる絵(像)は実在
の物体とはほど遠い面白みのないものとなってしまうた
めである。この理由としては、このような手法が、物体
の表面は理想的な平面あるいは数式で表せる完全に滑ら
かな曲面であったり、表面の色が面ごとに一定であると
いった仮定に基づいているためである。こうした状況を
避け、得られる画像をより現実に近いものとするために
行われる代表的手法の一つにテクスチャマッピングがあ
る。テクスチャマッピングはあらかじめ用意した2次元
パターンを3次元空間内の物体モデルの表面に貼り付け
る(数学的に言えば写像する)手法で、単調な表面で構
成された物体を複雑な表面を持つ物体に疑似的に見せか
せることを目的としている。これにより、たとえば単純
な直方体のモデルを金属や石材のように見せることが可
能となる。
【0006】さて、以上に述べたような方法により得ら
れる絵に動きをつけたコンピュータグラフィックスアニ
メーション(CGアニメーション)を作成する場合、大
別して次の2つの方法がある。
【0007】第1番目の方法としては、3次元空間にお
き、照明条件,視点条件(視点の位置・方向・画角)、
および物体モデルの形状や色等を少しずつ変化させその
都度レンダリングを行うことで一連のアニメーション用
の画像群を得たのち(または一つの画像をレンダリング
するごとに)、それらをビデオレコーダ等の録画装置を
用いて一コマ一コマ録画(コマ録画)し、すべての録画
が終わったあとで再生装置で再生する方法である。この
方法においては、画像のレンダリングの際にかかる時間
は許される範囲で長くしてよいので(1つの画像のレン
ダリングに要する時間と作成するアニメーションの全体
の時間に依存する)、画面上に複雑な形状の物体を多数
配置したり、レイトレーシング(光線追跡法)に代表さ
れるような長い計算時間を必要とするレンダリング手法
を用いて高品位な画像を作成することも可能である。た
とえば、現在のテレビコマーシャルやSF映画等で用い
られているCG映像のほとんどは、この方法によって作
成されたものである。
【0008】また、第2番目の方法としては、前述の照
明条件,視点条件、および物体モデルの形状や色を変更
しながらレンダリング、およびそのレンダリング処理に
よって得られた画像の表示という2つの処理を高速に繰
り返すことでCGアニメーションを実行する方法があ
る。これは一般的にリアルタイムCGアニメーションと
呼ばれるもので、ユーザからの指示を直接レンダリング
に反映させることでCGアニメーションの動きをリアル
タイムにコントロールするインタラクティブ(対話的)
処理が可能なことが最大の特徴である。反面、実現に関
しては実行するコンピュータのパフォーマンスに依
し、画面上に表示できる物体の個数に制限があったり、
レンダリング手法として単純で高速なものに限定されて
しまうといった制約があるため、前者と比較して作成さ
れる画像は低品質なものとなる。航空機操縦練習用のフ
ライトシミュレータやゲームセンター用のレーシングゲ
ームがその好例である。
【0009】
【発明が解決しようとする課題】しかし、上記従来例で
説明したコンピュータグラフィックス装置におけるレン
ダリング画像内の物体へのテクスチャマッピングは、主
に現実に存在する物体の素材感や感触を模倣するために
行われているため、CGアニメーション進行中のテクス
チャの視覚的な変化は、視点条件や光線条件の変化に伴
う微妙な色の変化のみであり、テクスチャの形状や色が
ダイナミックに変化するような、アート性を重視したテ
クスチャ・アニメーションを持ったCGアニメーション
は実現されていなかった。
【0010】また、入力されたテクスチャ用画像が少な
い場合、その限られた画像を複数の物体にマッピングす
ることになるため、得られるCGアニメーションの画像
が単調で面白みのないものになるという欠点があった。
【0011】
【課題を解決するための手段】本発明は、上記課題を解
決することを目的としたものであり、特に3次元空間内
に存在する複数個の物体それぞれにテクスチャアニメー
ション状態値を持たせ、アニメーション進行中に前記テ
クスチャアニメーション状態値を変化させ、個々の物体
ごとに独立したテクスチャアニメーションを実行するこ
とで、従来にないアート性に満ちたCGアニメーション
を実現する画像処理装置及びその方法を提供しようとす
るものである。
【0012】この課題を解決するため、本発明の画像処
理装置は以下に示す構成を備える。すなわち、物体の3
次元形状データを入力することでモデリングを行うデー
タ入力手段と、テクスチャ画像データを入力する画像入
力手段と、該画像入力手段で入力したテクスチャ画像デ
ータに対して所定のアニメーション処理を行う際に利用
する状態値を初期値として入力する状態値入力手段と、
該状態値入力手段で入力した状態値を、当該状態値で設
定された変更速度情報に基づいて更新する状態値更新手
段と、 状態値に基づいて、前記テクスチャ画像を加工す
る画像処理手段と、 該画像処理手段により生成されたテ
クスチャ画像を、前記3次元形状データの面にテクスチ
ャマッピングを行ってテクスチャマッピングを施した画
像を生成する画像生成手段と、生成された画像を表示す
る画像表示手段とを備える。
【0013】また、本発明の画像処理方法は以下に示す
工程を備える。
【0014】物体の3次元形状データを入力することで
モデリングを行うデータ入力工程と、テクスチャ画像デ
ータを入力する画像入力工程と、該画像入力工程で入力
したテクスチャ画像データに対して所定のアニメーショ
ン処理を行う際に利用する状態値を初期値として入力す
る状態値入力工程と、 該状態値入力工程で入力した状態
値を、当該状態値で設定された変更速度情報に基づいて
更新する状態値更新工程と、 状態値に基づいて、前記テ
クスチャ画像を加工する画像処理工程と、 該画像処理工
程により生成されたテクスチャ画像を、前記3次元形状
データの面にテクスチャマッピングを行ってテクスチャ
マッピングを施した画像を生成する画像生成工程と、
成された画像を表示する画像表示工程とを備える。
【0015】
【0016】
【実施例】まず、本実施例の特徴を明確にするため、実
施例に適応した3次元立体のモデリングから画像のレン
ダリング、さらにはそのレンダリングによる生成画像の
表示までの処理の流れを説明する。
【0017】<1.モデリング> はじめに、3次元物体のモデリングについて説明する。
これは、モデリング座標系における物体の3次元形状デ
ータの入力を行うことである。ただし、モデリング座標
系とは物体の形状を定義し操作するための座標系のこと
である。たとえば、図2のような立方体の形状モデリン
グを行う場合、図示の立方体のある一つの頂点を原点と
したモデリング座標系を考える。そして、この座標系に
おける立方体の8個の頂点の座標データ(x,y,z座
標)をたとえば次のように決定する。
【0018】 表1 <座標データ>(頂点番号は上から順番に付ける) 8 ・・・ すべての頂点数 0.0 0.0 0.0 1.0 0.0 0.0 1.0 1.0 0.0 ・・・ 各頂点の(x,y,z)座標 0.0 1.0 0.0 0.0 0.0 −1.0 1.0 0.0 −1.0 1.0 1.0 −1.0 0.0 1.0 −1.0 上記表1のごとく、頂点数に続いて、各頂点(頂点1〜
8)の座標データが入力される。
【0019】さて、次にどの点とどの点を結んで面を作
るかといった面ループデータを次表のように決定する。
【0020】 表2 <面ループデータ> 6 ・・・ 物体を構成する面の数 4 ・・・ 1番目の面ループを構成する頂点数 1 2 3 4 ・・・ 1番目の面の頂点番号列 4 ・・・ 2番目の面ループを構成する頂点数 5 6 7 8 4 ・ 4 3 7 8 ・ 4 ・ 1 5 8 4 ・ 4 ・ 1 2 6 5 4 ・・・ 6番目の面ループを構成する頂点数 2 6 7 3 ・・・ 6番目の面の頂点番号列 このようにして得られた一組の座標データと面ループデ
ータが、図2の物体のモデリングデータとなる。
【0021】<2.レンダリング> ・投影変換 物体の3次元形状のモデリングが終わったら、次に投影
変換を行う。写真撮影にたとえると、レンズ(焦点距離
=倍率)の選定や撮影する場所(視点)、カメラの向き
(視軸)の決定に相当する。
【0022】図3は、投影変換のための4つの座標系を
示した図である。まず、モデリング座標系において定義
された物体の形状データはワールド座標系(物体の形を
表すときにモデル内の座標に用いる座標系)におけるデ
ータに変換される。そして、対象となる物体を見ること
ができるように、選定したカメラをいろいろな方向に向
けることでビューイング変換(視野変換)を行う。この
際、ワールド座標系で表された物体のデータが視点座標
系のデータに変換されることになる。また、この変換の
ためにワールド座標系の中にスクリーン(視野窓)を指
定し、このスクリーンが物体の最終的な投影面となる。
そして、このスクリーンを定義するための座標系がUV
N座標系(スクリーン座標系)と呼ばれる。ただし、視
点前方のすべてのものを描くと、不必要な計算時間をと
る場合があるので作画領域を決めることも必要である
(この作画領域はビューボリューム(視野空間)と呼ば
れ、またこの作業はクリッピングと呼ばれる)。
【0023】次に、投影変換についてより詳細に説明す
る。図4は投影変換を示した図である。図において、ま
ず空間に投影の中心となる視点を置き、その視点から視
軸(視点を端として人間が見ている方向に向かう半直
線)および視角(画角)θを考える。そして、視軸を直
交し視点からの距離がfである平面を投影面(スクリー
ン)と考えると、投影面と視錐(視点を中心として視軸
を軸とする円錐面)の交わる部分は円形をしている。そ
して、図のように、この円弧上に4つの頂点を持ち、横
の長さをh、縦の長さをvである矩形領域を考え、この
領域をスクリーンとする。
【0024】ここで、このhとvをθとfから計算する
方法を考える。ただし、hとvの比率は表示画像の横と
縦の比率と同じであるとする。図において、まずOEは
前述の円形部分の半径であるので、 ∠OPE=θ/2 (式−0) となり、この結果、 len(OE)=f*tan(θ/2) (式−1) また、点OはEGの中点であるので、前式を用い、 len(EG)=2*len(OE)=2* f*tan(θ/2) (式−2) となる。次に、表示画像の横と縦の画素数をそれぞれa
とbで既知であるとすると、この2つの比率はhとvの
比率と同じであるので、 a:b=h:v (式−3) となる。また、三平方の定理により、 h* h+v* v=len (EG)*len(EG) (式−4) したがって、(式−2),(式−3),(式−4)より h=2* f*tan(θ/2)/sqrt(1+(a/b)* (a/b))(式−5) v=2* f*tan(θ/2)/sqrt(1+(b/a)* (b/a))(式−6) となる。
【0025】尚、上記式中、len (AB)は線分ABの
長さを返す関数、またsqrt(x)はxの平方根を返す関
数であり、その中身については説明するまでもないであ
ろう。
【0026】そして、このスクリーンをいろいろな方向
に動かすことで視野変換を行う。そして、視野変換が決
定したのち、空間に存在する物体の3次元形状の各点に
対し、視点と投影面の交点を求める操作を行うことで図
4のようにスクリーン上に投影図を得る(ただし、この
場合は視点と投影面の距離が有限である投影を示してい
る)。したがって、投影変換が行われると前述の視点座
標系で表されたデータはUVN座標系におけるデータに
変換されたことになる。
【0027】この投影変換が終わり、UVN座標系によ
って示された図形は最終的なデバイス座標系に変換され
表示装置に表示される。ただし、デバイス座標系とは、
画像の中でピクセルやドットの位置を表すときに用いる
座標系のことをいい、表示画像における座標系と同一で
あるとする。
【0028】以上に説明した座標変換を、実際にどのよ
うにして実現しているかを数式を使って説明する。
【0029】まず、X−Z平面を水平に、Y軸は鉛直に
なるように設定されたワールド座標系において、視点の
位置と方向、対象となる物体が決定される。また、視点
座標系のx軸は視軸と平行に、y軸はUVN座標系のU
軸に平行となるように設定する。ここでワールド座標空
間における任意の点Pの座標を、 (X,Y,Z) と示すとする。視点の座標を(Xe,Ye,Ze)、ワ
ールド座標系における方位角(左右の角度)をα、仰角
(上下の角度)をβ、点Pの視点座標系での座標を
(x,y,z)で示すと、両者の間には次の関係が成立
する。
【0030】
【数1】 そして、3次元立体を投影する投影面は、視点座標系の
x軸に垂直であるとし、また、視距離は前述のようにf
であるとすると、空間内の点Pを投影面であるU−V平
面上に投影した点P’の座標(x’,y’)は、 x’=−f・(x/z) y’=−f・(y/z) で示される。
【0031】・画像の生成と表示 そして、最終的にU−V平面内のスクリーン領域(図5
A)が表示画像(デバイス座標系)におけるピクセル
(画素)の列に変換されるが、その際のスクリーン内の
点P’に対応する表示画像上の点を図5Bに示すように
P''(x'',y'')とすると、座標値x'',y''はそれ
ぞれ、 x''=a・x’/h+a/2 y''=b・y’/v+b/2 で与えられる。ただし、hとvはそれぞれスクリーンの
横と縦の長さを、また、aとbはそれぞれ表示画像(デ
バイス座標系)の横と縦の画素数を示すものとする。
【0032】そして、この座標変換を用いて最終的な出
力画像内の画素に対応するスクリーン上の点(サンプル
ポイント)を考え、まず物体の内部に含まれるサンプル
ポイントを探し出し、さらにそれに対応する表示画像中
の画素をその点における物体上にテクスチャの色の値で
塗りつぶしていくことにより、UVN座標系に変換され
た物体が最終的な2次画像のピクセルの列に変換される
ことになる。なお、このような方法で複数個の物体を描
く場合、表示デバイスの画素ごとに奥行き情報を格納す
る領域(Zバッファ)を設け、この領域を用いて複数個
の物体の奥行きを比較し隠れた面を消去する手法(隠面
消去法)が用いられるのが一般的である。
【0033】<3.CGアニメーション処理>以下、本
発明の実施例におけるCGアニメーション処理を図面に
基づき詳細に説明する。
【0034】図1は本発明の一実施例のコンピュータグ
ラフィックス装置を示したものである。
【0035】図において、2はCGアニメーション処理
のスタート、物体にマッピングするテクスチャの選択、
およびテクスチャアニメーションの選択、およびCGア
ニメーション処理実行中のテクスチャアニメーション状
態値の変更等の指示を与えるコマンド入力装置であり、
たとえばキーボードが用いられる。
【0036】3は物体のモデリングデータ、視点条件等
の初期値の入力を行うためのデータ入力装置であり、た
とえばマウスが用いられる。
【0037】4はテクスチャ用画像を入力するための画
像入力装置であり、たとえばドラムスキャナが用いられ
る。
【0038】5はテクスチャ用画像を撮影するための撮
影装置であり、たとえば写真機が用いられる。
【0039】6は各種変数の更新、および物体のモデリ
ングデータ、視点条件、画像処理後のテクスチャ画像に
よる表示画像のレンダリング処理等を行う演算装置であ
る。
【0040】7は物体のモデリングデータ、視点条件、
およびアニメーション変数等の各種データを格納するフ
ァイル装置(ハードディスクや光磁気ディスク装置等)
である。
【0041】8はレンダリング処理により生成された表
示画像を表示するための表示装置であり、たとえば、C
RTモニタが用いられる。
【0042】9は2次元画像に対し後述のモザイク処理
を施した画像を生成する画像処理装置1である。
【0043】10は2次元画像に対し同じく後述の色変
換処理を施した画像を生成する画像処理装置である。
【0044】11は視点位置の移動、および視点の方位
角、仰角の変化を入力するための視点入力装置であり、
たとえばスペースボールが用いられる。スペースボール
は一般的には図6Aのような形をしており、その球状の
部分を微妙に動かすことで任意の方向への移動、および
任意の軸を中心とした回転を検出する装置である。本実
施例では、図6Aのように、ある方向にボールの中心が
動いた場合には、その移動ベクトルのX,Y,Zの各移
動量成分Dx,Dy,Dzを出力し、また、図6Bのよ
うにある軸を中心としてボールが回転した場合には、そ
の方位角と仰角の各回転量成分Dα,Dβを出力するも
のとする。
【0045】1は制御装置であり、コマンド入力装置
2、データ入力装置3、画像入力装置5、演算装置6、
ファイル装置7、表示装置8を制御するものである。ま
た、この制御装置1には、不図示のメモリがあって、フ
ァイル装置7に予め記憶されているOS(オペレーティ
ングシステム)や後述する図9、10のフローチャート
にかかるプログラムをロードし、実行する。
【0046】以上のように構成されたコンピュータグラ
フィックス装置について、本実施例ではリアルタイムC
Gアニメーションの場合につき、データの流れにしたが
って説明する。
【0047】まず、ユーザがコマンド入力装置2である
キーボードのキーを押すことでCGアニメーション処理
が開始する。次に形状データの入力待ち状態になり、ユ
ーザは複数の物体の形状データを系モデリング座標系
(モデリング座標系はワールド座標系と一致しているも
のとする)における座標値を用いて入力することで物体
の形状モデリングを行う。次に、視点条件(視点座標,
視角(画角),仰角,方位角,スクリーンまでの距離)
の初期化が行われる。次に、図1において、撮影装置5
によって撮影されたテクスチャ用の入力画像、たとえば
風景の入力画像は画像入力装置4によってA/D(アナ
ログ/デジタル)変換され、ファイル装置7に格納され
る。ここで、便宜上入力画像の各画素構成する赤,緑,
青のデータをそれぞれR,G,Bで表す。また1画素は
各成分8ビット構成、すなわち256階調で表現可能な
データであり、最高輝度を255、最低輝度を0とする
が、本発明はこれに限定されるものではない。なお、本
実施例では、この画像入力の際に、制御装置1によって
指定された画像の読み取りピッチによって、入力画像の
縦横の画素数が決定する。次にユーザはモデリングした
複数の物体それぞれにつき、マッピングするテクスチャ
アニメーションをあらかじめ登録されているアニメーシ
ョン処理群の中から選択する。そして、それぞれの物体
につき指定されたテクスチャアニメーションの初期状態
値を入力する。そしてすべての値の初期化が完了した
ら、CGアニメーション開始待ち状態となり、ユーザよ
り開始の命令が下されるとCGアニメーションがスター
トする。そして、次にユーザからのコマンド受付チェッ
クが行われる。この際、ユーザによる命令が無い場合に
は、そのままの視点条件、テクスチャアニメーション状
態値を基に前述の方法で画像のレンダリング処理および
表示が行われる。ただし、たとえ視点条件が変化しなく
ても物体上のテクスチャアニメーションは初期値の状態
を保って(テクスチャアニメーションの速度を示す状態
値に応じて)変化する。反対に、もしユーザによる視点
条件の変化、およびテクスチャアニメーション状態値の
変化の命令があったら、その変化に応じた画像のレンダ
リングおよび表示が行われることになる。また、同様に
コマンド受付チェックの際、CGアニメーション終了の
命令が下されるとCGアニメーション処理は終了する。
なお、本実施例における画像のレンダリング処理の中で
は、従来例で述べたシェーディングは特に触れていない
が、本発明はこれに限定されるものではない。
【0048】ここで本実施例における2つの画像処理
法(モザイク処理,色変換処理)について説明する。
【0049】まず、本実施例におけるモザイク処理につ
いて説明する。モザイク処理は、図7に示すように、画
像をある一定の画素数(単位画素数)を一辺とする正方
形領域に分割し、個々の領域に含まれるすべての画素を
その領域中のある一つの画素(代表画素:図の場合は正
方形領域の最も左上のグレーで色付けされた点)の色の
値で置き換える処理のことをいう。ただし、分割は画像
の左上の点を基準点として行われ、画像の右端と下端に
接した領域で片の長さが単位画素に満たない場合はその
場合にできる長方形領域を同様に代表画素の色で塗りつ
ぶすこととする。
【0050】また、本実施例における色変換処理とは、
R,G,Bそれぞれの色に対する変化量を設定し、画像
におけるすべての画素のR,G,Bのそれぞれの値に対
し、対応する色の変化量を加算(または減算)する処理
のことである。ただし、この加算(または減算)によっ
て求められた新しい値が、0より小さい場合は新しい値
を0とし、また255より大きい場合は新しい値を25
5とするものとする。ここで、N個の画素で構成された
画像のi番目の画素の色を(Ri,Gi,Bi)(i=
1,…,N)、RGBそれぞれの色の変化量をSR ,S
G ,SB とすると、この色変換処理は次式で与えられ
る。
【0051】 Ri←Ri+SR Gi←Gi+SG (i=1,…,N) Bi←Bi+SB 以上に説明した画像処理装置は、以下のCGアニメーシ
ョン処理の中で用いられる。
【0052】次に、本実施例におけるテクスチャマッピ
ング方法について説明する。
【0053】図8は、空間内の物体へのテクスチャマッ
ピングの代表的手法であるパースペクティブ・コーディ
ネート(投射コーディネート)を示した図である。ま
ず、空間上に投影の中心となる点Pを置き、この点を中
心として、3次元物体をすっぽり含むような四角錐P−
ABCDを考える(ただし四角形ABCDは長方形であ
るとする)。また、四角形ABCDの2本の対角線の交
点をMとする。そして、点Pと物体との間に、PMと垂
直になる平面gを置き、この平面が四角錐を切り取る矩
形領域をA’B’C’D’とする。また、四角形A’
B’C’D’の2本の対角線の交点をM’とする。ここ
で、テクスチャ画像を表す領域をEFGHとし、EFG
Hの2本の対角線の交点をM''とする。そして、M''を
M’に重ね、テクスチャEFGHが四角形A’B’C’
D’をすっぽり囲むように配置した状態で、点Pからの
投影を行い、物体上にテクスチャの一部分をマッピング
する(図では、テクスチャに描かれた“M”が球状の物
体の表面へマッピングされている)。たとえば、図8の
ようにテクスチャマッピングを施した球状の物体をある
視点条件において見た場合に、スクリーン上に投影され
る像は、図11Aのようになり、また、それとは異なる
視点条件で見た場合に投影される像は図11Bのように
なる。
【0054】尚、以下の説明では、説明を簡単にするた
め、物体としては一つの平面からなるもののみを扱う
が、本発明はこれに限られたものではない。
【0055】以上に説明したテクスチャマッピングの方
法は以下のCGアニメーション処理の中で用いられる。
【0056】次に、本実施例におけるCGアニメーショ
ン処理について説明する。
【0057】図9は、本実施例におけるCGアニメーシ
ョン処理を示したフローチャートである。
【0058】以下、データの流れにしたがって処理方法
を詳細に説明する。
【0059】<ステップS1の説明> 1−1 ユーザは四角形の座標データの入力を行う。このとき、
制御装置1は表示装置8に対して、 “四角形の座標データを入力して下さい。−−−>” というメッセージを表示し、ユーザによるコマンド入力
装置2よりの入力を促し、その入力を待つ。
【0060】ここで、ユーザはキーボードによりこのメ
ッセージに続けて、例えば、 “4 1.0 0.0 0.0 2.0 0.0 0.0 2.0 1.0 0.0 1.0 1.0 1.
0 0.0” とタイプし、最後にリターンキーを押すとこれらの数値
データが四角形座標データとしてファイル装置7に格納
される(スペースがデリミタになる)。但し、これらの
数値データのうち、第1番目の数値が四角形の頂点の数
を、また2番目から4番目、5番目から7番目、8番目
から10番目、11番目から13番目の3個毎の数値の
組みがそれぞれの四角形の各頂点のx,y,z座標を示
している。
【0061】1−2 次に、ユーザは四角形の面ループデータを入力する。す
なわち、制御装置1は表装置8に、 “四角形の面ループデータを入力して下さい。−−−
>” というメッセージを表示し、コマンド入力装置2である
キーボードをコマンド入力待ち状態とする。ここで、ユ
ーザはキーボードよりこの表示応答すべく、例えば、 “1 4 1 2 3 4” とタイプし、最後にリターンキーを押す。これによりこ
れらの数値データが四角形の面ループデータとしてファ
イル装置7に格納される。但し、これらの数値のうち、
1番目の数値が物体を構成する面の数を、2番目の数値
が面ループの構成する頂点数を、また3番目から6番目
までの数値が四角形の面の頂点番号列を示している。
【0062】1−3 次にユーザは、三角形の座標データの入力を行う。すな
わち、制御装置1は表示装置8に次のようなメッセージ
を表示し、コマンド入力装置2による入力を促す。
【0063】 “三角形の座標データを入力して下さい。−−−>” これを受け、ユーザはキーボードにより続けて、例え
ば、 “3 -1.0 0.0 0.0 -1.0 1.0 0.0 -2.0 0.0 0.0” とタイプし、最後にリターンキーを押す。これにより、
これらの数値データが三角形の座標データとしてファイ
ル装置7に格納される。ただし、第1番目の数値は3角
形の頂点数、2番目から4番目、5番目から7番目、8
番目から10番目の3個毎の数値の組みが三角形のx,
y,z座標を示している。
【0064】1−4 次に、ユーザは三角形の面ループデータを入力する。す
なわち、制御装置1は表装置8に、 “三角形の面ループデータを入力して下さい。−−−
>” というメッセージを表示し、コマンド入力装置2である
キーボードをコマンド入力待ち状態とする。ここで、ユ
ーザはキーボードよりこの表示応答すべく、例えば、 “1 3 1 2 3” とタイプし、最後にリターンキーを押す。これによりこ
れらの数値データが三角形の面ループデータとしてファ
イル装置7に格納される。但し、これらの数値のうち、
1番目の数値が物体を構成する面の数を、2番目の数値
が面ループの構成する頂点数を、また3番目から5番目
までの数値が三角形の面の頂点番号列を示している。
【0065】<ステップS2の説明> 次にユーザは視点条件データの初期値の入力を行う。
【0066】このため、制御装置1は表示装置8に、 “視点条件を入力して下さい。−−−>” とうメッセージを表示し、コマンド入力装置2であるキ
ーボードよりの入力を促す。ユーザはこのメッセージが
表示されると、例えば、 “0.0 0.0 -10.0 2.0 0.0 0.0 5.0” とタイプし、最後にリターンキーを押す。これで、これ
らの数値データが視点条件データの初期値としてファイ
ル装置7に格納される。但し、これらの数値のうち、1
番目から3番目までの数値は視点座標Pe(Xe,Ye,
Ze)の各座標を、また4番目から7番目の数値がそれ
ぞれ視角θ、方位角α、仰角β、視距離fを示すもので
ある。そして、これらの値と表示画像の縦横の画素数
a,bを用い、スクリーン縦横の長さhとvがそれぞれ
前述した(式−5)、(式−6)により計算される。
【0067】<ステップ3の説明>次に、ユーザは撮影
装置5で撮影された風景と人物の2枚の写真原稿を、画
像入力装置4であるたとえばドラムスキャナのドラム上
に貼り付け、コマンド入力装置2から処理開始の命令を
制御装置1へ送る。制御装置1は、処理開始の命令を受
け取ると、画像入力装置4にスキャン開始の命令を送
る。そして、入力装置4は、スキャン開始の命令を受け
取ると、ドラムに貼り付けられた画像をスキャンして、
入力画像のたとえば8ビット量子化データを出力する。
そして、制御装置1は画像入力装置4が出力した2個の
画像データをテクスチャ画像としてファイル装置7内に
格納する。
【0068】またこの際、演算装置6の写真原稿の横の
長さa1、縦の長さb1、人物の写真原稿の横の長さa
2、縦の長さb2および画像入力の際の読み取りピッチ
pより、風景の画像の横と縦の画素数X1,Y1、およ
び人物の画像の横と縦の画素数X2,Y2を次式により
計算し、ファイル装置7内に格納する。
【0069】X1=a1/p Y1=b1/p X2=a2/p Y2=b2/p <ステップ4の説明>制御装置1は、コマンド入力装置
2をコマンド入力待ち状態とし、ユーザが前述の四角形
と三角形それぞれの物体につきマッピングするテクスチ
ャ画像を、たとえば 四角形→風景のテクスチャ 三角形→人物のテクスチャ のように指定する。
【0070】<ステップS5の説明>制御装置1は、コ
マンド入力装置2をコマンド入力待ち状態とし、ユーザ
は前述の四角形と三角形それぞれの物体にマッピングす
るテクスチャ画像のためのテクスチャアニメーションを
たとえば、 四角形物体→モザイク処理 三角形物体→色変換処理 のように指定する。
【0071】<ステップS6の説明>制御装置1は、デ
ータ入力装置3をデータ入力待ち状態とし、ユーザは各
物体上で実行されるテクスチャアニメーション状態値の
入力を以下のように行う。
【0072】まず、四角形上で実行されるモザイク処理
のためのテクスチャアニメーション状態値を、たとえば モザイクの単位画素数N=5 モザイクの単位画素数の変化のスピードSm=2 モザイクの単位画素数の変化の増減方向Dm=1 モザイクの単位画素数の最小値Nmin=1 モザイクの単位画素数の最大値Nmax=100 で入力し初期化を行う。ただし、モザイクの単位画素数
の変化の増減方向は1(増加)または−1(減少)のど
ちらかの値をとるものとする。
【0073】また、三角形の物体上で実行される色変換
処理のテクスチャアニメーション状態値を、たとえば、 Rの変化スピードSR =10 Rの変化の増減方向DR =1 Gの変化スピードSG =20 Gの変化の増減方向DG =−1 Bの変化スピードSB =30 Bの変化の増減方向DB =−1 で入力し初期化を行う。ただし、R,G,Bそれぞれの
色の変化の増減方向は1(増加)または−1(減少)の
どちらかの値をとるものとする。そして、入力されたこ
れらの値はファイル装置7内に格納される。
【0074】<ステップS7の説明>次に、制御装置1
の命令により、コマンド入力装置2はコマンド入力待ち
状態となり、ユーザがYESを入力すると次のステップ
へ進み(CGアニメーションが開始し)、NOを入力す
るとステップS1に戻る(最初からやり直す)。
【0075】<ステップS8の説明>制御装置1の命令
により、CGアニメーション主要部の処理を行い、しか
るべき終了命令が下されるとCGアニメーション処理は
終了する。
【0076】次にCGアニメーション処理の主要部であ
る前述のステップS8で行われる処理について説明す
る。
【0077】図10はCGアニメーションの主要部で行
われる処理を示したフローチャートである。
【0078】以下、データの流れにしたがって処理方法
を詳細に説明する。
【0079】<ステップT1の説明>制御装置1の命令
により、コマンド入力装置2はコマンド入力チェック状
態となり、ユーザからCGアニメーション終了の命令が
あった場合はCGアニメーション処理を終了し、なかっ
た場合は次のステップへ進む。
【0080】<ステップT2の説明>制御装置1の命令
により、視点入力装置11であるスペースボールは移動
ベクトルにおけるX,Y,Z方向のそれぞれ成分Dx ,
Dy ,Dz 、および、回転方向における左右と上下それ
ぞれの回転成分Dα,Dβを測定し、ファイル装置7内
に格納する。
【0081】<ステップT3の説明>制御装置1の命令
により、演算装置4はファイル装置7内のDx ,Dy ,
Dzを用い、視点の位置Xe,Ye,Zeを次式で更新
する。
【0082】Xe←Xe+Dx Ye←Ye+Dy Ze←Ze+Dz また、同じくファイル装置7内のDαとDβを用い、方
位角αと仰角βを次式で更新する。
【0083】α←α+Dα β←β+Dβ そして、これらの新しいXe,Ye,Ze,α,βはフ
ァイル装置7内に格納される。
【0084】<ステップT4の説明>制御装置1の命令
により、演算装置4はファイル装置7内のDx ,Dy ,
Dz,Dα,Dβを用いてアニメーション状態値の更新
を行う。
【0085】まず、演算装置4はDα,Dβを用いて四
角形上のモザイク処理を示すテクスチャアニメーション
状態値の更新を、たとえば次のように行う。
【0086】Sm←Sm+omit(Dα) Dm←Dm*mark(Dβ) N←N+Sm*Dm (ただし、N<Nminの場合:N←Nmin、 また、N>Nmaxの場合:N←Nmaxとする) Nmin←Nmin (変化なし) Nmax←Nmax (変化なし) ただし、omit(x)はxの小数点以下を切り捨てる
関数、またmark(x)はxの符号が正か負によりそ
れぞれ1と−1を返す関数であるとする。
【0087】次に、演算装置6はDx ,Dy ,Dz を用
いて三角形上の色変換処理を示すアニメーション状態値
の更新を、たとえば次のように行う。
【0088】SR ←SR +omit(Dx ) DR ←DR *mark(Dy ) SG ←SG +omit(Dy ) DG ←DG *mark(Dz ) SB ←SB +omit(Dz ) DB ←DB *mark(Dx ) そして、これらの更新値はファイル7内に格納される。
【0089】<ステップT5の説明>制御装置1の命令
により、画像処理装置9は四角形の物体のテクスチャア
ニメーション状態変数を用いて、同じく四角形の物体に
指定されたファイル装置7内の風景の画像に対し、同じ
く四角形物体に指定されたモザイク処理を施す。
【0090】また同様に、制御装置1の命令により、画
像処理装置10は三角形物体のテクスチャアニメーショ
ン状態変数を用いて、三角形物体に指定されたファイル
装置7内の人物の画像に対し、同じく三角形物体に指定
された色変換処理を施す。
【0091】そして、処理後の2つのテクスチャ画像は
ファイル装置7内へ格納される。
【0092】<ステップT6の説明>制御装置1の命令
により、演算装置6は画像のレンダリング処理を行う。
【0093】まず、演算装置6は生成画像とおなじ大き
さの背景画像を作成し、すべての画素をたとえば黒の
色、 (R,G,B)=(0,0,0) で初期化する。
【0094】そして、演算装置6は前述のレンダリング
方法により、ファイル装置7内の視点条件値を用いて、
空間内の四角形物体に、同じくファイル装置7内のモザ
イク処理後のテクスチャをマッピングを施した物体を作
成された背景画像上のしかるべき位置に描写する。
【0095】また、同様に演算装置6は前述のレンダリ
ング方法により、ファイル装置7内の視点条件値を用い
て、空間内の三角形物体に、同じくファイル装置7内の
色変換処理後のテクスチャをマッピングを施した物体を
背景画像のしかるべき位置に描写する。
【0096】ただし、これら2つの平面物体へのテクス
チャマッピングは、前述のパースペクティブ・コーディ
ネートにおける投影の中心軸が平面物体と垂直になるよ
うに設定され行われるものとする。
【0097】この結果得られた生成画像は、ファイル装
置7内に格納される。
【0098】<ステップT7の説明>制御装置1の命令
により、表示装置8はファイル装置7内の生成画像を表
示した(生成画像を表示装置へ出力)後、ステップS8
へ戻る。
【0099】以上説明したように、本実施例によれば、
3次元空間内に存在する複数個の物体それぞれにテクス
チャアニメーション状態値を持たせ、アニメーション進
行中に前記テクスチャアニメーション状態値を変化させ
て、個々の物体ごとに独立したテクスチャアニメーショ
ンを実行することで、従来にないアート性に満ちたCG
アニメーションを実現することを特徴とするコンピュー
タグラフィックス装置を提供することができる。これに
より、あらかじめ複数のテクスチャアニメーション手法
を用意しておけば、入力したテクスチャ用画像の個数が
たとえ少ない場合も、その少ない画像を用いてバリエー
ションに富んだ変化を持つテクスチャアニメーションが
可能となる。
【0100】なお、本発明は、複数の機器から構成され
るシステムに適用しても、1つの機器からなるシステム
に適用してもよい。また、本発明は、システムあるいは
装置にプログラムを供給することで実現される場合にも
適用できることはいうまでもない。
【0101】
【発明の効果】以上に説明したように、本発明によれ
ば、3次元空間内に存在する複数個の物体それぞれにテ
クスチャアニメーション状態値を持たせ、CGアニメー
ション進行中に前記テクスチャアニメーション状態値を
変化させ、個々の物体ごとに独立したテクスチャアニメ
ーションを実行することで、従来にないアート性に満ち
たCGアニメーションを実現することを特徴とするコン
ピュータグラフィックス装置を提供することができる。
【0102】これにより、入力したテクスチャ用画像の
個数がたとえ少ない場合も、その少ない画像を用いてバ
リエーションに富んだ変化のテクスチャアニメーション
を持ったCGアニメーションが可能となる。
【0103】
【図面の簡単な説明】
【図1】本発明実施例のコンピュータグラフィックス装
置を示した図である。
【図2】モデリング座標系における3次元物体を示した
図である。
【図3】投影変換のための4つの座標系を示した図であ
る。
【図4】投影変換を示した図である。
【図5A】実施例におけるスクリー(UVN座標系)を
示す図である。
【図5B】実施例における表示画像(デバイス座標系)
を示す図である。
【図6A】スペースボールを構造図である。
【図6B】スペースボールを構造図である。
【図7】モザイク処理を説明する図である。
【図8】テクスチャマッピングの様子を示した図であ
る。
【図9】CGアニメーション処理全体を示したフローチ
ャートである。
【図10】CGアニメーション処理の主要部分の処理を
示したフローチャートである。
【図11A】図8における物体のある視点条件の下での
投影像を示す図である。
【図11B】図8における物体の他の視点条件の下での
投影像を示す図である。
【符号の説明】
1 制御装置 2 コマンド入力装置 3 データ入力装置 4 画像入力装置 5 撮影装置 6 演算装置 7 ファイル装置 8 表示装置 9、10 画像処理装置
フロントページの続き (56)参考文献 特開 平1−131976(JP,A) 特開 昭61−90275(JP,A) 特開 昭62−95666(JP,A) 土肥浩 外1名,”小規模並列プロセ ッサによる擬人化エージェント動画像の 実時間生成”,画像電子学会誌,画像電 子学会,1993年 6月25日,第22巻,第 3号,p.240−246 (58)調査した分野(Int.Cl.7,DB名) G06T 15/70 G06T 15/00 CSDB(日本国特許庁)

Claims (8)

    (57)【特許請求の範囲】
  1. 【請求項1】 物体の3次元形状データを入力すること
    でモデリングを行うデータ入力手段と、 テクスチャ画像データを入力する画像入力手段と、該画像入力手段で入力したテクスチャ画像データに対し
    て所定のアニメーション処理を行う際に利用する状態値
    を初期値として入力する状態値入力手段と、 該状態値入力手段で入力した状態値を、当該状態値で設
    定された変更速度情報に基づいて更新する状態値更新手
    段と、 状態値に基づいて、前記テクスチャ画像を加工する画像
    処理手段と、 該画像処理手段により生成されたテクスチャ画像を、前
    記3次元形状データの面にテクスチャマッピングを行っ
    てテクスチャマッピングを施した画像を生成する画像生
    成手段と、 生成された画像を表示する画像表示手段とを備えること
    を特徴とする画像処理装置。
  2. 【請求項2】 更に、前記画像表示手段による3次元物
    体の表示を行っている最中に、視点を変更する変更手段
    を備えることを特徴とする請求項1に記載の画像処理装
    置。
  3. 【請求項3】 前記テクスチャアニメーション内のアニ
    メーション状態値は前記コンピュータグラフィックスア
    ニメーション実行中において可変であることを特徴とす
    る請求項第1項に記載の画像処理装置。
  4. 【請求項4】 複数個の物体の3次元形状データそれぞ
    れに独立したテクスチャ画像データの入力、状態値の入
    力、状態値の更新、画像処理、及び、画像生成を行な
    い、前記表示手段で前記複数の物体の画像を表示する
    とを特徴とする請求項第1項に記載の画像処理装置。
  5. 【請求項5】 物体の3次元形状データを入力すること
    でモデリングを行うデータ入力工程と、 テクスチャ画像データを入力する画像入力工程と、該画像入力工程で入力したテクスチャ画像データに対し
    て所定のアニメーション処理を行う際に利用する状態値
    を初期値として入力する状態値入力工程と、 該状態値入力工程で入力した状態値を、当該状態値で設
    定された変更速度情報に基づいて更新する状態値更新工
    程と、 状態値に基づいて、前記テクスチャ画像を加工する画像
    処理工程と、 該画像処理工程により生成されたテクスチャ画像を、前
    記3次元形状データの面にテクスチャマッピングを行っ
    てテクスチャマッピングを施した画像を生成する画像生
    成工程と、 生成された画像を表示する画像表示工程とを備えること
    を特徴とする画像処理方法。
  6. 【請求項6】 更に、前記画像表示工程による3次元物
    体の表示を行っている最中に、視点を変更する変更工程
    を備えることを特徴とする請求項5に記載の画像処理方
    法。
  7. 【請求項7】 前記テクスチャアニメーション内のアニ
    メーション状態値は前記コンピュータグラフィックスア
    ニメーション実行中において可変であることを特徴とす
    る請求項第5項に記載の画像処理方法。
  8. 【請求項8】 複数個の物体の3次元形状データそれぞ
    れに独立したテクスチャ画像データの入力、状態値の入
    力、状態値の更新、画像処理、及び、画像生成を行な
    い、前記表示工程で前記複数の物体の画像を表示する
    とを特徴とする請求項第5項に記載の画像処理方法。
JP23470093A 1993-09-21 1993-09-21 画像処理装置及びその方法 Expired - Fee Related JP3453410B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP23470093A JP3453410B2 (ja) 1993-09-21 1993-09-21 画像処理装置及びその方法
US08/307,152 US5687307A (en) 1993-09-21 1994-09-16 Computer graphic animation in which texture animation is independently performed on a plurality of objects in three-dimensional space

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP23470093A JP3453410B2 (ja) 1993-09-21 1993-09-21 画像処理装置及びその方法

Publications (2)

Publication Number Publication Date
JPH0793587A JPH0793587A (ja) 1995-04-07
JP3453410B2 true JP3453410B2 (ja) 2003-10-06

Family

ID=16975036

Family Applications (1)

Application Number Title Priority Date Filing Date
JP23470093A Expired - Fee Related JP3453410B2 (ja) 1993-09-21 1993-09-21 画像処理装置及びその方法

Country Status (1)

Country Link
JP (1) JP3453410B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL2011182C2 (en) * 2013-07-17 2015-01-21 Aesthetic Interactions B V Luminaire system.

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
土肥浩 外1名,"小規模並列プロセッサによる擬人化エージェント動画像の実時間生成",画像電子学会誌,画像電子学会,1993年 6月25日,第22巻,第3号,p.240−246

Also Published As

Publication number Publication date
JPH0793587A (ja) 1995-04-07

Similar Documents

Publication Publication Date Title
US5687307A (en) Computer graphic animation in which texture animation is independently performed on a plurality of objects in three-dimensional space
US6222551B1 (en) Methods and apparatus for providing 3D viewpoint selection in a server/client arrangement
US5856829A (en) Inverse Z-buffer and video display system having list-based control mechanism for time-deferred instructing of 3D rendering engine that also responds to supervisory immediate commands
US8144158B2 (en) Display system having floating point rasterization and floating point framebuffering
US5561745A (en) Computer graphics for animation by time-sequenced textures
US5680525A (en) Three-dimensional graphic system with an editor for generating a textrue mapping image
US6151026A (en) Image processing apparatus and image processing method
US5877769A (en) Image processing apparatus and method
US20080246760A1 (en) Method and apparatus for mapping texture onto 3-dimensional object model
JP3626144B2 (ja) 立体オブジェクトデータからの漫画的表現の2次元画像の生成方法および生成プログラム
JP3179392B2 (ja) 画像処理装置及び画像処理方法
US6744440B1 (en) Image processing apparatus, recording medium, and program
JP2003115055A (ja) 画像生成装置
JP3501479B2 (ja) 画像処理装置
JP2003168130A (ja) リアルタイムで合成シーンのフォトリアルなレンダリングをプレビューするための方法
JP3278501B2 (ja) 画像処理装置および方法
JP3453410B2 (ja) 画像処理装置及びその方法
JP3850080B2 (ja) 画像生成表示装置
JP3712015B2 (ja) 画像作成装置および方法
JPH05342368A (ja) 3次元画像生成方法及び装置
JP2000057372A (ja) 画像処理装置、画像処理方法及び記憶媒体
JP3749373B2 (ja) 三次元立体構造体の二次元表示方法
JP3441804B2 (ja) 画像処理装置及び方法
JP3538248B2 (ja) 画像合成装置及び画像合成方法
JP2000067266A (ja) ラスターイメージの表示方法及び編集方法並びにそれらを利用したコンピュータ支援図形処理システム

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20030704

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070718

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080718

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080718

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090718

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090718

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100718

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100718

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110718

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120718

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120718

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130718

Year of fee payment: 10

LAPS Cancellation because of no payment of annual fees