JP3610295B2 - How to find a surface expression that represents a free-form surface - Google Patents

How to find a surface expression that represents a free-form surface Download PDF

Info

Publication number
JP3610295B2
JP3610295B2 JP2000304968A JP2000304968A JP3610295B2 JP 3610295 B2 JP3610295 B2 JP 3610295B2 JP 2000304968 A JP2000304968 A JP 2000304968A JP 2000304968 A JP2000304968 A JP 2000304968A JP 3610295 B2 JP3610295 B2 JP 3610295B2
Authority
JP
Japan
Prior art keywords
point
curved surface
smoothing
points
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000304968A
Other languages
Japanese (ja)
Other versions
JP2002108955A (en
Inventor
正毅 東
昌明 大平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota School Foundation
Nihon Unisys Ltd
Original Assignee
Toyota School Foundation
Nihon Unisys Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota School Foundation, Nihon Unisys Ltd filed Critical Toyota School Foundation
Priority to JP2000304968A priority Critical patent/JP3610295B2/en
Publication of JP2002108955A publication Critical patent/JP2002108955A/en
Application granted granted Critical
Publication of JP3610295B2 publication Critical patent/JP3610295B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/80Technologies aiming to reduce greenhouse gasses emissions common to all road transportation technologies
    • Y02T10/82Elements for improving aerodynamics

Landscapes

  • Complex Calculations (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、自由曲面を表す曲面式を求める方法に関するものであり、特に、複雑な自由曲面から構成された意匠形状を計測した測定データに曲面式を当てはめる方法に関するものである。
【0002】
【従来の技術】
測定技術や情報技術の進展に伴って、自動車や家電製品を中心に意匠形状を有する製品開発のために、作成した立体モデルから計算機の内部モデルを作成するリバースエンジニアリング技術が利用されている(例えば、青山英紀:形状モデリングのためのリバースエンジニアリング、設計工学,32,10(1997)381.、およびT. Varady、R. Martin and J. Cpx:Reverse Engineering of Geometric Models An Introduction、Computer Aided Design、29,4(1997) 255.等参照)。。これらの形状は複雑な自由曲面より成り、また、測定データは大量でかつ誤差を含んでいるが(例えば、後藤孝行、三好隆志、高谷裕浩、枝光毅彦:曲率を考慮したB−スプライン曲線の測定データへのあてはめ、精密工学会誌,60,7(1994)964、および倉賀野哲造、斉藤勝、黒田満、古川進:測定点データに基づ自由曲線・曲面のモデル化法、精密工学会誌、65,3(1999)381.等参照)、現在市販されているシステムでは、そのまま金型を製作できるような曲率変化の滑らかな高品質のモデルを作成することは難しかった。
【0003】
一方、コンピュータグラフィックス(CG)の分野では、これほどの精度を必要とせず、多面体での表示を目的としていることが多いため、三角形格子を中心とした技術が研究されている(例えば、鈴木宏正:CGにおける形状再構成技術、設計工学,32,10(1997)392.等参照)。この中でも、測定誤差を含んだデータを処理するため、多量のデータを処理するため、多量のデータを取り扱う技術と共に、誤差の平準化の処理も研究されているが(例えば、M. Eck and H. Hopper: Automatic Reconstruction of B−Spline Surface of Arbitrary Topological Type、Proc. ACM SIGGRAPH’96、ACM Press(1996)325.、神島泰章、鈴木宏正、金井崇、木村文彦:測定点群からなる三角形メッシュ生成(第2報)、精密工学会誌、64,10(1998)1461.および鈴木宏正、神島泰章、金井崇、木村文彦:測定点群からなる三角形メッシュ生成(第1報)、精密工学会誌、64,9(1998)1314.等参照)高品質な曲面生成を狙っていない。
【0004】
これに対し、意匠形状に対する自由曲面を取り扱う計算機支援形状設計の分野では、古くは穂坂氏の論文(M. Hosaka: Theory of Curves and Surface Synthesis and Their Smooth fitting、Information Processing in Japan,9(1969)60.)にある薄板とバネを用いたモデルのように、弾性エネルギを最小化することにより滑らかな曲面を生成する研究が盛んに行われている。その後、弾性エネルギなどの各種評価関数を用いて、全体としての最適化を図る研究が多数行われている(例えば、J. Hoschek and D. Lasser: Fundamentals of Computer Aided Geometric Design, A K Peters(1993等参照)。
【0005】
【発明が解決しようとする課題】
しかしながら、これらの従来の方法では誤差の中に異常データを含むとその影響が結果に表れ、測定データを対象にすると必ずしも良い結果が得られない。
【0006】
そこで、自動車の意匠形状などの高品質曲面を対象として曲率変化に関する評価基準を導入し、全体の中からこれが最大となる点を逐次取りだしては局所的に平準化を繰り返し計算する方法が研究されている。この方法を最初に提案したのは、ファリン(Farin)氏等である(例えば、G. Farin,N. Sapidis and J. Worsey: Firing Cubic B−Spline Curves、Computer Aided Geometric Design,4(1987)91.およびN. Sapidis and G. Farin: Automatic Fairring Algorithm for B−Spline Curves、Comuter Aided Design,22, 2(1990)121.等参照)。ファリン氏等は、入力点列をBスプライン(B−spline)曲線として当てはめた後に、接続点での3階微分値、又は、曲率の微分値の差が最大の点を抽出し、その点を除去し再挿入することを繰り返すことにより、曲率プロット(線長を横軸に曲率を縦軸に示したグラフ)が滑らかとなる曲線を得ている。その後、Bスプライン(B−spline)曲線を用いず点群を平準化する方法として、離散的な曲率値を計算して、この差を局所的な評価基準とする方法が、エック(Eck)氏等によって示された(例えば、M. Eck and R. Japert: Automatic Fairing of Point Sets、in Designing Fair Curves and Surfaces、SIAM(1994)45.等参照)。また、最近では、ワグナー(Wagner)氏により、ロボットの経路を平滑化する手法として、曲率の代わりに点列の4階差分値を用いて、これを最小化する方法が提案されている(例えば、M.G.Wagner: Affine Invariant Fairing of Point Set, Proc. CIIST’98, CSREA Press,(1998)370.等参照)。以上の局所的な平滑化を繰り返す処理法は、誤差に対して影響されず曲率変化レベルでの高品質の曲面データに対しては、その適用法が示されていない。
【0007】
したがって、従来においては、例えば、リバースエンジニアリング等において、複雑な自由曲面から構成された意匠形状を再現したいような場合、その意匠形状を計測して得た点群データから先ず曲線を作成し、それら作成した曲線から面を作成するといった方法でモデリングを行っているのが先端技術であった。しかし、このような方法では、計測した意匠形状に近似した滑らかな曲面形状を再現して高品質なモデリングを行うには不十分である上、形状データの作成に時間と工数を要するという点でも問題が残っていた。
【0008】
本発明の目的は、前述したような従来技術の問題点を解消しうるような自由曲面を表す曲面式を求める方法を提供することである。
【0009】
【課題を解決するための手段】
本発明によれば、コンピュータグラフィックまたはリバースエンジニアリングにおいて自由曲面を表す曲面式を求める方法であって、該自由曲面を測定することによって得られた該自由曲面を示す測定データを、コンピュータを用いて点群データに分割し、該点群データにおける5点ごとの点列を4階差分商を用いて平滑化し、該平滑化された5点ごとの点列からなる点群データの各中央点の3次パラメトリック式を求め、該3次パラメトリック式に基づいて求めた5点ごとの点列からなる局所的点列データの中央点での曲面の1階、2階微分ベクトルを求め、これら微分ベクトルを4隅の微分ベクトルとする5次ベジエ曲面を生成することにより前記曲面式を得ることを特徴とする方法が提供される。ここでいう点群データは、測定点群、画像データ、色空間値、等の測定可能な値を持ったデータを総称するものである。
【0010】
本発明の一つの実施の形態によれば、前記点群データは、4辺格子上の格子点データであり、前記平滑化は、5点ごとの点列に対する局所的平滑基準を、前記4辺格子の一方をu方向、他の一方をv方向とする空間において、前記4辺格子を構成するu方向のパラメータ線とv方向のパラメータ線に対して求めた前記4階差分商の合計とし、前記点群データ全体における全体平滑基準を全格子点について求めた前記局所的平滑基準値の和とし、前記u方向およびv方向のパラメータ線を同時に平滑化するものである。
【0013】
【発明の実施の形態】
次に、添付図面に基づいて、本発明の実施の形態および実施例について本発明をより詳細に説明する。
本発明者等は、本発明の方法の開発過程において、4階差分商を用いた曲線データの平滑化法の理論を明確化し、曲率レベルの滑らかさを得ることが出来る事を示し、添付図面の図1のフロー図に略示するように、この方法を、格子データを対象とする曲面の平滑化法に拡張し(ブロック1)、さらに、平滑化された格子データに対して曲面式を当てはめて(ブロック2)、曲面の曲率(C)接続を行う(ブロック3)という手順をとると有効であることを確認した。以下、その実行例について説明することにより、その有効性を示す。
【0014】
(1)曲線データの平滑化
平滑化の手法
先ず、4階差分商を用いて局所的に点列データを平滑化する方法について説明する。前述のファリン氏の方法では、曲率プロットの滑らかな曲線を得るため曲率の変化に着目し、Bスプライン(B−spline)曲線の接続点における両側セグメントの、曲率微分値の差を計算して、局所的な評価基準値(Local Fairness)とし、これらを足し会わせた全体の評価値(Global Fairness)が減少しなくなるまで、局所基準値の最大の点を繰り返し修正して曲線形状を平滑化している。局所的な点位置の修正法としては、その点を除去して挿入することを行っている。これに対してワーグナ氏は、曲率の微分値に相当する3階微分値の差を点列の4階差分値で表現し,これを局所平滑基準値として、この値が最大となる点を4階差分値が0となる位置に修正する方法を提案した。両者に共通するのは、3階微分ベクトルの差を滑らかさ(滑らかでないこと)の評価基準とすることと、局所的に形状を修正しようとする点である。この平滑化結果は、実用的にほぼ満足するものが得られており、本手法でも基本的にこの考え方を採用し、さらに、局所的な平滑化として、両者とも3次パラメトリック曲線を用いていることに着目して、点の修正法を4階差分商から理論的に明らかにする。
【0015】
点列が接続点で3階微分値が連続であることは、局所的にその部分を3次式で近似できることと同値である。したがって、点列を考えた場合に5点ごとの区間が3次式で表せるとすると、ニュートン(Newton)氏の補間公式(J. Hoschek and D. Lasser: Fundamentals of Computer Aided Geometric Design ,A K Peters(1993)参照)より、中央点での4階差分商は0となる。この差分商の絶対値を局所基準値として考え、この値が大きな点を、一番滑らかでない、部位とする。入力

Figure 0003610295
Figure 0003610295
Figure 0003610295
Figure 0003610295
k区間の差分であり、
Figure 0003610295
Figure 0003610295
Figure 0003610295
である。式(1)の係数
Figure 0003610295
は、4階差分商の値を点列の間隔に会わせるスケールファクタであり、区間の大きさの3乗を掛けている。全体平滑化基準Fは、この局所平滑基準を全点列に対して加えて、
Figure 0003610295
となる。
【0016】
曲線の平滑化法としては、従来の局所的平滑化の繰り返し処理と同様に行う。
Figure 0003610295
が0になるように、点位置を修正する。これを全体平滑基準が減少しなくなるまで繰り返す。
【0017】
修正する点の位置は、4階差分商の値が0になることより、次の式より計算される。
Figure 0003610295
Figure 0003610295
Figure 0003610295
Figure 0003610295
Figure 0003610295
Figure 0003610295
ラメータが等間隔の場合には、式(8)は簡単になり、
Figure 0003610295
となる。これは、幾何学的にも図2に示すように簡潔に表される。
【0018】
端点処理と終了条件
前述の平滑化手法により、ほぼ滑らかな曲線が得られるが、二つの問題が残っている。一つは曲線の、両側端点部の処理であり、他の一つはどの様に繰り返し計算を終了するかの終了条件の問題である。
第1の問題は、点列の修正は中央点を対象とするため、端の2点に誤差が含まれていると、これが修正されずに必ず端から3点目が移動するため、図3に示すように端2点で定まる接線方向が固定され、曲線全体の形状が影響を受けることである。この問題に対しては、端が3点目の局所平滑基準値が最大の場合には、端側の2点と中央の点の3点を夫々4階差分商を0とすることで修正した場合の全体平滑基準値を算出し、これが一番小さい点を選択し修正することにする。図4の例の場合には、2点目の全体平滑基準値Fが最小となるので、この2番目の点が選ばれて修正される。
【0019】
第2の問題は、繰り返し計算を何処で止めるかである。単純に全体平滑基準値が減少しなくなる時点で計算を止めると、平滑化が十分行われない場合があり、これをやりすぎると図5に示すようにコーナ部のアールがやせてくる。そこで、特異点を除去するために、まず全体平滑基準値が減少しなくなるまで計算し、そこからは指定された誤差の最大値(トレーランス)以上移動した時点で、その前の全体平滑基準値が減少しない点にさかのぼって計算を終了することにする。
【0020】
実行例
前述のアルゴリズムを用いて計算した結果を図6の(a)に示す。これは、スパイラル曲線に対して、ランダムな誤差を付加して作成した入力点列を平滑化した結果である。図6の(b)および(c)に示す曲率プロット、曲率プロファイル(曲線に沿って曲率中心の1/10をプロットしたもの)ともに、入力点に比べて大幅に改善されていることが分かる。ここで、入力点の曲率値は、3点を用いて離散的に計算されている。
【0021】
図7の(a)は凹凸形状を含む複数のベジエ(Bezier) 曲線に対して、同様に誤差を付加したデータを平滑化した例である。この場合には、図7の(b)および(c)に示されるように、誤差による多数の曲率の反転が除去され、滑らかな曲率プロット、曲率プロファイルが得られている。なお、平滑化曲線の曲率値は両者とも、後述する曲線式への当てはめ結果を使用して計算している。
【0022】
(2)格子データの平滑化
平滑化手法
前述した曲線での平滑化手法を曲面へ拡張する。曲面のデータは、4辺形格子上に整列された格子点を扱う。入力点Pijとして、格子を構成する夫々の曲線のパラメータ方向に対して、差分商を定義する。
Figure 0003610295
Figure 0003610295
Figure 0003610295
Figure 0003610295
Figure 0003610295
【0023】
以上を用いて曲線の場合と同様に、局所平滑基準と全体平滑基準を定める。局所平滑基準はu方向のパラメータ線とv方向のパラメータ線に対するものの合計とし、全体平滑基準は全格子点に対する和とする。
Figure 0003610295
Figure 0003610295
Figure 0003610295
【0024】
格子の平滑化では、曲線の場合と同様に局所平滑基準の最大の点について、これを0とするように点位置を修正し、全体平滑基準が減少しなくなるまで繰り返す。点位置の修正では単純にu方向のパラメータ線とv方向のパラメータ線を交互に修正したり、両者の中間値をとるのでは、面として修正できず滑らかな結果を得ることができない。そこで,5×5の格子点について、両方向のパラメータ線を同時に平滑化することを考える。図8示すように、25点のうち16点を使って中央の9点を一度に修正する。中央の点以外はそれぞれのパラメータ線に沿って、曲線の4階差分商が0になる位置に修正し、中央点については、求められたそれぞれの4点を用いて、曲線の4階差分商が0となる位置に修正する。両者の位置は、同一の16点からどちらの方向を先に計算するかであるから、各点についての係数は両者とも同一であり、修正点は同一点となる。
【0025】
本手法の評価
単純に曲線としての平滑化を組み合わせた方法と本手法との比較を、例で示し、本手法の有効性を示す。図9は、双3次ベジエ曲線より19×12=228点の格子点を計算したものであり、これに格子間隔の1/10の誤差をランダムに与え、さらに意図的に異常に大きな誤差を数点与えたものが図10である。このデータに対して本手法を適用した結果が図11である。両方向のパラメータ線ともに滑らかとなっていることが分かる。
【0026】
これに対し、図12はu方向のパラメータ線とv方向のパラメータ線を交互に修正したものであり、図13は両方向で修正位置の中間位置を修正位置としたものである。前者では、後に平滑化されたv方向については滑らかとなっているが、u方向のパラメータ線は滑らかになっていない。一方後者の場合には、両方向の修正位置が逆向きとなると繰り返し計算を行っても点の位置は修正されず、滑らかな結果が得られない。これから、格子データを対象として一度に修正をする本手法の有効性が実証される。
【0027】
(3)曲面式の当てはめ
平滑化された格子データに対して、曲面式を当てはめる。格子データはパラメータ線に沿って平滑化されているので、まず、これを曲面式に当てはめる。平滑化では5点ごとの点列に対し、4階差分商が0となるように中央点を移動しているので、これからはほぼ3次式で近似できる。したがって、5点のデータを使って、中央のセグメントを3次パラメトリック式で表す。
【0028】
5点の点列(P,…,P i+4)に対するニュートン(Newton)の補間公式は、式(2)の差分ベクトルP を用いると、
Figure 0003610295
である。ここで、
Figure 0003610295
である。ただし、n(t)=1 である。
【0029】
4階差分商の大きさはほぼ0であるので、3階差分商までを使って中央セグメン
Figure 0003610295
線ベクトルとして、
Figure 0003610295
を得る。後ろの4点を使うと、
Figure 0003610295
Figure 0003610295
同様に終点での接線ベクトルを求めて、ハルミッテ(Hermite) 補間によりパラメトリック3次曲線を求める(図14参照)。
【0030】
以上の局所的のセグメントについての当てはめをすべてのu、vパラメータ線について求め、これらを4境界線としたパッチ式を、ク−ンズ(Coons) の双1次ブレンドにより計算する。続いて、求められた2x2のパッチについて、エイケン(Aitken) の式でブレンドして中央点での曲面の1階、2階微分ベクトルを求める。最後に、これらの微分ベクトルを4隅の微分ベクトルとする双5次ベジエ(Bezier) 曲面を生成する。この曲面は、パッチ間で2階微分ベクトルを共有しているので曲率(C)連続となっている(図15参照)。
【0031】
(4)実行例
前述したようなアルゴリズムで生成した曲面の例を示す。図16は、凹凸形状を有する曲面について、ランダムに発生した誤差と幾つかの大きな誤差のある43×19=819点格子データを平滑化し、曲面式を当てはめたものである。繰り返し回数は540回である。図16の(a)が入力データであり、図16の(b)が平滑化結果である。図16の(b)では、断面線を計算して示してある。この図から、滑らかな曲面が得られていることが分かる。
【0032】
前述したように、本発明の方法は、リバースエンジニアリングにおいて高品質なモデリングを行うことができるように、誤差を持つ格子上の測定データを平滑化するため、4階差分商をもとに局所平滑基準を計算し、この総和である全体平滑基準が最小となるように、繰り返し点列を平滑化していく手法を、例えば、5×5の格子点ついて、u、vパラメータ線を同時に考える事により、格子データの平滑化法に拡張し、その結果を曲面式として当てはめることにより、曲率変化がほぼ滑らかな曲率(C)連続な曲面形状を得ることができるようにしたものである。
【0033】
なお、前述したような本発明の方法は、コンピュータによる演算処理を通して実行するのにも適したものである。
【0034】
【発明の効果】
(1)点群データから当てはめた曲面式で、例えば、リバースエンジニアリングにて高品質なモデリングを行える。
(2)製品形状を高品質でデジタル化できるため、点群データから曲線を作成し、曲線から曲面を作成する従来の方法と比べ、製品形状データの作成の時間と工数を短縮することができる。
(3)製品と設計データの誤差評価の自動化を計れ、精度向上に役立つ。
(4)試作モデルを設計データに容易に変換できる。
(5)製品の点群データから当てはめた曲面式から、製品と誤差の少ない高品質な金型を作製できる。すなわち、点群データから、そのまま金型を製作できる曲率変化の曲率(C)連続な滑らかな高品質のモデルを作製できる。
【図面の簡単な説明】
【図1】本発明の方法の手順を概略的に示す図である。
【図2】曲線の平滑化における中心点の修正の態様を示す図である。
【図3】曲線の平滑化における終点の接線の影響を示す図である。
【図4】曲線の平滑化における終点の修正について説明するための図である。
【図5】曲線の平滑化における繰り返し計算の終了時について説明するための図である。
【図6】曲線の平滑化結果の例を示す図である。
【図7】凹凸形状を含む複数のベジエ曲線に対して誤差を付加したデータを平滑化した結果を示す図である。
【図8】格子データの中央9点の修正の態様を説明するための図である。
【図9】双3次ベジエ曲面のオリジナル例を示す図である。
【図10】図9の双3次ベジエ曲面のオリジナル例に意図的に誤差を与えた例を示す図である。
【図11】図10のデータに対して本発明の方法を適用した結果を示す図である。
【図12】図10のデータに対してu方向のパラメータ線とv方向のパラメータ線を交互に修正した場合の結果例を示す図である。
【図13】図10のデータに対してu方向およびv方向の両方向で修正位置の中間位置を修正位置とした結果例を示す図である。
【図14】曲線のローカルフィッティングを説明するための図である。
【図15】クーンズのパッチの双1次ブレンドを説明するための図である。
【図16】本発明の方法の実行例における結果を説明するための図である。
【符号の説明】
1 曲面の平滑化
2 曲面の当てはめ
3 曲面の接続[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a method for obtaining a curved surface expression representing a free-form surface, and more particularly to a method for applying a curved-surface expression to measurement data obtained by measuring a design shape composed of complex free-form surfaces.
[0002]
[Prior art]
With the advancement of measurement technology and information technology, reverse engineering technology is used to create a computer internal model from a created three-dimensional model for the development of products that have a design shape centered on automobiles and home appliances (for example, , Hideki Aoyama: Reverse Engineering for Shape Modeling, Design Engineering, 32, 10 (1997) 381., and T. Varady, R. Martin and J. Cpx: Reverse Engineering of Introductory Models, Incorporated, 29 , 4 (1997) 255. etc.). . These shapes consist of complex free-form surfaces, and the measurement data is large and contains errors (for example, Takayuki Goto, Takashi Miyoshi, Hirohiro Takaya, Yasuhiko Emitsu: B-spline curve considering curvature) Fitting to measurement data, Journal of Japan Society for Precision Engineering, 60, 7 (1994) 964, Tetsuzo Kuragano, Masaru Saito, Mitsuru Kuroda, Susumu Furukawa: Modeling of free curve and curved surface based on measurement point data, Journal of Japan Society for Precision Engineering, 65, 3 (1999) 381, etc.), it has been difficult to create a high-quality model with a smooth curvature change so that a mold can be manufactured as it is in a system that is currently on the market.
[0003]
On the other hand, in the field of computer graphics (CG), since the accuracy is not so high and the display is often aimed at a polyhedron, a technology centered on a triangular lattice has been studied (for example, Suzuki). Hiromasa: Shape reconstruction technology in CG, design engineering, 32, 10 (1997) 392. Among these, in order to process data including measurement errors and to process a large amount of data, an error leveling process has been studied together with a technique for handling a large amount of data (for example, M. Eck and H). Hopper: Automatic Reconstruction of B-Spline Surface of Arbitrary Topological Type, Proc. ACM SIGGRAPH '96, Aki Press Yasumura (2nd report), Journal of Precision Engineering, 64, 10 (1998) 1461. and Hiromasa Suzuki, Yasuaki Kanjima, Takashi Kanai, Fumihiko Kimura: Triangular mesh generation consisting of measurement points (1st report), Journal of Precision Engineering, 64 , 9 (1998 1314. etc. see) it is not aimed at the high-quality surface generation.
[0004]
On the other hand, in the field of computer-aided shape design that handles free-form surfaces for design shapes, the paper by Ms. Hosaka (M. Hosaka: Theory of Curves and Surface Synthesis and Theorem Smoothing, Information Processing 19) As in the model using a thin plate and a spring in (60.), there is an active research for generating a smooth curved surface by minimizing elastic energy. Since then, many studies have been conducted for optimization as a whole using various evaluation functions such as elastic energy (for example, J. Hoschek and D. Lasser: Fundamentals of Computer Aided Geometric Design, AK Peters (1993). Etc.).
[0005]
[Problems to be solved by the invention]
However, in these conventional methods, if abnormal data includes abnormal data, the effect appears in the results, and good results cannot always be obtained when measuring data is used as a target.
[0006]
Therefore, an evaluation standard for curvature change was introduced for high-quality curved surfaces such as automobile design shapes, and methods to calculate the locality repeatedly repeatedly by taking out the points where this is the maximum from the whole were studied. ing. This method was first proposed by Farin et al. (See, for example, G. Farin, N. Sapidis and J. Worsey: Filing Cubic B-Spline Curves, Computer Aided Geometry Design 91, 1987). And N. Sapidis and G. Farin: See: Automatic Fairing Algorithm for B-Spline Curves, Computer Aided Design, 22, 2 (1990) 121.). After applying the input point sequence as a B-spline curve, Farin et al. Extracted the point with the largest difference between the third-order differential value at the connection point or the differential value of the curvature. By repeating removal and reinsertion, a curve in which the curvature plot (a graph in which the line length is plotted on the horizontal axis and the curvature is plotted on the vertical axis) becomes smooth is obtained. After that, as a method of leveling the point group without using the B-spline curve, a method of calculating a discrete curvature value and using this difference as a local evaluation criterion is Eck. (See, for example, M. Eck and R. Japart: Automatic Fairing of Point Sets, in Designing Fair Curves and Surfaces, SIAM (1994) 45. etc.). Recently, as a technique for smoothing the robot path, Wagner has proposed a method of minimizing this by using the fourth-order difference value of the point sequence instead of the curvature (for example, M. W. Wagner: Affine Infant Fairing of Point Set, Proc. CIIST '98, CSREA Press, (1998) 370. etc.). The processing method that repeats the above-described local smoothing is not affected by the error, and no application method is shown for high-quality curved surface data at the curvature change level.
[0007]
Therefore, in the past, for example, in reverse engineering or the like, when it is desired to reproduce a design shape composed of complex free-form surfaces, curves are first created from point cloud data obtained by measuring the design shape, Cutting-edge technology has been modeling by creating a surface from a created curve. However, such a method is not sufficient for high-quality modeling by reproducing a smooth curved surface shape approximated to the measured design shape, and it also takes time and man-hours to create shape data. The problem remained.
[0008]
An object of the present invention is to provide a method for obtaining a curved surface expression representing a free curved surface that can solve the problems of the prior art as described above.
[0009]
[Means for Solving the Problems]
According to the present invention, there is provided a method of obtaining a curved surface expression representing a free-form surface in computer graphics or reverse engineering , wherein measurement data indicating the free-form surface obtained by measuring the free-form surface is scored using a computer. The data is divided into group data, and a point sequence for every five points in the point group data is smoothed using a fourth-order difference quotient, and 3 of the center points of the point group data composed of the smoothed point sequence for every five points. A second-order parametric equation is obtained, first-order and second-order differential vectors of the curved surface at the center point of the local point-sequence data consisting of a sequence of every five points obtained based on the third-order parametric equation are obtained, and these differential vectors are obtained. There is provided a method characterized in that the curved surface equation is obtained by generating a quintic Bezier curved surface with differential vectors at four corners. The point cloud data here is a general term for data having measurable values such as measurement point cloud, image data, color space value, and the like.
[0010]
According to an embodiment of the present invention, the point cloud data is lattice point data on a four-sided grid, and the smoothing is performed by using a local smoothing reference value for a point sequence every five points as the 4 while the u direction of the side grating, in the space of one of the other and v direction, the sum of the fourth difference quotient obtained for the parameters line parameter line and the direction of v u direction constituting the four sides grating The overall smoothing reference value in the entire point cloud data is the sum of the local smoothing reference values obtained for all grid points , and the u-direction and v-direction parameter lines are simultaneously smoothed.
[0013]
DETAILED DESCRIPTION OF THE INVENTION
Next, based on an accompanying drawing, the present invention is explained in detail about an embodiment and an example of the present invention.
The inventors of the present invention have clarified the theory of the smoothing method of the curve data using the fourth-order difference quotient in the development process of the method of the present invention, and have shown that the smoothness of the curvature level can be obtained, and attached drawings. As shown schematically in the flow diagram of FIG. 1, the method is extended to a method of smoothing a curved surface for lattice data (block 1), and a curved surface equation is further applied to the smoothed lattice data. fitted with (block 2), the curvature of the curved surface (C 2) was confirmed to be effective to take the steps of connecting performed (block 3). Hereinafter, the effectiveness is shown by explaining the execution example.
[0014]
(1) Smoothing of curve data
Smoothing method First, a method of locally smoothing point sequence data using a fourth-order difference quotient will be described. In the above-mentioned Farin's method, paying attention to the change in curvature in order to obtain a smooth curve of the curvature plot, the difference between the curvature differential values of both side segments at the connection point of the B-spline curve is calculated. The local evaluation reference value (Local Fairness) is used, and until the total evaluation value (Global Fairness) obtained by adding these values does not decrease, the maximum point of the local reference value is repeatedly corrected to smooth the curve shape. Yes. As a method for correcting the local point position, the point is removed and inserted. Wagner, on the other hand, expresses the difference of the third-order differential value corresponding to the differential value of the curvature as the fourth-order difference value of the point sequence, and uses this as the local smoothing reference value to determine the point at which this value is maximum 4 We proposed a method to correct the position where the floor difference value becomes zero. What is common to both is that the difference between the third-order differential vectors is used as an evaluation criterion for smoothness (not smooth) and that the shape is corrected locally. This smoothing result is practically satisfactory, and this method basically adopts this concept, and both use a third-order parametric curve for local smoothing. Focusing on this, the point correction method is theoretically clarified from the fourth-order difference quotient.
[0015]
That the point sequence is a connection point and the third-order differential value is continuous is equivalent to the fact that the portion can be locally approximated by a cubic equation. Therefore, when a point sequence is considered, if an interval of every five points can be expressed by a cubic equation, Newton's interpolation formula (J. Hoschek and D. Laser: Fundamentals of Computer Aided Geometry Design, AK Peters) (Ref. (1993)), the fourth-order difference quotient at the center point is zero. The absolute value of the difference quotient is considered as a local reference value, and a point having a large value is set as the least smooth part. input
Figure 0003610295
Figure 0003610295
Figure 0003610295
Figure 0003610295
k section difference,
Figure 0003610295
Figure 0003610295
Figure 0003610295
It is. Coefficient of equation (1)
Figure 0003610295
Is a scale factor that allows the value of the fourth-order difference quotient to meet the interval between the point sequences, and is multiplied by the cube of the section size. The overall smoothing criterion F adds this local smoothing criterion to all point sequences,
Figure 0003610295
It becomes.
[0016]
The curve smoothing method is the same as the conventional local smoothing repetition process.
Figure 0003610295
The point position is corrected so that becomes zero. This is repeated until the overall smoothing criterion does not decrease.
[0017]
The position of the point to be corrected is calculated by the following equation because the value of the fourth-order difference quotient becomes 0.
Figure 0003610295
Figure 0003610295
Figure 0003610295
Figure 0003610295
Figure 0003610295
Figure 0003610295
If the parameters are equally spaced, equation (8) becomes simple,
Figure 0003610295
It becomes. This is geometrically represented simply as shown in FIG.
[0018]
End point processing and termination conditions Although the smoothing method described above produces a nearly smooth curve, two problems remain. One is the processing of the end points on both sides of the curve, and the other is the problem of the end condition on how to end the repeated calculation.
The first problem is that the correction of the point sequence is targeted at the center point. If an error is included in the two end points, the third point is always moved from the end without being corrected. As shown in FIG. 4, the tangent direction determined by the two end points is fixed, and the shape of the entire curve is affected. To solve this problem, when the local smoothness reference value at the third end is the maximum, the fourth-order difference quotient is set to 0 for each of the two points on the end side and the center point. In this case, the overall smoothing reference value is calculated, and the smallest point is selected and corrected. In the case of the example of FIG. 4, since the second overall smoothing reference value F is minimized, this second point is selected and corrected.
[0019]
The second problem is where to stop the iterative calculation. If the calculation is simply stopped when the overall smoothing reference value does not decrease, smoothing may not be performed sufficiently. If this is done too much, the corners of the corner will be thinned as shown in FIG. Therefore, in order to remove singular points, the calculation is first performed until the total smoothing reference value does not decrease, and after that, when moving beyond the specified maximum error (tolerance), the previous total smoothing reference value We will end the calculation by going back to the point where does not decrease.
[0020]
Example of execution FIG. 6 (a) shows the result of calculation using the algorithm described above. This is a result of smoothing the input point sequence created by adding a random error to the spiral curve. It can be seen that both the curvature plot and the curvature profile (plotting 1/10 of the center of curvature along the curve) shown in FIGS. 6B and 6C are significantly improved compared to the input point. Here, the curvature value of the input point is discretely calculated using three points.
[0021]
FIG. 7A is an example of smoothing data with an error added to a plurality of Bezier curves including uneven shapes. In this case, as shown in FIGS. 7B and 7C, inversion of a large number of curvatures due to errors is removed, and a smooth curvature plot and curvature profile are obtained. Note that both the curvature values of the smoothing curve are calculated using the result of fitting to a curve equation described later.
[0022]
(2) Smoothing of grid data
Smoothing method The above-described smoothing method using a curve is extended to a curved surface. The curved surface data handles grid points arranged on a quadrilateral grid. As the input point P ij , a difference quotient is defined for the parameter direction of each curve constituting the grid.
Figure 0003610295
Figure 0003610295
Figure 0003610295
Figure 0003610295
Figure 0003610295
[0023]
Using the above, the local smoothing standard and the global smoothing standard are determined as in the case of the curve. The local smoothing criterion is the sum of parameter lines in the u direction and the parameter line in the v direction, and the total smoothing criterion is the sum of all grid points.
Figure 0003610295
Figure 0003610295
Figure 0003610295
[0024]
In the smoothing of the grid, the point position is corrected so that the maximum point of the local smoothing reference is 0 as in the case of the curve, and the process is repeated until the overall smoothing reference is not reduced. In the correction of the point position, simply correcting the parameter line in the u direction and the parameter line in the v direction alternately, or taking an intermediate value between them, the surface cannot be corrected and a smooth result cannot be obtained. Therefore, it is considered to simultaneously smooth the parameter lines in both directions for 5 × 5 lattice points. As shown in FIG. 8, the center 9 points are corrected at once using 16 points out of 25 points. Except for the central point, the 4th-order difference quotient of the curve is corrected to 0 along each parameter line, and the 4th-order difference quotient of the curve is used for the center point using each of the obtained 4 points. Correct to the position where becomes zero. Since the positions of the two points indicate which direction is calculated first from the same 16 points, the coefficients for the respective points are the same, and the correction points are the same points.
[0025]
Evaluation of this method A comparison between this method and a method that simply combines smoothing as a curve is shown by way of example, and the effectiveness of this method is demonstrated. FIG. 9 shows a calculation of 19 × 12 = 228 lattice points from a bicubic Bezier curve. An error of 1/10 of the lattice spacing is randomly given to the lattice point, and an intentionally large error is intentionally added. FIG. 10 shows several points. The result of applying this method to this data is shown in FIG. It can be seen that the parameter lines in both directions are smooth.
[0026]
On the other hand, FIG. 12 shows the u-direction parameter line and the v-direction parameter line corrected alternately, and FIG. 13 shows the correction position as the correction position in both directions. In the former, the v direction smoothed later is smooth, but the parameter line in the u direction is not smooth. On the other hand, in the latter case, if the correction positions in both directions are reversed, the point positions are not corrected even if repeated calculation is performed, and a smooth result cannot be obtained. This demonstrates the effectiveness of this method of correcting lattice data at once.
[0027]
(3) Fitting a surface equation A surface equation is applied to the smoothed grid data. Since the lattice data is smoothed along the parameter line, first, this is applied to the curved surface formula. In the smoothing, the center point is moved so that the fourth-order difference quotient becomes 0 with respect to the point sequence for every five points. Therefore, the center segment is expressed by a third-order parametric equation using five points of data.
[0028]
Newton's interpolation formula for a sequence of five points (P i ,..., P i + 4 ) uses the difference vector P i j of Equation (2):
Figure 0003610295
It is. here,
Figure 0003610295
It is. However, n 0 (t) = 1.
[0029]
Since the size of the fourth floor difference quotient is almost zero, the central segment is used up to the third floor difference quotient
Figure 0003610295
As a line vector,
Figure 0003610295
Get. If you use the last four points,
Figure 0003610295
Figure 0003610295
Similarly, a tangent vector at the end point is obtained, and a parametric cubic curve is obtained by Hermite interpolation (see FIG. 14).
[0030]
The above-mentioned local segment fit is obtained for all u and v parameter lines, and a patch formula with these four boundary lines is calculated by a Coons bilinear blend. Subsequently, the obtained 2 × 2 patches are blended using the Aitken formula to obtain the first-order and second-order differential vectors of the curved surface at the center point. Finally, a bicubic Bezier curved surface with these differential vectors as the four corner differential vectors is generated. This curved surface has a continuous curvature (C 2 ) since the second-order differential vector is shared between patches (see FIG. 15).
[0031]
(4) Execution example An example of a curved surface generated by the algorithm as described above is shown. FIG. 16 is a graph obtained by smoothing 43 × 19 = 819 point lattice data having a randomly generated error and some large errors and applying a curved surface expression to a curved surface having an uneven shape. The number of repetitions is 540 times. FIG. 16A shows the input data, and FIG. 16B shows the smoothing result. In FIG. 16B, the sectional line is calculated and shown. From this figure, it can be seen that a smooth curved surface is obtained.
[0032]
As described above, the method of the present invention smoothes the measurement data on the grid having an error so that high-quality modeling can be performed in reverse engineering, so that local smoothing is performed based on the fourth-order difference quotient. A method of calculating a criterion and smoothing the repeated point sequence so that the total smoothing criterion which is the sum total is minimized, for example, by simultaneously considering u and v parameter lines for 5 × 5 lattice points. By extending the method to smooth the lattice data and applying the result as a curved surface equation, a curved surface shape having a curvature (C 2 ) continuous with a substantially smooth curvature change can be obtained.
[0033]
It should be noted that the method of the present invention as described above is also suitable for execution through arithmetic processing by a computer.
[0034]
【The invention's effect】
(1) It is a curved surface equation fitted from point cloud data, and for example, high quality modeling can be performed by reverse engineering.
(2) Since the product shape can be digitized with high quality, the time and man-hour for creating the product shape data can be shortened compared to the conventional method of creating a curve from the point cloud data and creating a curved surface from the curve. .
(3) It is possible to automate the error evaluation of products and design data, and to improve accuracy.
(4) The prototype model can be easily converted into design data.
(5) A high-quality mold with few errors from the product can be produced from the curved surface equation fitted from the point cloud data of the product. That is, from the point cloud data, it is possible to produce a smooth, high-quality model with a continuous curvature (C 2 ) of curvature change that can produce a mold as it is.
[Brief description of the drawings]
FIG. 1 schematically shows the procedure of the method of the present invention.
FIG. 2 is a diagram illustrating a manner of correcting a center point in smoothing a curve.
FIG. 3 is a diagram illustrating an influence of a tangent at an end point in smoothing a curve.
FIG. 4 is a diagram for explaining correction of an end point in smoothing a curve.
FIG. 5 is a diagram for explaining the end of repeated calculation in curve smoothing.
FIG. 6 is a diagram illustrating an example of a curve smoothing result.
FIG. 7 is a diagram illustrating a result of smoothing data obtained by adding an error to a plurality of Bezier curves including an uneven shape.
FIG. 8 is a diagram for explaining a mode of correcting the center nine points of lattice data.
FIG. 9 is a diagram showing an original example of a bicubic Bezier curved surface.
10 is a diagram illustrating an example in which an error is intentionally given to the original example of the bicubic Bezier curved surface in FIG. 9;
11 is a diagram showing a result of applying the method of the present invention to the data of FIG.
12 is a diagram illustrating a result example when the parameter line in the u direction and the parameter line in the v direction are alternately corrected with respect to the data in FIG. 10;
13 is a diagram illustrating an example of a result obtained by setting an intermediate position of a correction position in both the u direction and the v direction as the correction position with respect to the data in FIG.
FIG. 14 is a diagram for explaining local fitting of a curve.
FIG. 15 is a diagram for explaining a bilinear blend of Coons patches.
FIG. 16 is a diagram for explaining a result in an execution example of the method of the present invention;
[Explanation of symbols]
1 Surface smoothing 2 Surface fitting 3 Surface connection

Claims (2)

コンピュータグラフィックまたはリバースエンジニアリングにおいて自由曲面を表す曲面式を求める方法であって、該自由曲面を測定することによって得られた該自由曲面を示す測定データを、コンピュータを用いて点群データに分割し、該点群データにおける5点ごとの点列を4階差分商を用いて平滑化し、該平滑化された5点ごとの点列からなる点群データの各中央点の3次パラメトリック式を求め、該3次パラメトリック式に基づいて求めた5点ごとの点列からなる局所的点列データの中央点での曲面の1階、2階微分ベクトルを求め、これら微分ベクトルを4隅の微分ベクトルとする5次ベジエ曲面を生成することにより前記曲面式を得ることを特徴とする方法。A method of obtaining a curved surface expression representing a free curved surface in computer graphics or reverse engineering , wherein the measurement data indicating the free curved surface obtained by measuring the free curved surface is divided into point cloud data using a computer , Smoothing a point sequence for each of the five points in the point cloud data using a fourth-order difference quotient, and obtaining a third-order parametric equation for each central point of the point cloud data consisting of the smoothed point sequences for each of the five points ; First- and second-order differential vectors of the curved surface at the center point of the local point sequence data consisting of a sequence of every five points obtained based on the cubic parametric equation are obtained, and these differential vectors are obtained as four corner differential vectors. The curved surface equation is obtained by generating a quintic Bezier curved surface. 前記点群データは、4辺格子上の格子点データであり、前記平滑化は、5点ごとの点列に対する局所的平滑基準を、前記4辺格子の一方をu方向、他の一方をv方向とする空間において、前記4辺格子を構成するu方向のパラメータ線とv方向のパラメータ線に対して求めた前記4階差分商の合計とし、前記点群データ全体における全体平滑基準を全格子点について求めた前記局所的平滑基準値の和とし、前記u方向およびv方向のパラメータ線を同時に平滑化するものである請求項1に記載の方法。The point cloud data is grid point data on a four-sided grid, and the smoothing is performed by using a local smoothing reference value for a point sequence for every five points , one of the four-sided grids in the u direction, and the other one. v in the space of the direction, the four sides grating for the u direction parameter line and v direction parameter lines constituting the sum of the fourth difference quotient obtained, the entire smoothed reference value in the entire said point cloud data The method according to claim 1, wherein the parameter lines in the u direction and the v direction are smoothed simultaneously with the sum of the local smoothing reference values obtained for all grid points.
JP2000304968A 2000-10-04 2000-10-04 How to find a surface expression that represents a free-form surface Expired - Fee Related JP3610295B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000304968A JP3610295B2 (en) 2000-10-04 2000-10-04 How to find a surface expression that represents a free-form surface

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000304968A JP3610295B2 (en) 2000-10-04 2000-10-04 How to find a surface expression that represents a free-form surface

Publications (2)

Publication Number Publication Date
JP2002108955A JP2002108955A (en) 2002-04-12
JP3610295B2 true JP3610295B2 (en) 2005-01-12

Family

ID=18785922

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000304968A Expired - Fee Related JP3610295B2 (en) 2000-10-04 2000-10-04 How to find a surface expression that represents a free-form surface

Country Status (1)

Country Link
JP (1) JP3610295B2 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006235977A (en) * 2005-02-24 2006-09-07 Shiseido Co Ltd Method, device, and program for smoothing curved surface, and method, device, and program for normalizing the curved surface
JP5806169B2 (en) * 2012-06-21 2015-11-10 トヨタ自動車株式会社 Design data generation apparatus, generation method thereof, and program
JP6063161B2 (en) * 2012-07-20 2017-01-18 株式会社ミツトヨ Shape measuring apparatus and method for controlling shape measuring apparatus
CN110394487A (en) * 2019-07-30 2019-11-01 哈尔滨理工大学 A kind of hardened steel free form surface test specimen and milling process
CN112541224B (en) * 2020-11-19 2024-02-02 湖北汽车工业学院 Reverse construction method and system for typical parts of automobile

Also Published As

Publication number Publication date
JP2002108955A (en) 2002-04-12

Similar Documents

Publication Publication Date Title
JP4934789B2 (en) Interpolation processing method and interpolation processing apparatus
Wang et al. A framework for 3D model reconstruction in reverse engineering
JP5436416B2 (en) Approximation processing method and approximation processing apparatus
CN104268934B (en) Method for reconstructing three-dimensional curve face through point cloud
US8537158B2 (en) Parallel triangle tessellation
CN102930091B (en) Tooth-and-gum-oriented high-efficiency mesh repairing method
Marchandise et al. CAD and mesh repair with radial basis functions
WO2005010669A2 (en) Method for creating single 3d surface model from a point cloud
US20220054234A1 (en) Methods to automatically remove collisions between digital mesh objects and smoothly move mesh objects between spatial arrangements
CN116071519B (en) Image processing method and device for generating grid model based on harmonic mapping
CN110084894B (en) Local amplification display method and device of three-dimensional model and electronic equipment
JP2006185444A (en) Evolutionary optimization method and free form deformation method
JP3610295B2 (en) How to find a surface expression that represents a free-form surface
US8698800B2 (en) Method and apparatus for non-shrinking mesh smoothing using local fitting
Tubić et al. 3D surface modeling from curves
Muraki et al. Curve Mesh Modeling Method of Trimmed Surfaces for Direct Modeling
JP4175470B2 (en) CAD system, curved surface analyzing apparatus, curved surface reproducing apparatus, method and program thereof
Oh A new triangular mesh repairing method using a mesh distortion energy minimization-based mesh flattening method
Dietz B-spline approximation with energy constraints
Battle et al. Three-dimensional attenuation map reconstruction using geometrical models and free-form deformations [SPECT Application]
Sturzlinger Ray-tracing triangular trimmed free-form surfaces
EP1791091A2 (en) Method and apparatus for non-shrinking mesh smoothing using local fitting
Sarraga A variational method to model G 1 surfaces over triangular meshes of arbitrary topology in R 3
CN115374567B (en) She Panlun hub processing path generation method and device, medium and electronic equipment
de Siqueira et al. An adaptive parametric surface mesh generation method guided by curvatures

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040621

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040819

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20041012

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20041018

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071022

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081022

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091022

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101022

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101022

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111022

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121022

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121022

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131022

Year of fee payment: 9

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees