JP4214645B2 - 形状モデルの欠落部分の穴埋め装置 - Google Patents

形状モデルの欠落部分の穴埋め装置 Download PDF

Info

Publication number
JP4214645B2
JP4214645B2 JP37235699A JP37235699A JP4214645B2 JP 4214645 B2 JP4214645 B2 JP 4214645B2 JP 37235699 A JP37235699 A JP 37235699A JP 37235699 A JP37235699 A JP 37235699A JP 4214645 B2 JP4214645 B2 JP 4214645B2
Authority
JP
Japan
Prior art keywords
shape model
curved surface
shape
data
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP37235699A
Other languages
English (en)
Other versions
JP2001188924A (ja
Inventor
浩一 藤原
修 遠山
英郎 藤井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP37235699A priority Critical patent/JP4214645B2/ja
Priority to US09/749,624 priority patent/US7006093B2/en
Publication of JP2001188924A publication Critical patent/JP2001188924A/ja
Application granted granted Critical
Publication of JP4214645B2 publication Critical patent/JP4214645B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2021Shape modification

Landscapes

  • Engineering & Computer Science (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Description

【0001】
本発明は、3次元形状データである形状モデルの欠落部分の穴埋め装置に関する。
【0002】
【従来の技術】
3次元計測装置を利用したモデリングが行われている。例えば光切断法を用いる3次元計測装置は、スリット光を投射し且つ偏向することによって対象物を光学的にスキャンし、三角測量の原理を適用して演算により3次元形状データを求める。対象物の全周を計測し、得られた3次元形状データを繋ぎ合わせることにより、対象物の全体についての形状モデルが得られる。
【0003】
対象物の形状、向き、または照明の状態などの計測条件によっては、部分的に3次元形状データが得られず、データの欠落が生じることがある。このような場合に、3次元形状データの修正が行われる。
【0004】
従来において、データが欠落した部分に対して穴埋めを行う方法として、プリミティブの格子を変形するなどして新たに曲面を生成し、生成した曲面とデータ欠落部の輪郭部分とを繋ぐ方法がある。特開平11−15994号公報には、穴埋めが不自然とならないように、オペレータが結果を確認しながら試行錯誤で曲面の微調整を行うことの可能なコンピュータシステムが開示されている。このシステムでは、曲面内の1個以上の点とその移動先の位置とを指定すれば、移動先の位置を含む滑らかな面へと元の曲面が自動的に変形され、形状の変化を示す数値データが表示される。オペレータは数値データによって変形を評価し、結果に不満であれば改めて曲面内の点およびその移動先を指定する。
【0005】
【発明が解決しようとする課題】
従来では、形状モデルに追加する曲面を調整するときに、オペレータが入力しなければならない指定値が多く、形状モデルのデータ修正作業が面倒であるという問題があった。特に、起伏の複雑な曲面の場合には、多数の点について指定しなければならず、作業負担が大きかった。
【0006】
本発明は、簡単な入力操作で形状モデルの欠落部分に所望の曲面を追加して穴埋めできるようにすることを目的としている。
【0007】
本発明に係る装置は、3次元形状データである形状モデルの欠落部分に対して穴埋めを行う装置であって、形状モデルを入力する入力手段と、入力された形状モデルに対して処理を行うCPUと、前記CPUが処理を実行するために必要なデータの格納領域および作業領域を提供するメモリと、を有し、前記CPUは、前記形状モデルの欠落部分に、当該欠落部分に沿ったxy平面を想定しxy平面と直交するz方向を貼り付けの方向として当該欠落部分よりも大きい格子状の平面を貼り付ける第1のステップと、貼り付けた前記格子状の平面を変形することによって、前記形状モデルの欠落部分に対応した輪郭をもち、かつ1つの入力項目に対応したパラメータで全体の湾曲の度合いが規定される曲面モデルを生成する第2のステップと、前記形状モデルと前記曲面モデルとを位置合わせした状態を示す画像を表示する第3のステップと、パラメータ値の指定変更操作に呼応して、前記曲面モデルの形状を変形させる第4のステップと、了承操作により前記形状モデルの欠落部分に対する穴埋めを完了させる第5のステップと、を実行するものであり、前記第2のステップにおいて、前記欠落部分の周辺の前記形状モデルのデータ位置を境界条件とし、曲面が滑らかでない度合いを表すエネルギー関数を設定し当該エネルギー関数が最小になるように、前記xy平面内であって前記欠落部分の内部となる格子点をz方向に移動させて曲面を生成する。
【0010】
【発明の実施の形態】
図1は本発明に係る3次元処理装置の構成を示すブロック図である。
3次元処理装置1は、バス10、CPU(中央処理装置)11、メモリ12、補助記憶装置13、入出力インタフェース14、キーボード15、マウス16、および表示装置17を備えたコンピュータシステムである。
【0011】
CPU11は、本発明を適用したデータ修正を含む種々の処理を実行する。メモリ12は、CPU11が実行する手順を記述した制御プログラムを格納するROM12aと、CPU11が各種処理を実行するために必要なデータの格納領域および作業領域を提供するRAM12bとを有する。補助記憶装置13は、3次元データ(形状データ)、2次元カラー画像データなどの処理対象となるデータを格納するために用いられる。入出力インタフェース14は、処理対象のデータを装置の外部から入力し、または生成したデータを装置の外部へ出力するために用いられる。
【0012】
キーボード15およびマウス16は、各種の指示または設定の入力に用いられる。表示装置17は、3次元データおよび生成した面の画像を表示するとともに、処理状況や処理結果、および処理過程の表示にも用いられる。表示装置17はマルチウインドウシステムによって複数のウィンドウを表示することが可能である。
【0013】
3次元処理装置1を用いることにより、図示しない3次元計測装置から入力されたり、モデリング処理で作成されたりした3次元データに対して、所望の曲面データを追加することができる。この機能は、形状モデルの欠落部分(穴)に対する穴埋めに好適である。
【0014】
図2は穴埋めの概念図である。
例示における修正対象の3次元データは、マスコット人形の形状モデルMである。形状モデルMには欠落部分90が存在する。すなわち、マスコット人形の上面部分が欠落している。穴埋めは、欠落部分90に対して格子状の平面mを貼り付け、その平面mを形状モデルMに応じた適切な曲面に変形させ、曲面と欠落部分の輸郭とを繋ぐデータ処理である。3次元処理装置1においては、オペレータ(ユーザー)は簡単な操作で所望の湾曲状態の穴埋めを行うことができる。
〔第1の操作形態〕
図3は操作の第1例の説明図である。図3(a)はダイアログの構成を示し、図3(b)はモニタ表示の切り換わりの例を示している。
【0015】
第1例における操作の手順は次のとおりである。
(1)形状モデルMの修正が可能なモデリングモードにおいて、オペレータは欠落部分90を含む領域を指定して穴埋めの実行を指示する。これを受けて、3次元処理装置1は、欠落部分90の輪郭を検出して処理対象を特定するとともに、表示装置17の画面内にパラメータ値(後述の係数γ)を問い合わせるダイアログ71を表示する。
(2)オペレータは、ダイアログ71におけるスライダのノブ714をドラッグすることにより、パラメータ値を0〜1の間で設定する。そして、オペレータが表示(Apply)ボタン711をクリックする。3次元処理装置1は、穴埋めの演算を行い、画面内のモニタ領域75に穴埋めの結果を示す画像G4を表示する。この演算過程が本発明の第1のステップに相当し、結果の表示が第2のステップに相当する。画像G4は、形状モデルMに曲面m4を位置合わせした状態を示す。曲面m4の湾曲状態はパラメータ値によって規定されている。
(3)満足のいく結果が得られなかった場合には、オペレータは適当なパラメータ値に設定し直し、再び表示ボタン711をクリックする。満足できる形状になるまでこれを繰り返す。パラメータ値の設定変更に呼応して、3次元処理装置1は演算をやり直して結果を表示する。この過程が本発明の第3のステップに相当する。図3(b)の例では、画像G4が表示された後、計2回のパラメータ変更が行われ、変更毎に画像G4から画像G2へ、さらに画像G2から画像G3へと表示が切り換わっている。曲面m4よりパラメータ値を大きくすれば、曲面m4よりも湾曲が緩やかな曲面m2で穴埋めされ、曲面m4と曲面m2の中間のパラメータ値を設定すれば、曲面m4よりも緩やかで曲面m2よりも急峻な曲面m3で穴埋めされる。
【0016】
なお、画像G2,G3,G4は、仮想空間内に配置した形状モデルを画面に投影した像である。オペレータは、シェーディングを施したサーフェスモデル、ワイヤーフレームモデルなどの表示形態の選択が可能である。
(4)満足のいく結果が得られら了承(OK)ボタン712をクリックする。これにより穴埋めが完了する。穴埋めをした状態の形状モデルが修正後の3次元データとして補助記憶装置13に保存される。
〔第2の操作形態〕
図4は操作の第2例の説明図である。図4(a)はダイアログの構成を示し、図4(b)はモニタ表示の切り換わりの例を示している。
【0017】
第2例における操作の手順は次のとおりである。
(1)モデリングモードにおいて、オペレータは欠落部分90を含む領域を指定して穴埋めの実行を指示する。これを受けて、3次元処理装置1は、欠落部分90の輪郭を検出して処理対象を特定し、パラメータのデフォルト値(例えば0.5)を適用して穴埋めの演算を行う。そして、3次元処理装置1は、演算の結果を示す画像G3をモニタ領域75に表示するとともに、パラメータ値の良否を問い合わせるダイアログ72を表示する。
(2)オペレータは、ダイアログ72におけるスライダのノブ724をドラッグすることにより、パラメータ値を0〜1の間で設定することができる。ドラッグと連動して、ドラッグ位置のパラメータ値を適用して穴埋めの演算が行われ、その結果を示す画像G1〜G5がリアルタイムで表示される。つまり、スライダの操作を行うだけで、穴埋め部分を平面化したり尖らせたりと自由に変形させることができる。
(3)満足のいく結果が得られたならば、了承(OK)ボタン722をクリックする。これにより穴埋めが完了する。
【0018】
このような第2の形態によれば、穴埋めの作業を第1の形態よりも迅速に進めることができる。ただし、CPU11を含むデバイスの処理能力が十分に高いことが要求される。
【0019】
以下、穴埋めの演算について説明する。
図5は穴埋めのためのデータ処理の内容を説明するための図である。
図5(a)のように、欠落部分(以下、穴という)90に沿ったxy平面を想定し、xy平面と直交するz方向を貼り付けの方向として、欠落部分90にそれより大きい平面(格子)mを対応づける。そして、穴90の内部の格子点をz方向に移動させて曲面を生成する。平面mの各格子点の配置に際しては、形状モデルMにおける穴の周辺のデータの位置(傾き)の影響を考慮する。すなわち、穴周辺のデータ位置を境界条件として、各補間点間の二階微分までの総和が最小になるように格子点位置を計算する。このときの一階微分と二階微分の項の係数を変化させることによって、生成する曲面の形状を変化させることができ、上述のようにユーザの希望どうりの穴埋めを実現することができる。
【0020】
図5において太い枠線で示すように、穴90に対してバウンディングボックス(Bounding box)BBを生成する。バウンディングボックスBB内に格子を作り、バウンディングボックスBBの外にも1ライン分の環状の格子を作る。この格子点数は、穴90の周辺の三次元データから自動的に求める。オペレータが指定することもできる。
【0021】
格子点のうち、穴90の内部に存在する点(図5の白丸○)を未知データとし、これらのz方向の位置を求めることが曲面の生成である。バウンディングボックスBBの内側に存在し、穴90の外に存在する点(図5の黒丸●)は既知データで、形状モデルMと曲面とを滑らかに繋ぐための境界値として用いる。バウンディングボックスBB上および外の点(図5の黒四角■)は境界値である。ここで、境界値は、格子点を形状モデルMのポリゴンに射影することによって求めることができる。
【0022】
これらの境界値、既知データ、および未知データを、uy,x 、y=0,…Ny+3、x=0,…Nx+3(ここで、Nx、NyはそれぞれバウンディングボックスBB内のx方向、y方向における格子点の個数である。)のように2次の配列とする。境界値、既知データは、すでに求められているとする。また、格子の間隔をx方向及びy方向のそれぞれついてHx、Hyとおく。
【0023】
未知データを求めるために、エネルギー関数を設定し、そのエネルギー関数が最小になるように未知データの値を定める。
E(u)=S(u)+P(u)
ここでS(u)は滑らかでない度合いを表し、P(u)は制約条件からのずれを表す。
【0024】
S(u)は一階微分と二階微分の総和で表現し、P(u)については考慮しないものとする。すなわち、
【0025】
【数2】
Figure 0004214645
【0026】
S(u)において、一階微分の項の係数γが1に近ければ、一階微分の項の影響が強くなるので、生成される曲面の曲り具合が小さくなり平らな状態になる。これに対して、係数γが0に近ければ、二階微分の項の影響が強くなるので、曲り具合が大きくなる。
【0027】
このエネルギー関数E(u)が最小になるようなu0 を求める。u=u0 のときに最小になるとすれば、
∇E(u0 )=∇S(u0 )=0
が成り立つ。
∇S(u0 )=0を展開すると連立一次方程式となる。その連立一次方程式を解いて未知データを求める。求めた未知データから曲面を生成することができる。この際に、γの値を変更することによって、ユーザの希望どおりの穴埋めを行うことができる。未知データのみを使って曲面を生成し、その生成した曲面と穴90の輪郭部分とを繋げれば、穴埋めが完了する。
【0028】
以上の実施形態において、1つの入力項目に対応した湾曲を規定するパラメータが複数(例えばx軸方向とy軸方向とで独立したパラメータ)であってもよい。パラメータ変更操作に係わる表示部材はスライダに限らず、ダイヤル状のものでもよい。
【0029】
発明によれば、簡単な入力操作で形状モデルの欠落部分に所望の曲面を追加して穴埋めすることができる。
【図面の簡単な説明】
【図1】本発明に係る3次元処理装置の構成を示すブロック図である。
【図2】穴埋めの概念図である。
【図3】操作の第1例の説明図である。
【図4】操作の第2例の説明図である。
【図5】穴埋めのためのデータ処理の内容を説明するための図である。
【符号の説明】
M 形状モデル
m1〜m5 曲面(曲面モデル)
90 欠落部分(修正対象部分)
G1〜G5 画像
72ダイアログ (部材)

Claims (1)

  1. 3次元形状データである形状モデルの欠落部分に対して穴埋めを行う装置であって、
    形状モデルを入力する入力手段と、
    入力された形状モデルに対して処理を行うCPUと、
    前記CPUが処理を実行するために必要なデータの格納領域および作業領域を提供するメモリと、を有し、
    前記CPUは、
    前記形状モデルの欠落部分に、当該欠落部分に沿ったxy平面を想定しxy平面と直交するz方向を貼り付けの方向として当該欠落部分よりも大きい格子状の平面を貼り付ける第1のステップと、
    貼り付けた前記格子状の平面を変形することによって、前記形状モデルの欠落部分に対応した輪郭をもち、かつ1つの入力項目に対応したパラメータで全体の湾曲の度合いが規定される曲面モデルを生成する第2のステップと、
    前記形状モデルと前記曲面モデルとを位置合わせした状態を示す画像を表示する第3のステップと、
    パラメータ値の指定変更操作に呼応して、前記曲面モデルの形状を変形させる第4のステップと、
    了承操作により前記形状モデルの欠落部分に対する穴埋めを完了させる第5のステップと、を実行するものであり、
    前記第2のステップにおいて、前記欠落部分の周辺の前記形状モデルのデータ位置を境界条件とし、曲面が滑らかでない度合いを表すエネルギー関数を設定し当該エネルギー関数が最小になるように、前記xy平面内であって前記欠落部分の内部となる格子点をz方向に移動させて曲面を生成する、
    ことを特徴とする形状モデルの欠落部分の穴埋め装置。
JP37235699A 1999-12-28 1999-12-28 形状モデルの欠落部分の穴埋め装置 Expired - Fee Related JP4214645B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP37235699A JP4214645B2 (ja) 1999-12-28 1999-12-28 形状モデルの欠落部分の穴埋め装置
US09/749,624 US7006093B2 (en) 1999-12-28 2000-12-28 Method and system for processing a three-dimensional shape data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP37235699A JP4214645B2 (ja) 1999-12-28 1999-12-28 形状モデルの欠落部分の穴埋め装置

Publications (2)

Publication Number Publication Date
JP2001188924A JP2001188924A (ja) 2001-07-10
JP4214645B2 true JP4214645B2 (ja) 2009-01-28

Family

ID=18500306

Family Applications (1)

Application Number Title Priority Date Filing Date
JP37235699A Expired - Fee Related JP4214645B2 (ja) 1999-12-28 1999-12-28 形状モデルの欠落部分の穴埋め装置

Country Status (2)

Country Link
US (1) US7006093B2 (ja)
JP (1) JP4214645B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007528529A (ja) * 2003-11-28 2007-10-11 ブラッコ イメージング エス.ピー.エー. 3dデータ集合のサーフェスを識別するための方法及びシステム(「ボクセル分割」)
US7995863B2 (en) 2004-05-04 2011-08-09 AgentSheets, Inc. Diffusion-based interactive extrusion of two-dimensional images into three-dimensional models
US7630580B1 (en) * 2004-05-04 2009-12-08 AgentSheets, Inc. Diffusion-based interactive extrusion of 2D images into 3D models
WO2008151424A1 (en) * 2007-06-11 2008-12-18 Darwin Dimensions Inc. Metadata for avatar generation in virtual environments
WO2008151419A1 (en) * 2007-06-11 2008-12-18 Darwin Dimensions Inc. Sex selection in inheritance based avatar generation
JP5531087B1 (ja) * 2012-12-28 2014-06-25 株式会社オー・エル・エム デジタル 画像処理装置および方法、並びにプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5731816A (en) * 1995-10-30 1998-03-24 Ford Global Technologies, Inc. System and method for direct modeling of fillets and draft angles
JP2808427B2 (ja) 1995-12-04 1998-10-08 株式会社エイ・ティ・アール人間情報通信研究所 イメージ生成支援システム
JPH1115994A (ja) 1997-06-20 1999-01-22 Hitachi Ltd 曲面作成方法
JPH11134517A (ja) 1997-11-04 1999-05-21 Minolta Co Ltd 3次元形状データ処理装置
JPH11134518A (ja) 1997-11-04 1999-05-21 Minolta Co Ltd 3次元形状データ処理装置
JP3657771B2 (ja) * 1998-04-22 2005-06-08 富士通株式会社 三次元モデル作成装置
JP2000003446A (ja) 1998-06-15 2000-01-07 Ricoh Co Ltd 欠測値推定方法、三次元データ入力装置、及び、記録媒体
US6456287B1 (en) * 1999-02-03 2002-09-24 Isurftv Method and apparatus for 3D model creation based on 2D images

Also Published As

Publication number Publication date
US20010013874A1 (en) 2001-08-16
US7006093B2 (en) 2006-02-28
JP2001188924A (ja) 2001-07-10

Similar Documents

Publication Publication Date Title
US7324873B2 (en) Offline teaching apparatus for robot
JP5561975B2 (ja) 表面加工データの作成方法および装置
JPH06110992A (ja) Cadシステムにおける形状変形入力操作方法
JP4214645B2 (ja) 形状モデルの欠落部分の穴埋め装置
JP3557839B2 (ja) 曲面上メッシュデータの作成方法
JPH06325151A (ja) アニメーション編集装置
JP3019017B2 (ja) 有限差分格子の自動最適化方式
JPS61133478A (ja) シート材を切断変形して得られる対象物の創成・工業化に助力する装置
JP3770840B2 (ja) 調和された点ネットワークを生成し、処理するための方法およびシステム
JP3798672B2 (ja) 変形形状算出装置及び方法
JPH0677259B2 (ja) 服飾デザイン作成装置
JP2000172742A (ja) 曲線変形処理方法、曲線変形処理装置、曲線変形用処理プログラムが記憶された記憶媒体、曲面変形処理方法、曲面変形処理装置および曲面変形用処理プログラムが記憶された記憶媒体
JP3823596B2 (ja) 動作シミュレーション用データの圧縮方法
JP4269678B2 (ja) 計測データ比較装置および形状品質評価システム
JP3187809B2 (ja) 物体の表面形状データ作成方法
Yukhimets et al. Development of method for generating trajectories of movement of end effectors and control programs for industrial robots in an uncertain working environment
JP2737126B2 (ja) 物体の断面形状画像データ作成方法
JP2767865B2 (ja) ぼかし面データ自動作成装置
JP2722496B2 (ja) 3次元図形の特徴表示方法
JPH08272938A (ja) 形状の統合方法とその装置
JP2600670B2 (ja) 自由曲面作成方法
JPH06168300A (ja) 3次元形状入力装置
JP2767806B2 (ja) 物体の表面形状データ作成方法
JPH0636180B2 (ja) 曲面作成方法
JP2832958B2 (ja) 物体の自由曲線作成方法

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20050613

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20050704

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060424

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071127

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080311

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080509

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080610

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080808

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20080924

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081014

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081027

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111114

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111114

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121114

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121114

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131114

Year of fee payment: 5

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees