JP3690212B2 - 3次元形状計測方法 - Google Patents
3次元形状計測方法 Download PDFInfo
- Publication number
- JP3690212B2 JP3690212B2 JP30408699A JP30408699A JP3690212B2 JP 3690212 B2 JP3690212 B2 JP 3690212B2 JP 30408699 A JP30408699 A JP 30408699A JP 30408699 A JP30408699 A JP 30408699A JP 3690212 B2 JP3690212 B2 JP 3690212B2
- Authority
- JP
- Japan
- Prior art keywords
- pattern
- light
- phase
- measurement
- intensity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Input (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
【発明の属する技術分野】
本発明は、位相シフト法(縞走査法)を用いた画像処理により計測対象の3次元形状を計測する3次元計測方法に関するものである。
【0002】
【従来の技術】
従来、美容分野において施療の効果は視感的判定やアンケート等による定性的な評価により行われていた。しかしながら、定性的な判定では評価者の主観が決定要因であることから正確さを欠き、また効果の度合いを定量的に評価できないことから、近年、施療部位を計測し、効果を定量的に評価することが求められている。
【0003】
美容分野に応用するための計測においては計測対象が生体であるため、非侵襲的(非侵襲:測定部位を傷つけたり薬液等を塗布するなど、対象物に物理的影響を与える方法を採らないこと)に計測が行えることが望ましい。また、たとえば美肌器具のように人体表面形状に変化が現れるものの評価の場合、その形状を計測する目的において、生体は柔軟物体であるため物理的接触を伴う計測方法では接触圧力による対象物の変形が生じ、正確な計測が行えない。従って、人体の計測は非接触による計測が求められる。
【0004】
一般的な工業部品等の非接触3次元計測装置においては、安価かつ高精度が得られるため光切断法が最も頻繁に使用されるが、光切断法は2次元的な走査を行うためには撮像時間が長くなるため、固定することが難しい生体の計測には向かない。また、この装置は目に対して有害なレーザー光線を使用するため、美容分野において主たる計測部位となる人体顔面部における使用には問題がある。そこで、人体にほぼ無害な白色光源により高速かつ高精度の計測が可能な位相シフト法(縞走査法)による計測が採用される。
【0005】
図17に位相シフト法により3次元計測を行う従来の3次元計測装置の基本構成例を示し、図18に3次元形状の検出に使用する各部におけるパターン例を示す。図17に示す装置は、投影装置11、撮像装置13、量子化回路14、記憶装置15および画像処理装置16pを備えている。
【0006】
投影装置11は、ランプ111、投影用レンズ113およびパターン板114などにより構成される。パターン板114には光の透過率がある1方向に沿って正弦波状に変化する縞状の濃淡パターンP11が形成されており、これをランプ111により照明し、投影用レンズ113を介して計測対象Tの表面に縞パターンP12を投影する。
【0007】
投影装置11には、パターン板114が濃淡パターンP11の周期よりも小さい移動量分だけなるべく正確に移動することが出来るようにパターンシフト部115が具備される。このパターンシフト部115は、濃淡表示の可能な液晶パネルのように電子的に光の透過率を変化させることができるデバイスをパターン板114に使用すれば省略可能で、機械的可動部のない装置構成が可能になる。
【0008】
また、上記縞投影方法は一例であり、この他にも白黒格子パターンをレンズによりぼかして投影する方法やレーザーの干渉を利用する方法、モアレトポグラフィにより縞を生成する方法により置換しても構わない。
【0009】
この縞パターンを撮像装置13により投影装置11の光軸と異なる角度から撮影し、そのカメラ信号を量子化回路14で量子化することにより、計測対象Tの形状に応じて変形した縞画像P13が記憶装置15上に記録される。なお、以下の説明において、投影されたパターン自体の光量を「強度」、撮像で得られる縞画像P13における任意の座標点の画素値を「明度」という。
【0010】
図19に従来の位相シフト法による計測の手順を示す。まず、ステップS10〜S15およびステップS18に示すように、パターンシフト部115により所定の移動量分だけ濃淡パターンP11の位相をシフトし、縞画像P13を撮像する処理を少なくとも3回以上繰り返し、記憶装置15上に記録する。続いて、ステップS19に示すように、記録された複数の縞画像P13に対して同一座標点における明度変化を画像処理装置16pで演算することにより投影されたパターンの位相を推定する。
【0011】
例えば図20に示すように、周期の1/4(π/2)づつ位相をシフトして4回撮影された画像において、同一座標点(x, y)における明度がI0(x, y)→I1(x, y)→I2(x, y)→I3(x, y)と変化する場合、その位置における位相値α(x, y)は次式で表される。
【0012】
【数1】
【0013】
撮影された画像のあらゆる点(x, y)に対して上式によりαの値を求めたとき、位相値が等しくなる点を結んでできる等位相線は、いわゆる光切断法における光切断線に相当し、計測対象Tの断面形状を反映する。また、投影装置11および撮像装置13の位置関係、各種光学的パラメータは既知であるので、光切断法同様にこれらのパラメータと上記等位相線の形状から計測対象Tの高さ情報が得られる。また、上述の位相は撮影された画像のあらゆる位置で求められるので、位相シフト法によれば光切断法において光切断線をそれと略直交する方向に極めて密な間隔で走査してエリア的な距離情報を得ることと等価な計測が簡単かつ高速に行える。
【0014】
ここで、位相シフト法において発生する「位相連結問題」について説明する。位相シフト法による計測においては、明度の変化を(数1)の逆正接関数に代入して位相値推定を行うので、縞と垂直な方向に沿った明度の微分値が大きいほど、すなわち縞が明瞭に見えるほど上式により求められるα(x, y)の推定精度が高くなり、高い測定精度が得られる。したがって、光学系のコントラスト自体が高くなるように配慮するとともに、コントラストが同じであれば、一度に投影される縞の本数(縞次数)が多いほど測定精度が高い。
【0015】
しかしながら、位相シフト法においては上式の通り逆正接関数を解くことにより位相値を導出するので、α(x, y)の値は−π〜πの間となり、縞次数が2以上であれば図21に示すように位相が単調増加せず不連続が生じる。撮影された画像の全面に対して高さ情報を求める処理(図19のS22)を行うためには、投影したパターンの端からの絶対的な位相値を求める必要がある。したがって、図19のステップS20に示すように、位相の不連続位置を検出し、その位置で位相値に2π×縞次数を加算して位相が単調増加するように「位相連結処理(図19のS21)」を行う必要がある。
【0016】
計測の際得られる画像が完全に理想的な条件で撮影されていれば、上記位相の不連続は極めて明瞭に得られるので、単純に位相値が+πから−πへ変化する部分を検出して位相値の加算を行えばよい。しかしながら、実際の撮影においては光学系の歪みやノイズ、計測対象Tの表面での光の反射特性などの影響により、上記位相不連続部分はしばしば不明瞭となる。位相シフト法においては、上述の通り位相が単調増加するように正しく位相連結処理が行われていなければ高さ情報を一意に決定できないため、位相不連続位置が不明瞭であっても全ての位相不連続位置を正しく検出することが必要である。これを位相連結問題と称する。
【0017】
このような位相連結問題に関して、特公平3−38524号公報に開示されているように、計測対象の近くに投影パターン全体を捉えることが出来るような広い基準面を配置し、ここに投影される歪みのない投影パターンを基準位相として計測し、これをもとにして計測対象に投影されたパターンの歪みを求めるという方法がある。
【0018】
また、上記のようにハード的な対策を設けず、画像処理のみにより位相連結処理を行う方法としては、本発明者らによる特開平11−14327号公報に記載の発明のごとく、画像全面に対して位相不連続部分の特徴を抽出するフィルタを適用する方法がある。
【0019】
さらに、投影方法の改良により位相連結問題を解決する方法としては、特開平6−66527号公報に、投影するパターンの周期を変えて2度の計測を行い、周期から決定される最大計測高さを元に小さい周期での計測の際に発生した周期ズレを大きい周期での計測結果をもとに補正する方法が記載されている。
【0020】
【発明が解決しようとする課題】
上記の3つの公報に記載の方法によれば、位相連結問題を解決することができるが、各々以下のような課題が残る。
【0021】
特公平3−38524号公報に記載の方法では、カメラ視野内にその基準面の全体を捉える必要があり、計測対象は画面の一部にしか捉えられないため、撮像装置の分解能が十分に活用されないという問題があった。また、装置構成の面でも基準面を設置する必要があり、計測対象が人体のように加工することのできない場合、適用が困難であるという問題があった。
【0022】
特開平11−14327号公報に記載の方法では、得られた位相推定結果画像の全面に対して演算量の多い大きな畳み込みフィルタを適用する必要があり、位相導出の処理に時間がかかるという問題があった。
【0023】
特開平6−66527号公報に記載の方法では、計測を行うにあたって2回の計測を実施する必要があり、計測時間が2倍かかるという問題があった。
【0024】
本発明は、上記事情に鑑みてなされたものであり、撮像装置の解像度を損なうことなく計測対象の3次元形状の計測が行え、また位相の連結処理が簡易で高速な計測が可能な3次元形状計測方法を提供することを目的とする。
【0025】
【課題を解決するための手段】
上記課題を解決するために請求項1記載の発明の3次元形状計測方法は、光の強度が少なくとも1周期以上に亘る正弦波状に変化し縞状となる第1パターンを計測対象に投影し、前記1周期の縞間隔よりも狭い間隔で前記第1パターンの位相シフトを複数回行い、少なくとも前記位相シフト毎に、前記第1パターンの光の光軸と異なる方向から、前記計測対象の表面形状に応じて変形した前記第1パターンの撮像を行い、前記撮像で得られた複数の画像の同一位置における明度を逆正接関数で演算処理して前記第1パターンの位相を導出し、前記第1パターンの位相境界で発生する不連続を復元して位相の連結を行う各ステップを有し、前記第1パターンの位相境界の位置に強度のエッジまたはピークを形成する第2パターンの光を前記計測対象に照射し、前記位相の連結の際、前記第2パターンの光により形成された強度のエッジまたはピークに応じて前記第1パターンの位相境界の位置を割り出すのである。
【0028】
この方法によれば、位相シフト法の計測の原理上生じる位相連結問題を解決するために、第1パターンの位相境界の位置にエッジまたはピークの明瞭な特徴を持つ第2パターンの光を照射し、第2パターンの特徴のみを用いて第1パターンの位相境界の位置を検出するようにしたので、演算処理が少なく位相の連結処理が簡易で高速な計測が可能になる。
【0029】
なお、請求項1記載の3次元形状計測方法において、前記第1パターンの光は投影手段から射出され、前記第2パターンの光は、補助投影手段から少なくとも1つの点状光として射出され、前記第1パターンの位相境界の位置に点状のピークを形成する方法でもよい(請求項2)。この方法によれば、第1パターンの位相境界を示す第2パターンを点状にすることで、位相の連結処理が非常に簡易になる。
【0030】
また、請求項1記載の3次元形状計測方法において、前記第1パターンの光は投影手段から射出され、前記第2パターンの光は、補助投影手段から少なくとも1つの線状光として射出され、前記第1パターンの位相境界の位置に線状のエッジを形成する方法でもよい(請求項3)。この方法によれば、第1パターンの位相境界を示す第2パターンを、第1パターンにおける位相が同一となる方向に沿った線状にすることで、計測対象が段差を有するものであっても、適切な計測が可能になる。
【0031】
また、請求項2または3に記載の3次元形状計測方法において、前記第1パターンの光に前記第2パターンの光が重畳される方法でもよい(請求項4)。この方法によれば、第1パターンの光と第2パターンの光とを同時に計測対象に照射することで、撮像時間を増大させることなく位相境界の位置を検出することができる。
【0032】
また、請求項2または3に記載の3次元形状計測方法において、前記第2パターンの光は前記第1パターンの光とは別に前記計測対象に照射され、前記撮像は前記第2パターンの光の照射の際にも行われる方法でもよい(請求項5)。この方法によれば、第2パターンの光を第1パターンの光と別に計測対象に照射することで、計測対象が例えば人体などのように半透明の性状を有する場合でも、第2パターンの光の照射によって第1パターンの明度が著しく乱れる恐れがないので、正しい計測が可能となる。
【0033】
また、請求項1記載の3次元形状計測方法において、前記第2パターンは、当該第2パターンの光の強度が前記位相シフトの方向と同じ方向に沿って周期的にかつ段階的に変化するパターンであり、前記第1パターンの一部に形成される方法でもよい(請求項6)。この方法によれば、第1パターンの一部に第2パターンを形成するので、例えば補助投影装置を用いない簡易な方法で、かつ撮影時間を増大させることなく、第1パターンの位相境界の位置を検出することができる。
【0034】
さらに、請求項1記載の3次元形状計測方法において、前記第2パターンは、当該第2パターンの光の強度が前記位相シフトの方向と同じ方向に沿って明暗で周期的に変化するパターンであり、前記第1パターンの光および前記第2パターンの光は、同一の投影手段から別々にそれぞれ複数回および少なくとも1回射出される方法でもよい(請求項7)。この方法によれば、例えば補助投影装置を用いることなく、計測対象に段差があっても、適切な計測が可能になる。
【0035】
請求項8記載の発明の3次元形状計測方法は、光の強度が少なくとも1周期以上に亘る正弦波状に変化し縞状となる第1パターンを計測対象に投影し、前記1周期の縞間隔よりも狭い間隔で前記第1パターンの位相シフトを複数回行い、少なくとも前記位相シフト毎に、前記第1パターンの光の光軸と異なる方向から、前記計測対象の表面形状に応じて変形した前記第1パターンの撮像を行い、前記撮像で得られた複数の画像の同一位置における明度を逆正接関数で演算処理して前記第1パターンの位相を導出し、前記第1パターンの位相境界で発生する不連続を復元して位相の連結を行う各ステップを有し、光の強度が一定となる帯状の第2パターンを前記第1パターンにおける位相が同一となる方向に挿入し、前記位相の連結の際、前記第2パターンにより発生する逆正接関数の近似誤差を元に前記第2パターンの位置の検出を行い、この検出結果に応じて前記第1パターンの位相境界の位置を割り出すものである。
【0036】
この方法によれば、撮像時間がほとんど増大せず、また位相境界の位置を不安定な画像特徴によらずに検出することができ、また計測対象に段差があっても適切な計測が可能になる。
【0037】
請求項9記載の発明は、光の強度が少なくとも1周期以上に亘る正弦波状に変化し縞状となる第1パターンを計測対象に投影し、前記1周期の縞間隔よりも狭い間隔で前記第1パターンの位相シフトを複数回行い、少なくとも前記位相シフト毎に、前記第1パターンの光の光軸と異なる方向から、前記計測対象の表面形状に応じて変形した前記第1パターンの撮像を行い、前記撮像で得られた複数の画像の同一位置における明度を逆正接関数で演算処理して前記第1パターンの位相を導出し、前記第1パターンの位相境界で発生する不連続を復元して位相の連結を行う各ステップを有し、前記位相シフトの方向に沿った位置に対応する強度変調関数により光の強度が変調された第2パターンを前記計測対象に投影し、前記位相の連結の際、前記計測対象での前記第1パターンの光による反射光量を測定することにより前記第2パターンの強度変調関数を復元し、この復元された強度変調関数を用いて前記第1パターンの位相境界の位置を割り出す3次元形状計測方法であって、前記第2パターンは、当該第2パターンの光の強度が前記位相シフトの方向と同じ方向に沿った位置に対応する線形関数に従って変化するパターンであり、前記第1パターンの光および前記第2パターンの光は、別々に前記計測対象に照射されるものである。
【0038】
この方法によれば、計測対象が、模様がある物体など、画像特徴が曖昧になりがちな場合であっても、第1パターンの位相の境界位置を正確に検出することができる。
【0040】
また、計測対象が、模様がある物体など、画像特徴が曖昧になりがちな場合であっても、第1パターンの位相境界の位置を正確に検出することができ、また計測対象が段差を有していても、計測が可能になり、さらに処理も高速に行える。
【0041】
【発明の実施の形態】
以下、本発明の3次元形状計測方法に係る種々の実施形態を説明する。3次元形状計測方法は、位相シフト法を応用したもので、その位相シフト法による計測で発生する位相連結問題を解決するために、光の強度が少なくとも1周期以上に亘る正弦波状に変化し縞状となる第1パターンを計測対象に投影することに加えて、第1パターンの位相境界の位置を割り出すために、第1パターンの位相境界の位置を示す補助パターン(第2パターン)を補助的に使用するものである。
【0042】
補助パターンは、第1パターンの位相シフトの方向に沿った位置に対する光の強度が分かるように、第1パターンの光の強度が変調され、かつその変調パターンが第1パターンと異なるように形成される。つまり、補助パターンの光として、レーザーによるスポットや縞、あるいは明暗の繰り返しのある縞パターンなどの光が使用される。
【0043】
また、補助パターンの情報を使用する場合、補助パターンの情報のみから第1パターンの位相境界の位置を割り出す方法と、補助パターンと第1パターンの両方を用いて相互の関係から第1パターンの位相境界の位置を割り出す方法とがある。
【0044】
図1に補助パターンの情報のみから第1パターンの位相境界の位置を割り出す方法を採用する装置の構成図を示し、図2に3次元形状の検出に使用する各部におけるパターン例を示し、図3に図1の補助投影装置から射出される光のパターンなどを示す。
【0045】
図1に示す装置は、投影装置11、補助投影装置12、撮像装置13、量子化回路14、記憶装置15および画像処理装置16を備えている。
【0046】
投影装置11は、光源としてのランプ111と、このランプ111の光を一の方向に向けて反射する凹面鏡112と、ランプ111の前方に配置される投影用レンズ113と、ランプ111および投影用レンズ113の間に介設され、図2(a)に示すように、ランプ111からの面状光を、この強度が一の方向に沿って1周期以上に亘る正弦波状に変化する縞状の濃淡パターンP11(第1パターン)で、投影光として計測対象Tに照射するためのパターン板114と、このパターン板114を複数回小刻みに移動させて、上記1周期(TM1)の縞間隔よりも狭い間隔で、正弦パターンである濃淡パターンP11の位相シフトを行うパターンシフト部115とにより構成されている。
【0047】
補助投影装置12は、濃淡パターンP11の位相境界の位置を示す補助パターンの光をランプ111の光軸OA1に沿って計測対象Tに照射するもので、例えば、レーザーなどの光源121と、この光源121の光軸OA2をランプ111の光軸OA1に一致させるためのハーフミラー122とにより構成される。このハーフミラー122は投影装置11の光軸OA1中にこの光軸との傾斜角が45度になるように配置されるとともに、光源121はこの光軸OA2がハーフミラー122の反射面で投影装置11の光軸OA1と直交するように配置される。なお、光源121の補助パターンについては後述する。
【0048】
撮像装置13は、少なくとも上記位相シフト毎に、計測対象Tに対するランプ111の光軸OA1と異なる方向から計測対象Tの撮像を行うもので、例えば受光レンズおよびCCDなどにより構成される。ここで、ランプ111からの面状光が濃淡パターンP11で計測対象Tに照射されると、濃淡パターン(濃淡パターン像)P11が計測対象Tに投影されることになるのであるが、投影された濃淡パターンP11が、図2(b)に示すように、計測対象Tの表面形状に応じて変形した縞パターンP12となるので、この縞パターンP12の画像が撮像されることになる。また、補助投影装置12の補助パターンの画像も撮像される。
【0049】
量子化回路14は、撮像装置13の撮像から、つまり撮像装置12のカメラ信号を量子化することで、図2(c)に示すように、縞パターンP12に対応する縞画像P13を得るものである。また、補助投影装置12の補助パターンの画像も得られる。
【0050】
記憶装置15は、量子化回路13で得られた画像を複数フレーム分記憶するもので、例えばRAMなどの半導体記憶素子またはいわゆるハードディスクなどのディスク装置などにより構成される。
【0051】
画像処理装置16は、記憶装置15に記憶の画像を用いて、各種の画像処理を行うもので、例えば、記憶装置15に記憶されている複数の画像の同一位置における明度を逆正接関数で演算処理して、計測対象Tの表面形状に応じた濃淡パターンP11の位相の導出、つまり縞画像P13の位相の導出処理を行う。また、縞画像P13の位相境界の検出処理が行われる。また、縞画像P13の位相境界で発生する不連続を復元して位相の連結処理が行われる。さらに、計測対象Tの高さ計算の処理が行われる。
【0052】
ここで、補助投影装置12から射出される光の補助パターンを説明する。例えば、最も簡単な補助パターン(スポット光投影方法)を採用する場合には、補助投影装置12の光源121は、スポット(点)状の光を射出するように構成される。図3の例には、ビームスプリッタなどにより複数のレーザースポットを補助パターンP14として発生させ、縞画像P13の1位相について1個の点状の補助パターンP14を重畳させて投影した状態が示されている。
【0053】
この場合、補助投影装置12は投影装置11のようにパターンシフト部を備えず、画像処理装置16は、濃淡パターンP11の位相のみをシフトさせて得られる複数の画像の明度変化から、上記(数1)に示す式によって位相復元を行う。このとき、補助パターンの光は常に同一位置を同一強度で照明するので、相対的な明度変化のみにより位相復元が行われる上記(数1)の式によれば、位相復元は補助パターンに関係なく行われる。
【0054】
また、図3に示すように、スポット光による点状の補助パターンP14を濃淡パターンP11に重畳させて投影し、濃淡パターンP11の位相のみをシフトさせ、そして得られた複数枚の画像の同一位置における明度を平均した画像(平均化画像)を生成すれば、補助パターンP14のみを投影したのと同じ状態の画像が得られるので、上記スポット光の位置を容易に検出できる。このようにして補助パターンP14の位置を計測することにより、濃淡パターンP11の位相シフトの方向における縞間隔が実測されるので、上記位相の連結処理の際、その実測値に従って位相値の加算を行うことにより位相の連結処理が簡単に行える。
【0055】
上記スポット光投影方法は、濃淡パターンP11の位相シフトの方向における高さ変動が大きく、かつそれと直交する方向(縞と垂直な方向)の高さ変動が少ない場合に有効である。しかし、スポット光投影方法では、縞と交差する方向に段差などの大きな高さ変動がある場合、段差部分で同じ次数の縞を対応付けすることができない。
【0056】
図4に縞と交差する方向に段差などの大きな高さ変動がある場合に好適な補助パターン例を示す。計測対象Tが段差を有するような場合、線状光投影方法を採用して、光切断法と同様の線状光P24を射出するように補助投影装置12の光源121を構成すれば、同じ次数の縞を対応付けすることができる。
【0057】
図4に示すように、線状光を、濃淡パターンP11の例えば位相境界の位置に沿って重畳するように照射し、濃淡パターンP11のみに対して位相シフトを行い、これにより得られる複数の画像の同一位置における明度を平均した画像(平均化画像)を生成すれば、線状光のみを照射したのと同じ状態の画像が得られるので、線状光による線状の補助パターンP24の位置は光切断法と同様の方法により容易に検出できる。
【0058】
ここで、図4の場合、2周期ごとに1本、合計で3本の線状光による線状の補助パターンP24が縞次数6の濃淡パターンP11に重畳するように投影されるので、縞画像P13に存在すべき線状光P24の本数が3本であるのが分かる。従って、段差部分で各縞が切れていても3本の線状光が全て視野内に入っている限り、補助パターンP24のA1部分とA2部分とが同一であるのが分かるので、これらA1,A2部分の片方における縞のB1部分と縞のB2部分とが同じ次数で、もう片方における縞のC1部分と縞のC2部分とが同じ次数であるのが分かる。このようにして、段差のある場合の計測が可能となる。
【0059】
これらスポット光投影方法および線状光投影方法、すなわち濃淡パターンP11と補助パターンとを重畳させて投影する方法は、計測対象Tが不透明な物体である場合に有効である。これに対して、計測対象Tが例えば人体のように半透明の性状を持つ物体である場合、濃淡パターンP11の光と補助パターンの光とを重畳させて投影すると、光が計測対象Tの内側に浸透して拡散するため、(濃淡パターンP11が計測対象Tに投影されてその表面形状に応じて変化する)縞パターンP12が大きく乱れて見える恐れがある。このような場合、濃淡パターンP11のみを計測対象Tに投影して撮像し、この後、補助パターンを計測対象Tに別途投影して撮像することにより、縞パターンP12が大きく乱れて見える不具合を回避できる。
【0060】
次に、補助投影装置12を使用しないで補助パターンを投影する方法について説明する。
【0061】
図5に補助投影装置12を使用しないで補助パターンを投影する第1の方法の説明図を示す。この第1の方法は、上記スポット光投影方法の点状の補助パターンP14に替えて、濃淡パターンP11の位相シフトの方向と同じ方向に帯状の余白部Mを設け、この余白部M内に濃淡パターンP11の位相位置を示す補助パターンP34を入れる方法であり、この方法を採用する場合には、補助パターンP34の入った濃淡パターンP11を投影するようにパターン板114が構成される。このような補助パターンP34の入った濃淡パターンP11が計測対象Tに投影されると、その撮像により得られる縞画像P13にも図5に示すように補助パターンP34が入るので、上記スポット光投影方法と同様の効果を得ることができる。図5の例では、補助パターンP34は1周期ごとに白黒パターンが入れ替わるようなパターンになっており、この場合、白黒の境界位置を上記点状の補助パターンP14の位置の検出結果と同様に扱って処理を行うようにすればよく、位相の連結処理における補助パターン情報の利用の仕方はスポット光投影法と同様である。
【0062】
図6に補助投影装置12を使用しないで補助パターンを投影する第2の方法の説明図を示す。この第2の方法は、段差のある物体の計測に対応可能にすべく、上記線状光投影方法の線状の補助パターンP24に替えて、濃淡パターンP11とは別に濃淡パターンP11の位相位置を示す補助パターンP44を計測対象Tに少なくとも1回投影する方法であり、この方法を採用する場合、パターン板114は例えば透光型液晶パネルで構成される。このような濃淡パターンP11の光と補助パターンP44の光とが計測対象Tに別々に投影されると、各撮像により、図6(a)に示すように、計測対象Tの表面形状に応じた縞画像P13が得られるとともに、計測対象Tの表面形状に応じた補助パターンP44の画像が得られるので、上記線状光投影方法と同様の効果を得ることができる。図6(b)では、補助パターンP44は1周期ごとに白黒パターンが入れ替わるようなパターンになっており、この場合、白黒の境界に生じるエッジを上記線状の補助パターンP24の位置の検出結果と同様に扱って処理を行うようにすればよく、位相の連結処理における補助パターン情報の利用の仕方は上記線状光投影方法と同様である。
【0063】
図7は補助投影装置12を使用しないで補助パターンを投影する第2の方法を採用する場合のフローチャートの一例で、画像処理装置16などにより実行される。このフローチャートには、図19に示した従来のフローチャートと同様の処理(S10〜S15およびS18〜S22)に加えて、ステップS15とステップS18との間に、「補助パターンに切替え」および「画像取り込み」の両処理がさらに設けられる手順になっている(S16,S17)。つまり、ステップS10〜S15において、図19と同様に、濃淡パターンP11の位相シフトおよび縞画像P13の取り込みの一連の処理が複数回(N回)実行され、この後、ステップS16,S17において、補助パターンP44に切替え(S16)、続いて、その画像取り込み(S17)を行う一連の処理が1回実行されるのである。
【0064】
これら第1および第2の方法では、画像の特徴を抽出して縞画像P13の位相境界の位置を検出するので、画像の特徴が曖昧になる計測対象(模様のある物体など)Tへの適用が困難となる場合が考えられる。
【0065】
次に、このような場合に好適な方法として、補助パターンと第1パターンの両方を用いて相互の関係から第1パターンの位相境界の位置を割り出す方法について説明する。ただし、補助投影装置12を用いないで投影を行うものとして説明する。
【0066】
図8に補助パターンと第1パターンの両方を用いて相互の関係から第1パターンの位相境界の位置を割り出す方法の説明図を示し、図9に図8におけるP1位置での明度変化を示す。この方法は、濃淡パターンP11の位相ごとにその周期を任意の整数で割った幅を持つ空白部を補助パターンP54として設ける方法であり、この方法を採用する場合、補助パターンP54の入った濃淡パターンP11の光を投影するようにパターン板114が構成される。このような補助パターンP54の入った濃淡パターンP11が計測対象Tに投影されると、その撮像により得られる縞画像P13にも図8(a)に示すように空白部が入り、これにより、図8(b)に占めすように明度が変化する。
【0067】
図8(a)では、補助パターンP54は、濃淡パターンP11の周期の1/4幅(位相シフト時の移動幅に相当する幅)に設定されており、このパターンを図19に示す手順により、周期の1/4幅づつ移動させつつ5回撮像すると、図8(a)のP1に示す位置での明度は図9のI0〜I4に示すように変化する。この明度I0〜I4について、連続する4回の明度を選び出す全ての組み合わせ、すなわち[I0, I1, I2, I3]、[I1, I2, I3, I4]、[I2, I3, I4, I0]、[I3, I4, I0, I1]、[I4, I0, I1, I2]のk=5種の組合せの中から、変化が正弦波に最も近いものを求める。上記組合せの各々に対して、(数1)に示す式により位相値αk(k=0〜4)を求めると、明度ψの近似式は
【0068】
【数2】
【0069】
となるので、次式により近似式との差分和を求め、これが最も小さいものを真の位相値とする。ただし、Fは明度コントラストで、Bは背景明度である。
【0070】
【数3】
【0071】
以上の処理により得られたΣdjの値を最小化するkの値から、IO〜I4のうち補助パターンP54に相当する位置が求められるので、上述の補助投影装置12により線状光を投影した場合と同様に、計測対象Tに段差があっても計測が可能となり、また撮像時間も1回分増加するだけで済む。
【0072】
図10に補助パターンと第1パターンの両方を用いて相互の関係から第1パターンの位相境界の位置を割り出す別の方法の説明図を示す。この方法は、図8を用いて説明した方法のように、補助パターンと第1パターンを同時に使用するのではなく、強度変調が関数により定義された補助パターンを用いる方法であり、この方法を採用する場合、パターン板114は例えば透光型液晶パネルで構成される。また、この方法には、図10〜図14を用いて説明するが2種類あり、まず、図10,図11を用いてその1つ目の方法を説明する。
【0073】
1つ目の方法では、まず従来と同様の位相シフト法の手順により、波長λなる濃淡パターンP11を計測対象Tに投影し、複数回位相シフトしつつ撮像し、図10(a)に示すように、複数の縞画像P13を得る。続いて、波長2λなる補助パターンを1回だけ投影して撮像し、図10(b)に示すように、補助パターンP64の画像を得る。この手順は図7に示す手順と同じである。
【0074】
図11に位相の開始点が同じで波長が2倍異なるパターンを投影したときの明度の変化を示す。波長2λなる補助パターンP64において位相θとなる点P2における明度f2と、位相開始点が同じで波長がλである縞画像P13の同じ位置における明度f1は以下のようになる。
【0075】
【数4】
【0076】
したがって、この2式により、
【0077】
【数5】
【0078】
なお、上式において、補助パターンP64は計測対象Tの表面の反射率によって決定される背景明度であるが、補助パターンP64の明度の値は最初の4回の投影で得られた明度の値を用いて、(数2)により求められる。(数5)でθを求めることにより、最初の4回において投影された正弦波の隣り合う2周期分の境界はθ=nπ(n:整数)となる位置であるので、容易に縞画像P13の位相境界の位置を求めることができる。また、縞と直交する方向に段差がある場合においても、最後の投影の周期2λ以内のずれを生じる範囲内であれば縞次数の判断を誤ることなく計測を行うことができる。
【0079】
図12に補助パターンと第1パターンの両方を用いて相互の関係から第1パターンの位相境界の位置を割り出す2つ目の方法の説明図を示す。この方法では、図7に示す手順によって、まず従来と同様の位相シフト法の手順により、正弦波パターンである濃淡パターンP11を計測対象Tに投影し、複数回位相シフトしつつ撮像し、図12(a)に示すように、複数の縞画像P13を得る。続いて、光の強度が濃淡パターンP11の位相シフトの方向に沿って線形に増加するような補助パターンを1回だけ投影して撮像し、図12(b)に示すように、補助パターンP74の画像を得る。
【0080】
ここで、(数2)より、濃淡パターンP11を位相シフトさせて複数回撮影して得た複数の画像の同一位置における明度を平均した画像(平均化画像)を生成すれば、計測対象Tの表面の濃淡情報が得られる。この平均化画像の縞を横切る方向の明度変化の例を図13(b)に示す。平均化画像と最後に補助パターンを投影して得た画像の明度(図13(a)参照)を差分することにより、明度が計測対象Tの形状(図13(d)参照)を表すようなプロフィール(図13(c)参照)が得られる。これにより、図14の上段の明度B1に示す縞画像P13の位相境界に対応する明度B2(図14の下段参照)が分かるので、図13(c)に示すプロフィールにおいて明度B2になる位置を探すことにより縞画像P13の位相境界の位置を検出すれば、位相の連結処理を行うことができる。
【0081】
なお、図11では強度変化パターンは端から一定の比率で明度が高くなるように設定されているが、これを図15に示すように階段状に強度が変化するパターンとしてもよい。また、図16に示すように周期的に強度が変化するパターンとしても同様の効果が得られる。
【0082】
【発明の効果】
請求項1記載の発明によれば、演算処理が少なく位相の連結処理が簡易で高速な計測が可能になる。
【0084】
請求項2記載の発明によれば、非常に簡易に位相の連結処理を行うことができる。
【0085】
請求項3記載の発明によれば、計測対象が段差を有するものであっても、適切な計測が可能になる。
【0086】
請求項4記載の発明によれば、撮像時間を増大させることなく位相境界の位置を検出することができる。
【0087】
請求項5記載の発明によれば、計測対象が例えば人体などのように半透明の性状を有する場合でも、第2パターンの光の照射によって第1パターンの明度が著しく乱れる恐れがないので、正しい計測が可能となる。
【0088】
請求項6記載の発明によれば、例えば補助投影装置を用いない簡易な方法で、かつ撮影時間を増大させることなく、第1パターンの位相境界の位置を検出することができる。
【0089】
請求項7記載の発明によれば、例えば補助投影装置を用いることなく、計測対象に段差があっても、適切な計測が可能になる。
【0090】
請求項8記載の発明によれば、撮像時間がほとんど増大せず、また位相境界の位置を不安定な画像特徴によらずに検出することができ、また計測対象に段差があっても適切な計測が可能になる。
【0093】
請求項9記載の発明によれば、計測対象が、模様がある物体など、画像特徴が曖昧になりがちな場合であっても、第1パターンの位相境界の位置を正確に検出することができ、また計測対象が段差を有していても、計測が可能になり、さらに処理も高速に行える。
【図面の簡単な説明】
【図1】補助パターンの情報のみから第1パターンの位相境界の位置を割り出す方法を採用する装置の構成図である。
【図2】3次元形状の検出に使用する各部におけるパターン例を示す図である。
【図3】図1の補助投影装置から射出される光のパターンなどを示す図である。
【図4】縞と交差する方向に段差などの大きな高さ変動がある場合に好適な補助パターン例を示す図である。
【図5】補助投影装置を使用しないで補助パターンを投影する第1の方法の説明図である。
【図6】補助投影装置を使用しないで補助パターンを投影する第2の方法の説明図である。
【図7】補助投影装置を使用しないで補助パターンを投影する第2の方法を採用する場合のフローチャートの一例を示す図である。
【図8】補助パターンと第1パターンの両方を用いて相互の関係から第1パターンの位相境界の位置を割り出す方法の説明図である。
【図9】図8におけるP1位置での明度変化を示す図である。
【図10】補助パターンと第1パターンの両方を用いて相互の関係から第1パターンの位相境界の位置を割り出す別の方法の説明図である。
【図11】位相の開始点が同じで波長が2倍異なるパターンを投影したときの明度の変化を示す図である。
【図12】補助パターンと第1パターンの両方を用いて相互の関係から第1パターンの位相境界の位置を割り出す2つ目の方法の説明図である。
【図13】撮像により得られた画像から補助パターンを復元する方法の説明図である。
【図14】復元された補助パターンの関数から位相境界の位置を検出する方法の説明図である。
【図15】補助投影装置を用いずに補助パターンを生成する方法の別例に関して、補助パターンの別例の説明図である。
【図16】補助投影装置を用いずに補助パターンを生成する方法の別例に関して、補助パターンの別例の説明図である。
【図17】位相シフト法により3次元計測を行う従来の3次元計測装置の基本構成例を示す図である。
【図18】3次元形状の検出に使用する各部におけるパターン例を示す図である。
【図19】従来の位相シフト法による計測の手順を示す図である。
【図20】位相シフト法における位相推定原理の説明図である。
【図21】位相シフト法における位相連結問題の説明図である。
【符号の説明】
11 投影装置
12 補助投影装置
13 撮像装置
14 量子化回路
15 記憶装置
16 画像処理装置
Claims (9)
- 光の強度が少なくとも1周期以上に亘る正弦波状に変化し縞状となる第1パターンを計測対象に投影し、
前記1周期の縞間隔よりも狭い間隔で前記第1パターンの位相シフトを複数回行い、
少なくとも前記位相シフト毎に、前記第1パターンの光の光軸と異なる方向から、前記計測対象の表面形状に応じて変形した前記第1パターンの撮像を行い、
前記撮像で得られた複数の画像の同一位置における明度を逆正接関数で演算処理して前記第1パターンの位相を導出し、
前記第1パターンの位相境界で発生する不連続を復元して位相の連結を行う
各ステップを有し、
前記第1パターンの位相境界の位置に強度のエッジまたはピークを形成する第2パターンの光を前記計測対象に照射し、
前記位相の連結の際、前記第2パターンの光により形成された強度のエッジまたはピークに応じて前記第1パターンの位相境界の位置を割り出す
ことを特徴とする3次元形状計測方法。 - 前記第1パターンの光は投影手段から射出され、
前記第2パターンの光は、補助投影手段から少なくとも1つの点状光として射出され、前記第1パターンの位相境界の位置に点状のピークを形成する
ことを特徴とする請求項1記載の3次元形状計測方法。 - 前記第1パターンの光は投影手段から射出され、
前記第2パターンの光は、補助投影手段から少なくとも1つの線状光として射出され、前記第1パターンの位相境界の位置に線状のエッジを形成する
ことを特徴とする請求項1記載の3次元形状計測方法。 - 前記第1パターンの光に前記第2パターンの光が重畳されることを特徴とする請求項2または3に記載の3次元形状計測方法。
- 前記第2パターンの光は前記第1パターンの光とは別に前記計測対象に照射され、前記撮像は前記第2パターンの光の照射の際にも行われることを特徴とする請求項2または3に記載の3次元形状計測方法。
- 前記第2パターンは、当該第2パターンの光の強度が前記位相シフトの方向と同じ方向に沿って周期的にかつ段階的に変化するパターンであり、前記第1パターンの一部に形成されることを特徴とする請求項1記載の3次元形状計測方法。
- 前記第2パターンは、当該第2パターンの光の強度が前記位相シフトの方向と同じ方向に沿って明暗で周期的に変化するパターンであり、
前記第1パターンの光および前記第2パターンの光は、同一の投影手段から別々にそれぞれ複数回および少なくとも1回射出される
ことを特徴とする請求項1記載の3次元形状計測方法。 - 光の強度が少なくとも1周期以上に亘る正弦波状に変化し縞状となる第1パターンを計測対象に投影し、
前記1周期の縞間隔よりも狭い間隔で前記第1パターンの位相シフトを複数回行い、
少なくとも前記位相シフト毎に、前記第1パターンの光の光軸と異なる方向から、前記計測対象の表面形状に応じて変形した前記第1パターンの撮像を行い、
前記撮像で得られた複数の画像の同一位置における明度を逆正接関数で演算処理して前記第1パターンの位相を導出し、
前記第1パターンの位相境界で発生する不連続を復元して位相の連結を行う
各ステップを有し、
光の強度が一定となる帯状の第2パターンを前記第1パターンにおける位相が同一となる方向に挿入し、
前記位相の連結の際、前記第2パターンにより発生する逆正接関数の近似誤差を元に前記第2パターンの位置の検出を行い、この検出結果に応じて前記第1パターンの位相境界の位置を割り出す
ことを特徴とする3次元形状計測方法。 - 光の強度が少なくとも1周期以上に亘る正弦波状に変化し縞状となる第1パターンを計測対象に投影し、
前記1周期の縞間隔よりも狭い間隔で前記第1パターンの位相シフトを複数回行い、
少なくとも前記位相シフト毎に、前記第1パターンの光の光軸と異なる方向から、前記計測対象の表面形状に応じて変形した前記第1パターンの撮像を行い、
前記撮像で得られた複数の画像の同一位置における明度を逆正接関数で演算処理して前記第1パターンの位相を導出し、
前記第1パターンの位相境界で発生する不連続を復元して位相の連結を行う
各ステップを有し、
前記位相シフトの方向に沿った位置に対応する強度変調関数により光の強度が変調された第2パターンを前記計測対象に投影し、
前記位相の連結の際、前記計測対象での前記第1パターンの光による反射光量を測定することにより前記第2パターンの強度変調関数を復元し、この復元された強度変調関数を用いて前記第1パターンの位相境界の位置を割り出す
3次元形状計測方法であって、
前記第2パターンは、当該第2パターンの光の強度が前記位相シフトの方向と同じ方向に沿った位置に対応する線形関数に従って変化するパターンであり、
前記第1パターンの光および前記第2パターンの光は、別々に前記計測対象に照射される
ことを特徴とする3次元形状計測方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP30408699A JP3690212B2 (ja) | 1999-10-26 | 1999-10-26 | 3次元形状計測方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP30408699A JP3690212B2 (ja) | 1999-10-26 | 1999-10-26 | 3次元形状計測方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001124534A JP2001124534A (ja) | 2001-05-11 |
JP3690212B2 true JP3690212B2 (ja) | 2005-08-31 |
Family
ID=17928865
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP30408699A Expired - Fee Related JP3690212B2 (ja) | 1999-10-26 | 1999-10-26 | 3次元形状計測方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3690212B2 (ja) |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005315728A (ja) * | 2004-04-28 | 2005-11-10 | Hiroshima Univ | 表面形状計測装置、表面形状計測方法 |
JP4108085B2 (ja) | 2005-02-18 | 2008-06-25 | 富士通株式会社 | 光学歪補正装置および光学歪補正方法 |
JP4611782B2 (ja) * | 2005-03-28 | 2011-01-12 | シチズンホールディングス株式会社 | 3次元形状測定方法及び測定装置 |
JP4688625B2 (ja) * | 2005-10-18 | 2011-05-25 | 株式会社山武 | 3次元計測装置、3次元計測方法、及び3次元計測プログラム |
JP4830871B2 (ja) * | 2007-01-26 | 2011-12-07 | パナソニック電工株式会社 | 3次元形状計測装置及び3次元形状計測方法 |
KR100839167B1 (ko) | 2007-09-18 | 2008-06-17 | 주식회사 엔씨비네트웍스 | 모아레 무늬 발생기를 적용한 위상천이 영사식 3차원형상측정장치 및 그 방법 |
KR100904755B1 (ko) | 2009-01-14 | 2009-06-29 | 선문대학교 산학협력단 | 입체 형상 측정에서의 측정물 위치 설정 방법 |
JP4807599B2 (ja) * | 2009-01-22 | 2011-11-02 | 日商精密光学株式会社 | 光切断法と点光による深さ高さの測定法の融合光学システム |
KR101227427B1 (ko) * | 2012-10-10 | 2013-01-29 | 서울과학기술대학교 산학협력단 | 정현파 신호의 위상 측정 방법 |
JP6104662B2 (ja) * | 2013-03-25 | 2017-03-29 | 株式会社東芝 | 計測装置、方法及びプログラム |
CN103697825B (zh) * | 2013-12-30 | 2017-01-18 | 中国科学院西安光学精密机械研究所 | 一种超分辨3d激光测量***及方法 |
JP6894280B2 (ja) * | 2017-04-10 | 2021-06-30 | 株式会社サキコーポレーション | 検査方法及び検査装置 |
JP6894348B2 (ja) * | 2017-11-10 | 2021-06-30 | 株式会社サキコーポレーション | 検査装置の高さ情報の取得方法及び検査装置 |
JP7156794B2 (ja) * | 2018-01-16 | 2022-10-19 | 株式会社サキコーポレーション | 検査装置の高さ情報の取得方法及び検査装置 |
JP6994165B2 (ja) | 2018-03-16 | 2022-01-14 | 日本電気株式会社 | 3次元形状計測装置、3次元形状計測方法及びプログラム |
CN109307483B (zh) * | 2018-11-20 | 2020-05-19 | 西南石油大学 | 一种基于结构光***几何约束的相位展开方法 |
JP2022130940A (ja) | 2021-02-26 | 2022-09-07 | Juki株式会社 | 3次元計測装置及び3次元計測方法 |
CN113899321B (zh) * | 2021-10-08 | 2023-06-23 | 河北工业大学 | 凹面镜辅助成像的镜面物体三维形貌测量方法及*** |
-
1999
- 1999-10-26 JP JP30408699A patent/JP3690212B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2001124534A (ja) | 2001-05-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3690212B2 (ja) | 3次元形状計測方法 | |
JP3856838B2 (ja) | 物体の形状を測定する方法および装置 | |
CN106796721B (zh) | 三维轮廓测量中根据多个相机和源的点云合并 | |
US6252623B1 (en) | Three dimensional imaging system | |
JP5252820B2 (ja) | 3次元計測方法及びそれを用いた3次元形状計測装置 | |
EP2161537B1 (en) | Optical position measuring apparatus based on projection of grid patterns | |
EP1643210A1 (en) | Method and apparatus for measuring shape of an object | |
US20100201811A1 (en) | Depth ranging with moire patterns | |
EP0327567A1 (en) | Extended-range moire contouring | |
CN113108721B (zh) | 基于多光束自适应互补匹配的高反光物体三维测量方法 | |
CN109631797B (zh) | 一种基于相移技术的三维重构无效区域快速定位方法 | |
Guo et al. | 3-D shape measurement by use of a modified Fourier transform method | |
CN110595388B (zh) | 一种基于双目视觉的高动态实时三维测量方法 | |
CN111473745A (zh) | 一种基于多频相移方案的发光表面微观三维测量方法 | |
CN116608794B (zh) | 一种抗纹理3d结构光成像方法、***、装置及存储介质 | |
Xu et al. | Realtime 3D profile measurement by using the composite pattern based on the binary stripe pattern | |
CN116310101A (zh) | 基于过曝光连通域强度自适应分布的高动态三维测量方法 | |
JP3454088B2 (ja) | 3次元形状計測方法及びその装置 | |
KR100752545B1 (ko) | 2개 영상을 이용한 물체 표면 형상 및 반사율 정보 획득 시스템 | |
KR20100041026A (ko) | 컬러 투사 모아레 기법을 이용한 3차원 형상 측정 장치 및 방법 | |
JP2538435B2 (ja) | 縞位相分布解析方法および縞位相分布解析装置 | |
JP3912666B2 (ja) | 光学的形状測定装置 | |
KR100585272B1 (ko) | 단색 정현파 위상천이 기반 2개 영상을 이용한 거리영상 획득 장치 및 방법 | |
KR100714821B1 (ko) | 단일영상을 이용한 거리영상 획득방법 | |
KR100585270B1 (ko) | 2개 영상을 이용한 물체 표면 형상 및 컬러 정보 획득시스템 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040618 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040706 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040906 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050524 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050606 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090624 Year of fee payment: 4 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090624 Year of fee payment: 4 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100624 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100624 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110624 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120624 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120624 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130624 Year of fee payment: 8 |
|
LAPS | Cancellation because of no payment of annual fees |