JP5287152B2 - 3次元モデルの作成方法および物体認識装置 - Google Patents
3次元モデルの作成方法および物体認識装置 Download PDFInfo
- Publication number
- JP5287152B2 JP5287152B2 JP2008283150A JP2008283150A JP5287152B2 JP 5287152 B2 JP5287152 B2 JP 5287152B2 JP 2008283150 A JP2008283150 A JP 2008283150A JP 2008283150 A JP2008283150 A JP 2008283150A JP 5287152 B2 JP5287152 B2 JP 5287152B2
- Authority
- JP
- Japan
- Prior art keywords
- dimensional
- dimensional information
- mark
- model
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 103
- 238000005259 measurement Methods 0.000 claims description 122
- 238000012545 processing Methods 0.000 claims description 41
- 230000010354 integration Effects 0.000 claims description 38
- 238000003384 imaging method Methods 0.000 claims description 29
- 238000006243 chemical reaction Methods 0.000 claims description 23
- 238000001514 detection method Methods 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims 1
- 238000004891 communication Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000003252 repetitive effect Effects 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 239000012790 adhesive layer Substances 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 239000000123 paper Substances 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Image Generation (AREA)
Description
上記の点を課題とした発明を開示したものとして、下記の特許文献1がある。この特許文献1には、認識対象物の実物モデルに対し、複数の方向からのステレオ計測を行って、各計測により復元した3次元情報を位置合わせして統合することにより、物体全体の幾何モデルを作成することが、記載されている。
図17は、認識対象物Sbのコーナー部に対してf1,f2の2方向からそれぞれステレオ計測を行う例を示すものである。この図は、認識対象物Sbの一断面であって、図中のR1,R2は、平坦面と曲率が大きな面との境界位置に相当する。
この例の場合、f1の方向からの計測では、図中のR1の位置に3次元のエッジが復元されるのに対し、f2の方向からの計測では、R2の位置に3次元のエッジが復元される。したがって、それぞれの方向からの計測により復元された3次元情報を対応づける際に、R1に対応するエッジとR2に対応するエッジとが誤って対応づけされ、その分、位置合わせの精度が劣化するおそれがある。
また、対称形の部位を具備する物体を認識対象とする場合にも、対称形の部位の表と裏とが誤って対応づけられた状態が、正しいものとして認識される可能性がある。
よって、正しく位置合わせされていない場合にはマークの辺や頂点に大きなずれが生じるようにマークの形状を定めておけば、3次元情報の位置合わせにおいても、位置合わせが正しくない場合のマーク部分の一致度を大幅に低下させることができる。
図1は、3次元認識処理を適用したピッキングシステムの例を示す。
このピッキングシステムは、工場内で収容ボックス6内に収容されたワークWを1つずつ取り出して所定の位置に搬送する作業を行うためのもので、実際の作業を行う多関節ロボット4や、このロボット4の動作を制御するロボット制御装置3が含まれる。さらに、このピッキングシステムには、処理対象のワークWの位置および姿勢を認識するために、ステレオカメラ1および物体認識装置2が設けられる。
この装置には、各カメラ11,12,13に対応する画像入力部21,22,23のほか、CPU24、メモリ25、入力部26、表示部27、通信インターフェース28などが設けられる。入力部26はキーボードやマウスであり、表示部27は液晶モニタである。入力部26および表示部27は、以下に述べる3次元モデルの作成の際に、ユーザが実物モデルの撮像状態を確認したり、選択操作や設定操作を行う用途に用いられる。通信インターフェース28は、ロボット制御装置4との通信に用いられる。
CPU24は、メモリ25に格納されたプログラムに基づき、3次元計測およびワークWの認識に関する一連の処理を実行し、認識結果(具体的には、ワークWの位置を表す3次元座標、および3次元モデルに対する回転角度)を通信インターフェース28より出力する。
上記の物体認識装置2では、ステレオ画像からエッジを検出した後に、特許文献1に記載された発明と同様に、「セグメント」と呼ばれる単位毎に3次元情報を復元し、さらにセグメント単位で3次元モデルとの照合を行うようにしている。図3は、この方法により1つのワークを認識するために実行される処理の概略手順を示すものである。以下、この図3のステップ符号を参照しつつ、この実施例における3次元認識処理を説明する。
簡単に説明すると、対応づけられた2次元セグメントの組み合わせ毎に、そのセグメント間で対応関係にある画素の3次元座標を算出する。また、算出された3次元座標の分布状態を直線および円弧のモデルと照合して、これらの3次元座標の集合が直線/曲線のいずれに相当するかを判別する。この処理により、2次元セグメントの組み合わせ毎に、その組み合わせに対応する直線または曲線の3次元セグメントが特定される。
3−1)原理説明
上記した3次元認識処理を実行するには、あらかじめ、ワークWの3次元モデルをメモリ25に登録する必要がある。この実施例の物体認識装置では、ワークWの実物モデルを種々の方向からステレオ計測し、各計測結果から復元した3次元情報を統合する方法により、3次元モデルを作成するようにしている。以下、この処理について詳細に説明する。
なお、以下の図面では、ワークWの実物モデルをWMの符号で示すとともに、明細書中では、この実物モデルWMを「ワークモデルWM」という。
これらの位置での撮像により生成されたステレオ画像は、いずれも3次元計測の対象となる。よって以下では、各矩形が表すステレオカメラの位置を「計測ポイント」と呼ぶ。また各計測ポイントに個別に言及する場合には、「計測ポイント[1]」「計測ポイント[2]」のように、計測の順序を表す数字を引用する。
この実施例で使用するマークMが表す三角形は、図6に示すように、各辺の比が6:7:8になるように設定されている。この比率によれば、マークMの各頂点A,B,Cを容易に特定することができるから、たとえば頂点Aから辺BCへの垂線の方向によって、マークMの向きを一意に特定することができる。また図7に示すように、同じ形状の三角形A´B´C´と位置合わせする場合にも、位置合わせの精度を確保することができる。
マークMを曲面に貼付すると、三角形の各辺も曲線の3次元セグメントとして認識される可能性が高くなる上、曲面の曲率によってマークMの復元される形状が変動する。したがって、マークMが曲面に取り付けられた場合には、その3次元情報を正しく復元できたとしても、復元された3次元情報は、本来の三角形の形状とは異なる形状を表す可能性が高いから、以下に述べるモデル三角形との照合による3次元情報の検証処理を安定して行うのが困難になる。
さらに、この実施例では、3次元モデルの精度を確保するために、以下の処理を実行する。
図8,9に示したように、ワークモデルWMの色彩やパターンを考慮したマークMを貼付しても、撮像方向によっては、シェーディングなどの影響でマークMの一部が不鮮明になり、その影響でマークMの3次元セグメントを十分に復元できない場合がある。特に3次元情報の照合の基準となる頂点の座標が欠けてしまうと、三角形によって位置合わせの精度を向上するのが困難になる可能性がある。
先に述べたように、この実施例では、種々の方向からワークモデルWMを計測するが、いずれの計測ポイントでも、精度良く3次元情報を復元できるとは限らない。ワークモデルWMの向きによっては、計測用のパラメータの誤差が大きく反映されたり、誤認識されやすい特徴を多く含む画像が生成されるなどして、3次元情報の精度が劣化することがある。
この画面には、3次元情報を画像化して表示するためのウィンドウ30や、「モデルに追加」「追加しない」の2つの選択ボタン31,32などが設けられる。ウィンドウ30内には、選択候補の3次元情報に基づく輪郭線が表示されるとともに、先の照合結果に基づき、モデル三角形に対応すると判定された場所に、そのモデル三角形の輪郭線M0が表示されている。さらに、このウィンドウ30内には、上記のモデル三角形に対する3次元情報の一致度も表示されている。
図13は、ステレオ計測を行ってから3次元モデルを登録するまでの処理の手順をフローチャートにまとめたものである。以下、このフローチャートの流れに沿って、この実施例の3次元モデルの作成手順を説明する。
上記した実施例では、計測座標系のXZ平面に常にワークモデルWMのX1Z1平面に沿う特定の面が接するようにして、ワーク座標系のY1軸に対してワークモデルWMを回転させることで、ワークWの輪郭線の全体形状を表す3次元モデルを作成したが、3次元モデルの精度をより高めるために、Y1軸以外の方向にもワークモデルWMを回転させてもよい。この場合には、各カメラ11〜13に常にマークMを撮像させるのが困難になるが、つぎに説明する実施例のように、ワークモデルWMに複数のマークMを取り付けることで、この問題を解決できる。
図中のa,b,cは、先の図5の例と同様に、Y1軸に対してワークモデルWMを回転させている間に復元された3次元情報である。これらの3次元情報のうち、3次元情報aには、2つのマークM1,M2の情報m1,m2が含まれる。他の3次元情報b,cにはマークM1の情報m1は含まれているが、マークM2の情報は含まれていない。
2 物体認識装置
11,12,13 カメラ
24 CPU
25 メモリ
W ワーク
WM ワークモデル
M マーク
m,m1,m2 マークの3次元情報
a,b,c,g,h 復元された3次元情報
d,j 統合された3次元情報
e,k 3次元モデル
Claims (6)
- ステレオカメラを用いた3次元計測により復元した3次元情報から所定の形状の物体の位置および姿勢を認識するために、当該物体の実物モデルに対する3次元計測の結果を用いて物体の3次元モデルを作成する方法であって、
回転対称性を持たない多角形であってその多角形の内部に輪郭線が含まれない構成のマークを前記実物モデルの表面の平坦な一面に1つ取り付け、前記マークが前記ステレオカメラを構成するすべてのカメラの視野に含まれる状態が維持されることを条件として、各カメラと実物モデルとの位置関係を毎回変更して複数回の撮像を実行し、
毎回の撮像により生成されたステレオ画像からエッジの特徴を検出し、検出された特徴の3次元座標を求めることによって、前記実物モデルおよびマークの輪郭線の特徴を表す3次元情報を復元し、
前記複数回の撮像に伴い復元された複数の3次元情報の全てまたはその一部に相当する2以上の3次元情報を統合の対象として、これら統合対象の3次元情報の間の位置ずれ量および角度ずれ量を検出し、検出された位置ずれおよび角度ずれが解消するように各統合対象の3次元情報を位置合わせした後に統合し、
統合された3次元情報から前記マークに対応する情報を消去または無効化し、この処理後の3次元情報を前記3次元モデルとして確定する、
ことを特徴とする3次元モデルの作成方法。 - 請求項1に記載された方法において、
単一色の多角形を前記マークとして当該マークとは色彩が異なる背景部と一体に形成し、この一体物を実物モデルの表面に取り付ける、3次元モデルの作成方法。 - 請求項1または2に記載された方法において、
あらかじめ前記マークの幾何学的特徴を表す3次元特徴データを登録しておき、
前記3次元情報を統合する処理に先立ち、毎回の撮像により生成されたステレオ画像より復元された3次元情報を前記マークの3次元特徴データと照合して、当該マークの幾何学的特徴が良好に復元されているか否かを判定し、前記幾何学的特徴が良好に復元されていないと判定した3次元情報を、統合処理の対象から除外する、3次元モデルの作成方法。 - 請求項1または2に記載された方法において、
前記3次元計測では、各カメラにより生成された画像からエッジを検出して、検出されたエッジを複数の2次元セグメントに分割するステップと、各2次元セグメントを画像間で対応づけて、対応するセグメントの組毎に複数の3次元座標を算出し、算出された3次元座標の分布状態に基づき直線または曲線の3次元セグメントを設定するステップと、各3次元セグメントの交点を特徴点に設定するステップとを実行することにより、複数の特徴点を含む3次元情報を作成し、
前記特徴点を設定するステップでは、他のセグメントに交わっていない端縁を具備する直線の3次元セグメントの当該端縁を所定の長さまで延長し、この延長部分が他の3次元セグメントまたはその延長部分に交わるとき、または所定値以内の距離をもって交差するときに、その交点または交差位置に基づき特徴点を設定し、
3次元情報の統合前の位置合わせ処理では、統合対象の3次元情報の1つを基準とし、その他の3次元情報を変換対象として、前記基準の3次元情報中の特徴点群に対する各変換対象の3次元情報中の特徴点群の位置ずれ量および角度ずれ量を検出し、その検出結果に基づき変換対象の3次元情報中の特徴点群の座標変換処理を実行する、3次元モデルの作成方法。 - 請求項1に記載された方法において、
前記実物モデルの表面の前記マークが取り付けられた平坦面とは異なる平坦な一面に、回転対称性を持たない多角形であってその多角形の内部に輪郭線が含まれない構成の第2のマークを1つ取り付けて、双方のマークにつきそれぞれ当該マークがすべてのカメラの視野に含まれる状態が複数とおり成立し、かつ双方のマークが共に各カメラの視野に含まれる状態が少なくとも1回成立するように、前記複数回の撮像における各カメラと実物モデルとの位置関係を調整し、
一方のマークのみを各カメラの視野に含めて撮像したときのステレオ画像から復元した3次元情報と、他方のマークのみを各カメラの視野に含めて撮像したときのステレオ画像から復元した3次元情報とを変換対象として、双方のマークを共に各カメラの視野に含めて撮像したときのステレオ画像から復元した基準の3次元情報に対する各変換対象の3次元情報の位置ずれ量および角度ずれ量を検出し、その検出結果に基づき各変換対象の3次元情報を前記基準の3次元情報に位置合わせした後にこれらの3次元情報を統合する、3次元モデルの作成方法。 - ステレオカメラにより生成された認識対象物のステレオ画像を入力する画像入力手段と、入力されたステレオ画像からエッジの特徴を検出し、検出された特徴に対する3次元計測を行うことによって3次元情報を復元する3次元計測手段と、復元された3次元情報をあらかじめ登録した3次元モデルと照合することにより認識対象物の位置および姿勢を認識する認識処理手段と、前記認識処理手段により使用される3次元モデルを作成して登録する3次元モデル登録手段とを具備する装置であって、
前記3次元モデル登録手段は、
回転対称性を持たない多角形であってその多角形の内部に輪郭線が含まれない構成のマークについて、その幾何学的特徴を表す3次元特徴データを登録するためのマーク登録手段と、
前記多角形のマークが表面の平坦な一面に1つ取り付けられた実物モデルが、各カメラに対する位置関係が毎回変更されて複数回撮像されることを前提として、毎回の撮像により生成されるステレオ画像を画像入力部より受け付けて、前記3次元計測手段に処理させる計測制御手段と、
前記計測制御手段の処理により前記ステレオ画像から復元された3次元情報を前記マーク登録手段に登録された3次元特徴データと照合して、当該マークの幾何学的特徴が良好に復元されているか否かを判定する判定手段と、
前記複数回の撮像に伴い復元された複数の3次元情報のうち、前記マークの幾何学的特徴が良好に復元されていると判定された2以上の3次元情報を対象にして、これらの3次元情報の間の位置ずれ量および角度ずれ量を検出し、検出された位置ずれおよび角度ずれが解消するように各対象の3次元情報を位置合わせした後に統合する3次元情報統合手段と、
統合後の3次元情報中の前記マークに対応する情報を消去または無効化し、この処理後の3次元情報を登録対象の3次元モデルとして確定するモデル確定手段とを、
具備することを特徴とする物体認識装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008283150A JP5287152B2 (ja) | 2008-11-04 | 2008-11-04 | 3次元モデルの作成方法および物体認識装置 |
US12/611,568 US8433128B2 (en) | 2008-11-04 | 2009-11-03 | Method of creating three-dimensional model and object recognizing device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008283150A JP5287152B2 (ja) | 2008-11-04 | 2008-11-04 | 3次元モデルの作成方法および物体認識装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010112729A JP2010112729A (ja) | 2010-05-20 |
JP5287152B2 true JP5287152B2 (ja) | 2013-09-11 |
Family
ID=42301406
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008283150A Active JP5287152B2 (ja) | 2008-11-04 | 2008-11-04 | 3次元モデルの作成方法および物体認識装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5287152B2 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012202732A (ja) | 2011-03-24 | 2012-10-22 | Dainippon Screen Mfg Co Ltd | 3次元位置・姿勢認識装置、3次元位置・姿勢認識方法、3次元位置・姿勢認識プログラム |
JP6265784B2 (ja) * | 2014-03-06 | 2018-01-24 | 株式会社メガチップス | 姿勢推定システム、プログラムおよび姿勢推定方法 |
JP6868992B2 (ja) * | 2016-09-27 | 2021-05-12 | 株式会社トプコン | 画像処理装置、画像処理方法および画像処理用プログラム |
JP7188870B2 (ja) * | 2017-05-31 | 2022-12-13 | 株式会社キーエンス | 画像検査装置 |
EP3692501A4 (en) * | 2017-10-08 | 2021-07-07 | Magik Eye Inc. | CALIBRATION OF A SENSOR SYSTEM INCLUDING MULTIPLE MOBILE SENSORS |
CN109934931B (zh) * | 2017-12-19 | 2023-03-28 | 阿里巴巴集团控股有限公司 | 采集图像、建立目标物体识别模型的方法及装置 |
WO2021014542A1 (ja) * | 2019-07-22 | 2021-01-28 | オムロン株式会社 | テンプレート作成装置、物体認識処理装置、テンプレート作成方法、物体認識処理方法及びプログラム |
JP7362453B2 (ja) * | 2019-11-28 | 2023-10-17 | 株式会社日立製作所 | モデル作成装置及びモデル作成方法 |
JP2023022517A (ja) | 2021-08-03 | 2023-02-15 | 株式会社東芝 | 計測システム及び計測プログラム |
CN116452756A (zh) * | 2023-06-15 | 2023-07-18 | 子亥科技(成都)有限公司 | 三维场景局部自动化生成方法、装置、设备及存储介质 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS62185106A (ja) * | 1986-02-10 | 1987-08-13 | Agency Of Ind Science & Technol | 方向性基準マ−クによる対象物の姿勢の自動計測方法 |
JPH0991436A (ja) * | 1995-09-21 | 1997-04-04 | Toyota Central Res & Dev Lab Inc | 画像処理方法及びその装置 |
JP2961264B1 (ja) * | 1998-09-21 | 1999-10-12 | 工業技術院長 | 3次元物体モデル生成方法及び3次元物体モデル生成プログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP3436929B2 (ja) * | 2001-03-30 | 2003-08-18 | 岩手県 | 3次元形状計測システム |
FI111755B (fi) * | 2001-11-23 | 2003-09-15 | Mapvision Oy Ltd | Menetelmä ja järjestelmä konenäköjärjestelmän kalibroimiseksi |
JP2004220510A (ja) * | 2003-01-17 | 2004-08-05 | Minolta Co Ltd | 三次元形状測定装置、三次元形状測定方法及びターゲットマーク |
-
2008
- 2008-11-04 JP JP2008283150A patent/JP5287152B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2010112729A (ja) | 2010-05-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5287152B2 (ja) | 3次元モデルの作成方法および物体認識装置 | |
JP2010121999A (ja) | 3次元モデルの作成方法および物体認識装置 | |
US8433128B2 (en) | Method of creating three-dimensional model and object recognizing device | |
CN110570477B (zh) | 一种标定相机和旋转轴相对姿态的方法、装置和存储介质 | |
US7974462B2 (en) | Image capture environment calibration method and information processing apparatus | |
KR100975512B1 (ko) | 인식 처리 방법 및 이 방법을 이용한 화상 처리 장치 | |
JP5316118B2 (ja) | 3次元視覚センサ | |
JP4042780B2 (ja) | 物体認識方法、物体認識用のプログラムならびにその記憶媒体、および物体認識装置 | |
CN106469448B (zh) | 利用3d视觉进行自动化工业检查 | |
JP3859574B2 (ja) | 3次元視覚センサ | |
CN110926330B (zh) | 图像处理装置和图像处理方法 | |
EP3032818B1 (en) | Image processing device | |
EP3678096A1 (en) | Method for calculating a tow hitch position | |
WO2006135040A1 (ja) | 3次元計測を行う画像処理装置および画像処理方法 | |
US11094082B2 (en) | Information processing apparatus, information processing method, robot system, and non-transitory computer-readable storage medium | |
JPH08136220A (ja) | 物品の位置検出方法およびその装置 | |
KR101931564B1 (ko) | 영상 정합을 이용한 영상 처리 장치 및 방법 | |
JP2010113398A (ja) | 3次元モデルの作成方法および物体認識装置 | |
JP3696336B2 (ja) | カメラのキャリブレーション方法 | |
JP4670994B2 (ja) | カラー画像の処理方法および画像処理装置 | |
JP5462662B2 (ja) | 位置姿勢計測装置、物体識別装置、位置姿勢計測方法及びプログラム | |
JP2005069757A (ja) | 中心窩広視野画像を利用したカメラ位置姿勢推定方法及びシステム | |
JP2015062017A (ja) | モデル作成装置、モデル作成プログラム、および画像認識システム | |
CN114511637A (zh) | 一种基于构造强特征的弱特征物体图像三维重建***及方法 | |
JP4670995B2 (ja) | カラー画像の処理方法および画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110909 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121015 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121106 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121228 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130205 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130405 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130507 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130520 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5287152 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |