JP2006153848A - 情報処理方法および装置 - Google Patents
情報処理方法および装置 Download PDFInfo
- Publication number
- JP2006153848A JP2006153848A JP2005217554A JP2005217554A JP2006153848A JP 2006153848 A JP2006153848 A JP 2006153848A JP 2005217554 A JP2005217554 A JP 2005217554A JP 2005217554 A JP2005217554 A JP 2005217554A JP 2006153848 A JP2006153848 A JP 2006153848A
- Authority
- JP
- Japan
- Prior art keywords
- information
- image
- index
- calibration
- sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
- G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
- G01S5/163—Determination of attitude
Landscapes
- Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Length Measuring Devices With Unspecified Measuring Means (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】 物体を客観視点位置から撮影した客観視点画像を取得し、センサの計測値を入力し、客観視点画像から較正対象指標の画像座標に関する情報を検出し、計測値と較正対象指標の画像座標に関する情報とを用いて、物体に装着した較正対象指標の物体に対する配置情報と、物体に装着したセンサの物体に対する配置情報とを求める。
【選択図】 図1
Description
D.G.Lowe:Fitting parameterized three−dimensional models to images,IEEE Transactions on PAMI,vol.13,no.5,pp.441−450,1991. A.I.Comport,E.Marchand,F.Chaumette,A real−time tracker for markerless augmented reality,Proc.Int'l Symp.on Mixed and Augmented Reality 2004,pp.36−45,2004. K.Satoh,S.Uchiyama,and H.Yamamoto:"A head tracking method using bird's−eye view camera and gyroscope,"Proc. 3rd IEEE/ACM Int'l Symp.on Mixed and Augmented Reality(ISMAR 2004),pp.202−211,2004.
本実施形態に係る指標較正装置は、撮像装置に装着した指標の撮像装置に対する配置情報と、撮像装置に装着された姿勢センサの配置情報とを取得する。以下、本実施形態に係る指標較正装置及び指標較正方法について説明する。
なおΦ+は、例えばΦ+=(ΦTΦ)−1ΦTによって求めることができるが、他の方法によって求めてもよい。
ステップS2130において、較正情報算出部180は、誤差ベクトルUが予め定めた閾値より小さいかどうか、あるいは、補正値△sが予め定めた閾値より小さいかどうかといった何らかの判断基準を用いて、計算が収束しているか否かの判定を行う。収束していない場合には、補正後の状態ベクトルsを用いて、再度ステップS2080以降の処理を行う。
なお、上記実施形態においては、状態ベクトルの補正値の算出に式19で表現されるNewton−Raphson法を用いているが、補正値の算出は必ずしもNewton−Raphson法によって行わなくてもよい。例えば公知の非線形方程式の反復解法であるLM法(Levenberg−Marquardt法)を用いて求めてもよいし、公知のロバスト推定手法であるM推定等の統計的手法を組み合わせてもよいし、他の何れの数値計算手法を適用しても本発明の本質が損なわれないことは言うまでもない。
本実施形態に係る指標較正装置では、対象物体に装着した複数の指標の較正と物体に装着した6自由度位置姿勢センサの較正を、6自由度位置姿勢センサを装着した移動可能なカメラで対象物体に装着した指標を撮影することにより行う。第1の実施形態では、カメラに装着した指標のカメラに対する位置と、カメラに装着された姿勢センサの姿勢とを未知パラメータとして取り扱っていたが、本実施形態では,物体に対する指標の位置姿勢、物体に対する6自由度位置姿勢センサの位置姿勢を未知パラメータとして取り扱う。以下、本実施形態に係る指標較正装置及び指標較正方法について説明する。
1、2,3である四角形形状の指標が撮影される場合を示しており、M=3であり、識別子k1=1、k2=2、k3=3とこれらに対応する画像座標uPk1i、uPk2i、uPk3i、(i=1、2、3、4)が出力される。
ここで、△sは(6×Ko+6)次元ベクトルであるから、2NLが(6×Ko+6)以上であれば、△sを求めることができる。なおΦ+は、例えばΦ+=(ΦTΦ)−1ΦTによって求めることができるが、他の方法によって求めてもよい。
ステップS6130において、較正情報算出部1060は、誤差ベクトルUが予め定めた閾値より小さいかどうか、あるいは、補正値Δsが予め定めた閾値より小さいかどうかといった何らかの判断基準を用いて、計算が収束しているか否かの判定を行う。収束していない場合には、補正後の状態ベクトルsを用いて、再度ステップS6080以降の処理を行う。
なお、上記第2の実施形態では、較正情報として物体に装着した複数の指標の物体座標系における指標の位置姿勢と、物体に装着した6自由度位置姿勢センサの物体座標系における物体装着6自由度位置姿勢センサの位置姿勢であったが、それらに加えてカメラに装着した6自由度位置姿勢センサのカメラ座標系における位置姿勢を較正情報として求めてもよい。
第2の実施形態に係る指標較正装置は、対象物体に対する(すなわち、対象物体座標系における)指標の「位置姿勢」と、対象物体に装着した6自由度センサの位置姿勢の較正を行うためのものであり、物体上に配置された夫々の指標を構成する各点が、指標ごとに規定される指標座標系において位置が既知であった。しかし、指標の形状はこれに限るものではなく、一点から構成される点形状の指標(以下、点指標)であってもよい。この場合には、指標較正装置は、物体上に配置された点指標の物体に対する「位置」と、対象物体に対する6自由度センサの位置姿勢を較正情報として算出する。点指標は例えば、それぞれが異なる色を有する円形状のマーカであってもよいし、それぞれが異なるテクスチャ特徴を有する自然特徴等の特徴点であってもよい。
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体(または記録媒体)を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
Claims (13)
- 物体に装着した較正対象指標の該物体に対する配置情報と、該物体に装着したセンサの該物体に対する配置情報とを較正情報として求める情報処理方法であって、
前記物体を撮影した画像を取得し、
前記センサの計測値を入力し、
前記画像から前記較正対象指標の画像座標に関する情報を検出し、
前記計測値と前記較正対象指標の画像座標に関する情報とを用いて、前記較正情報を求めることを特徴とする情報処理方法。 - 前記センサは姿勢センサであり、
前記センサの配置情報は、該物体に対する該姿勢センサの姿勢に関する情報であることを特徴とする請求項1に記載の情報処理方法。 - 前記センサは6自由度位置姿勢センサであり、
前記センサの配置情報は、該物体に対する該6自由度位置姿勢センサの位置及び姿勢に関する情報であることを特徴とする請求項1に記載の情報処理方法。 - 前記物体は撮像部を有し、
前記撮像部によって撮影された画像を取得し、
前記画像から基準指標の画像座標に関する情報を検出し、
前記較正情報を、前記計測値、前記較正対象指標の画像座標に関する情報および前記基準指標の画像座標に関する情報を用いて求めることを特徴とする請求項1乃至請求項3のいずれかに記載の情報処理方法。 - 前記較正対象指標は、該物体に対する位置によって配置情報が記述される指標と、該物体に対する位置及び姿勢によって配置情報が記述される指標のいずれかまたはそれらの組み合わせであることを特徴とする、請求項1乃至請求項4のいずれかに記載の情報処理方法。
- 前記較正情報を求める工程は、
前記計測値と、較正情報の推定値とに基づいて、前記検出されている前記較正対象指標の前記画像内における画像座標に関する情報を推定する推定工程と、
前記検出された前記較正対象指標の画像座標に関する情報と、前記推定工程が推定した該指標の画像座標に関する情報との間の誤差を軽減させるように、前記較正情報の推定値を補正する補正工程とを有することを特徴とする請求項1乃至請求項5のいずれかに記載の情報処理方法。 - 前記物体は撮像部を有し、
前記物体が有する撮像部によって撮影された画像を入力し、
前記前記物体が有する撮像部によって撮影された画像から、情景に配置された基準指標の画像座標に関する情報を検出するとともに、
前記較正情報を求める工程は、
前記較正情報算出手段は、前記計測値と、前記検出された較正対象指標の画像座標に関する情報と、前記基準指標の画像座標に関する情報とを用いて、前記較正情報を算出することを特徴とする請求項1乃至請求項6のいずれかに記載の情報処理方法。 - 撮像装置に装着した較正対象指標の撮像装置に対する位置と、該撮像装置に装着した姿勢センサの撮像装置に対する姿勢を較正情報として算出する情報処理方法であって、
前記撮像装置を撮影した第一の画像を取得し、
前記撮像装置によって撮影された第二の画像を取得し、
前記姿勢センサによる計測値を入力し、
前記較正対象指標の画像座標に関する情報を前記第一の画像から検出し、
情景に配置された基準指標の画像座標に関する情報を前記第二の画像から検出し、
前記計測値と、前記較正対象指標の画像座標に関する情報と、前記基準指標の画像座標に関する情報とを用いて、前記較正情報を算出することを特徴とする情報処理方法。 - 前記較正情報を算出する工程は、
前記計測値と、前記較正対象指標の画像座標に関する情報と、較正情報の推定値とに基づいて、前記基準指標の前記第二の画像内における画像座標に関する情報を推定し、
前記検出された基準指標の画像座標に関する情報と、前記推定された基準指標の画像座標に関する情報との間の誤差を軽減させるように、前記較正情報の推定値を補正することを特徴とする請求項8に記載の情報処理方法。 - 前記撮像装置の位置・姿勢に対する前記第1の画像を撮影する撮像部の位置・姿勢が算出可能であることを特徴とする請求項8または請求項9に記載の情報処理方法。
- 前記請求項1乃至請求項10のいずれかの情報処理方法をコンピュータにおいて実現するためのプログラム。
- 物体に装着した較正対象指標の該物体に対する配置情報と、該物体に装着したセンサの該物体に対する配置情報とを較正情報として算出する情報処理装置であって、
前記物体を撮影する撮像手段と、
前記センサによる計測値を入力する計測値入力手段と、
前記撮像手段によって撮影された第一の画像を入力する第一の画像入力手段と、
前記較正対象指標の画像座標に関する情報を前記第一の画像から検出する第一の検出手段と、
前記計測値入力手段が入力した前記計測値と、前記第一の検出手段が検出した夫々の較正対象指標の画像座標に関する情報とを用いて、前記較正情報を算出する較正情報算出手段とを有することを特徴とする情報処理装置。 - 撮像装置に装着した較正対象指標の撮像装置に対する位置と、該撮像装置に装着した姿勢センサの撮像装置に対する姿勢を較正情報として算出する情報処理装置であって、
前記撮像装置を撮影した第一の画像を取得する第1の取得手段と、
前記撮像装置によって撮影された第二の画像を第2の取得手段と、
前記姿勢センサによる計測値を入力する入力手段と、
前記較正対象指標の画像座標に関する情報を前記第一の画像から検出する第一の検出手段と、
情景に配置された基準指標の画像座標に関する情報を前記第二の画像から検出する第二の検出手段と、
前記計測値と、前記較正対象指標の画像座標に関する情報と、前記基準指標の画像座標に関する情報とを用いて、前記較正情報を算出する較正情報算出手段とを有することを特徴とする情報処理装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005217554A JP4914038B2 (ja) | 2004-11-04 | 2005-07-27 | 情報処理方法および装置 |
US11/265,981 US7580027B2 (en) | 2004-11-04 | 2005-11-03 | Method and apparatus for processing information |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004320638 | 2004-11-04 | ||
JP2004320638 | 2004-11-04 | ||
JP2005217554A JP4914038B2 (ja) | 2004-11-04 | 2005-07-27 | 情報処理方法および装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006153848A true JP2006153848A (ja) | 2006-06-15 |
JP4914038B2 JP4914038B2 (ja) | 2012-04-11 |
Family
ID=36262989
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005217554A Expired - Fee Related JP4914038B2 (ja) | 2004-11-04 | 2005-07-27 | 情報処理方法および装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US7580027B2 (ja) |
JP (1) | JP4914038B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008261755A (ja) * | 2007-04-12 | 2008-10-30 | Canon Inc | 情報処理装置、情報処理方法 |
JP2008275340A (ja) * | 2007-04-25 | 2008-11-13 | Canon Inc | 情報処理装置、情報処理方法 |
JP2013101128A (ja) * | 2012-12-21 | 2013-05-23 | Canon Inc | 情報処理装置、情報処理方法 |
EP2600308A2 (en) | 2011-11-30 | 2013-06-05 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, program and computer-readable storage medium |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4914019B2 (ja) * | 2005-04-06 | 2012-04-11 | キヤノン株式会社 | 位置姿勢計測方法及び装置 |
JP4739004B2 (ja) * | 2005-12-15 | 2011-08-03 | キヤノン株式会社 | 情報処理装置及び情報処理方法 |
JP4916167B2 (ja) * | 2005-12-15 | 2012-04-11 | キヤノン株式会社 | 指標識別方法及び指標識別装置 |
JP4976756B2 (ja) * | 2006-06-23 | 2012-07-18 | キヤノン株式会社 | 情報処理方法および装置 |
US8565853B2 (en) | 2006-08-11 | 2013-10-22 | DePuy Synthes Products, LLC | Simulated bone or tissue manipulation |
JP5403861B2 (ja) * | 2006-11-06 | 2014-01-29 | キヤノン株式会社 | 情報処理装置、情報処理方法 |
NO327279B1 (no) * | 2007-05-22 | 2009-06-02 | Metaio Gmbh | Kamerapositurestimeringsanordning og- fremgangsmate for foroket virkelighetsavbildning |
US8696458B2 (en) * | 2008-02-15 | 2014-04-15 | Thales Visionix, Inc. | Motion tracking system and method using camera and non-camera sensors |
US8934008B2 (en) * | 2009-12-07 | 2015-01-13 | Cognitech, Inc. | System and method for determining geo-location(s) in images |
DE102011117923A1 (de) * | 2011-11-09 | 2013-05-16 | Diehl Bgt Defence Gmbh & Co. Kg | Suchkopf für einen Lenkflugkörper |
KR101901483B1 (ko) | 2012-01-17 | 2018-09-21 | 아셀산 엘렉트로닉 사나이 베 티카렛 아노님 시르케티 | 추적 시스템 정확성 측정을 위한 시스템 및 방법 |
KR20160016966A (ko) | 2013-05-31 | 2016-02-15 | 인씨피오 디바이시스 에스에이 | 비구 리머 조립체 |
ES2763912T3 (es) * | 2013-08-20 | 2020-06-01 | Curefab Tech Gmbh | Seguimiento óptico |
US20160178754A1 (en) | 2014-12-18 | 2016-06-23 | Javad Gnss, Inc. | Portable gnss survey system |
US9734594B2 (en) | 2015-08-26 | 2017-08-15 | Electronics Arts Inc. | Producing three-dimensional representation based on images of an object |
US10169891B2 (en) * | 2015-08-26 | 2019-01-01 | Electronic Arts Inc. | Producing three-dimensional representation based on images of a person |
EP3151031A1 (en) * | 2015-10-02 | 2017-04-05 | Metronor A/S | Military electro-optical sensor tracking |
US11017585B1 (en) * | 2018-06-11 | 2021-05-25 | Facebook, Inc. | Systems and methods for capturing image data for recreation in a virtual environment |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001074428A (ja) * | 1999-09-03 | 2001-03-23 | Sanyo Electric Co Ltd | 形状測定装置の校正方法及び校正治具 |
JP2001241928A (ja) * | 2000-03-01 | 2001-09-07 | Sanyo Electric Co Ltd | 形状測定装置 |
JP2005326275A (ja) * | 2004-05-14 | 2005-11-24 | Canon Inc | 情報処理方法および装置 |
JP2005351883A (ja) * | 2004-05-14 | 2005-12-22 | Canon Inc | 指標較正装置および情報処理方法 |
JP2005353036A (ja) * | 2004-05-14 | 2005-12-22 | Canon Inc | 情報処理装置および情報処理方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0846836A (ja) * | 1994-07-29 | 1996-02-16 | Canon Inc | 視線検出方法及び装置並びに撮像装置 |
JP2001022520A (ja) * | 1999-07-07 | 2001-01-26 | Canon Inc | 座標入力装置 |
US6697761B2 (en) * | 2000-09-19 | 2004-02-24 | Olympus Optical Co., Ltd. | Three-dimensional position/orientation sensing apparatus, information presenting system, and model error detecting system |
SE516565C2 (sv) * | 2000-09-20 | 2002-01-29 | Jan G Faeger | Metod och anordning för att producera information om en omgivning och användning av anordningen |
-
2005
- 2005-07-27 JP JP2005217554A patent/JP4914038B2/ja not_active Expired - Fee Related
- 2005-11-03 US US11/265,981 patent/US7580027B2/en not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001074428A (ja) * | 1999-09-03 | 2001-03-23 | Sanyo Electric Co Ltd | 形状測定装置の校正方法及び校正治具 |
JP2001241928A (ja) * | 2000-03-01 | 2001-09-07 | Sanyo Electric Co Ltd | 形状測定装置 |
JP2005326275A (ja) * | 2004-05-14 | 2005-11-24 | Canon Inc | 情報処理方法および装置 |
JP2005351883A (ja) * | 2004-05-14 | 2005-12-22 | Canon Inc | 指標較正装置および情報処理方法 |
JP2005353036A (ja) * | 2004-05-14 | 2005-12-22 | Canon Inc | 情報処理装置および情報処理方法 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008261755A (ja) * | 2007-04-12 | 2008-10-30 | Canon Inc | 情報処理装置、情報処理方法 |
JP2008275340A (ja) * | 2007-04-25 | 2008-11-13 | Canon Inc | 情報処理装置、情報処理方法 |
EP2600308A2 (en) | 2011-11-30 | 2013-06-05 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, program and computer-readable storage medium |
JP2013113805A (ja) * | 2011-11-30 | 2013-06-10 | Canon Inc | 情報処理装置、情報処理装置の制御方法、およびプログラム |
US9584768B2 (en) | 2011-11-30 | 2017-02-28 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method and computer-readable storage medium |
JP2013101128A (ja) * | 2012-12-21 | 2013-05-23 | Canon Inc | 情報処理装置、情報処理方法 |
Also Published As
Publication number | Publication date |
---|---|
US7580027B2 (en) | 2009-08-25 |
US20060094955A1 (en) | 2006-05-04 |
JP4914038B2 (ja) | 2012-04-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4914038B2 (ja) | 情報処理方法および装置 | |
JP4914039B2 (ja) | 情報処理方法および装置 | |
EP1596333B1 (en) | Calibration for mixed reality | |
JP4136859B2 (ja) | 位置姿勢計測方法 | |
JP5230114B2 (ja) | 情報処理装置、情報処理方法 | |
JP4593968B2 (ja) | 位置姿勢計測方法および装置 | |
JP4785416B2 (ja) | 位置姿勢計測方法及び装置 | |
JP4886560B2 (ja) | 情報処理装置、情報処理方法 | |
JP5036260B2 (ja) | 位置姿勢算出方法及び装置 | |
JP4859205B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP4956456B2 (ja) | 画像処理装置、画像処理方法 | |
KR100934564B1 (ko) | 정보 처리 장치 및 정보 처리 방법 | |
JP2008506953A5 (ja) | ||
JP2005326275A (ja) | 情報処理方法および装置 | |
JP2008309631A (ja) | 情報処理方法及び情報処理装置 | |
WO2019146201A1 (ja) | 情報処理装置、情報処理方法及び情報処理システム | |
JP4533193B2 (ja) | 情報処理装置および情報処理方法 | |
KR101896827B1 (ko) | 사용자 자세 추정 장치 및 방법 | |
JP4566786B2 (ja) | 位置姿勢計測方法および情報処理装置 | |
JP4533090B2 (ja) | 指標較正装置および情報処理方法 | |
JP4227037B2 (ja) | 撮像システム及び校正方法 | |
JP2008292407A (ja) | 情報処理方法及び情報処理装置 | |
JP4612804B2 (ja) | 位置姿勢計測方法および情報処理装置 | |
JP2009168626A (ja) | 位置姿勢計測装置、位置姿勢計測方法 | |
JP5620972B2 (ja) | 情報処理装置、情報処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080728 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20100201 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20100630 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101117 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110705 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110824 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111025 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111221 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120117 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120120 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4914038 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150127 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |