JP2002218504A - 複眼カメラの調整方法及び調整装置 - Google Patents

複眼カメラの調整方法及び調整装置

Info

Publication number
JP2002218504A
JP2002218504A JP2001005584A JP2001005584A JP2002218504A JP 2002218504 A JP2002218504 A JP 2002218504A JP 2001005584 A JP2001005584 A JP 2001005584A JP 2001005584 A JP2001005584 A JP 2001005584A JP 2002218504 A JP2002218504 A JP 2002218504A
Authority
JP
Japan
Prior art keywords
compound
eye camera
target
adjusting
adjustment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001005584A
Other languages
English (en)
Other versions
JP4508433B2 (ja
Inventor
Yoshiki Akizuki
義樹 秋月
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Ten Ltd
Original Assignee
Denso Ten Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Ten Ltd filed Critical Denso Ten Ltd
Priority to JP2001005584A priority Critical patent/JP4508433B2/ja
Publication of JP2002218504A publication Critical patent/JP2002218504A/ja
Application granted granted Critical
Publication of JP4508433B2 publication Critical patent/JP4508433B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Stereoscopic And Panoramic Photography (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)

Abstract

(57)【要約】 【課題】 複眼カメラとターゲットの位置関係を正確に
保ち、これにより、複眼カメラの性能を向上させる複眼
カメラの調整方法を得る。 【解決手段】 複眼カメラ1の取り付け位置に設けた2
以上の光源3A、3Bから2本以上の光線4A、4Bを
発射し、前記2本以上の光線の交点7Aにターゲット5
を設置し、このターゲットを前記複眼カメラにより撮影
することにより、前記複眼カメラの調整を行う。複眼カ
メラと光線の交点までの距離Lは、各光源間の距離aと
各光源間の相対角度θ1、θ2により決る。この交点に
ターゲットを配置することで、複眼カメラとターゲット
までの距離を正確に設定することができる。したがっ
て、複眼カメラの光軸調整及びピントの調整を正確にお
こなうことができる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、複眼カメラのピン
ト、光軸等を調整する調整方法、及びその調整を行う調
整装置に関する。
【0002】
【従来の技術】複眼カメラ、例えば2台のカメラを水平
方向に配置したステレオカメラでは、2台のカメラの光
軸を調整する必要がある。図1を用いて、従来における
複眼カメラの調整方法を説明する。図1は、複眼カメラ
装置とターゲットを上から見た状態を示す。
【0003】複眼カメラ1の左右のカメラ8A、8B
が、それぞれの光軸12A、12Bが平行になるように
配置される。この光軸12A、12B間の距離が基線長
bとなる。左右のカメラ8A、8Bの前方に、所定の距
離Lだけ離して1つのターゲット(目標)5を配置す
る。左右のカメラ8A、8Bによりターゲット5を撮影
する。左右のカメラ8A、8Bの画像9A、9Bに写っ
たターゲット5の位置から、左右のカメラ8A、8Bご
とに光軸12A、12Bのズレ量を把握し、調整を行
う。
【0004】
【発明が解決しようとする課題】上記従来の複眼カメラ
1の調整においては、前方に設定するターゲット5と複
眼カメラ1の位置関係を正確に合わせることが困難であ
った。これは、複眼カメラ1とターゲット5までの距離
が、多くの場合、例えば30mというように遠いためで
ある。この位置精度が低いと、複眼カメラ1の光軸の精
度を上げることはできない。
【0005】複眼カメラ1を使用する代表的なアプリケ
ーションとして、測距が挙げられる。このような場合、
光軸の精度が低いことは測距性能に直接影響し、正確な
測距が行えないこととなる。本発明は、複眼カメラとタ
ーゲットの位置関係を正確に保つことができるように
し、これにより、複眼カメラの性能を向上させる複眼カ
メラの調整方法を得ることを目的とするものである。
【0006】
【課題を解決するための手段】本発明は、上記目的を達
成するためになされたものである。本発明の方法は、複
眼カメラの取り付け位置に設けた2以上の光源から2本
以上の光線を発射し、前記2本以上の光線の交点にター
ゲットを設置し、このターゲットを前記複眼カメラによ
り撮影することにより、前記複眼カメラの調整を行う。
【0007】複眼カメラと光線の交点までの距離は、各
光源間の距離と各光源間の相対角度により決る。この交
点にターゲットを配置することで、複眼カメラとターゲ
ットまでの距離を正確に設定することができる。したが
って、複眼カメラの光軸調整及びピントの調整を正確に
行うことができる。本発明においては、光源を4以上設
けて、光線の交点を2以上とすることができる。これに
より、ターゲットの平面を規定することができる。ま
た、各交点を2つのカメラの光軸に合わせれば、簡単に
光軸調整をすることができる。また、各カメラの回転方
向のずれを検出して調整することもできる。
【0008】本発明においては、光線の交点を3以上設
けることで、ターゲットの平面を規定することができ
る。本発明においては、光線のうちの少なくとも1本の
発射角度を自由に変更することにより、複眼カメラから
交点までの距離、交点間の距離を任意に設定することが
できる。
【0009】上記ターゲットとして、光源の波長の光線
を反射する反射板を設置することにより、効率の良い調
整作業を行うことができる。本発明の複眼カメラの調整
方法を実施するための装置は、複眼カメラを取り付ける
治具と、この治具に取り付けられ、前記複眼カメラの前
方に光線を発射する2以上の光源とから構成される。
【0010】
【発明の実施の形態】本発明の複眼カメラの調整方法及
び調整装置について、図を用いて説明する。 (実施形態1)図2(A)は、複眼カメラ調整装置の構
成と、この装置を使用した複眼カメラの調整方法を示す
もので、調整装置とターゲットを上から見た状態を示
す。図2(B)(C)は、ターゲット上の光点を示す。
【0011】ステレオカメラなどの複眼カメラ1が治具
2に固定される。複眼カメラ1は、治具2の基準面に精
度良く取付けられる。治具2の左右両端に、前方に光線
を発射する2つの光源3A、3Bが配置される。光源3
A、3Bは、例えばHe−Neレーザのような光線径が
小さく、かつ、高出力で、可視、あるいは複眼カメラで
受光できる波長を持つもので構成される。レーザ等の光
源機器は、複数台であっても良いし、ハーフミラーなど
の光学部品を用いて2本の光線に分けるものであっても
よい。
【0012】2つの光源3A、3Bは、相互に距離aを
おいて配置され、前方に対して内側に角度θ1、θ2を
持って光線4A、4Bを発射する。2本の光線4A、4
Bは、距離aと角度θ1、θ2で決まる距離Lで交わ
る。複眼カメラ1の前方にターゲット(目標)5を配置
すると、図2(B)に示すように、2本の光線4A、4
Bによる光点6A、6Bが写る。ターゲット5が複眼カ
メラ1からの距離Lにあると、図2(C)に示すよう
に、2つの光点6A、6Bは重なり、1つの点となる。
以後、この点を交点7Aと言う。ターゲット5が距離L
から前後にずれると、2つの光点6A、6Bは別々に表
れる。したがって、ターゲット5を、光点6A、6Bが
重なり1つの交点7Aが形成される位置に配置すること
により、複眼カメラ1から距離Lにある位置に正確に配
置することができる。
【0013】このように、距離Lの設定に光を利用する
ため、治具2とターゲット5の間の路面状態に影響を受
けない。ターゲット5との位置関係を正確に測定するに
は、一般的にはメジャー等を用いなければならないが、
路面に起伏がある場合などには、正確な直線距離を測る
ことは難しい。測定精度を向上させるために測量機器を
用いる方法はあるが、新たに機器を導入したり、測定環
境を変える度に大がかりな計測を行わなければならな
い。さらに、高さ情報まで得るには、このような測定で
は高精度に測定を行うことは困難である。これらの問題
は本例により簡単に解決される。
【0014】ターゲット5を配置した後、左右のカメラ
8A、8Bでターゲット5を撮影する。最初に、左右の
カメラ8A、8Bごとにピント調整を行い、画像9A、
9Bにターゲット5を写し出す。このように、所定の距
離Lのターゲット5にピントが合った状態で、左右のカ
メラ8A、8Bのピント調整が行われる。このピント調
整は、ターゲット5を正確な距離Lに置いた状態で行え
るので、正確なものとなる。
【0015】次に、画像9A、9B上でのターゲット5
の位置から、光軸のズレを検出する。このズレに基づい
て、左右のカメラ8A、8Bの光軸の調整が行われる。
ここでも、ターゲット5を正確に距離L離れた位置に配
置して調整を行うので、光軸調整は正確なものとなる。
図3は、左右のカメラ8A、8Bにおける具体的調整方
法を示す。
【0016】各カメラ8A、8Bにおいては、レンズ1
0の後方に撮像素子11が配置される。レンズ10の中
心と撮像素子11の中心を結ぶ軸が光軸12となる。ピ
ント調整は、レンズ10を光軸12の方向cに移動させ
ることにより行われる。光軸12の調整は、撮像素子1
1を左右方向d又は上下方向eに移動させることにより
行われる。また、詳細は後述するが、回転方向の調整
は、撮像素子11を光軸12を中心として、回転方向f
に回転させることにより行われる。
【0017】なお、画像9A、9B上に写ったターゲッ
ト5を用いて各種調整を行う代わりに、ターゲット5に
表れた交点7Aの位置から調整をすることもできる。こ
の場合は、ターゲット5として、交点7Aを確認できる
反射板を使用する。光源3A、3Bとして、可視光以外
のレーザ光を使用する場合は、通常の反射板では光の反
射が少なくなる。この場合は、光源3A、3Bの固有の
波長を良く反射する板、例えば、ディテクトボードなど
を使用することが好ましい。
【0018】このようにターゲット5として反射板を使
用して交点7Aを基準とした場合、専用のターゲットが
不要となり、小型の反射板を使用することができる。し
たがって、複眼カメラ1の調整を行う場所の自由度が広
がる。さらには、反射板がなくとも、建物の壁などをタ
ーゲットとして使用することも可能である。 (実施形態2)以上説明した例では、距離Lを固定のも
のとしているが、これを可変のものとすることができ
る。光源からの発射角度θ1、θ2の一方又は両方を変
更することにより、2本の光線4A、4Bの交点7Aが
できる位置を変更する。これにより、複眼カメラ1とタ
ーゲット5の間の距離Lが変更可能となる。
【0019】発射角度θ1、θ2を変更する具体的手段
としては、ハーフミラーやプリズムなどの光学部品を調
整する方法と、光源3A、3Bの光源機器の取付け角度
を変更する方法がある。 (実施形態3)3本以上の光線を用いて1点で交差する
ように構成した場合、治具とターゲットの位置関係を3
次元的に指定することができる。
【0020】図4は、光源を3個設けた場合の複眼カメ
ラ調整装置の構造を示す。図4(A)は、装置を正面か
ら見た図であり、図4(B)は、ターゲット上の光点を
示す図である。図4(A)に示すように、治具2に第3
の光源3Cが設けられる。この光源3Cは、左右の光源
3A、3Bの中間の位置で、かつ、上方に配置される。
ターゲット5には、距離Lからずれた場合は、図4
(B)に示すように、3つの光点6A、6B、6Cが表
れ、距離Lに配置された場合は、図4(C)に示すよう
に、1つの交点7Aがあらわれる。
【0021】(実施形態4)4本以上の光線を用いて2
点以上の交点を持つように構成すると、ターゲット5の
平面に対する位置関係を規定することができる。図5
は、4本の光線により2点の交点を持つ例を示す。な
お、ここでは、前述の図2と異なる点についてのみ説明
をする。
【0022】図5(A)に示すように、治具2の左右両
端に2つずつ、光源3A、3B、3C、3Dが配置され
る。光源3A、3Bは距離aをおいて配置されて1組の
光源を形成する。光源3C、3Dも距離aをおいて配置
されて1組の光源を形成する。光源3A、3Bの組は、
1つの交点7Aを形成し、光源3C、3Dは、1つの交
点7Cを形成する。
【0023】図5(B)はターゲット5が距離Lから外
れた場合、(C)は距離Lに一致した場合における、タ
ーゲット5上の光点6A〜6Dと交点7A、7Cの関係
を示す。各光源3Aと3B、3Cと3Dにより交点7
A、7Cが形成される原理は、前述の実施形態1〜3と
同様である。ターゲット5上に2つの交点7A、7Cが
形成されると、ターゲット5の平面は、2つの交点7
A、7Cにより位置関係が規定される。
【0024】図示の例では、ターゲット5上での2つの
交点7A、7C間の距離bを基線長bと同一にしてい
る。これにより、左のカメラ8Aは交点7Aを使用し
て、右のカメラ13は交点7Cを使用して光軸調整を行
う。この場合は、各カメラ8A、8Bは、その画像9
A、9Bにおいて、同一座標位置で光軸調整を行うこと
ができることとなる。交点7A、7C間の距離は、基線
長bと異なる値とすることも可能である。
【0025】図6に示す例は、6本の光線により3点の
交点を持つ例を示す。図6(A)は、複眼カメラ調整装
置を正面から見た図である。ここでは、前述の図5と異
なる点についてのみ説明をする。治具2に、第3組の光
源3E、3Fが配置される。この光源3E、3Fは、複
眼カメラ1の上方に配置され、各光源3E、3Fは、他
の組の光源と同様に、距離aをおいて配置される。3つ
の交点7A、7C、7Eは、ターゲット5の上に、図6
(B)に示すように形成される。これにより、ターゲッ
ト5の平面は、3つの交点7A、7C、7Eにより、位
置関係が規定される。
【0026】(変形例)以上説明した実施形態1〜4で
は、カメラ8A、8Bを左右方向に配置しているが、こ
れらは、上下方向等の任意の方向に配置することができ
る。実施形態4のように、ターゲット5上に交点7A、
7C等を2以上形成する場合、複眼カメラ1と交点7A
までの距離L1と、交点7Cまでの距離L2等とを異な
るものとすることも可能である。この場合、一度の設定
処理で、複数の距離についてピント調整をすることがで
きる。
【0027】
【発明の効果】本発明によれば、複眼カメラとターゲッ
トの位置関係を正確に保つことができ、これにより、複
眼カメラの性能を向上させる複眼カメラの調整方法を得
ることができる。
【図面の簡単な説明】
【図1】従来の複眼カメラの調整方法を示す図。
【図2】本発明の複眼カメラの実施形態1の調整方法を
示す図。
【図3】本発明における、各カメラでの具体的調整方法
を示す図。
【図4】本発明の複眼カメラの実施形態3の装置を正面
から見た図。
【図5】本発明の複眼カメラの実施形態4の調整方法を
示す図。
【図6】図5の変形例を示す図。
【符号の説明】
1…複眼カメラ 2…治具 3A、3B、3C、3D、3E、3F…光源 4A、4B、3C、4D、4E、4F…光線 5…ターゲット 6A、6B、6C、6D、6E、6F…光点 7A、7C、7E…交点 8A、8B…カメラ 9A、9B…カメラの画像 10…レンズ 11…撮像素子 12…光軸 a…光源間の距離 b…基線長 L…複眼カメラからターゲットまでの距離 θ1、θ2…発射角度

Claims (11)

    【特許請求の範囲】
  1. 【請求項1】 複眼カメラの取り付け位置に設けた2以
    上の光源から2本以上の光線を発射し、 前記2本以上の光線の交点にターゲットを設置し、 このターゲットを前記複眼カメラにより撮影し、 撮影した画像に基づいて前記複眼カメラの調整を行う複
    眼カメラの調整方法。
  2. 【請求項2】 前記光線の数が2本である請求項1に記
    載の複眼カメラの調整方法。
  3. 【請求項3】 複眼カメラの取付け位置に設けた4つの
    光源から4本の光線を発射し、 前記4本の光線のうち、2本ずつ2組の光線の交点を任
    意の一定の距離に設定し、 前記2組の交点を共有点とする平面にターゲットを設置
    し、 このターゲットを前記複眼カメラにより撮影し、 撮影した画像に基づいて前記複眼カメラの調整を行う複
    眼カメラの調整方法。
  4. 【請求項4】 複眼カメラの取付け位置に設けた6つの
    光源から6本の光線を発射し、 前記6本の光線のうち、2本ずつ3組の光線の交点を任
    意の一定の距離に設定し、 前記3組の交点を共有点とする平面にターゲットを設置
    し、 このターゲットを前記複眼カメラにより撮影し、 撮影した画像に基づいて前記複眼カメラの調整を行う複
    眼カメラの調整方法。
  5. 【請求項5】 前記各交点がそれぞれ異なる距離に設定
    される請求項3又は4に記載の複眼カメラの調整方法。
  6. 【請求項6】 前記複眼カメラの調整が、光軸調整であ
    る請求項1から4のいずれか1項に記載の複眼カメラの
    調整方法。
  7. 【請求項7】 前記複眼カメラの調整が、ピント調整で
    ある請求項1から4のいずれか1項に記載の複眼カメラ
    の調整方法。
  8. 【請求項8】 前記複眼カメラの調整が、光軸を基準と
    した回転の調整である請求項3又は4に記載の複眼カメ
    ラの調整方法。
  9. 【請求項9】 前記2本以上の光線のうちの少なくとも
    1本の光線の発射角度を自由に変更することにより、前
    記複眼カメラから前記交点までの距離を可変とする請求
    項1から4のいずれか1項に記載の複眼カメラの調整方
    法。
  10. 【請求項10】 前記ターゲットとして、前記光源の波
    長を反射する反射板を設置する請求項1から4のいずれ
    か1項に記載の複眼カメラの調整方法。
  11. 【請求項11】 複眼カメラを取り付ける治具と、 この治具に取り付けられ、前記複眼カメラの前方に光線
    を発射する2以上の光源と、 を具備することを特徴とする複眼カメラの調整装置。
JP2001005584A 2001-01-12 2001-01-12 複眼カメラの調整方法及び調整装置 Expired - Fee Related JP4508433B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001005584A JP4508433B2 (ja) 2001-01-12 2001-01-12 複眼カメラの調整方法及び調整装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001005584A JP4508433B2 (ja) 2001-01-12 2001-01-12 複眼カメラの調整方法及び調整装置

Publications (2)

Publication Number Publication Date
JP2002218504A true JP2002218504A (ja) 2002-08-02
JP4508433B2 JP4508433B2 (ja) 2010-07-21

Family

ID=18873615

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001005584A Expired - Fee Related JP4508433B2 (ja) 2001-01-12 2001-01-12 複眼カメラの調整方法及び調整装置

Country Status (1)

Country Link
JP (1) JP4508433B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005037595A (ja) * 2003-07-18 2005-02-10 Yasushi Haruta ステレオ写真撮影装置
JP2008046103A (ja) * 2006-07-19 2008-02-28 Shimatec:Kk 表面検査装置
CN107289247A (zh) * 2017-08-04 2017-10-24 南京乐朋电子科技有限公司 一种双摄像头三维成像装置及其成像方法
DE202013012670U1 (de) 2012-07-31 2018-05-16 Hitachi Automotive Systems, Ltd. In ein Fahrzeug eingebaute Bildverarbeitungsvorrichtung

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0926635A (ja) * 1995-07-11 1997-01-28 Wakomu Eng:Kk 立体カメラ及び立体ビデオカメラ
JP2000004391A (ja) * 1998-06-16 2000-01-07 Fuji Photo Film Co Ltd 収差補正量設定方法、位置調整装置及び画像処理装置
JP2001326837A (ja) * 2000-02-21 2001-11-22 Hewlett Packard Co <Hp> 文書取込み装置用のフレーミング支援装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0926635A (ja) * 1995-07-11 1997-01-28 Wakomu Eng:Kk 立体カメラ及び立体ビデオカメラ
JP2000004391A (ja) * 1998-06-16 2000-01-07 Fuji Photo Film Co Ltd 収差補正量設定方法、位置調整装置及び画像処理装置
JP2001326837A (ja) * 2000-02-21 2001-11-22 Hewlett Packard Co <Hp> 文書取込み装置用のフレーミング支援装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005037595A (ja) * 2003-07-18 2005-02-10 Yasushi Haruta ステレオ写真撮影装置
JP2008046103A (ja) * 2006-07-19 2008-02-28 Shimatec:Kk 表面検査装置
DE202013012670U1 (de) 2012-07-31 2018-05-16 Hitachi Automotive Systems, Ltd. In ein Fahrzeug eingebaute Bildverarbeitungsvorrichtung
US10214155B2 (en) 2012-07-31 2019-02-26 Hitachi Automotive Systems, Ltd. On-vehicle image processing device
DE202013012775U1 (de) 2012-07-31 2019-05-29 Hitachi Automotive Systems, Ltd. In ein Fahrzeug eingebaute Bildverarbeitungsvorrichtung
US10589696B2 (en) 2012-07-31 2020-03-17 Hitachi Automotive Systems, Ltd. On-vehicle image processing device
US11225204B2 (en) 2012-07-31 2022-01-18 Hitachi Astemo, Ltd. On-vehicle image processing device
CN107289247A (zh) * 2017-08-04 2017-10-24 南京乐朋电子科技有限公司 一种双摄像头三维成像装置及其成像方法

Also Published As

Publication number Publication date
JP4508433B2 (ja) 2010-07-21

Similar Documents

Publication Publication Date Title
CN107957237B (zh) 具有闪光对准的激光投影仪
US6862097B2 (en) Three-dimensional shape measuring method, and three-dimensional shape measuring apparatus
JP5281923B2 (ja) 投射型表示装置
JP4760391B2 (ja) 測距装置及び測距方法
JP3594706B2 (ja) 光源位置調整装置
JP7066322B2 (ja) 測量システム
US20060158664A1 (en) Three-dimensional image measuring apparatus
CN102216803A (zh) 测量六个自由度的装置和方法
US20030043277A1 (en) Imaging system, photographing device and three-dimensional measurement auxiliary unit used for the system
JP2012247529A (ja) 光源装置および光軸調整方法
US10686548B2 (en) Projection of multiple beams using cylindrical lenses
TWI768672B (zh) 投影機對焦方法及投影機對焦系統
JP4508433B2 (ja) 複眼カメラの調整方法及び調整装置
JP7099514B2 (ja) 走査型光学系、およびライダー
JP2006047292A (ja) 光学部品の評価装置及び評価方法
JPH1026724A (ja) アクティブ式多点測距装置
CN219265226U (zh) 基于多目相机实现瞄准功能的坐标测量装置
JPH05203745A (ja) 光レーダシステムの光学ヘッド
JPH11337329A (ja) 平面状物体の傾きの測定方法
JP2002022427A (ja) 3次元画像入力装置
JP2022045957A (ja) 保持部材、光源装置、投影装置及び光学部材の保持方法
JP2620143B2 (ja) オートフォーカス装置の測距機構
JPS58171025A (ja) 撮影装置
JP3244348B2 (ja) 測距装置
RU12617U1 (ru) Устройство для формирования изображений

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080111

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100323

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100330

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100427

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130514

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4508433

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130514

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140514

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees