JP2013238522A - 多焦点撮像装置 - Google Patents

多焦点撮像装置 Download PDF

Info

Publication number
JP2013238522A
JP2013238522A JP2012112478A JP2012112478A JP2013238522A JP 2013238522 A JP2013238522 A JP 2013238522A JP 2012112478 A JP2012112478 A JP 2012112478A JP 2012112478 A JP2012112478 A JP 2012112478A JP 2013238522 A JP2013238522 A JP 2013238522A
Authority
JP
Japan
Prior art keywords
axis
moving
photoelectric converter
image
rotating plate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012112478A
Other languages
English (en)
Other versions
JP5965721B2 (ja
Inventor
Mitsuhiro Ishihara
満宏 石原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Takaoka Toko Co Ltd
Original Assignee
Takaoka Electric Mfg Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Takaoka Electric Mfg Co Ltd filed Critical Takaoka Electric Mfg Co Ltd
Priority to JP2012112478A priority Critical patent/JP5965721B2/ja
Publication of JP2013238522A publication Critical patent/JP2013238522A/ja
Application granted granted Critical
Publication of JP5965721B2 publication Critical patent/JP5965721B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Image Input (AREA)

Abstract

【課題】 本発明は、XY移動テーブルに搭載して移動しながら計測可能な、多焦点画像を用いる光計測装置を提供することを目的とする。
【解決手段】 互いに厚さの異なる平行平面透明体を円周上にならべた回転円板による高速焦点移動機構により焦点を高速変化させ、対物レンズ系の光路をミラーあるいは直角プリズムにより90度折り曲げ、対物レンズ系をXY移動テーブル移動軸に対し45度の角度をなすように配置し、2次元光電変換器を45度傾けた状態で取り付ける。
【選択図】 図4

Description

本発明は、光を利用した計測装置に関する。特に、異なる焦点位置の複数の画像を用いて各種の計測を行う装置の高速化、コンパクト化に関する。
たとえば物体の表面の立体形状を計測するために、焦点位置の異なる複数の画像データを得て、この画像データを画像処理装置に入力して各画像の局所的な合焦状態を画像処理により求め、合焦状態と各画像の焦点位置とから物体表面各箇所の立体形状を特定するということが行われている。このとき、画像データの入力用として使用される光学系は、結像光学系と、この結像光学系により結ばれる光学像を光電変換して出力する2次元光電変換器などより構成され、結像光学系と被測定物との間の光学的距離すなわち光路長を変化させて焦点位置の異なる複数の画像データを得ている。
結像光学系と被測定物体との光路長を変化させる手段としては、被測定物をZ軸移動テーブル上に配置し、Z軸移動テーブルを移動させることにより行うのが一般的である。しかしながら、Z軸移動テーブルによる光路長変化は、被測定物が大きく重量があるものであったり、あるいは被測定物を保持するための治具が重量物であったりする場合、精度を出すための剛性等を考慮するとZ軸移動テーブル自体が大きく自重のあるものとなるため、高速かつ高精度な移動(光路長変化)は容易ではなかった。また、特に画像データ入力用の光学系が、レーザ走査顕微鏡のような走査型光学系の場合、走査期間中は焦点位置を本来変化させるべきではないことから、理想的には光路長をステップ変化させる必要があり、自重の大きいZ軸移動テーブルを高速・高精度でステップ移動させるのはさらに困難であった。
この問題を解決するために、上記のような機械的な光路長変化ではなく、光学的に変化させる機構の提案が、本発明と同一の発明者により特許文献1に示されている。その原理を、図5を参照して説明する。顕微鏡対物レンズのような結像光学系の光路中に平行平面透明体503を挿入すると、光学系と被測定物103との光路長の変化に伴い焦点の位置が変化する。この変化量は、平行平面透明体503の厚さにより制御することができる。この原理を用いて、円板501の円周上に互いに厚さの異なる平行平面透明体503を並べ、この円周を結像光学系の光軸位置に持っていき、円板501を連続的に回転させると、平行平面透明体503の厚さの変化に伴い焦点位置が移動する。タイミングセンサにより各平行平面透明体503と結像光学系光軸が交わるタイミングで2次元光電変換器のシャッターを切ることで高速にかつ高精度にステップ的な焦点移動が実現できる。
特願平7−237947
この機構は、簡単な構造で、高速・高精度な光路長変化を実現できるが、光学系光軸に直交して回転円板を配置するため、例えば高倍率の高解像度光学系や、テレセントリックな広視野高精度光学系などの場合、光学系の全長が非常に長くなることから、それに直交する回転円板を配置すると外接直方空間は非常に大きなものとなり、装置の大規模化を招くことになる。
また、被測定物が大きく一回(一視野)の計測では計測しきれない場合は、結像光学系や回転円板、2次元光電変換器を含む計測機構部(以下では単に計測機構部と称する)と被測定物との位置関係をXY軸移動テーブル等により変化させて複数回計測する必要があるが、この場合被測定物をXY軸移動テーブルにより移動させるのではなく計測機構部側をXY軸移動テーブル上に載せて移動させた方(以下では計測機構部移動型と称する)が、被測定物の搬送、計測機構部の計測位置への導入方法などに関して自由度が高くなり、計測装置全体の簡素化あるいはスループットの向上が期待できる。
しかし、計測機構部が前記のように大きくなると、XY軸移動テーブルも大型のものが必要となるだけでなく、移動時に振動が発生しやすくなるため光学系自体の剛性を上げるなどの対策が必要となりさらに大型化を招き実現性に乏しくなる。
このような状況に鑑み、本発明は、複数の焦点位置の画像を高速に取得する装置(以下では多焦点撮像装置と呼ぶ)を、計測機構部移動型で使用可能なように軽量かつコンパクトに提供することを目的とする。
上記課題を解決するために、
少なくとも一軸の移動軸を有する移動テーブルと、
その移動テーブルに搭載または被測定物用移動テーブルの移動に伴って被測定物に対する相対位置を変えて計測が可能な計測機構部より構成され、
計測機構部は、光学像を光電変換し2次元の画像信号として出力可能な2次元光電変換器と、
その2次元光電変換器からの出力画像信号を受信し画像として保存あるいは各種データ処理を施す画像処理装置と、
被測定物の光学像を前記2次元光電変換器の光電変換面に結像させ、少なくとも1回光路が90度折れ曲がる構造を有する対物レンズ系と、
前記対物レンズ系の物体空間での光軸(以下単に光軸と称する)に直交する回転面を有しモータにより定速度で回転する回転板で、その回転板上の前記光軸と交差する円周上に互いに厚さの異なる複数の平行平面透明体が並べて配列され、その平行平面透明体が前記光軸を通過する毎に前記2次元光電変換器により撮像することで焦点位置の異なる複数の画像を得ることができる焦点移動機構とからなり、
前記移動テーブルの移動軸の内の少なくとも一軸は前記焦点移動機構の回転板回転面に平行であるように多焦点撮像装置を構成する。
さらに、前記焦点移動機構の回転板の回転中心軸と前記光軸とにより構成される平面(以下中心平面と称する)は、前記移動テーブルの移動軸のうちの回転板回転面と平行な軸と平行または直交するように配置し、
対物レンズ系は、前記光軸に対し光路が途中で90度折り曲げられ回転板の回転平面に平行かつ前記中心平面と45度の角度をなすように配置し、
2次元光電変換器は、その2次元の座標軸が前記回転板の回転平面に対し45度傾いた状態で取り付けるようにする。
以上のように構成することで、計測機構部の外接直方空間を小さくすることができ、重心が低くなることから移動テーブルの加減速に伴って受ける力に対して有利となり、コンパクトな計測機構部移動型の多焦点撮像装置が実現できる。
本発明の実施例を示した図である。 従来技術を説明するための図である。 本発明の計測機構部の1実施例を示した図である。 本発明の計測機構部の他の実施例を示した図である。 高速な焦点移動機構を説明するための図である。
以下では、本発明を具体的に実施するにあたり最良と思われる実施形態について述べる。
まず、本発明を具現化した実施形態の例を、図1〜図4を参照して説明する。
計測光学系の例として、ここでは図2を参照して2次元配列型共焦点光学系の場合について述べる。この光学系は、2次元的にピンホールが配列されたピンホールアレイ201と、このピンホールアレイ201を照明する照明光学系202と、ピンホールアレイ201を透過した照明光を被測定物103に結像投影し、かつ被測定物103からの反射光を再び集光する対物レンズ系204と、照明光と反射光の偏光方向を90度変換する機能を有する1/4波長板205と、対物レンズ系204により集光されピンホールアレイ201を再び通過した反射光を照明光学系202の方に戻さず90度折り曲げる機能を有する偏光ビームスプリッタ206と、ピンホールアレイ201を通過した反射光を2次元光電変換器207に結像伝達する第2対物レンズ系208と、2次元光電変換器207の出力画像信号を受信し保存あるいは画像データ処理を行う画像処理装置209より構成される。
この光学系は、いわゆる共焦点光学系であり、ピンホールアレイ201の共役面(以下では焦点面210と呼ぶ)に被測定物103の表面が存在する場合にのみ反射光がピンホールアレイ201を再び通過して2次元光電変換器207の対応する画素で出力が得られ、被測定物103の表面が焦点面210以外にある場合には出力が得られない(出力値が小さい)という特性を有しており、被測定物103に対する焦点面210の相対位置を変化させて、2次元光電変換器207の画素毎にもっとも出力の大きい相対位置を求めることで被測定物103の表面の位置を画素毎に特定できる、すなわち表面形状計測ができる光学系となっている。
被測定物103に対する焦点面210の相対位置を変化させるための機構として、従来技術として述べた、図5に示す機構を用いる。
このように画像を取得する型の共焦点光学系(以下では共焦点撮像系と称する)では、対物レンズ系204としてテレセントリック光学系を用いる必要があるが、テレセントリック光学系は開口絞りをはさんで前群レンズと後群レンズとに分かれており、全長が長くなるのが普通である。そのため図2に示すように、対物レンズ系204を含む2次元配列型共焦点光学系と前記の回転円板210による焦点面変化機構とを組み合わせると、外接する直方空間はかなり大きいものとなってしまう。
そこで、対物レンズ系204の中間部分の開口絞り前後でミラーあるいは直角プリズムにより光路を90度折り曲げるようにする。図3に示すように、これにより回転円板501の回転面方向(以下では水平方向と呼ぶ)に対して直交する方向(以下垂直方向と呼ぶ)寸法を大幅に小さく抑えることが可能となる。90度折り曲げたことで対物レンズ系204後群以降の光学系は、水平方向に配置でき、垂直方向の広がりを大幅に抑えることができる。さらに、回転円板501と重なるように配置することで全体のサイズが水平方向に広がるのも抑えることができる。
偏光ビームスプリッタ206は光学系の光路をさらに90度折り曲げるが、この折り曲げ方向も水平面内で折り曲げることが可能であり、かつ回転円板501と重なるようにすることができる。また、照明光学系202も折り曲げて回転円板501に重なるようにすることが可能である。
このようにすることで図1に示すように、計測機構部102の垂直方向のサイズが大幅に小さくなり重心が低くなるため、曲げ剛性的に有利となり、XY移動テーブル101に計測機構部102を取り付けて高速に位置移動させることが可能となる。各部品の剛性も低くすることが可能になり、装置の小型化、低コスト化が図れることになる。
回転円板501の中心にはモータ502が有り、さらにこのモータ502および回転円板501を保持する支持台が必要となることから、回転円板501の中心付近に光学系を配置することは通常難しい。そのため、図3のように光学系は回転円板501中心を避けた配置となる。
この場合、2次元光電変換器207の光学系への取り付けとして、2次元光電変換器207の画像座標軸方向を水平・垂直方向に合わせる一般的な取り付け方法とすると、視野の形状は図3計測視野301のようになるため、XY移動テーブル移動軸302をこの計測視野301の座標軸方向に合わせるのが自然である。
しかしながら、この場合計測視野301の位置は計測機構部中心線302(ここではXY移動テーブル移動軸302に等しい)から大きく偏った不自然な位置となる。また回転円板501と被測定物103とのクリアランスが小さい場合(高解像度広視野の画像を得たい場合、対物レンズ系204のNAは小さい値とすることはできず、かつ回転円板501上の平行平面透明体503はできるだけ小さいものを使って回転円板501の径を小さくしたいと考えると回転円板501と被測定物103とのクリアランスは小さく設定することになるのが一般的)、図3計測視野301の位置に計測視野位置があると使用者から計測視野301の位置が(Y軸方向を計測機後部102の前後方向として、前方向から)視認しづらく、特に回転円板501のサイズが大きい場合には使用者が計測視野301の位置を目視で確認することはほぼ不可能となってしまい、著しく使い勝手が悪いものとなってしまう。
そこで、図4のように回転円板501中心線と計測視野301中心線とを含む平面方向を、XY移動テーブル移動軸302方向(通常慣習的にはY軸方向)と平行になるようにする。このようにすることで計測視野301を確認のしやすい位置に配置することができる。
XY移動テーブル移動軸302と計測視野301との関係を図4のようにすると、光学系の光路はXY移動テーブルのYZ軸平面(すなわち回転円板501中心線と計測視野301中心線とを含む平面)に対して約45度傾いた形となる。この場合、2次元光電変換器207の光学系への取り付けを、2次元光電変換器207の画像座標軸方向を水平・垂直方向に合わせる一般的な取り付け方法とすると図4計測視野301aとして示すようにXY移動テーブル移動軸302に対して45度傾いた形となってしまう。
2次元光電変換器207の画像座標軸とXY移動テーブル移動軸302が一致していないと画像データ処理上扱いづらく、かつ回転円板501上の平行平面透明体503のサイズと視野の形状で決まる2次元光電変換器207の露光時間の余裕の観点からも好ましくない。そこで、2次元光電変換器207の光学系への取り付けを、2次元光電変換器207の画像座標軸方向が水平・垂直方向に対して45度傾くように配置する。このようにすると図4計測視野301bのように2次元光電変換器207の画像座標軸とXY移動テーブル移動軸302を一致させることが可能となる。
以上では、計測光学系として2次元配列型共焦点撮像系の例を挙げたが、本発明の適用範囲は2次元配列型共焦点撮像系に限られるものではない。走査型の共焦点撮像系であっても同様に考えることが可能であるし、共焦点撮像系である必要もない。共焦点撮像系は光学系そのものの出力が合焦状態を表しているが、通常の光学系による画像であっても画像処理により合焦状態を演算することが可能であるから、ほぼ同様のことは共焦点撮像系ではない一般的な結像光学系でも実現できる。その場合も、本発明は有効である。また、表面形状計測ではなく高精度2次元寸法計測のために高解像度の画像が必要であって高速な合焦機構が必要な場合も全く同様に本発明を用いることができる。その他、白色干渉表面形状計測などにも適用可能と考えられる。
また、上記実施例では平行あるいは直交、あるいは90度、45度との表現で位置関係を述べているが、必ずしも厳格な条件を求めているものではない。ある程度の誤差があっても目的が達せられるのであれば本発明の範疇である。例えば、XY移動テーブルのY軸に対して45度方向に光学系の光路が配置され、2次元光電変換器が45度傾けて取り付けられるとあるが、この値は40度であっても実現は可能である。
本発明により、計測機構移動型の多焦点撮像装置がコンパクトかつ低コストあるいは高速に実現できる。これにより光による高速かつ高精度の計測が必要な部品が数多く存在する半導体産業において特に大きな需要があるものと考えられる。
101 XY移動テーブル
102 計測機構部
103 被測定物
201 ピンホールアレイ
202 照明光学系
204 対物レンズ系
205 1/4波長板
206 偏光ビームスプリッタ
207 2次元光電変換器
208 第2対物レンズ系
209 画像処理装置
210 焦点面
301 計測視野
302 XY移動テーブル移動軸
501 回転円板
502 モータ
503 平行平面透明体

Claims (2)

  1. 光を利用した計測装置において、
    少なくとも一軸の移動軸を有する移動テーブルと、
    その移動テーブルに搭載または被測定物用移動テーブルの移動に伴って被測定物に対する相対位置を変えて計測が可能な計測機構部より構成され、
    計測機構部は、光学像を光電変換し2次元の画像信号として出力可能な2次元光電変換器と、
    その2次元光電変換器からの出力画像信号を受信し画像として保存あるいは各種データ処理を施す画像処理装置と、
    被測定物の光学像を前記2次元光電変換器の光電変換面に結像させ、少なくとも1回光路が90度折れ曲がる構造を有する対物レンズ系と、
    前記対物レンズ系の物体空間での光軸(以下単に光軸と称する)に直交する回転面を有しモータにより定速度で回転する回転板で、その回転板上の前記光軸と交差する円周上に互いに厚さの異なる複数の平行平面透明体が並べて配列され、その平行平面透明体が前記光軸を通過する毎に前記2次元光電変換器により撮像することで焦点位置の異なる複数の画像を得ることができる焦点移動機構とからなり、
    前記移動テーブルの移動軸の内の少なくとも一軸は前記焦点移動機構の回転板回転面に平行であるように配置されることを特徴とする多焦点撮像装置。
  2. 前記焦点移動機構の回転板の回転中心軸と前記光軸とにより構成される平面(以下中心平面と称する)は、前記移動テーブルの移動軸のうちの回転板回転面と平行な軸と平行または直交するように配置され、
    対物レンズ系は、前記光軸に対し光路が途中で90度折り曲げられ回転板の回転平面に平行かつ前記中心平面と45度の角度をなすように配置され、
    2次元光電変換器は、その2次元の座標軸が前記回転板の回転平面に対し45度傾いた状態で取り付けられることを特徴とする請求項1記載の多焦点撮像装置。
JP2012112478A 2012-05-16 2012-05-16 多焦点撮像装置 Active JP5965721B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012112478A JP5965721B2 (ja) 2012-05-16 2012-05-16 多焦点撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012112478A JP5965721B2 (ja) 2012-05-16 2012-05-16 多焦点撮像装置

Publications (2)

Publication Number Publication Date
JP2013238522A true JP2013238522A (ja) 2013-11-28
JP5965721B2 JP5965721B2 (ja) 2016-08-10

Family

ID=49763673

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012112478A Active JP5965721B2 (ja) 2012-05-16 2012-05-16 多焦点撮像装置

Country Status (1)

Country Link
JP (1) JP5965721B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021117116A1 (de) 2021-07-02 2023-01-05 Stiftung für Lasertechnologien in der Medizin und Meßtechnik an der Universität Ulm ILM, Körperschaft des öffentlichen Rechts Messvorrichtung zur optischen Vermessung eines Objekts

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0783619A (ja) * 1993-09-13 1995-03-28 Nec Corp レーザ変位計
JPH08304043A (ja) * 1995-03-03 1996-11-22 Takaoka Electric Mfg Co Ltd 三次元撮像装置
JPH09126739A (ja) * 1995-11-02 1997-05-16 Takaoka Electric Mfg Co Ltd 立体形状計測装置
JPH09329748A (ja) * 1996-06-11 1997-12-22 Nikon Corp 共焦点顕微鏡
US6288382B1 (en) * 1998-12-17 2001-09-11 Takaoka Electric Mfg. Co., Ltd. Micro-scanning multislit confocal image acquisition apparatus
JP2003329420A (ja) * 2002-05-13 2003-11-19 Hidekazu Goto 回転体の表面形状及び画像測定装置
JP2005010516A (ja) * 2003-06-19 2005-01-13 Olympus Corp 顕微鏡
JP2009526216A (ja) * 2006-02-08 2009-07-16 シロナ・デンタル・システムズ・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツング クロマティック共焦点三次元計測技術のための迅速かつ強力な方法および装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0783619A (ja) * 1993-09-13 1995-03-28 Nec Corp レーザ変位計
JPH08304043A (ja) * 1995-03-03 1996-11-22 Takaoka Electric Mfg Co Ltd 三次元撮像装置
JPH09126739A (ja) * 1995-11-02 1997-05-16 Takaoka Electric Mfg Co Ltd 立体形状計測装置
JPH09329748A (ja) * 1996-06-11 1997-12-22 Nikon Corp 共焦点顕微鏡
US6288382B1 (en) * 1998-12-17 2001-09-11 Takaoka Electric Mfg. Co., Ltd. Micro-scanning multislit confocal image acquisition apparatus
JP2003329420A (ja) * 2002-05-13 2003-11-19 Hidekazu Goto 回転体の表面形状及び画像測定装置
JP2005010516A (ja) * 2003-06-19 2005-01-13 Olympus Corp 顕微鏡
JP2009526216A (ja) * 2006-02-08 2009-07-16 シロナ・デンタル・システムズ・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツング クロマティック共焦点三次元計測技術のための迅速かつ強力な方法および装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021117116A1 (de) 2021-07-02 2023-01-05 Stiftung für Lasertechnologien in der Medizin und Meßtechnik an der Universität Ulm ILM, Körperschaft des öffentlichen Rechts Messvorrichtung zur optischen Vermessung eines Objekts
DE102021117116B4 (de) 2021-07-02 2023-10-26 Stiftung für Lasertechnologien in der Medizin und Meßtechnik an der Universität Ulm ILM, Körperschaft des öffentlichen Rechts Messvorrichtung, Verfahren und medizintechnisches Messgerät zur optischen Vermessung eines Objekts

Also Published As

Publication number Publication date
JP5965721B2 (ja) 2016-08-10

Similar Documents

Publication Publication Date Title
US9041940B2 (en) Three-dimensional shape measuring apparatus
US9360665B2 (en) Confocal optical scanner
US20140043469A1 (en) Chromatic sensor and method
JP5376076B1 (ja) 共焦点スキャナおよびそれを用いた光学的計測装置
JP4751156B2 (ja) オートコリメータ及びそれを用いた角度測定装置
JP5973756B2 (ja) 焦点位置変更装置およびこれを用いた共焦点光学装置
JP2012137469A (ja) 三次元画像取得装置および三次元画像取得方法
JP5965721B2 (ja) 多焦点撮像装置
JP2016148569A (ja) 画像測定方法、及び画像測定装置
Prause et al. Toward areal chromatic confocal metrology
JP6549718B2 (ja) レーザースキャナシステムのための光学配置
JP5346670B2 (ja) 非接触表面形状測定装置
JPH1068674A (ja) レンズ系の測定装置及びレンズ系のmtf測定方法
JPH0755638A (ja) 光学系の焦点距離測定装置及び測定方法
JP2014056078A (ja) 画像取得装置、画像取得システム及び顕微鏡装置
JP5149085B2 (ja) 変位計
WO2010139764A1 (en) Optical inspection system
Wang et al. Nonscanning 3D profile parallel confocal detecting system based on DLP technology
KR20240030514A (ko) 원격 초점 조절과 공초점을 이용한 구강 내 치아 스캐너 및 이에 의한 스캐닝 방법
JP2018072375A (ja) 光学部品保持枠の偏心量測定方法
JP2008145162A (ja) 三次元形状測定装置
JPH1138298A (ja) 光学系調整方法
JPH0755640A (ja) 光学系の焦点距離測定装置および測定方法
Zhang Optical profilometry and its applications
JP2006112872A (ja) 小型角度センサ

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20140620

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150408

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160322

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160328

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160527

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160627

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160704

R150 Certificate of patent or registration of utility model

Ref document number: 5965721

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150