JP6010506B2 - 画像取得装置及び画像取得装置のフォーカス方法 - Google Patents
画像取得装置及び画像取得装置のフォーカス方法 Download PDFInfo
- Publication number
- JP6010506B2 JP6010506B2 JP2013122960A JP2013122960A JP6010506B2 JP 6010506 B2 JP6010506 B2 JP 6010506B2 JP 2013122960 A JP2013122960 A JP 2013122960A JP 2013122960 A JP2013122960 A JP 2013122960A JP 6010506 B2 JP6010506 B2 JP 6010506B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- optical path
- sample
- imaging
- optical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Microscoopes, Condenser (AREA)
- Automatic Focus Adjustment (AREA)
- Studio Devices (AREA)
Description
本発明は、画像取得装置及び画像取得装置のフォーカス方法に関する。
従来の画像取得装置として、例えば特許文献1に記載の装置がある。この装置では、被検物からの光をハーフプリズムで分割し、CCDエリアセンサ等の2次元撮像素子からなる光電変換素子で受光する。光電変換素子の制御回路は、受光面を2次元的に走査する2つの走査領域を任意に設定可能な走査領域設定部を有している。そして、走査領域設定部によって設定された2つの走査領域で受光した光の合焦ずれ信号に基づいて合焦制御を実行する。
上述した従来の装置では、ハーフプリズムを用いて被検物からの光を分割している。このため、光電変換素子での光量の確保が難しく、試料の焦点位置の検出精度が低下してしまうおそれがある。また、焦点位置の検出用の光の光量を増大させると、被検物の撮像用の光の光量が減少することとなり、撮像の際の光量の確保が困難となるおそれがある。
本発明は、上記課題の解決のためになされたものであり、撮像の際の光量を確保でき、かつ試料の焦点位置を精度良く検出できる画像取得装置及びそのフォーカス方法を提供することを目的とする。
上記課題の解決のため、本発明に係る画像取得装置は、試料が載置されるステージと、試料に向けて光を照射する光源と、ステージ上の試料と対峙するように配置された対物レンズ、及び試料の光像を画像取得用の第1の光路及び焦点制御用の第2の光路に分岐する光分岐手段を含む導光光学系と、第1の光路に分岐された第1の光像による第1の画像を取得する第1の撮像手段と、第2の光路に分岐された第2の光像による第2の画像を取得する第2の撮像手段と、第2の画像を解析し、その解析結果に基づいて試料の合焦点情報を算出する合焦点算出手段と、第2の撮像手段の撮像面の面内方向に沿って第2の光像に光路差を生じさせる光路差生成部材と、を備え、光路差生成部材は、第2の撮像手段の撮像面に、光路差が生じた第2の光像が入射する第1の入射領域と、光路差が生じない第2の光像が入射する第2の入射領域とが形成されるように第2の光路に配置され、合焦点算出手段は、第1の入射領域で取得された第2の画像、及び第2の入射領域で取得された第2の画像のいずれか一方を、解析に用いる第2の画像として選択することを特徴としている。
この画像取得装置では、光路差生成部材の配置により、焦点制御用の第2の光路での光の分岐を行わずに第2の光像の光路長差を形成できる。したがって、焦点位置の情報を得るために必要な第2の光路への光量が抑えられ、第1の撮像手段で撮像を行う際の光量を確保できる。また、この画像取得装置では、光路差生成部材の配置により、第2の撮像手段の撮像面に、光路差が生じた第2の光像が入射する第1の入射領域と、光路差が生じない第2の光像が入射する第2の入射領域とが形成される。これにより、合焦点算出手段において、第1の入射領域に入射した第2の画像及び第2の入射領域に入射した第2の画像のいずれを解析に用いるかを選択することが可能となり、例えば試料の凹凸の程度等に応じて最適な合焦点情報の算出方式を選択できるので、合焦点情報を精度良く算出できる。
また、光路差生成部材及び第2の撮像手段は、試料における第1の撮像手段での撮像位置からの光が第2の入射領域に入射するように第2の光路に配置されていることが好ましい。この場合、合焦点算出手段による合焦点算出の算出処理を簡単化できる。
また、第1の撮像手段で取得された第1の画像を評価する画像評価手段を更に備え、合焦点算出手段は、画像評価手段による第1の画像の評価結果に基づいて、第1の入射領域で取得された第2の画像、及び第2の入射領域で取得された第2の画像のいずれか一方を選択することが好ましい。合焦点情報の算出方式によっては、例えば試料の凹凸の程度等に起因して合焦点情報の算出の精度が低下する場合が考えられる。こうした場合に、第1の画像の評価結果に基づいて、第1の入射領域で取得された第2の画像、及び第2の入射領域で取得された第2の画像のいずれを解析に用いるかを選択することで、合焦点情報の精度を担保できる。
また、試料に対する対物レンズの視野位置を移動させる視野駆動手段を更に備え、光路差生成部材は、視野駆動手段による対物レンズの視野位置の移動に伴う第2の撮像手段の撮像面上での第2の光像の移動方向に沿って連続的に厚さが変化する第1の部分と、厚さが一定の第2の部分とを有し、第1の部分が撮像面に第1の入射領域を形成し、第2の部分が撮像面に第2の入射領域を形成することが好ましい。この場合、簡単な光路差生成部材の構成で、第2の撮像手段の撮像面に第1の入射領域及び第2の入射領域を形成できる。
また、第2の撮像手段は、複数の画素列を有すると共にローリング読み出しが可能な二次元撮像素子を有し、視野駆動手段による対物レンズの視野位置の移動と同期して各画素列のローリング読み出しを行うことによって第2の画像を取得することが好ましい。この場合、第2の光路に光路差生成部材が配置されていることにより、各画素列からの画像データには、試料の同一部位において対物レンズの焦点位置が変更されたときと等価のコントラスト情報が含まれる。したがって、当該コントラスト情報に基づいて合焦点情報を迅速かつ精度良く算出できる。
また、合焦点算出手段は、第1の入射領域で取得された第2の画像を解析に用いる場合には、二次元撮像素子の各画素列のうち、少なくとも2つの画素列で読み出された画像データのコントラスト値の差分に基づいて、試料の合焦点情報を算出することが好ましい。
また、合焦点算出手段は、第2の入射領域で取得された第2の画像を解析に用いる場合には、算出した合焦点情報に基づいてフォーカスマップを作成することが好ましい。この場合、フォーカスマップを精度良く作成することができる。
また、本発明に係る画像取得装置のフォーカス方法は、試料が載置されるステージと、試料に向けて光を照射する光源と、ステージ上の試料と対峙するように配置された対物レンズ、及び試料の光像を画像取得用の第1の光路及び焦点制御用の第2の光路に分岐する光分岐手段を含む導光光学系と、第1の光路に分岐された第1の光像による第1の画像を取得する第1の撮像手段と、第2の光路に分岐された第2の光像による第2の画像を取得する第2の撮像手段と、第2の画像を解析し、その解析結果に基づいて試料の合焦点情報を算出する合焦点算出手段と、第2の撮像手段の撮像面の面内方向に沿って第2の光像に光路差を生じさせる光路差生成部材と、を備えた画像取得装置のフォーカス方法であって、第2の撮像手段の撮像面に、光路差が生じた第2の光像が入射する第1の入射領域と、光路差が生じない第2の光像が入射する第2の入射領域とが形成されるように、光路差生成部材を第2の光路に配置し、第1の入射領域で取得された第2の画像、及び第2の入射領域で取得された前記第2の画像のいずれか一方を、解析に用いる第2の画像として合焦点算出手段に選択させることを特徴としている。
この画像取得装置のフォーカス方法では、光路差生成部材の配置により、焦点制御用の第2の光路での光の分岐を行わずに第2の光像の光路長差を形成できる。したがって、焦点位置の情報を得るために必要な第2の光路への光量が抑えられ、第1の撮像手段で撮像を行う際の光量を確保できる。また、この画像取得装置のフォーカス方法では、光路差生成部材の配置により、第2の撮像手段の撮像面に、光路差が生じた第2の光像が入射する第1の入射領域と、光路差が生じない第2の光像が入射する第2の入射領域とを形成する。これにより、合焦点算出手段において、第1の入射領域に入射した第2の画像及び第2の入射領域に入射した第2の画像のいずれを解析に用いるかを選択することが可能となり、例えば試料の凹凸の程度等に応じて最適な合焦点情報の算出方式を選択できるので、合焦点情報を精度良く算出できる。
本発明によれば、撮像の際の光量を確保でき、かつ試料の焦点位置を精度良く検出できる。
以下、図面を参照しながら、本発明に係る画像取得装置及び画像取得装置のフォーカス方法の好適な実施形態について詳細に説明する。
図1は、本発明に係る画像取得装置を構成するマクロ画像取得装置の一実施形態を示す図である。また、図2は、本発明に係る画像取得装置を構成するミクロ画像取得装置の一実施形態を示す図である。図1及び図2に示すように、画像取得装置Mは、試料Sのマクロ画像を取得するマクロ画像取得装置M1と、試料Sのミクロ画像を取得するミクロ画像取得装置M2とによって構成されている。画像取得装置Mは、マクロ画像取得装置M1で取得したマクロ画像に対して例えばライン状の複数の分割領域40(図6参照)を設定し、各分割領域40をミクロ画像取得装置M2で高倍率に取得して合成することにより、デジタル画像であるバーチャルスライド画像を生成する装置である。
マクロ画像取得装置M1は、図1に示すように、試料Sが載置されるステージ1を備えている。ステージ1は、例えばステッピングモータ(パルスモータ)或いはピエゾアクチュエータなどのモータやアクチュエータによって水平方向に駆動するXYステージである。画像取得装置Mで観察する試料Sは、例えば細胞などの生体サンプルであり、スライドガラスに密封された状態でステージ1に載置される。このステージ1をXY面内で駆動させることにより、試料Sに対する撮像位置を移動させることができる。
ステージ1は、マクロ画像取得装置M1とミクロ画像取得装置M2との間を往復可能となっており、両装置間で試料Sを搬送する機能を有している。なお、マクロ画像取得においては、試料Sの全体画像を1度の撮像で取得してもよく、試料Sを複数の領域に分割して撮像してもよい。また、ステージ1は、マクロ画像取得装置M1及びミクロ画像取得装置M2の双方にそれぞれ設けておいてもよい。
ステージ1の底面側には、試料Sに向けて光を照射する光源2と、光源2からの光を試料Sに集光する集光レンズ3とが配置されている。光源2は、試料Sに向けて斜めに光を照射するように配置されていてもよい。また、ステージ1の上面側には、試料Sからの光像を導光する導光光学系4と、試料Sの光像を撮像する撮像装置5とが配置されている。導光光学系4は、試料Sからの光像を撮像装置5の撮像面に結像させる結像レンズ6を有している。また、撮像装置5は、例えば2次元画像を取得可能なエリアセンサである。撮像装置5は、導光光学系4を経て撮像面に入射した試料Sの光像の全体画像を取得し、後述のバーチャルスライド画像格納部39に格納する。
ミクロ画像取得装置M2は、図2に示すように、ステージ1の底面側にマクロ画像取得装置M1と同様の光源12及び集光レンズ13を有している。また、ステージ1の上面側には、試料Sからの光像を導光する導光光学系14が配置されている。光源12からの光を試料Sに照射させる光学系には、試料Sに励起光を照射するための励起光照射光学系や試料Sの暗視野画像を取得するための暗視野照明光学系を採用してもよい。
導光光学系4は、試料Sと対峙して配置された対物レンズ15と、対物レンズ15の後段に配置されたビームスプリッタ(光分岐手段)16とを有している。対物レンズ15には、対物レンズ15の光軸方向に沿ったZ方向に対物レンズ15を駆動するステッピングモータ(パルスモータ)或いはピエゾアクチュエータなどのモータやアクチュエータが設けられている。これらの駆動手段によって対物レンズ15のZ方向の位置を変えることにより、試料Sの画像取得における撮像の焦点位置が調整可能になっている。なお、焦点位置の調整は、ステージ1のZ方向の位置を変えることで実施してもよく、対物レンズ15及びステージ1の双方のZ方向の位置を変えることによって実施してもよい。いずれの形態においても、対物レンズ15とステージ1との間隔を調整できる。
ビームスプリッタ16は、試料Sの光像を画像取得用の第1の光路L1と焦点制御用の第2の光路L2とに分岐する部分である。このビームスプリッタ16は、光源12からの光軸に対しておよそ45度の角度で配置されており、図2において、ビームスプリッタ16を通過する光路が第1の光路L1となっており、ビームスプリッタ16で反射する光路が第2の光路となっている。
第1の光路L1には、ビームスプリッタ16を通過した試料Sの光像(第1の光像)を結像させる結像レンズ17と、結像レンズ17の結像位置に撮像面を配置した第1の撮像装置(第1の撮像手段)18とが配置されている。第1の撮像装置18は、試料Sの第1の光像による1次元画像(第1の画像)を取得可能な装置であり、例えばTDI(Time Delay Integration)駆動が可能な2次元CCDイメージセンサやラインセンサなどのラインスキャンイメージセンサが用いられる。また、ステージ1を一定の速度で制御しながら、試料Sの画像を順次取得する方式であれば、第1の撮像装置18は、CMOSセンサやCCDセンサなどの2次元画像を取得可能な装置であってもよい。第1の撮像装置18で撮像された第1の画像は、レーンバッファなどの一時保存メモリに順次保存された後、圧縮されて後述の画像生成部38に出力される。
一方、第2の光路L2には、ビームスプリッタ16で反射した試料の光像(第2の光像)を縮小する視野調整レンズ19と、第2の撮像装置(第2の撮像手段)20とが配置されている。また、第2の撮像装置20の前段には、第2の光像に光路差を生じさせる光路差生成部材21が配置されている。視野調整レンズ19は、第2の光像が第1の光像と同程度の大きさで第2の撮像装置20に結像するように構成されていることが好ましい。
第2の撮像装置20は、試料Sの第2の光像による2次元画像(第2の画像)を取得可能な装置である。第2の撮像装置20は、複数の画素列を有すると共にローリング読み出しが可能な二次元撮像素子を有している。このような二次元撮像素子としては、例えばCMOSイメージセンサが挙げられる。第2の撮像装置20の撮像面20aは、第2の光路L2に直交するXZ面と略一致するように配置されている。第2の撮像装置20の撮像面20aには、図3(a)に示すように、読み出し方向に垂直な方向に複数の画素が配列されてなる画素列20bが読み出し方向に複数配列されている。
第2の撮像装置20では、図3(b)に示すように、駆動クロックの駆動周期に基づいて、リセット信号、読み出し開始信号、及び読み出し終了信号が出力されることで、画素列20b毎に露光及び読み出しが制御される。一の画素列20bの露光期間は、リセット信号に伴う電荷の排出から読み出し開始信号に伴う電荷の読み出しまでの期間である。また、一の画素列20bの読み出し期間は、読み出し開始信号に伴う電荷の読み出し開始から読み出し終了信号に伴う電荷の読み出し終了までの期間である。なお、次の画素列に対する読み出し開始信号を読み出し終了信号として用いることもできる。
ローリング読み出しでは、画素列20b毎に出力する読み出し開始信号が所定の時間差で順次出力される。ローリング読み出しにおける読み出し速度は、各画素列20bを読み出すための読み出し開始信号の時間間隔によって制御される。読み出し開始信号の時間間隔を短くすると読み出し速度は早くなり、読み出し開始信号の時間間隔を長くすると読み出し速度は遅くなる。隣接する画素列20b,20b間での読み出し間隔の調整は、例えば駆動クロックの周波数の調整、読み出し期間中の遅延期間の設定、読み出し開始信号を規定するクロック数の変更といった手法によって実施できる。
光路差生成部材21は、撮像面20aの面内方向に沿って第2の光像に光路差を生じさせるガラス部材である。図4(a)に示す例では、光路差生成部材21は、断面直角三角形のプリズム状をなす第1の部材22と、平板状の第2の部材23とを組み合わせて構成されている。第1の部材22は、撮像面20aの面内方向、すなわち、試料Sの走査に伴う撮像面20a上での第2の光像の移動方向(Z方向)に沿って連続的に厚さが増加するように、撮像面20aの一端側領域(上半分領域)に対応して配置されている。また、第2の部材23、厚さが一定となっており、撮像面20aの他端側領域(下半分領域)に対応して配置されている。
光路差生成部材21及び第2の撮像装置20は、試料Sにおける第1の撮像装置18での撮像予定位置(これから撮像される位置)からの光が撮像面20aの一端側領域(上半分領域)に入射するように配置されている。また、光路差生成部材21及び第2の撮像装置20は、試料Sにおける第1の撮像装置18での撮像位置からの光が撮像面20aの他端側領域(下半分領域)に入射するように配置されている。
このような光路差生成部材21の配置により、第2の撮像装置20の撮像面20aには、図4(b)に示すように、光路差が生じた第2の光像が入射する第1の入射領域24Aと、光路差が生じない第2の光像が入射する第2の入射領域24Bとが形成される。第1の入射領域24Aでは、撮像面20aに入射する第2の光像は、上端側から中央側に向かうほど光路が長くなる。第2の入射領域24Bでは、撮像面20aに入射する第2の光像は、いずれの位置においても光路が同一となる。なお、第1の部材22及び第2の部材23は、第2の撮像装置20と対向する面が第2の撮像装置の撮像面20aと平行となるように配置されることが好ましい。これにより、第2の撮像装置20と対向する面による光の屈折を低減でき、第2の撮像装置20で受光する光量を確保することができる。
光路差生成部材21において、第2の部材23の厚みは、フォーカス中心に対応する画素列20bの位置での第1の部材22の厚みと等しくなっていることが好適である。これにより、第2の入射領域24Bに入射する第2の光像の光路長が、第1の撮像装置18に入射する第1の光像の光路長と等しくなるので、合焦点算出部37での合焦点情報の算出処理を簡単化できる。
図5は、画像取得装置の機能的な構成要素を示すブロック図である。同図に示すように、画像取得装置Mは、CPU、メモリ、通信インタフェイス、ハードディスクといった格納部、キーボードなどの操作部31、モニタ32等を備えたコンピュータシステムを備えている。また、画像取得装置Mは、制御部33の機能的な構成要素として、ステージ駆動部34と、対物レンズ駆動部35と、動作制御部36と、合焦点算出部37と、画像生成部38と、バーチャルスライド画像格納部39と、画像評価部41と、とを備えている。
ステージ駆動部34は、試料Sに対する対物レンズ15の視野位置を移動させる視野駆動手段として機能する部分である。ステージ駆動部34は、例えばステッピングモータ(パルスモータ)或いはピエゾアクチュエータといったモータやアクチュエータによって構成されている。ステージ駆動部34は、動作制御部36による制御に基づいて、ステージ2を対物レンズ15の光軸の直交面に対して所定の角度(例えば90度)を有する面についてXY方向に移動させる。これにより、ステージ2に固定された試料Sが対物レンズ15の光軸に対して移動し、試料Sに対する対物レンズ15の視野位置が移動する。
より具体的には、ステージ駆動部34は、動作制御部36による制御に基づき、試料Sが載置されたステージ1を所定の速度で走査させる。このステージ1の走査により、第1の撮像装置18及び第2の撮像装置20での試料Sの撮像視野が相対的に順次移動する。試料Sの全体を撮像するために、画像取得装置Mでは、動作制御部36が複数の分割領域40から構成される撮像ラインLn(nは自然数)に沿ったスキャン方向に試料Sに対する対物レンズ15の視野位置を移動させるように制御する。隣接する撮像ラインLn間での試料Sに対する対物レンズ15の視野位置の移動は、例えば図6に示すように、隣り合う撮像ラインLn間でスキャン方向が同方向となる一方向スキャンが採用される。
また、画像取得の間のステージ1の走査速度は一定であるが、実際には走査の開始直後にステージ1の振動等の影響によって走査速度が不安定な期間が存在する。このため、分割領域40よりも長い走査幅を設定し、ステージ1が加速する加速期間、ステージ1の走査速度が安定化するまでの安定化期間、及びステージ1が減速する減速期間のそれぞれが、分割領域40よりも外側を走査しているときに生じるようにすることが好ましい。これにより、ステージ1の走査速度が一定となる一定速度期間に合わせて画像取得を行うことが可能となる。なお、安定化期間中に撮像を開始し、画像取得後に安定化期間中に取得したデータ部分を削除するようにしてもよい。このような手法は、データの空読みが必要な撮像装置を用いる場合に好適である。
対物レンズ駆動部35は、ステージ駆動部34と同様に、例えばステッピングモータ(パルスモータ)或いはピエゾアクチュエータといったモータやアクチュエータによって構成されている。対物レンズ駆動部35は、動作制御部36による制御に基づいて、対物レンズ15の光軸に沿ったZ方向に対物レンズ15を移動させる。これにより、試料Sに対する対物レンズ15の焦点位置が移動する。
なお、対物レンズ駆動部35は、合焦点算出部37による焦点位置の解析中は対物レンズ15の駆動は行わず、また、次の焦点位置の解析が開始されるまで、対物レンズ15をZ方向に沿って一方向にのみ駆動させることが好ましい。この場合、試料Sの走査中は、焦点位置の解析期間と、解析結果に基づく対物レンズ駆動期間とが交互に生じることとなる。焦点位置の解析中に対物レンズ15と試料Sとの位置関係を変化させないことで、焦点位置の解析精度を担保できる。
動作制御部36は、第2の撮像装置20及びステージ駆動部34の動作を制御する部分である。より具体的には、動作制御部36は、試料Sにおける所定部位の光像が第2の撮像装置20の各画素列20bで露光されるように、ステージ駆動部34による対物レンズ15の視野V内での試料Sの所定部位の移動と第2の撮像装置20のローリング読み出しとを同期させる。
動作制御部36は、図7(a)に示すように、対物レンズ15の視野Vが一の分割領域40を移動する際、対物レンズ15の視野V内での試料Sの移動が一定速度となるようにステージ駆動部34を制御する。また、動作制御部36は、図7(b)に示すように、第2の撮像装置20の撮像面20aにおける試料Sの光像の結像Sbの移動方向と、撮像面20aの各画素列20bの読み出し方向とが一致するようにステージ駆動部34及び第2の撮像装置20を制御する。なお、ローリング読出しの読出し速度を可変に設定できる撮像素子を用いる場合、動作制御部36は、対物レンズ15の視野V内での試料Sの移動速度に基づいて、ローリング読出しの読出し速度を変更してもよい。
また、各画素列20bにおける露光時間は、少なくとも試料Sの所定部位Saのスキャン方向における幅及び対物レンズ15の視野V内での試料Sの所定部位Saの移動速度に基づいて設定される。より好ましくは、対物レンズ15及び視野調整レンズ19の倍率も考慮する。これにより、各画素列20bにより、試料Sの所定部位Saの光像を露光することができる。
時間T1において、図7(b)に示すように、第2の撮像装置20の撮像面20aにおける試料Sの所定部位Saからの光の結像Sbが撮像領域の第1列目の画素列20bに到達すると、この第1列目の画素列20bの露光が開始される。時間T2に移ると、図8(a)に示すように、対物レンズ15の視野V内での試料Sの所定部位Saの位置が移動する。このとき、図8(b)に示すように、試料Sの所定部位Saからの光の結像Sbが撮像領域の第2列目の画素列20bに到達し、第2列目の画素列20bの露光が開始される。また、試料Sの所定部位Saからの光の結像Sbが第1列目の画素列20bを通過するタイミングで、第1列目の画素列20bの読み出しが開始される。
さらに、時間T3に移ると、図9(a)に示すように、対物レンズ15の視野V内での試料Sの所定部位Saの位置がスキャン方向に更に移動する。このとき、図9(b)に示すように、試料Sの所定部位Saからの光の結像Sbが撮像領域の第3列目の画素列20bに到達し、第3列目の画素列20bの露光が開始される。また、試料Sの所定部位Saからの光の結像Sbが第2列目の画素列20bを通過するタイミングで、第2列目の画素列20bの読み出しが開始される。さらに、第2列目の画素列20bの読み出しと同時に第1列目の画素列20bの読み出しが終了する。
以下、所定の画素列数に到達するまで、同様の手順で対物レンズ15の視野V内での試料Sの所定部位Saの移動と、画素列20bでのローリング読み出しとが実施される。各画素列20bから読み出される画像データは、いずれも試料Sの同一部位についての画像データとなる。また、第2の光路L2に光路差生成部材21が配置されていることにより、各画素列20bから読み出される画像データは、それぞれ試料Sの同一部位について対物レンズ15の焦点位置が変更されたときと等価のコントラスト情報が含まれる。各画素列20bで読み出された画像データは、合焦点算出部37に順次出力される。
対物レンズ駆動部35が対物レンズ15を含む導光光学系14をXY方向に移動させることが可能な場合、動作制御部36は、試料Sにおける所定部位の光像が第2の撮像装置20の各画素列20bで露光されるように、対物レンズ駆動部35による対物レンズ15の視野V内での試料Sの所定部位の移動と第2の撮像装置20のローリング読み出しとを同期させてもよい。この場合、対物レンズ駆動部35は、試料Sに対する対物レンズ15の視野位置を移動させる視野駆動手段として機能する。
合焦点算出部37は、第2の撮像装置20で取得された第2の画像を解析し、その解析結果に基づいて試料Sの合焦点情報を算出する部分である。合焦点算出部37は、画像評価部41からの指示情報に基づき、撮像面20aにおける第1の入射領域24Aに属する画素列20bから読み出された画像データ、及び第2の入射領域24Bに属する画素列20bから読み出された画像データのいずれか一方を、解析に用いる第2の画像として選択する。
第1の入射領域24Aに属する画素列20bから読み出された画像データを解析に用いる場合、画像取得装置Mでは、次に撮像される分割領域40における試料Sの合焦点情報の取得を第1の撮像装置18による撮像の直前に行うダイナミックプレフォーカスを実行する。この場合、合焦点算出部37では、合焦点情報の算出方式として例えば前ピン・後ピン方式が用いられる。
前ピン・後ピン方式を用いる場合、合焦点算出部37は、第2の撮像装置20の各画素列20bのうち、少なくとも2つの画素列20bの画素列20bを選択する。上述したように、第2の光路L2には、試料Sの走査に伴う撮像面20a上での第2の光像の移動方向(Z方向)に沿って連続的に厚さが増加するように光路差生成部材21が配置されており、第2の撮像装置20における撮像面20aの第1の入射領域24Aには、光路差が生じた第2の光像が入射する。したがって、第1の入射領域24Aでは、選択する2つの画素列20bの位置に基づいて、第1の撮像装置18に入射する第1の光像よりも前に焦点が合った光像(前ピン)と、後に焦点が合った光像(後ピン)とを取得できる。合焦点算出部37は。選択された画素列20bで読み出された画像データのコントラスト値同士の差分を求める。
図10に示すように、試料Sの表面に対して対物レンズ15の焦点位置が合っている場合、前ピンの画像コントラスト値と後ピンの画像コントラスト値とが略一致し、これらの差分値はほぼゼロとなる。一方、図11に示すように、試料Sの表面までの距離が対物レンズ15の焦点距離よりも長い場合、前ピンの画像コントラスト値よりも後ピンの画像コントラスト値の方が大きくなり、これらの差分値はプラスとなる。この場合、合焦点算出部37は、対物レンズ駆動部35に対し、対物レンズ15を試料Sに近づける向きに駆動する旨の指示情報を出力する。また、図12に示すように、試料Sの表面までの距離が対物レンズ15の焦点距離よりも短い場合、前ピンの画像コントラスト値よりも後ピンの画像コントラスト値の方が小さくなり、これらの差分値はマイナスとなる。この場合、合焦点算出部37は、対物レンズ駆動部35に対し、対物レンズ15を試料Sに遠ざける向きに駆動する旨の指示情報を出力する。
前ピン・後ピン方式を用いる場合、合焦点算出部37では、フォーカス中心に対応する画素列20bを挟んで対称となるように、前ピンに相当する画素列20bと後ピンに相当する画素列20bとを選択する。フォーカス中心に対応する画素列20bとは、第1の撮像装置18で撮像される試料Sの光像の光路長と一致する光路長で第2の光路L2及び光路差生成部材21を通った試料Sの光像が入射する画素列20bを指す。合焦点算出部37は、例えばフォーカス中心に対応する画素列20bが第k列目の画素列20bである場合、第(k−m)列目の画素列20bと第(k+m)列目の画素列20bとをそれぞれ選択する。試料Sの凹凸の度合いに応じてmを設定することで、合焦点情報の精度を向上できる。
第2の入射領域24Bに属する画素列20bから読み出された画像データを解析に用いる場合、画像取得装置Mでは、試料Sの撮像を行う前に、試料Sの複数個所についての合焦点情報を予め取得し、フォーカスマップを作成する。この場合、画像取得装置Mでは、マクロ画像取得装置M1によって取得された試料Sのマクロ画像に基づき、試料Sの全体が含まれるように画像取得領域Pを設定する。画像取得領域の設定後、例えば図13に示すように、等間隔で離間する複数の焦点情報取得位置Qを格子状に画像取得領域P内に設定する。画像取得領域Pの間隔は、試料Sの寸法等に応じて適宜設定される。画像取得領域Pの間隔は、等間隔でなくともよく、ランダムに設定してもよい。
フォーカスマップの作成にあたって、合焦点算出部37では、合焦点情報の算出方式として例えばコントラスト分布方式が用いられる。この場合、例えば図14に示すように、焦点情報取得位置Qの近傍に対物レンズ15の視野Vを設定する。次に、ステージ駆動部34によってステージ1を駆動させ、対物レンズ15の視野Vを焦点情報取得位置Qに向かって一定速度で移動させる。
コントラスト分布方式を用いる場合、合焦点算出部37は、第2の撮像装置20の複数の画素列20bからの画像データのコントラスト情報を取得する。図15に示す例では、第2の撮像装置20における第1列目の画素列20bから第n列目の画素列20bまでの画像データのコントラスト値が示されており、第i列目の画素列20bにおける画像データのコントラスト値がピーク値となっている。この場合、合焦点算出部37は、第i列目の画素列20bで試料Sの所定部位Saの露光を行ったときの対物レンズ15の焦点位置が合焦点位置であるとして合焦点情報を生成する。なお、コントラスト値は、各画素列20bに含まれる画素のうちの特定の画素におけるコントラスト値を用いてもよく、各画素列20bに含まれる画素の全体又は一部のコントラスト値の平均値を用いてもよい。
フォーカスマップの作成にあたって、例えば図16に示すように、焦点情報取得位置Qを含むように対物レンズ15の視野Vを設定してもよい。この場合、ステージ駆動部34によるステージ1の駆動は行わず、対物レンズ駆動部35によって対物レンズ15の焦点位置を焦点深度分だけ移動させながら、第2の撮像装置20による第2の画像の取得を行う。この場合、合焦点算出部37は、取得した各画像データのうち、最もコントラスト値が大きい画像データを取得したときの対物レンズ15の焦点位置が合焦点位置であるとして合焦点情報を生成する。
画像生成部38は、取得した画像を合成してバーチャルスライド画像を生成する部分である。画像生成部38は、第1の撮像装置18から出力される第1の画像、すなわち、各分割領域40の画像を順次受け取り、これらを合成して試料Sの全体の画像を合成する。そして、この合成画像に基づいてこれよりも低い解像度の画像を作成し、高解像度の画像と低解像度の画像とを関連付けてバーチャルスライド画像格納部39に格納する。バーチャルスライド画像格納部39では、マクロ画像取得装置M1で取得した画像も更に関連付けてもよい。バーチャルスライド画像は、1枚の画像として格納してもよく、複数に分割された画像として格納してもよい。
画像評価部41は、第1の撮像装置18で取得された第1の画像を評価する部分である。画像評価部41は、画像取得装置Mが第1の入射領域24Aで取得された第2の画像を用いて合焦点情報の算出を行っている場合に、当該合焦点情報に基づいて第1の撮像装置18で取得された第1の画像のコントラスト値を取得する。画像評価部41は、第1の画像のコントラスト値が所定の閾値以上である場合には、第1の入射領域24Aに属する画素列20bから読み出された画像データを解析に用いるように指示する指示情報を合焦点算出部37に出力する。また、画像評価部41は、第1の画像のコントラスト値が所定の閾値未満である場合には、第2の入射領域24Bに属する画素列20bから読み出された画像データを解析に用いるように指示する指示情報を合焦点算出部37に出力する。
続いて、上述した画像取得装置Mにおけるフォーカシング動作について説明する。
画像取得装置Mでは、通常、画像取得装置Mが第1の入射領域24Aで取得された第2の画像を用いて合焦点情報の算出が行われ、次に撮像される分割領域40における試料Sの合焦点情報の取得を第1の撮像装置18による撮像の直前に行うダイナミックプレフォーカスが実行される。この場合、図17に示すように、ステージ駆動部34によるステージ1の移動が開始すると、一の撮像ラインLnに沿って対物レンズ15の視野Vが移動する(ステップS11)。また、試料Sにおける所定部位Saからの光像の結像Sbが第2の撮像装置20の各画素列20bで露光されるように、対物レンズ15の視野V内での試料Sの所定部位Saの移動と第2の撮像装置20のローリング読み出しとが同期する(ステップS12)。
そして、前ピン・後ピンに対応する画素列20bで取得した画像データのコントラスト値に基づいて分割領域40における合焦点情報を算出し(ステップS13)、算出した合焦点情報に基づいて対物レンズ15の焦点位置が調整され、分割領域40の撮像が行われる(ステップS14)。その後、所望の撮像ラインLnについて合焦点情報の算出の取得が完了したか否かが判断され(ステップS15)、合焦点情報の算出の取得が完了していない場合には、次の撮像ラインLnに対物レンズ15の視野Vが移動し(ステップS16)、ステップS11〜S15の処理が繰り返し実行される。
また、画像取得装置Mでは、画像評価部41によって、第1の撮像装置18で撮像された第1の画像のコントラスト値が所定の閾値未満であると評価された場合には、第2の入射領域24Bに属する画素列20bから読み出された画像データを解析に用いるように処理の切り替えが行われ、試料Sの撮像を行う前に試料Sのフォーカスマップが作成される。この場合、図18に示すように、ステージ駆動部34によるステージ1の移動が開始すると、一の撮像ラインLnに沿って対物レンズ15の視野Vが移動する(ステップS21)。また、試料Sにおける所定部位Saからの光像の結像Sbが第2の撮像装置20の各画素列20bで露光されるように、対物レンズ15の視野V内での試料Sの所定部位Saの移動と第2の撮像装置20のローリング読み出しとが同期する(ステップS22)。そして、各画素列20bで取得した画像データのコントラスト値のピークに基づいて焦点情報取得位置Qにおける合焦点情報が算出される(ステップS23)。
合焦点情報の算出がなされた後、所望の撮像ラインLnについて合焦点情報の算出の取得が完了したか否かが判断され(ステップS24)、合焦点情報の算出の取得が完了していない場合には、次の撮像ラインLnに対物レンズ15の視野Vが移動し(ステップS25)、ステップS21〜S24の処理が繰り返し実行される。合焦点情報の算出の取得が完了した場合には、各焦点情報取得位置Qにおける合焦点情報に基づき、フォーカスマップが作成される(ステップS26)。
以上説明したように、画像取得装置Mでは、光路差生成部材21の配置により、焦点制御用の第2の光路L2での光の分岐を行わずに第2の光像の光路長差を形成できる。したがって、焦点位置の情報を得るために必要な第2の光路L2への光量が抑えられ、第1の撮像装置18で撮像を行う際の光量を確保できる。また、画像取得装置Mでは、光路差生成部材21の配置により、第2の撮像装置20の撮像面20aに、光路差が生じた第2の光像が入射する第1の入射領域24Aと、光路差が生じない第2の光像が入射する第2の入射領域24Bとが形成される。これにより、合焦点算出部37において、第1の入射領域24Aに入射した第2の画像及び第2の入射領域24Bに入射した第2の画像のいずれを解析に用いるかを選択することが可能となり、例えば試料Sの凹凸の程度等に応じて最適な合焦点情報の算出方式を選択できるので、合焦点情報を精度良く算出できる。
画像取得装置Mは、第1の撮像装置18で取得された第1の画像を評価する画像評価部41を更に備えている。合焦点算出部37では、画像評価部41による第1の画像のコントラスト値が所定の閾値以上である場合に、第1の入射領域24Aで取得された第2の画像の解析によってダイナミックプレフォーカスを実行し、画像評価部41による第1の画像のコントラスト値が所定の閾値未満である場合に、第1の入射領域24Bで取得された第2の画像の解析によってフォーカスマップの作成を行う。第1の画像の評価結果に基づいて、第1の入射領域24Aで取得された第2の画像、及び第2の入射領域24Bで取得された第2の画像のいずれを解析に用いるかを選択することで、合焦点情報の精度を担保できる。
また、画像取得装置Mでは、試料Sに対する対物レンズ15の視野位置を移動させるステージ駆動部34を更に備え、光路差生成部材21は、ステージ駆動部34による対物レンズ15の視野位置の移動に伴う第2の撮像装置20の撮像面20a上での第2の光像の移動方向に沿って連続的に厚さが変化する第1の部材22と、厚さが一定の第2の部材23とを有し、第1の部材22が撮像面20aに第1の入射領域24Aを形成し、第2の部材23が撮像面20aに第2の入射領域24Bを形成している。これにより、簡単な光路差生成部材21の構成で、第2の撮像装置20の撮像面20aに第1の入射領域24A及び第2の入射領域24Bを形成できる。
また、画像取得装置Mでは、第2の撮像装置20が複数の画素列20bを有すると共にローリング読み出しが可能な二次元撮像素子を有し、ステージ駆動部34による対物レンズ15の視野位置の移動と同期して各画素列20bのローリング読み出しを行うことによって第2の画像を取得する。第2の光路L2に光路差生成部材21が配置されていることにより、各画素列20bからの画像データには、試料Sの同一部位において対物レンズ15の焦点位置が変更されたときと等価のコントラスト情報が含まれる。したがって、当該コントラスト情報に基づいて合焦点情報を迅速かつ精度良く算出できる。フォーカスマップを作成する場合においても、対物レンズ15の焦点位置を移動させる必要がないので、焦点情報取得位置Qでの合焦点情報の迅速な算出が可能となる。
本発明は、上記実施形態に限られるものではない。例えば上記実施形態では、第2の光像の移動方向に沿って連続的に厚さが変化する第1の部材22と、厚さが一定の第2の部材23とを組み合わせて光路差生成部材21を構成しているが、光路差生成部材は、第2の撮像装置20の撮像面20aに、光路差が生じた第2の光像が入射する第1の入射領域24Aと、光路差が生じない第2の光像が入射する第2の入射領域24Bとが形成されるのであれば、他の態様であってもよい。例えば図19(a)に示すように、第1の部材22のみからなる光路差生成部材51を用いてもよい。この場合においても、第2の撮像装置20の撮像面20aには、図19(b)に示すように、第1の部材22に対応して第1の入射領域24Aが形成され、光路差生成部材51の配置されない部分に対応して第2の入射領域24Bが形成される。
また、上記実施形態では、試料Sの走査に伴う撮像面20a上での第2の光像の移動方向(Z方向)に沿って、撮像面20aの上半分領域に第1の入射領域24Aが形成され、下半分領域に第2の入射領域24Bが形成されているが、撮像面20aにおける第1の入射領域24A及び第2の入射領域24Bの形成位置はこれに限られない。例えば図20(a)に示す光路差生成部材61のように、断面直角三角形のプリズム状をなす第1の部材62と、平板状の第2の部材63とを画素列20bの長手方向に組み合わせてもよい。この場合、図20(b)に示すように、第1の入射領域24Aが撮像面20aの左半分領域に形成され、第2の入射領域24Bが撮像面20aの右半分領域に形成される。このような構成においても、上記実施形態と同様の作用効果が得られる。
1…ステージ、12…光源、14…導光光学系、15…対物レンズ、16…ビームスプリッタ(光分岐手段)、18…第1の撮像装置(第1の撮像手段)、20…第2の撮像装置(第2の撮像手段)、20a…撮像面、20b…画素列、21,51,61…光路差生成部材、22,62…第1の部材(第1の部分)、23,63…第2の部材(第2の部分)、24A…第1の入射領域、24B…第2の入射領域、34…ステージ駆動部(視野駆動手段)、36…動作制御部(動作制御手段)、37…合焦点算出部(合焦点算出手段)、40…画像評価部(画像評価手段)、L1…第1の光路、L2…第2の光路、M…画像取得装置、M1…マクロ画像取得装置、M2…ミクロ画像取得装置、S…試料、Sa…所定部位、V…対物レンズの視野。
Claims (8)
- 試料が載置されるステージと、
前記試料に向けて光を照射する光源と、
前記ステージ上の前記試料と対峙するように配置された対物レンズ、及び前記試料の光像を画像取得用の第1の光路及び焦点制御用の第2の光路に分岐する光分岐手段を含む導光光学系と、
前記第1の光路に分岐された第1の光像による第1の画像を取得する第1の撮像手段と、
前記第2の光路に分岐された第2の光像による第2の画像を取得する第2の撮像手段と、
前記第2の画像を解析し、その解析結果に基づいて前記試料の合焦点情報を算出する合焦点算出手段と、
前記第2の撮像手段の撮像面の面内方向に沿って前記第2の光像に光路差を生じさせる光路差生成部材と、を備え、
前記光路差生成部材は、前記第2の撮像手段の撮像面に、光路差が生じた前記第2の光像が入射する第1の入射領域と、光路差が生じない前記第2の光像が入射する第2の入射領域とが形成されるように前記第2の光路に配置され、
前記合焦点算出手段は、前記第1の入射領域で取得された前記第2の画像、及び前記第2の入射領域で取得された前記第2の画像のいずれか一方を、解析に用いる前記第2の画像として選択することを特徴とする画像取得装置。 - 前記光路差生成部材及び前記第2の撮像手段は、前記試料における前記第1の撮像手段での撮像位置からの光が前記第2の入射領域に入射するように前記第2の光路に配置されていることを特徴とする請求項1記載の画像取得装置。
- 前記第1の撮像手段で取得された前記第1の画像を評価する画像評価手段を更に備え、
前記合焦点算出手段は、前記画像評価手段による前記第1の画像の評価結果に基づいて、前記第1の入射領域で取得された前記第2の画像、及び前記第2の入射領域で取得された前記第2の画像のいずれか一方を選択することを特徴とする請求項1又は2記載の画像取得装置。 - 前記試料に対する前記対物レンズの視野位置を移動させる視野駆動手段を更に備え、
前記光路差生成部材は、前記視野駆動手段による前記対物レンズの視野位置の移動に伴う前記第2の撮像手段の撮像面上での前記第2の光像の移動方向に沿って連続的に厚さが変化する第1の部分と、厚さが一定の第2の部分とを有し、
前記第1の部分が前記撮像面に前記第1の入射領域を形成し、前記第2の部分が前記撮像面に前記第2の入射領域を形成することを特徴とする請求項1〜3のいずれか一項記載の画像取得装置。 - 前記第2の撮像手段は、複数の画素列を有すると共にローリング読み出しが可能な二次元撮像素子を有し、前記視野駆動手段による前記対物レンズの視野位置の移動と同期して各画素列のローリング読み出しを行うことによって前記第2の画像を取得する請求項4記載の画像取得装置。
- 前記合焦点算出手段は、前記第1の入射領域で取得された前記第2の画像を解析に用いる場合には、前記二次元撮像素子の各画素列のうち、少なくとも2つの画素列で読み出された画像データのコントラスト値の差分に基づいて、前記試料の合焦点情報を算出することを特徴とする請求項5記載の画像取得装置。
- 前記合焦点算出手段は、前記第2の入射領域で取得された前記第2の画像を解析に用いる場合には、算出した合焦点情報に基づいてフォーカスマップを作成することを特徴とする請求項5記載の画像取得装置。
- 試料が載置されるステージと、
前記試料に向けて光を照射する光源と、
前記ステージ上の前記試料と対峙するように配置された対物レンズ、及び前記試料の光像を画像取得用の第1の光路及び焦点制御用の第2の光路に分岐する光分岐手段を含む導光光学系と、
前記第1の光路に分岐された第1の光像による第1の画像を取得する第1の撮像手段と、
前記第2の光路に分岐された第2の光像による第2の画像を取得する第2の撮像手段と、
前記第2の画像を解析し、その解析結果に基づいて前記試料の合焦点情報を算出する合焦点算出手段と、
前記第2の撮像手段の撮像面の面内方向に沿って前記第2の光像に光路差を生じさせる光路差生成部材と、を備えた画像取得装置のフォーカス方法であって、
前記第2の撮像手段の撮像面に、光路差が生じた前記第2の光像が入射する第1の入射領域と、光路差が生じない前記第2の光像が入射する第2の入射領域とが形成されるように、前記光路差生成部材を前記第2の光路に配置し、
前記第1の入射領域で取得された前記第2の画像、及び前記第2の入射領域で取得された前記第2の画像のいずれか一方を、解析に用いる前記第2の画像として前記合焦点算出手段に選択させることを特徴とする画像取得装置のフォーカス方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013122960A JP6010506B2 (ja) | 2013-06-11 | 2013-06-11 | 画像取得装置及び画像取得装置のフォーカス方法 |
PCT/JP2014/055988 WO2014174920A1 (ja) | 2013-04-26 | 2014-03-07 | 画像取得装置及び画像取得装置のフォーカス方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013122960A JP6010506B2 (ja) | 2013-06-11 | 2013-06-11 | 画像取得装置及び画像取得装置のフォーカス方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014240888A JP2014240888A (ja) | 2014-12-25 |
JP6010506B2 true JP6010506B2 (ja) | 2016-10-19 |
Family
ID=52140176
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013122960A Active JP6010506B2 (ja) | 2013-04-26 | 2013-06-11 | 画像取得装置及び画像取得装置のフォーカス方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6010506B2 (ja) |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7232980B2 (en) * | 2004-05-24 | 2007-06-19 | Hamamatsu Photonics K.K. | Microscope system |
US7335898B2 (en) * | 2004-07-23 | 2008-02-26 | Ge Healthcare Niagara Inc. | Method and apparatus for fluorescent confocal microscopy |
WO2012002893A1 (en) * | 2010-06-30 | 2012-01-05 | Ge Healthcare Bio-Sciences Corp | A system for synchronization in a line scanning imaging microscope |
JP2012073285A (ja) * | 2010-09-27 | 2012-04-12 | Olympus Corp | 撮像方法および顕微鏡装置 |
JP5673002B2 (ja) * | 2010-11-15 | 2015-02-18 | ソニー株式会社 | 焦点位置情報検出装置、顕微鏡装置及び焦点位置情報検出方法 |
JP5751986B2 (ja) * | 2010-12-08 | 2015-07-22 | キヤノン株式会社 | 画像生成装置 |
-
2013
- 2013-06-11 JP JP2013122960A patent/JP6010506B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2014240888A (ja) | 2014-12-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6266601B2 (ja) | 画像取得装置、試料のフォーカスマップを作成する方法及びシステム | |
JP5941395B2 (ja) | 画像取得装置及び画像取得装置のフォーカス方法 | |
WO2014174919A1 (ja) | 画像取得装置及び画像取得装置のフォーカス方法 | |
JP6010505B2 (ja) | 画像取得装置及び画像取得装置のフォーカス方法 | |
US20200033564A1 (en) | Image capturing apparatus and focusing method thereof | |
JP6433888B2 (ja) | 画像取得装置、試料の合焦点情報を取得する方法及びシステム | |
JP2013127578A (ja) | 画像取得装置及び画像取得装置のフォーカス方法 | |
JP5848596B2 (ja) | 画像取得装置及び画像取得装置のフォーカス方法 | |
JP5301642B2 (ja) | 画像取得装置及び画像取得装置のフォーカス方法 | |
JP5296861B2 (ja) | 画像取得装置及び画像取得装置のフォーカス方法 | |
JP6076205B2 (ja) | 画像取得装置及び画像取得装置のフォーカス方法 | |
WO2014174920A1 (ja) | 画像取得装置及び画像取得装置のフォーカス方法 | |
US9860437B2 (en) | Image capturing apparatus and focusing method thereof | |
JP6010506B2 (ja) | 画像取得装置及び画像取得装置のフォーカス方法 | |
US9971140B2 (en) | Image capturing apparatus and focusing method thereof | |
JP6023012B2 (ja) | 画像取得装置及び画像取得装置のフォーカス方法 | |
JP5986041B2 (ja) | 画像取得装置及び画像取得装置のフォーカス方法 | |
JP6240056B2 (ja) | 画像取得装置及び撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160530 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160913 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160916 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6010506 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |