JP2012150335A - 共焦点顕微鏡システム、画像処理方法および画像処理プログラム - Google Patents
共焦点顕微鏡システム、画像処理方法および画像処理プログラム Download PDFInfo
- Publication number
- JP2012150335A JP2012150335A JP2011009675A JP2011009675A JP2012150335A JP 2012150335 A JP2012150335 A JP 2012150335A JP 2011009675 A JP2011009675 A JP 2011009675A JP 2011009675 A JP2011009675 A JP 2011009675A JP 2012150335 A JP2012150335 A JP 2012150335A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- image
- image data
- confocal
- pixel data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Microscoopes, Condenser (AREA)
Abstract
【課題】使用者が広い範囲を観察範囲として指定した場合にも無駄な時間を費やさずに観察対象物の表面の画像を表示可能な共焦点顕微鏡システム、画像処理方法および画像処理プログラムを提供する。
【解決手段】使用者により指示された取得範囲内の画素データの総画素数が作業用メモリ230の表示処理可能画素数を超える場合には、単位領域の複数の画素データの取得率が調整される。受光素子30の出力信号に基づいて単位領域の複数の画素データが順次取得される。複数の画素データに基づいて共焦点画像データが生成され、共焦点画像データに基づいて表面画像データが生成される。設定された複数の単位領域について生成された表面画像データが連結される。連結された表面画像データに基づいて観察対象物Sの表面の画像が作業用メモリ230を用いて表示部400に表示される。
【選択図】図1
【解決手段】使用者により指示された取得範囲内の画素データの総画素数が作業用メモリ230の表示処理可能画素数を超える場合には、単位領域の複数の画素データの取得率が調整される。受光素子30の出力信号に基づいて単位領域の複数の画素データが順次取得される。複数の画素データに基づいて共焦点画像データが生成され、共焦点画像データに基づいて表面画像データが生成される。設定された複数の単位領域について生成された表面画像データが連結される。連結された表面画像データに基づいて観察対象物Sの表面の画像が作業用メモリ230を用いて表示部400に表示される。
【選択図】図1
Description
本発明は、共焦点顕微鏡システム、画像処理方法および画像処理プログラムに関する。
共焦点顕微鏡では、レーザ光源から出射されたレーザ光が対物レンズにより測定対象物に集光される。測定対象物からの反射光が受光レンズにより集光され、ピンホールを通して受光素子に入射する(例えば、特許文献1参照)。レーザ光は測定対象物の表面で二次元的に走査される。また、測定対象物と対物レンズとの間の相対的な距離を変化させることにより受光素子の受光量の分布が変化する。測定対象物の表面に焦点が合ったときに受光量のピークが現れる。受光量分布のピーク強度に基づいて非常に高い焦点深度を有する超深度画像を得ることができる。また、受光量分布のピーク位置に基づいて測定対象物の表面の高さ分布を示す高さ画像を得ることができる。
共焦点顕微鏡によれば、ステージに載置された測定対象物の一定の領域の共焦点画像データが生成され、生成された共焦点画像データに基づいて超深度画像データまたは高さ画像データが生成される。超深度画像データまたは高さ画像データに基づいて超深度画像または高さ画像が表示部に表示される。使用者は、測定対象物の観察範囲を指定することができる。使用者が共焦点顕微鏡の観察可能な領域よりも広い範囲を指定した場合には、共焦点顕微鏡のステージが移動することにより測定対象物の複数の領域の超深度画像データまたは高さ画像データがそれぞれ生成される。その後、複数の領域の超深度画像データまたは高さ画像データが連結されることにより測定対象物の広い範囲の超深度画像または高さ画像が作業用メモリを用いて表示部に表示される。
しかしながら、使用者が測定対象物の観察範囲としてより広い範囲を指定した場合には、複数の領域の超深度画像データまたは高さ画像データの容量が作業用メモリの使用可能容量を超えてしまう。このような場合は、連結前または後の超深度画像データもしくは高さ画像データを間引いてその画像データの容量を小さくすることにより、連結前または後の超深度画像データもしくは高さ画像データを作業用メモリを用いて表示のための処理を可能にする必要がある。
一方、共焦点顕微鏡は測定対象物と対物レンズとの間の相対的な距離を変化させながら、二次元的に光を走査して1つの領域の超深度画像データおよび高さ画像データを生成する。そのため、使用者が測定対象物の観察範囲としてより広い範囲を指定したために複数の領域の画像データを連結する必要がある場合には、連結された画像データを生成するのには極めて時間がかかる。
本発明の目的は、使用者が広い範囲を観察範囲として指定した場合にも無駄な時間を費やさずに観察対象物の表面の画像を表示可能な共焦点顕微鏡システム、画像処理方法および画像処理プログラムを提供することである。
(1)第1の発明に係る共焦点顕微鏡システムは、観察対象物の表面の画像を表示する共焦点顕微鏡システムであって、受光素子と、観察対象物の表面に設定された単位領域に光を照射するとともに、単位領域に照射された光を受光素子に導く共焦点光学系と、単位領域に垂直な方向に沿った複数の位置で単位領域内での共焦点光学系による光の照射が行われるように共焦点光学系と観察対象物との相対的な距離を変化させる相対的距離変化部と、共焦点光学系および相対的距離変化部を制御するとともに、受光素子の出力信号に基づいて単位領域内で互いに直交する第1および第2の方向に並ぶ複数の画素に対応する複数の画素データを順次取得する制御部と、制御部により取得された複数の画素データに基づいて単位領域の共焦点画像データを生成するとともに共焦点画像データに基づいて観察対象物の表面の画像を表示するための表面画像データを生成する画像データ生成部と、使用者による観察範囲の指示を受け付ける観察範囲指示受付部と、観察範囲指示受付部により受け付けられた指示に基づいて観察範囲として複数の単位領域を設定する観察範囲設定部と、観察範囲設定部により設定された複数の単位領域について画像データ生成部により生成された表面画像データを連結する画像データ処理部と、観察範囲設定部により設定された複数の単位領域に含まれる画素数と予め設定されたしきい値とを比較し、比較結果に基づいて各単位領域について制御部により取得される画素データの数を調整するデータ取得量調整部と、画像データ処理部により連結された複数の単位領域の表面画像データに基づいて観察対象物の表面の画像を表示する表示部とを備えるものである。
この共焦点顕微鏡システムにおいては、観察対象物の表面に設定された単位領域に光が照射され、単位領域に照射された光が受光素子に導かれる。ここで、単位領域に垂直な方向に沿った複数の位置で単位領域内での共焦点光学系による光の照射が行われるように共焦点光学系と観察対象物との相対的な距離が変化される。受光素子の出力信号に基づいて単位領域内で互いに直交する第1および第2の方向に並ぶ複数の画素に対応する複数の画素データが順次取得される。取得された複数の画素データに基づいて共焦点画像データが生成されるとともに、共焦点画像データに基づいて観察対象物の表面の画像を表示するための表面画像データが生成される。
使用者による観察範囲の指示が受け付けられると、その指示に基づいて観察範囲として複数の単位領域が設定される。設定された複数の単位領域について生成された表面画像データが連結される。連結された複数の単位領域の表面画像データに基づいて観察対象物の表面の画像が表示される。
この場合、設定された複数の単位領域に含まれる画素数と予め設定されたしきい値とが比較され、比較結果に基づいて各単位領域について取得される画素データの数が調整される。そのため、使用者が観察範囲として広い範囲を指定した場合でも、連結された表面画像データの量が表示のために使用可能な作業用メモリの容量を超えることを防止することができる。これにより、観察範囲にかかわらず観察対象物の表面の画像を表示することができる。また、画素データの取得に要する時間を短縮化することができる。
さらに、複数の単位領域についての表面画像データが生成された後に、複数の単位領域についての表面画像データの量が表示のために使用可能な作業用メモリの容量を超えないように使用者が表面画像データを間引く必要がない。そのため、表示できない量の表面画像データの生成に多大な時間を費やす必要がない。その結果、無駄な時間を費やさずに観察対象物の表面の画像を表示することできる。
(2)共焦点顕微鏡システムは、観察対象物の非共焦点画像を取得する非共焦点画像取得部をさらに備え、観察範囲指示受付部は、非共焦点画像取得部により取得された非共焦点画像を表示部に表示させるとともに、表示された非共焦点画像上で使用者による観察範囲の指示を受け付けてもよい。
この場合、観察対象物の非共焦点画像が取得され、取得された非共焦点画像が表示部に表示される。表示された非共焦点画像上で使用者による観察範囲の指示が受け付けられる。これにより、使用者は、観察範囲を容易に指示することができる。
(3)観察範囲指示受付部は、表示された非共焦点画像を使用者が指定可能な複数の領域に分割し、使用者により取得除外対象として指定された領域を観察範囲から除外してもよい。
この場合、表示された非共焦点画像は、使用者が指定可能な複数の領域に分割される。使用者は、複数の領域のいずれかを取得除外対象として指定することができる。取得除外対象として指定された領域は観察範囲から除外される。そのため、指定された領域においては、レーザ光の走査を行う必要がない。これにより、画素データの取得に要する時間を短縮化することができる。
(4)共焦点顕微鏡システムは、観察対象物を支持するとともに第1および第2の方向に移動可能に設けられた支持部と、表示部に表示される非共焦点画像の範囲の拡大の指示を受け付ける拡大指示受付部と、拡大指示受付部により拡大の指示が受け付けられた場合に、支持部を移動させることにより表示部に表示される非共焦点画像の範囲を拡大させる表示範囲拡大部とをさらに備えてもよい。
この場合、観察対象物が支持部により支持される。使用者が表示される非共焦点画像の範囲の拡大を指示すると、支持部が第1および第2の方向に移動することにより表示される非共焦点画像の範囲が拡大される。これにより、使用者は、拡大された範囲の非共焦点画像上で観察範囲を指示することができる。その結果、より広い観察範囲内の画素データを取得することができる。
(5)第2の発明に係る画像処理方法は、観察対象物の表面の画像を表示する画像処理方法であって、共焦点光学系により観察対象物の表面に設定された単位領域に光を照射するとともに、単位領域に照射された光を受光素子に導くステップと、単位領域に垂直な方向に沿った複数の位置で単位領域内での共焦点光学系による光の照射が行われるように共焦点光学系と観察対象物との相対的な距離を変化させるステップと、受光素子の出力信号に基づいて単位領域内で互いに直交する第1および第2の方向に並ぶ複数の画素に対応する複数の画素データを順次取得するステップと、取得された複数の画素データに基づいて単位領域の共焦点画像データを生成するとともに共焦点画像データに基づいて観察対象物の表面の画像を表示するための表面画像データを生成するステップと、使用者による観察範囲の指示を受け付けるステップと、受け付けられた指示に基づいて観察範囲として複数の単位領域を設定するステップと、設定された複数の単位領域について生成された表面画像データを連結するステップと、設定された複数の単位領域に含まれる画素数と予め設定されたしきい値とを比較し、比較結果に基づいて各単位領域について取得される画素データの数を調整するステップと、連結された複数の単位領域の表面画像データに基づいて観察対象物の表面の画像を表示するステップとを含むものである。
この画像処理方法においては、観察対象物の表面に設定された単位領域に光が照射され、単位領域に照射された光が受光素子に導かれる。ここで、単位領域に垂直な方向に沿った複数の位置で単位領域内での共焦点光学系による光の照射が行われるように共焦点光学系と観察対象物との相対的な距離が変化される。受光素子の出力信号に基づいて単位領域内で互いに直交する第1および第2の方向に並ぶ複数の画素に対応する複数の画素データが順次取得される。取得された複数の画素データに基づいて共焦点画像データが生成されるとともに、共焦点画像データに基づいて観察対象物の表面の画像を表示するための表面画像データが生成される。
使用者による観察範囲の指示が受け付けられると、その指示に基づいて観察範囲として複数の単位領域が設定される。設定された複数の単位領域について生成された表面画像データが連結される。連結された複数の単位領域の表面画像データに基づいて観察対象物の表面の画像が表示される。
この場合、設定された複数の単位領域に含まれる画素数と予め設定されたしきい値とが比較され、比較結果に基づいて各単位領域について取得される画素データの数が調整される。そのため、使用者が観察範囲として広い範囲を指定した場合でも、連結された表面画像データの量が表示のために使用可能な作業用メモリの容量を超えることを防止することができる。これにより、観察範囲にかかわらず観察対象物の表面の画像を表示することができる。また、画素データの取得に要する時間を短縮化することができる。
さらに、複数の単位領域についての表面画像データが生成された後に、複数の単位領域についての表面画像データの量が表示のために使用可能な作業用メモリの容量を超えないように使用者が表面画像データを間引く必要がない。そのため、表示できない量の表面画像データの生成に多大な時間を費やす必要がない。その結果、無駄な時間を費やさずに観察対象物の表面の画像を表示することできる。
(6)第3の発明に係る画像処理プログラムは、観察対象物の表面の画像を表示する画像処理を処理装置に実行させる画像処理プログラムであって、共焦点光学系により観察対象物の表面に設定された単位領域に光を照射するとともに、単位領域に照射されたレーザ光を受光素子に導く処理と、単位領域に垂直な方向に沿った複数の位置で単位領域内での共焦点光学系による光の照射が行われるように共焦点光学系と観察対象物との相対的な距離を変化させる処理と、受光素子の出力信号に基づいて単位領域内で互いに直交する第1および第2の方向に並ぶ複数の画素に対応する複数の画素データを順次取得する処理と、取得された複数の画素データに基づいて単位領域の共焦点画像データを生成するとともに共焦点画像データに基づいて観察対象物の表面の画像を表示するための表面画像データを生成する処理と、使用者による観察範囲の指示を受け付ける処理と、受け付けられた指示に基づいて観察範囲として複数の単位領域を設定する処理と、設定された複数の単位領域について生成された表面画像データを連結する処理と、設定された複数の単位領域に含まれる画素数と予め設定されたしきい値とを比較し、比較結果に基づいて各単位領域について取得される画素データの数を調整する処理と、連結された複数の単位領域の表面画像データに基づいて観察対象物の表面の画像を表示する処理とを、処理装置に実行させるものである。
この画像処理プログラムにおいては、観察対象物の表面に設定された単位領域に光が照射され、単位領域に照射された光が受光素子に導かれる。ここで、単位領域に垂直な方向に沿った複数の位置で単位領域内での共焦点光学系による光の照射が行われるように共焦点光学系と観察対象物との相対的な距離が変化される。受光素子の出力信号に基づいて単位領域内で互いに直交する第1および第2の方向に並ぶ複数の画素に対応する複数の画素データが順次取得される。取得された複数の画素データに基づいて共焦点画像データが生成されるとともに、共焦点画像データに基づいて観察対象物の表面の画像を表示するための表面画像データが生成される。
使用者による観察範囲の指示が受け付けられると、その指示に基づいて観察範囲として複数の単位領域が設定される。設定された複数の単位領域について生成された表面画像データが連結される。連結された複数の単位領域の表面画像データに基づいて観察対象物の表面の画像が表示される。
この場合、設定された複数の単位領域に含まれる画素数と予め設定されたしきい値とが比較され、比較結果に基づいて各単位領域について取得される画素データの数が調整される。そのため、使用者が観察範囲として広い範囲を指定した場合でも、連結された表面画像データの量が表示のために使用可能な作業用メモリの容量を超えることを防止することができる。これにより、観察範囲にかかわらず観察対象物の表面の画像を表示することができる。また、画素データの取得に要する時間を短縮化することができる。
さらに、複数の単位領域についての表面画像データが生成された後に、複数の単位領域についての表面画像データの量が表示のために使用可能な作業用メモリの容量を超えないように使用者が表面画像データを間引く必要がない。そのため、表示できない量の表面画像データの生成に多大な時間を費やす必要がない。その結果、無駄な時間を費やさずに観察対象物の表面の画像を表示することできる。
本発明によれば、使用者が広い範囲を観察範囲として指定した場合にも無駄な時間を費やさずに観察対象物の表面の画像を表示可能になる。
以下、本発明の一実施の形態に係る共焦点顕微鏡システムについて図面を参照しながら説明する。
(1)共焦点顕微鏡システムの基本構成
図1は、本発明の一実施の形態に係る共焦点顕微鏡システム500の構成を示すブロック図である。図1に示すように、共焦点顕微鏡システム500は、測定部100、PC(パーソナルコンピュータ)200、制御部300および表示部400を備える。測定部100は、レーザ光源10、X−Yスキャン光学系20、受光素子30、照明用白色光源40、カラーCCD(電荷結合素子)カメラ50およびステージ60を含む。ステージ60上には、観察対象物Sが載置される。
図1は、本発明の一実施の形態に係る共焦点顕微鏡システム500の構成を示すブロック図である。図1に示すように、共焦点顕微鏡システム500は、測定部100、PC(パーソナルコンピュータ)200、制御部300および表示部400を備える。測定部100は、レーザ光源10、X−Yスキャン光学系20、受光素子30、照明用白色光源40、カラーCCD(電荷結合素子)カメラ50およびステージ60を含む。ステージ60上には、観察対象物Sが載置される。
レーザ光源10は、例えば半導体レーザである。レーザ光源10から出射されたレーザ光は、レンズ1により平行光に変換された後、ハーフミラー4を透過してX−Yスキャン光学系20に入射する。なお、レーザ光源10に代えて水銀ランプ等の他の光源が用いられてもよい。この場合、水銀ランプ等の光源とX−Yスキャン光学系20との間に帯域通過フィルタが配置される。水銀ランプ等の光源から出射された光は、帯域通過フィルタを通過することにより単色光となり、X−Yスキャン光学系20に入射する。
X−Yスキャン光学系20は、例えばガルバノミラーである。X−Yスキャン光学系20は、ステージ60上の観察対象物Sの表面上においてレーザ光をX方向およびY方向に走査する機能を有する。X方向、Y方向およびZ方向の定義については後述する。X−Yスキャン光学系20により走査されたレーザ光は、ハーフミラー5により反射された後、ハーフミラー6を透過し、対物レンズ3によりステージ60上の観察対象物Sに集光される。なお、ハーフミラー4〜6に代えて偏光ビームスプリッタが用いられてもよい。
観察対象物Sにより反射されたレーザ光は、対物レンズ3およびハーフミラー6を透過した後、ハーフミラー5により反射され、X−Yスキャン光学系20を透過する。X−Yスキャン光学系20を透過したレーザ光は、ハーフミラー4により反射され、レンズ2により集光され、ピンホール部材7のピンホールおよびND(Neutral Density)フィルタ8を透過して受光素子30に入射する。このように、本実施の形態においては反射型の共焦点顕微鏡システム500が用いられるが、観察対象物Sが細胞等の透明体である場合には、透過型の共焦点顕微鏡システムが用いられてもよい。
ピンホール部材7のピンホールは、レンズ2の焦点位置に配置される。NDフィルタ8は、受光素子30に入射するレーザ光の強度を減衰させるために用いられる。そのため、レーザ光の強度が十分減衰されている場合には、NDフィルタ8は設けられなくてもよい。
本実施の形態では、受光素子30は光電子増倍管である。受光素子30としてフォトダイオードおよび増幅器を用いてもよい。受光素子30は、受光量に対応するアナログの電気信号(以下、受光信号と呼ぶ)を出力する。制御部300は、2つのA/D変換器(アナログ/デジタル変換器)、FIFO(First In First Out)メモリおよびCPU(中央演算処理装置)を含む。受光素子30から出力される受光信号は、制御部300の1つのA/D変換器により一定のサンプリング周期でサンプリングされるとともにデジタル信号に変換される。A/D変換器から出力されるデジタル信号は、FIFOメモリに順次蓄積される。FIFOメモリに蓄積されたデジタル信号は画素データとして順次PC200に転送される。
照明用白色光源40は、例えばハロゲンランプまたは白色LED(発光ダイオード)である。照明用白色光源40により発生された白色光は、ハーフミラー6により反射された後、対物レンズ3によりステージ60上の観察対象物Sに集光される。
観察対象物Sにより反射された白色光は、対物レンズ3、ハーフミラー6およびハーフミラー5を透過してカラーCCDカメラ50に入射する。カラーCCDカメラ50に代えてCMOS(相補性金属酸化膜半導体)イメージセンサ等の撮像素子が用いられてもよい。カラーCCDカメラ50は、受光量に対応する電気信号を出力する。カラーCCDカメラ50の出力信号は、制御部300の他の1つのA/D変換器により一定のサンプリング周期でサンプリングされるとともにデジタル信号に変換される。A/D変換器から出力されるデジタル信号は、カメラデータとして順次PC200に転送される。
制御部300は、画素データおよびカメラデータをPC200に与えるとともに、PC200からの指令に基づいて受光素子30の受光感度(ゲイン)およびカラーCCDカメラ50を制御する。また、制御部300は、PC200からの指令に基づいてX−Yスキャン光学系20を制御することによりレーザ光を観察対象物S上でX方向およびY方向に走査させる。
対物レンズ3は、レンズ駆動部63によりZ方向に移動可能に設けられる。制御部300は、PC200からの指令に基づいてレンズ駆動部63を制御することにより対物レンズ3をZ方向に移動させることができる。これにより、対物レンズ3に対する観察対象物Sの相対的なZ方向の位置を変化させることができる。
PC200は、CPU(中央演算処理装置)210、ROM(リードオンリメモリ)220、作業用メモリ230および記憶装置240を含む。ROM220には、システムプログラムが記憶される。作業用メモリ230は、RAM(ランダムアクセスメモリ)からなり、種々のデータの処理のために用いられる。記憶装置240は、ハードディスク等からなる。記憶装置240には、画像処理プログラムが記憶されるとともに、制御部300から与えられる画素データおよびカメラデータ等の種々のデータを保存するために用いられる。画像処理プログラムの詳細は後述する。
CPU210は、制御部300から与えられる画素データに基づいて画像データを生成する。以下、画素データに基づいて生成される画像データを共焦点画像データと呼ぶ。また、共焦点画像データに基づいて表示される画像を共焦点画像と呼ぶ。
CPU210は、制御部300から与えられるカメラデータに基づいて画像データを生成する。以下、カメラデータに基づいて生成される画像データをカメラ画像データと呼ぶ。また、カメラ画像データに基づいて表示される画像をカメラ画像と呼ぶ。
CPU210は、生成した共焦点画像データおよびカメラ画像データに作業用メモリ230を用いて各種処理を行うとともに、共焦点画像データに基づく共焦点画像およびカメラ画像データに基づくカメラ画像を表示部400に表示させる。また、CPU210は、後述するステージ駆動部62に駆動パルスを与える。
表示部400は、例えば液晶ディスプレイパネルまたは有機EL(エレクトロルミネッセンス)パネルにより構成される。
ステージ60は、X方向移動機構、Y方向移動機構およびZ方向移動機構を有する。X方向移動機構、Y方向移動機構およびZ方向移動機構には、ステッピングモータが用いられる。
ステージ60のX方向移動機構、Y方向移動機構およびZ方向移動機構は、ステージ操作部61およびステージ駆動部62により駆動される。使用者は、ステージ操作部61を手動で操作することにより、ステージ60を対物レンズ3に対して相対的にX方向、Y方向およびZ方向に移動させることができる。
ステージ駆動部62は、PC200より与えられる駆動パルスに基づいて、ステージ60のステッピングモータに電流を供給することにより、ステージ60を対物レンズ3に相対的にX方向、Y方向またはZ方向に移動させることができる。
(2)共焦点画像、超深度画像および高さ画像
図2は、X方向、Y方向およびZ方向を定義するための図である。図2に示すように、対物レンズ3により集光されたレーザ光が観察対象物Sに照射される。本実施の形態においては、対物レンズ3の光軸の方向をZ方向と定義する。また、Z方向と直交する面において、互いに直交する二方向をそれぞれX方向およびY方向と定義する。X方向、Y方向およびZ方向を矢印X,Y,Zでそれぞれ示す。
図2は、X方向、Y方向およびZ方向を定義するための図である。図2に示すように、対物レンズ3により集光されたレーザ光が観察対象物Sに照射される。本実施の形態においては、対物レンズ3の光軸の方向をZ方向と定義する。また、Z方向と直交する面において、互いに直交する二方向をそれぞれX方向およびY方向と定義する。X方向、Y方向およびZ方向を矢印X,Y,Zでそれぞれ示す。
Z方向において対物レンズ3に対する観察対象物Sの表面の相対的な位置を観察対象物SのZ方向の位置と呼ぶ。共焦点画像データの生成は、単位領域ごとに行なわれる。単位領域は対物レンズ3の倍率により定まる。
観察対象物SのZ方向の位置が一定の状態で、X−Yスキャン光学系20により単位領域内のY方向の端部でレーザ光がX方向に走査される。X方向の走査が終了すると、レーザ光がX−Yスキャン光学系20によりY方向に一定の間隔変移される。この状態でレーザ光がX方向に走査される。単位領域内でレーザ光のX方向の走査およびY方向の変移が繰り返されることにより、単位領域のX方向およびY方向の走査が終了する。次に、対物レンズ3がZ方向に移動される。それにより、対物レンズ3のZ方向の位置が前回と異なる一定の状態で、単位領域のX方向およびY方向の走査が行なわれる。観察対象物SのZ方向の複数の位置で単位領域のX方向およびY方向の走査が行なわれる。
観察対象物SのZ方向の位置ごとにX方向およびY方向の走査により共焦点画像データが生成される。これにより、単位領域内でZ方向の位置が異なる複数の共焦点画像データが生成される。
ここで、共焦点画像データのX方向の画素数は、X−Yスキャン光学系20によるレーザ光のX方向の走査速度と制御部300のサンプリング周期とにより定まる。1回のX方向の走査(1本の走査線)におけるサンプリング数がX方向の画素数となる。また、単位領域の共焦点画像データのY方向の画素数は、X方向の走査の終了ごとのX−Yスキャン光学系20によるレーザ光のY方向の変移量により定まる。Y方向における走査線の数がY方向の画素数となる。さらに、単位領域の共焦点画像データの数は、観察対象物SのZ方向の移動回数により定まる。単位領域の複数の共焦点画像データに基づいて、後述する方法で超深度画像データおよび高さ画像データが生成される。
図2の例では、まず、ステージ60の最初の位置で単位領域s1における観察対象物Sの複数の共焦点画像データが生成されるとともに単位領域s1の超深度画像データおよび高さ画像データが生成される。続いて、ステージ60が順次移動することにより単位領域s2〜s4における観察対象物Sの複数の共焦点画像データが生成されるとともに単位領域s2〜s4の超深度画像データおよび高さ画像データが生成される。この場合、隣接する単位領域の一部が互いに重なるように、単位領域s1〜s4が設定されてもよい。それにより、パターンマッチングを行うことにより、複数の単位領域s1〜s4の超深度画像データおよび高さ画像データを高い精度で連結することができる。特に、複数の単位領域の合計の面積が後述する画素データの取得範囲よりも大きい場合には、取得範囲からはみ出す部分の面積に相当する部分が重なり部分として設定される。
図3は、1つの画素において観察対象物SのZ方向の位置と受光素子30の受光強度との関係を示す図である。図1に示したように、ピンホール部材7のピンホールはレンズ2の焦点位置に配置される。そのため、観察対象物Sの表面が対物レンズ3の焦点位置にあるときに、観察対象物Sにより反射されたレーザ光がピンホール部材7のピンホールの位置に集光される。それにより、観察対象物Sにより反射されたレーザ光の大部分がピンホール部材7のピンホールを通過して受光素子30に入射する。この場合、受光素子30の受光強度は最大になる。それにより、受光素子30から出力される受光信号の電圧値は最大となる。
一方、観察対象物Sが対物レンズ3の焦点位置が外れた位置にあるときには、観察対象物Sにより反射されたレーザ光はピンホール部材7のピンホールの前または後の位置に集光される。それにより、観察対象物Sにより反射されたレーザ光の多くはピンホール部材7のピンホールの周囲の部分で遮られ、受光素子30の受光強度は低下する。それにより、受光素子30から出力される受光信号の電圧値は低下する。
このように、観察対象物Sの表面が対物レンズ3の焦点位置にある状態で受光素子30の受光強度分布にピークが現れる。各単位領域の複数の共焦点画像データから、画素ごとにZ方向における受光強度分布が得られる。それにより、画素ごとに受光強度分布のピーク位置とピーク強度(ピークの受光強度)とが得られる。
各単位領域の複数の画素についてのZ方向におけるピーク位置を表すデータを高さ画像データと呼び、高さ画像データに基づいて表示される画像を高さ画像と呼ぶ。高さ画像は、観察対象物Sの表面形状を表す。また、各単位領域の複数の画素についてのピーク強度を表すデータを超深度画像データと呼び、超深度画像データに基づいて表される画像を超深度画像と呼ぶ。超深度画像は、観察対象物Sの表面のすべての部分にピントが合った状態で得られる画像である。PC200は、制御部300から与えられる単位領域の複数の画素データに基づいて単位領域の複数の共焦点画像データを生成し、複数の共焦点画像データに基づいて単位領域の高さ画像データおよび超深度画像データを生成する。以下、高さ画像データおよび超深度画像データを総称して表面画像データと呼び、高さ画像および超深度画像を総称して表面の画像と呼ぶ。
(3)画素データの取得範囲(観察範囲)の設定
図4は、画素データの取得範囲の設定前における表示部400の表示例を示す図である。図4に示すように、表示部400の画面上には、画像表示領域410および条件設定領域420が表示される。画像表示領域410には、共焦点画像データに基づく共焦点画像またはカメラ画像データに基づくカメラ画像が表示される。条件設定領域420には、範囲設定ボタン421、取得開始ボタン422およびナビゲーション表示ボタン423が表示される。
図4は、画素データの取得範囲の設定前における表示部400の表示例を示す図である。図4に示すように、表示部400の画面上には、画像表示領域410および条件設定領域420が表示される。画像表示領域410には、共焦点画像データに基づく共焦点画像またはカメラ画像データに基づくカメラ画像が表示される。条件設定領域420には、範囲設定ボタン421、取得開始ボタン422およびナビゲーション表示ボタン423が表示される。
使用者は、図1の共焦点顕微鏡システム500のステージ60に観察対象物Sを載置する。これにより、制御部300は、カメラデータを順次PC200に与える。PC200のCPU210は、制御部300により与えられたカメラデータに基づいてカメラ画像データを生成し、観察対象物Sのカメラ画像を表示部400の画像表示領域410に表示させる。この状態で、使用者は、以下に示す種々の方法により画素データの取得範囲を容易に指示することができる。この場合、使用者は、ステージ60をX方向またはY方向に移動させることにより画像表示領域410に表示される観察対象物Sのカメラ画像の範囲を変更することができる。
(3−1)画素データの取得範囲の第1の指示方法
図5は、画素データの取得範囲の第1の指示方法を実行するための取得範囲設定画面を示す図である。図6は、画素データの取得範囲の第1の指示方法の実行時における表示部400の表示例を示す図である。
図5は、画素データの取得範囲の第1の指示方法を実行するための取得範囲設定画面を示す図である。図6は、画素データの取得範囲の第1の指示方法の実行時における表示部400の表示例を示す図である。
使用者は、PC200に接続されたマウス等のポインティングデバイスを用いて図4の条件設定領域420の範囲設定ボタン421を操作する。これにより、表示部400に画像表示領域410と並ぶように図5の取得範囲設定画面430aが表示される。取得範囲設定画面430aは、指定方法設定欄431、指定範囲設定欄432、設定値表示欄433、次へボタン434aおよび終了ボタン434bを含む。指定方法設定欄431は、チェックボックス431a,431b,431cを含む。指定範囲設定欄432は、上端設定部432a、左端設定部432b、右端設定部432cおよび下端設定部432dを含む。
使用者がチェックボックス431bを指定した場合、表示部400には取得範囲設定画面430aに代えて後述する図7の取得範囲設定画面430bが表示される。これにより、後述する画素データの取得範囲の第2の指示方法が実行可能になる。使用者がチェックボックス431cを指定した場合、表示部400には取得範囲設定画面430aに代えて後述する図9の取得範囲設定画面430cが表示される。これにより、後述する画素データの取得範囲の第3の指示方法が実行可能になる。
チェックボックス431aが指定された状態で、図6に示すように、使用者が表示部400の画像表示領域410上で所望の点p1を指定する。次に、使用者が図5の上端設定部432aおよび左端設定部432bを操作する。これにより、CPU210は、点p1を画素データの取得範囲の始点として定める。本例において、CPU210は、点p1を画素データの取得範囲の上端でかつ左端として認識する。
その後、図6に示すように、使用者が表示部400の画像表示領域410上で点p1と異なる所望の点p2を指定する。次に、使用者が図5の右端設定部432cおよび下端設定部432dを操作する。これにより、CPU210は、点p2を画素データの取得範囲の終点として定める。本例において、CPU210は、点p2を画素データの取得範囲の右端でかつ下端として認識する。
続いて、使用者が図5の次へボタン434aを操作する。これにより、図6に示すように、CPU210は、点p1,p2を対角の頂点とする矩形状の取得範囲表示枠Rを画像表示領域410に表示する。図6においては、取得範囲表示枠Rは一点鎖線で示される。取得範囲表示枠Rの内部のカメラ画像に対応する画素データの部分が取得範囲として設定される。取得範囲設定画面430aの設定値表示欄433には、画像表示領域410上における始点および終点の座標ならびに取得範囲表示枠Rを構成する単位領域の数が表示される。
(3−2)画素データの取得範囲の第2の指示方法
図7は、画素データの取得範囲の第2の指示方法に基づく取得範囲設定画面を示す図である。図8は、画素データの取得範囲の第2の指示方法の実行時における表示部400の表示例を示す図である。
図7は、画素データの取得範囲の第2の指示方法に基づく取得範囲設定画面を示す図である。図8は、画素データの取得範囲の第2の指示方法の実行時における表示部400の表示例を示す図である。
使用者は、図5の取得範囲設定画面430aまたは後述する図9の取得範囲設定画面430cにおいて、チェックボックス431bを指定する。これにより、表示部400に画像表示領域410と並ぶように取得範囲設定画面430a,430cに代えて図7の取得範囲設定画面430bが表示される。取得範囲設定画面430bは、図5の右端設定部432cおよび下端設定部432dに代えて数値を入力可能な長さ指定部432e,432fを含む点を除いて、取得範囲設定画面430aと同様の構成を有する。
使用者がチェックボックス431aを指定した場合、表示部400には取得範囲設定画面430bに代えて図5の取得範囲設定画面430aが表示される。これにより、上述の画素データの取得範囲の第1の指示方法が実行可能になる。使用者がチェックボックス431cを指定した場合、表示部400には取得範囲設定画面430bに代えて後述する図9の取得範囲設定画面430cが表示される。これにより、後述する画素データの取得範囲の第3の指示方法が実行可能になる。
チェックボックス431bが指定された状態で、図8に示すように、使用者が表示部400の画像表示領域410上で所望の点p1を指定する。次に、使用者が図7の上端設定部432aおよび左端設定部432bを操作する。これにより、CPU210は、点p1を画素データの取得範囲の始点として定める。本例において、CPU210は、点p1を画素データの取得範囲の上端でかつ左端として認識する。
その後、使用者が指定範囲設定欄432の長さ指定部432eに数値を入力する。これにより、CPU210は、図8に示すように、画像表示領域410上において点p1を始点とするX方向の線分Lxの長さを定める。また、使用者が指定範囲設定欄432の長さ指定部432fに数値を入力する。これにより、CPU210は、図8に示すように、画像表示領域410上において点p1を始点とするY方向の線分Lyの長さを定める。
続いて、使用者が図7の次へボタン434aを操作する。これにより、図8に示すように、CPU210は、線分Lx,Lyを直交する2辺とする矩形状の取得範囲表示枠Rを画像表示領域410に表示する。図8においては、取得範囲表示枠Rは一点鎖線で示される。取得範囲表示枠Rの内部のカメラ画像に対応する画素データの部分が取得範囲として設定される。取得範囲設定画面430bの設定値表示欄433には、画像表示領域410上における始点および終点の座標ならびに取得範囲表示枠Rを構成する単位領域の数が表示される。なお、本例においては、取得範囲表示枠Rの右端でかつ下端の点が終点となる。
(3−3)画素データの取得範囲の第3の指示方法
図9は、画素データの取得範囲の第3の指示方法に基づく取得範囲設定画面を示す図である。図10は、画素データの取得範囲の第3の指示方法の実行時における表示部400の表示例を示す図である。
図9は、画素データの取得範囲の第3の指示方法に基づく取得範囲設定画面を示す図である。図10は、画素データの取得範囲の第3の指示方法の実行時における表示部400の表示例を示す図である。
使用者は、図5の取得範囲設定画面430aまたは図7の取得範囲設定画面430bにおいて、チェックボックス431cを指定する。これにより、表示部400に画像表示領域410と並ぶように取得範囲設定画面430a,430bに代えて図9の取得範囲設定画面430cが表示される。取得範囲設定画面430cは、図5の右端設定部432cおよび下端設定部432dに代えて数値を入力可能な単位領域数指定部432g,432hを含む点を除いて、取得範囲設定画面430aと同様の構成を有する。
使用者がチェックボックス431aを指定した場合、表示部400には取得範囲設定画面430cに代えて図5の取得範囲設定画面430aが表示される。これにより、上述の画素データの取得範囲の第1の指示方法が実行可能になる。使用者がチェックボックス431bを指定した場合、表示部400には取得範囲設定画面430cに代えて図7の取得範囲設定画面430bが表示される。これにより、後述する画素データの取得範囲の第2の指示方法が実行可能になる。
チェックボックス431cが指定された状態で、図10に示すように、使用者が表示部400の画像表示領域410上で所望の点p1を指定する。次に、使用者が図7の上端設定部432aおよび左端設定部432bを操作する。これにより、CPU210は、点p1を含む単位領域を始領域として定める。本例において、CPU210は、点p1を画素データの取得範囲の上端でかつ左端として認識する。この場合、CPU210は、始領域の上端でかつ左端の点を始点として定める。
その後、使用者が指定範囲設定欄432の単位領域数指定部432gに数値を入力する。これにより、CPU210は、図10に示すように、画像表示領域410上において始領域を含むX方向の単位領域の取得数Nxを定める。また、使用者が指定範囲設定欄432の単位領域数指定部432hに数値を入力する。これにより、CPU210は、図10に示すように、画像表示領域410上において始領域を含むY方向の単位領域の取得数Nyを定める。
続いて、使用者が図9の次へボタン434aを操作する。これにより、図10に示すように、CPU210は、始領域を含めてX方向に取得数Nxの単位領域を含みかつ始領域を含めてY方向に取得数Nyの単位領域を含むように矩形状の取得範囲表示枠Rを画像表示領域410に表示する。図10においては、取得範囲表示枠Rは太線で示される。取得範囲表示枠Rの内部のカメラ画像に対応する画素データの部分が取得範囲として設定される。取得範囲設定画面430cの設定値表示欄433には、画像表示領域410上における始点および終点の座標ならびに取得範囲表示枠Rを構成する単位領域の数が表示される。なお、本例においては、取得範囲表示枠Rの右端でかつ下端の点が終点となる。
(4)画素データの取得範囲の拡大方法
図1のステージ60を固定した状態でのカラーCCDカメラ50の撮影範囲を撮影領域と呼ぶ。使用者は、以下の操作により、カラーCCDカメラ50の撮影領域よりも広い範囲に対応する画素データを取得することができる。
図1のステージ60を固定した状態でのカラーCCDカメラ50の撮影範囲を撮影領域と呼ぶ。使用者は、以下の操作により、カラーCCDカメラ50の撮影領域よりも広い範囲に対応する画素データを取得することができる。
図11は、カラーCCDカメラ50の撮影領域よりも広い範囲の画素データを取得する場合の表示部400の表示例を示す図である。図12〜図15は、ナビゲーション表示画面を示す図である。使用者は、PC200に接続されたマウス等のポインティングデバイスを用いて図11の条件設定領域420の撮影範囲設定ボタン423を操作する。これにより、表示部400に画像表示領域410と並ぶようにナビゲーション表示画面440が表示される。
図12に示すように、ナビゲーション表示画面440は、カメラ画像表示領域441、撮影範囲決定ボタン442および撮影範囲拡大ボタン443を含む。カメラ画像表示領域441には、カメラ画像データに基づくカメラ画像が表示される。図12の例では、カメラ画像表示領域441に1つの撮影領域r1に含まれる観察対象物Sのカメラ画像が表示されている。
この状態で、使用者が撮影範囲決定ボタン442を操作し、カメラ画像表示領域441に表示された撮影領域r1内で上述の画素データの取得範囲の第1、第2または第3の指示方法を実行することにより、画素データの取得範囲を指示することができる。
一方、図12のナビゲーション表示画面440において、使用者が撮影範囲拡大ボタン443を操作すると、CPU210は、図1のカラーCCDカメラ50により撮影領域r1の周囲の領域が撮影されるようにステージ駆動部62を制御することによりステージ60を移動させる。それにより、CPU210は、図13に示すように、撮影領域r1の周囲の撮影領域r2〜r9のカメラ画像データを取得し、撮影領域r1〜r9のカメラ画像データに基づいて撮影領域r1〜r9のカメラ画像をカメラ画像表示領域441に表示させる。
この状態で、使用者が撮影範囲決定ボタン442を操作し、カメラ画像表示領域441に表示された撮影領域r1〜r9内で上述の画素データの取得範囲の第1、第2または第3の指示方法を実行することにより、画素データの取得範囲を指示することができる。カメラ画像表示領域441に表示されている観察対象物Sの全体の画素データを取得する場合、使用者は、観察対象物Sが含まれている四角形の領域(図13の例では撮影領域r1〜r9)内で取得範囲表示枠Rを指示することができる。
一方、図13のナビゲーション表示画面440において、使用者が撮影範囲拡大ボタン443を操作すると、CPU210は、図1のカラーCCDカメラ50により撮影領域r1〜r9の周囲の領域が撮影されるようにステージ駆動部62を制御することによりステージ60を移動させる。それにより、CPU210は、図14に示すように、カメラ画像表示領域441に表示されている撮影領域r1〜r9の周囲の撮影領域撮影領域r10〜r25のカメラ画像データを取得し、撮影領域r1〜r25のカメラ画像データに基づいて、撮影領域r1〜r25のカメラ画像をカメラ画像表示領域441に表示させる。
この状態で、使用者が撮影範囲決定ボタン442を操作し、カメラ画像表示領域441に表示された撮影領域r1〜r25内で上述の画素データの取得範囲の第1、第2または第3の指示方法を実行することにより、画素データの取得範囲を指示することができる。カメラ画像表示領域441に表示されている観察対象物Sの全体の画素データを取得する場合、使用者は、観察対象物Sが含まれている四角形の領域(図14の例では撮影領域r1〜r9,r11〜r13,r22〜r24)内で取得範囲表示枠Rを指示することができる。
使用者は、カメラ画像表示領域441の任意の撮影領域にマスクを設定することができる。図14において、観察対象物Sが含まれない撮影領域(図14の例では撮影領域r5,r13,r24)が存在する。このような場合、使用者は、撮影領域r5,r13,r24を指定することにより、図15に示すように撮影領域r5,r13,r24にマスクMを設定することができる。マスクMが設定された撮影領域r5,r13,r24においては、画素データの取得時にレーザ光の走査が行われない。これにより、マスクMが設定された撮影領域は、画素データの取得範囲から除外される。
図16は、複数の撮影領域に含まれる観察対象物Sの共焦点画像を示す図である。図15のカメラ画像表示領域441に表示される画素データの取得範囲において、後述する画像処理方法を実行する。これにより、図16に示すように、複数の撮影領域に含まれる観察対象物Sの画素データを取得することができる。この場合、画素データを取得しない撮影領域にマスクMを設定することにより、画素データの取得に要する時間を低減することができる。
(5)画像処理方法
図17および図18は、共焦点顕微鏡システム500における画像処理方法を示すフローチャートである。図1のPC200のCPU210は、記憶装置240に記憶される画像処理プログラムに従って画像処理方法を実行する。以下、CPU210による画像処理方法を説明する。なお、フローチャートのステップS15,S16では、共焦点画像データおよび表面画像データを画像データと略記する。
図17および図18は、共焦点顕微鏡システム500における画像処理方法を示すフローチャートである。図1のPC200のCPU210は、記憶装置240に記憶される画像処理プログラムに従って画像処理方法を実行する。以下、CPU210による画像処理方法を説明する。なお、フローチャートのステップS15,S16では、共焦点画像データおよび表面画像データを画像データと略記する。
CPU210は、制御部300により与えられるカメラデータに基づいてカメラ画像データを生成し、カメラ画像データに基づいて観察対象物Sのカメラ画像を図4の表示部400の画像表示領域410に表示させる(ステップS1)。
次に、使用者は、上述の画素データの取得範囲の第1、第2または第3の指示方法により画素データの取得範囲を指示する。CPU210は、使用者の指示に基づいて、画素データの取得範囲を設定する(ステップS2)。この場合、取得範囲内の各単位領域の位置および単位領域の数が作業用メモリ230に記憶される。
続いて、使用者は、観察対象物Sに対する図1の対物レンズ3の相対的なZ方向の移動範囲を指示する。CPU210は、使用者の指示に基づいて対物レンズ3のZ方向の移動範囲を設定する(ステップS3)。なお、対物レンズ3のZ方向の移動範囲の指示画面は、図5、図7または図9の取得範囲設定画面430a〜430cにおいて、次へボタン434aが操作されたときに表示される。
その後、使用者は、図6、図8または図10の表示部400において、条件設定領域420の取得開始ボタン422を操作する。CPU210は、使用者により取得開始ボタン422が操作されたことを検出すると、取得範囲表示枠R内の総画素数を算出する(ステップS4)。
次に、CPU210は、算出された総画素数と予め図1の記憶装置240に記憶されたしきい値とを比較する(ステップS5)。しきい値は、作業用メモリ230において画像データの表示処理に使用可能な容量(表示処理可能画素数)に設定される。しきい値は、例えば5000×5000画素または10000×10000画素である。算出された総画素数がしきい値以下である場合、CPU210は、画素データの取得率を1に決定し(ステップS6)、ステップS10の処理に移る。
一方、ステップS5において、算出された総画素数がしきい値よりも大きい場合、CPU210は、算出された総画素数としきい値の2倍とを比較する(ステップS7)。算出された総画素数がしきい値の2倍以下である場合、CPU210は、画素データの取得率を1/4に決定し(ステップS8)、ステップS10の処理に移る。
一方、ステップS7において、算出された総画素数がしきい値の2倍よりも大きい場合、CPU210は、画素データの取得率を1/16に決定し(ステップS9)、ステップS10の処理に移る。
次に、CPU210は、ステップS6、ステップS8またはステップS9において決定された画素データの取得率を図1の作業用メモリ230に記憶する(ステップS10)。記憶された取得率に基づいてX方向の走査におけるサンプリング数および走査線数(X方向の走査の回数)を算出する(ステップS11)。
続いて、CPU210は、作業用メモリ230に記憶された単位領域の位置に基づいて図1のステージ駆動部62に駆動パルスを与えることによりステージ60を移動させる(ステップS12)。その後、CPU210は、制御部300にX方向の走査におけるサンプリング数、走査線数およびZ方向の移動範囲を通知するとともに単位領域の画素データの取得を指令する(ステップS13)。
制御部300は、CPU210から通知されたX方向の走査におけるサンプリング数、走査線数およびZ方向の移動範囲に基づいて、図1のX−Yスキャン光学系20を制御するとともに観察対象物SのZ方向の位置を移動させ、受光素子30から出力される受光信号に基づいて画素データをPC200のCPU210に与える。CPU210は、制御部300から単位領域の画素データを取得する(ステップS14)。CPU210は、取得した画素データに基づいて単位領域の複数の共焦点画像データを生成するとともに表面画像データを生成し(ステップS15)、記憶装置240に記憶する。
ここで、CPU210は、全ての単位領域の共焦点画像データおよび表面画像データを生成したか否かを判定する(ステップS16)。全ての単位領域の共焦点画像データおよび表面画像データを生成していない場合、CPU210は、ステップS12の処理に戻る。CPU210は、次の単位領域の共焦点画像データの生成が可能な位置にステージ60を移動させ、ステップS13〜S16の処理を繰り返す。
一方、ステップS16において、全ての単位領域の共焦点画像データおよび表面画像データを生成した場合、CPU210は、記憶装置240に記憶された複数の単位領域の表面画像データを記憶装置240を用いて連結する(ステップS17)。これにより、指示された取得範囲の表面画像データが生成される。取得範囲表示枠R内に単位領域が1つしか含まれない場合、ステップS17において表面画像データの連結は行われない。
その後、CPU210は、連結された表面画像データに基づく観察対象物Sの表面の画像を作業用メモリ230を用いて表示部400に表示させる(ステップS18)。最後に、CPU210は、連結された表面画像データを記憶装置240に記憶し、画像処理方法を終了する。
図19は、画素データの取得率が1の場合に生成される共焦点画像データを示す図である。図20は、画素データの取得率が1/4の場合に生成される共焦点画像データを示す図である。図21は、画素データの取得率が1/16の場合に生成される共焦点画像データを示す図である。ここで、Z方向の1つの位置で生成される画素データが示される。
図19〜図21においては、共焦点画像データの取得率を視覚的に表現するために、1または複数の単位領域の共焦点画像データを構成する画素データをドットで図示している。
図19の例では、1つの単位領域s1の共焦点画像データが生成される。ステップS6において画素データの取得率が1に決定された場合、X方向の走査におけるサンプリング数は取得範囲表示枠R内のX方向の走査における最大サンプリング数に設定され、走査線数は取得範囲表示枠R内の最大走査線数に設定される。この場合、図19に示すように、単位領域s1における最大画素数に対応する画素データがX方向およびY方向において間引きされることなく取得される。
図20の例では、4つの単位領域s1〜s4の共焦点画像データが生成される。ステップS8において画素データの取得率が1/4に決定された場合、X方向の走査におけるサンプリング数は取得範囲表示枠R内のX方向の走査における最大サンプリング数の1/2に設定され、走査線数は取得範囲表示枠R内の最大走査線数の1/2に設定される。この場合、図20に示すように、単位領域s1〜s4における最大画素数に対応する画素データがX方向およびY方向において1/2に間引きされて取得される。
図21の例では、16つの単位領域s1の共焦点画像データが生成される。ステップS9において画素データの取得率が1/16に決定された場合、X方向の走査におけるサンプリング数は取得範囲表示枠R内のX方向の走査における最大サンプリング数の1/4に設定され、走査線数は取得範囲表示枠R内の最大走査線数の1/4に設定される。この場合、図21に示すように、単位領域s1〜s16における最大画素数に対応する画素データがX方向およびY方向において1/4に間引きされて取得される。
図22は、画素データの取得率が1の場合の観察対象物Sの超深度画像を示す図である。図23は、画素データの取得率が1/4の場合の観察対象物Sの超深度画像を示す図である。図24は、画素データの取得率が1/16の場合の観察対象物Sの超深度画像を示す図である。
図22〜図24に示すように、CPU210は、使用者の指示に基づいて、記憶装置240に記憶された超深度画像データに対応する超深度画像を作業用メモリ230を用いて表示部400の画像表示領域410に表示させることができる。同様に、CPU210は、使用者の指示に基づいて、記憶装置240に記憶された高さ画像データに対応する高さ画像を作業用メモリ230を用いて表示部400の画像表示領域410に表示させることができる。
なお、本実施の形態では、使用者により指定された画素データの取得範囲内の総画素数と記憶装置240に記憶されたしきい値との比較結果に応じて、X方向のサンプリング数および走査線数の両方が間引かれるが、これに限定されない。使用者により指定された取得範囲内の総画素数と記憶装置240に記憶されたしきい値との比較結果に応じて、走査線数のみが間引かれてもよい。
サンプリング数が間引かれても、X方向の走査回数および走査間隔は変化しないため、実質的に単位領域の画素データの取得に要する時間はほとんど短縮されない。一方、走査線数が間引かれると、X−Yスキャン光学系20のY方向への走査回数が減少するため、単位領域の画素データの取得に要する時間が大幅に短縮される。
このように、使用者により指定された取得範囲内の総画素数に相当する画素データの量がCPU210により算出される。算出された画素データの量と表示のために使用可能な作業用メモリ230の容量とが比較される。算出された画素データの量が表示のために使用可能な作業用メモリ230の容量よりも大きい場合、X−Yスキャン光学系20の機械的な走査、すなわちX方向のサンプリング数および走査線数が間引かれる。これにより、生成される表面画像データの量を削減することができる。また、表面画像データの生成後に間引きを行う場合と異なり、表示できない量の表面画像データの生成に多大な時間を費やす必要がない。その結果、観察対象物Sの表面の画像の表示に要する時間を短縮することができる。
なお、走査線数を間引くことにより表面画像データの量を削減しても、表面画像データの量が表示のために使用可能な作業用メモリ230の容量よりも大きくなる場合には、生成された表面画像データを間引くことにより表面画像データの量を表示のために使用可能な作業用メモリ230の容量よりも小さくしてもよい。
(6)画像処理の並行処理
画像処理において、CPU210は、図18のステップS12〜S16の処理を順次実行するが、これに限定されない。CPU210は、ステップS12〜S16の処理の一部を並行して実行してもよい。
画像処理において、CPU210は、図18のステップS12〜S16の処理を順次実行するが、これに限定されない。CPU210は、ステップS12〜S16の処理の一部を並行して実行してもよい。
図25は、画像処理の取得処理の並行処理のタイミングチャートである。図25の横軸は時間である。
1つの単位領域の画像処理は、走査前の処理(以下、前処理と呼ぶ)、走査中の処理(以下、走査中処理と呼ぶ)および走査後の処理(以下、後処理と呼ぶ)からなる。
前処理は、記憶装置240における共焦点画像データの記憶領域の確保、単位領域の位置等のパラメータの設定、ステージ60の移動、およびX−Yスキャン光学系20の安定待ちを含む。走査中処理は、X−Yスキャン光学系20によるレーザ光の走査、対物レンズ3のZ方向の移動、制御部300からPC200への画素データの転送およびPCでの画素データの記憶を含む。後処理は、PC200での共焦点画像データの生成、表面画像データの生成および表面画像データの記憶を含む。
図25に示すように、1番目の単位領域についての前処理および走査中処理が行われた後、1番目の単位領域についての後処理の開始と同時に2番目の単位領域についての前処理が開始される。2番目の単位領域についての前処理の終了後に2番目の単位領域についての走査中処理および後処理が順に行われる。同様に、2番目の単位領域についての後処理の開始と同時に3番目の単位領域についての前処理が開始される。3番目の単位領域の前処理の終了後に3番目の単位領域の走査中処理および後処理が順に行われる。
このように、各単位領域の後処理と次の単位領域の走査中処理および後処理を並列して行うことができる。それにより、複数の単位領域の画素データの取得に要する時間を低減することができる。
(7)対物レンズのZ方向の移動範囲の自動設定
図17のステップS3においては、対物レンズ3のZ方向の移動範囲は、使用者により手動で設定されるが、これに限定されない。対物レンズ3のZ方向の移動範囲は、CPU210により自動的に設定されてもよい。
図17のステップS3においては、対物レンズ3のZ方向の移動範囲は、使用者により手動で設定されるが、これに限定されない。対物レンズ3のZ方向の移動範囲は、CPU210により自動的に設定されてもよい。
手動設定においては、対物レンズ3のZ方向の移動範囲は、観察対象物Sの表面の最も低い部分および最も高い部分に対応する画素データが適切に取得されるように設定される。したがって、観察対象物Sの表面が大きな凹凸または大きな傾斜を含む場合、対物レンズ3のZ方向の移動範囲を大きくする必要がある。そのため、取得される画素データの容量および画素データの取得に要する時間が増加する。
一方、自動設定においては、観察対象物Sの表面の高低差に対応して単位領域ごとに対物レンズ3のZ方向の移動範囲が設定される。以下、対物レンズ3のZ方向の移動範囲を自動設定するための上下限自動設定処理の詳細について説明する。
図26は、1つの画素についての対物レンズ3のZ方向の位置と有効な画素データの値との関係を説明するための図である。図26において、縦軸は画素データの値を表し、横軸は対物レンズ3のZ方向の位置を表す。図26の横軸においては、左から右に向かって対物レンズ3のZ方向の位置が高くなる。
画素データは受光素子30から出力される受光信号に対応するデジタル信号である。そのため、画素データの値は、受光素子30のゲインが大きくなるほど大きく、受光素子30のゲインが小さくなるほど小さい。また、画素データはA/D変換器から出力される。したがって、画素データの上限値は、A/D変換器の出力レンジの上限値(以下、出力上限値と呼ぶ)である。
画素データの値が出力上限値maxで飽和すると、受光素子30の受光強度に対応する画素データの値を得ることができない。また、画素データの値がノイズレベルnl以下であると、画素データのピークを受光素子30のノイズから明確に識別することはできない。以下では、出力上限値maxよりも小さく、ノイズレベルnlよりも大きい画素データの値を有効な画素データの値と呼ぶ。
図26においては、有効な画素データの値の範囲が矢印HLで示される。この場合、曲線l1で示すように、受光素子30に任意の第1のゲインが設定されているときに、1つの画素についての画素データの値は、対物レンズ3がピーク位置z0よりも低い位置ma1からピーク位置z0よりも高い位置mb1までの範囲にある状態で有効となる。
したがって、1つの画素についての有効な画素データの値を取得するための対物レンズ3のZ方向の上限位置および下限位置は、出力上限値maxおよびノイズレベルnlに応じて定まる。
図26に曲線l2で示すように、受光素子30に第1のゲインよりも小さい第2のゲインが設定されると、画素データの値は、受光素子30に第1のゲインが設定されている場合に比べて全体的に小さくなる。この場合、1つの画素についての画素データの値は、対物レンズ3が位置ma1よりも高い位置ma2から位置mb1よりも低い位置mb2までの範囲にある状態で有効となる。このように、受光素子30に設定されるゲインが変化すると、有効な画素データの値を得ることができる対物レンズ3のZ方向の上限位置および下限位置も変化する。
図27は、高さ画像データおよび超深度画像データの生成時における対物レンズ3のZ方向の上限位置および下限位置の設定方法を説明するための図である。
初めに対物レンズ3をZ方向の任意の位置zs1に保持した状態で、単位領域のX方向およびY方向の走査を行うことにより、単位領域内の全ての画素に対応する画素データを取得する。この状態で、全ての画素データの値が予め定められた規定値以上でない場合、受光素子30のゲインを一定量増加させる。
次に、後述する評価値のピーク位置探索処理により、図27に太い実線の矢印naで示すように、例えば対物レンズ3を一定量ずつZ方向に移動させつつ評価値を算出し、算出された評価値に基づいて評価ピーク位置Ez0を探索する。ここで、評価値は、単位領域の全画素に対応する画素データの値の和である。また、評価値がピーク値を示すときの対物レンズ3のZ方向の位置を評価ピーク位置Ez0と呼ぶ。この探索時には、算出される評価値が、出力上限値Emaxに達するごとに一定量ゲインを減少させる。出力上限値Emaxは、A/D変換器30の出力上限値maxと単位領域内の全画素数との乗算値である。これにより、検出される評価ピーク位置Ez0を基準として対物レンズ3の上限位置UPおよび下限位置BPを探索することができる。
続いて、対物レンズ3を評価ピーク位置Ez0に移動させる。この状態で、単位領域のX方向およびY方向の走査を行うことにより、単位領域内の全ての画素に対応する画素データを取得する。
いずれかの画素データの値が出力上限値maxである場合には、その画素データの値は有効ではない。そこで、受光素子30のゲインを一定量減少させる。その後、再び単位領域のX方向およびY方向の走査を行うことにより、単位領域内の全ての画素に対応する画素データを取得する。
上記のゲイン調整および画素データの取得を繰り返すことにより、全ての画素データの値が出力上限値maxよりも小さくなった場合に、全ての画素データの値がノイズレベルnl以下であるか否かを判定する。
全ての画素データの値がノイズレベルnl以下でない場合、図27に太い実線の矢印nbで示すように、対物レンズ3を一定量上方向に移動させる。
続いて、上記のゲイン調整、画素データの取得、画素データの判定動作および対物レンズ3の上方向への移動を繰り返す。それにより、最終的に、全ての画素データの値がノイズレベルnl以下であると判定されたときの対物レンズ3のZ方向の位置を上限位置UPとして設定する。
上限位置UPの設定後、対物レンズ3を最後に受光素子30のゲインが減少された時点の位置までZ方向に移動させる。この状態で、単位領域のX方向およびY方向の走査を行うことにより、単位領域内の全ての画素に対応する画素データを取得する。
この場合においても、上記と同様に、いずれかの画素データの値が出力上限値maxである場合には、受光素子30のゲインを一定量減少させる。その後、再び単位領域のX方向およびY方向の走査を行うことにより、単位領域内の全ての画素に対応する画素データを取得する。
上記のゲイン調整および画素データの取得を繰り返すことにより、全ての画素データの値が出力上限値maxよりも小さくなった場合には、全ての画素データの値がノイズレベルnl以下であるか否かを判定する。
全ての画素データの値がノイズレベルnl以下でない場合、図27に太い実線の矢印ncで示すように、対物レンズ3を一定量下方向に移動させる。続いて、上記のゲイン調整、画素データの取得、画素データの判定動作および対物レンズ3の下方向への移動を繰り返す。最終的に、全ての画素データの値がノイズレベルnl以下であると判定されたときの対物レンズ3のZ方向の位置を下限位置BPとして設定する。
ここで、受光素子30のゲインが変化すると、有効な画素データの値を得ることができる対物レンズ3のZ方向の範囲も変化する。そこで、上限位置UPの設定後の下限位置BPの設定時に受光素子30のゲインが減少された場合、対物レンズ3を最後に受光素子30のゲインが減少された時点の位置に移動させた後、図27に太い実線の矢印ndで示すように、再び上限位置UPを探索する。
再度の上限位置UPの探索時には、対物レンズ3は初回の上限位置UPの探索時とほぼ同じ範囲でZ方向に移動する。そのため、受光素子30のゲインはほとんど減少されない。これにより、受光素子30が下限位置BPの設定時のゲインとほぼ同じゲインに調整された状態で、上限位置UPが再設定される。
上記のように、上下限自動設定処理が実行された場合には、ピーク位置探索処理により受光素子30のゲインが調整されつつ対物レンズ3のピーク位置z0が探索される。この場合、画素データの値が出力上限値maxで飽和しない。また、画素データの値がノイズレベルnlよりも小さくならない。これにより、対物レンズ3が移動することによる画素データの値の変化におけるピークの位置が検出され、ピーク位置z0が自動的に検出される。
その後、検出されたピーク位置z0に対物レンズ3が移動され、上限位置UPおよび下限位置BPの探索が行われる。これにより、高さ画像データおよび超深度画像データの生成時の対物レンズ3の上限位置UPおよび下限位置BPが設定される。
次に、評価値のピーク位置探索処理について説明する。図28は、評価値のピーク位置探索処理を説明するための図である。図28(a)に対物レンズ3のZ方向の位置と評価値との関係が示される。図28(a)において、縦軸は評価値を表し、横軸は対物レンズ3のZ方向の位置を表す。図28(a)の横軸においては、左から右に向かって対物レンズ3のZ方向の位置が高くなる。
ピーク位置探索処理の開始時においては、受光素子30のゲインは、算出される評価値が出力上限値Emaxよりも小さくかつノイズレベルnlよりも十分に大きくなるように設定される。出力上限値Emaxは、A/D変換器の出力上限値maxと単位領域の画素数との乗算値である。受光素子30のゲインは、算出される評価値が出力上限値Emaxの例えば1/2になるように設定される。
その後、図28(a)に太い実線の矢印で示すように、対物レンズ3を現在のZ方向の位置zs1(評価ピーク位置z0よりも低い位置)から徐々に上に向かう方向に移動させつつ設定されたゲインで単位領域の全画素に対応する画素データを取得するとともに評価値を算出する。
この場合、評価値は対物レンズ3がピーク位置z0に到達するまでの間、指数関数的に増加する。そこで、このピーク位置探索処理においては、評価値が出力上限値Emaxに達するごとに一定量ゲインを減少させる。
これにより、対物レンズ3がZ方向の位置zs1から評価ピーク位置Ez0に移動するまでの間、指数関数的に増加する画素データの値が出力上限値maxで飽和することが防止される。その結果、評価ピーク位置Ez0の近傍では、最終的に受光素子30のゲインが適切な値に設定される。
評価値は受光素子30のゲインが減少すると小さくなる。そのため、ピーク位置探索処理においては、受光素子30のゲインの減少回数に基づいて、算出された評価値を補正する。
この補正は、例えば、算出された評価値にピーク位置探索処理の開始後の受光素子30のゲインの減少回数と出力上限値Emaxとの乗算値を加算することにより行う。これにより、対物レンズ3のZ方向の全範囲に渡って、補正後の評価値と受光素子30の受光強度とを近似的に対応付けることが可能となる。
図28(b)に対物レンズ3のZ方向の位置と補正された評価値との関係が示される。図28(b)において、縦軸は補正後の評価値を表し、横軸は対物レンズ3のZ方向の位置を表す。図28(b)の横軸においては、左から右に向かって対物レンズ3のZ方向の位置が高くなる。
図28(b)に示すように、補正後の評価値は、受光素子30の受光強度と同様に、ピーク値まで指数関数的に増加した後、ピーク値から指数関数的に減少する。これにより、対物レンズ3をZ方向の一方向(上に向かう方向)に移動させることにより、補正後の評価値の増減が切り替わったことが検出され、補正後の評価値の増減の切り替わりの後に補正後の評価値が予め定められた値pi2分減少したことが検出され、補正後の評価値の増減の切り替わりの前に補正後の評価値が予め定められた値pi1分増加したことが検出された場合に、評価値がピーク値を示すときの対物レンズ3の位置を評価ピーク位置Ez0として検出することができる。
画素データの値は、受光素子30のノイズの影響により変化する。そこで、上記の値pi1,pi2は、例えばノイズレベルnlと単位領域の画素数との乗算値よりも大きい値に設定される。これにより、補正後の評価値が受光素子30のノイズの影響により変化する場合でも、評価ピーク位置Ez0が誤って検出されることが防止される。上記の値pi1,pi2は、後述する第1および第2の識別値にそれぞれ対応する。値pi1,pi2は、同じ値であってもよいし、互いに異なる値であってもよい。
上記のように、ピーク位置探索処理により受光素子30のゲインが調整されつつ評価ピーク位置Ez0が探索される。
このように、単位領域ごとに上下限自動設定処理が行われるので、レーザ光の無駄な走査が低減され、高さ画像データおよび超深度画像データの生成時間が短縮される。
その後、単位領域ごとに設定されたZ方向の移動範囲内で対物レンズ3が移動されることにより、単位領域ごとに画素データが取得される。この場合、受光素子30のゲインは複数の単位領域において同一に設定される。
(8)実施の形態の効果
本実施の形態に係る共焦点顕微鏡システム500においては、使用者により画素データの取得範囲が指示されると、その指示に基づいて複数の単位領域が設定されるとともに、取得範囲内の画素データの総画素数が算出される。算出された総画素数と作業用メモリ230の表示処理可能画素数とが比較され、算出された総画素数が作業用メモリ230の表示処理可能画素数を超える場合、単位領域の複数の画素データの取得率が調整される。そのため、使用者が画素データの取得範囲として広い範囲を指示した場合でも、連結された表面画像データの量が表示のために使用可能な作業用メモリ230の容量を超えることを防止することができる。これにより、画素データの取得範囲にかかわらず観察対象物Sの表面の画像を表示することができる。また、画素データの取得に要する時間を短縮化することができる。
本実施の形態に係る共焦点顕微鏡システム500においては、使用者により画素データの取得範囲が指示されると、その指示に基づいて複数の単位領域が設定されるとともに、取得範囲内の画素データの総画素数が算出される。算出された総画素数と作業用メモリ230の表示処理可能画素数とが比較され、算出された総画素数が作業用メモリ230の表示処理可能画素数を超える場合、単位領域の複数の画素データの取得率が調整される。そのため、使用者が画素データの取得範囲として広い範囲を指示した場合でも、連結された表面画像データの量が表示のために使用可能な作業用メモリ230の容量を超えることを防止することができる。これにより、画素データの取得範囲にかかわらず観察対象物Sの表面の画像を表示することができる。また、画素データの取得に要する時間を短縮化することができる。
さらに、複数の単位領域についての表面画像データが生成された後に、複数の単位領域についての表面画像データの量が表示のために使用可能な作業用メモリ230の容量を超えないように使用者が表面画像データを間引く必要がない。そのため、表示できない量の表面画像データの生成に多大な時間を費やす必要がない。その結果、無駄な時間を費やさずに観察対象物Sの表面の画像を表示することできる。
(9)他の実施の形態
(9−1)上記実施の形態において、X−Yスキャン光学系20が制御されることによりレーザ光が観察対象物S上でX方向およびY方向に走査されるが、これに限定されない。ステージ60が移動されることによりレーザ光が観察対象物S上でX方向およびY方向に走査されてもよい。
(9−1)上記実施の形態において、X−Yスキャン光学系20が制御されることによりレーザ光が観察対象物S上でX方向およびY方向に走査されるが、これに限定されない。ステージ60が移動されることによりレーザ光が観察対象物S上でX方向およびY方向に走査されてもよい。
また、レーザ光としてライン光(例えばX方向に延びる細長い光)が用いられてもよい。この場合、X−Yスキャン光学系20に代えてX方向への走査を行わないYスキャン光学系が用いられる。また、受光素子30に代えて、X方向に対応する方向に配列された複数の受光素子からなるラインCCDカメラ等が用いられる。
なお、ラインCCDカメラの各受光素子のY方向に対応する方向の受光面のサイズは一般的に数10μmである。この場合、ラインCCDカメラの受光面がレンズ2の焦点位置に配置される。観察対象物Sの表面が対物レンズ3の焦点位置にあるときに、観察対象物Sにより反射されたライン光がラインCCDカメラの受光面に集光される。それにより、観察対象物Sにより反射されたライン光の大部分がラインCCDカメラの受光面に入射する。
一方、観察対象物Sが対物レンズ3の焦点位置が外れた位置にあるときには、観察対象物Sにより反射されたライン光はラインCCDカメラの受光面の前または後の位置に集光される。それにより、観察対象物Sにより反射されたライン光の一部のみがラインCCDカメラの受光面に入射する。したがって、ラインCCDカメラの前にピンホール部材7を配置することが不要となる。
(9−2)上記実施の形態において、対物レンズ3がZ方向に移動されることにより対物レンズ3に対する観察対象物Sの相対的なZ方向の位置が変化されるが、これに限定されない。ステージ60がZ方向に移動されることにより対物レンズ3に対する観察対象物Sの相対的なZ方向の位置が変化されてもよい。
(9−3)上記実施の形態において、PC200のCPU210が制御部300の機能を有していてもよい。この場合、制御部300は設けられなくてもよい。
(10)請求項の各構成要素と実施の形態の各部との対応関係
以下、請求項の各構成要素と実施の形態の各部との対応の例について説明するが、本発明は下記の例に限定されない。
以下、請求項の各構成要素と実施の形態の各部との対応の例について説明するが、本発明は下記の例に限定されない。
観察対象物Sが観察対象物の例であり、超深度画像または高さ画像が表面の画像の例であり、共焦点顕微鏡システム500が共焦点顕微鏡システムの例であり、受光素子30が受光素子の例である。レンズ1,2、対物レンズ3、ピンホール部材7およびレーザ光源10が共焦点光学系の例である。単位領域s1〜s16が単位領域の例であり、撮影領域r1〜r25が領域の例であり、X方向が第1の方向の例であり、Y方向が第2の方向の例であり、Z方向が第3の方向の例である。
レンズ駆動部63が相対的距離変化部の例であり、制御部300が制御部の例であり、表示部400が表示部の例であり、カメラ画像が非共焦点画像の例である。カラーCCDカメラ50、制御部300およびPC200が非共焦点画像取得部の例であり、ステージ60が支持部の例である。PC200が画像データ生成部、観察範囲指示受付部、観察範囲設定部、画像データ処理部、データ取得量調整部、拡大指示受付部、表示範囲拡大部および処理装置の例である。
請求項の各構成要素として、請求項に記載されている構成または機能を有する他の種々の要素を用いることもできる。
本発明は、種々の共焦点顕微鏡システム、画像処理方法および画像処理プログラムに有効に利用することができる。
1,2 レンズ
3 対物レンズ
4〜6 ハーフミラー
7 ピンホール部材
8 NDフィルタ
10 レーザ光源
20 X−Yスキャン光学系
30 受光素子
40 照明用白色光源
50 カラーCCDカメラ
60 ステージ
61 ステージ操作部
62 ステージ駆動部
63 レンズ駆動部
100 測定部
200 PC
210 CPU
220 ROM
230 作業用メモリ
240 記憶装置
300 制御部
400 表示部
410 画像表示領域
420 条件設定領域
421 範囲設定ボタン
422 取得開始ボタン
423 ナビゲーション表示ボタン
430a〜430c 取得範囲設定画面
431 指定方法設定欄
431a〜431c チェックボックス
432 指定範囲設定欄
432a 上端設定部
432b 左端設定部
432c 右端設定部
432d 下端設定部
432e,432f 長さ指定部
432g,432h 単位領域数指定部
433 設定値表示欄
434a 次へボタン
434b 終了ボタン
440 ナビゲーション表示画面
441 カメラ画像表示領域
442 撮影範囲決定ボタン
443 撮影範囲拡大ボタン
500 共焦点顕微鏡システム
BP 下限位置
Emax,max 出力上限値
Ez0 評価ピーク位置
fp 焦点位置
HL,na〜nd 矢印
Lx,Ly 線分
l1,l2 曲線
M マスク
ma1,ma2,mb1,mb2,zs1 位置
Nx,Ny 取得数
nl ノイズレベル
p1,p2 点
pi1,pi2 値
R 取得範囲表示枠
r1〜r25 撮影領域
S 観察対象物
s1〜s16 単位領域
UP 上限位置
z0 ピーク位置
3 対物レンズ
4〜6 ハーフミラー
7 ピンホール部材
8 NDフィルタ
10 レーザ光源
20 X−Yスキャン光学系
30 受光素子
40 照明用白色光源
50 カラーCCDカメラ
60 ステージ
61 ステージ操作部
62 ステージ駆動部
63 レンズ駆動部
100 測定部
200 PC
210 CPU
220 ROM
230 作業用メモリ
240 記憶装置
300 制御部
400 表示部
410 画像表示領域
420 条件設定領域
421 範囲設定ボタン
422 取得開始ボタン
423 ナビゲーション表示ボタン
430a〜430c 取得範囲設定画面
431 指定方法設定欄
431a〜431c チェックボックス
432 指定範囲設定欄
432a 上端設定部
432b 左端設定部
432c 右端設定部
432d 下端設定部
432e,432f 長さ指定部
432g,432h 単位領域数指定部
433 設定値表示欄
434a 次へボタン
434b 終了ボタン
440 ナビゲーション表示画面
441 カメラ画像表示領域
442 撮影範囲決定ボタン
443 撮影範囲拡大ボタン
500 共焦点顕微鏡システム
BP 下限位置
Emax,max 出力上限値
Ez0 評価ピーク位置
fp 焦点位置
HL,na〜nd 矢印
Lx,Ly 線分
l1,l2 曲線
M マスク
ma1,ma2,mb1,mb2,zs1 位置
Nx,Ny 取得数
nl ノイズレベル
p1,p2 点
pi1,pi2 値
R 取得範囲表示枠
r1〜r25 撮影領域
S 観察対象物
s1〜s16 単位領域
UP 上限位置
z0 ピーク位置
Claims (6)
- 観察対象物の表面の画像を表示する共焦点顕微鏡システムであって、
受光素子と、
観察対象物の表面に設定された単位領域に光を照射するとともに、単位領域に照射された光を前記受光素子に導く共焦点光学系と、
単位領域に垂直な方向に沿った複数の位置で単位領域内での前記共焦点光学系による光の照射が行われるように前記共焦点光学系と前記観察対象物との相対的な距離を変化させる相対的距離変化部と、
前記共焦点光学系および前記相対的距離変化部を制御するとともに、前記受光素子の出力信号に基づいて単位領域内で互いに直交する第1および第2の方向に並ぶ複数の画素に対応する複数の画素データを順次取得する制御部と、
前記制御部により取得された複数の画素データに基づいて単位領域の共焦点画像データを生成するとともに前記共焦点画像データに基づいて観察対象物の表面の画像を表示するための表面画像データを生成する画像データ生成部と、
使用者による観察範囲の指示を受け付ける観察範囲指示受付部と、
前記観察範囲指示受付部により受け付けられた指示に基づいて観察範囲として複数の単位領域を設定する観察範囲設定部と、
前記観察範囲設定部により設定された複数の単位領域について前記画像データ生成部により生成された表面画像データを連結する画像データ処理部と、
前記観察範囲設定部により設定された複数の単位領域に含まれる画素数と予め設定されたしきい値とを比較し、比較結果に基づいて各単位領域について前記制御部により取得される画素データの数を調整するデータ取得量調整部と、
前記画像データ処理部により連結された複数の単位領域の表面画像データに基づいて観察対象物の表面の画像を表示する表示部とを備えることを特徴とする共焦点顕微鏡システム。 - 観察対象物の非共焦点画像を取得する非共焦点画像取得部をさらに備え、
前記観察範囲指示受付部は、前記非共焦点画像取得部により取得された非共焦点画像を前記表示部に表示させるとともに、前記表示された非共焦点画像上で使用者による観察範囲の指示を受け付けることを特徴とする請求項1記載の共焦点顕微鏡システム。 - 前記観察範囲指示受付部は、前記表示された非共焦点画像を使用者が指定可能な複数の領域に分割し、使用者により取得除外対象として指定された領域を観察範囲から除外することを特徴とする請求項2記載の共焦点顕微鏡システム。
- 前記観察対象物を支持するとともに前記第1および第2の方向に移動可能に設けられた支持部と、
前記表示部に表示される非共焦点画像の範囲の拡大の指示を受け付ける拡大指示受付部と、
前記拡大指示受付部により前記拡大の指示が受け付けられた場合に、前記支持部を移動させることにより前記表示部に表示される非共焦点画像の範囲を拡大させる表示範囲拡大部とをさらに備えた請求項2または3記載の共焦点顕微鏡システム。 - 観察対象物の表面の画像を表示する画像処理方法であって、
共焦点光学系により観察対象物の表面に設定された単位領域に光を照射するとともに、単位領域に照射された光を受光素子に導くステップと、
単位領域に垂直な方向に沿った複数の位置で単位領域内での前記共焦点光学系による光の照射が行われるように前記共焦点光学系と観察対象物との相対的な距離を変化させるステップと、
前記受光素子の出力信号に基づいて単位領域内で互いに直交する第1および第2の方向に並ぶ複数の画素に対応する複数の画素データを順次取得するステップと、
取得された複数の画素データに基づいて単位領域の共焦点画像データを生成するとともに前記共焦点画像データに基づいて観察対象物の表面の画像を表示するための表面画像データを生成するステップと、
使用者による観察範囲の指示を受け付けるステップと、
受け付けられた指示に基づいて観察範囲として複数の単位領域を設定するステップと、
設定された複数の単位領域について生成された表面画像データを連結するステップと、
設定された複数の単位領域に含まれる画素数と予め設定されたしきい値とを比較し、比較結果に基づいて各単位領域について取得される画素データの数を調整するステップと、
連結された複数の単位領域の表面画像データに基づいて観察対象物の表面の画像を表示するステップとを含むことを特徴とする画像処理方法。 - 観察対象物の表面の画像を表示する画像処理を処理装置に実行させる画像処理プログラムであって、
共焦点光学系により観察対象物の表面に設定された単位領域に光を照射するとともに、単位領域に照射されたレーザ光を受光素子に導く処理と、
単位領域に垂直な方向に沿った複数の位置で単位領域内での前記共焦点光学系による光の照射が行われるように前記共焦点光学系と観察対象物との相対的な距離を変化させる処理と、
前記受光素子の出力信号に基づいて単位領域内で互いに直交する第1および第2の方向に並ぶ複数の画素に対応する複数の画素データを順次取得する処理と、
取得された複数の画素データに基づいて単位領域の共焦点画像データを生成するとともに前記共焦点画像データに基づいて観察対象物の表面の画像を表示するための表面画像データを生成する処理と、
使用者による観察範囲の指示を受け付ける処理と、
受け付けられた指示に基づいて観察範囲として複数の単位領域を設定する処理と、
設定された複数の単位領域について生成された表面画像データを連結する処理と、
設定された複数の単位領域に含まれる画素数と予め設定されたしきい値とを比較し、比較結果に基づいて各単位領域について取得される画素データの数を調整する処理と、
連結された複数の単位領域の表面画像データに基づいて観察対象物の表面の画像を表示する処理とを、
前記処理装置に実行させることを特徴とする画像処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011009675A JP2012150335A (ja) | 2011-01-20 | 2011-01-20 | 共焦点顕微鏡システム、画像処理方法および画像処理プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011009675A JP2012150335A (ja) | 2011-01-20 | 2011-01-20 | 共焦点顕微鏡システム、画像処理方法および画像処理プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012150335A true JP2012150335A (ja) | 2012-08-09 |
Family
ID=46792626
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011009675A Pending JP2012150335A (ja) | 2011-01-20 | 2011-01-20 | 共焦点顕微鏡システム、画像処理方法および画像処理プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2012150335A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9383569B2 (en) | 2011-10-14 | 2016-07-05 | Keyence Corporation | Magnification observation device |
JP2019074669A (ja) * | 2017-10-17 | 2019-05-16 | 株式会社キーエンス | 拡大観察装置 |
-
2011
- 2011-01-20 JP JP2011009675A patent/JP2012150335A/ja active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9383569B2 (en) | 2011-10-14 | 2016-07-05 | Keyence Corporation | Magnification observation device |
JP2019074669A (ja) * | 2017-10-17 | 2019-05-16 | 株式会社キーエンス | 拡大観察装置 |
US10539775B2 (en) | 2017-10-17 | 2020-01-21 | Kerence Corporation | Magnifying observation apparatus |
JP7023667B2 (ja) | 2017-10-17 | 2022-02-22 | 株式会社キーエンス | 拡大観察装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5732353B2 (ja) | 拡大観察装置、拡大観察方法および拡大観察プログラム | |
JP5732265B2 (ja) | 顕微鏡システム、焦点位置検出方法および焦点位置検出プログラム | |
JP5846844B2 (ja) | 拡大観察装置 | |
US9798129B2 (en) | Microscope system and method for deciding stitched area | |
JP6147079B2 (ja) | 顕微鏡システム、貼り合わせ領域の決定方法、及び、プログラム | |
JP6132650B2 (ja) | 共焦点顕微鏡装置 | |
JP2012155010A (ja) | 顕微鏡システム、表面状態観察方法および表面状態観察プログラム | |
JP2005172805A (ja) | 試料情報測定方法および走査型共焦点顕微鏡 | |
JP2010112969A (ja) | 共焦点顕微鏡 | |
JP5663428B2 (ja) | 顕微鏡システム、対象物観察方法および対象物観察プログラム | |
JP2018194780A (ja) | 顕微鏡システム、制御方法、及び、プログラム | |
US10721413B2 (en) | Microscopy system, microscopy method, and computer readable recording medium | |
JP2012150335A (ja) | 共焦点顕微鏡システム、画像処理方法および画像処理プログラム | |
JP2014085599A (ja) | 顕微鏡 | |
JP5019279B2 (ja) | 共焦点顕微鏡及び合焦カラー画像の生成方法 | |
JP2017173683A (ja) | 顕微鏡システムおよび標本観察方法 | |
JP2010020206A (ja) | 顕微鏡装置 | |
JP7430597B2 (ja) | 白色干渉顕微鏡 | |
JP6161678B2 (ja) | 共焦点顕微鏡システム | |
JP5957063B2 (ja) | 顕微鏡システム | |
JP5847282B2 (ja) | 共焦点顕微鏡システム | |
JP5892424B2 (ja) | 画像取得方法、画像取得装置及び走査型顕微鏡 | |
JP5809325B2 (ja) | 顕微鏡システム | |
JP4679840B2 (ja) | レーザ走査型顕微鏡装置 | |
JP2017044752A (ja) | 顕微鏡システム、制御方法、プログラム、貼り合わせ画像生成方法 |