JP2004145153A - 光量飽和表示機能付共焦点顕微鏡 - Google Patents
光量飽和表示機能付共焦点顕微鏡 Download PDFInfo
- Publication number
- JP2004145153A JP2004145153A JP2002311958A JP2002311958A JP2004145153A JP 2004145153 A JP2004145153 A JP 2004145153A JP 2002311958 A JP2002311958 A JP 2002311958A JP 2002311958 A JP2002311958 A JP 2002311958A JP 2004145153 A JP2004145153 A JP 2004145153A
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixel
- luminance
- light
- confocal microscope
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Microscoopes, Condenser (AREA)
- Studio Devices (AREA)
Abstract
【課題】受光ゲイン等を最適の状態に調整する作業が容易な光量飽和表示機能付共焦点顕微鏡を提供する。
【解決手段】光量飽和表示機能付共焦点顕微鏡が備える輝度飽和判別回路73は、画像の各画素の入力信号の輝度を飽和直前の設定輝度と比較する比較器74と、所定の色の画素映像信号を出力する飽和画素用映像信号発生器77と、比較器74の出力にしたがって入力信号の輝度が設定輝度より高い場合は飽和画素用映像信号発生器77からの画素映像信号で入力信号を置き換えて映像信号とするセレクタ76を含んでいる。表示装置の画面に表示される試料表面の画像において、飽和直前の設定輝度以上の画素が赤色等に着色表示される。
【選択図】 図7
【解決手段】光量飽和表示機能付共焦点顕微鏡が備える輝度飽和判別回路73は、画像の各画素の入力信号の輝度を飽和直前の設定輝度と比較する比較器74と、所定の色の画素映像信号を出力する飽和画素用映像信号発生器77と、比較器74の出力にしたがって入力信号の輝度が設定輝度より高い場合は飽和画素用映像信号発生器77からの画素映像信号で入力信号を置き換えて映像信号とするセレクタ76を含んでいる。表示装置の画面に表示される試料表面の画像において、飽和直前の設定輝度以上の画素が赤色等に着色表示される。
【選択図】 図7
Description
【0001】
【発明の属する技術分野】
本発明は、試料からの光情報に基づいて試料の超深度画像や高さ分布等の情報を取得するための共焦点顕微鏡に関し、特に、光量飽和表示機能付共焦点顕微鏡に関する。
【0002】
【従来の技術】
共焦点顕微鏡では、試料からの光が共焦点光学系を介して受光素子で受光され、その受光量に基づいて、試料の超深度画像(焦点深度が非常に深い画像)や高さ分布等の情報が取得される。ステージに載置された試料と対物レンズとの相対距離を光軸方向に変化させると、共焦点光学系を介して受光素子に入射する光の量、すなわち受光量が変化し、試料の表面にピントが合ったときに受光量が最大となる。したがって、最大受光量が得られるときの試料と対物レンズとの相対距離から試料の表面の高さ情報を算出し、試料の表面を光で走査することによって試料の表面の高さ分布を取得することができる。
【0003】
取得された高さ分布は、例えば三次元表示によって表示装置の画面上に表示される。あるいは、高さ分布を輝度分布や色分布に置き換えたものが画面上に表示される。表示装置としてCRT(陰極線管)やLCD(液晶表示装置)が使用され、共焦点顕微鏡に制御用のコントローラ、表示装置、コンソール等が接続されて共焦点顕微鏡システムが構成される。
【0004】
また、試料表面の各点(画素)でピントが合ったときの受光量の情報(すなわち各画素の最大輝度情報)をつなぎ合わせることにより、焦点深度の非常に深い試料表面の白黒画像を得ることができる。この画像がいわゆる超深度画像である。
【0005】
また、任意の注目画素で最大受光量が得られるように試料と対物レンズとの相対距離(高さ)を固定した場合は、注目画素の部分と高低差が大きい部分の画素の受光量は著しく小さくなり、注目画素と同じ高さの部分のみが明るい画像(これをスライス画像という)が得られる。
【0006】
更に、白色光で照射された試料からの光を共焦点光学系から分離してカラー撮像素子で受光することにより、超深度画像と同じ範囲の試料表面のカラー画像を表示する機能を備えた共焦点顕微鏡もある。このカラー画像は超深度画像と異なり焦点深度の浅いものであるが、その輝度信号を超深度画像の輝度信号で置き換えるような合成処理を行うことにより、焦点深度の深いカラー画像(カラー超深度画像ということもある)を得ることも可能である。
【0007】
上記のような共焦点顕微鏡を用いた試料の測定において、例えば試料表面の光反射率が非常に高いために、受光素子又は信号処理回路が飽和する場合がある。この場合は、最大受光量が得られるときの試料と対物レンズとの相対距離(高さ)を正確に求めることができない。したがって、受光量(又は受光信号)が飽和しないように、受光感度(信号処理回路の受光ゲイン)を下げ、又はNDフィルタによる光減衰量を上げる調整を行う必要がある。
【0008】
共焦点顕微鏡のユーザは、例えば画面に表示された試料の画像に輝度が飽和している部分(いわゆる白飛び部分)がある場合は、その部分で受光素子又は信号処理回路の飽和が発生していると判断して、上記のような受光ゲイン等の調整を行う。しかし、表面の光反射率が大きく変化している試料において、光反射率が小さい部分(暗い部分)を詳しく観察したい場合には、光反射率が大きい部分(明るい部分)で白飛びが発生しても、それを無視して受光ゲイン等を上げることがある。
【0009】
したがって、輝度飽和(白飛び)の判断とそれに基づく受光ゲイン等の調整はユーザがケースバイケースで行うことが多い。輝度飽和の判断の指標として、従来ではスライス画像や超深度画像における最大輝度部分の受光量を画面に表示している共焦点顕微鏡がある。
【0010】
【発明が解決しようとする課題】
しかし、最大輝度部分の受光量を画面に表示するだけでは、画面全体の輝度の分布が分からないので、受光ゲイン等を最適の状態に調整することが容易ではない。特に、前述のように画面表示された試料表面の画像の特定部分を詳しく観察したいような場合に、その部分の輝度が飽和しないで、かつ、できるだけ明るく(観察しやすく)表示されるように受光ゲイン等を調節することが難しい。
【0011】
本発明は、上記のような従来の課題に鑑み、受光ゲイン等を最適の状態に調整する作業が容易な光量飽和表示機能付共焦点顕微鏡を提供することを目的とする。
【0012】
【課題を解決するための手段】
本発明の光量飽和表示機能付共焦点顕微鏡は、試料表面からの光を共焦点光学系を介して受光素子で受光し、その受光情報に基づいて試料表面の高さ情報及び光量情報を取得し、取得した情報を処理して得られる試料表面の画像を表示装置の画面に表示する共焦点顕微鏡であって、試料表面の画像を表示装置の画面に表示する際に、画像を構成する画素のうち輝度が飽和している画素又は飽和直前の設定輝度以上の画素に所定の色を付して表示する機能を備えていることを特徴とする。
【0013】
このような機能を有することにより、白黒表示であるスライス画像や超深度画像において、輝度が飽和している画素又は飽和直前の設定輝度以上の画素が例えば赤色で表示される。これにより、ユーザは画像を目視でチェックしながら受光ゲイン等を最適の状態に調整する作業を容易に行うことができる。特に、試料表面の画像の特定部分を詳しく観察したいような場合に、その部分の輝度が飽和しないで、かつ、できるだけ明るく表示されるように受光ゲイン等を調節する作業が行いやすくなる。
【0014】
好ましい実施形態において本発明の光量飽和表示機能付共焦点顕微鏡は、試料表面の任意の点で最大受光量が得られるように高さを固定したときの各点の受光量を表すスライス画像において、スライス画像を構成する画素のうち輝度が飽和している画素又は飽和直前の設定輝度以上の画素に所定の色を付してリアルタイム表示する機能を備えている。超深度画像を得るには前述のようなソフトウェア又はハードウェア処理が必要であり、その処理が完了するまでに一定の時間がかかるが、スライス画像の場合はすぐに表示される。したがって、受光ゲイン等を調節するとほとんど遅延無く調整後のスライス画像が表示される。このように、飽和している画素又は飽和直前の設定輝度以上の画素に所定の色を付した画像がリアルタイムで表示されるので、受光ゲイン等の調節を行いやすくなる。
【0015】
別の好ましい実施形態において本発明の光量飽和表示機能付共焦点顕微鏡は、画像の各画素の輝度を設定輝度と比較する比較器と、所定の色の画素映像信号を出力する飽和画素用映像信号発生器と、比較器の出力に基づいて、設定輝度より高い輝度を有する画素の映像信号を飽和画素用映像信号発生器からの画素映像信号で置き換えるセレクタとを含む輝度飽和判別回路を備えている。このように、飽和直前の設定輝度以上の画素に色を付す処理をハードウェアで実行することにより、ソフトウェアで実行する場合に比べて処理速度が速く、ソフトウェアの負担が軽くなる点で優れている。
【0016】
更に別の好ましい実施形態において本発明の光量飽和表示機能付共焦点顕微鏡は、画面に表示された画像における各画素の輝度に関するヒストグラムを画像に重ねて表示する機能を備えている。このような輝度と画素数との関係がヒストグラムとして表示されることにより、特に、スライス画像に重ねてヒストグラムをリアルタイム表示することにより、受光ゲイン等を最適の状態に調整する作業が一層容易になる。
【0017】
【発明の実施の形態】
以下、本発明の実施形態を図面に基づいて説明する。
【0018】
図1は、本発明の実施形態に係る共焦点顕微鏡システムの概略構成を示している。共焦点顕微鏡システム1は、共焦点光学系2及び非共焦点光学系3を有する共焦点顕微鏡と、共焦点顕微鏡のレーザ駆動回路44、受光素子からの信号処理回路41,42,43、対物レンズ移動機構40、マイクロコンピュータを用いた制御部46等を含むコントローラと、コントローラに接続された表示装置47及び入力装置48とを備えている。
【0019】
まず、共焦点顕微鏡の共焦点光学系2とその信号処理について説明する。共焦点光学系2は、試料wkに単色光(例えばレーザ光)を照射するための光源10、第1コリメートレンズ11、偏光ビームスプリッタ12、1/4波長板13、水平偏向装置14a、垂直偏向装置14b、第1リレーレンズ15、第2リレーレンズ16、対物レンズ17、結像レンズ18、ピンホール板9、受光素子19等を含んでいる。
【0020】
光源10には、例えば赤色レーザ光を発する半導体レーザが用いられる。レーザ駆動回路44によって駆動される光源10から出たレーザ光は、第1コリメートレンズ11を通り、偏光ビームスプリッタ12で光路を曲げられ、1/4波長板13を通過する。この後、水平偏向装置14a及び垂直偏向装置14bによって水平(横)方向及び垂直(縦)方向に偏向された後、第1リレーレンズ15及び第2リレーレンズ16を通過し、対物レンズ17によって試料ステージ30上に置かれた試料wkの表面に集光される。
【0021】
水平偏向装置14aはレゾナント(共振型)スキャナーで構成され、垂直偏向装置14bはガルバノ(電磁型)スキャナーで構成されている。両者でレーザ光を水平及び垂直方向に偏向させることにより、試料wkの表面をレーザ光で走査する。説明の便宜上、水平方向をX方向、垂直方向をY方向ということにする。対物レンズ17は、対物レンズ移動機構40によりZ方向(光軸方向)に駆動される。これにより、対物レンズ17の焦点と試料wkとの光軸方向での相対位置を変化させることができる。
【0022】
ただし、対物レンズ17の焦点と試料wkとの光軸方向での相対位置は、他の方法で変化させることもできる。例えば、対物レンズ17をZ方向に駆動する代わりに試料ステージ30をZ方向に駆動してもよい。あるいは、対物レンズ17と試料wkとの間に屈折率が変化するレンズを挿入することにより、対物レンズ17の焦点をZ方向に移動させる構成も可能である。なお、試料ステージ30は、手動操作によってX方向、Y方向及びZ方向に変位可能である。
【0023】
試料wkで反射されたレーザ光は、上記の光路を逆に辿る。すなわち、対物レンズ17、第2リレーレンズ16及び第1リレーレンズ15を通り、水平偏向装置14a及び垂直偏向装置14bを介して1/4波長板13を再び通る。この結果、レーザ光は偏光ビームスプリッタ12を透過し、結像レンズ18によって集光される。集光されたレーザ光は、結像レンズ18の焦点位置に配置されたピンホール板9のピンホールを通過して受光素子19に入射する。受光素子19は、例えばフォトマルチプライヤチューブ(光電子増倍管)やフォトダイオードで構成され、受光量を電気信号に変換する。受光量に相当する電気信号は、出力アンプ及びゲイン制御回路(図示せず)を介して第1AD変換器41に与えられ、ディジタル値に変換される。
【0024】
上記のような構成の共焦点光学系2により、試料wkの高さ(深さ)情報を取得することができる。以下に、その原理を簡単に説明する。
【0025】
上述のように、対物レンズ17が対物レンズ移動機構40によってZ方向(光軸方向)に駆動されると、対物レンズ17の焦点と試料wkとの光軸方向での相対距離が変化する。そして、対物レンズ17の焦点が試料wkの表面に結ばれたときに、試料wkの表面で反射されたレーザ光は上記の光路を経て結像レンズ18で集光され、ほとんどすべてのレーザ光がピンホール板9のピンホールを通過する。したがって、このときに、受光素子19の受光量が最大になる。逆に、対物レンズ17の焦点が試料wkの表面からずれている状態では、結像レンズ18によって集光されたレーザ光はピンホール板9からずれた位置に焦点を結ぶので、一部のレーザ光しかピンホールを通過することができない。その結果、受光素子19の受光量は著しく低下する。
【0026】
したがって、試料wkの表面の任意の点について、対物レンズ17をZ方向(光軸方向)に駆動しながら受光素子19の受光量を検出すれば、その受光量が最大になるときの対物レンズ17のZ方向位置(対物レンズ17の焦点と試料wkとの光軸方向での相対位置)を高さ情報として一義的に求めることができる。
【0027】
実際には、対物レンズ17を1ステップ(1ピッチ)移動するたびに水平偏向装置14a及び垂直偏向装置14bによって試料wkの表面を走査して受光素子19の受光量を得る。対物レンズ17をZ方向での測定範囲の下端から上端までZ方向に移動させたとき、走査範囲内の各点(画素)について、Z方向位置に応じて変化する受光量データが得られる。
【0028】
図2は、対物レンズ17のZ方向位置に応じて変化する受光量データの例を示すグラフである。このような受光量データに基づいて、最大受光量とそのときのZ方向位置が各点(画素)ごとに得られる。したがって、試料wkの表面高さのXY平面での分布が得られる。この処理は、マイクロコンピュータを用いた制御部46によって実行される。
【0029】
得られた表面高さの分布情報は、いくつかの方法で表示装置47のモニタ画面に表示することができる。例えば3次元表示によって試料の高さ分布(表面形状)を立体的に表示することができる。あるいは、高さデータを輝度データに変換することにより、明るさの二次元分布として表示できる。高さデータを色差データに変換することにより、高さの分布を色の分布として表示することもできる。
【0030】
また、XY走査範囲内の各点(画素)について得られた受光量を輝度データとする輝度信号から、試料wkの表面画像(白黒画像)が得られる。各画素における最大受光量を輝度データとして輝度信号を生成すれば、表面高さの異なる各点でピントの合った焦点深度の非常に深い超深度画像が得られる。また、任意の注目画素で最大受光量が得られた高さ(Z方向位置)に固定した場合は、注目画素の部分と高低差が大きい部分の画素の受光量は著しく小さくなり、注目画素と同じ高さの部分のみが明るい画像(すなわちスライス画像)が得られる。
【0031】
つぎに、共焦点顕微鏡に備えられた非共焦点光学系3とその信号処理について説明する。非共焦点光学系3は、試料wkに白色光(カラー画像撮影用の照明光)を照射するための白色光源20、第2コリメートレンズ21、第1ハーフミラー22、第2ハーフミラー23、カラーCCD(イメージセンサー)24等を含んでいる。また、非共焦点光学系3は共焦点光学系2の対物レンズ17を共用しており、2つの光学系1,2の光軸は部分的に一致している。
【0032】
白色光源20には例えば白色ランプが用いられるが、特に専用の光源を設けず、自然光又は室内光を利用してもよい。白色光源20から出た白色光は、第2コリメートレンズ21を通り、第1ハーフミラー22で光路を曲げられ、対物レンズ17によって試料ステージ30上に置かれた試料wkの表面に集光される。
【0033】
試料wkで反射された白色光は、対物レンズ17、第1ハーフミラー22、第2リレーレンズ16を通過し、第2ハーフミラー23で反射されてカラーCCD24に入射して結像する。カラーCCD24は、共焦点光学系2のピンホール板9のピンホールと共役又は共役に近い位置に設けられている。カラーCCD24で撮像されたカラー画像は、CCD駆動回路43によって読み出され、そのアナログ出力信号は第2AD変換器42に与えられ、ディジタル値に変換される。このようにして得られたカラー画像は、試料wkの観察用の拡大カラー画像として表示装置47のモニタ画面に表示される。
【0034】
また、共焦点光学系2で得られた超深度画像と非共焦点光学系3で得られた通常のカラー画像とを組み合わせて、すべての画素で略ピントの合った焦点深度の深いカラー超深度画像を生成し、表示することもできる。例えば、非共焦点光学系3で得られたカラー画像を構成する輝度信号を共焦点光学系2で得られた超深度画像の輝度信号で置き換えることにより、簡易的にカラー超深度画像を生成することができる。
【0035】
上記のようなカラー画像に関する処理についても、制御部46を含むコントローラが司る。コントローラにはコンソール(操作卓)のような入力装置48やCRT(陰極線管)又はLCD(液晶表示装置)のような表示装置47が接続されている。また、マウスのようなポインティングデバイスも入力装置48として接続される。
【0036】
ユーザは、表示装置47の画面上に表示されるガイダンスにしたがって入力装置48を用いて種々の測定用パラメータを設定することができる。例えば、対物レンズ17のZ方向移動範囲(測定範囲)や移動ピッチを設定する。あるいは、試料wkの表面の光反射率等に応じて受光素子19の受光感度(PMTゲイン)やNDフィルタによる減衰量の設定を行うことにより、画面に表示された超深度画像やスライス画像が適当な明るさ(輝度)になるように調整する。また、カラーCCD24によるカラー画像の取得のためのシャッタースピードやゲイン及びホワイトバランスの設定を行う。
【0037】
また、本実施形態の共焦点顕微鏡システム1(のコントローラ)には、パーソナルコンピュータのような外部コンピュータシステムを接続するインターフェイスも備えられている。共焦点顕微鏡システム1の制御を行うための専用ソフトウェアをインストールした外部コンピュータシステムを共焦点顕微鏡システム1に接続することにより、取得された試料wkの画像情報や高さ分布情報等の加工をシームレスに行うことが可能になる。
【0038】
図3は、共焦点顕微鏡システム1のコントローラに外部コンピュータシステム50を接続したハードウェア構成例を示すブロック図である。外部コンピュータシステム50は、CRT又はLCD等の表示装置51、キーボード52、マウス(他のポインティングデバイスでもよい)53、RS232C又はUSB(ユニバーサルシリアルバス)等の通信インターフェイス54、処理装置(CPU)55、半導体記憶媒体である主メモリ56、補助記憶装置である固定ディスク装置57及びリムーバブルディスク装置58を備えている。
【0039】
共焦点顕微鏡システム1の制御を行うための専用ソフトウェアは、CD−ROMのような記憶媒体59に記憶された状態で供給され、CD−ROMドライブ装置のようなリムーバブルディスク装置58によって記憶媒体59から読み出され、固定ディスク装置57にインストールされる。固定ディスク装置57にインストールされた専用ソフトウェアは、主メモリ56にロードされ、処理装置55によって実行される。このような専用ソフトウェアによって実行される処理には、共焦点顕微鏡システム1の測定条件の設定を行うための処理や測定の結果得られた画像の処理等が含まれている。
【0040】
図4は、専用ソフトウェアによる表示装置51の画面表示の例を示す図である。表示装置51に表示される画面表示60において、左側の画像表示領域61は共焦点顕微鏡システム1から得られたカラー画像、超深度画像、スライス画像、高さ分布画像等の測定結果を表示するための領域であり、その右側に測定条件の設定のための縦長の操作部領域62が表示されている。
【0041】
図5は、図4の画面表示60における操作部領域62の拡大図である。操作部領域62のプッシュボタンやスライドバーの操作及び各プルダウンメニューの選択等をマウス53を用いて行うことにより、各測定パラメータのマニュアル設定を行うことができる。例えば、ゲイン調整用スライドレバー63をマウス53のドラッグ操作によって上下移動すれば、受光素子19の受光感度(PMTゲイン)が変化し、画像の明るさ(輝度)を調整することができる。また、その隣のNDフィルタ調整用スライドレバー64を上下移動して光の減衰量を変化させることによっても画像の明るさ(輝度)を調整することができる。
【0042】
あるいは、ディスタンスの右側の三角マーク65をマウス53でクリックしたときに現れるプルダウンメニューから適切な数値を選択することにより、対物レンズ17のZ方向移動範囲(測定範囲)を設定することができる。その下のピッチについても同様に、三角マーク66をクリックしたときに現れるプルダウンメニューから適切な数値を選択することにより、適切なZ方向移動ピッチを設定することができる。
【0043】
上記のPMTゲインやNDフィルタの減衰量の変更による画像の明るさ(輝度)の調整は、共焦点光学系2による試料表面の高さ分布を正しく測定するためにも重要である。例えば、試料表面の光反射率が非常に高いために、受光素子19又は信号処理回路が飽和する場合がある。この場合は、最大受光量が得られるときの試料wkと対物レンズ17との相対距離(高さ)を正確に求めることができない。したがって、この場合は受光量(又は受光信号)が飽和しないように、PMTゲインを下げ、又はNDフィルタによる光減衰量を上げる調整を行う必要がある。
【0044】
上記のような受光量又は受光信号の飽和が発生すると、画面表示60の画像表示領域61に表示される超深度画像やスライス画像において飽和状態の箇所が白く飛んだ状態になる。したがって、画像に白飛び部分がある場合は、その部分で受光素子又は信号処理回路の飽和が発生していると判断して、上記のようなPMTゲイン等の調整を行う。しかし、画像における白飛びの判断は慣れていないと難しい。
【0045】
また、表面の光反射率が大きく変化している試料wkにおいて、光反射率が小さい部分(暗い部分)を詳しく観察したい場合には、光反射率が大きい部分(明るい部分)で白飛びが発生しても、それを無視して受光ゲイン等を上げることがある。この場合、観察したい部分の輝度が飽和しないで、かつ、できるだけ明るく(観察しやすく)表示されるようにPMTゲイン等を調節することになるが、この調整も慣れていないと難しい。
【0046】
本実施形態の共焦点顕微鏡システム1では、上記のような白飛び(飽和)の判断とPMTゲイン等の調節を容易にするために、画像表示領域61に表示される超深度画像やスライス画像において飽和直前の設定輝度以上の画素に所定の色を付して表示する機能を備えている。超深度画像やスライス画像は白黒画像であり、輝度の飽和を白飛びの有無で判断することは容易ではないが、飽和直前の設定輝度以上の画素に所定の色(例えば赤色)を付して表示することにより、観察したい部分の輝度が飽和しているか(又は飽和直前か)否かを簡単に目視判別することができる。
【0047】
図6は、画像表示領域61に表示されたスライス画像の例を示している。このスライス画像において、左下部分70に着色表示された画素が多く集まっており、この部分で輝度の飽和状態が発生していることがわかる。また、画像表示領域61の右上部には、後述するヒストグラム71が画像に重ねて表示されている。
【0048】
図7は、表示画像において飽和直前の設定輝度以上の画素に所定の色を付して表示する機能を実現するための輝度飽和判別回路のブロック図である。この輝度飽和判別回路73は、比較器74、イネーブル/ディスエーブル切換器75、セレクタ76及び飽和画素用映像信号発生器77を備えている。
【0049】
比較器74は、画像の各画素の入力信号の輝度を飽和直前の設定輝度と比較する。セレクタ76は、比較器74の出力にしたがって、入力信号の輝度が設定輝度以下の場合は入力信号をそのまま映像信号とすると共に、入力信号の輝度が設定輝度より高い場合は飽和画素用映像信号発生器77からの画素映像信号(例えば赤色画素信号)で入力信号を置き換えて映像信号とする。イネーブル/ディスエーブル切換器75は、比較器74及びセレクタ76の動作状態(イネーブル)又は非動作状態(ディスエーブル)を切り換える。つまり、飽和直前の設定輝度以上の画素に所定の色を付して表示する機能を有効にするか無効にする(白黒の超深度画像やスライス画像をそのまま表示させる)かを切り換えることができる。
【0050】
飽和直前の設定輝度以上の画素に所定の色を付して表示する機能は、ソフトウェアで実現することも可能であるが、図7に示したような回路(ハードウェア)で実現することが好ましい。特に、リアルタイム表示されるスライス画像において、高さ(試料wkと対物レンズ17との相対距離)を切り換える操作に追従して高速表示させる場合は、処理速度の速いハードウェアで上記の機能を実現する必要がある。超深度画像のように、所定の測定時間経過後にソフトウェア処理を経て表示される場合は、上記の機能をソフトウェアで実現しても問題ない。
【0051】
次に、図6の画像表示領域61の右上部において画像に重ねて表示されているヒストグラム71について説明する。このヒストグラム71は、横軸に各画素の輝度(すなわち受光量)をとり、縦軸に対応する画素数をとったグラフとして表示されている。
【0052】
現在表示中の画像の各画素の輝度に関するヒストグラム71を画像に重畳させて表示することにより、前述のPMTゲインやNDフィルタ減衰量のマニュアル設定を行う際の指標とすることができる。特に、スライス画像に重ねてヒストグラム71をリアルタイム表示することにより、PMTゲイン等を最適の状態に調整する作業が一層容易になる。高さ(試料wkと対物レンズ17との相対距離)を変化させたときのスライス画像とそのヒストグラムがリアルタイムで表示されれば、測定中にユーザが意図していない設定であることが分かった場合に直ちに測定を中断してやり直すことができる。
【0053】
図8は、ヒストグラム表示のための第1の回路構成例を示すブロック図である。入力信号はAD変換器80でディジタル値に変換され、メモリ制御部81によって制御されるメモリ82に画素ごとの輝度データとして一旦記憶される。画素ごとの輝度データは、フレームメモリ83及び補正回路84を経てセレクタ87に至る画像データの処理経路と、ヒストグラムカウンタ85及びCPU86を経てセレクタ87に至るヒストグラムデータの処理経路に分かれる。
【0054】
セレクタ87は、個別の処理経路を経て入力された画像データ及びヒストグラムデータを選択しながらコンピュータシステム50に渡し、コンピュータシステム50は、前述の専用ソフトウェアにしたがって表示装置51に画像を表示する。この際に、ヒストグラムデータを処理して得られるグラフであるヒストグラム71が画像に重ねて表示される。
【0055】
図9は、ヒストグラムカウンタ85の構成例を示すブロック図である。ヒストグラムカウンタ85は、2個のデュアルポートメモリ90,91と加算器93を用いて構成される。また、デュアルポートメモリ90,91を制御するメモリコントローラ94及び遅延器92を備えている。第1のデュアルポートメモリ90にはリアルタイムで輝度データが書き込まれ、第2のデュアルポートメモリ91には画面ごとに輝度データが書き込まれる。これにより図8のCPU86は任意のタイミングで最新の表示画像のヒストグラムデータを得ることができる。
【0056】
図10は、ヒストグラム表示のための第2の回路構成例を示すブロック図である。この例では、ピークホールド画像のヒストグラムが重畳表示される。入力信号はAD変換器80でディジタル値に変換され、メモリ制御部81によって制御されるメモリ82に画素ごとの輝度データとして一旦記憶される。画素ごとの輝度データは、ピークホールド部88を経て各画素の輝度のピーク値(ピーク輝度データ)がフレームメモリ83に格納される。このピーク輝度データは、補正回路84を経て画像データとしてセレクタ87に至ると共に、ヒストグラムカウンタ85に与えられてヒストグラムデータが生成される。
【0057】
ヒストグラムデータの生成機能に関しても、図8から図10に例示したような回路(ハードウェア)で実現する構成に限らず、ソフトウェアで構成することも可能である。
【0058】
なお、上記の実施形態では外部コンピュータシステム50に共焦点顕微鏡システム1の制御を行うための専用ソフトウェアをインストールし、外部コンピュータシステム50の表示装置51の画面上で測定条件の設定や得られた画像の表示を行う場合について説明したが、本発明はそのような実施形態に限られるわけではない。共焦点顕微鏡システム1に標準装備の表示装置47及び入力装置48を用いて測定条件の設定や得られた画像の表示を行う場合にも本発明を適用することができる。
【0059】
また、共焦点光学系2による試料wkの表面の高さ情報を取得するために、対物レンズ17をZ方向に移動(上下動)させる代わりに、ステージ30を上下動させてもよい。その他にも、本発明は種々の形態で実施することができる。
【0060】
また、上記の実施形態の共焦点顕微鏡は反射型の顕微鏡であるが、透過型の共焦点顕微鏡にも本発明を適用することができる。透過型の顕微鏡の場合は、試料の裏面から共焦点光学系のレーザ光及び非共焦点光学系の白色光が照射される。共焦点光学系の光源はレーザ光源を含む単色光源はもちろんのこと、複数波長を含むものであってもよい。非共焦点光学系の光源は自然光又は室内光で代用することもできる。
【0061】
【発明の効果】
以上に説明したように、本発明の光量飽和表示機能付共焦点顕微鏡によれば、白黒表示であるスライス画像や超深度画像において、輝度が飽和している画素又は飽和直前の設定輝度以上の画素が着色表示される。これにより、ユーザは画像を目視でチェックしながら受光ゲイン等を最適の状態に調整する作業を容易に行うことができる。特に、試料表面の画像の特定部分を詳しく観察したいような場合に、その部分の輝度が飽和しないで、かつ、できるだけ明るく表示されるように受光ゲイン等を調節する作業が行いやすくなる。
【図面の簡単な説明】
【図1】本発明の実施形態に係る共焦点顕微鏡システムの概略構成を示す図である。
【図2】対物レンズのZ方向位置に応じて変化する受光量データの例を示すグラフである。
【図3】共焦点顕微鏡システムのコントローラに外部コンピュータシステムを接続したハードウェア構成例を示すブロック図である。
【図4】専用ソフトウェアによる表示装置の画面表示の例を示す図である。
【図5】図4の画面表示における操作部領域の拡大図である。
【図6】画像表示領域に表示されたスライス画像の例を示す図である。
【図7】表示画像において飽和直前の設定輝度以上の画素に所定の色を付して表示する機能を実現するための輝度飽和判別回路のブロック図である。
【図8】ヒストグラム表示のための第1の回路構成例を示すブロック図である。
【図9】ヒストグラムカウンタの構成例を示すブロック図である。
【図10】ヒストグラム表示のための第2の回路構成例を示すブロック図である。
【符号の説明】
1 共焦点顕微鏡システム
2 共焦点光学系
19 受光素子
47,51 表示装置
60 画面表示
61 画像表示領域
70 着色表示部
71 ヒストグラム
73 輝度飽和判別回路
74 比較器
76 セレクタ
77 飽和画素用映像信号発生器
【発明の属する技術分野】
本発明は、試料からの光情報に基づいて試料の超深度画像や高さ分布等の情報を取得するための共焦点顕微鏡に関し、特に、光量飽和表示機能付共焦点顕微鏡に関する。
【0002】
【従来の技術】
共焦点顕微鏡では、試料からの光が共焦点光学系を介して受光素子で受光され、その受光量に基づいて、試料の超深度画像(焦点深度が非常に深い画像)や高さ分布等の情報が取得される。ステージに載置された試料と対物レンズとの相対距離を光軸方向に変化させると、共焦点光学系を介して受光素子に入射する光の量、すなわち受光量が変化し、試料の表面にピントが合ったときに受光量が最大となる。したがって、最大受光量が得られるときの試料と対物レンズとの相対距離から試料の表面の高さ情報を算出し、試料の表面を光で走査することによって試料の表面の高さ分布を取得することができる。
【0003】
取得された高さ分布は、例えば三次元表示によって表示装置の画面上に表示される。あるいは、高さ分布を輝度分布や色分布に置き換えたものが画面上に表示される。表示装置としてCRT(陰極線管)やLCD(液晶表示装置)が使用され、共焦点顕微鏡に制御用のコントローラ、表示装置、コンソール等が接続されて共焦点顕微鏡システムが構成される。
【0004】
また、試料表面の各点(画素)でピントが合ったときの受光量の情報(すなわち各画素の最大輝度情報)をつなぎ合わせることにより、焦点深度の非常に深い試料表面の白黒画像を得ることができる。この画像がいわゆる超深度画像である。
【0005】
また、任意の注目画素で最大受光量が得られるように試料と対物レンズとの相対距離(高さ)を固定した場合は、注目画素の部分と高低差が大きい部分の画素の受光量は著しく小さくなり、注目画素と同じ高さの部分のみが明るい画像(これをスライス画像という)が得られる。
【0006】
更に、白色光で照射された試料からの光を共焦点光学系から分離してカラー撮像素子で受光することにより、超深度画像と同じ範囲の試料表面のカラー画像を表示する機能を備えた共焦点顕微鏡もある。このカラー画像は超深度画像と異なり焦点深度の浅いものであるが、その輝度信号を超深度画像の輝度信号で置き換えるような合成処理を行うことにより、焦点深度の深いカラー画像(カラー超深度画像ということもある)を得ることも可能である。
【0007】
上記のような共焦点顕微鏡を用いた試料の測定において、例えば試料表面の光反射率が非常に高いために、受光素子又は信号処理回路が飽和する場合がある。この場合は、最大受光量が得られるときの試料と対物レンズとの相対距離(高さ)を正確に求めることができない。したがって、受光量(又は受光信号)が飽和しないように、受光感度(信号処理回路の受光ゲイン)を下げ、又はNDフィルタによる光減衰量を上げる調整を行う必要がある。
【0008】
共焦点顕微鏡のユーザは、例えば画面に表示された試料の画像に輝度が飽和している部分(いわゆる白飛び部分)がある場合は、その部分で受光素子又は信号処理回路の飽和が発生していると判断して、上記のような受光ゲイン等の調整を行う。しかし、表面の光反射率が大きく変化している試料において、光反射率が小さい部分(暗い部分)を詳しく観察したい場合には、光反射率が大きい部分(明るい部分)で白飛びが発生しても、それを無視して受光ゲイン等を上げることがある。
【0009】
したがって、輝度飽和(白飛び)の判断とそれに基づく受光ゲイン等の調整はユーザがケースバイケースで行うことが多い。輝度飽和の判断の指標として、従来ではスライス画像や超深度画像における最大輝度部分の受光量を画面に表示している共焦点顕微鏡がある。
【0010】
【発明が解決しようとする課題】
しかし、最大輝度部分の受光量を画面に表示するだけでは、画面全体の輝度の分布が分からないので、受光ゲイン等を最適の状態に調整することが容易ではない。特に、前述のように画面表示された試料表面の画像の特定部分を詳しく観察したいような場合に、その部分の輝度が飽和しないで、かつ、できるだけ明るく(観察しやすく)表示されるように受光ゲイン等を調節することが難しい。
【0011】
本発明は、上記のような従来の課題に鑑み、受光ゲイン等を最適の状態に調整する作業が容易な光量飽和表示機能付共焦点顕微鏡を提供することを目的とする。
【0012】
【課題を解決するための手段】
本発明の光量飽和表示機能付共焦点顕微鏡は、試料表面からの光を共焦点光学系を介して受光素子で受光し、その受光情報に基づいて試料表面の高さ情報及び光量情報を取得し、取得した情報を処理して得られる試料表面の画像を表示装置の画面に表示する共焦点顕微鏡であって、試料表面の画像を表示装置の画面に表示する際に、画像を構成する画素のうち輝度が飽和している画素又は飽和直前の設定輝度以上の画素に所定の色を付して表示する機能を備えていることを特徴とする。
【0013】
このような機能を有することにより、白黒表示であるスライス画像や超深度画像において、輝度が飽和している画素又は飽和直前の設定輝度以上の画素が例えば赤色で表示される。これにより、ユーザは画像を目視でチェックしながら受光ゲイン等を最適の状態に調整する作業を容易に行うことができる。特に、試料表面の画像の特定部分を詳しく観察したいような場合に、その部分の輝度が飽和しないで、かつ、できるだけ明るく表示されるように受光ゲイン等を調節する作業が行いやすくなる。
【0014】
好ましい実施形態において本発明の光量飽和表示機能付共焦点顕微鏡は、試料表面の任意の点で最大受光量が得られるように高さを固定したときの各点の受光量を表すスライス画像において、スライス画像を構成する画素のうち輝度が飽和している画素又は飽和直前の設定輝度以上の画素に所定の色を付してリアルタイム表示する機能を備えている。超深度画像を得るには前述のようなソフトウェア又はハードウェア処理が必要であり、その処理が完了するまでに一定の時間がかかるが、スライス画像の場合はすぐに表示される。したがって、受光ゲイン等を調節するとほとんど遅延無く調整後のスライス画像が表示される。このように、飽和している画素又は飽和直前の設定輝度以上の画素に所定の色を付した画像がリアルタイムで表示されるので、受光ゲイン等の調節を行いやすくなる。
【0015】
別の好ましい実施形態において本発明の光量飽和表示機能付共焦点顕微鏡は、画像の各画素の輝度を設定輝度と比較する比較器と、所定の色の画素映像信号を出力する飽和画素用映像信号発生器と、比較器の出力に基づいて、設定輝度より高い輝度を有する画素の映像信号を飽和画素用映像信号発生器からの画素映像信号で置き換えるセレクタとを含む輝度飽和判別回路を備えている。このように、飽和直前の設定輝度以上の画素に色を付す処理をハードウェアで実行することにより、ソフトウェアで実行する場合に比べて処理速度が速く、ソフトウェアの負担が軽くなる点で優れている。
【0016】
更に別の好ましい実施形態において本発明の光量飽和表示機能付共焦点顕微鏡は、画面に表示された画像における各画素の輝度に関するヒストグラムを画像に重ねて表示する機能を備えている。このような輝度と画素数との関係がヒストグラムとして表示されることにより、特に、スライス画像に重ねてヒストグラムをリアルタイム表示することにより、受光ゲイン等を最適の状態に調整する作業が一層容易になる。
【0017】
【発明の実施の形態】
以下、本発明の実施形態を図面に基づいて説明する。
【0018】
図1は、本発明の実施形態に係る共焦点顕微鏡システムの概略構成を示している。共焦点顕微鏡システム1は、共焦点光学系2及び非共焦点光学系3を有する共焦点顕微鏡と、共焦点顕微鏡のレーザ駆動回路44、受光素子からの信号処理回路41,42,43、対物レンズ移動機構40、マイクロコンピュータを用いた制御部46等を含むコントローラと、コントローラに接続された表示装置47及び入力装置48とを備えている。
【0019】
まず、共焦点顕微鏡の共焦点光学系2とその信号処理について説明する。共焦点光学系2は、試料wkに単色光(例えばレーザ光)を照射するための光源10、第1コリメートレンズ11、偏光ビームスプリッタ12、1/4波長板13、水平偏向装置14a、垂直偏向装置14b、第1リレーレンズ15、第2リレーレンズ16、対物レンズ17、結像レンズ18、ピンホール板9、受光素子19等を含んでいる。
【0020】
光源10には、例えば赤色レーザ光を発する半導体レーザが用いられる。レーザ駆動回路44によって駆動される光源10から出たレーザ光は、第1コリメートレンズ11を通り、偏光ビームスプリッタ12で光路を曲げられ、1/4波長板13を通過する。この後、水平偏向装置14a及び垂直偏向装置14bによって水平(横)方向及び垂直(縦)方向に偏向された後、第1リレーレンズ15及び第2リレーレンズ16を通過し、対物レンズ17によって試料ステージ30上に置かれた試料wkの表面に集光される。
【0021】
水平偏向装置14aはレゾナント(共振型)スキャナーで構成され、垂直偏向装置14bはガルバノ(電磁型)スキャナーで構成されている。両者でレーザ光を水平及び垂直方向に偏向させることにより、試料wkの表面をレーザ光で走査する。説明の便宜上、水平方向をX方向、垂直方向をY方向ということにする。対物レンズ17は、対物レンズ移動機構40によりZ方向(光軸方向)に駆動される。これにより、対物レンズ17の焦点と試料wkとの光軸方向での相対位置を変化させることができる。
【0022】
ただし、対物レンズ17の焦点と試料wkとの光軸方向での相対位置は、他の方法で変化させることもできる。例えば、対物レンズ17をZ方向に駆動する代わりに試料ステージ30をZ方向に駆動してもよい。あるいは、対物レンズ17と試料wkとの間に屈折率が変化するレンズを挿入することにより、対物レンズ17の焦点をZ方向に移動させる構成も可能である。なお、試料ステージ30は、手動操作によってX方向、Y方向及びZ方向に変位可能である。
【0023】
試料wkで反射されたレーザ光は、上記の光路を逆に辿る。すなわち、対物レンズ17、第2リレーレンズ16及び第1リレーレンズ15を通り、水平偏向装置14a及び垂直偏向装置14bを介して1/4波長板13を再び通る。この結果、レーザ光は偏光ビームスプリッタ12を透過し、結像レンズ18によって集光される。集光されたレーザ光は、結像レンズ18の焦点位置に配置されたピンホール板9のピンホールを通過して受光素子19に入射する。受光素子19は、例えばフォトマルチプライヤチューブ(光電子増倍管)やフォトダイオードで構成され、受光量を電気信号に変換する。受光量に相当する電気信号は、出力アンプ及びゲイン制御回路(図示せず)を介して第1AD変換器41に与えられ、ディジタル値に変換される。
【0024】
上記のような構成の共焦点光学系2により、試料wkの高さ(深さ)情報を取得することができる。以下に、その原理を簡単に説明する。
【0025】
上述のように、対物レンズ17が対物レンズ移動機構40によってZ方向(光軸方向)に駆動されると、対物レンズ17の焦点と試料wkとの光軸方向での相対距離が変化する。そして、対物レンズ17の焦点が試料wkの表面に結ばれたときに、試料wkの表面で反射されたレーザ光は上記の光路を経て結像レンズ18で集光され、ほとんどすべてのレーザ光がピンホール板9のピンホールを通過する。したがって、このときに、受光素子19の受光量が最大になる。逆に、対物レンズ17の焦点が試料wkの表面からずれている状態では、結像レンズ18によって集光されたレーザ光はピンホール板9からずれた位置に焦点を結ぶので、一部のレーザ光しかピンホールを通過することができない。その結果、受光素子19の受光量は著しく低下する。
【0026】
したがって、試料wkの表面の任意の点について、対物レンズ17をZ方向(光軸方向)に駆動しながら受光素子19の受光量を検出すれば、その受光量が最大になるときの対物レンズ17のZ方向位置(対物レンズ17の焦点と試料wkとの光軸方向での相対位置)を高さ情報として一義的に求めることができる。
【0027】
実際には、対物レンズ17を1ステップ(1ピッチ)移動するたびに水平偏向装置14a及び垂直偏向装置14bによって試料wkの表面を走査して受光素子19の受光量を得る。対物レンズ17をZ方向での測定範囲の下端から上端までZ方向に移動させたとき、走査範囲内の各点(画素)について、Z方向位置に応じて変化する受光量データが得られる。
【0028】
図2は、対物レンズ17のZ方向位置に応じて変化する受光量データの例を示すグラフである。このような受光量データに基づいて、最大受光量とそのときのZ方向位置が各点(画素)ごとに得られる。したがって、試料wkの表面高さのXY平面での分布が得られる。この処理は、マイクロコンピュータを用いた制御部46によって実行される。
【0029】
得られた表面高さの分布情報は、いくつかの方法で表示装置47のモニタ画面に表示することができる。例えば3次元表示によって試料の高さ分布(表面形状)を立体的に表示することができる。あるいは、高さデータを輝度データに変換することにより、明るさの二次元分布として表示できる。高さデータを色差データに変換することにより、高さの分布を色の分布として表示することもできる。
【0030】
また、XY走査範囲内の各点(画素)について得られた受光量を輝度データとする輝度信号から、試料wkの表面画像(白黒画像)が得られる。各画素における最大受光量を輝度データとして輝度信号を生成すれば、表面高さの異なる各点でピントの合った焦点深度の非常に深い超深度画像が得られる。また、任意の注目画素で最大受光量が得られた高さ(Z方向位置)に固定した場合は、注目画素の部分と高低差が大きい部分の画素の受光量は著しく小さくなり、注目画素と同じ高さの部分のみが明るい画像(すなわちスライス画像)が得られる。
【0031】
つぎに、共焦点顕微鏡に備えられた非共焦点光学系3とその信号処理について説明する。非共焦点光学系3は、試料wkに白色光(カラー画像撮影用の照明光)を照射するための白色光源20、第2コリメートレンズ21、第1ハーフミラー22、第2ハーフミラー23、カラーCCD(イメージセンサー)24等を含んでいる。また、非共焦点光学系3は共焦点光学系2の対物レンズ17を共用しており、2つの光学系1,2の光軸は部分的に一致している。
【0032】
白色光源20には例えば白色ランプが用いられるが、特に専用の光源を設けず、自然光又は室内光を利用してもよい。白色光源20から出た白色光は、第2コリメートレンズ21を通り、第1ハーフミラー22で光路を曲げられ、対物レンズ17によって試料ステージ30上に置かれた試料wkの表面に集光される。
【0033】
試料wkで反射された白色光は、対物レンズ17、第1ハーフミラー22、第2リレーレンズ16を通過し、第2ハーフミラー23で反射されてカラーCCD24に入射して結像する。カラーCCD24は、共焦点光学系2のピンホール板9のピンホールと共役又は共役に近い位置に設けられている。カラーCCD24で撮像されたカラー画像は、CCD駆動回路43によって読み出され、そのアナログ出力信号は第2AD変換器42に与えられ、ディジタル値に変換される。このようにして得られたカラー画像は、試料wkの観察用の拡大カラー画像として表示装置47のモニタ画面に表示される。
【0034】
また、共焦点光学系2で得られた超深度画像と非共焦点光学系3で得られた通常のカラー画像とを組み合わせて、すべての画素で略ピントの合った焦点深度の深いカラー超深度画像を生成し、表示することもできる。例えば、非共焦点光学系3で得られたカラー画像を構成する輝度信号を共焦点光学系2で得られた超深度画像の輝度信号で置き換えることにより、簡易的にカラー超深度画像を生成することができる。
【0035】
上記のようなカラー画像に関する処理についても、制御部46を含むコントローラが司る。コントローラにはコンソール(操作卓)のような入力装置48やCRT(陰極線管)又はLCD(液晶表示装置)のような表示装置47が接続されている。また、マウスのようなポインティングデバイスも入力装置48として接続される。
【0036】
ユーザは、表示装置47の画面上に表示されるガイダンスにしたがって入力装置48を用いて種々の測定用パラメータを設定することができる。例えば、対物レンズ17のZ方向移動範囲(測定範囲)や移動ピッチを設定する。あるいは、試料wkの表面の光反射率等に応じて受光素子19の受光感度(PMTゲイン)やNDフィルタによる減衰量の設定を行うことにより、画面に表示された超深度画像やスライス画像が適当な明るさ(輝度)になるように調整する。また、カラーCCD24によるカラー画像の取得のためのシャッタースピードやゲイン及びホワイトバランスの設定を行う。
【0037】
また、本実施形態の共焦点顕微鏡システム1(のコントローラ)には、パーソナルコンピュータのような外部コンピュータシステムを接続するインターフェイスも備えられている。共焦点顕微鏡システム1の制御を行うための専用ソフトウェアをインストールした外部コンピュータシステムを共焦点顕微鏡システム1に接続することにより、取得された試料wkの画像情報や高さ分布情報等の加工をシームレスに行うことが可能になる。
【0038】
図3は、共焦点顕微鏡システム1のコントローラに外部コンピュータシステム50を接続したハードウェア構成例を示すブロック図である。外部コンピュータシステム50は、CRT又はLCD等の表示装置51、キーボード52、マウス(他のポインティングデバイスでもよい)53、RS232C又はUSB(ユニバーサルシリアルバス)等の通信インターフェイス54、処理装置(CPU)55、半導体記憶媒体である主メモリ56、補助記憶装置である固定ディスク装置57及びリムーバブルディスク装置58を備えている。
【0039】
共焦点顕微鏡システム1の制御を行うための専用ソフトウェアは、CD−ROMのような記憶媒体59に記憶された状態で供給され、CD−ROMドライブ装置のようなリムーバブルディスク装置58によって記憶媒体59から読み出され、固定ディスク装置57にインストールされる。固定ディスク装置57にインストールされた専用ソフトウェアは、主メモリ56にロードされ、処理装置55によって実行される。このような専用ソフトウェアによって実行される処理には、共焦点顕微鏡システム1の測定条件の設定を行うための処理や測定の結果得られた画像の処理等が含まれている。
【0040】
図4は、専用ソフトウェアによる表示装置51の画面表示の例を示す図である。表示装置51に表示される画面表示60において、左側の画像表示領域61は共焦点顕微鏡システム1から得られたカラー画像、超深度画像、スライス画像、高さ分布画像等の測定結果を表示するための領域であり、その右側に測定条件の設定のための縦長の操作部領域62が表示されている。
【0041】
図5は、図4の画面表示60における操作部領域62の拡大図である。操作部領域62のプッシュボタンやスライドバーの操作及び各プルダウンメニューの選択等をマウス53を用いて行うことにより、各測定パラメータのマニュアル設定を行うことができる。例えば、ゲイン調整用スライドレバー63をマウス53のドラッグ操作によって上下移動すれば、受光素子19の受光感度(PMTゲイン)が変化し、画像の明るさ(輝度)を調整することができる。また、その隣のNDフィルタ調整用スライドレバー64を上下移動して光の減衰量を変化させることによっても画像の明るさ(輝度)を調整することができる。
【0042】
あるいは、ディスタンスの右側の三角マーク65をマウス53でクリックしたときに現れるプルダウンメニューから適切な数値を選択することにより、対物レンズ17のZ方向移動範囲(測定範囲)を設定することができる。その下のピッチについても同様に、三角マーク66をクリックしたときに現れるプルダウンメニューから適切な数値を選択することにより、適切なZ方向移動ピッチを設定することができる。
【0043】
上記のPMTゲインやNDフィルタの減衰量の変更による画像の明るさ(輝度)の調整は、共焦点光学系2による試料表面の高さ分布を正しく測定するためにも重要である。例えば、試料表面の光反射率が非常に高いために、受光素子19又は信号処理回路が飽和する場合がある。この場合は、最大受光量が得られるときの試料wkと対物レンズ17との相対距離(高さ)を正確に求めることができない。したがって、この場合は受光量(又は受光信号)が飽和しないように、PMTゲインを下げ、又はNDフィルタによる光減衰量を上げる調整を行う必要がある。
【0044】
上記のような受光量又は受光信号の飽和が発生すると、画面表示60の画像表示領域61に表示される超深度画像やスライス画像において飽和状態の箇所が白く飛んだ状態になる。したがって、画像に白飛び部分がある場合は、その部分で受光素子又は信号処理回路の飽和が発生していると判断して、上記のようなPMTゲイン等の調整を行う。しかし、画像における白飛びの判断は慣れていないと難しい。
【0045】
また、表面の光反射率が大きく変化している試料wkにおいて、光反射率が小さい部分(暗い部分)を詳しく観察したい場合には、光反射率が大きい部分(明るい部分)で白飛びが発生しても、それを無視して受光ゲイン等を上げることがある。この場合、観察したい部分の輝度が飽和しないで、かつ、できるだけ明るく(観察しやすく)表示されるようにPMTゲイン等を調節することになるが、この調整も慣れていないと難しい。
【0046】
本実施形態の共焦点顕微鏡システム1では、上記のような白飛び(飽和)の判断とPMTゲイン等の調節を容易にするために、画像表示領域61に表示される超深度画像やスライス画像において飽和直前の設定輝度以上の画素に所定の色を付して表示する機能を備えている。超深度画像やスライス画像は白黒画像であり、輝度の飽和を白飛びの有無で判断することは容易ではないが、飽和直前の設定輝度以上の画素に所定の色(例えば赤色)を付して表示することにより、観察したい部分の輝度が飽和しているか(又は飽和直前か)否かを簡単に目視判別することができる。
【0047】
図6は、画像表示領域61に表示されたスライス画像の例を示している。このスライス画像において、左下部分70に着色表示された画素が多く集まっており、この部分で輝度の飽和状態が発生していることがわかる。また、画像表示領域61の右上部には、後述するヒストグラム71が画像に重ねて表示されている。
【0048】
図7は、表示画像において飽和直前の設定輝度以上の画素に所定の色を付して表示する機能を実現するための輝度飽和判別回路のブロック図である。この輝度飽和判別回路73は、比較器74、イネーブル/ディスエーブル切換器75、セレクタ76及び飽和画素用映像信号発生器77を備えている。
【0049】
比較器74は、画像の各画素の入力信号の輝度を飽和直前の設定輝度と比較する。セレクタ76は、比較器74の出力にしたがって、入力信号の輝度が設定輝度以下の場合は入力信号をそのまま映像信号とすると共に、入力信号の輝度が設定輝度より高い場合は飽和画素用映像信号発生器77からの画素映像信号(例えば赤色画素信号)で入力信号を置き換えて映像信号とする。イネーブル/ディスエーブル切換器75は、比較器74及びセレクタ76の動作状態(イネーブル)又は非動作状態(ディスエーブル)を切り換える。つまり、飽和直前の設定輝度以上の画素に所定の色を付して表示する機能を有効にするか無効にする(白黒の超深度画像やスライス画像をそのまま表示させる)かを切り換えることができる。
【0050】
飽和直前の設定輝度以上の画素に所定の色を付して表示する機能は、ソフトウェアで実現することも可能であるが、図7に示したような回路(ハードウェア)で実現することが好ましい。特に、リアルタイム表示されるスライス画像において、高さ(試料wkと対物レンズ17との相対距離)を切り換える操作に追従して高速表示させる場合は、処理速度の速いハードウェアで上記の機能を実現する必要がある。超深度画像のように、所定の測定時間経過後にソフトウェア処理を経て表示される場合は、上記の機能をソフトウェアで実現しても問題ない。
【0051】
次に、図6の画像表示領域61の右上部において画像に重ねて表示されているヒストグラム71について説明する。このヒストグラム71は、横軸に各画素の輝度(すなわち受光量)をとり、縦軸に対応する画素数をとったグラフとして表示されている。
【0052】
現在表示中の画像の各画素の輝度に関するヒストグラム71を画像に重畳させて表示することにより、前述のPMTゲインやNDフィルタ減衰量のマニュアル設定を行う際の指標とすることができる。特に、スライス画像に重ねてヒストグラム71をリアルタイム表示することにより、PMTゲイン等を最適の状態に調整する作業が一層容易になる。高さ(試料wkと対物レンズ17との相対距離)を変化させたときのスライス画像とそのヒストグラムがリアルタイムで表示されれば、測定中にユーザが意図していない設定であることが分かった場合に直ちに測定を中断してやり直すことができる。
【0053】
図8は、ヒストグラム表示のための第1の回路構成例を示すブロック図である。入力信号はAD変換器80でディジタル値に変換され、メモリ制御部81によって制御されるメモリ82に画素ごとの輝度データとして一旦記憶される。画素ごとの輝度データは、フレームメモリ83及び補正回路84を経てセレクタ87に至る画像データの処理経路と、ヒストグラムカウンタ85及びCPU86を経てセレクタ87に至るヒストグラムデータの処理経路に分かれる。
【0054】
セレクタ87は、個別の処理経路を経て入力された画像データ及びヒストグラムデータを選択しながらコンピュータシステム50に渡し、コンピュータシステム50は、前述の専用ソフトウェアにしたがって表示装置51に画像を表示する。この際に、ヒストグラムデータを処理して得られるグラフであるヒストグラム71が画像に重ねて表示される。
【0055】
図9は、ヒストグラムカウンタ85の構成例を示すブロック図である。ヒストグラムカウンタ85は、2個のデュアルポートメモリ90,91と加算器93を用いて構成される。また、デュアルポートメモリ90,91を制御するメモリコントローラ94及び遅延器92を備えている。第1のデュアルポートメモリ90にはリアルタイムで輝度データが書き込まれ、第2のデュアルポートメモリ91には画面ごとに輝度データが書き込まれる。これにより図8のCPU86は任意のタイミングで最新の表示画像のヒストグラムデータを得ることができる。
【0056】
図10は、ヒストグラム表示のための第2の回路構成例を示すブロック図である。この例では、ピークホールド画像のヒストグラムが重畳表示される。入力信号はAD変換器80でディジタル値に変換され、メモリ制御部81によって制御されるメモリ82に画素ごとの輝度データとして一旦記憶される。画素ごとの輝度データは、ピークホールド部88を経て各画素の輝度のピーク値(ピーク輝度データ)がフレームメモリ83に格納される。このピーク輝度データは、補正回路84を経て画像データとしてセレクタ87に至ると共に、ヒストグラムカウンタ85に与えられてヒストグラムデータが生成される。
【0057】
ヒストグラムデータの生成機能に関しても、図8から図10に例示したような回路(ハードウェア)で実現する構成に限らず、ソフトウェアで構成することも可能である。
【0058】
なお、上記の実施形態では外部コンピュータシステム50に共焦点顕微鏡システム1の制御を行うための専用ソフトウェアをインストールし、外部コンピュータシステム50の表示装置51の画面上で測定条件の設定や得られた画像の表示を行う場合について説明したが、本発明はそのような実施形態に限られるわけではない。共焦点顕微鏡システム1に標準装備の表示装置47及び入力装置48を用いて測定条件の設定や得られた画像の表示を行う場合にも本発明を適用することができる。
【0059】
また、共焦点光学系2による試料wkの表面の高さ情報を取得するために、対物レンズ17をZ方向に移動(上下動)させる代わりに、ステージ30を上下動させてもよい。その他にも、本発明は種々の形態で実施することができる。
【0060】
また、上記の実施形態の共焦点顕微鏡は反射型の顕微鏡であるが、透過型の共焦点顕微鏡にも本発明を適用することができる。透過型の顕微鏡の場合は、試料の裏面から共焦点光学系のレーザ光及び非共焦点光学系の白色光が照射される。共焦点光学系の光源はレーザ光源を含む単色光源はもちろんのこと、複数波長を含むものであってもよい。非共焦点光学系の光源は自然光又は室内光で代用することもできる。
【0061】
【発明の効果】
以上に説明したように、本発明の光量飽和表示機能付共焦点顕微鏡によれば、白黒表示であるスライス画像や超深度画像において、輝度が飽和している画素又は飽和直前の設定輝度以上の画素が着色表示される。これにより、ユーザは画像を目視でチェックしながら受光ゲイン等を最適の状態に調整する作業を容易に行うことができる。特に、試料表面の画像の特定部分を詳しく観察したいような場合に、その部分の輝度が飽和しないで、かつ、できるだけ明るく表示されるように受光ゲイン等を調節する作業が行いやすくなる。
【図面の簡単な説明】
【図1】本発明の実施形態に係る共焦点顕微鏡システムの概略構成を示す図である。
【図2】対物レンズのZ方向位置に応じて変化する受光量データの例を示すグラフである。
【図3】共焦点顕微鏡システムのコントローラに外部コンピュータシステムを接続したハードウェア構成例を示すブロック図である。
【図4】専用ソフトウェアによる表示装置の画面表示の例を示す図である。
【図5】図4の画面表示における操作部領域の拡大図である。
【図6】画像表示領域に表示されたスライス画像の例を示す図である。
【図7】表示画像において飽和直前の設定輝度以上の画素に所定の色を付して表示する機能を実現するための輝度飽和判別回路のブロック図である。
【図8】ヒストグラム表示のための第1の回路構成例を示すブロック図である。
【図9】ヒストグラムカウンタの構成例を示すブロック図である。
【図10】ヒストグラム表示のための第2の回路構成例を示すブロック図である。
【符号の説明】
1 共焦点顕微鏡システム
2 共焦点光学系
19 受光素子
47,51 表示装置
60 画面表示
61 画像表示領域
70 着色表示部
71 ヒストグラム
73 輝度飽和判別回路
74 比較器
76 セレクタ
77 飽和画素用映像信号発生器
Claims (4)
- 試料表面からの光を共焦点光学系を介して受光素子で受光し、その受光情報に基づいて前記試料表面の高さ情報及び光量情報を取得し、取得した情報を処理して得られる前記試料表面の画像を表示装置の画面に表示する共焦点顕微鏡であって、
前記試料表面の画像を表示装置の画面に表示する際に、前記画像を構成する画素のうち輝度が飽和している画素又は飽和直前の設定輝度以上の画素に所定の色を付して表示する機能を備えていることを特徴とする光量飽和表示機能付共焦点顕微鏡。 - 前記試料表面の任意の点で最大受光量が得られるように高さを固定したときの各点の受光量を表すスライス画像において、前記スライス画像を構成する画素のうち輝度が飽和している画素又は飽和直前の設定輝度以上の画素に所定の色を付してリアルタイム表示する機能を備えていることを特徴とする
請求項1記載の光量飽和表示機能付共焦点顕微鏡。 - 前記画像の各画素の輝度を設定輝度と比較する比較器と、所定の色の画素映像信号を出力する飽和画素用映像信号発生器と、前記比較器の出力に基づいて、前記設定輝度より高い輝度を有する画素の映像信号を前記飽和画素用映像信号発生器からの画素映像信号で置き換えるセレクタとを含む輝度飽和判別回路を備えていることを特徴とする
請求項1又は2記載の光量飽和表示機能付共焦点顕微鏡。 - 前記画面に表示された画像における各画素の輝度に関するヒストグラムを前記画像に重ねて表示する機能を備えていることを特徴とする
請求項1、2又は3記載の光量飽和表示機能付共焦点顕微鏡。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002311958A JP2004145153A (ja) | 2002-10-25 | 2002-10-25 | 光量飽和表示機能付共焦点顕微鏡 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002311958A JP2004145153A (ja) | 2002-10-25 | 2002-10-25 | 光量飽和表示機能付共焦点顕微鏡 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004145153A true JP2004145153A (ja) | 2004-05-20 |
Family
ID=32456986
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002311958A Withdrawn JP2004145153A (ja) | 2002-10-25 | 2002-10-25 | 光量飽和表示機能付共焦点顕微鏡 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004145153A (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008083601A (ja) * | 2006-09-28 | 2008-04-10 | Keyence Corp | 共焦点顕微鏡、共焦点顕微鏡操作方法、共焦点顕微鏡操作プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 |
JP2008172325A (ja) * | 2007-01-09 | 2008-07-24 | Fujifilm Corp | 画像取得装置および画像取得方法 |
JP2009169236A (ja) * | 2008-01-18 | 2009-07-30 | Olympus Corp | 顕微鏡用撮像装置 |
JP2010250102A (ja) * | 2009-04-16 | 2010-11-04 | Olympus Corp | 顕微鏡 |
JP2015084057A (ja) * | 2013-10-25 | 2015-04-30 | 株式会社キーエンス | 顕微鏡撮像装置、顕微鏡撮像方法および顕微鏡撮像プログラム |
JP2015152785A (ja) * | 2014-02-14 | 2015-08-24 | キヤノン株式会社 | 画像表示装置及びその制御方法 |
-
2002
- 2002-10-25 JP JP2002311958A patent/JP2004145153A/ja not_active Withdrawn
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008083601A (ja) * | 2006-09-28 | 2008-04-10 | Keyence Corp | 共焦点顕微鏡、共焦点顕微鏡操作方法、共焦点顕微鏡操作プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 |
JP2008172325A (ja) * | 2007-01-09 | 2008-07-24 | Fujifilm Corp | 画像取得装置および画像取得方法 |
JP4653123B2 (ja) * | 2007-01-09 | 2011-03-16 | 富士フイルム株式会社 | 画像取得装置および画像取得方法 |
JP2009169236A (ja) * | 2008-01-18 | 2009-07-30 | Olympus Corp | 顕微鏡用撮像装置 |
JP2010250102A (ja) * | 2009-04-16 | 2010-11-04 | Olympus Corp | 顕微鏡 |
JP2015084057A (ja) * | 2013-10-25 | 2015-04-30 | 株式会社キーエンス | 顕微鏡撮像装置、顕微鏡撮像方法および顕微鏡撮像プログラム |
JP2015152785A (ja) * | 2014-02-14 | 2015-08-24 | キヤノン株式会社 | 画像表示装置及びその制御方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20070081233A1 (en) | Scanning laser microscope apparatus and light-amount detection unit | |
US6337474B1 (en) | Scanning microscope | |
US9798129B2 (en) | Microscope system and method for deciding stitched area | |
US20070120069A1 (en) | Laser-scanning microscope system | |
US8188412B2 (en) | Confocal microscope which weights and combines signals output from a plurality of photodetectors and calculates omnifocal brightness information for the plurality of signals | |
US11143857B2 (en) | Microscope and microscopy method for imaging an object involving changing size of depth-of-field region | |
US20150116477A1 (en) | Microscopic Imaging Device, Microscopic Imaging Method, and Microscopic Imaging Program | |
JP2008083601A (ja) | 共焦点顕微鏡、共焦点顕微鏡操作方法、共焦点顕微鏡操作プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 | |
JP4180322B2 (ja) | 共焦点顕微鏡システム及びパラメータ設定用コンピュータプログラム | |
JP2002267935A (ja) | 光学的観察装置の重畳補足情報の明るさ制御装置 | |
JP2004145153A (ja) | 光量飽和表示機能付共焦点顕微鏡 | |
JP4542302B2 (ja) | 共焦点顕微鏡システム | |
US7078664B2 (en) | Confocal laser microscope displaying target images side by side | |
US7589330B2 (en) | Ultraviolet microscope apparatus | |
JP2008164834A (ja) | 顕微鏡及び顕微鏡の明るさ調整方法 | |
JP2004170572A (ja) | 画像つなぎ合わせ機能を有する共焦点顕微鏡システム、光量偏心補正方法及びコンピュータプログラム | |
JP4473987B2 (ja) | 共焦点顕微鏡 | |
JP4197898B2 (ja) | 顕微鏡、三次元画像生成方法、三次元画像を生成する制御をコンピュータに行わせるプログラム、及びそのプログラムを記録した記録媒体 | |
JP2005156651A (ja) | 走査型光学顕微鏡 | |
JP2008032951A (ja) | 光学装置 | |
JP2004138947A (ja) | 走査モード選択可能な共焦点顕微鏡システム | |
JP4185712B2 (ja) | カラー顕微鏡 | |
JP2004157410A (ja) | 共焦点顕微鏡システム | |
JP4536845B2 (ja) | 共焦点顕微鏡 | |
JP4290413B2 (ja) | 測定反復モードを有する共焦点顕微鏡システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD07 | Notification of extinguishment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7427 Effective date: 20050810 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051018 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081125 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20081128 |