JP2017134115A - Microscope device, and image display program - Google Patents
Microscope device, and image display program Download PDFInfo
- Publication number
- JP2017134115A JP2017134115A JP2016011573A JP2016011573A JP2017134115A JP 2017134115 A JP2017134115 A JP 2017134115A JP 2016011573 A JP2016011573 A JP 2016011573A JP 2016011573 A JP2016011573 A JP 2016011573A JP 2017134115 A JP2017134115 A JP 2017134115A
- Authority
- JP
- Japan
- Prior art keywords
- image
- microscope apparatus
- display
- sample
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Microscoopes, Condenser (AREA)
Abstract
Description
本発明は、顕微鏡装置、及び画像表示プログラムに関する。 The present invention relates to a microscope apparatus and an image display program.
共焦点顕微鏡は、従来から、サンプルの表面形状を非接触で測定する３次元形状測定装置として利用されている。例えば、特許文献１には、複数の共焦点画像からサンプル表面の三次元形状を示す３Ｄ画像を生成し表示する共焦点顕微鏡が記載されている。複数の共焦点画像は、顕微鏡の利用者により指定された、サンプルに対する対物レンズの相対位置（以降、ｚ位置と記す）の範囲（以降、ｚ範囲）内で取得される。 The confocal microscope has been conventionally used as a three-dimensional shape measuring apparatus for measuring the surface shape of a sample in a non-contact manner. For example, Patent Document 1 describes a confocal microscope that generates and displays a 3D image indicating a three-dimensional shape of a sample surface from a plurality of confocal images. The plurality of confocal images are acquired within a range (hereinafter referred to as z range) of a relative position (hereinafter referred to as z position) of the objective lens with respect to the sample designated by the user of the microscope.
特許文献１に記載の共焦点顕微鏡では、指定されたｚ範囲と予め決められた移動ピッチから決定される全てのｚ位置で共焦点画像を取得した後に、３Ｄ画像が表示される。このため、利用者は、全てのｚ位置で共焦点画像が取得されるまで、サンプルの三次元形状に関する情報を得ることができず、三次元形状を把握することができない。
以上のような実情を踏まえ、本発明は、顕微鏡装置の利用者にサンプルの三次元形状に関する情報を早期に提供することを課題とする。
In the confocal microscope described in Patent Literature 1, a 3D image is displayed after acquiring confocal images at all z positions determined from a designated z range and a predetermined movement pitch. For this reason, the user cannot obtain information regarding the three-dimensional shape of the sample until the confocal images are acquired at all the z positions, and cannot grasp the three-dimensional shape.
In light of the above circumstances, an object of the present invention is to provide information regarding the three-dimensional shape of a sample to a user of a microscope apparatus at an early stage.
本発明の一態様は、サンプルに対する対物レンズの相対位置が前記対物レンズの光軸方向に異なる複数の状態の各々で、前記サンプルの二次元画像を取得する画像取得部と、前記複数の状態の各々で前記サンプルの二次元画像を取得する一連の処理を前記画像取得部が終了する前に、前記画像取得部が既に取得した２枚以上の二次元画像に基づいて、合成画像を生成する画像合成部と、前記一連の処理を前記画像取得部が終了する前に、前記画像合成部が生成した前記合成画像を表示装置に表示させる表示制御部と、を備える顕微鏡装置を提供する。 One aspect of the present invention is an image acquisition unit that acquires a two-dimensional image of the sample in each of a plurality of states in which the relative position of the objective lens with respect to the sample is different in the optical axis direction of the objective lens; An image for generating a composite image based on two or more two-dimensional images already acquired by the image acquisition unit before the image acquisition unit completes a series of processes for acquiring the two-dimensional images of the samples. A microscope apparatus is provided that includes a combining unit and a display control unit that displays the combined image generated by the image combining unit on a display device before the image acquisition unit completes the series of processes.
本発明の別の態様は、サンプルに対する顕微鏡装置の対物レンズの相対位置が前記対物レンズの光軸方向に異なる複数の状態の各々で前記サンプルの二次元画像を取得する一連の処理を前記顕微鏡装置が終了する前に、前記顕微鏡装置が既に取得した２枚以上の二次元画像に基づいて、前記サンプルの三次元形状を表す合成画像を生成し、前記一連の処理を前記顕微鏡装置が終了する前に、生成した前記合成画像を表示装置に表示させる処理をコンピュータに実行させる画像表示プログラムを提供する。 According to another aspect of the present invention, a series of processes for acquiring a two-dimensional image of the sample in each of a plurality of states in which the relative position of the objective lens of the microscope apparatus with respect to the sample is different in the optical axis direction of the objective lens is performed. Before the microscope apparatus ends, the composite image representing the three-dimensional shape of the sample is generated based on the two or more two-dimensional images already acquired by the microscope apparatus, and the series of processes is completed before the microscope apparatus ends. In addition, an image display program for causing a computer to execute processing for displaying the generated composite image on a display device is provided.
本発明によれば、顕微鏡装置の利用者にサンプルの三次元形状に関する情報を早期に提供することができる。 ADVANTAGE OF THE INVENTION According to this invention, the information regarding the three-dimensional shape of a sample can be provided to the user of a microscope apparatus at an early stage.
図１は、本発明の一実施形態に係る顕微鏡装置１のハードウェア構成図である。顕微鏡装置１は、サンプルの三次元形状を測定可能な三次元形状測定装置である。顕微鏡装置１は、図１に示すように、共焦点顕微鏡本体１００、制御装置１２０、表示装置１３０、及び入力装置１４０を備えている。サンプルは、例えば、半導体基板などである。図２は、サンプルの一例を示した図であり、以降では、図２に示すサンプル１０６を観察する場合を例に説明する。
FIG. 1 is a hardware configuration diagram of a microscope apparatus 1 according to an embodiment of the present invention. The microscope apparatus 1 is a three-dimensional shape measuring apparatus that can measure the three-dimensional shape of a sample. As shown in FIG. 1, the microscope apparatus 1 includes a confocal microscope
共焦点顕微鏡本体１００は、レーザ光源１０１、偏光ビームスプリッタ（以降、ＰＢＳと記す）１０２、二次元走査部１０３、１／４λ板１０４、対物レンズ１０５、結像レンズ１０７、ピンホール板１０８、光検出器１０９、ＡＤ変換器１１０、レボルバ１１１、Ｘ−Ｙステージ１１４、白色光源１１５、結像レンズ１１６、及び、カメラ１１７を備えている。
The confocal microscope
レボルバ１１１は、対物レンズを切り替える手段であるとともに、光路上に配置された対物レンズ１０５とサンプル１０６との間の相対距離を変更する手段でもある。顕微鏡装置１では、レボルバ１１１は、サンプル１０６を対物レンズ１０５の光軸方向に走査する走査手段であり、二次元走査部１０３は、サンプル１０６を光軸と直交する方向に走査する走査手段である。また、Ｘ−Ｙステージ１１４は、サンプル１０６を対物レンズ１０５に対して対物レンズ１０５の光軸と直交する方向に移動させる手段である。
The
レーザ光源１０１から出射したレーザ光は、ＰＢＳ１０２を透過した後、二次元走査部１０３に入射する。二次元走査部１０３は、例えば、ガルバノミラーであり、レゾナントスキャナである。二次元走査部１０３で偏向されたレーザ光は、１／４λ板１０４で直線偏光から円偏光に変換された後に、レボルバ１１１に装着されている対物レンズ１０５を経由してサンプル１０６へ照射される。
Laser light emitted from the
共焦点顕微鏡本体１００では、二次元走査部１０３は対物レンズ１０５の瞳位置と光学的に共役な位置又はその近傍に配置されている。このため、二次元走査部１０３がレーザ光を偏向させることで、レーザ光の集光位置が対物レンズ１０５の焦点面上を、対物レンズの光軸と直交するＸＹ方向に移動し、これによって、サンプル１０６がレーザ光で二次元に走査される。
In the confocal microscope
二次元走査部１０３による二次元走査（ＸＹ走査）と、対物レンズ１０５の光軸方向（Ｚ方向）へのレボルバ１１１の駆動（Ｚ走査）は、制御装置１２０によって制御される。即ち、制御装置１２０は、走査手段を制御する走査制御手段である。二次元走査部１０３による二次元走査の手法としては、例えば、共焦点顕微鏡で一般的に使用されている、ラスタスキャンが採用される。また、レボルバ１１１の回転駆動により共焦点顕微鏡本体１００の光路上に配置される対物レンズ１０５の切替と、対物レンズ１０５の光軸と直交する方向（ＸＹ方向）へのＸ−Ｙステージ１１４の駆動も、制御装置１２０によって制御される。
Two-dimensional scanning (XY scanning) by the two-
サンプル１０６の表面で反射したレーザ光（以降、反射光と記す）は、対物レンズ１０５を経由して入射する１／４λ板１０４で円偏光から直線偏光に変換される。その後に、二次元走査部１０３を経由してＰＢＳ１０２に入射する。このとき、ＰＢＳ１０２に入射する反射光は、レーザ光源１０１側からＰＢＳ１０２に入射するレーザ光の偏光面とは直交する偏光面を有しているため、ＰＢＳ１０２で反射して、結像レンズ１０７に導かれる。
Laser light reflected on the surface of the sample 106 (hereinafter referred to as reflected light) is converted from circularly polarized light to linearly polarized light by the ¼λ
結像レンズ１０７は、ＰＢＳ１０２で反射した反射光を集光させる。ＰＢＳ１０２からの反射光路上に設けられたピンホール板１０８には、対物レンズ１０５の焦点面に形成されるレーザ光の集光位置と光学的に共役な位置にピンホールが形成されている。このため、サンプル１０６表面のある部位が対物レンズ１０５によるレーザ光の集光位置にある場合には、この部位からの反射光は、ピンホールに集光されて当該ピンホールを通過する。その一方、サンプル１０６表面のある部位が対物レンズ１０５によるレーザ光の集光位置からずれている場合には、この部位からの反射光は、ピンホールに集光しないので、ピンホールを通過せず、ピンホール板１０８によって遮断される。
The
ピンホールを通過した光は、光検出器１０９で検出される。光検出器１０９は、例えば、光電子増倍管（ＰＭＴ）である。光検出器１０９は、このピンホールを通過した光、すなわち、サンプル１０６の表面のうち対物レンズ１０５によるレーザ光の集光位置に位置する部位のみからの反射光を受光する。そして、二次元走査部１０３からの同期信号に基づいてその受光光量に応じた大きさの検出信号をサンプリングし、当該部位の輝度を示す輝度信号として出力する。アナログ信号であるこの輝度信号は、ＡＤ変換器１１０でアナログ−デジタル変換された上で、当該部位の輝度を示す輝度データとして制御装置１２０へ出力される。なお、輝度データは、一旦図示しないメモリに１フレーム分保存される。１フレーム分の輝度データ（つまり、画像データと記す）は、その後、図示しないスケールで測定されたｘ、ｙ、ｚの各位置データとともに制御装置１２０へ出力される。これにより、制御装置１２０は、サンプル１０６の共焦点画像を取得する。なお、共焦点画像は二次元画像の一種である。
The light that has passed through the pinhole is detected by the
一方、白色光源１１５から出射した光（白色光）は、レボルバ１１１に装着されている対物レンズ１０５の瞳位置に集光して、その後、サンプル１０６に照射される。これにより、ケーラー照明によりサンプル１０６が照明される。サンプル１０６表面で反射した反射光は、結像レンズ１１６へ入射し、結像レンズ１１６は、この反射光をＣＣＤ（結合素子）カメラ１１７の受光面に集光する。
On the other hand, the light (white light) emitted from the
カメラ１１７は、対物レンズ１０５の焦点面と光学的に共役な位置に受光面を有するカメラであり、例えば、ＣＣＤ（Charge-Coupled Device）イメージセンサを有するＣＣＤカメラ、ＣＭＯＳ（Complementary MOS）イメージセンサを有するＣＭＯＳカメラである。カメラ１１７は、カラー画像を取得するように構成されていることが望ましい。カメラ１１７は受光面に集光された反射光によりサンプル１０６を撮像して、サンプル１０６の非共焦点画像を生成する。生成された非共焦点画像は制御装置１２０に送られる。なお、非共焦点画像は二次元画像の一種である。
The
また、この顕微鏡装置１は、以下に説明するようにして、サンプル１０６の合成画像を生成する。まず、制御装置１２０が、レボルバ１１１を対物レンズ１０５の光軸方向（ｚ方向）に駆動させて対物レンズ１０５のｚ位置を変更する。そして、ｚ位置が所定距離だけ変化する毎に、二次元走査部１０３でサンプル１０６を走査して共焦点画像を取得する。このようにして取得された複数の共焦点画像における同一位置の画素（ｘｙ平面上で同一位置の画素）の輝度を比較する。画素毎に、輝度が最大となるｚ位置と最大輝度を推定し、最大輝度を示す輝度データと、輝度が最大となるｚ位置を示す高さデータとを生成して、保存する。その後、この保存された輝度データ及び／又は高さデータを用いて、サンプル１０６の合成画像を生成する。なお、高さデータが示す対物レンズ１０５のｚ位置は、例えば、レボルバ１１１に設けられたスケールで測定されたｚ位置である。また、レボルバ１１１の駆動制御のために指定したｚ位置でもよい。
In addition, the microscope apparatus 1 generates a composite image of the
ここで、合成画像とは、例えば、高さ画像、全焦点画像（エクステンドフォーカス画像ともいう）であり、異なるｚ位置で取得された複数の画像に基づいて生成される画像である。高さ画像は、サンプル１０６の表面形状を表す三次元画像であり、各画素の高さデータに基づいて生成される。全焦点画像は、サンプル１０６の表面全体にピントが合った二次元画像であり、各画素の最大輝度を示す輝度データに基づいて生成される。全焦点画像は、共焦点画像の代わりに非共焦点画像に基づいて生成されてもよい。
Here, the composite image is, for example, a height image, an omnifocal image (also referred to as an extended focus image), and is an image generated based on a plurality of images acquired at different z positions. The height image is a three-dimensional image representing the surface shape of the
制御装置１２０は、生成された合成画像を表示装置１３０へ出力し、表示装置１３０に表示させる。より詳細には、制御装置１２０は、取得予定枚数の共焦点画像すべての取得が完了する前に、合成画像を生成し表示装置１３０に表示させる。これにより、顕微鏡装置１の利用者に、従来の三次元形状測定装置よりも早期にサンプル１０６の三次元形状に関する情報を提供することができる。
The
なお、合成画像は、所定枚数の共焦点画像が取得される毎に生成されてもよく、所定時間経過する毎に生成されてもよい。そして、合成画像が生成される毎に制御装置１２０が新たな合成画像を表示装置１３０に表示させる。これにより、合成画像が更新される毎により詳細な三次元形状に関する情報が利用者に提供されることになる。このため、利用者は、早期にサンプル１０６の三次元形状を把握することができる。
Note that the composite image may be generated every time a predetermined number of confocal images are acquired, or may be generated every time a predetermined time elapses. Each time a composite image is generated, the
さらに、この共焦点顕微鏡は、以下に説明するようにして、サンプル１０６の異なる複数の単位撮像領域に対して生成された複数の合成画像を貼り合わせて、貼り合わせ画像を生成する。
Further, the confocal microscope generates a composite image by combining a plurality of synthesized images generated for a plurality of unit imaging regions of the
まず、制御装置１２０が、ある単位撮像領域から異なる単位撮像領域へ顕微鏡装置１の視野を移す際に、隣接する単位撮像領域が一定量以上重複するように、Ｘ−Ｙステージ１１４を移動させる。そして、隣接する単位撮像領域について生成された合成画像の相対位置関係をパターンマッチングにより判断する。その後、得られた相対位置関係を用いて合成画像を貼り合わせることで、貼り合わせ合成画像を生成する。
First, when the
以上のように、顕微鏡装置１では、制御装置１２０が共焦点顕微鏡本体１００を制御することで、共焦点画像、合成画像、貼り合わせ合成画像、及び、非共焦点画像が生成される。
As described above, in the microscope apparatus 1, the
図３は、本発明の一実施形態に係る制御装置１２０の構成の一例を示した図である。制御装置１２０は、顕微鏡装置１を制御する装置であり、例えば、制御プログラムを実行するコンピュータである。制御装置１２０は、図３に示すように、ＣＰＵ１２１、メモリ１２２、入出力インタフェース（Ｉ／Ｆ）１２３、記憶装置１２４、可搬記録媒体１２６を収容する可搬記録媒体駆動装置１２５を備えている。それらはバス１２７で接続されることにより各種データが各要素間で授受可能となっている。そして、ＣＰＵ１２１が記憶装置１２４または可搬記録媒体１２６に記憶された制御プログラムをメモリ１２２にロードして実行することで、制御装置１２０により、顕微鏡装置１の動作が制御され、後述する画像表示処理が行われる。
FIG. 3 is a diagram illustrating an example of the configuration of the
メモリ１２２は、例えば、ＲＡＭ（Random Access Memory）である。入出力Ｉ／Ｆ１２３は、例えば、共焦点顕微鏡本体１００、表示装置１３０、入力装置１４０などの装置との間でデータを授受するための装置である。記憶装置１２４は、制御プログラムや制御プログラムの実行に必要な情報を不揮発的に記憶するものであり、例えば、ハードディスク装置である。可搬記録媒体駆動装置１２５は、光ディスクやコンパクトフラッシュ（登録商標）などの可搬記録媒体１２６を収容するものであり、可搬記録媒体１２６は、記憶装置１２４と同様に、制御プログラムや制御プログラムの実行に必要な情報を不揮発的に記憶するものである。
The memory 122 is, for example, a RAM (Random Access Memory). The input / output I /
表示装置１３０は、例えば、液晶ディスプレイ、ＣＲＴ（Cathode Ray Tube）ディスプレイ、プラズマディスプレイ、有機ＥＬディスプレイである。入力装置１４０は、例えば、マウスやキーボードなどである。表示装置１３０及び入力装置１４０は、タッチパネルディスプレイ装置として一体に構成されてもよい。
The
以下、各実施例について具体的に説明する。
［実施例１］
図４は、本実施例に係る顕微鏡装置１ａの機能的構成の一例を示す図である。本実施例に係る顕微鏡装置１ａは、所定枚数の共焦点画像を取得する度に、合成画像を生成し表示するように構成されている。顕微鏡装置１ａのハードウェア構成は、図１に示す顕微鏡装置１と同様であるので、構成要素については同一の符号で参照する。
Each example will be specifically described below.
[Example 1]
FIG. 4 is a diagram illustrating an example of a functional configuration of the
顕微鏡装置１ａは、サンプル１０６の二次元画像を取得する画像取得部２と、画像取得部２が取得した二次元画像に基づいて合成画像を生成する画像合成部３と、画像合成部３が生成した合成画像を表示装置１３０に表示させる表示制御部４を備えている。
The
画像取得部２は、サンプル１０６に対する対物レンズ１０５の相対位置が対物レンズ１０５の光軸方向に異なる複数の状態（つまり、ｚ位置が異なる複数の状態）の各々で、サンプル１０６の二次元画像を取得する。ここで、二次元画像は、共焦点画像である。複数の状態は、例えば、利用者によって入力される画像取得条件に基づいて決定される。画像取得部２は、二次元画像を取得する度に、新たに取得した二次元画像を画像合成部３へ出力する。
The
画像合成部３は、一連の処理を画像取得部２が終了する前に、画像取得部２が既に取得した２枚以上の二次元画像に基づいて、合成画像を生成する。ここで、一連の処理とは、複数の状態の各々でサンプル１０６の二次元画像を取得する処理全体をいう。例えば、画像取得条件に基づいて１０箇所のｚ位置が決定された場合であれば、１０箇所のｚ位置で計１０枚の二次元画像を取得する処理のことである。
The
画像合成部３は、画像取得部２が所定枚数の二次元画像を取得する毎に、新たな合成画像を生成する。以降では、画像取得部２が１枚の二次元画像を取得する毎に、画像合成部３が新たな合成画像を生成する場合を例に説明する。
The
表示制御部４は、上述した一連の処理を画像取得部２が終了する前に、画像合成部３が生成した合成画像を表示装置１３０に表示させる。より詳細には、表示制御部４は、画像取得部２が新たな二次元画像を取得し、画像合成部３が新たな合成画像を生成する度に、新たな合成画像を表示装置１３０に表示させる。
The
以下、図５から図７を参照しながら、合成画像を生成し表示する処理（以降、画像表示処理と記す）について詳細に説明する。図５は、本実施例に係る画像表示処理を示すフローチャートである。図６は、表示装置１３０に表示される画面の一例を示す図である。図７は、表示装置１３０に表示される画面の別の例を示す図である。画像表示処理は、例えば、図６に示すＧＵＩ画面２００のボタン２６０が押下されることで開始される。
Hereinafter, a process for generating and displaying a composite image (hereinafter referred to as an image display process) will be described in detail with reference to FIGS. FIG. 5 is a flowchart illustrating image display processing according to the present embodiment. FIG. 6 is a diagram illustrating an example of a screen displayed on the
制御装置１２０は、画像表示処理が開始されると、まず、画像取得条件を取得する（ステップＳ１０）。ここでは、制御装置１２０は、利用者がＧＵＩ画面２００を通じて入力した画像取得条件を取得する。画像取得条件は、例えば、設定領域２４０に設定された対物レンズの倍率、設定領域２５０に設定された走査条件などである。図６には、対物レンズの倍率が１０倍に、ｚ走査範囲が８０から１００に、設定された例が示されている。
When the image display process is started, the
画像取得条件が取得されると、制御装置１２０は、初期ｚ位置での二次元画像の取得を共焦点顕微鏡本体１００に指示する（ステップＳ２０）。ここでは、制御装置１２０は、まず、画像取得条件に基づいて画像を取得すべき複数のｚ位置を決定する。具体的には、顕微鏡装置１ａの被写界深度に基づいてｚ位置間のピッチが算出され、ｚ走査範囲と算出されたピッチに基づいて複数のｚ位置が決定される。図６に示す例では、例えば、ピッチが２と算出され、走査範囲内のｚ＝８０、８２、８４、・・・、１００の１１個のｚ位置が決定される。さらに、制御装置１２０は、初期ｚ位置として、ｚ＝８０を決定し、ｚ＝８０の位置で共焦点画像が取得されるように共焦点顕微鏡本体１００を制御する。これにより、共焦点顕微鏡本体１００はレボルバ１１１をｚ＝８０の位置に移動した後に、二次元走査を開始し、共焦点画像を生成する。なお、初期ｚ位置は、画像取得条件に基づいて決定された複数のｚ位置のうちの下限のｚ位置とは限らない。例えば、上限のｚ位置に決定されてもよく、それ以外のｚ位置に決定されてもよい。
When the image acquisition condition is acquired, the
制御装置１２０は、二次元画像を取得する（ステップＳ３０）。ここでは、制御装置１２０は、共焦点顕微鏡本体１００からｚ＝８０の位置でのサンプル１０６の共焦点画像を取得する。
The
その後、制御装置１２０は、次のｚ位置での二次元画像の取得を指示し（ステップＳ４０）、再び二次元画像を取得する（ステップＳ５０）。ステップＳ４０とステップＳ５０の処理は、ｚ位置が異なる点を除き、ステップＳ２０及びステップＳ３０の処理と同様である。次のｚ位置は、例えば、ステップＳ２０で決定された複数のｚ位置から昇順に従って決定されてもよく、降順に従って決定されてもよい。また、それ以外の方法で決定されてもよい。なお、この例では、昇順に従って次のｚ位置が決定される。
Thereafter, the
次に、制御装置１２０は、合成画像を生成する（ステップＳ６０）。ここでは、制御装置１２０は、既に取得した２枚以上の共焦点画像に基づいて合成画像を生成する。なお、この実施例では、合成画像として高さ画像が生成される。さらに、高さ画像に加えて、全焦点画像も生成される。ステップＳ６０の処理の詳細については、後述する。
Next, the
合成画像が生成されると、制御装置１２０は、合成画像の表示を指示する（ステップＳ７０）。ここでは、制御装置１２０は、ステップＳ６０で生成した合成画像を表示装置１３０に表示させる。これにより、三次元画像を表示するための表示領域２１０に、高さ画像が表示される。また、利用者が二次元画像を表示するための表示領域２２０を選択することで、図７に示すように、表示領域２２０に、全焦点画像が表示される。なお、表示領域２２０には、全焦点画像の代わりに取得した最新の共焦点画像が表示されてもよい。
When the composite image is generated, the
その後、制御装置１２０は、ステップＳ２０で決定した全てのｚ位置で二次元画像を取得済みか否かを判定する（ステップＳ８０）。そして、全てｚ位置で二次元画像が取得されるまでステップＳ４０からステップＳ８０の処理を繰り返し、図５に示す画像表示処理を終了する。
Thereafter, the
以下、図８から図１０を参照しながら、画像表示処理に含まれる画像合成処理について詳細に説明する。図８は、本実施例に係る画像合成処理を示すフローチャートである。図９は、微小領域を説明するための図である。図１０は、信頼度データを説明するための図である。 Hereinafter, the image composition process included in the image display process will be described in detail with reference to FIGS. 8 to 10. FIG. 8 is a flowchart illustrating image composition processing according to the present embodiment. FIG. 9 is a diagram for explaining a minute region. FIG. 10 is a diagram for explaining the reliability data.
図８に示す画像合成処理が開始されると、制御装置１２０は、微小領域６を選択する（ステップＳ６１）。微小領域６とは、輝度データが割り当てられた単位領域であり、図９に示すように、二次元画像の画素に相当する。ここでは、制御装置１２０は、二次元画像を構成する複数の微小領域から１つの微小領域を選択する。微小領域６の数（画素数）は、例えば、走査線１本当たりのサンプリング回数と走査線数の積で算出される画像当たりのサンプリング回数である。ただし、ビニング処理が行われる場合や一画素当たりに複数回サンプリングが行われる場合などはこの限りではない。
When the image composition process shown in FIG. 8 is started, the
微小領域６が選択されると、制御装置１２０は、ＩＺカーブを生成する（ステップＳ６２）。ここでは、まず、取得済みの２枚以上の二次元画像の各々から、選択された微小領域６のＩＺ座標を取得する。ＩＺ座標とは、サンプリングにより取得された微小領域６の輝度データが示す輝度と画像のｚ位置とで特定される座標である。ＩＺ座標でのｚ位置は、レボルバ１１１のスケールで測定されたｚ位置でも、レボルバ１１１の駆動制御時に制御装置１２０が指定したｚ位置でもよい。次に、制御装置１２０は、２枚以上の二次元画像から取得した２つ以上のＩＺ座標をガウス関数でフィッティングして、微小領域６のＩＺカーブを生成する。例えば、取得したＩＺ座標のうちの輝度が最も大きいＩＺ座標とその近傍のＩＺ座標からＩＺカーブを生成してもよい。図１０（ａ）、図１０（ｂ）は、取得した５つのＩＺ座標から、輝度が最も大きいＩＺ座標とその近傍の２つのＩＺ座標を選択し、選択した計３つのＩＺ座標に基づいてＩＺカーブ（ＩＺカーブ１１、ＩＺカーブ１２）を算出した例が示されている。
When the
ＩＺカーブが生成されると、制御装置１２０は、微小領域を代表する輝度（最大輝度）を示す輝度データと高さデータを生成する（ステップＳ６３）。ここでは、微小領域の輝度が最大となるｚ位置と最大輝度を推定し、最大輝度を示す輝度データと、輝度が最大となるｚ位置を示す高さデータとを生成する。
When the IZ curve is generated, the
輝度データと高さデータが生成されると、制御装置１２０は、信頼度データを生成する（ステップＳ６４）。信頼度データは、ステップＳ６３で生成した高さデータの信頼度を示すデータである。信頼度データは、ＩＺカーブの形状に基づいて生成されてもよい。例えば、図１０（ａ）に示すＩＺカーブ１１と図１０（ｂ）に示すＩＺカーブ１２を比較すると、ＩＺカーブ１２は、曲線のピークが低く曲線の曲がりも緩やかである。このような形状では、情報不足に起因して誤ったピークが検出されている可能性がある。このため、ＩＺカーブ１１の信頼度（ここでは、０．５）は、ＩＺカーブ１２の信頼度（ここでは、１．０）に比べて低いと判断できる。
When the luminance data and height data are generated, the
なお、図１０（ｃ）に示すように、２枚以上の二次元画像から取得されたＩＺ座標の組み合わせによっては、ステップＳ６２でＩＺカーブが生成できない場合がある。このような場合には、ステップＳ６３で、輝度不定の輝度データと高さ不定の輝度データを生成し、ステップＳ６４で、信頼度が０の信頼度データを生成しても良い。 As shown in FIG. 10C, depending on the combination of IZ coordinates acquired from two or more two-dimensional images, an IZ curve may not be generated in step S62. In such a case, luminance data with indefinite luminance and luminance data with indefinite height may be generated in step S63, and reliability data with a reliability of 0 may be generated in step S64.
信頼度データが生成されると、制御装置１２０は、全ての微小領域を選択済みか否かを判定する（ステップＳ６５）。そして、全て微小領域が選択されるまでステップＳ６１からステップＳ６５の処理を繰り返す。これにより、微小領域毎に、最大輝度を示す輝度データと、輝度が最大となるｚ位置を示す高さデータと、信頼度データが生成される。
When the reliability data is generated, the
最後に、制御装置１２０は、合成画像を生成し（ステップＳ６６）、図８に示す画像合成処理を終了する。ここでは、制御装置１２０は、微小領域毎に生成された高さデータと輝度データに基づいて合成画像を生成する。具体的には、高さデータに基づいて三次元形状を生成し、三次元形状の表面に輝度データが示す最大輝度を割り当てた高さ画像を生成する。さらに、微小領域毎の最大輝度を示す輝度データに基づいて、全焦点画像を生成する。
Finally, the
顕微鏡装置１ａが図５及び図８に示す処理を実行することにより、共焦点画像が生成される度に、高さ画像が生成されて三次元表示が更新される。このため、顕微鏡装置１ａによれば、利用者は、高さ画像に基づいて、早期にサンプル１０６の三次元形状を把握することが可能となる。
When the
また、顕微鏡装置１ａは、図６に示すように、高さ画像とともに進捗バー２１１、上限表示２１２、下限表示２１３を表示領域２１０に表示してもよい。進捗バーは、一連の処理（共焦点画像を繰り返し取得する処理）の進捗を表す進捗情報の一例である。進捗バーを表示することで、利用者は、三次元形状に関する情報とともに処理の進捗も把握することができる。このため、処理が正常に実行されていることを確認することができ、安心感を得ることができる。上限表示２１２と下限表示２１３は、それぞれ、二次元画像を取得すべき上限のｚ位置に対応する撮像面の位置情報、下限のｚ位置に対応する撮像面の位置情報である。進捗バー２１１を上限表示２１２と下限表示２１３とともに表示することで、画像取得の進捗をさらに直感的に把握することができる。
Further, as shown in FIG. 6, the
さらに、二次元画像が取得された最新の撮像面の位置情報である現在表示を表示領域２１０に表示してもよい。また、現在表示の代わりに最新の共焦点画像を高さ画像とともに表示領域２１０に表示してもよい。この場合、最新の共焦点画像を、高さ画像中の最新の撮像面の位置に重ねて表示することが望ましい。
Further, a current display that is position information of the latest imaging surface from which the two-dimensional image is acquired may be displayed in the
また、顕微鏡装置１ａでは、高さ画像により三次元形状に関する情報が一連の処理の完了を待たずに随時提供される。このため、利用者は、例えば、走査範囲が適切でない、観察倍率が適切でない、などの不適切な画像取得条件の設定を、早期に認識することができる。従って、例えば、一連の処理の早い段階で、ＧＵＩ画面２００上のボタン２７０を押下して処理を中止することが可能であり、無駄になる処理時間を短く抑えることができる。
Further, in the
また、顕微鏡装置１ａでは、信頼度データに応じて合成画像の表示を変更してもよい。例えば、利用者によって指定された信頼度を閾値に設定し、信頼度データに基づいて合成画像中の閾値未満の信頼度を有する画素（微小領域）を特定し、当該画素を表示領域２１０上で透明に表示してもよい。また、透明に表示する代わりに指定された色で表示してもよい。なお、閾値となる信頼度は製品出荷時に予め設定されてもよい。
In the
三次元形状の表面に最大輝度を割り当てた高さ画像を表示する例を示したが、最大輝度の代わりに高さに応じた色を三次元形状の表面に割り当てた高さ画像が表示領域２１０に表示されてもよい。この場合、制御装置１２０は、予め記憶装置１２４に記憶されているルックアップテーブル（以降、ＬＵＴ）を参照して高さに応じた色を示す色データを取得する。そして、取得された色データと高さデータに基づいて高さ画像を生成する。また、最大輝度を表面に割り当てた高さ画像と高さに応じた色を表面に割り当てた高さ画像は、利用者の操作（例えば、右クリックなど）により任意に切り替えて表示されてもよい。
Although an example in which a height image with the maximum luminance assigned to the surface of the three-dimensional shape is displayed, a height image in which a color corresponding to the height is assigned to the surface of the three-dimensional shape instead of the maximum luminance is displayed in the
また、制御装置１２０は、図８に示す画像合成処理の代わりに、図１１に示す画像合成処理を行ってもよい。図１１に示す画像合成処理は、ＩＺカーブを算出しない点、及び、信頼度データを生成しない点が、図８に示す画像合成処理と異なっている。さらに、ステップＳ９２では、取得済みの二次元画像の各々から取得した微小領域６のＩＺ座標の中から輝度が最も大きいＩＺ座標が特定され、そのＩＺ座標から輝度データと高さデータが生成される。図１１のステップＳ９１、ステップＳ９３、ステップＳ９４の処理は、それぞれ、図８のステップＳ６１、ステップＳ６５、ステップＳ６６の処理と同様である。
Further, the
図１１に示す画像合成処理を実行することで、合成画像をより短時間で生成することが可能となる。また、図１１に示す画像合成処理では、図１２（ａ）、図１２（ｂ）、図１２（ｃ）に示すように、現在表示２１４の高さまでの三次元形状が順次確定する。従って、現在表示２１４の高さまでの三次元形状は高い精度で表示される。このため、処理を途中で中止した場合であっても、それまでに生成された合成画像をサンプルの形状の解析や測定レポートの作成に利用することができる。
By executing the image composition process shown in FIG. 11, a composite image can be generated in a shorter time. In the image composition processing shown in FIG. 11, the three-dimensional shape up to the height of the
［実施例２］
図１３は、本実施例に係る顕微鏡装置１ｂの機能的構成の一例を示す図である。本実施例に係る顕微鏡装置１ｂは、所定枚数の共焦点画像を取得する度に、合成画像を生成し表示する点は、顕微鏡装置１ａと同様である。顕微鏡装置１ｂは、カラー全焦点画像及びカラー合成画像を生成する点が、顕微鏡装置１ａとは異なっている。顕微鏡装置１ｂのハードウェア構成は、顕微鏡装置１及び顕微鏡装置１ａと同様であるので、構成要素については同一の符号で参照する。
[Example 2]
FIG. 13 is a diagram illustrating an example of a functional configuration of the
顕微鏡装置１ｂは、サンプル１０６の二次元画像を取得する２つの画像取得部（第１の画像取得部２ａ、第２の画像取得部２ｂ）と、２つの画像取得部が取得した二次元画像に基づいてカラー合成画像を生成する画像合成部３と、画像合成部３が生成したカラー合成画像を表示装置１３０に表示させる表示制御部４を備えている。
The
第１の画像取得部２ａ、第２の画像取得部２ｂは、それぞれ、サンプル１０６に対する対物レンズ１０５の相対位置が対物レンズ１０５の光軸方向に異なる複数の状態（つまり、ｚ位置が異なる複数の状態）の各々で、サンプル１０６の二次元画像を取得する。第１の画像取得部２ａが取得する二次元画像は、共焦点画像である。第２の画像取得部２ｂが取得する二次元画像は、非共焦点画像であり、サンプル１０６の色彩を表すカラー画像である。画像合成部３は、共焦点画像に基づいて生成される高さデータと第２の画像取得部２ｂが取得したカラー画像に基づいて、サンプル１０６の三次元形状と色彩を表すカラー合成画像を生成する。
Each of the first image acquisition unit 2a and the second
以下、図１４及び図１５を参照しながら、画像表示処理について詳細に説明する。図１４は、本実施例に係る画像表示処理を示すフローチャートである。図１５は、本実施例に係る画像合成処理を示すフローチャートである。 Hereinafter, the image display process will be described in detail with reference to FIGS. 14 and 15. FIG. 14 is a flowchart illustrating image display processing according to the present embodiment. FIG. 15 is a flowchart illustrating the image composition processing according to the present embodiment.
制御装置１２０は、図１４に示す画像表示処理が開始されると、まず、画像取得条件を取得する（ステップＳ１００）。この処理は、図５のステップＳ１０と同様である。画像取得条件が取得されると、制御装置１２０は、初期ｚ位置でのカラー画像の取得を共焦点顕微鏡本体１００に指示する（ステップＳ１１０）。ここでは、制御装置１２０は、まず、画像取得条件に基づいて決定された複数のｚ位置から初期ｚ位置を決定する。その後、初期ｚ位置でカラー画像が取得されるように共焦点顕微鏡本体１００を制御する。これにより、共焦点顕微鏡本体１００はレボルバ１１１を初期ｚ位置に移動した後に、ＣＣＤカメラ１１７でサンプル１０６を撮像する。
When the image display process shown in FIG. 14 is started, the
制御装置１２０は、カラー画像を取得する（ステップＳ１２０）。ここでは、制御装置１２０は、ＣＣＤカメラ１１７から出力されたカラー画像を取得する。その後、制御装置１２０は、ステップＳ１１０で決定した全てのｚ位置でカラー画像を取得済みか否かを判定する（ステップＳ１３０）。未だカラー画像が取得されていないｚ位置がある場合には、次のｚ位置でのカラー画像の取得を指示し（ステップＳ１４０）、再びカラー画像を取得する（ステップＳ１２０）。そして、全てｚ位置でカラー画像が取得されるまでステップＳ１２０からステップＳ１４０の処理を繰り返す。
The
全てのｚ位置でカラー画像が取得されると、制御装置１２０は、カラー全焦点画像を生成する（ステップＳ１５０）。ここでは、制御装置１２０は、全てのｚ位置で取得した複数のカラー画像に基づいて、カラー全焦点画像を生成する。
When color images are acquired at all z positions, the
次に、制御装置１２０は、全てのｚ位置で共焦点画像が取得されるまで（ステップＳ２２０）、共焦点画像の取得（ステップＳ１６０からステップＳ１９０）、カラー合成画像の生成（ステップＳ２００）、カラー合成画像の表示（ステップＳ２１０）を繰り返す。なお、ステップＳ１６０からステップＳ２２０の処理は、ステップＳ２００を除き、図５のステップＳ２０からステップＳ８０の処理と同様である。
Next, until the confocal image is acquired at all z positions (step S220), the
ステップＳ２００では、制御装置１２０は、図１５に示す画像合成処理を行う。なお、図１５に示す画像合成処理は、ステップＳ２０３で輝度データを生成しない点、及び、ステップＳ２０６でカラー合成画像を生成する点が、図８に示す画像合成処理と異なっている。ステップＳ２０１、ステップＳ２０２、ステップＳ２０４、ステップＳ２０５の各ステップは、それぞれステップＳ６１、ステップＳ６２、ステップＳ６４、ステップＳ６５の各ステップと同様である。
In step S200, the
ステップＳ２０３では、制御装置１２０は、高さデータを生成する。ここでは、制御装置１２０は、微小領域の輝度が最大となるｚ位置を特定し、当該ｚ位置を示す高さデータを生成する。ステップＳ２０６では、制御装置１２０は、カラー合成画像を生成する。ここでは、制御装置１２０は、カラー全焦点画像と微小領域毎に生成された高さデータに基づいてカラーで表示される高さ画像を生成する。具体的には、高さデータに基づいて三次元形状を生成し、三次元形状の表面にカラー全焦点画像に含まれる対応する微小領域のカラー情報を割り当てる。
In step S203, the
本実施例に係る顕微鏡装置１ｂによれば、利用者は、カラー高さ画像に基づいて、早期にサンプル１０６の三次元形状を把握することが可能となる。また、三次元形状とともに、サンプル１０６のカラー情報を得ることができる。その他、進捗表示等が行われてもよい点は、顕微鏡装置１ａと同様である。
According to the
高さデータを共焦点画像に基づいて算出する例を示したが、高さデータは、カラー画像に基づいて算出してもよい。その場合、例えば、図１４のステップＳ１００からステップＳ１５０を省略し、ステップＳ１７０及びステップＳ１９０でカラー画像を取得すればよい。その上で、図１５のステップＳ２０２で、取得した２枚以上のカラー画像から、ＩＺカーブの代わりに、微小領域毎のコントラストとｚ位置の関係を示す曲線（以降、ＣＺカーブと記す。）を算出する。さらに、ＣＺカーブに基づいてコントラストが最大となるｚ位置を微小領域毎に推定し、当該ｚ位置を示す高さデータを生成する。なお、微小領域（画素）のコントラストは、例えば、当該微小領域の輝度と隣接する微小領域の輝度の差分に基づいて算出される。 Although an example in which the height data is calculated based on the confocal image has been shown, the height data may be calculated based on the color image. In that case, for example, steps S100 to S150 in FIG. 14 may be omitted, and a color image may be acquired in steps S170 and S190. Then, in step S202 of FIG. 15, from the two or more acquired color images, a curve indicating the relationship between the contrast and the z position for each minute region (hereinafter referred to as a CZ curve) is used instead of the IZ curve. calculate. Furthermore, the z position where the contrast is maximized is estimated for each minute region based on the CZ curve, and height data indicating the z position is generated. Note that the contrast of the minute area (pixel) is calculated based on, for example, the difference between the brightness of the minute area and the brightness of the adjacent minute area.
カラー画像から高さデータを生成することで、共焦点画像を取得することなく、カラー高さ画像を生成することができる。従って、利用者は、さらに早い段階でサンプル１０６の三次元形状を把握することが可能となる。
By generating height data from a color image, a color height image can be generated without acquiring a confocal image. Therefore, the user can grasp the three-dimensional shape of the
［実施例３］
本実施例に係る顕微鏡装置は、所定時間経過毎に、合成画像を生成し表示するように構成されている点が、顕微鏡装置１ａとは異なっている。本実施例に係る顕微鏡装置のハードウェア構成は、実施例１及び実施例２の顕微鏡装置と同様であるので、構成要素については同一の符号で参照する。
[Example 3]
The microscope apparatus according to the present embodiment is different from the
図１６は、本実施例に係る画像取得処理を示すフローチャートである。図１７は、本実施例に係る画像表示処理を示すフローチャートである。本実施例は、画像取得処理が画像表示処理から独立して非同期で行われる点が、上述した実施例と異なる。 FIG. 16 is a flowchart illustrating image acquisition processing according to the present embodiment. FIG. 17 is a flowchart illustrating image display processing according to the present embodiment. This embodiment is different from the above-described embodiment in that the image acquisition process is performed asynchronously independently of the image display process.
本実施例に係る顕微鏡装置では、例えば、図６に示すＧＵＩ画面２００のボタン２６０が押下されると、図１６に示す画像取得処理と図１７に示す画像表示処理がそれぞれ開始される。なお、図１６に示す画像取得処理のステップＳ３００からステップＳ３５０は、図５に示す画像表示処理のステップＳ１０からステップＳ５０及びステップＳ８０と同様である。そのため、詳細な説明は割愛する。
In the microscope apparatus according to the present embodiment, for example, when the
制御装置１２０は、図１７に示す画像表示処理が開始されると、まず、経過時間をカウントとするカウンタの動作を開始する（ステップＳ４００）。その後、カウンタを監視して所定時間が経過するまで待機する（ステップＳ４１０）。所定時間経過すると、制御装置１２０は、合成画像を生成し（ステップＳ４２０）、合成画像の表示を指示する（ステップＳ４３０）。これらの処理は、図５のステップＳ６０、ステップＳ７０と同様である。
When the image display process shown in FIG. 17 is started, the
次に、制御装置１２０は、カウンタをリセットする（ステップＳ４４０）。その後、制御装置１２０は、図１６に示す画像取得処理が終了したか否かを判定し（ステップＳ４５０）、終了するまでステップＳ４１０からステップＳ４５０の処理を繰り返す。
Next, the
本実施例に係る顕微鏡装置によれば、所定時間毎に高さ画像が生成されて更新されるため、利用者は、早期にサンプル１０６の三次元形状を把握することが可能となる。
According to the microscope apparatus according to the present embodiment, since the height image is generated and updated every predetermined time, the user can grasp the three-dimensional shape of the
［実施例４］
本実施例に係る顕微鏡装置は、顕微鏡装置の視野を複数のフィードに分割し、フィールド毎に共焦点画像を生成する点が、顕微鏡装置１ａとは異なっている。本実施例に係る顕微鏡装置のハードウェア構成は、実施例１から実施例３の顕微鏡装置と同様であるので、構成要素については同一の符号で参照する。
[Example 4]
The microscope apparatus according to the present embodiment is different from the
図１８は、視野を構成するフィールドを説明するための図である。本実施例では、顕微鏡装置は、顕微鏡装置の視野（二次走査範囲）を、複数のフィールド（フィールド２１、フィールド２２）に分割し、フィールド毎に複数の状態の各々でサンプル１０６の共焦点画像を取得する。なお、各フィールドには、走査線５が所定数おきに割り当てられる。図１８では、フィールド２１、フィールド２２に、１つおきに走査線５が割り当てられている例が示されている。
FIG. 18 is a diagram for explaining the fields constituting the visual field. In this embodiment, the microscope apparatus divides the field of view (secondary scanning range) of the microscope apparatus into a plurality of fields (
図１９は、本実施例に係る画像表示処理を示すフローチャートである。制御装置１２０は、図１９に示す画像表示処理が開始されると、まず、画像取得条件を取得する（ステップＳ５００）。この処理は、図５のステップＳ１０と同様である。画像取得条件が取得されると、制御装置１２０は、撮像対象とするフィールドを共焦点顕微鏡本体１００に指示する（ステップＳ５１０）ここでは、制御装置１２０は、例えば、フィールド２１を指定する。その後、制御装置１２０は、全てのｚ位置で共焦点画像が取得されるまで（ステップＳ５８０）、共焦点画像の取得（ステップＳ５２０からステップＳ５５０）、合成画像の生成（ステップＳ５６０）、合成画像の表示（ステップＳ５７０）を繰り返す。なお、ステップＳ５６０の画像合成処理では、取得済みのフィールドの画素データを補間して、未取得のフィールドの画素データが生成される。
FIG. 19 is a flowchart illustrating image display processing according to the present embodiment. When the image display process shown in FIG. 19 is started, the
全てのｚ位置で共焦点画像が取得されると、制御装置１２０は、さらに、全てのフィールドで共焦点画像を取得済みか否かを判定する（ステップＳ５９０）。未だ共焦点画像を取得していないフィールドが存在する場合には、制御装置１２０は、フィールドの変更を指示し（ステップＳ６００）、全てのフィールドで共焦点画像が取得されるまで、ステップＳ５２０からステップＳ６００の処理を繰り返す。
When confocal images are acquired at all z positions, the
本実施例に係る顕微鏡装置によっても、共焦点画像が生成される度に、高さ画像（合成画像）が生成されて三次元表示が更新される。このため、利用者は、高さ画像に基づいて、早期にサンプル１０６の三次元形状を把握することができる。
Also with the microscope apparatus according to the present embodiment, every time a confocal image is generated, a height image (composite image) is generated and the three-dimensional display is updated. For this reason, the user can grasp the three-dimensional shape of the
また、本実施例に係る顕微鏡装置では、走査線５を間引いて共焦点画像が取得されるため、１枚の共焦点画像の取得に要する時間が短くなる。その結果、高さ画像が表示されるまでの時間も短縮される。また、あるフィールドで全てのｚ位置で共焦点画像を取得した後に、別のフィールドでの共焦点画像の取得が開始される。このため、ｚ走査範囲全体を表示した高さ画像が顕微鏡装置１ａよりも短時間で表示される。従って、顕微鏡装置１ａよりも早期にサンプル１０６の三次元形状を把握することができる。また、最終的には全てのフィールドで共焦点画像が取得されるため、顕微鏡装置１ａと同等の精度の高さ画像を得ることができる。
Further, in the microscope apparatus according to the present embodiment, since the confocal image is acquired by thinning the
上述した実施例は、発明の理解を容易にするために具体例を示したものであり、本発明は上述した実施例に限定されるものではない。顕微鏡装置及び画像表示プログラムは、特許請求の範囲に記載した本発明の範囲内で、さまざまな変形、変更が可能である。例えば、顕微鏡装置は、様々な追加の機能を有していてもよい。例えば、図２０（ａ）に示すように、利用者が合成画像に対して切断面を指定することで、図２０（ｂ）に示すような、断面を表示する機能を有してもよい。断面部分は指定した色で表示するようにしてもよい。また、表示領域２１０に表示中の合成画像をマウス操作で移動させたり回転させたりできるようにしてもよい。さらに、合成画像は、表示領域２１０だけではなく、マップ画像を表示する表示領域２３０にも表示されてもよい。また、図１では、工業用途で使用される工業系の顕微鏡装置を例示したが、本願発明は、生物系の顕微鏡装置にも適用可能である。
The embodiments described above are specific examples for facilitating understanding of the invention, and the present invention is not limited to the embodiments described above. The microscope apparatus and the image display program can be variously modified and changed within the scope of the present invention described in the claims. For example, the microscope apparatus may have various additional functions. For example, as illustrated in FIG. 20A, the user may have a function of displaying a cross section as illustrated in FIG. 20B by designating a cut surface for the composite image. The cross section may be displayed in a designated color. Further, the composite image being displayed in the
一般に共焦点顕微鏡では、画像データとｘ、ｙ、ｚの各位置データは、別々の転送路を介して制御装置１２０へ出力される。具体的には、画像データは、位置データよりも高速な転送路を介して制御装置１２０へ出力される。しかしながら、上述した顕微鏡装置では、位置データは、従来画像データの転送に利用されていた転送路を介して出力されてもよく、即ち、画像データと同じ転送路で転送されてもよい。位置データは、例えば、１フレームの期間を示すフレーム有効信号が「有効」に設定されている期間中であって、画像データを構成する最終ラインのデータを転送後に、画像データと同じ転送路で転送される。これにより、位置データが画像データから大きく遅れることなく制御装置１２０に転送されるため、高さ画像などの合成画像を、従来よりも高速に生成することが可能となる。
In general, in a confocal microscope, image data and x, y, and z position data are output to the
また、以上では１フレーム期間中はｚ位置が変化しない例を示したが、駆動効率向上のため、ｚ位置が、フレーム期間中継続的に変化し、１フレーム期間経過する毎に１ピッチ分だけ変化するように制御されてもよい。この場合、ｚ位置のデータは、測定精度を維持するため、フレーム毎ではなくライン毎に取得されることが望ましい。例えば、画像データを構成する各ラインのデータを転送後、次のラインのデータを転送する前に、そのラインに対応するｚ位置のデータをそのラインのデータと同じ転送路で転送してもよい。これにより、測定精度を維持したまま駆動効率を向上させることができる。また、位置データが画像データから大きく遅れることなく制御装置１２０に転送されるため、高さ画像などの合成画像を、従来よりも高速に生成することが可能となる。
In addition, although the example in which the z position does not change during one frame period has been described above, the z position continuously changes during the frame period and only one pitch is passed every frame period for improving the driving efficiency. It may be controlled to change. In this case, it is desirable that the z position data be acquired for each line, not for each frame, in order to maintain measurement accuracy. For example, after transferring the data of each line constituting the image data, before transferring the data of the next line, the data at the z position corresponding to the line may be transferred through the same transfer path as the data of the line. . As a result, it is possible to improve drive efficiency while maintaining measurement accuracy. In addition, since the position data is transferred to the
１、１ａ、１ｂ・・・顕微鏡装置、２・・・画像取得部、２ａ・・・第１の画像取得部、２ｂ・・・第２の画像取得部、３・・・画像合成部、４・・・表示制御部、５・・・走査線、６・・・微小領域、１１、１２・・・ＩＺカーブ、２１、２２・・・フィールド、１００・・・共焦点顕微鏡本体、１０１・・・レーザ光源、１０２・・・ＰＢＳ、１０３・・・二次元走査部、１０４・・・１／４λ板、１０５・・・対物レンズ、１０６・・・サンプル、１０６ａ、１０６ｂ、１０６ｃ・・・表面、１０７・・・結像レンズ、１０８・・・ピンホール板、１０９・・・光検出器、１１０・・・ＡＤ変換器、１１１・・・レボルバ、１１４・・・Ｘ−Ｙステージ、１１５・・・白色光源、１１６・・・結像レンズ、１１７・・・カメラ、１２０・・・制御装置、１２１・・・ＣＰＵ、１２２・・・メモリ、１２３・・・入出力Ｉ／Ｆ、１２４・・・記憶装置、１２５・・・可搬記録媒体駆動装置、１２６・・・可搬記憶媒体、１２７・・・バス、１３０・・・表示装置、１４０・・・入力装置、２００・・・ＧＵＩ画面、２１０、２２０、２３０・・・表示領域、２１１・・・進捗バー、２１２・・・上限表示、２１３・・・下限表示、２１４・・・現在表示、２４０、２５０・・・設定領域、２６０、２７０・・・ボタン
DESCRIPTION OF
Claims (17)
前記複数の状態の各々で前記サンプルの二次元画像を取得する一連の処理を前記画像取得部が終了する前に、前記画像取得部が既に取得した２枚以上の二次元画像に基づいて、合成画像を生成する画像合成部と、
前記一連の処理を前記画像取得部が終了する前に、前記画像合成部が生成した前記合成画像を表示装置に表示させる表示制御部と、を備える
ことを特徴とする顕微鏡装置。 In each of a plurality of states in which the relative position of the objective lens with respect to the sample is different in the optical axis direction of the objective lens, an image acquisition unit that acquires a two-dimensional image of the sample;
A series of processes for acquiring a two-dimensional image of the sample in each of the plurality of states is synthesized based on two or more two-dimensional images already acquired by the image acquisition unit before the image acquisition unit ends. An image composition unit for generating an image;
A microscope apparatus comprising: a display control unit configured to display on the display device the composite image generated by the image composition unit before the image acquisition unit ends the series of processes.
前記画像合成部は、
前記サンプルの微小領域毎に高さデータを生成し、
前記微小領域毎に生成された高さデータに基づいて、前記合成画像を生成する
ことを特徴とする顕微鏡装置。 The microscope apparatus according to claim 1, wherein
The image composition unit
Generate height data for each micro area of the sample,
The microscope apparatus, wherein the composite image is generated based on height data generated for each minute region.
前記画像合成部は、前記微小領域毎に生成された高さデータと当該微小領域を代表する輝度を示す輝度データとに基づいて、前記合成画像を生成する
ことを特徴とする顕微鏡装置。 The microscope apparatus according to claim 2, wherein
The microscope apparatus, wherein the image composition unit generates the composite image based on height data generated for each minute region and luminance data representing luminance representing the minute region.
前記画像合成部は、前記微小領域毎に生成された高さデータと当該微小領域を代表するコントラストを示すコントラストデータとに基づいて、前記合成画像を生成する
ことを特徴とする顕微鏡装置。 The microscope apparatus according to claim 2, wherein
The microscope apparatus, wherein the image composition unit generates the composite image based on height data generated for each minute region and contrast data representing contrast representing the minute region.
前記画像合成部は、前記微小領域毎に生成された高さデータと、高さに対して割り当てられた色を示す色データとに基づいて、前記合成画像を生成する
ことを特徴とする顕微鏡装置。 The microscope apparatus according to claim 2, wherein
The image synthesizing unit generates the synthesized image based on height data generated for each minute region and color data indicating a color assigned to the height. .
前記サンプルの色彩を表わすカラー画像を取得する第２の画像取得部を備え、
前記画像取得部は、共焦点画像を取得する第１の画像取得部であり、
前記画像合成部は、前記微小領域毎に生成された高さデータと前記第２の画像取得部が取得した前記カラー画像とに基づいて、前記サンプルの三次元形状及び色彩を表す前記合成画像を生成する
ことを特徴とする顕微鏡装置。 The microscope apparatus according to claim 2, further comprising:
A second image acquisition unit for acquiring a color image representing the color of the sample;
The image acquisition unit is a first image acquisition unit that acquires a confocal image,
The image synthesizing unit generates the synthesized image representing the three-dimensional shape and color of the sample based on the height data generated for each minute region and the color image acquired by the second image acquiring unit. The microscope apparatus characterized by producing | generating.
前記画像取得部が所定枚数の二次元画像を取得する毎に、又は、所定時間経過毎に、
前記画像合成部は、新たな合成画像を生成し、
前記表示制御部は、前記新たな合成画像を前記表示装置に表示させる
ことを特徴とする顕微鏡装置。 The microscope apparatus according to any one of claims 1 to 6,
Every time the image acquisition unit acquires a predetermined number of two-dimensional images, or every elapse of a predetermined time,
The image composition unit generates a new composite image,
The display device is configured to display the new composite image on the display device.
前記表示制御部は、前記一連の処理の進捗を表す進捗情報を前記表示装置に表示させる
ことを特徴とする顕微鏡装置。 The microscope apparatus according to any one of claims 1 to 7,
The microscope apparatus, wherein the display control unit causes the display device to display progress information indicating progress of the series of processes.
前記表示制御部は、前記画像取得部で二次元画像が取得された最新の撮像面の位置情報を前記合成画像とともに前記表示装置に表示させる
ことを特徴とする顕微鏡装置。 The microscope apparatus according to any one of claims 1 to 8,
The display control unit causes the display device to display the latest position information of the imaging surface from which the two-dimensional image has been acquired by the image acquisition unit together with the composite image.
前記表示制御部は、前記表示装置がマップ画像を表示する領域に前記合成画像を表示するように、前記表示装置を制御する
ことを特徴とする顕微鏡装置。 The microscope apparatus according to any one of claims 1 to 9,
The microscope apparatus, wherein the display control unit controls the display device so that the display device displays the composite image in a region where a map image is displayed.
前記表示制御部は、前記画像取得部が取得した最新の二次元画像を前記合成画像とともに前記表示装置に表示させる
ことを特徴とする顕微鏡装置。 The microscope apparatus according to any one of claims 1 to 10,
The display control unit causes the display device to display the latest two-dimensional image acquired by the image acquisition unit together with the composite image.
前記表示制御部は、前記画像取得部が取得した最新の二次元画像と前記合成画像とを切り替えて前記表示装置に表示させる
ことを特徴とする顕微鏡装置。 The microscope apparatus according to any one of claims 1 to 11,
The display control unit switches between the latest two-dimensional image acquired by the image acquisition unit and the composite image, and causes the display device to display the microscope device.
前記画像合成部は、前記合成画像に基づいて、前記サンプルの指定された断面での断面プロファイルを生成し、
前記表示制御部は、前記画像合成部が生成した前記断面プロファイルを前記表示装置に表示させる
ことを特徴とする顕微鏡装置。 The microscope apparatus according to any one of claims 1 to 12,
The image composition unit generates a cross-sectional profile at a designated cross section of the sample based on the composite image,
The microscope apparatus, wherein the display control unit causes the display device to display the cross-sectional profile generated by the image synthesis unit.
前記画像取得部の視野は、複数のフィールドで構成され、
前記画像取得部は、前記一連の処理を、前記視野を構成するフィールド毎に繰り返す
ことを特徴とする顕微鏡装置。 The microscope apparatus according to any one of claims 1 to 13,
The field of view of the image acquisition unit is composed of a plurality of fields,
The microscope apparatus, wherein the image acquisition unit repeats the series of processes for each field constituting the visual field.
前記画像合成部は、前記画像取得部が既に取得した前記複数の二次元画像に基づいて、前記サンプルの微小領域毎に高さデータと当該高さデータの信頼度を示す信頼度データとを生成する
ことを特徴とする顕微鏡装置。 The microscope apparatus according to claim 1, wherein
The image synthesis unit generates height data and reliability data indicating the reliability of the height data for each minute region of the sample based on the plurality of two-dimensional images already acquired by the image acquisition unit. A microscope apparatus characterized by:
前記表示制御部は、前記信頼度データに応じて前記合成画像の表示を変更する
ことを特徴とする顕微鏡装置。 The microscope apparatus according to claim 15,
The microscope apparatus, wherein the display control unit changes the display of the composite image according to the reliability data.
前記一連の処理を前記顕微鏡装置が終了する前に、生成した前記合成画像を表示装置に表示させる
処理をコンピュータに実行させる画像表示プログラム。 Before the microscope apparatus finishes a series of processes for acquiring a two-dimensional image of the sample in each of a plurality of states in which the relative position of the objective lens of the microscope apparatus with respect to the sample is different in the optical axis direction of the objective lens, the microscope Based on two or more two-dimensional images already acquired by the apparatus, a composite image representing the three-dimensional shape of the sample is generated,
An image display program for causing a computer to execute a process of displaying the generated composite image on a display device before the microscope apparatus ends the series of processes.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016011573A JP2017134115A (en) | 2016-01-25 | 2016-01-25 | Microscope device, and image display program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016011573A JP2017134115A (en) | 2016-01-25 | 2016-01-25 | Microscope device, and image display program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2017134115A true JP2017134115A (en) | 2017-08-03 |
Family
ID=59503765
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016011573A Pending JP2017134115A (en) | 2016-01-25 | 2016-01-25 | Microscope device, and image display program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2017134115A (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019074668A (en) * | 2017-10-17 | 2019-05-16 | 株式会社キーエンス | Magnifying observation device |
| JP2019211603A (en) * | 2018-06-04 | 2019-12-12 | 株式会社片岡製作所 | Observed body imaging method using optical observation device, and optical observation device |
| CN111133359A (en) * | 2017-09-29 | 2020-05-08 | 徕卡生物***成像股份有限公司 | Two and three dimensional fixed Z-scan |
| CN113472984A (en) * | 2021-06-28 | 2021-10-01 | 平湖莱顿光学仪器制造有限公司 | Image acquisition method, device, system, storage medium and equipment |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000316120A (en) * | 1999-03-03 | 2000-11-14 | Denso Corp | Fully focusing image pickup device |
| JP2001082935A (en) * | 1999-09-10 | 2001-03-30 | Keyence Corp | Three-dimensional measuring apparatus |
| JP2003281501A (en) * | 2002-03-20 | 2003-10-03 | Mitani Corp | Omnifocal image producing system |
| JP2008083601A (en) * | 2006-09-28 | 2008-04-10 | Keyence Corp | Confocal microscope, confocal microscope operation method, confocal microscope operation program, and recording medium and recorded equipment which can be read by computer |
| JP2008216086A (en) * | 2007-03-06 | 2008-09-18 | Microdent:Kk | Quantification standardizing (phase contrast) microscope |
| JP2009282356A (en) * | 2008-05-23 | 2009-12-03 | Olympus Corp | Microscope apparatus |
| JP2014023628A (en) * | 2012-07-25 | 2014-02-06 | Olympus Corp | Fluorescent observation device |
| JP2014222320A (en) * | 2013-05-14 | 2014-11-27 | オリンパス株式会社 | Microscope system, determination method of lamination area, and program |
-
2016
- 2016-01-25 JP JP2016011573A patent/JP2017134115A/en active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000316120A (en) * | 1999-03-03 | 2000-11-14 | Denso Corp | Fully focusing image pickup device |
| JP2001082935A (en) * | 1999-09-10 | 2001-03-30 | Keyence Corp | Three-dimensional measuring apparatus |
| JP2003281501A (en) * | 2002-03-20 | 2003-10-03 | Mitani Corp | Omnifocal image producing system |
| JP2008083601A (en) * | 2006-09-28 | 2008-04-10 | Keyence Corp | Confocal microscope, confocal microscope operation method, confocal microscope operation program, and recording medium and recorded equipment which can be read by computer |
| JP2008216086A (en) * | 2007-03-06 | 2008-09-18 | Microdent:Kk | Quantification standardizing (phase contrast) microscope |
| JP2009282356A (en) * | 2008-05-23 | 2009-12-03 | Olympus Corp | Microscope apparatus |
| JP2014023628A (en) * | 2012-07-25 | 2014-02-06 | Olympus Corp | Fluorescent observation device |
| JP2014222320A (en) * | 2013-05-14 | 2014-11-27 | オリンパス株式会社 | Microscope system, determination method of lamination area, and program |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111133359A (en) * | 2017-09-29 | 2020-05-08 | 徕卡生物***成像股份有限公司 | Two and three dimensional fixed Z-scan |
| JP2019074668A (en) * | 2017-10-17 | 2019-05-16 | 株式会社キーエンス | Magnifying observation device |
| JP7097168B2 (en) | 2017-10-17 | 2022-07-07 | 株式会社キーエンス | Magnifying observation device |
| JP2019211603A (en) * | 2018-06-04 | 2019-12-12 | 株式会社片岡製作所 | Observed body imaging method using optical observation device, and optical observation device |
| CN113472984A (en) * | 2021-06-28 | 2021-10-01 | 平湖莱顿光学仪器制造有限公司 | Image acquisition method, device, system, storage medium and equipment |
| CN113472984B (en) * | 2021-06-28 | 2023-10-20 | 平湖莱顿光学仪器制造有限公司 | Image acquisition method, device, system, storage medium and equipment |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110214290B (en) | Micro-spectral measurement method and system | |
| US9383569B2 (en) | Magnification observation device | |
| JP6147080B2 (en) | Microscope system, method for determining bonded area, and program | |
| JP6147079B2 (en) | Microscope system, method for determining bonded area, and program | |
| JP2013050594A (en) | Magnified observation device, magnified observation method and magnified observation program | |
| JP2017134115A (en) | Microscope device, and image display program | |
| JP6132650B2 (en) | Confocal microscope | |
| JP2010112969A (en) | Confocal microscope | |
| JP6716383B2 (en) | Microscope system, information presentation method, program | |
| JP2016114795A (en) | Microscope system, setting value calculation method and program | |
| JP2016099370A (en) | Microscope system | |
| JP4874069B2 (en) | Confocal microscope | |
| US7078664B2 (en) | Confocal laser microscope displaying target images side by side | |
| JP2010170025A (en) | Image output system, image output method, and image output program | |
| JP2006145857A (en) | Scanning laser microscope | |
| JP6423261B2 (en) | Microscope system, function calculation method, and program | |
| JP2007286284A (en) | Confocal scanning type microscopic system and observation method using the same | |
| JP2007304058A (en) | Micro height measuring device | |
| JP2007286147A (en) | Infrared microscope | |
| JP6177000B2 (en) | Laser scanning microscope | |
| JP6552039B2 (en) | Scanning microscope and pixel data generation method | |
| JP2015102694A (en) | Alignment device, microscopic system, alignment method, and alignment program | |
| JP2004170509A (en) | Confocal microscopic system having measurement repetition mode | |
| JP4493293B2 (en) | Laser scanning confocal microscope | |
| JP7134839B2 (en) | MICROSCOPE DEVICE, CONTROL METHOD AND PROGRAM |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181025 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190705 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190730 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190925 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20190925 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191203 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200130 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200407 |