JP2008090072A - Magnified image observation system, confocal microscope, image data transfer method, three-dimensional focused image forming method, data transfer program, three-dimensional focused image forming program, computer recordable recording medium, and apparatus with program recorded - Google Patents

Magnified image observation system, confocal microscope, image data transfer method, three-dimensional focused image forming method, data transfer program, three-dimensional focused image forming program, computer recordable recording medium, and apparatus with program recorded Download PDF

Info

Publication number
JP2008090072A
JP2008090072A JP2006272059A JP2006272059A JP2008090072A JP 2008090072 A JP2008090072 A JP 2008090072A JP 2006272059 A JP2006272059 A JP 2006272059A JP 2006272059 A JP2006272059 A JP 2006272059A JP 2008090072 A JP2008090072 A JP 2008090072A
Authority
JP
Japan
Prior art keywords
data
image
image data
confocal
computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006272059A
Other languages
Japanese (ja)
Inventor
Shinya Takahashi
晋也 高橋
Jun Tabuchi
潤 田渕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Keyence Corp
Original Assignee
Keyence Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Keyence Corp filed Critical Keyence Corp
Priority to JP2006272059A priority Critical patent/JP2008090072A/en
Publication of JP2008090072A publication Critical patent/JP2008090072A/en
Pending legal-status Critical Current

Links

Landscapes

  • Microscoopes, Condenser (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To achieve data processing using real-time data with high reliability. <P>SOLUTION: The magnified image observation system includes a magnified image observation device and a computer. The magnified image observation device includes: a set information adding means for adding image data information obtained by an image obtaining means as the set data to the image data; a synchronous transfer means for synchronously transferring transfer data with the set data added to the image data from the magnified image observation device to the computer; and an asynchronous transfer means for asynchronously transferring the set information other than the image data from the magnified observation device to the computer. The computer includes: a communication means for performing data communication with the synchronous transfer means and the asynchronous transfer means; a data decoding means capable of separately extracting the image data and the set data out of the transfer data that is synchronously transferred from the synchronous transfer means; a display means 4 for displaying the image data decoded by the data decoding means; and a calculating means for calculating based on the image data and the set data as necessary. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は、共焦点顕微鏡などの拡大画像観察システム、共焦点顕微鏡、画像データ転送方法、３次元合焦点画像生成方法、データ転送プログラム、３次元合焦点画像生成プログラムおよびコンピュータで読み取り可能な記録媒体並びに記録した機器に関する。   The present invention relates to an enlarged image observation system such as a confocal microscope, a confocal microscope, an image data transfer method, a three-dimensional focused image generation method, a data transfer program, a three-dimensional focused image generation program, and a computer-readable recording medium. And related to the recorded equipment.

電子顕微鏡を含めた観察用顕微鏡、測定用顕微鏡、マイクロスコープ等、各種顕微鏡や画像観察装置等の拡大観察装置においては、通信機能を備えるコントローラを外部のコンピュータと接続し、コンピュータ側で拡大観察装置の設定や操作を行ったり、また測定された画像データをコンピュータに取り込み、コンピュータにインストールされた拡大観察装置操作プログラムや専用のハードウェアで処理し、コンピュータに接続されたモニタ等の表示手段で表示することが行われている。このように、測定対象物である試料やワークの観察画像を、コントローラを経由してコンピュータのモニタでリアルタイムに表示できる拡大観察装置では、設定データの転送に加えて、観察画像データをコントローラからコンピュータにリアルタイムで転送する必要がある。   In magnification observation devices such as observation microscopes, measurement microscopes, and microscopes, including various types of microscopes and image observation devices, a controller having a communication function is connected to an external computer, and the magnification observation device on the computer side Settings and operations, and the measured image data is loaded into a computer, processed by a magnification observation device operating program installed on the computer and dedicated hardware, and displayed on a display means such as a monitor connected to the computer To be done. In this way, in the magnifying observation apparatus that can display the observation image of the sample or workpiece as the measurement object in real time on the computer monitor via the controller, in addition to the transfer of the setting data, the observation image data is transferred from the controller to the computer. Need to be transferred in real time.

近年のコンピュータシステムでは一般的なＩＥＥＥ１３９４やＵＳＢ等の通信規格には、リアルタイムに大量のデータを高速に転送できる転送方式として、同期転送（アイソクロナス転送）が多くの拡大観察装置のデータ転送に採用されている。同期転送とは、パケットデータを一定周期で転送する方式であり、一定の伝送バンド幅、すなわちデータ転送のための時間が確保されている。この転送方式は、他の転送方式よりも優先度が高く、リアルタイム性が保証されているため、連続的に転送されるストリームデータの転送に利用される。しかしながら、再送手順を持たず、転送データが保証されないという欠点も有する。   In general computer systems such as IEEE 1394 and USB in recent years, synchronous transfer (isochronous transfer) is adopted for data transfer of many magnifying observation apparatuses as a transfer method capable of transferring a large amount of data at high speed in real time. ing. The synchronous transfer is a method of transferring packet data at a constant period, and a fixed transmission bandwidth, that is, a time for data transfer is secured. This transfer method has a higher priority than other transfer methods and guarantees real-time properties, and is therefore used for the transfer of continuously transferred stream data. However, it does not have a retransmission procedure and has the disadvantage that transfer data is not guaranteed.

一方、アイソクロナス転送以外の非同期転送（アシンクロナス転送）では、転送データの再送手順を有し、不達時に送信のリトライを試みるなど、転送データが保証されている。しかしながらこの方式では通信時間の保証が無く、リアルタイム性が保証されていない。このため所定時間内にデータを送れるかどうかが不確実であり、またいつデータが転送されるかを知ることができない。   On the other hand, in asynchronous transfer other than isochronous transfer (asynchronous transfer), there is a procedure for retransmitting transfer data, and transfer data is guaranteed, such as attempting to retry transmission when it does not reach. However, with this method, there is no guarantee of communication time, and real-time performance is not guaranteed. For this reason, it is uncertain whether data can be sent within a predetermined time, and it is impossible to know when the data is transferred.

実際の拡大観察装置とコンピュータ間のデータ通信では、同期転送と非同期転送の転送方式が混在している。すなわち、ストリームデータである観察画像には同期転送が、コンピュータとコントローラ間のコマンド通信には非同期転送（ＩＥＥＥ１３９４）やコントロール転送（ＵＳＢ）が主に利用されている。
特開２００２−３０３７９６号公報 特開２００１−０９１８４６号公報 In data communication between an actual magnifying observation apparatus and a computer, transfer methods of synchronous transfer and asynchronous transfer are mixed. That is, synchronous transfer is mainly used for observation images that are stream data, and asynchronous transfer (IEEE 1394) and control transfer (USB) are mainly used for command communication between a computer and a controller.
JP 2002-303796 A JP 2001-091846 A

しかしながら、このような同期転送と非同期転送の混在方法では、転送される連続データの状態変更を識別できないという問題があった。例えば、共焦点顕微鏡のコントローラとコンピュータとの間で、ストリームデータである画像データを同期転送で、設定情報を非同期転送で通信する場合を考える。この場合において、共焦点顕微鏡が備えるＣＣＤカメラの露光時間の変更や、複数のカメラが接続されている場合のカメラ画像の切替など、画像データ（ストリームデータ）の状態や内容が変更された場合、コントローラからコンピュータにこのような変更を通知する設定情報の通信は非同期通信で行われる。この結果、データを受信するコンピュータ側では、画像データを連続的に受信する一方で、いつどの時点で画像データの内容が切り替わったのかを認識できない。このため、画像データが切り替わる間に、一旦画像データの転送を止めたり、データを受信するコンピュータ側で切り替えに必要な時間よりも十分な時間だけ待った後、データを取得する等の対策が行われていた。しかしながら、このような方法では画像データが切り替わるタイミングを正確に把握することは不可能であり、画像データを切り替えるときには一旦転送を止めたり十分な時間を待つなど、時間がかかるという問題があった。   However, such a mixed method of synchronous transfer and asynchronous transfer has a problem that it is impossible to identify a change in state of continuous data to be transferred. For example, consider a case where image data as stream data is communicated by synchronous transfer and setting information is communicated by asynchronous transfer between a confocal microscope controller and a computer. In this case, when the state or content of the image data (stream data) is changed, such as changing the exposure time of the CCD camera provided in the confocal microscope or switching the camera image when a plurality of cameras are connected, Communication of setting information for notifying such a change from the controller to the computer is performed by asynchronous communication. As a result, the computer that receives the data cannot continuously recognize when and at what point the content of the image data is changed while continuously receiving the image data. For this reason, measures such as temporarily stopping the transfer of image data or waiting for a sufficient time than the time required for switching at the computer receiving the data after the image data is switched are taken. It was. However, with such a method, it is impossible to accurately grasp the timing at which the image data is switched, and there is a problem that it takes time to temporarily stop the transfer or wait for a sufficient time when switching the image data.

また、フレーム落ちを把握できないという問題もある。例えば、コンピュータ側のＯＳが不安定になったり、外部ノイズによるデータ欠落などにより、コントローラ側が転送したフレーム数よりもコンピュータ側が受信するフレーム数が少ない、いわゆるフレーム落ち現象が発生した場合、フレーム落ちの有無やどのタイミングでフレーム落ちが発生したかを、コンピュータ側で把握することは不可能である。このため、動画の録画など、コンピュータ側で受信したストリームデータを時間的に連続して保存する動作や、前後の画像データと比較して焦点が合った部分だけを演算しながらリアルタイムに画像合成する、いわゆるリアルタイム深度合成の場合は、フレーム落ちが生じても、そのような認識や対策ができないのが現状である。   In addition, there is a problem that the frame drop cannot be grasped. For example, when a so-called frame dropping phenomenon occurs in which the number of frames received by the computer side is smaller than the number of frames transferred by the controller side due to unstable OS on the computer side or data loss due to external noise, etc. It is impossible for the computer to grasp the presence / absence and at what timing the frame drop occurred. For this reason, stream data received on the computer side, such as video recording, is stored continuously in time, and image synthesis is performed in real time while calculating only the in-focus portion compared to the previous and next image data. In the case of so-called real-time depth synthesis, the current situation is that such a recognition and countermeasure cannot be performed even if a frame is dropped.

さらに、このような問題に対処するために、同期転送される画像データの送信に合わせて非同期通信で設定情報を転送することも考えられる。しかしながらこの方法では、非同期通信を行いたいタイミングで必ずデータ転送が成功するという保証がなく、信頼性を欠くという問題がある。すなわち、同期転送と非同期転送のデータを関連付ける、あるいは同期させることは現実には不可能であった。またフレーム落ちが発生したときに、画像データが転送されないのに設定情報だけが転送されてしまうといった状態が発生する虞もある。   Further, in order to cope with such a problem, it is conceivable to transfer the setting information by asynchronous communication in accordance with the transmission of the image data that is synchronously transferred. However, with this method, there is no guarantee that data transfer will always succeed at the timing when asynchronous communication is desired, and there is a problem of lack of reliability. In other words, it is impossible in practice to associate or synchronize data of synchronous transfer and asynchronous transfer. Further, when a frame drop occurs, there is a possibility that only the setting information is transferred although the image data is not transferred.

本発明は、このような問題点を解決するためになされたものである。本発明の主な目的は、リアルタイムデータを用いたデータ処理を信頼性高く実現可能な拡大画像観察システム、共焦点顕微鏡、画像データ転送方法、３次元合焦点画像生成方法、データ転送プログラム、３次元合焦点画像生成プログラムおよびコンピュータで読み取り可能な記録媒体並びに記録した機器を提供することにある。   The present invention has been made to solve such problems. The main object of the present invention is to provide an enlarged image observation system, a confocal microscope, an image data transfer method, a three-dimensional focused image generation method, a data transfer program, and a three-dimensional image that can realize data processing using real-time data with high reliability. To provide a focused image generation program, a computer-readable recording medium, and a recorded device.

課題を解決するための手段及び発明の効果Means for Solving the Problems and Effects of the Invention

以上の目的を達成するために本発明の第１の拡大画像観察システムは、拡大観察装置と、拡大観察装置とデータ通信可能な状態に接続されたコンピュータを備える拡大画像観察システムであって、測定対象物の画像を取得するための画像取得手段と、画像取得手段で取得した画像データに関する情報を設定データとして、画像データに付加する設定情報付加手段と、画像データに設定データが付加された転送データを、拡大観察装置からコンピュータに同期転送するための同期転送手段と、画像データ以外の設定情報を、拡大観察装置からコンピュータに非同期転送するための非同期転送手段とを備える拡大画像観察装置と、同期転送手段及び非同期転送とデータ通信を行うための通信手段と、同期転送手段で同期転送される転送データから、画像データと設定データを各々抽出可能なデータ解読手段と、データ解読手段で解読された画像データを表示可能な表示手段と、必要に応じて、画像データ及び設定データに基づく演算を実行可能な演算手段とを備えるコンピュータとを有することができる。これにより、従来非同期通信で送信していた設定情報を、画像データと共に同期通信でコンピュータ側に転送できるため、コンピュータ側で得られる画像データと設定データが合致し、確実に演算などの処理を行うことができる。   In order to achieve the above object, a first magnified image observation system of the present invention is a magnified image observation system including a magnified observation device and a computer connected in a data communicable state with the magnified observation device. Image acquisition means for acquiring an image of the object, setting information addition means for adding information on the image data acquired by the image acquisition means as setting data, and transfer in which the setting data is added to the image data Enlarged image observation apparatus comprising synchronous transfer means for synchronously transferring data from the magnification observation apparatus to the computer, and asynchronous transfer means for asynchronously transferring setting information other than the image data from the magnification observation apparatus to the computer, From synchronous transfer means and communication means for performing asynchronous communication with asynchronous transfer, and transfer data synchronously transferred by synchronous transfer means Data decoding means capable of extracting image data and setting data, display means capable of displaying the image data decoded by the data decoding means, and operations capable of executing calculations based on the image data and setting data as required And a computer comprising means. As a result, the setting information that has been transmitted by asynchronous communication can be transferred to the computer side by synchronous communication together with the image data. Therefore, the image data obtained on the computer side matches the setting data, and processing such as calculation is surely performed. be able to.

第２の拡大画像観察システムは、共焦点光学系を介して測定対象物からの光を受光素子で受光し、その受光情報に基づいて測定対象物の表面の高さ情報及び光量情報を取得し、測定対象物の表面の画像を共焦点画像として表示可能な共焦点顕微鏡と、共焦点顕微鏡とデータ通信可能な状態に接続されたコンピュータを備える拡大画像観察システムであって、各測定点において、光学系もしくは測定対象物を高さ方向に変化させながら測定点を走査して共焦点画像を合成する共焦点光学系と、共焦点光学系と光軸の少なくとも一部を共通にする共焦点光学系と別個の、測定対象物の非共焦点画像を撮像するための非共焦点光学系と、測定対象物を載置するステージと、ステージに載置された測定対象物と、共焦点光学系及び非共焦点光学系との相対位置及び相対距離を調整可能なステージ移動部と、非共焦点光学系で撮像された非共焦点画像、又は共焦点光学系で撮像された共焦点画像の画像データに対し、該画像データに関する情報を設定データとして付加する設定情報付加手段と、画像データに設定データが付加された転送データを、共焦点顕微鏡からコンピュータに同期転送するための同期転送手段と、画像データ以外の設定情報を、共焦点顕微鏡からコンピュータに非同期転送するための非同期転送手段とを備える共焦点顕微鏡と、同期転送手段及び非同期転送とデータ通信を行うための通信手段と、同期転送手段で同期転送される転送データから、画像データと設定データを各々抽出可能なデータ解読手段と、データ解読手段で解読された画像データである、非共焦点光学系で撮像された非共焦点画像、及び／又は共焦点光学系で撮像された共焦点画像を表示するための表示手段と、必要に応じて、画像データ及び設定データに基づく演算を実行可能な演算手段とを備えるコンピュータとを有することができる。これにより、従来非同期通信で送信していた設定情報を、画像データと共に同期通信でコンピュータ側に転送できるため、コンピュータ側で得られる画像データと設定データが合致し、確実に演算などの処理を行うことができる。   The second magnified image observation system receives light from the measurement object by the light receiving element via the confocal optical system, and acquires height information and light amount information on the surface of the measurement object based on the light reception information. , An enlarged image observation system comprising a confocal microscope capable of displaying an image of the surface of the measurement object as a confocal image, and a computer connected to the confocal microscope in a data communicable state, and at each measurement point, A confocal optical system that synthesizes a confocal image by scanning the measurement point while changing the optical system or measurement object in the height direction, and confocal optics that shares at least part of the optical axis with the confocal optical system A non-confocal optical system for capturing a non-confocal image of a measurement object, a stage for placing the measurement object, a measurement object placed on the stage, and a confocal optical system And non-confocal optics A stage moving unit capable of adjusting a pair position and a relative distance, and a non-confocal image captured by a non-confocal optical system, or image data of a confocal image captured by a confocal optical system. Setting information adding means for adding information as setting data, synchronous transfer means for synchronously transferring transfer data with setting data added to image data from a confocal microscope to a computer, and setting information other than image data, From a confocal microscope comprising asynchronous transfer means for asynchronous transfer from a confocal microscope to a computer, synchronous transfer means, communication means for performing asynchronous transfer and data communication, and transfer data synchronously transferred by the synchronous transfer means , Non-confocal optics that can extract image data and setting data respectively, and image data decoded by the data decoding means Display means for displaying the non-confocal image captured by the camera and / or the confocal image captured by the confocal optical system, and an operation capable of performing an operation based on the image data and the setting data as required And a computer comprising means. As a result, the setting information that has been transmitted by asynchronous communication can be transferred to the computer side by synchronous communication together with the image data. Therefore, the image data obtained on the computer side matches the setting data, and processing such as calculation is surely performed. be able to.

第３の拡大画像観察システムは、画像データに関する情報が、画像データを撮像した画像取得手段の種別、撮像時の測定対象物と画像取得手段との相対距離、撮像時の照明色情報、拡大倍率、撮像条件、転送される画像データの転送画像枚数、通し番号の少なくともいずれかを含むことができる。   In the third enlarged image observation system, the information about the image data includes the type of the image acquisition unit that captured the image data, the relative distance between the measurement object and the image acquisition unit at the time of imaging, the illumination color information at the time of imaging, and the magnification , Imaging conditions, the number of transferred images of image data to be transferred, and at least one of serial numbers.

第４の拡大画像観察システムは、設定データに含める情報を、複数の候補群を提示し、対話形式でユーザに選択させることができる。   The fourth magnified image observation system can present information to be included in the setting data by presenting a plurality of candidate groups and allowing the user to select in an interactive manner.

第５の拡大画像観察システムは、演算手段が、複数の画像データとその設定データに含まれる画像撮像時の高さ情報に基づき、測定対象物の高さ情報を含む３次元の合焦点画像を合成することができる。これにより、従来困難であったコンピュータ側での３次元の画像合成が可能となる。特に、専用の画像合成用のハードウェアを共焦点顕微鏡側に設けることなく、画像データとその高さ情報を併せて同期転送で転送することにより、確実にコンピュータ側で受信でき、必要なデータを欠落することなくシンプルな構造で画像構築を行える。   In the fifth enlarged image observation system, the calculation means generates a three-dimensional focused image including the height information of the measurement object based on the plurality of image data and the height information at the time of image capturing included in the setting data. Can be synthesized. As a result, three-dimensional image synthesis on the computer side, which has been difficult in the past, becomes possible. In particular, without providing dedicated image compositing hardware on the confocal microscope side, the image data and its height information are transferred together by synchronous transfer, so that the computer side can reliably receive the necessary data. The image can be constructed with a simple structure without missing.

第６の拡大画像観察システムはさらに、画像取得手段と測定対象物との間に光軸を一致させて配置され、測定対象物を拡大観察するための所定の倍率を有する対物レンズと、対物レンズと測定対象物との相対距離を検出する距離検出手段を備えることができる。これにより、複数の画像データの高さ方向をコンピュータ側で正確に把握できるので、コンピュータ側での３Ｄ画像の構築等が可能となる。   The sixth magnified image observation system further includes an objective lens having a predetermined magnification for magnifying and observing the measurement object, the objective lens being arranged with the optical axis being coincident between the image acquisition means and the measurement object. And a distance detecting means for detecting a relative distance between the measuring object and the object to be measured. As a result, the height direction of a plurality of image data can be accurately grasped on the computer side, so that a 3D image can be constructed on the computer side.

第７の拡大画像観察システムは、画像取得手段を、マイクロスコープ若しくは原子間力顕微鏡とできる。   In the seventh enlarged image observation system, the image acquisition means can be a microscope or an atomic force microscope.

第８の共焦点顕微鏡は、共焦点光学系を介して測定対象物からの光を受光素子で受光し、その受光情報に基づいて測定対象物の表面の高さ情報及び光量情報を取得し、測定対象物の表面の画像を共焦点画像として表示可能な共焦点顕微鏡であって、各測定点において、光学系もしくは測定対象物を高さ方向に変化させながら測定点を走査して共焦点画像を合成する共焦点光学系と、共焦点光学系と光軸の少なくとも一部を共通にする共焦点光学系と別個の、測定対象物の非共焦点画像を撮像するための非共焦点光学系と、測定対象物を載置するステージと、ステージに載置された測定対象物と、共焦点光学系及び非共焦点光学系との相対位置及び相対距離を調整可能なステージ移動部と、非共焦点光学系で撮像された非共焦点画像、又は共焦点光学系で撮像された共焦点画像の画像データに対し、該画像データに関する情報を設定データとして付加する設定情報付加手段と、画像データに設定データが付加された転送データを、外部接続されるコンピュータに同期転送するための同期転送手段と、画像データ以外の設定情報をコンピュータに非同期転送するための非同期転送手段とを備えることができる。これにより、従来非同期通信で送信していた設定情報を、画像データと共に同期通信でコンピュータ側に転送できるため、コンピュータ側で得られる画像データと設定データが合致し、確実に演算などの処理を行うことができる。   The eighth confocal microscope receives light from the measurement object via the confocal optical system by the light receiving element, acquires height information and light amount information on the surface of the measurement object based on the received light information, A confocal microscope that can display the surface image of the measurement object as a confocal image. At each measurement point, scan the measurement point while changing the optical system or measurement object in the height direction. And a non-confocal optical system for capturing a non-confocal image of a measurement object that is separate from the confocal optical system that shares at least a part of the optical axis with the confocal optical system. A stage on which the measurement object is placed; a measurement object placed on the stage; a stage moving unit capable of adjusting a relative position and a relative distance between the confocal optical system and the non-confocal optical system; Non-confocal images taken with confocal optics, or confocal A setting information adding means for adding information related to the image data as setting data to the image data of the confocal image captured by the optical system, and a computer externally connected to the transfer data in which the setting data is added to the image data Synchronous transfer means for synchronously transferring to the computer, and asynchronous transfer means for asynchronously transferring setting information other than image data to the computer. As a result, the setting information that has been transmitted by asynchronous communication can be transferred to the computer side by synchronous communication together with the image data. Therefore, the image data obtained on the computer side matches the setting data, and processing such as calculation is surely performed. be able to.

第９の画像データ転送方法は、拡大観察装置と、拡大観察装置とデータ通信可能な状態に接続されたコンピュータとの間で、転送データを転送する画像データ転送方法であって、拡大観察装置で測定対象物の画像を取得する工程と、拡大観察装置が取得した画像データに関する情報を設定データとして、画像データに付加する工程と、画像データに設定データが付加された転送データを、拡大観察装置からコンピュータに同期転送する工程と、同期転送される転送データから、コンピュータ側で画像データと設定データを各々抽出する工程と、抽出された画像データを、表示手段に表示する工程と、必要に応じて、画像データ及び設定データに基づく演算を実行する工程とを含むことができる。これにより、従来非同期通信で送信していた設定情報を、画像データと共に同期通信でコンピュータ側に転送できるため、コンピュータ側で得られる画像データと設定データが合致し、確実に演算などの処理を行うことができる。   A ninth image data transfer method is an image data transfer method for transferring transfer data between a magnifying observation device and a computer connected to the magnifying observation device in a state capable of data communication. A step of acquiring an image of the measurement object, a step of adding information related to the image data acquired by the magnification observation device to the image data as setting data, and a transfer data in which the setting data is added to the image data A step of synchronously transferring data from the computer to the computer, a step of extracting image data and setting data on the computer side from the transfer data transferred synchronously, a step of displaying the extracted image data on the display means, and as required A step of performing an operation based on the image data and the setting data. As a result, the setting information that has been transmitted by asynchronous communication can be transferred to the computer side by synchronous communication together with the image data. Therefore, the image data obtained on the computer side matches the setting data, and processing such as calculation is surely performed. be able to.

第１０の３次元合焦点画像生成方法は、拡大観察装置で撮像した複数の画像データを、拡大観察装置とデータ通信可能な状態に接続されたコンピュータに転送し、コンピュータ側で該複数の画像データとその設定データに含まれる画像撮像時の高さ情報に基づき、測定対象物の高さ情報を含む３次元の合焦点画像を合成する３次元の合焦点画像生成方法であって、拡大観察装置で測定対象物の画像を取得する工程と、少なくとも画像撮像時における測定対象物と対物レンズとの相対距離を含む、拡大観察装置が取得した画像データに関する情報を設定データとして、画像データに付加する工程と、画像データに設定データが付加された転送データを、拡大観察装置からコンピュータに同期転送する工程と、同期転送される転送データから、コンピュータ側で画像データと設定データを各々抽出する工程と、抽出された複数の画像データから合焦点画像を合成すると共に、合焦点画像に基づいた測定対象物の高さ情報を含む３次元の合焦点画像を合成する工程とを含むことができる。これにより、従来非同期通信で送信していた設定情報を、画像データと共に同期通信でコンピュータ側に転送できるため、コンピュータ側で得られる画像データと設定データが合致し、確実に複数の画像を合成した３次元の合焦点画像を生成できる。   The tenth three-dimensional focused image generation method transfers a plurality of image data captured by the magnifying observation device to a computer connected in a data communicable state with the magnifying observation device, and the computer side transmits the plurality of image data. And a three-dimensional focused image generating method for synthesizing a three-dimensional focused image including height information of a measurement object based on height information at the time of image capture included in the setting data, The information on the image data acquired by the magnifying observation apparatus, including at least the relative distance between the measurement object and the objective lens at the time of imaging, is added to the image data as setting data. From the process, the process of synchronously transferring the transfer data in which the setting data is added to the image data from the magnifying observation apparatus to the computer, and the transfer data transferred synchronously, A process of extracting image data and setting data on the computer side, a focused image from the plurality of extracted image data, and a three-dimensional alignment including height information of the measurement object based on the focused image. Synthesizing the focus image. As a result, the setting information that has been transmitted by asynchronous communication can be transferred to the computer side by synchronous communication together with the image data. Therefore, the image data obtained on the computer side matches the setting data, and a plurality of images are reliably combined. A three-dimensional focused image can be generated.

第１１のデータ転送プログラムは、拡大観察装置と、拡大観察装置とデータ通信可能な状態に接続されたコンピュータとの間で、転送データを転送するデータ転送プログラムであって、拡大観察装置で測定対象物の画像を取得する機能と、拡大観察装置が取得した画像データに関する情報を設定データとして、画像データに付加する機能と、画像データに設定データが付加された転送データを、拡大観察装置からコンピュータに同期転送する機能と、同期転送される転送データから、コンピュータ側で画像データと設定データを各々抽出する機能と、抽出された画像データを、表示手段に表示する機能と、必要に応じて、画像データ及び設定データに基づく演算を実行する機能とをコンピュータに実現させることができる。これにより、従来非同期通信で送信していた設定情報を、画像データと共に同期通信でコンピュータ側に転送できるため、コンピュータ側で得られる画像データと設定データが合致し、確実に演算などの処理を行うことができる。   An eleventh data transfer program is a data transfer program for transferring transfer data between a magnifying observation apparatus and a computer connected to the magnifying observation apparatus in a state capable of data communication. A function for acquiring an image of an object, a function for adding information relating to image data acquired by the magnification observation apparatus as setting data, and a transfer data in which the setting data is added to the image data are transferred from the magnification observation apparatus to the computer. A function for synchronous transfer, a function for extracting image data and setting data on the computer side from the transfer data to be synchronously transferred, a function for displaying the extracted image data on the display means, and if necessary, It is possible to cause a computer to realize a function of executing a calculation based on image data and setting data. As a result, the setting information that has been transmitted by asynchronous communication can be transferred to the computer side by synchronous communication together with the image data. Therefore, the image data obtained on the computer side matches the setting data, and processing such as calculation is surely performed. be able to.

第１２の３次元合焦点画像生成プログラムは、拡大観察装置で撮像した複数の画像データを、拡大観察装置とデータ通信可能な状態に接続されたコンピュータに転送し、コンピュータ側で該複数の画像データとその設定データに含まれる画像撮像時の高さ情報に基づき、測定対象物の高さ情報を含む３次元の合焦点画像を合成する３次元の合焦点画像生成プログラムであって、拡大観察装置で測定対象物の画像を取得する機能と、少なくとも画像撮像時における測定対象物と対物レンズとの相対距離を含む、拡大観察装置が取得した画像データに関する情報を設定データとして、画像データに付加する機能と、画像データに設定データが付加された転送データを、拡大観察装置からコンピュータに同期転送する機能と、同期転送される転送データから、コンピュータ側で画像データと設定データを各々抽出する機能と、抽出された複数の画像データから合焦点画像を合成すると共に、合焦点画像に基づいた測定対象物の高さ情報を含む３次元の合焦点画像を合成する機能とをコンピュータに実現させることができる。これにより、従来非同期通信で送信していた設定情報を、画像データと共に同期通信でコンピュータ側に転送できるため、コンピュータ側で得られる画像データと設定データが合致し、確実に複数の画像を合成した３次元の合焦点画像を生成できる。   The twelfth three-dimensional focused image generation program transfers a plurality of image data picked up by the magnifying observation device to a computer connected in a data communicable state with the magnifying observation device. And a three-dimensional focused image generation program for synthesizing a three-dimensional focused image including height information of a measurement object based on height information at the time of image capture included in the setting data. The information on the image data acquired by the magnifying observation apparatus, including the function of acquiring the image of the measurement object in step S1 and the relative distance between the measurement object and the objective lens at the time of image capture, is added to the image data as setting data. Function, a function for synchronously transferring transfer data in which setting data is added to image data from a magnifying observation apparatus to a computer, and a transfer data for synchronous transfer. A function for extracting image data and setting data on the computer side from the computer, and synthesizing a focused image from the extracted plurality of image data, and including height information of the measurement object based on the focused image 3 The computer can realize the function of synthesizing the three-dimensional focused image. As a result, the setting information that has been transmitted by asynchronous communication can be transferred to the computer side by synchronous communication together with the image data. Therefore, the image data obtained on the computer side matches the setting data, and a plurality of images are reliably combined. A three-dimensional focused image can be generated.

第１３のプログラムを格納したコンピュータで読み取り可能な記録媒体又は記録した機器は、上記プログラムを格納するものである。記録媒体には、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷやフレキシブルディスク、磁気テープ、ＭＯ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ＋Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、Ｂｌｕ−ｒａｙ（登録商標）、ＨＤ ＤＶＤ等の磁気ディスク、光ディスク、光磁気ディスク、半導体メモリその他のプログラムを格納可能な媒体が含まれる。またプログラムには、上記記録媒体に格納されて配布されるものの他、インターネット等のネットワーク回線を通じてダウンロードによって配布される形態のものも含まれる。さらに記録した機器には、上記プログラムがソフトウェアやファームウェア等の形態で実行可能な状態に実装された汎用もしくは専用機器を含む。さらにまたプログラムに含まれる各処理や機能は、コンピュータで実行可能なプログラムソフトウエアにより実行してもよいし、各部の処理を所定のゲートアレイ（ＦＰＧＡ、ＡＳＩＣ）等のハードウエア、又はプログラムソフトウエアとハードウェアの一部の要素を実現する部分的ハードウエアモジュールとが混在する形式で実現してもよい。   The computer-readable recording medium or the recorded device storing the thirteenth program stores the program. CD-ROM, CD-R, CD-RW, flexible disk, magnetic tape, MO, DVD-ROM, DVD-RAM, DVD-R, DVD + R, DVD-RW, DVD + RW, Blu-ray (registered) Trademarks), HD DVD and other magnetic disks, optical disks, magneto-optical disks, semiconductor memories and other media that can store programs. The program includes a program distributed in a download manner through a network line such as the Internet, in addition to a program stored and distributed in the recording medium. Further, the recorded devices include general-purpose or dedicated devices in which the program is implemented in a state where it can be executed in the form of software, firmware, or the like. Furthermore, each process and function included in the program may be executed by computer-executable program software, or each part of the process or hardware may be executed by hardware such as a predetermined gate array (FPGA, ASIC), or program software. And a partial hardware module that realizes a part of hardware elements may be mixed.

以下、本発明の実施の形態を図面に基づいて説明する。ただし、以下に示す実施の形態は、本発明の技術思想を具体化するための拡大画像観察システム、共焦点顕微鏡、画像データ転送方法、３次元合焦点画像生成方法、データ転送プログラム、３次元合焦点画像生成プログラムおよびコンピュータで読み取り可能な記録媒体並びに記録した機器を例示するものであって、本発明は拡大画像観察システム、共焦点顕微鏡、画像データ転送方法、３次元合焦点画像生成方法、データ転送プログラム、３次元合焦点画像生成プログラムおよびコンピュータで読み取り可能な記録媒体並びに記録した機器を以下のものに特定しない。また、本明細書は特許請求の範囲に示される部材を、実施の形態の部材に特定するものでは決してない。特に実施の形態に記載されている構成部品の寸法、材質、形状、その相対的配置等は特に特定的な記載がない限りは、本発明の範囲をそれのみに限定する趣旨ではなく、単なる説明例にすぎない。なお、各図面が示す部材の大きさや位置関係等は、説明を明確にするため誇張していることがある。さらに以下の説明において、同一の名称、符号については同一もしくは同質の部材を示しており、詳細説明を適宜省略する。さらに、本発明を構成する各要素は、複数の要素を同一の部材で構成して一の部材で複数の要素を兼用する態様としてもよいし、逆に一の部材の機能を複数の部材で分担して実現することもできる。   Hereinafter, embodiments of the present invention will be described with reference to the drawings. However, the embodiment described below is an enlarged image observation system, a confocal microscope, an image data transfer method, a three-dimensional focused image generation method, a data transfer program, and a three-dimensional alignment for embodying the technical idea of the present invention. A focus image generation program, a computer-readable recording medium, and a recorded device are exemplified, and the present invention relates to an enlarged image observation system, a confocal microscope, an image data transfer method, a three-dimensional focused image generation method, and data The transfer program, the three-dimensional focused image generation program, the computer-readable recording medium, and the recorded device are not specified as follows. Further, the present specification by no means specifies the members shown in the claims to the members of the embodiments. In particular, the dimensions, materials, shapes, relative arrangements, and the like of the component parts described in the embodiments are not intended to limit the scope of the present invention unless otherwise specified, and are merely explanations. It is just an example. Note that the size, positional relationship, and the like of the members shown in each drawing may be exaggerated for clarity of explanation. Furthermore, in the following description, the same name and symbol indicate the same or the same members, and detailed description thereof will be omitted as appropriate. Furthermore, each element constituting the present invention may be configured such that a plurality of elements are constituted by the same member and the plurality of elements are shared by one member, and conversely, the function of one member is constituted by a plurality of members. It can also be realized by sharing.

以下、拡大観察装置の一例として、共焦点顕微鏡を説明する。なお、画像データの転送を行う拡大観察装置は、共焦点顕微鏡に限られず、他の顕微鏡やデジタルマイクロスコープも利用できる。例えばＳＥＭ、ＴＥＭその他の荷電粒子線装置等の電子顕微鏡や光学顕微鏡、原子間力顕微鏡、静電気力顕微鏡、近視野顕微鏡等に適用することもできる。
（実施の形態１） Hereinafter, a confocal microscope will be described as an example of a magnification observation apparatus. Note that the magnification observation apparatus that transfers image data is not limited to a confocal microscope, and other microscopes and digital microscopes can also be used. For example, it can also be applied to electron microscopes such as SEM, TEM and other charged particle beam devices, optical microscopes, atomic force microscopes, electrostatic force microscopes, near-field microscopes, and the like.
(Embodiment 1)

共焦点顕微鏡はレーザ光を使用して測定対象物の表面を走査することから、共焦点レーザ顕微鏡、共焦点走査型顕微鏡等とも呼ばれる。また共焦点顕微鏡で得られる共焦点画像はレーザ画像とも呼ばれる。共焦点顕微鏡では、試料やワーク等の測定対象物からの光が共焦点光学系を介して受光素子で受光され、その受光量に基づいて、試料の超深度画像（焦点深度が非常に深い画像）や高さ分布等の情報が取得される。ステージに載置された試料と対物レンズとの相対距離を光軸方向に変化させると、共焦点光学系を介して受光素子に入射する光の量、すなわち受光量が変化し、試料の表面にピントが合ったときに受光量が最大となる。したがって、最大受光量が得られるときの試料と対物レンズとの相対距離から試料の表面の高さ情報を算出し、試料の表面を光で走査することによって試料の表面の高さ分布を取得することができる。   Since the confocal microscope scans the surface of the measurement object using laser light, it is also called a confocal laser microscope, a confocal scanning microscope, or the like. A confocal image obtained with a confocal microscope is also called a laser image. In a confocal microscope, light from a measurement object such as a sample or workpiece is received by a light receiving element via a confocal optical system, and an ultra-deep image of a sample (an image with a very deep depth of focus) based on the amount of received light. ) And height distribution. When the relative distance between the sample placed on the stage and the objective lens is changed in the direction of the optical axis, the amount of light incident on the light receiving element via the confocal optical system, that is, the amount of received light changes, and the surface of the sample is changed. The amount of light received is maximized when the subject is in focus. Therefore, the height information of the surface of the sample is calculated from the relative distance between the sample and the objective lens when the maximum amount of received light is obtained, and the height distribution of the surface of the sample is acquired by scanning the surface of the sample with light. be able to.

取得された高さ分布は、例えば三次元表示によって表示装置の画面上に表示される。あるいは、高さ分布を輝度分布や色分布に置き換えたものが画面上に表示される。表示装置としてＣＲＴ（陰極線管）やＬＣＤ（液晶表示装置）が使用され、共焦点顕微鏡に制御用のコントローラ、表示装置、コンソール等が接続されて共焦点顕微鏡が構成される。   The acquired height distribution is displayed on the screen of the display device by, for example, three-dimensional display. Alternatively, the height distribution replaced with a luminance distribution or a color distribution is displayed on the screen. A CRT (Cathode Ray Tube) or LCD (Liquid Crystal Display) is used as a display device, and a confocal microscope is configured by connecting a control controller, a display device, a console, and the like to the confocal microscope.

また、試料表面の各点（画素）でピントが合ったときの受光量の情報（すなわち各画素の最大輝度情報）をつなぎ合わせることにより、焦点深度の非常に深い試料表面の白黒画像を得ることができる。この画像がいわゆる超深度画像である。   Also, by combining the information on the amount of light received when each point (pixel) on the sample surface is in focus (that is, the maximum luminance information of each pixel), a black and white image of the sample surface with a very deep focal depth can be obtained. Can do. This image is a so-called ultra-deep image.

更に、白色光で照射された試料からの光を共焦点光学系から分離してカラー撮像素子で受光することにより、超深度画像と同じ範囲の試料表面のカラー画像を得ることができる。このカラー画像は超深度画像と異なり焦点深度の浅いものであるが、高さ分布情報に基づいてカラー画像の合焦位置の画素データをつなぎ合わせることにより、非常に焦点深度の深いカラー画像（カラーピーク画像ということもある）、及びカラーピーク画像の輝度信号を超深度画像の輝度信号で置き換えるような合成処理を行うことにより、焦点深度の深いカラー画像を得ることも可能である。   Furthermore, by separating the light from the sample irradiated with white light from the confocal optical system and receiving it with a color imaging device, a color image of the sample surface in the same range as the ultra-deep image can be obtained. Unlike the ultra-deep image, this color image has a shallow depth of focus, but by connecting pixel data at the in-focus position of the color image based on the height distribution information, a color image (color It is also possible to obtain a color image with a deep focal depth by performing a synthesis process that replaces the luminance signal of the color peak image with the luminance signal of the ultra-deep image.

このような本発明の実施の形態１に係る共焦点顕微鏡システムの概略構成を、図１に示す。また図２に、このシステム構成の外観斜視図、図３に共焦点顕微鏡本体の斜視図を、それぞれ示す。共焦点顕微鏡システム１００は、共焦点光学系１０及び非共焦点光学系５０を有する共焦点顕微鏡本体１と、共焦点光学系１０及び非共焦点光学系５０で得られたアナログ信号を各々デジタル信号に変換する第１Ａ／Ｄ変換器４１、第２Ａ／Ｄ変換器４２、及びデジタル信号の信号処理等を行う制御部４３等を含むコントローラ２と、コントローラ２に接続された操作手段３及び表示手段４とを備えている。また操作手段３には入力手段３Ａが接続されている。   FIG. 1 shows a schematic configuration of the confocal microscope system according to the first embodiment of the present invention. 2 is an external perspective view of this system configuration, and FIG. 3 is a perspective view of the confocal microscope main body. The confocal microscope system 100 includes a confocal microscope main body 1 having a confocal optical system 10 and a non-confocal optical system 50, and analog signals obtained by the confocal optical system 10 and the non-confocal optical system 50, respectively, as digital signals. A controller 2 including a first A / D converter 41, a second A / D converter 42, a control unit 43 for performing signal processing of a digital signal, and the like, and an operation unit 3 and a display unit connected to the controller 2 4 is provided. The operation means 3 is connected to an input means 3A.

まず、共焦点顕微鏡の共焦点光学系１０とその信号処理について説明する。共焦点光学系１０は、試料ＷＫに単色光（例えばレーザ光）を照射するための光源１１、第１コリメートレンズ１２、偏光ビームスプリッタ１３、１／４波長板１４、水平・垂直偏向装置１５、第１リレーレンズ（ｆθレンズ）１６、第２リレーレンズ（チューブレンズ）１７、対物レンズ１８、結像レンズ（ピンホールレンズ）１９、ピンホール板２０、受光素子２１等を含んでいる。   First, the confocal optical system 10 of the confocal microscope and its signal processing will be described. The confocal optical system 10 includes a light source 11 for irradiating a sample WK with monochromatic light (for example, laser light), a first collimating lens 12, a polarizing beam splitter 13, a quarter wavelength plate 14, a horizontal / vertical deflecting device 15, A first relay lens (fθ lens) 16, a second relay lens (tube lens) 17, an objective lens 18, an imaging lens (pinhole lens) 19, a pinhole plate 20, a light receiving element 21 and the like are included.

光源１１には、例えば紫色レーザ光や赤色レーザ光を発する半導体レーザが用いられる。光源１１はレーザ駆動回路によって駆動される。レーザ駆動回路は、コントローラ２の制御部４３によって制御される。光源１１から出たレーザ光は、第１コリメートレンズ１２を通り、偏光ビームスプリッタ１３で光路を曲げられ、１／４波長板１４を通過する。この後、水平・垂直偏向装置１５によって水平（横）方向及び垂直（縦）方向に偏向された後、第１リレーレンズ１６及び第２リレーレンズ１７を通過し、対物レンズ１８によってステージ３０上に置かれた試料ＷＫの表面に集光される。   As the light source 11, for example, a semiconductor laser that emits violet laser light or red laser light is used. The light source 11 is driven by a laser driving circuit. The laser driving circuit is controlled by the control unit 43 of the controller 2. The laser light emitted from the light source 11 passes through the first collimating lens 12, the optical path is bent by the polarization beam splitter 13, and passes through the quarter wavelength plate 14. Thereafter, the light is deflected in the horizontal (lateral) direction and the vertical (longitudinal) direction by the horizontal / vertical deflecting device 15, passes through the first relay lens 16 and the second relay lens 17, and is placed on the stage 30 by the objective lens 18. It is condensed on the surface of the placed sample WK.

水平・垂直偏向装置１５は、それぞれガルバノミラーで構成され、レーザ光を水平及び垂直方向に偏向させることにより、試料ＷＫの表面をレーザ光で走査する。説明の便宜上、水平方向をＸ方向、垂直方向をＹ方向ということにする。対物レンズ１８は、対物レンズ移動機構によりＺ方向（光軸方向）に駆動される。対物レンズ移動機構も、制御部４３によって制御される。これにより、対物レンズ１８の焦点と試料ＷＫとの光軸方向での相対位置を変化させることができる。   The horizontal / vertical deflecting device 15 is composed of a galvanometer mirror, and scans the surface of the sample WK with the laser light by deflecting the laser light in the horizontal and vertical directions. For convenience of explanation, the horizontal direction is referred to as the X direction, and the vertical direction is referred to as the Y direction. The objective lens 18 is driven in the Z direction (optical axis direction) by the objective lens moving mechanism. The objective lens moving mechanism is also controlled by the control unit 43. Thereby, the relative position in the optical axis direction of the focus of the objective lens 18 and the sample WK can be changed.

なお、光による試料の走査は、水平偏向及び垂直偏向による二次元走査に限らず、種々の走査方法が考えられる。例えば、シリンドリカルレンズを用いてＸ方向に細長い光（スリット光）を生成し、これをＹ方向に偏向すれば、二次元走査が可能である。   Note that scanning of a sample by light is not limited to two-dimensional scanning by horizontal deflection and vertical deflection, and various scanning methods can be considered. For example, if a cylindrical lens is used to generate light that is elongated in the X direction (slit light) and is deflected in the Y direction, two-dimensional scanning is possible.

また、対物レンズ１８の焦点と試料ＷＫとの光軸方向での相対位置は、他の方法で変化させることもできる。例えば、対物レンズ１８をＺ軸方向に駆動する代わりに、或いはこれに加えてステージ３０をＺ軸方向に駆動してもよい。または、対物レンズ１８と試料ＷＫとの間に屈折率が変化するレンズを挿入することにより、対物レンズ１８の焦点をＺ軸方向に移動させる構成も可能である。   Further, the relative position of the focal point of the objective lens 18 and the sample WK in the optical axis direction can be changed by other methods. For example, instead of or in addition to driving the objective lens 18 in the Z-axis direction, the stage 30 may be driven in the Z-axis direction. Alternatively, a configuration in which the focal point of the objective lens 18 is moved in the Z-axis direction by inserting a lens whose refractive index changes between the objective lens 18 and the sample WK is also possible.

なお、ステージ３０は、手動操作によってもＸ、Ｙ方向及びＺ方向に変位可能である。本実施の形態では、ステージを手動で移動させるためのステージ手動操作機構３１を備えている。具体的には、図３に示すようにステージをＸ−Ｙ方向に移動させるＸ方向移動摘み３２及びＹ方向移動摘み３３、ステージをＺ方向に移動させるＺ方向移動摘み３４を設けている。Ｘ方向移動摘み３２及びＹ方向移動摘み３３は、摘みの回転を同軸として直径の異なるダイヤル状に構成しており、Ｘ−Ｙ方向の調整を纏めて行い易くしている。一方、Ｚ方向移動摘み３４は、移動量の大きいダイヤルと移動量の小さいダイヤルを同軸に並べており、これにより大まかなピント調整と、ピントの微調整を容易に行える。   The stage 30 can be displaced in the X, Y, and Z directions by manual operation. In the present embodiment, a stage manual operation mechanism 31 for manually moving the stage is provided. Specifically, as shown in FIG. 3, an X direction moving knob 32 and a Y direction moving knob 33 for moving the stage in the XY direction, and a Z direction moving knob 34 for moving the stage in the Z direction are provided. The X-direction moving knob 32 and the Y-direction moving knob 33 are configured in dial shapes having different diameters with the knob rotating as the same axis, making it easy to adjust the X-Y directions together. On the other hand, the Z-direction moving knob 34 has a dial with a large amount of movement and a dial with a small amount of movement arranged on the same axis so that rough focus adjustment and fine focus adjustment can be easily performed.

試料ＷＫで反射されたレーザ光は、上記の光路を逆に辿る。すなわち、対物レンズ１８、第２リレーレンズ１７及び第１リレーレンズ１６を通り、水平・垂直偏向装置１５を介して１／４波長板１４を再び通る。この結果、レーザ光は偏光ビームスプリッタ１３を透過し、結像レンズ１９によって集光される。集光されたレーザ光は、結像レンズ１９の焦点位置に配置されたピンホール板２０のピンホールを通過して受光素子２１に入射する。受光素子２１は、例えばフォトマルチプライヤチューブ（ＰＭＴ：光電子増倍管）やフォトダイオード（ＰＤ）で構成され、受光量を電気信号に変換する。受光量に相当する電気信号は、出力アンプ及びＰＭＴの受光感度（ＰＭＴゲイン）の制御回路を構成する第１受光信号処理回路２２を介して第１Ａ／Ｄ変換器４１に与えられ、デジタル値に変換される。またピンホール板２０はピンホールに代わってスリットを設けることもできる。スリットとＣＣＤ等の受光素子の組み合わせでも疑似的に共焦点画像を得ることができる。   The laser beam reflected by the sample WK follows the above optical path in reverse. That is, it passes through the objective lens 18, the second relay lens 17, and the first relay lens 16, and again passes through the quarter wavelength plate 14 via the horizontal / vertical deflection device 15. As a result, the laser beam passes through the polarization beam splitter 13 and is collected by the imaging lens 19. The condensed laser light passes through the pinhole of the pinhole plate 20 disposed at the focal position of the imaging lens 19 and enters the light receiving element 21. The light receiving element 21 is composed of, for example, a photomultiplier tube (PMT: photomultiplier tube) or a photodiode (PD), and converts the amount of received light into an electrical signal. An electric signal corresponding to the amount of received light is given to the first A / D converter 41 via the first received light signal processing circuit 22 constituting the output amplifier and the control circuit for the received light sensitivity (PMT gain) of the PMT, and converted into a digital value. Converted. Further, the pinhole plate 20 can be provided with a slit instead of the pinhole. A pseudo confocal image can also be obtained by combining a slit and a light receiving element such as a CCD.

上記のような構成の共焦点光学系１０により、試料ＷＫの高さ（深さ）情報を取得することができる。以下に、その原理を簡単に説明する。上述のように、対物レンズ１８が対物レンズ移動機構４０によってＺ方向（光軸方向）に駆動されると、対物レンズ１８の焦点と試料ＷＫとの光軸方向での相対距離が変化する。そして、対物レンズ１８の焦点が試料ＷＫの表面に結ばれたときに、試料ＷＫの表面で反射されたレーザ光は上記の光路を経て結像レンズ１９で集光され、殆どのレーザ光がピンホール板２０のピンホールを通過する。したがって、このときに受光素子２１の受光量が最大になる。逆に、対物レンズ１８の焦点が試料ＷＫの表面からずれている状態では、結像レンズ１９によって集光されたレーザ光はピンホール板２０からずれた位置に焦点を結ぶので、一部のレーザ光しかピンホールを通過することができない。その結果、受光素子２１の受光量は著しく低下する。   With the confocal optical system 10 configured as described above, the height (depth) information of the sample WK can be acquired. The principle will be briefly described below. As described above, when the objective lens 18 is driven in the Z direction (optical axis direction) by the objective lens moving mechanism 40, the relative distance between the focal point of the objective lens 18 and the sample WK in the optical axis direction changes. Then, when the focal point of the objective lens 18 is focused on the surface of the sample WK, the laser light reflected by the surface of the sample WK is condensed by the imaging lens 19 through the optical path described above, and most of the laser light is pinned. Passes through the pinhole of the hall plate 20. Accordingly, at this time, the amount of light received by the light receiving element 21 is maximized. On the contrary, in a state where the focus of the objective lens 18 is deviated from the surface of the sample WK, the laser light condensed by the imaging lens 19 is focused at a position deviated from the pinhole plate 20, and therefore, some lasers. Only light can pass through the pinhole. As a result, the amount of light received by the light receiving element 21 is significantly reduced.

したがって、試料ＷＫの表面の任意の点について、対物レンズ１８をＺ方向（光軸方向）に駆動しながら受光素子２１の受光量を検出すれば、その受光量が最大になるときの対物レンズ１８のＺ方向位置（対物レンズ１８の焦点と試料ＷＫとの光軸方向での相対位置）を高さ情報として一義的に求めることができる。   Therefore, if the received light amount of the light receiving element 21 is detected while driving the objective lens 18 in the Z direction (optical axis direction) at any point on the surface of the sample WK, the objective lens 18 when the received light amount becomes maximum. The position in the Z direction (the relative position of the focal point of the objective lens 18 and the sample WK in the optical axis direction) can be uniquely determined as height information.

実際には、対物レンズ１８を１ステップ（１ピッチ）移動するたびに水平・垂直偏向装置１５によって試料ＷＫの表面を走査して受光素子２１の受光量を得る。対物レンズ１８を高さ方向の移動範囲の下端から上端までＺ方向に移動させたとき、走査範囲内の各点（画素）について、Ｚ方向位置に応じて変化する受光量データが得られる。   Actually, every time the objective lens 18 is moved by one step (one pitch), the horizontal / vertical deflection device 15 scans the surface of the sample WK to obtain the amount of light received by the light receiving element 21. When the objective lens 18 is moved in the Z direction from the lower end to the upper end of the moving range in the height direction, received light amount data that changes in accordance with the position in the Z direction is obtained for each point (pixel) in the scanning range.

図４は、対物レンズ１８のＺ方向位置に応じて変化する受光量データの例を示すグラフである。このような受光量データに基づいて、最大受光量とそのときのＺ方向位置が各点（画素）毎に得られる。したがって、試料ＷＫの表面高さのＸＹ平面での分布が得られる。この処理は、操作手段３の外部コンピュータで実行される。   FIG. 4 is a graph showing an example of received light amount data that changes according to the position of the objective lens 18 in the Z direction. Based on such received light amount data, the maximum received light amount and the position in the Z direction at that time are obtained for each point (pixel). Therefore, the distribution of the surface height of the sample WK on the XY plane can be obtained. This process is executed by an external computer of the operation means 3.

得られた表面高さの分布情報は、いくつかの方法で操作手段３の表示手段４に表示することができる。例えば３次元表示によって試料の高さ分布（表面形状）を立体的に表示することができる。あるいは、高さデータを輝度データに変換することにより、明るさの二次元分布として表示できる。高さデータを色差データに変換することにより、高さの分布を色の分布として表示することもできる。   The obtained surface height distribution information can be displayed on the display means 4 of the operation means 3 by several methods. For example, the height distribution (surface shape) of the sample can be displayed three-dimensionally by three-dimensional display. Alternatively, it can be displayed as a two-dimensional distribution of brightness by converting the height data into luminance data. By converting the height data into color difference data, the height distribution can also be displayed as a color distribution.

また、ＸＹ走査範囲内の各点（画素）について得られた受光量を輝度データとする輝度信号から、試料ＷＫの表面画像（白黒画像）が得られる。各画素における最大受光量を輝度データとして輝度信号を生成すれば、表面高さの異なる各点でピントの合った焦点深度の非常に深い超深度画像が得られる。また、任意の注目画素で最大受光量が得られた高さ（Ｚ方向位置）に固定した場合は、注目画素の部分と高低差が大きい部分の画素の受光量は著しく小さくなるので、注目画素と同じ高さの部分のみが明るい画像が得られる。
（非共焦点光学系５０） Further, a surface image (black and white image) of the sample WK is obtained from a luminance signal that uses the received light amount obtained for each point (pixel) in the XY scanning range as luminance data. If a luminance signal is generated by using the maximum amount of received light in each pixel as luminance data, an ultra-deep image having a very deep focal depth in focus at each point having a different surface height can be obtained. In addition, when the height (Z-direction position) at which the maximum light reception amount is obtained at any target pixel is fixed, the light reception amount of the pixel of the target pixel portion and the portion having a large difference in height is significantly reduced. A bright image is obtained only at the same height.
(Non-confocal optical system 50)

次に、共焦点顕微鏡に備えられた非共焦点光学系５０とその信号処理について説明する。非共焦点光学系５０は、試料ＷＫに白色光（カラー画像撮影用の照明光）を照射するための白色光源５１、第２コリメートレンズ（コンデンサレンズ）５２、第１ハーフミラー５３、第２ハーフミラー５４、第２受光素子５５等を含んでいる。また、非共焦点光学系５０は共焦点光学系１０の対物レンズ１８を共用しており、２つの光学系１０、５０の光軸は部分的に一致している。   Next, the non-confocal optical system 50 provided in the confocal microscope and its signal processing will be described. The non-confocal optical system 50 includes a white light source 51, a second collimating lens (condenser lens) 52, a first half mirror 53, and a second half for irradiating the sample WK with white light (illumination light for photographing a color image). A mirror 54, a second light receiving element 55, and the like are included. Further, the non-confocal optical system 50 shares the objective lens 18 of the confocal optical system 10, and the optical axes of the two optical systems 10 and 50 are partially coincident.

白色光源５１には例えば白色ランプが用いられるが、特に専用の光源を設けず、自然光又は室内光を利用してもよい。白色光源５１から出た白色光は、第２コリメートレンズ５２を通り、第１ハーフミラー５３で光路を曲げられ、対物レンズ１８によってステージ３０上に置かれた試料ＷＫの表面に集光される。   For example, a white lamp is used as the white light source 51, but natural light or room light may be used without providing a special light source. The white light emitted from the white light source 51 passes through the second collimating lens 52, the optical path is bent by the first half mirror 53, and is condensed on the surface of the sample WK placed on the stage 30 by the objective lens 18.

試料ＷＫで反射された白色光は、対物レンズ１８、第１ハーフミラー５３、第２リレーレンズ１７を通過し、第２ハーフミラー５４で反射されて第２受光素子５５に入射して結像する。第２受光素子５５は、共焦点光学系１０のピンホール板２０のピンホールと共役又は共役に近い位置に設けられている。第２受光素子５５は、カラーＣＣＤやＣＭＯＳ等のイメージセンサ、エリアセンサが利用できる。第２受光素子５５で撮像されたカラーの光学画像（以下、「カメラ画像」という。）は、第２受光信号処理回路５６によって読み出され、そのアナログ出力信号は第２Ａ／Ｄ変換器４２に与えられ、デジタル値に変換される。このようにして得られたカメラ画像は、試料ＷＫの観察用の拡大カラー画像として操作手段３の表示手段４に表示される。   The white light reflected by the sample WK passes through the objective lens 18, the first half mirror 53, and the second relay lens 17, is reflected by the second half mirror 54, and enters the second light receiving element 55 to form an image. . The second light receiving element 55 is provided at a position conjugate to or close to the conjugate with the pinhole of the pinhole plate 20 of the confocal optical system 10. As the second light receiving element 55, an image sensor such as a color CCD or CMOS or an area sensor can be used. A color optical image captured by the second light receiving element 55 (hereinafter referred to as “camera image”) is read by the second light receiving signal processing circuit 56, and the analog output signal is sent to the second A / D converter 42. Given and converted to a digital value. The camera image obtained in this way is displayed on the display means 4 of the operation means 3 as an enlarged color image for observation of the sample WK.

また、共焦点光学系１０で得られた超深度画像と非共焦点光学系５０で得られた通常のカメラ画像とを組み合わせて、すべての画素で略ピントの合った焦点深度の深いカラー超深度画像を生成し、表示することもできる。例えば、非共焦点光学系５０で得られたカメラ画像を構成する輝度信号を共焦点光学系１０で得られた超深度画像の輝度信号で置き換えることにより、簡単にカラー超深度画像を生成することができる。   Further, by combining the ultra-deep image obtained by the confocal optical system 10 and the normal camera image obtained by the non-confocal optical system 50, a color super-depth with a deep focus depth that is in focus at all pixels. Images can also be generated and displayed. For example, a color ultra-deep image can be easily generated by replacing the luminance signal constituting the camera image obtained by the non-confocal optical system 50 with the luminance signal of the ultra-deep image obtained by the confocal optical system 10. Can do.

上記のようなカメラ画像に関する処理についても、操作手段３が司る。操作手段３にはコンソール（操作卓）のような入力手段やＣＲＴ（陰極線管）、ＬＣＤ（液晶表示装置）のような表示手段４が接続されている。また、マウスのようなポインティングデバイスも入力手段として接続される。   The operation means 3 also controls processing related to the camera image as described above. The operation means 3 is connected to an input means such as a console (display console) and a display means 4 such as a CRT (cathode ray tube) and an LCD (liquid crystal display device). A pointing device such as a mouse is also connected as input means.

また、共焦点顕微鏡システム１００のコントローラ２には、パーソナルコンピュータのような外部コンピュータシステムを接続するインターフェイスが備えられている。顕微鏡システム１００の制御を行なうための専用ソフトウェアをインストールした外部コンピュータシステムを操作手段３としてコントローラ２に接続することにより、取得された試料ＷＫの画像データから超深度画像やカラー超深度画像、高さ分布情報等を求めることができる。
（実施の形態２） The controller 2 of the confocal microscope system 100 is provided with an interface for connecting an external computer system such as a personal computer. By connecting an external computer system in which dedicated software for controlling the microscope system 100 is installed to the controller 2 as the operation means 3, an ultra-depth image, a color ultra-depth image, and a height are obtained from the acquired image data of the sample WK. Distribution information and the like can be obtained.
(Embodiment 2)

上記の実施の形態１では、白色光源５１と第２コリメートレンズ５２を使用して非共焦点画像を取得している。一方、この例に限られず、非共焦点光学系に白色光源等を使用せず、モノクロの非共焦点画像を得ることもできる。このような構成を採用した実施の形態２に係る共焦点顕微鏡システム２００のブロック図を図５に示す。この図において、図１と同じ部材については同じ番号を付して詳細説明を省略する。   In the first embodiment, the non-confocal image is acquired using the white light source 51 and the second collimating lens 52. On the other hand, the present invention is not limited to this example, and a monochrome non-confocal image can be obtained without using a white light source or the like in the non-confocal optical system. FIG. 5 shows a block diagram of a confocal microscope system 200 according to the second embodiment that employs such a configuration. In this figure, the same members as those in FIG.

図５の例では、非共焦点画像を取得するのに白色光源を使用せず、共焦点画像を取得するために使用するレーザ光源を、非共焦点画像を取得するためにも共用している。これにより、白色光源とコンデンサレンズを省略でき、光学系をコンパクトに設計することが可能となる。   In the example of FIG. 5, a white light source is not used to acquire a non-confocal image, and a laser light source used to acquire a confocal image is also shared to acquire a non-confocal image. . Thereby, the white light source and the condenser lens can be omitted, and the optical system can be designed compactly.

また図１の例では、非共焦点光学系５０は第２リレーレンズ１７と対物レンズ１８との間に配置されているが、図５の例では非共焦点光学系５０を偏光ビームスプリッタ１３と結像レンズ１９の間に第２ハーフミラー５４を配置している。このように、非共焦点光学系５０を共焦点光学系１０、具体的には第２受光素子５５を受光素子２１に近付けて両者が利用する光学系を共用することで、二つの光学系の光軸合わせ、画像の位置合わせが不要となり、また、収差等の特性も一致するため両画像の不整合も実質起こらない。   In the example of FIG. 1, the non-confocal optical system 50 is disposed between the second relay lens 17 and the objective lens 18, but in the example of FIG. 5, the non-confocal optical system 50 is replaced with the polarization beam splitter 13. A second half mirror 54 is disposed between the imaging lenses 19. In this way, the non-confocal optical system 50 is brought close to the confocal optical system 10, more specifically, the second light receiving element 55 is brought close to the light receiving element 21, and the optical system used by both is shared. Optical axis alignment and image alignment are not required, and characteristics such as aberration coincide with each other, so that there is substantially no mismatch between the two images.

これら実施の形態１、２の共焦点顕微鏡システム１００、２００では、共焦点顕微鏡本体１にコントローラ２に接続し、さらにコントローラ２に操作手段３として外部コンピュータを接続してデータ通信を行い、共焦点顕微鏡本体１で測定された共焦点画像やカメラ画像を外部コンピュータで取り込み、加工や処理を行うと共に、共焦点顕微鏡の設定や操作を外部コンピュータから行う。また外部コンピュータのモニタを、表示手段４として利用できる。外部コンピュータには、汎用のコンピュータを使用し、共焦点顕微鏡操作プログラムをインストールすることで、共焦点顕微鏡の操作装置として機能させることができる。なお、上記の例では共焦点顕微鏡本体とコントローラとを別部材としているが、これらを統合することもできる。あるいは、コントローラを操作手段と一体に構成してもよい。   In the confocal microscope systems 100 and 200 according to the first and second embodiments, the confocal microscope main body 1 is connected to the controller 2, and an external computer is connected to the controller 2 as the operation means 3 to perform data communication. A confocal image and a camera image measured by the microscope main body 1 are captured by an external computer, processed and processed, and a confocal microscope is set and operated from the external computer. An external computer monitor can be used as the display means 4. A general-purpose computer can be used as the external computer, and a confocal microscope operating program can be installed to function as a confocal microscope operating device. In the above example, the confocal microscope main body and the controller are separate members, but they can also be integrated. Or you may comprise a controller integrally with an operation means.

操作手段３は、画像処理その他の演算を行う部材であり、好適には汎用コンピュータが利用できる。ここでは、操作手段３は外部から共焦点画像などの画像データを入力するための画像データ入力部４４と、各種の画像処理を行うための画像処理演算部４５と、画像データを表示手段４に表示させるための表示用画像生成部４６を備える。操作手段３として、共焦点顕微鏡操作プログラムをインストールしたコンピュータを使用することで、これら画像データ入力部４４、画像処理演算部４５、表示用画像生成部４６の機能をコンピュータに実現させることができる。
（共焦点顕微鏡操作プログラム） The operation means 3 is a member that performs image processing and other calculations, and a general-purpose computer can be used preferably. Here, the operation unit 3 includes an image data input unit 44 for inputting image data such as a confocal image from the outside, an image processing calculation unit 45 for performing various image processes, and image data to the display unit 4. A display image generation unit 46 for display is provided. By using a computer in which the confocal microscope operation program is installed as the operation means 3, the functions of the image data input unit 44, the image processing calculation unit 45, and the display image generation unit 46 can be realized by the computer.
(Confocal microscope operation program)

本明細書において共焦点顕微鏡は、共焦点画像の測定や表示を行うシステムそのもの、ならびに共焦点画像測定や表示に関連する入出力、表示、演算、通信その他の処理をハードウェア的に行う装置や方法に限定するものではない。ソフトウェア的に処理を実現する装置や方法も本発明の範囲内に包含する。例えば汎用の回路やコンピュータにソフトウェアやプログラム、プラグイン、オブジェクト、ライブラリ、アプレット、スクリプレット、コンパイラ、モジュール、特定のプログラム上で動作するマクロ等を組み込んで文章表示や文章表示形式付与設定そのものあるいはこれに関連する処理を可能とした汎用あるいは専用のコンピュータ、ワークステーション、携帯型電子機器その他の電子デバイスも、本発明の共焦点顕微鏡、共焦点顕微鏡操作プログラムの少なくともいずれかに含まれる。また本明細書においては、プログラム自体も共焦点顕微鏡に含むものとする。また本プログラムは単体で使用するものに限られず、特定のコンピュータプログラムやソフトウェア、サービス等の一部として機能する態様や、必要時に呼び出されて機能する態様、ＯＳ等の環境においてサービスとして提供される態様、環境に常駐して動作する態様、バックグラウンドで動作する態様やその他の支援プログラムという位置付けで使用することもできる。
（接続、通信形態） In this specification, a confocal microscope is a system that performs measurement and display of confocal images, as well as an apparatus that performs input / output, display, calculation, communication, and other processing related to confocal image measurement and display in hardware. It is not limited to the method. An apparatus and method for realizing processing by software are also included in the scope of the present invention. For example, software or programs, plug-ins, objects, libraries, applets, scriptlets, compilers, modules, macros that run on specific programs, etc. are incorporated into general-purpose circuits or computers, or text display and text display format assignment settings themselves or this A general-purpose or dedicated computer, workstation, portable electronic device, or other electronic device that can perform the processing related to the above is also included in at least one of the confocal microscope and the confocal microscope operation program of the present invention. In this specification, the program itself is also included in the confocal microscope. In addition, this program is not limited to the one used alone, but is provided as a service in an environment that functions as a part of a specific computer program, software, service, etc., an aspect that is called and functions when necessary, and an environment such as an OS. It can also be used as a mode, a mode that operates resident in the environment, a mode that operates in the background, and other support programs.
(Connection, communication form)

本発明の実施の形態において使用されるコンピュータやコントローラ、顕微鏡その他これらに接続される操作、制御、入出力、表示、各種処理その他のためのコンピュータ、あるいはプリンタ等その他の周辺機器との接続は、例えばＩＥＥＥ１３９４、ＲＳ−２３２ｘやＲＳ−４２２、ＲＳ−４８５、ＲＳ−２３２ｘ、ＲＳ−４２２、ＲＳ−４２３、ＲＳ−４８５、ＵＳＢ等のシリアル接続、パラレル接続、あるいは１０ＢＡＳＥ−Ｔ、１００ＢＡＳＥ−ＴＸ、１０００ＢＡＳＥ−Ｔ等のネットワークを介して電気的に接続して通信を行うことができる。接続は有線を使った物理的な接続に限られず、ＩＥＥＥ８０２．１ｘ、ＯＦＤＭ方式等の無線ＬＡＮやＢｌｕｅｔｏｏｔｈ等の電波、赤外線、光通信等を利用した無線接続等でもよい。さらにデータの交換や設定の保存等を行うための記録媒体には、メモリカードや磁気ディスク、光ディスク、光磁気ディスク、半導体メモリ等が利用できる。
（共焦点画像） Computers and controllers used in the embodiments of the present invention, microscopes and other computers connected for operation, control, input / output, display, various processing, etc., or connection with other peripheral devices such as printers, For example, IEEE1394, RS-232x, RS-422, RS-485, RS-232x, RS-422, RS-423, RS-485, serial connection such as USB, parallel connection, or 10BASE-T, 100BASE-TX, 1000BASE It is possible to communicate by electrically connecting via a network such as -T. The connection is not limited to a physical connection using a wire, but may be a wireless connection using a wireless LAN such as IEEE 802.1x or OFDM, radio waves such as Bluetooth, infrared rays, optical communication, or the like. Furthermore, a memory card, a magnetic disk, an optical disk, a magneto-optical disk, a semiconductor memory, or the like can be used as a recording medium for exchanging data or storing settings.
(Confocal image)

以上の共焦点顕微鏡システムを用いて共焦点画像を撮像する。共焦点画像は、試料にピントがあった位置のみ明るく、他は暗くなるという特長がある。このような特長を生かし、ピントを少しずつずらしながら、すなわち、試料と対物レンズとの相対距離を変化させながら複数枚の画像を取得し、画像の各画素毎に最も明るい信号が得られたピント位置を求めることで、試料の高さ形状（光軸すなわちＺ方向の形状）を測定することができる。このような特長は高さ形状を測定する際に非常に有効である。また共焦点顕微鏡では合焦位置以外の共焦点画像が殆ど真っ暗であるため、特に共焦点顕微鏡に詳しくないユーザにとっては現在のピント位置を把握し難く、すべての位置でピントのあった超深度画像を測定することが容易でないという問題があった。そこで本実施の形態では、カメラ画像等の非共焦点画像を用いて超深度画像の測定を容易にしている。以下、共焦点顕微鏡を操作するための共焦点顕微鏡操作プログラムを用いて、超深度画像の測定を行う手順について説明する。   A confocal image is captured using the above confocal microscope system. The confocal image has a feature that only the position where the sample is focused is bright and the others are dark. Taking advantage of these features, multiple images are acquired while shifting the focus little by little, that is, changing the relative distance between the sample and the objective lens, and the focus is obtained so that the brightest signal is obtained for each pixel of the image. By obtaining the position, the height shape of the sample (optical axis, ie, the shape in the Z direction) can be measured. Such a feature is very effective when measuring the height shape. In addition, since the confocal image other than the in-focus position is almost dark in the confocal microscope, it is difficult for the user who is not familiar with the confocal microscope to grasp the current focus position, and an ultra-deep image that is in focus at all positions. There was a problem that it was not easy to measure. Therefore, in this embodiment, measurement of an ultra-deep image is facilitated using a non-confocal image such as a camera image. Hereinafter, a procedure for measuring an ultra-deep image using a confocal microscope operation program for operating the confocal microscope will be described.

図６〜図７に、共焦点顕微鏡操作プログラムのユーザインターフェース画面の例を示す。この共焦点顕微鏡操作プログラムのユーザインターフェース画面の例において、各入力欄や各ボタン等の配置、形状、表示の仕方、サイズ、配色、模様等は適宜変更できることはいうまでもない。デザインの変更によってより見易く、評価や判断が容易な表示としたり操作し易いレイアウトとすることもできる。例えば詳細設定画面を別ウィンドウで表示させる、複数画面を同一表示画面内で表示する等、適宜変更できる。またこれらのプログラムのユーザインターフェース画面において、仮想的に設けられたボタン類や入力欄に対するＯＮ／ＯＦＦ操作、数値や命令入力等の指定は、共焦点顕微鏡操作プログラムを組み込んだコンピュータに接続された入力手段３Ａ（図２）で行う。本明細書において「押下する」とは、ボタン類に物理的に触れて操作する他、入力手段３Ａによりクリックあるいは選択して擬似的に押下することを含む。入出力デバイスはコンピュータと有線もしくは無線で接続され、あるいはコンピュータ等に固定されている。一般的な入力手段３Ａとしては、例えばマウスやキーボード、スライドパッド、トラックポイント、タブレット、ジョイスティック、コンソール、ジョグダイヤル、デジタイザ、ライトペン、テンキー、タッチパッド、アキュポイント等の各種ポインティングデバイスが挙げられる。またこれらの入出力デバイスは、プログラムの操作のみに限られず、共焦点顕微鏡等のハードウェアの操作にも利用できる。さらに、インターフェース画面を表示する表示手段４のディスプレイ自体にタッチスクリーンやタッチパネルを利用して、画面上をユーザが手で直接触れることにより入力や操作を可能としたり、または音声入力その他の既存の入力手段を利用、あるいはこれらを併用することもできる。   FIGS. 6 to 7 show examples of user interface screens of the confocal microscope operation program. In the example of the user interface screen of the confocal microscope operation program, it goes without saying that the arrangement, shape, display method, size, color scheme, pattern, etc. of each input field and each button can be changed as appropriate. By changing the design, it is possible to provide a layout that is easier to view, easier to evaluate and judge, and easier to operate. For example, the detailed setting screen can be displayed as a separate window, or a plurality of screens can be displayed within the same display screen. In addition, on the user interface screens of these programs, ON / OFF operations for numerically provided buttons and input fields, designation of numerical values and command inputs, etc. can be specified by input connected to a computer incorporating a confocal microscope operation program. Performed by means 3A (FIG. 2). In this specification, “pressing” includes not only physically touching and operating buttons, but also clicking or selecting with the input means 3A to pseudo-press. The input / output device is connected to the computer by wire or wirelessly, or is fixed to the computer or the like. Examples of general input means 3A include various pointing devices such as a mouse, keyboard, slide pad, track point, tablet, joystick, console, jog dial, digitizer, light pen, numeric keypad, touch pad, and accu point. These input / output devices are not limited to program operations, but can also be used for hardware operations such as confocal microscopes. Furthermore, a touch screen or a touch panel is used for the display itself of the display means 4 for displaying the interface screen, and the user can directly input and operate the screen by hand, or voice input or other existing input. Means can be used, or these can be used in combination.

図６〜図７は、表示手段４に表示された共焦点顕微鏡操作プログラムのユーザインターフェース画面の例である。これらの図に示すように、表示画面の左側は共焦点画像や非共焦点画像を表示するための画像表示領域６１とし、右側を各種操作ボタン等を備えた操作領域６２としている。これら共焦点画像や非共焦点画像は各々別ウィンドウとして構成され、サイズや配置を任意に変更できる。なお、一の焦点顕微鏡操作プログラム操作画面を分割して、画像表示領域６１と操作領域６２を設けることもできることは言うまでもない。
（操作モード） 6 to 7 are examples of user interface screens of the confocal microscope operation program displayed on the display unit 4. As shown in these drawings, the left side of the display screen is an image display area 61 for displaying confocal images and non-confocal images, and the right side is an operation area 62 having various operation buttons and the like. These confocal images and non-confocal images are configured as separate windows, and the size and arrangement can be arbitrarily changed. Needless to say, the image display area 61 and the operation area 62 may be provided by dividing one focus microscope operation program operation screen.
(Operation mode)

この共焦点顕微鏡操作プログラムは、各種の操作を行うための操作モードとして、共焦点顕微鏡の操作に慣れたユーザ向けのエキスパートモードと、操作に不慣れなユーザ向けのビギナーモードを備える。図６、図７に示すように、エキスパートモードとビギナーモードはタブ６３によって切り替えできる。エキスパートモードにおいては、図７に示すように、共焦点画像を取得するための条件をユーザが各々設定できる。一方、ビギナーモードにおいては、共焦点画像を取得するための条件設定を行い易くするためのガイダンスを提示する。またタブ６３の上には、対物レンズの倍率が表示されると共に、光学ズームの倍率選択欄６４が設けられており、表示倍率を変更できる。ビギナータブ６３ａを選択すると、図６に示すように画面右側の操作領域６２において上から順にフロー図６５、説明図６６、操作部６７が表示される。また、ビギナーモードの設定中にエキスパートタブ６３ｂを選択し、図７に示すエキスパートモードに移行することもできる。   This confocal microscope operation program includes an expert mode for users who are used to operating the confocal microscope and a beginner mode for users who are unfamiliar with the operations as operation modes for performing various operations. As shown in FIGS. 6 and 7, the expert mode and the beginner mode can be switched by a tab 63. In the expert mode, as shown in FIG. 7, the user can set conditions for acquiring a confocal image. On the other hand, in the beginner mode, guidance for facilitating setting of conditions for acquiring a confocal image is presented. On the tab 63, the magnification of the objective lens is displayed, and an optical zoom magnification selection field 64 is provided, and the display magnification can be changed. When the beginner tab 63a is selected, a flow diagram 65, an explanatory diagram 66, and an operation unit 67 are displayed in order from the top in the operation area 62 on the right side of the screen as shown in FIG. It is also possible to select the expert tab 63b during setting of the beginner mode and shift to the expert mode shown in FIG.

ビギナーモードにおいては、フロー図６５で共焦点画像取得に必要な手順を段階毎に示しており、現在表示中の画面で行うべき手順がハイライト表示される。ここではフロー図６５を水色、選択中のステップを橙色で表示している。このように設定手順をフローチャート状に示すことで、ユーザに対してこれから行うべき手順を段階別に提示して、作業の理解を助けることができ、さらに選択中のステップを色分けして表示することにより、現在行うべき手順を明示することができる。図６の例では、フロー図６５として「ステージの調整」６５ａ、「高さ範囲の設定」６５ｂ、「レーザの明るさ調整」６５ｃ、「測定を開始」６５ｄ、「測定結果の確認」６５ｅの５つのステップを示しており、さらに「ステージの調整」ステップ６５ａをハイライト表示している。なおハイライト表示は、色分け表示の他、点滅や太字、斜字体等の強調表示、あるいは他のステップをグレーアウトさせる等、他のステップと区別できる表示態様が適宜利用できる。   In the beginner mode, the procedure required for confocal image acquisition is shown for each stage in the flow chart 65, and the procedure to be performed on the currently displayed screen is highlighted. Here, the flow diagram 65 is displayed in light blue and the selected step is displayed in orange. By showing the setting procedure in the form of a flowchart in this way, the procedure to be performed can be presented to the user step by step, helping to understand the work, and by displaying the selected step in different colors , Can specify the current procedure to be performed. In the example of FIG. 6, “stage adjustment” 65 a, “height range setting” 65 b, “laser brightness adjustment” 65 c, “start measurement” 65 d, and “confirm measurement result” 65 e are shown as a flow diagram 65. 5 steps are shown, and the “stage adjustment” step 65a is highlighted. In addition to the color-coded display, the highlight display can appropriately use a display mode that can be distinguished from other steps such as blinking, bold font, italic font highlighting, or graying out other steps.

またフロー図６５の下には、説明図６６が表示される。説明図６６は、フロー図６５上で選択中のステップに対応する説明が文章で説明されると共に、必要に応じてイラストや写真で図示される。これにより、各ステップで行うべき設定の内容をユーザに対して告知できる。図６の例では、「ステージの調整」ステップ６５ａに対応する説明図６６として、「測定位置とピントの調整を行います。画面を見ながら測定したい場所を探し、ピントを合わせてください。調整完了後、「調整完了」ボタンを押してください。」との説明文と、その下に共焦点顕微鏡本体１のイラストを２つ表示している。左側のイラストは、測定位置を調整する様子を、右側のイラストはピントを調整する様子を、それぞれ示している。具体的には、左側のイラストでステージのＸ−Ｙ平面での移動方向と、ステージをＸ−Ｙ方向に移動させるＸ方向移動摘み３２、Ｙ方向移動摘み３３の操作方向を矢印で示し、さらに右側のイラストでピントの調整のためのステージのＺ方向への移動方向と、Ｚ方向移動摘み３４の操作方向を矢印で示している。   An explanatory diagram 66 is displayed below the flow diagram 65. In the explanatory diagram 66, the explanation corresponding to the step being selected on the flow diagram 65 is described in text, and is illustrated in illustrations and photographs as necessary. Thereby, the content of the setting which should be performed at each step can be notified to the user. In the example of FIG. 6, as an explanatory diagram 66 corresponding to the “stage adjustment” step 65a, “Adjust the measurement position and focus. Find the place you want to measure while looking at the screen, and focus. Then press the “Adjustment Complete” button. ”And two illustrations of the confocal microscope main body 1 are displayed below. The illustration on the left shows how the measurement position is adjusted, and the illustration on the right shows how the focus is adjusted. Specifically, in the illustration on the left side, the moving direction of the stage on the XY plane, the operation direction of the X direction moving knob 32 and the Y direction moving knob 33 for moving the stage in the XY direction are indicated by arrows, and In the illustration on the right side, the moving direction of the stage for adjusting the focus in the Z direction and the operating direction of the Z direction moving knob 34 are indicated by arrows.

また説明図６６の下には、操作部６７が設けられている。操作部６７の欄には、選択されたステップに対応する操作ボタン類が表示される。図６の例では、実際の操作は共焦点顕微鏡本体１の移動摘みを物理的に操作し、画面上で行う設定項目が存在しないため、本ステップでの設定終了後に押下する「調整完了」ボタン６８が設けられる。また、ボタン類に加えて注意事項や補足説明等のテキスト情報を表示することもできる。図６の例では「現在のレンズ位置が基準位置として保存されます」との説明が表示され、「調整完了」ボタン６８を押下した時点で設定されているレンズの位置（ピント位置）が基準位置として登録されることをユーザに説明している。   An operation unit 67 is provided below the explanatory diagram 66. In the column of the operation unit 67, operation buttons corresponding to the selected step are displayed. In the example of FIG. 6, the actual operation is to physically operate the moving knob of the confocal microscope body 1 and there is no setting item to be set on the screen. 68 is provided. In addition to buttons, text information such as notes and supplementary explanations can also be displayed. In the example of FIG. 6, an explanation that “the current lens position is saved as the reference position” is displayed, and the lens position (focus position) set when the “adjustment complete” button 68 is pressed is the reference position. Is registered to the user.

一方エキスパートモードでは、ビギナーモードの各ステップの設定を一画面で行えるよう、各種の操作ボタン類が配置されている。図７の例では、操作領域６２の上段にレンズ位置調整欄７０、中段にレーザ明るさ調整欄８０、下段に測定設定欄９１を設けている。さらにレンズ位置調整欄７０の上に、画像表示領域６１で現在表示されている画像の種別を表示する画像種別表示欄９２を設けている。ここでは、カメラ画像が表示されているため、「カメラ」ボタン９２ａがハイライト表示される。この状態から「レーザ」ボタン９２ｂを押下すると、画像表示領域６１の表示が共焦点画像に切り替えられる。同様に「ＲＴ３Ｄ」ボタン９２ｃを押下すると３Ｄ画像が表示される。なお、これらの画像は画像表示領域を分割したり、あるいは画像表示ウィンドウを複数設ける等の方法で、複数を並べて表示することもできる。また、未作成等の理由で表示できない画像については、該当するボタンをグレーアウト表示させて、表示不可能であることを示す。さらに「｜｜」ボタン９２ｄは、ライブ表示の画像を一時停止するためのボタンである。   On the other hand, in the expert mode, various operation buttons are arranged so that each step of the beginner mode can be set on one screen. In the example of FIG. 7, a lens position adjustment field 70 is provided in the upper part of the operation area 62, a laser brightness adjustment field 80 is provided in the middle part, and a measurement setting field 91 is provided in the lower part. Further, an image type display field 92 for displaying the type of image currently displayed in the image display area 61 is provided on the lens position adjustment field 70. Here, since the camera image is displayed, the “camera” button 92a is highlighted. When the “laser” button 92b is pressed from this state, the display of the image display area 61 is switched to a confocal image. Similarly, when the “RT3D” button 92c is pressed, a 3D image is displayed. These images can be displayed side by side by dividing the image display area or by providing a plurality of image display windows. For images that cannot be displayed because they have not been created, the corresponding buttons are displayed in gray to indicate that they cannot be displayed. Further, the “||” button 92d is a button for temporarily stopping the live display image.

レンズ位置調整欄７０の下部にはＺ測定距離表示欄９３が設けられ、高さ上限位置と下限位置との間の距離、すなわち高さの測定範囲（距離）が示されている。さらにレーザ明るさ調整欄８０が設けられ、フィルタによる明るさ調整用とゲインによる明るさ調整用に、フィルタ調整用プルダウンメニュー８２Ｂ、ゲイン調整用スライダ８３をそれぞれ設けており、これらを個別に調整できる。加えて測定設定欄９１は、これから測定する超深度画像に対して各種設定を行うためのボタン類を纏めている。図１３の例では、各種の設定をプルダウンメニューで選択可能としており、測定モード９４として表面形状、膜厚等が選択できる。また測定エリア９５として面、ライン等が選択でき、さらに測定品質９６として超高精細、高精細、高速等が選択できる。このように、エキスパートモードでは様々なモードや品質、エリアで超深度画像の取得ができ、共焦点顕微鏡の操作に慣れたユーザは、コンパクトに纏められた画面から所望の操作を行うことができる。
（実施の形態３） A Z measurement distance display field 93 is provided at the lower part of the lens position adjustment field 70, and shows the distance between the height upper limit position and the lower limit position, that is, the height measurement range (distance). Further, a laser brightness adjustment field 80 is provided, and a filter adjustment pull-down menu 82B and a gain adjustment slider 83 are provided for adjusting the brightness by the filter and adjusting the brightness by the gain, respectively, and these can be adjusted individually. . In addition, the measurement setting column 91 is a collection of buttons for performing various settings for the ultra-deep image to be measured. In the example of FIG. 13, various settings can be selected from a pull-down menu, and the surface shape, film thickness, and the like can be selected as the measurement mode 94. Further, a surface, a line, or the like can be selected as the measurement area 95, and an ultra high definition, high definition, high speed, or the like can be selected as the measurement quality 96. As described above, in the expert mode, an ultra-deep image can be acquired in various modes, qualities, and areas, and a user who is used to the operation of the confocal microscope can perform a desired operation from a compact screen.
(Embodiment 3)

次に、共焦点顕微鏡のコントローラとコンピュータとの間でデータ転送を行う様子を、実施の形態３に係る共焦点顕微鏡システム３００のブロック図である図８に基づいて説明する。この図に示す共焦点顕微鏡システム３００において、共焦点顕微鏡は、受光素子２１と、受光素子２１を制御する受光信号処理回路２２と、受光素子２１で得られた受光量データのアナログ信号をデジタル信号に変換する第１Ａ／Ｄ変換器４１と、第１Ａ／Ｄ変換器４１でデジタル信号に変換された受光信号に基づき、各種の処理を行うコントローラ２とを備える。またコントローラ２とデータ通信を行う操作手段３であるコンピュータＰＣは、転送された画像データや設定内容などを表示する表示手段４としてモニタを接続している。   Next, how data is transferred between the confocal microscope controller and the computer will be described with reference to FIG. 8 which is a block diagram of the confocal microscope system 300 according to the third embodiment. In the confocal microscope system 300 shown in this figure, the confocal microscope includes a light receiving element 21, a light receiving signal processing circuit 22 for controlling the light receiving element 21, and an analog signal of received light amount data obtained by the light receiving element 21 as a digital signal. A first A / D converter 41 that converts the signal into a digital signal, and a controller 2 that performs various processes based on the received light signal converted into a digital signal by the first A / D converter 41. The computer PC which is the operation means 3 for performing data communication with the controller 2 is connected to a monitor as the display means 4 for displaying the transferred image data and setting contents.

従来のコントローラ２とコンピュータＰＣ間で行われる同期転送と非同期転送のデータフローの概念図を、図９に示す。同期転送は一定のサイクルでデータ転送が行われる方式であり、画像データ等の大容量データの転送に適している。一方非同期転送は同期転送よりも優先度が低く、同期転送の合間にデータ転送が行われる。同期転送と非同期転送のデータを関連付ける、すなわち同期させることはできない。図９に示すように、従来の共焦点顕微鏡画像に代表される顕微鏡画像は、コンピュータＰＣ側に画像データＧＤを同期転送し、また両者間での設定データＳＪのやりとりは非同期転送にて行っている。しかしながら、コンピュータＰＣからコントローラ２に設定データＳＪを非同期転送で送ると、送信時間が不確定であるため、設定内容が顕微鏡側で反映されるまでに時間がかかることがあり、またこのために表示中の観察画像が設定反映前に得られた画像なのか、設定反映後に得られた画像なのかを区別できないという問題があった。同様に、コントローラ２からコンピュータＰＣ側へも設定データＳＪが非同期転送で送信されるため、例えば共焦点画像が同期転送で、その高さ情報が非同期転送で個別に送信される際、画像データＧＤにフレーム落ちが発生するなどしてデータ転送に失敗した場合、高さ情報に対応する画像データＧＤが欠落し、画像の更新ができないという問題が生じていた。   FIG. 9 shows a conceptual diagram of the data flow of synchronous transfer and asynchronous transfer performed between the conventional controller 2 and the computer PC. Synchronous transfer is a method in which data transfer is performed in a fixed cycle, and is suitable for transferring large-capacity data such as image data. On the other hand, asynchronous transfer has lower priority than synchronous transfer, and data transfer is performed between synchronous transfers. It is not possible to associate, i.e., synchronize, synchronous and asynchronous transfer data. As shown in FIG. 9, in the case of a microscope image represented by a conventional confocal microscope image, image data GD is synchronously transferred to the computer PC side, and setting data SJ is exchanged between the two by asynchronous transfer. Yes. However, if the setting data SJ is sent from the computer PC to the controller 2 by asynchronous transfer, the transmission time is indeterminate, so it may take some time for the setting contents to be reflected on the microscope side. There is a problem that it is not possible to distinguish whether the inside observation image is an image obtained before the setting is reflected or an image obtained after the setting is reflected. Similarly, since the setting data SJ is transmitted from the controller 2 to the computer PC side by asynchronous transfer, for example, when the confocal image is transmitted synchronously and its height information is individually transmitted by asynchronous transfer, the image data GD When the data transfer fails due to a frame drop or the like, the image data GD corresponding to the height information is lost and the image cannot be updated.

このような問題点を解決するために、実施の形態３に係る共焦点顕微鏡システム３００では、観察画像データＧＤの中に、その画像が撮影された設定データＳＤを添付して転送する。図１０に、実施の形態３に係るコントローラ２とコンピュータＰＣ間で行われる同期転送と非同期転送のデータフローの概念図を示す。このように、従来非同期転送で送っていた設定データＳＤを、画像データＧＤと共に同期転送で転送する。これにより、コンピュータＰＣ側で受信される画像データＧＤと、それに付随する設定データＳＤとが必ず一致し、同期転送と非同期転送のデータを同期させることができない問題を解消している。具体的には、リアルタイムに大量のデータを高速に転送できる同期通信の送信データの一部を変更し、複数のデータ、例えば画像データＧＤとそれに対応する複数の設定データＳＤを、リアルタイムに共焦点顕微鏡のコントローラ２からコンピュータＰＣに転送することで、従来成し得なかった複数のリアルタイムデータを用いたデータ処理が実現できる。   In order to solve such a problem, in the confocal microscope system 300 according to the third embodiment, the setting data SD in which the image is photographed is attached and transferred to the observation image data GD. FIG. 10 shows a conceptual diagram of a data flow of synchronous transfer and asynchronous transfer performed between the controller 2 and the computer PC according to the third embodiment. In this way, the setting data SD that has been conventionally sent by asynchronous transfer is transferred by synchronous transfer together with the image data GD. As a result, the image data GD received on the computer PC side and the setting data SD accompanying the image data GD always coincide with each other, and the problem that the synchronous transfer and asynchronous transfer data cannot be synchronized is solved. Specifically, a part of transmission data of synchronous communication capable of transferring a large amount of data at high speed in real time is changed, and a plurality of data, for example, image data GD and a plurality of setting data SD corresponding thereto are confocal in real time. By transferring the data from the microscope controller 2 to the computer PC, it is possible to realize data processing using a plurality of real-time data that could not be achieved conventionally.

具体的には、コントローラ２は、同期転送するデータ毎（例えば画像データ１枚毎）に複数の設定データを準備し、画像データとそれに対応した設定データを組にしてコンピュータＰＣに転送する。つまり、１フレームあたりに画像データだけでなく設定データもコンピュータＰＣに転送される。また予めコントローラ２からどのようなフォーマットで画像データと設定データが送られてくるかを決めておけば、データを受信したコンピュータＰＣ側で画像データと設定データを判別できる。この転送データ形式を用いることで、画像データと共に送りたい情報を時間遅れなく正確に転送することができる。
（主データ） Specifically, the controller 2 prepares a plurality of setting data for each piece of data to be synchronously transferred (for example, for each piece of image data), and transfers the image data and the corresponding setting data to the computer PC as a set. That is, not only image data but also setting data is transferred to the computer PC per frame. Further, if the format in which the image data and setting data are sent from the controller 2 is determined in advance, the image data and the setting data can be discriminated on the computer PC side that has received the data. By using this transfer data format, the information desired to be sent together with the image data can be accurately transferred without time delay.
(Main data)

同期転送される主データの例としては、観察中の画像データ（リアルタイムデータ）の他、顕微鏡側で演算処理したリアルタイムデータ、顕微鏡側に保存されたデータ等が利用できる。このように比較的データ容量が大きく、かつリアルタイム性が求められるデータを主データとして格納する。   As examples of the main data to be transferred synchronously, image data (real-time data) being observed, real-time data computed on the microscope side, data stored on the microscope side, and the like can be used. As described above, data having a relatively large data capacity and requiring real-time property is stored as main data.

また、主データに添付する設定データの例としては、主データである画像データを撮像した際の高さ情報、例えば対物レンズとワークの相対距離、あるいは転送する画像データの通し番号（フレーム落ち検出用）、複数のカメラ（受光素子）がある場合はその識別情報、露光時間やゲインなどの観察条件、その他コンピュータで画像処理をするにあたり必要となる観察画像の情報、画像に付随する情報以外の、コントローラからコンピュータへの情報等が挙げられる。これらのいずれか若しくは複数を、フレーム毎に送られる画像データなどの主データに設定データとして付加して転送する。なお、リアルタイム性が求められない用途においては、従来と同様に、設定データＳＪを画像データに付加することなく別個に非同期転送で転送する方式を併用することも可能であることは、いうまでもない。   Examples of setting data attached to the main data include height information when the image data as the main data is captured, for example, the relative distance between the objective lens and the workpiece, or the serial number of the image data to be transferred (for frame drop detection) ), If there are multiple cameras (light receiving elements), other than the identification information, observation conditions such as exposure time and gain, other information on the observation image required for image processing on the computer, information associated with the image, For example, information from the controller to the computer. Any one or a plurality of these are added as setting data to main data such as image data sent for each frame and transferred. In applications where real-time performance is not required, it is possible to use a method of transferring the setting data SJ separately by asynchronous transfer without adding the setting data SJ to the image data as in the past. Absent.

以上のように、転送データの主データに設定データを付加することで、主データの識別、及び主データの情報の確実な同時転送が可能となる。共焦点顕微鏡側からコンピュータ側に転送される主データの識別情報としては、カラー情報の識別や、データ種別の識別などが挙げられる。以下、カラー情報を識別する例として、実施の形態４について説明する。
（実施の形態４） As described above, by adding the setting data to the main data of the transfer data, it becomes possible to identify the main data and reliably transfer the information of the main data. The identification information of main data transferred from the confocal microscope side to the computer side includes identification of color information, identification of data type, and the like. Hereinafter, Embodiment 4 will be described as an example of identifying color information.
(Embodiment 4)

上記では主に共焦点顕微鏡システムに本発明を適用する例について説明したが、本発明は共焦点顕微鏡に限られず、電子顕微鏡やデジタルマイクロスコープなど、他の拡大観察装置に適用できる。実施の形態４として、モノクロＣＣＤカメラでカラー画像を得る拡大画像観察システム４００のブロック図を図１１に示す。この図に示す拡大観察装置は、試料ＷＫに光を照射する光源１１としてＲ光源１１Ｒ、Ｇ光源１１Ｇ、Ｂ光源１１Ｂ、第２受光素子５５であるモノクロＣＣＤカメラ、モノクロＣＣＤカメラの受光信号をアナログ信号からデジタル信号に変換する第２Ａ／Ｄ変換器４２、デジタル信号に変換された受光信号を受けて各種の処理を行うと共に、光源１１の切替を行うコントローラ２、コントローラ２とデータ通信を行うコンピュータＰＣ、コンピュータＰＣに接続されたモニタである表示手段４を備える。この拡大観察装置は、モノクロＣＣＤカメラを用いて、１１Ｒ、１１Ｇ、１１Ｂの３種類の光源１１を順次切り替えながら各々モノクロのカメラ画像を取得してコンピュータＰＣ側に同期転送する。この際、カメラ画像の画像データには設定データとして、撮像時の照明色情報をカラー情報識別として付加される。これにより、コンピュータＰＣ側では受信した画像データの照明色を把握でき、これに基づいてカラー画像を合成できる。また、ここでの設定データの設定情報項目としては、照明色情報に加えて、カメラ設定、倍率などを含めることができる。   Although the example which applies this invention mainly to a confocal microscope system was demonstrated above, this invention is not restricted to a confocal microscope, It can apply to other magnification observation apparatuses, such as an electron microscope and a digital microscope. FIG. 11 shows a block diagram of an enlarged image observation system 400 that obtains a color image with a monochrome CCD camera as a fourth embodiment. In the magnification observation apparatus shown in this figure, the light source 11 for irradiating the sample WK with light is an R light source 11R, a G light source 11G, a B light source 11B, a monochrome CCD camera as the second light receiving element 55, and a light reception signal of the monochrome CCD camera in analog form A second A / D converter 42 for converting a signal into a digital signal, a light receiving signal converted into a digital signal, performing various processes, a controller 2 for switching the light source 11, and a computer for data communication with the controller 2 The display means 4 which is a monitor connected to PC and computer PC is provided. This magnification observation apparatus uses a monochrome CCD camera to acquire monochrome camera images while sequentially switching the three types of light sources 11R, 11G, and 11B, and synchronously transfers them to the computer PC side. At this time, illumination color information at the time of imaging is added as color information identification as setting data to the image data of the camera image. As a result, the computer PC can grasp the illumination color of the received image data and can synthesize a color image based on the illumination color. In addition to the illumination color information, the setting information items of the setting data here can include camera settings, magnifications, and the like.

光の３原色に対応する光源は、３原色に発光するＬＥＤ等を用意する方法や、白色光源を用いてモノクロカメラの前部にＲ／Ｇ／Ｂのカラーフィルタを配置し、フィルタを順次切り替える構成でも実現できる。あるいは、モノクロカメラを３台用いて、それぞれのカメラの前にＲ／Ｇ／Ｂいずれかのカラーフィルタを配置して、転送するカメラデータを順次切り替える方式（いわゆる３ＣＣＤ方式）も利用できる。このように、Ｒ・Ｇ・Ｂの３種類の光源かフィルタ或いはカメラデータを、Ｒ→Ｇ→Ｂ→Ｒ→…等の順に切り替えて、各色毎の画像データを撮像する。この画像データを転送する際に、各画像データに光源・フィルタあるいはカメラデータであるＲ／Ｇ／Ｂといったカラー情報を付加することで、画像データを受信したコンピュータ側で、確実にカメラ画像を構築できる。   The light source corresponding to the three primary colors of light is a method of preparing an LED or the like that emits light of the three primary colors, or a white light source and an R / G / B color filter arranged at the front of the monochrome camera, and the filters are sequentially switched. It can also be realized with a configuration. Alternatively, a system (so-called 3CCD system) in which three monochrome cameras are used, one of R / G / B color filters is arranged in front of each camera, and camera data to be transferred is sequentially switched can be used. In this way, the three types of light sources, filters, or camera data of R, G, and B are switched in the order of R → G → B → R →. When transferring this image data, color information such as light source / filter or camera data R / G / B is added to each image data, so that the camera image can be reliably constructed on the computer side receiving the image data. it can.

仮にカラー情報がない場合は、Ｒ→Ｇ→Ｂ→Ｒ→…のように予め定められた順番で画像データが必ず転送されてくることを仮定してカラー合成する方法が考えられるが、フレーム落ちが発生すると、それ以降の色合成が間違ってしまう虞がある。これに対して、上述のようにカラー情報を画像データに付加することで、このようなミスをなくし、例えばフレーム落ちした画像データの再送をコンピュータ側から拡大観察装置側に要求したり、次のカラー合成のタイミングから同期を取り直すことができ、正しいカラー画像が確実に合成できる。
（実施の形態５） If there is no color information, a color composition method can be considered on the assumption that image data is always transferred in a predetermined order such as R → G → B → R →. If this occurs, there is a risk that the subsequent color synthesis will be wrong. On the other hand, by adding color information to the image data as described above, such a mistake is eliminated, for example, the computer side requests the enlargement observation apparatus side to retransmit the image data with a dropped frame, or the following Synchronization can be reestablished from the timing of color synthesis, and a correct color image can be reliably synthesized.
(Embodiment 5)

また、カラー情報に限られず、画像データ等の種別に関する情報を付加することで、より柔軟なデータ転送が実現できる。例えば、複数の検出器で異なる種類の画像を観察できる装置においては、どの検出器を用いて撮像した画像であるかをコンピュータ側に確実に通知できるため、表示や更新のタイミングを意識した面倒な制御を不要にできる。ここで本発明の実施の形態５として、図１２に示す共焦点顕微鏡システム５００でカメラ画像と共焦点画像を観察し、コンピュータＰＣに接続した表示手段４であるモニタ上でこれら切り替えて表示する例を説明する。   In addition to color information, more flexible data transfer can be realized by adding information about the type of image data or the like. For example, in an apparatus capable of observing different types of images with a plurality of detectors, it is possible to reliably notify the computer of which detector is used to capture the image, which is cumbersome considering the timing of display and update. Control can be made unnecessary. Here, as a fifth embodiment of the present invention, an example in which a camera image and a confocal image are observed with a confocal microscope system 500 shown in FIG. 12, and these are switched and displayed on a monitor which is display means 4 connected to a computer PC. Will be explained.

図１２に示す共焦点顕微鏡システム５００は、光源１１であるレーザ光源と、レーザを駆動するレーザ駆動回路１１Ａと、光電子増倍管（ＰＭＴ）である受光素子２１と、白色光源５１と、カラーＣＣＤカメラである第２受光素子５５と、レーザ光の光軸と一致させて配置され、試料ＷＫを拡大観察するための所定の倍率を有する対物レンズ１８と、対物レンズ１８を切り替えるレボルバ１８Ｂと、試料ＷＫと対物レンズ１８との相対距離を調整するＺ軸移動機構１８Ｃと、受光素子２１で得られた受光量データのアナログ信号をデジタル信号に変換する第１Ａ／Ｄ変換器４１と、第２受光素子５５のアナログ信号をデジタル信号に変換する第２Ａ／Ｄ変換器４２と、これらデジタル信号を受信して各種処理を行うと共に、レボルバ１８Ｂの切り替えやＺ軸移動機構１８Ｃの制御を行うコントローラ２と、コントローラ２とデータ通信を行うコンピュータＰＣと、コンピュータＰＣに接続されたモニタである表示手段４とを備える。この共焦点顕微鏡は、Ｚ軸移動機構１８Ｃで対物レンズ１８と試料ＷＫとの相対距離を変化させながら、カメラ画像、共焦点画像と共に、各画像の取得に関する設定情報を含む設定データを、同期転送でコンピュータＰＣに転送する。このように共焦点顕微鏡は、２つの検出器としてカラーＣＣＤカメラとＰＭＴを備えており、白色光源５１とカラーＣＣＤカメラ、及びレーザ光源とＰＭＴの２種類の組み合わせで、カメラ画像と共焦点画像を各々観察することができる。これら２つの検出器で取得した画像データを、共焦点顕微鏡側からコンピュータＰＣ側に転送して表示手段４で表示させる場合を考える。例えば画像の表示ウィンドウを２つ設けて、転送されるカラーのカメラ画像と共焦点画像とを切り替えながら同時に表示したい場合は、同期転送される画像データの受信タイミングに応じて一定の間隔で切り替える必要がある。特に、各フレームおきに画像を切り替えるて表示したい場合、フレーム落ちが発生したときにいつどの画像で発生したか分からずないため対策ができない。   A confocal microscope system 500 shown in FIG. 12 includes a laser light source that is a light source 11, a laser driving circuit 11A that drives a laser, a light receiving element 21 that is a photomultiplier tube (PMT), a white light source 51, and a color CCD. A second light receiving element 55 that is a camera, an objective lens 18 that is arranged in alignment with the optical axis of the laser light, and has a predetermined magnification for magnifying and observing the sample WK, a revolver 18B that switches the objective lens 18, and a sample A Z-axis moving mechanism 18C that adjusts the relative distance between the WK and the objective lens 18, a first A / D converter 41 that converts an analog signal of received light amount data obtained by the light receiving element 21 into a digital signal, and a second light receiving The second A / D converter 42 that converts the analog signal of the element 55 into a digital signal, receives these digital signals, performs various processes, and performs the processing of the revolver 18B. It includes a controller 2 for controlling the Toggles or Z-axis movement mechanism 18C, and the computer PC to carry out the controller 2 and data communication, and display means 4 is a monitor connected to the computer PC. This confocal microscope synchronously transfers setting data including setting information related to acquisition of each image together with the camera image and confocal image while changing the relative distance between the objective lens 18 and the sample WK by the Z-axis moving mechanism 18C. To transfer to the computer PC. As described above, the confocal microscope includes the color CCD camera and the PMT as the two detectors, and the camera image and the confocal image are obtained by combining the white light source 51 and the color CCD camera, and the laser light source and the PMT. Each can be observed. Consider a case in which image data acquired by these two detectors is transferred from the confocal microscope side to the computer PC side and displayed on the display means 4. For example, if you want to display two image display windows and switch between the color camera image to be transferred and the confocal image at the same time, it is necessary to switch at regular intervals according to the reception timing of the image data to be transferred synchronously. There is. In particular, when it is desired to switch and display images at every frame, it is not possible to take measures because it is not known when and in which image the frame is dropped.

これに対して、図１０に示したようにカメラ画像か共焦点画像かを識別できる識別情報を設定データＳＤとして画像データＧＤに付加し、同期転送に載せることで、コンピュータＰＣ側では受信した画像データＧＤの種別を判別できる。例えば画像の表示ウィンドウを２つ設ければ、ユーザは２つの検出器の画像を同時に観察することができる。また、転送する画像データの切り替えは必ずしも一定間隔である必要はなく、任意のタイミングとすることができる。   On the other hand, as shown in FIG. 10, identification information that can identify whether the image is a camera image or a confocal image is added to the image data GD as setting data SD, and is put on the synchronous transfer. The type of data GD can be determined. For example, if two image display windows are provided, the user can observe images of two detectors simultaneously. Further, the switching of the image data to be transferred does not necessarily have to be at regular intervals, and can be set at an arbitrary timing.

もちろん、２種類の画像データに限られず、３種類以上の画像データを送信することも可能であり、これら複数種類の画像データをすべて受信側のコンピュータで確実に判別できる。例えば顕微鏡に試料を観察するための検出器を２つ以上備え、各検出器で取得された画像データを表示手段の一画面で並べて同時に表示させたり、交互に切り替えて表示することもできる。   Of course, the image data is not limited to two types of image data, and three or more types of image data can be transmitted, and all of the plurality of types of image data can be reliably determined by the receiving computer. For example, the microscope may be provided with two or more detectors for observing the sample, and the image data acquired by each detector may be displayed side by side on one screen of the display means or may be displayed alternately.

また、転送された画像データを敢えて表示させないこともできる。特にユーザに表示する必要のない画像データについて、画像データをコンピュータ内部で演算処理やデータ保存にのみ使用することも可能である。例えば、測定後の補正データなど、敢えてユーザに表示したくないが、コントローラからコンピュータに送信したいデータがある場合、設定データにそのようなデータ識別情報を入れておけば、たとえ順次転送される画像データの間に、非表示とすべき補正データが紛れていても、このような補正データを適切に抽出して非表示としつつ、データを保存できる。補正データを受信したときはコンピュータの表示手段に表示せず、その瞬間のみ画面の更新を止める。このため、顕微鏡のコントローラ側は、任意のタイミングで補正データを送信できる利点が得られる。   It is also possible to prevent the transferred image data from being displayed. In particular, for image data that does not need to be displayed to the user, the image data can be used only for arithmetic processing and data storage inside the computer. For example, if there is data that you do not want to display to the user, such as correction data after measurement, but you want to send from the controller to the computer, if you include such data identification information in the setting data, images that are transferred sequentially Even if correction data to be hidden is confused between data, the data can be stored while appropriately extracting such correction data and hiding it. When correction data is received, it is not displayed on the display means of the computer, and updating of the screen is stopped only at that moment. For this reason, the advantage is obtained that the controller side of the microscope can transmit the correction data at an arbitrary timing.

このようなことを、従来の同期転送と非同期転送を混在させた方法で実現しようとすれば、画像データの同期転送及び表示手段の画面更新を一旦停止し、補正データを同期転送して、画面更新せず、その後再び画像データの同期転送と表示手段の画像更新を開始する、という面倒な手順を採らねばならなかった。また、コントローラとコンピュータとを協調してデータ転送する必要があった。これに対して本実施の形態によれば、上述の通りコントローラ側はコンピュータとの同期を考慮することなく、任意のタイミングで一方的に画像データと補正データを送出すれば足りる。さらに受信側では、非同期転送される別個のデータを待つことなく、転送された画像データや補正データに含まれるデータ識別情報に従って、画面更新やデータ保存の必要性を判断できる。   If this is to be realized by a method that combines conventional synchronous transfer and asynchronous transfer, the image data synchronous transfer and the screen update of the display means are temporarily stopped, the correction data is synchronously transferred, and the screen is transferred. The troublesome procedure of starting the synchronous transfer of image data and the updating of the image on the display means again must be taken without updating. In addition, it is necessary to transfer data in cooperation between the controller and the computer. On the other hand, according to the present embodiment, as described above, it is sufficient for the controller side to send the image data and the correction data unilaterally at an arbitrary timing without considering synchronization with the computer. Further, the reception side can determine the necessity of screen update or data storage according to the data identification information included in the transferred image data or correction data without waiting for separate data to be asynchronously transferred.

なお、この例において設定データに含める設定情報項目としては、データ識別情報や対物レンズとワークとの相対距離、受光素子の識別情報（例えばＣＣＤカメラ又はＰＭＴの別）、画像データの転送画像枚数、撮像時の対物レンズ倍率、ズーム倍率、カメラ設定やスキャン設定等の観察条件、転送データの種類等が挙げられる。
（実施の形態６） In this example, setting information items included in the setting data include data identification information, a relative distance between the objective lens and the workpiece, identification information of the light receiving element (for example, separately from the CCD camera or the PMT), the number of transferred images of image data, Examples include objective lens magnification, zoom magnification, observation conditions such as camera settings and scan settings, types of transfer data, and the like.
(Embodiment 6)

さらに、画像データをデータ識別情報と共に確実にコンピュータ側に転送できるため、従来顕微鏡或いはコントローラ側で行っていた演算を、コンピュータ側で行わせることが容易となる。特に、近年のコンピュータの演算処理能力の向上により、従来は専用のハードウェアを設けてコントローラ側で行っていたリアルタイム画像演算処理等を、コンピュータ側で行うことも可能となっている。このようなコンピュータの高性能化を生かし、専用ハードウェアによる演算を不要として、装置の簡素化やハードウェア資源の有効利用にも適した、効率のよい演算システム構築が可能となる。さらに、測定中の画像を全て保存したり、高次の乗算や放物線近似など光量ピーク推定演算、時間空間上のメディアンフィルタ、サイズの大きい画像フィルタ処理、色空間毎のフィルタ処理等のカラー合成処理といった複雑な演算処理など、ハードウェアでデータ処理をする従来の方法では実現が非常に困難であった処理も、コンピュータを用いることで可能となる。   Further, since the image data can be reliably transferred to the computer side together with the data identification information, it becomes easy to perform the calculation which has been conventionally performed on the microscope or the controller side on the computer side. In particular, with the recent improvement in computer processing capability, it has become possible to perform real-time image arithmetic processing and the like that has been conventionally performed on the controller side by providing dedicated hardware on the computer side. By taking advantage of such high performance of the computer, it is possible to construct an efficient computing system suitable for simplification of the apparatus and effective use of hardware resources, without requiring computation by dedicated hardware. In addition, all the images being measured can be saved, light intensity peak estimation calculations such as high-order multiplication and parabolic approximation, time-space median filter, large image filter processing, color composition processing such as filter processing for each color space, etc. Processing that is very difficult to realize by the conventional method of processing data by hardware, such as complicated arithmetic processing, can be performed by using a computer.

以下、本発明の実施の形態６として、共焦点顕微鏡のコントローラとコンピュータに接続した共焦点顕微鏡システムにおいて、共焦点顕微鏡で測定された共焦点画像とカメラ画像を合成し、カラー超深度画像を演算する手順を、従来の方法と本実施の形態に係る方法のそれぞれで行う場合を対比しながら、図１３及び図１４のフローチャートに基づいて説明する。ここでは、コンピュータの共焦点顕微鏡操作プログラムで共焦点顕微鏡を操作し、共焦点顕微鏡で撮影した共焦点画像とカメラ画像を、コントローラ側で合成してカラー超深度画像を生成し、コンピュータ側に転送する例を、共焦点顕微鏡及びそのコントローラ側、及びコンピュータ側の動作それぞれについて説明する。共焦点顕微鏡は対物レンズの焦点とワークとの光軸方向の相対距離を変化させたときに、受光量が最大になる相対距離を求めることにより、ワークの表面高さの分布データを得ることができる。この処理においては、画像データ（光量データ）のみならず、相対距離（高さデータ）も同時に扱う必要があるため、従来、測定時にはコントローラ内でデータを処理し、測定終了後に測定結果をコンピュータに転送する方式とする必要があった。これに対し、本実施の形態では、測定時に画像データとそのときの相対距離をセットにしてコンピュータ側に確実にデータ転送できるため、コンピュータ側でワークの表面高さの分布データを作成することができる。   Hereinafter, as Embodiment 6 of the present invention, in a confocal microscope system connected to a confocal microscope controller and a computer, a confocal image measured by the confocal microscope and a camera image are synthesized, and a color ultra-deep image is calculated. The procedure to be performed will be described based on the flowcharts of FIGS. 13 and 14 while comparing the case where the conventional method and the method according to the present embodiment are performed. Here, the confocal microscope is operated with the computer's confocal microscope operation program, and the confocal image and camera image taken with the confocal microscope are combined on the controller side to generate a color ultra-deep image and transferred to the computer side An example of this will be described for each operation on the confocal microscope and its controller side and computer side. The confocal microscope can obtain the distribution data of the surface height of the workpiece by obtaining the relative distance that maximizes the amount of light received when the relative distance in the optical axis direction between the focal point of the objective lens and the workpiece is changed. it can. In this process, it is necessary to handle not only image data (light quantity data) but also relative distance (height data) at the same time. Conventionally, data is processed in the controller at the time of measurement, and the measurement result is sent to a computer after the measurement is completed. It was necessary to adopt a transfer method. On the other hand, in the present embodiment, since the image data and the relative distance at that time can be reliably transferred to the computer side at the time of measurement, the distribution data of the surface height of the workpiece can be created on the computer side. it can.

先ず、対比のため従来の測定手順を図１３に示す。共焦点顕微鏡及びコントローラ側では、ステップＳ１０１で、共焦点顕微鏡及びコントローラを起動する。そしてステップＳ１０２で、測定された共焦点画像やカメラ画像をコントローラからコンピュータ側に同期転送する。一方、コンピュータ側では、ステップＳ２０１でコンピュータを起動し、ステップＳ２０２で共焦点顕微鏡操作プログラムを起動する。そしてステップＳ２０３で、コントローラから同期転送された共焦点画像やカメラ画像に基づき、超深度画像を合成するための各種条件の設定を行う。例えばピントやゲインの調整、高さ範囲の設定などを共焦点顕微鏡操作プログラム上で行い、設定内容をコントローラ側に非同期転送する。一方、コントローラ側では、設定内容を受信し、設定を更新する。このようにして設定作業が完了すると、ステップＳ２０４で共焦点顕微鏡操作プログラムから測定開始の命令をコントローラに非同期転送する。これを受けてコントローラ側では、共焦点顕微鏡で共焦点画像の測定を開始する。具体的にはステップＳ１０３で、試料と対物レンズとの相対距離を変化させながら、共焦点画像及びカメラ画像を記録し、これと関連付けて距離情報、すなわち高さ情報を記録し、測定データを更新する。そしてステップＳ１０４で測定が終了すると、共焦点画像から合焦位置の画素を合成した合焦点画像、及び共焦点画像の輝度情報とカメラ画像の色情報を組み合わせたカラー超深度画像を生成し、ステップＳ１０５で合焦点画像を、ステップＳ１０６でカラー超深度画像を、コントローラからコンピュータにそれぞれ同期転送する。併せてステップＳ１０７で、高さ分布データをコンピュータに非同期転送する。一方コンピュータは、これらのデータを受けて、ステップＳ２０５で測定結果を受信し、必要に応じて保存する。そしてステップＳ２０６で、測定結果を表示手段上に表示する。   First, a conventional measurement procedure is shown in FIG. 13 for comparison. On the confocal microscope and controller side, the confocal microscope and controller are activated in step S101. In step S102, the measured confocal image or camera image is synchronously transferred from the controller to the computer. On the other hand, on the computer side, the computer is activated in step S201, and the confocal microscope operation program is activated in step S202. In step S203, various conditions for synthesizing the ultra-deep image are set based on the confocal image and camera image synchronously transferred from the controller. For example, focus and gain adjustment, height range setting, etc. are performed on the confocal microscope operation program, and the setting contents are transferred asynchronously to the controller side. On the other hand, on the controller side, the setting content is received and the setting is updated. When the setting operation is completed in this way, a measurement start command is asynchronously transferred from the confocal microscope operation program to the controller in step S204. In response to this, the controller side starts measuring the confocal image with the confocal microscope. Specifically, in step S103, the confocal image and the camera image are recorded while changing the relative distance between the sample and the objective lens, and the distance information, that is, the height information is recorded in association with this, and the measurement data is updated. To do. When the measurement is completed in step S104, a focused image obtained by synthesizing the pixel at the in-focus position from the confocal image, and a color ultra-deep image that combines the luminance information of the confocal image and the color information of the camera image are generated. In step S105, the focused image and the color ultra-deep image in step S106 are synchronously transferred from the controller to the computer. At the same time, in step S107, the height distribution data is asynchronously transferred to the computer. On the other hand, the computer receives these data, receives the measurement result in step S205, and stores it as necessary. In step S206, the measurement result is displayed on the display means.

以上のように、従来の方法では画像データと高さデータを一致させる必要があることから、コントローラ側で合焦点画像やカラー超深度画像の生成を行っていた。このため、処理できる演算内容に制限があり、また保存できるデータの量も限られていた。また、画像データと設定データの送信が同期転送、非同期転送で個別に行われていたため、これらの関連付けができず、データ転送ミスが生じても対応できなかった。   As described above, in the conventional method, since it is necessary to match the image data with the height data, the controller side generates a focused image and a color ultra-deep image. For this reason, there is a limit to the contents of calculations that can be processed, and the amount of data that can be stored has also been limited. Further, since the image data and the setting data are transmitted separately by synchronous transfer and asynchronous transfer, they cannot be associated with each other, and cannot be handled even if a data transfer error occurs.

これに対し実施の形態６に係る方法では、転送データである主データに設定データを付加し、コンピュータ側での演算処理を行わせることで、このような問題を解決し、複雑な演算や全データの保存を可能とし、またデータ転送ミスを検知して適切な対処も可能となる。以下、この手順を図１４のフローチャートに基づいて説明する。まず、上記と同様にステップＳ３０１で、共焦点顕微鏡及びコントローラを起動する。そしてステップＳ３０２で、測定された共焦点画像やカメラ画像をコントローラからコンピュータ側に同期転送する。   On the other hand, in the method according to the sixth embodiment, setting data is added to the main data that is transfer data, and calculation processing is performed on the computer side, thereby solving such a problem, and performing complicated calculations and total data. Data can be stored, and data transfer errors can be detected and appropriate measures can be taken. Hereinafter, this procedure will be described based on the flowchart of FIG. First, in the same manner as described above, in step S301, the confocal microscope and the controller are activated. In step S302, the measured confocal image or camera image is synchronously transferred from the controller to the computer.

一方、コンピュータ側では、同様にステップＳ４０１でコンピュータを起動し、ステップＳ４０２で共焦点顕微鏡操作プログラムを起動する。そしてステップＳ４０３で、コントローラから同期転送された共焦点画像やカメラ画像に基づき、超深度画像を合成するための各種条件の設定を行い、非同期転送でコンピュータ側に転送する。ここまでの手順は図１３と同様である。このようにして設定作業が完了すると、ステップＳ４０４で共焦点顕微鏡操作プログラムから測定開始の命令をコントローラに非同期転送する。これを受けてコントローラ側では、ステップＳ３０３で試料と対物レンズとの相対距離を変化させながら、共焦点画像を撮像し、各々主データに格納すると共に、撮像時の高さ情報、及び画像種別として共焦点画像である旨の設定情報を設定データに格納した転送データを、同期転送でコンピュータに送信する。コントローラは、設定された高さ範囲分の共焦点画像を逐次送信する。設定範囲分の共焦点画像の送信が終わると、続いてカメラ画像も対物レンズを移動させながら、高さ情報およびカメラ画像である画像種別情報と共に、同期通信でコンピュータに転送する。   On the other hand, on the computer side, similarly, the computer is started in step S401, and the confocal microscope operation program is started in step S402. In step S403, various conditions for synthesizing the ultra-deep image are set based on the confocal image and camera image synchronously transferred from the controller, and transferred to the computer side by asynchronous transfer. The procedure so far is the same as FIG. When the setting work is completed in this way, a measurement start command is asynchronously transferred from the confocal microscope operation program to the controller in step S404. In response to this, the controller side captures confocal images while changing the relative distance between the sample and the objective lens in step S303 and stores them in the main data as well as height information and image types at the time of imaging. Transfer data in which setting information indicating a confocal image is stored in the setting data is transmitted to the computer by synchronous transfer. The controller sequentially transmits confocal images for the set height range. When transmission of the confocal image for the set range is completed, the camera image is transferred to the computer by synchronous communication together with the height information and the image type information that is the camera image while moving the objective lens.

一方コンピュータ側では、ステップＳ４０５で転送データから画像データと設定データを元に、測定データを更新する。具体的には、転送される画像データから共焦点画像の各画素の輝度を逐次比較しながら、最高輝度値となる輝度情報と高さ情報を記憶する。これにより、白黒の超深度画像と高さ画像が作成される。さらにコンピュータは、各画素毎に共焦点画像が最高輝度値となった高さに対応する位置でカメラ画像データを抽出し、白黒超深度画像と抽出したカメラ画像に基づき、カラー超深度画像も測定後すぐに作成、表示することができる。   On the other hand, on the computer side, the measurement data is updated based on the image data and the setting data from the transfer data in step S405. Specifically, the luminance information and the height information for the maximum luminance value are stored while sequentially comparing the luminance of each pixel of the confocal image from the transferred image data. Thereby, a black and white ultra-deep image and a height image are created. In addition, the computer extracts camera image data at a position corresponding to the height at which the confocal image has the highest luminance value for each pixel, and measures a color ultra-deep image based on the black-and-white ultra-deep image and the extracted camera image. It can be created and displayed immediately.

これらの処理を、従来のコントローラ側での専用ハードウェアで行う代わりに、コンピュータ側で行わせることにより、必要に応じて更なる演算処理も可能であり、またデータ保存もより柔軟に行え、複雑かつ高度な処理が可能となる。また、コントローラ側のハードウェアを簡素化でき、システム構築のコスト低減にも資する。測定結果は、ステップＳ４０６で表示手段上に表示される。またコントローラ側でも、ステップＳ３０４で測定が終了すると、その旨をコンピュータ側に非同期転送で通知し、コンピュータ側で測定の終了を把握できる。   By performing these processes on the computer side instead of using the dedicated hardware on the conventional controller side, it is possible to perform further arithmetic processing as needed, and the data can be stored more flexibly and complicated. In addition, advanced processing is possible. In addition, the hardware on the controller side can be simplified, contributing to a reduction in system construction costs. The measurement result is displayed on the display means in step S406. On the controller side, when the measurement is completed in step S304, the fact is notified to the computer side by asynchronous transfer, and the computer side can grasp the end of the measurement.

このように、同期転送される転送データの形式を、画像データのみならず、その設定情報や画像種別などの設定データを付加したものとすることで、コンピュータ側で確実に設定情報を受信でき、画像データの正確な把握が可能となる。さらに設定データとして、画像データの高さ情報や、共焦点画像かカメラ画像かの識別等、画像データの詳細をコンピュータ側で把握でき、より高度な処理が可能となる。   In this way, by setting the format of the transfer data to be synchronously transferred, not only the image data but also the setting information such as the setting information and the image type, the setting information can be reliably received on the computer side, Image data can be accurately grasped. Furthermore, as the setting data, details of the image data such as height information of the image data and identification of the confocal image or the camera image can be grasped on the computer side, and more advanced processing is possible.

なお、同期転送されるすべての主データに設定データを付加する他、必要な場合にのみ設定データを付加するよう構成してもよい。例えば図１４のステップＳ３０２においては、カメラ画像等に設定データを付加せず、従来と同様の手順でコンピュータ側に送信してもよい。ステップＳ３０３のように、リアルタイム処理が求められる際には主データに設定データを付加することが重要であり、そうでない場面では従来通り、同期転送と非同期転送を混在させることもできることはいうまでもない。
（実施の形態７） In addition to the setting data being added to all the main data to be transferred synchronously, the setting data may be added only when necessary. For example, in step S302 in FIG. 14, the setting data may not be added to the camera image or the like, and may be transmitted to the computer side in the same procedure as before. As in step S303, it is important to add setting data to the main data when real-time processing is required. In other cases, it is possible to mix synchronous transfer and asynchronous transfer as usual. Absent.
(Embodiment 7)

次に実施の形態７として、図１５のブロック図に基づき、ユーザが拡大画像観察システム７００において手動で対物レンズ１８と試料ＷＫとの相対距離を変化させ、カメラ画像の合焦点画像およびその高さデータも含めた３Ｄ画像を作成する場合を説明する。   Next, as Embodiment 7, based on the block diagram of FIG. 15, the user manually changes the relative distance between the objective lens 18 and the sample WK in the magnified image observation system 700, and the in-focus image of the camera image and its height are changed. A case where a 3D image including data is created will be described.

この図に示す拡大観察装置は、白色光源５１と、カラーＣＣＤカメラである第２受光素子５５と、対物レンズ１８と、試料ＷＫと対物レンズ１８との相対距離を調整するＺ軸移動機構１８Ｃと、対物レンズ１８と試料ＷＫとの相対距離を検出する距離検出手段１８Ｄと、第２受光素子５５で得られた受光量データのアナログ信号をデジタル信号に変換する第２Ａ／Ｄ変換器４２と、デジタル信号を受信して各種処理を行うと共に、Ｚ軸移動機構１８Ｃの制御を行うコントローラ２と、コントローラ２とデータ通信を行うコンピュータと、コンピュータに接続されたモニタである表示手段４とを備える。ここでは、距離検出手段１８Ｄとして、対物レンズ１８又は試料ステージを手動で移動させるためのＺ方向移動摘み３４の回転軸に取り付けられ、回転角度、回転速度、回転量等を検出するロータリーエンコーダが、移動距離や回転速度に応じたエンコーダパルスを出力することで、相対距離を検出している。   The magnification observation apparatus shown in this figure includes a white light source 51, a second light receiving element 55 that is a color CCD camera, an objective lens 18, and a Z-axis moving mechanism 18C that adjusts the relative distance between the sample WK and the objective lens 18. A distance detecting means 18D for detecting a relative distance between the objective lens 18 and the sample WK, a second A / D converter 42 for converting an analog signal of received light amount data obtained by the second light receiving element 55 into a digital signal, A digital signal is received and various processes are performed, and the controller 2 that controls the Z-axis moving mechanism 18C, a computer that performs data communication with the controller 2, and a display unit 4 that is a monitor connected to the computer are provided. Here, as the distance detection means 18D, a rotary encoder that is attached to the rotary shaft of the Z-direction moving knob 34 for manually moving the objective lens 18 or the sample stage and detects a rotation angle, a rotation speed, a rotation amount, etc. The relative distance is detected by outputting an encoder pulse corresponding to the moving distance and the rotational speed.

ここで、対物レンズとワークとの相対距離を変化させる速度が一定でない場合、従来の３Ｄ構築方式では高さを正確に求めることができなかった。なぜなら、対物レンズと試料ステージの相対距離をユーザが任意のタイミングで手動で変化させるため、画像データを同期転送、相対距離を画像データと検出した従来の方式では画像データと相対距離を正確に結びつけることは不可能であったためである。そのため、対物レンズもしくは試料ステージの移動速度を一定と仮定して、取得された画像の高さを推定することが一般的であったが、この方式では当然のことながら正確な３Ｄ構築はできない。これに対し、実施の形態７では距離検出手段１８Ｄで検出された相対距離の情報を設定データとして、カメラ画像に付加してコンピュータ側に転送する。転送される画像データの撮像時の相対距離が認識できれば、対物レンズの移動速度が一定でなくとも、高さ方向の補間計算が正確に行なえるので、正しい３Ｄ画像が構築できる。なお仮に正確な相対距離が判らず、移動速度が判るだけであっても、高さ分布の比率は正確であるため、問題なく高さを把握できる。   Here, when the speed at which the relative distance between the objective lens and the workpiece is changed is not constant, the conventional 3D construction method cannot accurately determine the height. This is because the relative distance between the objective lens and the sample stage is manually changed by the user at an arbitrary timing, so that the image data is synchronously transferred, and the conventional method in which the relative distance is detected as the image data accurately links the image data and the relative distance. Because it was impossible. For this reason, it is common to estimate the height of an acquired image on the assumption that the moving speed of the objective lens or the sample stage is constant, but this method cannot naturally perform accurate 3D construction. On the other hand, in the seventh embodiment, information on the relative distance detected by the distance detector 18D is added as setting data to the camera image and transferred to the computer side. If the relative distance at the time of imaging of the transferred image data can be recognized, even if the moving speed of the objective lens is not constant, interpolation calculation in the height direction can be performed accurately, so that a correct 3D image can be constructed. Even if the exact relative distance is not known and only the moving speed is known, the height distribution ratio is accurate, so that the height can be grasped without any problem.

このように、実施の形態７によれば３Ｄ画像の構築においても、より簡便に正確な高さ情報を取得でき、対物レンズの移動速度に依らず、高精度な３Ｄ画像を構築できる利点が得られる。またここで設定データとして利用可能な設定情報項目としては、相対距離以外に、ＣＣＤカメラ等の撮像素子の設定や、対物レンズの倍率などを付加でき、これらの情報により、倍率や他の詳細な撮像条件を付加して、より高度な演算をコンピュータ側で実行できる。
（実施の形態８） As described above, according to the seventh embodiment, even when a 3D image is constructed, accurate height information can be obtained more easily, and there is an advantage that a highly accurate 3D image can be constructed regardless of the moving speed of the objective lens. It is done. In addition to the relative distance, setting information items that can be used as setting data can include settings of an image sensor such as a CCD camera, magnification of an objective lens, and the like. By adding imaging conditions, more advanced calculations can be executed on the computer side.
(Embodiment 8)

また、測定をコントローラ側でなくコンピュータ側で行う場合、画像データを転送する必要があるため、データ転送速度に起因したフレーム落ちが発生する虞があり、従来から問題となっていた。これに対して、実施の形態８によれば、画像データの測定開始から各画像に通し番号を付し、同期転送で画像データを受信したコンピュータ側で番号が連続的に並んでいるかどうかを判定することで、フレーム落ちを正確に検出できる。例えば、フレーム落ちした枚数やフレーム落ちしたタイミングまで、正確に検出できる。これにより、フレーム落ちの発生及び欠落した画像データ、タイミング等を把握できるので、フレーム落ちした画像データを高さ情報と共に再測定したり、フレーム落ちしたときの高さデータのみを再取得したり、あるいはフレーム落ちしたデータを排除するなどの、測定の用途や目的に応じた適切な対策を講じることが可能となる。   Further, when the measurement is performed on the computer side instead of the controller side, it is necessary to transfer the image data. Therefore, there is a possibility that frame dropping may occur due to the data transfer speed, which has been a problem in the past. On the other hand, according to the eighth embodiment, a serial number is assigned to each image from the start of image data measurement, and it is determined whether the numbers are continuously arranged on the computer side that has received the image data by synchronous transfer. This makes it possible to accurately detect dropped frames. For example, it is possible to accurately detect the number of dropped frames and the timing of dropped frames. As a result, it is possible to grasp the occurrence of missing frames and missing image data, timing, etc., so re-measure image data with dropped frames along with height information, or re-acquire only height data when dropped frames, Alternatively, it is possible to take appropriate measures according to the purpose and purpose of measurement, such as eliminating data with dropped frames.

このように本発明では、共焦点顕微鏡で超深度画像を合成する他、他の顕微鏡やその演算処理に適用できる。例えば反射型の共焦点顕微鏡以外に、透過型の共焦点顕微鏡にも適用できる。透過型の顕微鏡の場合は、試料の裏面から共焦点光学系１０のレーザ光及び非共焦点光学系５０の白色光が照射される。共焦点光学系１０の光源はレーザ光源を含む単色光源はもちろんのこと、複数波長を含むものであってもよい。非共焦点光学系５０の光源は自然光又は室内光で代用することもできる。   As described above, the present invention can be applied to other microscopes and arithmetic processing in addition to synthesizing an ultra-deep image with a confocal microscope. For example, the present invention can be applied to a transmission type confocal microscope in addition to a reflection type confocal microscope. In the case of a transmission type microscope, laser light from the confocal optical system 10 and white light from the non-confocal optical system 50 are irradiated from the back surface of the sample. The light source of the confocal optical system 10 may include not only a monochromatic light source including a laser light source but also a plurality of wavelengths. The light source of the non-confocal optical system 50 can be replaced with natural light or room light.

さらに、本発明は共焦点顕微鏡画像に限られず、通常の光学顕微鏡やデジタルマイクロスコープ、あるいはレーザ走査顕微鏡や測長ＳＥＭ等の荷電粒子線装置等、さらには走査型トンネル顕微鏡（ＳＴＭ）や原子間力顕微鏡（ＡＦＭ）などで得られた電子顕微鏡画像に対しても利用できる。例えば、デジタルマイクロスコープのような拡大光学系を用いて、焦点距離の異なる複数枚の画像から、画像処理により被写体の全てに焦点の合った合焦点画像を取得する処理等にも本発明を適用できる。   Furthermore, the present invention is not limited to confocal microscope images, and is a normal optical microscope, a digital microscope, a charged particle beam device such as a laser scanning microscope or a length measuring SEM, a scanning tunneling microscope (STM) or an interatomic device. It can also be used for electron microscope images obtained with a force microscope (AFM). For example, the present invention is also applied to a process of acquiring a focused image focused on all of a subject by image processing from a plurality of images having different focal lengths using a magnifying optical system such as a digital microscope. it can.

電子線を用いた透過電子顕微鏡や走査電子顕微鏡は、荷電粒子線で観察対象の試料を照射して得られる信号を検出して観察像を得る荷電粒子線装置である。例えば電子顕微鏡は、電子の進行方向を自由に屈折させ、光学顕微鏡のような結像システムを電子光学的に設計したものである。電子顕微鏡には、試料や標本を透過した電子を電子レンズを用いて結像する透過型の他、試料表面で反射した電子を結像する反射型、収束電子線を試料表面上に走査して各走査点からの二次電子を用いて結像する走査型電子顕微鏡、加熱あるいはイオン照射によって試料から放出される電子を結像する表面放出型（電界イオン顕微鏡）等がある。   A transmission electron microscope or a scanning electron microscope using an electron beam is a charged particle beam apparatus that obtains an observation image by detecting a signal obtained by irradiating a sample to be observed with a charged particle beam. For example, an electron microscope freely refracts the traveling direction of electrons, and an imaging system such as an optical microscope is designed electro-optically. Electron microscopes include a transmission type that forms an image of electrons that have passed through a sample or specimen using an electron lens, a reflection type that forms an image of electrons reflected on the sample surface, and scans the sample surface with a focused electron beam. There are a scanning electron microscope that forms an image using secondary electrons from each scanning point, and a surface emission type (field ion microscope) that forms an image of electrons emitted from a sample by heating or ion irradiation.

電子顕微鏡（ＥＭ）の例として、走査型電子顕微鏡（Scanning Electron Microscope：ＳＥＭ）は、観察対象となる試料に細い電子線（電子プローブ）を照射した際に発生する二次電子や反射電子を、二次電子検出器、反射電子検出器等それぞれの検出器を用いて取り出し、ブラウン管やＬＣＤ等の表示画面上に表示して、主として試料の表面形態を観察する装置である。一方、透過型電子顕微鏡（Transmission Electron Microscope：ＴＥＭ）は、薄膜試料に電子線を透過させ、その際に試料中で原子により散乱、回折された電子を電子回折パターンまたは透過電顕像として得ることによって主に物質の内部構造を観察できる。   As an example of an electron microscope (EM), a scanning electron microscope (SEM) scans secondary electrons and reflected electrons generated when a sample to be observed is irradiated with a thin electron beam (electron probe). This is an apparatus for taking out mainly using a detector such as a secondary electron detector or a backscattered electron detector and displaying it on a display screen such as a cathode ray tube or an LCD to mainly observe the surface form of the sample. On the other hand, a transmission electron microscope (TEM) transmits an electron beam through a thin film sample, and at that time, electrons scattered and diffracted by atoms in the sample are obtained as an electron diffraction pattern or a transmission electron microscope image. Can mainly observe the internal structure of the substance.

電子線が固体試料に照射されたとき、電子のエネルギーによって固体中を透過するが、その際に試料を構成する原子核や電子との相互作用によって弾性的な衝突、弾性散乱やエネルギー損失を伴う非弾性散乱を生じる。非弾性散乱によって試料元素の殻内電子を励起したり、Ｘ線等を励起したり、また二次電子を放出し、それに相当するエネルギーを損失する。二次電子は衝突する角度によって放出される量が異なる。一方、弾性散乱によって後方に散乱し、試料から再び放出される反射電子は、原子番号に固有の量が放出される。ＳＥＭはこの二次電子や反射電子を利用する。ＳＥＭは電子を試料に照射し、放出される二次電子や反射電子を検出して観察像を結像している。   When an electron beam is irradiated onto a solid sample, it is transmitted through the solid by the energy of the electrons. At that time, due to the interaction with the nuclei and electrons that make up the sample, elastic collision, elastic scattering, and energy loss occur. Causes elastic scattering. By inelastic scattering, electrons in the shell of the sample element are excited, X-rays are excited, secondary electrons are emitted, and the corresponding energy is lost. The amount of secondary electrons emitted varies depending on the angle of collision. On the other hand, the reflected electrons scattered back by elastic scattering and emitted again from the sample are emitted in an amount specific to the atomic number. The SEM uses these secondary electrons and reflected electrons. The SEM irradiates a sample with electrons and detects emitted secondary electrons and reflected electrons to form an observation image.

また、走査型トンネル顕微鏡（ＳＴＭ）や原子間力顕微鏡（ＡＦＭ）といった走査型プローブ顕微鏡（ＳＰＭ）等の微細表面形状計測装置は、探触針が試料表面に接近または接触して支持され、トンネル電流、原子間力等が一定に保たれて走査される探触針または試料の検査すべき表面に垂直な変位量から、試料表面の微細形状を観察する。このとき、試料に対する探触針の位置を知るための観察光学系を備えるものがあり、一例として探触針と観察光学系の対物レンズを切り換えて使用するタイプがある。この装置では、探触針の位置を示す指標（レクチル）を観察光学系の視野内に設けることにより、探触針の観察位置の光学的な観察を可能にしている。   In addition, a fine surface shape measuring device such as a scanning probe microscope (SPM) such as a scanning tunnel microscope (STM) or an atomic force microscope (AFM) is supported by a probe approaching or contacting a sample surface. The fine shape of the sample surface is observed from the displacement of the probe to be scanned while keeping the current, atomic force, etc. constant or the surface of the sample to be inspected. At this time, some have an observation optical system for knowing the position of the probe with respect to the sample. As an example, there is a type in which the probe and the objective lens of the observation optical system are switched and used. In this apparatus, an index (reticle) indicating the position of the probe is provided in the field of view of the observation optical system, thereby enabling optical observation of the observation position of the probe.

このような電子顕微鏡や原子間力顕微鏡等の試料表示装置で得られる電子顕微鏡画像や原子間力顕微鏡画像等の画像データに対しても、本発明のデータ転送を適用できる。   The data transfer of the present invention can also be applied to image data such as an electron microscope image and an atomic force microscope image obtained by a sample display device such as an electron microscope or an atomic force microscope.

本発明の拡大画像観察システム、共焦点顕微鏡、画像データ転送方法、３次元合焦点画像生成方法、データ転送プログラム、３次元合焦点画像生成プログラムおよびコンピュータで読み取り可能な記録媒体並びに記録した機器は、生物細胞の部分的な検査またはイメージング等に好適に利用できる。   An enlarged image observation system, a confocal microscope, an image data transfer method, a three-dimensional focused image generation method, a data transfer program, a three-dimensional focused image generation program, a computer-readable recording medium, and a recorded device according to the present invention include: It can be suitably used for partial inspection or imaging of biological cells.

本発明の実施の形態１に係る共焦点顕微鏡システムの概略構成を示すブロック図である。It is a block diagram which shows schematic structure of the confocal microscope system which concerns on Embodiment 1 of this invention. 図１の共焦点顕微鏡システムを示す外観斜視図である。It is an external appearance perspective view which shows the confocal microscope system of FIG. 共焦点顕微鏡本体を示す斜視図である。It is a perspective view which shows a confocal microscope main body. 対物レンズのＺ方向位置に応じて変化する受光量データを示すグラフである。It is a graph which shows the light reception amount data which change according to the Z direction position of an objective lens. 本発明の実施の形態２に係る共焦点顕微鏡システムを示すブロック図である。It is a block diagram which shows the confocal microscope system which concerns on Embodiment 2 of this invention. 「ステージの調整」ステップのユーザインターフェース画面を示すイメージ図である。It is an image figure which shows the user interface screen of a "stage adjustment" step. エキスパートモードのユーザインターフェース画面を示すイメージ図である。It is an image figure which shows the user interface screen of expert mode. 実施の形態３に係る共焦点顕微鏡システムの構成を示すブロック図である。FIG. 10 is a block diagram illustrating a configuration of a confocal microscope system according to a third embodiment. 従来のコントローラとコンピュータ間で行われるデータ転送の概念図である。It is a conceptual diagram of the data transfer performed between the conventional controller and a computer. 実施の形態３に係るコントローラとコンピュータ間で行われるデータ転送の概念図である。FIG. 10 is a conceptual diagram of data transfer performed between a controller and a computer according to a third embodiment. 実施の形態４に係る拡大画像観察システムを示すブロック図である。FIG. 10 is a block diagram illustrating an enlarged image observation system according to a fourth embodiment. 実施の形態５に係る拡大画像観察システムを示すブロック図である。FIG. 10 is a block diagram illustrating an enlarged image observation system according to a fifth embodiment. 従来のカラー超深度画像を演算する手順を示すフローチャートである。It is a flowchart which shows the procedure which calculates the conventional color ultra-deep image. 実施の形態６に係るカラー超深度画像を演算する手順を示すフローチャートである。18 is a flowchart illustrating a procedure for calculating a color ultra-deep image according to the sixth embodiment. 実施の形態７に係る拡大画像観察システムを示すブロック図である。FIG. 10 is a block diagram illustrating an enlarged image observation system according to a seventh embodiment.

符号の説明Explanation of symbols

１００、２００、３００、５００…共焦点顕微鏡システム
４００、７００…拡大画像観察システム
１…共焦点顕微鏡本体
２…コントローラ
３…操作手段；３Ａ…入力手段
４…表示手段
１０、１０Ｂ…共焦点光学系
１１…光源；１１Ｒ…Ｒ光源；１１Ｇ…Ｇ光源；１１Ｂ…Ｂ光源
１１Ａ…レーザ駆動回路
１２…第１コリメートレンズ
１３…偏光ビームスプリッタ
１４…１／４波長板
１５…水平・垂直偏向装置
１６…第１リレーレンズ
１７…第２リレーレンズ
１８…対物レンズ；１８Ｂ…レボルバ；１８Ｃ…Ｚ軸移動機構；１８Ｄ…距離検出手段
１９…結像レンズ
２０…ピンホール板 非共焦点光学系
２１…受光素子
２２…第１受光信号処理回路
３０…ステージ
３１…ステージ手動操作機構
３２…Ｘ方向移動摘み
３３…Ｙ方向移動摘み
３４…Ｚ方向移動摘み
４１…第１Ａ／Ｄ変換器
４２…第２Ａ／Ｄ変換器
４３…制御部
４４…画像データ入力部
４５…画像処理演算部
４６…表示用画像生成部
５０、５０Ｂ…非共焦点光学系
５１…白色光源
５２…第２コリメートレンズ
５３…第１ハーフミラー
５４、５４Ｂ…第２ハーフミラー
５５…第２受光素子
５６…第２受光信号処理回路
６１…画像表示領域
６２…操作領域
６３…タブ；６３ａ…ビギナータブ；６３ｂ…エキスパートタブ
６４…倍率選択欄
６５…フロー図；６５ａ…「ステージの調整」ステップ
６５ｂ…「高さ範囲の設定」ステップ；６５ｃ…「レーザの明るさ調整」ステップ
６５ｄ…「測定を開始」ステップ；６５ｅ…「測定結果の確認」ステップ
６６…説明図
６７…操作部
６８…「調整完了」ボタン
７０…レンズ位置調整欄
８０…レーザ明るさ調整欄
８２Ｂ…フィルタ調整用プルダウンメニュー
８３…ゲイン調整用スライダ
９１…測定設定欄
９２…画像種別表示欄；９２ａ…「カメラ」ボタン；９２ｂ…「レーザ」ボタン
９２ｃ…「ＲＴ３Ｄ」ボタン；９２ｄ…「｜｜」ボタン
９３…Ｚ測定距離表示欄
９４…測定モード
９５…測定エリア
９６…測定品質
ＷＫ…試料；ＳＪ…設定データ；ＧＤ…画像データ；ＳＤ…設定データ DESCRIPTION OF SYMBOLS 100, 200, 300, 500 ... Confocal microscope system 400, 700 ... Enlarged image observation system 1 ... Confocal microscope main body 2 ... Controller 3 ... Operation means; 3A ... Input means 4 ... Display means 10, 10B ... Confocal optical system DESCRIPTION OF SYMBOLS 11 ... Light source; 11R ... R light source; 11G ... G light source; 11B ... B light source 11A ... Laser drive circuit 12 ... 1st collimating lens 13 ... Polarizing beam splitter 14 ... 1/4 wavelength plate 15 ... Horizontal / vertical deflection apparatus 16 ... 1st relay lens 17 ... 2nd relay lens 18 ... Objective lens; 18B ... Revolver; 18C ... Z-axis movement mechanism; 18D ... Distance detection means 19 ... Imaging lens 20 ... Pinhole plate Non-confocal optical system 21 ... Light receiving element DESCRIPTION OF SYMBOLS 22 ... 1st received light signal processing circuit 30 ... Stage 31 ... Stage manual operation mechanism 32 ... X direction moving knob 33 ... Y direction moving knob 34 ... Z-direction moving knob 41 ... 1st A / D converter 42 ... 2nd A / D converter 43 ... Control unit 44 ... Image data input unit 45 ... Image processing calculation unit 46 ... Display image generation unit 50, 50B ... Non-confocal optical system 51: white light source 52 ... second collimating lens 53 ... first half mirror 54, 54B ... second half mirror 55 ... second light receiving element 56 ... second light receiving signal processing circuit 61 ... image display area 62 ... Operation area 63 ... Tab; 63a ... Beginner tab; 63b ... Expert tab 64 ... Magnification selection field 65 ... Flow diagram; 65a ... "Stage adjustment" step 65b ... "Height range setting"step; 65c ... "Laser brightness""Adjustment" step 65d ... "Measurement start"step; 65e ... "Measurement result confirmation" step 66 ... Explanation diagram 67 ... Operation unit 68 ... "Adjustment complete" button 70 ... Lens position adjustment column 80 ... Laser brightness adjustment column 82B ... Filter adjustment pull-down menu 83 ... Gain adjustment slider 91 ... Measurement setting column 92 ... Image type display column; 92a ... "Camera"button; 92b ... "Laser" Button 92c ... "RT3D"button; 92d ... "||" button 93 ... Z measurement distance display field 94 ... Measurement mode 95 ... Measurement area 96 ... Measurement quality WK ... Sample; SJ ... Setting data; GD ... Image data; SD ... Setting data

Claims (13)

拡大観察装置と、前記拡大観察装置とデータ通信可能な状態に接続されたコンピュータを備える拡大画像観察システムであって、
測定対象物の画像を取得するための画像取得手段と、
前記画像取得手段で取得した画像データに関する情報を設定データとして、画像データに付加する設定情報付加手段と、
画像データに設定データが付加された転送データを、拡大観察装置からコンピュータに同期転送するための同期転送手段と、
画像データ以外の設定情報を、拡大観察装置からコンピュータに非同期転送するための非同期転送手段と、
を備える拡大画像観察装置と、
前記同期転送手段及び非同期転送とデータ通信を行うための通信手段と、
前記同期転送手段で同期転送される転送データから、画像データと設定データを各々抽出可能なデータ解読手段と、
前記データ解読手段で解読された画像データを表示可能な表示手段と、
必要に応じて、画像データ及び設定データに基づく演算を実行可能な演算手段と、
を備えるコンピュータと、
を有することを特徴とする拡大観察装置システム。 A magnified image observation system comprising a magnified observation device and a computer connected to the magnified observation device in a data communicable state,
An image acquisition means for acquiring an image of the measurement object;
Setting information adding means for adding information on the image data acquired by the image acquiring means to the image data as setting data;
Synchronous transfer means for synchronously transferring transfer data in which setting data is added to image data from the magnification observation apparatus to the computer;
Asynchronous transfer means for asynchronously transferring setting information other than image data from the magnification observation apparatus to the computer;
An enlarged image observation device comprising:
Communication means for performing data communication with the synchronous transfer means and asynchronous transfer;
Data decoding means capable of extracting image data and setting data from transfer data synchronously transferred by the synchronous transfer means,
Display means capable of displaying the image data decoded by the data decoding means;
A calculation means capable of executing a calculation based on the image data and the setting data, if necessary,
A computer comprising:
A magnification observation apparatus system characterized by comprising: 共焦点光学系を介して測定対象物からの光を受光素子で受光し、その受光情報に基づいて前記測定対象物の表面の高さ情報及び光量情報を取得し、前記測定対象物の表面の画像を共焦点画像として表示可能な共焦点顕微鏡と、前記共焦点顕微鏡とデータ通信可能な状態に接続されたコンピュータを備える拡大画像観察システムであって、
各測定点において、光学系もしくは測定対象物を高さ方向に変化させながら測定点を走査して共焦点画像を合成する共焦点光学系と、
前記共焦点光学系と光軸の少なくとも一部を共通にする共焦点光学系と別個の、測定対象物の非共焦点画像を撮像するための非共焦点光学系と、
測定対象物を載置するステージと、
前記ステージに載置された測定対象物と、前記共焦点光学系及び非共焦点光学系との相対位置及び相対距離を調整可能なステージ移動部と、
前記非共焦点光学系で撮像された非共焦点画像、又は前記共焦点光学系で撮像された共焦点画像の画像データに対し、該画像データに関する情報を設定データとして付加する設定情報付加手段と、
画像データに設定データが付加された転送データを、共焦点顕微鏡からコンピュータに同期転送するための同期転送手段と、
画像データ以外の設定情報を、共焦点顕微鏡からコンピュータに非同期転送するための非同期転送手段と、
を備える共焦点顕微鏡と、
前記同期転送手段及び非同期転送とデータ通信を行うための通信手段と、
前記同期転送手段で同期転送される転送データから、画像データと設定データを各々抽出可能なデータ解読手段と、
前記データ解読手段で解読された画像データである、前記非共焦点光学系で撮像された非共焦点画像、及び／又は前記共焦点光学系で撮像された共焦点画像を表示するための表示手段と、
必要に応じて、画像データ及び設定データに基づく演算を実行可能な演算手段と、
を備えるコンピュータと、
を有することを特徴とする拡大観察装置システム。 Light from the measurement object is received by the light receiving element via the confocal optical system, and height information and light amount information of the surface of the measurement object are acquired based on the light reception information, and the surface of the measurement object is measured. A magnified image observation system comprising a confocal microscope capable of displaying an image as a confocal image, and a computer connected to the confocal microscope in a data communicable state,
At each measurement point, a confocal optical system that synthesizes a confocal image by scanning the measurement point while changing the optical system or measurement object in the height direction;
A non-confocal optical system for capturing a non-confocal image of the measurement object, separate from the confocal optical system sharing at least a part of the optical axis with the confocal optical system;
A stage on which a measurement object is placed;
A stage moving unit capable of adjusting a relative position and a relative distance between the measurement object placed on the stage and the confocal optical system and the non-confocal optical system;
Setting information addition means for adding information relating to the image data as setting data to the non-confocal image captured by the non-confocal optical system or the image data of the confocal image captured by the confocal optical system; ,
Synchronous transfer means for synchronously transferring transfer data in which setting data is added to image data from a confocal microscope to a computer;
Asynchronous transfer means for asynchronously transferring setting information other than image data from the confocal microscope to the computer,
A confocal microscope comprising:
Communication means for performing data communication with the synchronous transfer means and asynchronous transfer;
Data decoding means capable of extracting image data and setting data from transfer data synchronously transferred by the synchronous transfer means,
Display means for displaying a non-confocal image captured by the non-confocal optical system and / or a confocal image captured by the confocal optical system, which is image data decoded by the data decoding means When,
A calculation means capable of executing a calculation based on the image data and the setting data, if necessary,
A computer comprising:
A magnification observation apparatus system characterized by comprising: 請求項１又は２に記載の拡大観察装置システムであって、
前記画像データに関する情報が、画像データを撮像した前記画像取得手段の種別、撮像時の測定対象物と前記画像取得手段との相対距離、撮像時の照明色情報、拡大倍率、撮像条件、転送される画像データの転送画像枚数、通し番号の少なくともいずれかを含むことを特徴とする拡大観察装置システム。 The magnification observation apparatus system according to claim 1 or 2,
The information related to the image data is transferred, the type of the image acquisition means that captured the image data, the relative distance between the measurement object at the time of imaging and the image acquisition means, the illumination color information at the time of imaging, the magnification, the imaging conditions, A magnification observation apparatus system including at least one of a number of transfer images of image data and a serial number. 請求項１から３のいずれか一に記載の拡大観察装置システムであって、
前記設定データに含める情報を、複数の候補群を提示し、対話形式でユーザに選択させることを特徴とする拡大観察装置システム。 A magnification observation apparatus system according to any one of claims 1 to 3,
A magnification observation apparatus system that presents a plurality of candidate groups and allows a user to select information to be included in the setting data in an interactive manner. 請求項１から４のいずれか一に記載の拡大観察装置システムであって、
前記演算手段が、複数の画像データとその設定データに含まれる画像撮像時の高さ情報に基づき、測定対象物の高さ情報を含む３次元の合焦点画像を合成することを特徴とする拡大観察装置システム。 A magnification observation apparatus system according to any one of claims 1 to 4,
The calculation means synthesizes a three-dimensional focused image including height information of a measurement object based on a plurality of image data and height information at the time of image capture included in the setting data. Observation device system. 請求項１から５のいずれか一に記載の拡大観察装置システムであって、さらに、
前記画像取得手段と測定対象物との間に光軸を一致させて配置され、測定対象物を拡大観察するための所定の倍率を有する対物レンズと、
前記対物レンズと測定対象物との相対距離を検出する距離検出手段を備えることを特徴とする拡大観察装置システム。 The magnification observation apparatus system according to any one of claims 1 to 5, further comprising:
An objective lens that is arranged with the optical axis coincident between the image acquisition means and the measurement object, and has a predetermined magnification for magnifying and observing the measurement object;
A magnification observation apparatus system comprising distance detection means for detecting a relative distance between the objective lens and a measurement object. 請求項１、又は請求項３から６のいずれか一に記載の拡大観察装置システムであって、
前記画像取得手段が、マイクロスコープ若しくは原子間力顕微鏡であることを特徴とする拡大観察装置システム。 The magnification observation apparatus system according to any one of claims 1 and 3 to 6,
The magnification observation apparatus system, wherein the image acquisition means is a microscope or an atomic force microscope. 共焦点光学系を介して測定対象物からの光を受光素子で受光し、その受光情報に基づいて前記測定対象物の表面の高さ情報及び光量情報を取得し、前記測定対象物の表面の画像を共焦点画像として表示可能な共焦点顕微鏡であって、
各測定点において、光学系もしくは測定対象物を高さ方向に変化させながら測定点を走査して共焦点画像を合成する共焦点光学系と、
前記共焦点光学系と光軸の少なくとも一部を共通にする共焦点光学系と別個の、測定対象物の非共焦点画像を撮像するための非共焦点光学系と、
測定対象物を載置するステージと、
前記ステージに載置された測定対象物と、前記共焦点光学系及び非共焦点光学系との相対位置及び相対距離を調整可能なステージ移動部と、
前記非共焦点光学系で撮像された非共焦点画像、又は前記共焦点光学系で撮像された共焦点画像の画像データに対し、該画像データに関する情報を設定データとして付加する設定情報付加手段と、
画像データに設定データが付加された転送データを、外部接続されるコンピュータに同期転送するための同期転送手段と、
画像データ以外の設定情報をコンピュータに非同期転送するための非同期転送手段と、
を備えることを特徴とする共焦点顕微鏡。 Light from the measurement object is received by the light receiving element via the confocal optical system, and height information and light amount information of the surface of the measurement object are acquired based on the light reception information, and the surface of the measurement object is measured. A confocal microscope capable of displaying an image as a confocal image,
At each measurement point, a confocal optical system that synthesizes a confocal image by scanning the measurement point while changing the optical system or measurement object in the height direction;
A non-confocal optical system for capturing a non-confocal image of the measurement object, separate from the confocal optical system sharing at least a part of the optical axis with the confocal optical system;
A stage on which a measurement object is placed;
A stage moving unit capable of adjusting a relative position and a relative distance between the measurement object placed on the stage and the confocal optical system and the non-confocal optical system;
Setting information addition means for adding information relating to the image data as setting data to the non-confocal image captured by the non-confocal optical system or the image data of the confocal image captured by the confocal optical system; ,
Synchronous transfer means for synchronously transferring transfer data in which setting data is added to image data to an externally connected computer;
Asynchronous transfer means for asynchronously transferring setting information other than image data to the computer;
A confocal microscope characterized by comprising: 拡大観察装置と、前記拡大観察装置とデータ通信可能な状態に接続されたコンピュータとの間で、転送データを転送する画像データ転送方法であって、
拡大観察装置で測定対象物の画像を取得する工程と、
拡大観察装置が取得した画像データに関する情報を設定データとして、画像データに付加する工程と、
画像データに設定データが付加された転送データを、拡大観察装置からコンピュータに同期転送する工程と、
同期転送される転送データから、コンピュータ側で画像データと設定データを各々抽出する工程と、
抽出された画像データを、表示手段に表示する工程と、
必要に応じて、画像データ及び設定データに基づく演算を実行する工程と、
を含むことを特徴とする画像データ転送方法。 An image data transfer method for transferring transfer data between a magnifying observation device and a computer connected in a state capable of data communication with the magnifying observation device,
A step of acquiring an image of a measurement object with a magnification observation device;
Adding information about the image data acquired by the magnification observation apparatus to the image data as setting data;
A process of synchronously transferring transfer data in which setting data is added to image data from a magnification observation apparatus to a computer;
A step of extracting image data and setting data on the computer side from the transfer data to be synchronously transferred;
Displaying the extracted image data on a display means;
A step of performing an operation based on the image data and the setting data, if necessary;
An image data transfer method comprising: 拡大観察装置で撮像した複数の画像データを、前記拡大観察装置とデータ通信可能な状態に接続されたコンピュータに転送し、コンピュータ側で該複数の画像データとその設定データに含まれる画像撮像時の高さ情報に基づき、測定対象物の高さ情報を含む３次元の合焦点画像を合成する３次元の合焦点画像生成方法であって、
拡大観察装置で測定対象物の画像を取得する工程と、
少なくとも画像撮像時における測定対象物と対物レンズとの相対距離を含む、拡大観察装置が取得した画像データに関する情報を設定データとして、画像データに付加する工程と、
画像データに設定データが付加された転送データを、拡大観察装置からコンピュータに同期転送する工程と、
同期転送される転送データから、コンピュータ側で画像データと設定データを各々抽出する工程と、
抽出された複数の画像データから合焦点画像を合成すると共に、合焦点画像に基づいた測定対象物の高さ情報を含む３次元の合焦点画像を合成する工程と、
を含むことを特徴とする３次元合焦点画像生成方法。 A plurality of image data picked up by the magnifying observation device is transferred to a computer connected to the magnifying observation device in a data communicable state, and at the time of image pickup included in the plurality of image data and its setting data on the computer A three-dimensional focused image generation method for synthesizing a three-dimensional focused image including height information of an object to be measured based on height information,
A step of acquiring an image of a measurement object with a magnification observation device;
Adding to the image data, as setting data, information relating to the image data acquired by the magnification observation apparatus, including at least the relative distance between the measurement object and the objective lens at the time of image capture;
A process of synchronously transferring transfer data in which setting data is added to image data from a magnification observation apparatus to a computer;
A step of extracting image data and setting data on the computer side from the transfer data to be synchronously transferred;
Synthesizing a focused image from a plurality of extracted image data, and synthesizing a three-dimensional focused image including height information of a measurement object based on the focused image;
A three-dimensional focused image generation method comprising: 拡大観察装置と、前記拡大観察装置とデータ通信可能な状態に接続されたコンピュータとの間で、転送データを転送するデータ転送プログラムであって、
拡大観察装置で測定対象物の画像を取得する機能と、
拡大観察装置が取得した画像データに関する情報を設定データとして、画像データに付加する機能と、
画像データに設定データが付加された転送データを、拡大観察装置からコンピュータに同期転送する機能と、
同期転送される転送データから、コンピュータ側で画像データと設定データを各々抽出する機能と、
抽出された画像データを、表示手段に表示する機能と、
必要に応じて、画像データ及び設定データに基づく演算を実行する機能と、
をコンピュータに実現させることを特徴とするデータ転送プログラム。 A data transfer program for transferring transfer data between a magnifying observation device and a computer connected in a state capable of data communication with the magnifying observation device,
A function for acquiring an image of a measurement object with a magnification observation device;
A function for adding information about image data acquired by the magnification observation apparatus to the image data as setting data;
A function for synchronously transferring transfer data in which setting data is added to image data from a magnifying observation device to a computer;
A function of extracting image data and setting data on the computer side from the transfer data to be transferred synchronously;
A function of displaying the extracted image data on the display means;
A function to execute an operation based on the image data and the setting data, if necessary;
A data transfer program characterized by causing a computer to realize the above. 拡大観察装置で撮像した複数の画像データを、前記拡大観察装置とデータ通信可能な状態に接続されたコンピュータに転送し、コンピュータ側で該複数の画像データとその設定データに含まれる画像撮像時の高さ情報に基づき、測定対象物の高さ情報を含む３次元の合焦点画像を合成する３次元の合焦点画像生成プログラムであって、
拡大観察装置で測定対象物の画像を取得する機能と、
少なくとも画像撮像時における測定対象物と対物レンズとの相対距離を含む、拡大観察装置が取得した画像データに関する情報を設定データとして、画像データに付加する機能と、
画像データに設定データが付加された転送データを、拡大観察装置からコンピュータに同期転送する機能と、
同期転送される転送データから、コンピュータ側で画像データと設定データを各々抽出する機能と、
抽出された複数の画像データから合焦点画像を合成すると共に、合焦点画像に基づいた測定対象物の高さ情報を含む３次元の合焦点画像を合成する機能と、
をコンピュータに実現させることを特徴とする３次元合焦点画像生成プログラム。 A plurality of image data picked up by the magnifying observation device is transferred to a computer connected to the magnifying observation device in a data communicable state, and at the time of image pickup included in the plurality of image data and its setting data on the computer A three-dimensional focused image generation program for synthesizing a three-dimensional focused image including height information of a measurement object based on height information,
A function for acquiring an image of a measurement object with a magnification observation device;
A function for adding to the image data, as setting data, information relating to the image data acquired by the magnification observation apparatus, including at least the relative distance between the measurement object and the objective lens at the time of image capture;
A function for synchronously transferring transfer data in which setting data is added to image data from a magnifying observation device to a computer;
A function of extracting image data and setting data on the computer side from the transfer data to be transferred synchronously;
A function of synthesizing a focused image from a plurality of extracted image data and a three-dimensional focused image including height information of a measurement object based on the focused image;
A three-dimensional focused image generation program characterized in that a computer is realized. 請求項１１又は１２に記載されるプログラムを格納したコンピュータで読み取り可能な記録媒体又は記録した機器。   A computer-readable recording medium or a recorded device storing the program according to claim 11 or 12.
JP2006272059A 2006-10-03 2006-10-03 Magnified image observation system, confocal microscope, image data transfer method, three-dimensional focused image forming method, data transfer program, three-dimensional focused image forming program, computer recordable recording medium, and apparatus with program recorded Pending JP2008090072A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006272059A JP2008090072A (en) 2006-10-03 2006-10-03 Magnified image observation system, confocal microscope, image data transfer method, three-dimensional focused image forming method, data transfer program, three-dimensional focused image forming program, computer recordable recording medium, and apparatus with program recorded

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006272059A JP2008090072A (en) 2006-10-03 2006-10-03 Magnified image observation system, confocal microscope, image data transfer method, three-dimensional focused image forming method, data transfer program, three-dimensional focused image forming program, computer recordable recording medium, and apparatus with program recorded

Publications (1)

Publication Number Publication Date
JP2008090072A true JP2008090072A (en) 2008-04-17

Family

ID=39374266

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006272059A Pending JP2008090072A (en) 2006-10-03 2006-10-03 Magnified image observation system, confocal microscope, image data transfer method, three-dimensional focused image forming method, data transfer program, three-dimensional focused image forming program, computer recordable recording medium, and apparatus with program recorded

Country Status (1)

Country Link
JP (1) JP2008090072A (en)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013072997A (en) * 2011-09-27 2013-04-22 Olympus Corp Display device and microscope system
US8923555B2 (en) 2010-10-29 2014-12-30 Keyence Corporation Image measuring device, image measuring method, and computer program
JP2019074667A (en) * 2017-10-17 2019-05-16 株式会社キーエンス Magnifying observation device
WO2020066041A1 (en) * 2018-09-28 2020-04-02 オリンパス株式会社 Microscope system
JP7126737B1 (en) 2022-06-03 2022-08-29 株式会社Cybo Microscope system and data processing method
US11594051B2 (en) 2018-09-28 2023-02-28 Evident Corporation Microscope system and projection unit
US11662565B2 (en) 2018-09-28 2023-05-30 Evident Corporation Microscope system, projection unit, and image projection method
WO2023233922A1 (en) * 2022-06-03 2023-12-07 株式会社Cybo Microscope system and data processing method
US11869166B2 (en) 2018-09-28 2024-01-09 Evident Corporation Microscope system, projection unit, and image projection method

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8923555B2 (en) 2010-10-29 2014-12-30 Keyence Corporation Image measuring device, image measuring method, and computer program
JP2013072997A (en) * 2011-09-27 2013-04-22 Olympus Corp Display device and microscope system
JP2019074667A (en) * 2017-10-17 2019-05-16 株式会社キーエンス Magnifying observation device
JP7032098B2 (en) 2017-10-17 2022-03-08 株式会社キーエンス Magnifying observation device
WO2020066041A1 (en) * 2018-09-28 2020-04-02 オリンパス株式会社 Microscope system
CN112703440A (en) * 2018-09-28 2021-04-23 奥林巴斯株式会社 Microscope system
US11594051B2 (en) 2018-09-28 2023-02-28 Evident Corporation Microscope system and projection unit
US11662565B2 (en) 2018-09-28 2023-05-30 Evident Corporation Microscope system, projection unit, and image projection method
US11869166B2 (en) 2018-09-28 2024-01-09 Evident Corporation Microscope system, projection unit, and image projection method
JP7126737B1 (en) 2022-06-03 2022-08-29 株式会社Cybo Microscope system and data processing method
WO2023233922A1 (en) * 2022-06-03 2023-12-07 株式会社Cybo Microscope system and data processing method
JP2023177772A (en) * 2022-06-03 2023-12-14 株式会社Cybo Microscope system and data processing method

Similar Documents

Publication Publication Date Title
JP2008090072A (en) Magnified image observation system, confocal microscope, image data transfer method, three-dimensional focused image forming method, data transfer program, three-dimensional focused image forming program, computer recordable recording medium, and apparatus with program recorded
JP4753711B2 (en) 3D image display device, 3D image display device operation method, 3D image display program, computer-readable recording medium, and recorded device
EP1598688B1 (en) Fluorescence microscope
JP5325522B2 (en) Combined observation system
JP4936867B2 (en) Enlarged image observation apparatus and enlarged image observation method
JP4878913B2 (en) Microscope system, microscope image synthesis method, and program
US7456377B2 (en) System and method for creating magnified images of a microscope slide
EP2804039B1 (en) Microscope system and method for deciding stitched area
JP4936841B2 (en) Confocal microscope, confocal microscope operation method, confocal microscope operation program, computer-readable recording medium, and recorded apparatus
JP2008139796A (en) Fluorescence microscope, method of operating fluorescence microscope, fluorescence microscope operation program, computer-readable recording medium, and recorded equipment
JP2007026885A (en) Magnification observation device, operation method of magnification observation device, magnification observation device operation program, recording medium readable by computer, and recorded equipment
JP4526988B2 (en) Minute height measuring method, minute height measuring apparatus and displacement unit used therefor
JPWO2012096153A1 (en) Microscope system
JP2006023476A (en) Confocal scanning type microscope
JP4928894B2 (en) Magnification observation apparatus, operation method of magnification observation apparatus, magnification observation apparatus operation program, computer-readable recording medium, and recorded apparatus
JP4536422B2 (en) Magnification observation apparatus, magnification image observation method, magnification observation operation program, and computer-readable recording medium or recorded apparatus
JP2006275964A (en) Shading correction method for scanning fluorescence microscope
JP2008139794A (en) Fluorescence microscope, method of operating fluorescence microscope, operation program for fluorescence microscope, computer-readable recording medium, and recorded equipment
JP4536421B2 (en) Magnification observation apparatus, magnification image observation method, magnification observation operation program, and computer-readable recording medium or recorded apparatus
JP5508214B2 (en) System and method for creating magnified image of microscope slide
JP2006173020A (en) Sample display device, method of operating sample display device, sample display device operating program and computer readable recording medium and recorded apparatus
JP2005114713A (en) Magnification observation device, method of observing magnified image, operation program for magnification observation, and computer-readable recording medium
JP4963567B2 (en) Minute height measuring device
JP2005148584A (en) Confocal laser microscope
JP4456962B2 (en) SAMPLE DISPLAY DEVICE, SAMPLE DISPLAY DEVICE OPERATION METHOD, SAMPLE DISPLAY DEVICE OPERATION PROGRAM, AND COMPUTER-READABLE RECORDING MEDIUM OR RECORDED DEVICE