JP2010112969A - Confocal microscope - Google Patents
Confocal microscope Download PDFInfo
- Publication number
- JP2010112969A JP2010112969A JP2008282668A JP2008282668A JP2010112969A JP 2010112969 A JP2010112969 A JP 2010112969A JP 2008282668 A JP2008282668 A JP 2008282668A JP 2008282668 A JP2008282668 A JP 2008282668A JP 2010112969 A JP2010112969 A JP 2010112969A
- Authority
- JP
- Japan
- Prior art keywords
- image
- confocal
- unit
- objective lens
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Abstract
Description
本発明は、顕微鏡の技術に関し、特に、共焦点画像を取得する共焦点顕微鏡の操作性を向上させる技術に関する。 The present invention relates to a microscope technique, and more particularly to a technique for improving the operability of a confocal microscope that acquires a confocal image.
一般に、微細な試料の表面形状情報を三次元情報として観察する場合に用いられる顕微鏡として、共焦点顕微鏡が知られている。例えば、特許文献１には、共焦点顕微鏡が開示されている。 In general, a confocal microscope is known as a microscope used when observing surface shape information of a fine sample as three-dimensional information. For example, Patent Document 1 discloses a confocal microscope.
この共焦点顕微鏡では、光源から出射した光を対物レンズで試料表面上に集光させ、その集光されたスポット光を二次元走査機構により平面方向にラスタスキャンする。このとき試料表面上で反射した光は、再び対物レンズを通って二次元走査機構に戻った後にピンホール板へと導かれる。このピンホール板は所要の径のピンホールを有しており、このピンホールは対物レンズの集光位置と共役な位置に配置されているので、ピンホールを通過できる反射光は試料表面上における合焦成分のみとなる。この試料表面をスポット光でラスタスキャンしたときの反射光の合焦成分を画像化することで、試料の共焦点画像を得ることができる。 In this confocal microscope, the light emitted from the light source is condensed on the sample surface by the objective lens, and the collected spot light is raster-scanned in the plane direction by the two-dimensional scanning mechanism. At this time, the light reflected on the sample surface passes through the objective lens again and returns to the two-dimensional scanning mechanism, and then is guided to the pinhole plate. Since this pinhole plate has a pinhole of a required diameter, and this pinhole is arranged at a position conjugate with the condensing position of the objective lens, reflected light that can pass through the pinhole is reflected on the sample surface. Only the in-focus component. A confocal image of the sample can be obtained by imaging the focused component of the reflected light when the sample surface is raster scanned with spot light.
また、この共焦点顕微鏡では、試料が配置されているＺ移動機構により、試料を高さ方向（対物レンズの光軸方向）に移動し、それぞれの高さ位置においての共焦点画像を取得する。そして、この共焦点画像の取得時における試料の高さ位置の情報（すなわちＺ移動機構の高さ位置の情報）と、各高さ位置において取得された共焦点画像とを組み合わせることで、試料の三次元情報を得ることができる。 Further, in this confocal microscope, the sample is moved in the height direction (the optical axis direction of the objective lens) by the Z moving mechanism in which the sample is arranged, and a confocal image at each height position is acquired. Then, by combining the information on the height position of the sample at the time of acquiring the confocal image (that is, information on the height position of the Z moving mechanism) and the confocal image acquired at each height position, Three-dimensional information can be obtained.
ところで、共焦点顕微鏡で取得される共焦点画像は、焦点深度が浅いため、観察視野内へ観察対象部位を追い込むことが難しい。また、使用する対物レンズの倍率が高くなると、焦点深度が浅くなるだけでなく、視野範囲も狭くなるため、観察対象物全体（視野範囲及び深度方向）に対する観察対象物部位の位置関係も分かり難くなる。このため、共焦点画像の取得作業には、ある程度の熟練度を要する。 By the way, since the confocal image acquired with a confocal microscope has a shallow depth of focus, it is difficult to drive the observation target region into the observation field. Further, when the magnification of the objective lens to be used is increased, not only the depth of focus becomes shallow, but also the field of view is narrowed, so that it is difficult to understand the positional relationship of the observation object part with respect to the entire observation object (field of view range and depth direction). Become. For this reason, a certain degree of skill is required for the operation of acquiring the confocal image.
この問題に関し、特許文献１に開示の共焦点顕微鏡では、焦点深度の深い画像を取得することができる顕微鏡光学系（非共焦点光学系）を、共焦点画像を取得する共焦点光学系とは別に搭載している。この共焦点顕微鏡では、顕微鏡光学系による非共焦点画像と、共焦点光学系による共焦点画像とを同時に取得して、モニタに表示するようにしている。これにより、共焦点光学系による観察対象部位を非共焦点画像で捕捉しやすくなったので、共焦点画像の取得において、観察対象部位の指定に関してそれほどの熟練度を要さなくなった。 With respect to this problem, in the confocal microscope disclosed in Patent Document 1, a microscope optical system (non-confocal optical system) that can acquire an image with a deep focal depth is referred to as a confocal optical system that acquires a confocal image. It is installed separately. In this confocal microscope, a non-confocal image by a microscope optical system and a confocal image by a confocal optical system are simultaneously acquired and displayed on a monitor. As a result, it becomes easier to capture the site to be observed by the confocal optical system with the non-confocal image, so that it is not necessary to have much skill in specifying the site to be observed in acquiring the confocal image.
また、例えば特許文献２に開示の顕微鏡静止画像観察システムでは、まず、焦点深度の深い顕微鏡光学系で低倍率の対物レンズによる広範囲画像を取得しておく。そして、高倍率の対物レンズによる画像の取得を行う際には、前もって取得しておいた広範囲画像を参照することで、観察対象物全体に対する観察対象部位の位置関係を分かりやすくしているものがある。
前掲した特許文献１に開示の共焦点顕微鏡では、非共焦点光学系による観察視野の範囲と共焦点光学系による観察視野の範囲とが同一である。このため、観察に使用する対物レンズの倍率が高くなると、観察視野の範囲が狭くなるために、観察対象物全体に対する観察対象部位の位置関係は、依然として分かり難い。 In the confocal microscope disclosed in Patent Document 1 described above, the range of the observation field of view by the non-confocal optical system is the same as the range of the observation field of view by the confocal optical system. For this reason, when the magnification of the objective lens used for observation is increased, the range of the observation field of view is narrowed, so that the positional relationship of the observation target portion with respect to the entire observation target is still difficult to understand.
また、前掲した特許文献２に開示の顕微鏡静止画像観察システムは、焦点深度の深い顕微鏡光学系で取得した顕微鏡画像の観察に好適なものである。このため、焦点深度が非常に浅い共焦点顕微鏡でこのシステムを適用しても観察対象物全体に対する観察対象部位の位置関係を分かりやすくすることは難しい。つまり、共焦点光学系により取得される共焦点画像は、使用する対物レンズの倍率に関わらず、常に、観察対象物におけるピントの合った部位のみの画像であるため、このシステムを使用しても、観察対象物全体（視野範囲及び深度方向）の把握は容易ではない。 Moreover, the microscope still image observation system disclosed in Patent Document 2 described above is suitable for observing a microscope image acquired by a microscope optical system having a deep focal depth. For this reason, even if this system is applied to a confocal microscope having a very shallow depth of focus, it is difficult to easily understand the positional relationship of the observation target portion with respect to the entire observation target. In other words, the confocal image acquired by the confocal optical system is always an image of only the in-focus part of the observation object regardless of the magnification of the objective lens used. In addition, it is not easy to grasp the entire observation object (view range and depth direction).
このように、観察対象物全体に対する観察対象部位の位置関係を容易に把握できるようにすることは、共焦点顕微鏡の操作性を向上させる点において重要である。
本発明は上述した問題に鑑みてなされたものであり、その解決しようとする課題は、観察対象物全体に対する観察対象部位の位置関係を容易に把握できる共焦点顕微鏡を提供することである。
Thus, it is important in terms of improving the operability of the confocal microscope to easily grasp the positional relationship of the observation target part with respect to the entire observation target.
The present invention has been made in view of the above-described problems, and a problem to be solved is to provide a confocal microscope capable of easily grasping the positional relationship of the observation target portion with respect to the entire observation target.
本発明の態様のひとつである共焦点顕微鏡は、第一の対物レンズを用いて試料の共焦点画像を取得する第一の光学系と、該第一の対物レンズと光軸が同一となる位置に配置されている第二の対物レンズを用いて、該共焦点画像よりも広い視野の画像である該試料の非共焦点画像を静止画像として取得する第二の光学系と、該共焦点画像と該非共焦点画像とを同時に表示する表示手段と、を有し、該第一の対物レンズの倍率が該第二の対物レンズよりも高倍率である、というものである。 A confocal microscope according to one aspect of the present invention includes a first optical system that acquires a confocal image of a sample using a first objective lens, and a position at which the optical axis of the first objective lens is the same. A second optical system that acquires, as a still image, a non-confocal image of the sample, which is an image having a wider field of view than the confocal image, using the second objective lens disposed in the confocal image, And a display means for simultaneously displaying the non-confocal image, and the magnification of the first objective lens is higher than that of the second objective lens.
なお、上述した共焦点顕微鏡において、該第二の光学系は、カラー画像である該非共焦点画像を取得するように構成してもよい。
また、前述した共焦点顕微鏡において、該第一及び該第二の対物レンズの光軸に対して垂直な平面上で該試料を移動させる移動手段と、該表示手段で表示されている該非共焦点画像上での位置の指定を取得する指定位置取得手段と、該移動手段を制御して、該指定位置取得手段が取得した該非共焦点画像上での指定の位置における該共焦点画像が該第一の光学系により取得される位置へ、該試料を移動させる移動制御手段と、を更に有するように構成してもよい。
In the confocal microscope described above, the second optical system may be configured to acquire the non-confocal image that is a color image.
In the confocal microscope described above, a moving means for moving the sample on a plane perpendicular to the optical axis of the first and second objective lenses, and the non-confocal displayed by the display means A designated position obtaining unit for obtaining designation of a position on the image, and the moving unit, so that the confocal image at the designated position on the non-confocal image obtained by the designated position obtaining unit is You may comprise further the movement control means to which this sample is moved to the position acquired by one optical system.
また、前述した共焦点顕微鏡において、該非共焦点画像上で、該共焦点画像の視野の広さに対応する撮像領域を複数設定する撮像領域設定手段と、該試料と該第一の対物レンズとの相対距離を変化させる相対距離変化手段と、該試料の該撮像領域内の共焦点画像を、該相対距離変化手段により該相対距離を所定値ずつ変化させる毎に該第一の光学系により取得し、該相対距離と取得した共焦点画像との関係に基づいて該試料各部の高さ情報を取得し、該高さ情報に基づいて該試料の該撮像領域内の三次元画像を生成する三次元画像生成手段と、該撮像領域内の三次元画像を、該撮像領域設定手段が該非共焦点画像上に設定した複数の撮像領域毎に該三次元画像生成手段に生成させ、生成された撮像領域毎の三次元画像を貼り合わせて、該撮像領域の範囲よりも広い範囲の三次元画像を得る三次元画像貼り合わせ手段と、を更に有するように構成してもよい。 In the confocal microscope described above, an imaging region setting means for setting a plurality of imaging regions corresponding to the width of the field of view of the confocal image on the non-confocal image, the sample, and the first objective lens A relative distance changing means for changing the relative distance of the sample and a confocal image of the sample in the imaging region are acquired by the first optical system every time the relative distance is changed by a predetermined value by the relative distance changing means. And obtaining the height information of each part of the sample based on the relationship between the relative distance and the acquired confocal image, and generating a three-dimensional image in the imaging region of the sample based on the height information. An original image generation means and a 3D image in the imaging area are generated by the 3D image generation means for each of a plurality of imaging areas set on the non-confocal image by the imaging area setting means. Paste 3D images for each area A three-dimensional image joining unit obtaining a three-dimensional image of a range wider than the range of frequency, may be configured to further have a.
また、前述した共焦点顕微鏡において、該表示手段で表示されている該非共焦点画像上で、該共焦点画像の視野の範囲を表示させる視野範囲表示手段と、該指定位置取得手段により取得した位置の指定が、該共焦点画像の視野の範囲内であるか否かを監視する監視手段と、該指定位置取得手段により取得した位置の指定が該共焦点画像の視野の範囲外であることが該監視手段による監視により判明した時点での該非共焦点画像を該第二の光学系に取得させて、該表示手段での該非共焦点画像の表示を、該時点で取得されたものに更新する非共焦点画像表示自動更新手段と、を更に有するように構成してもよい。 Further, in the confocal microscope described above, on the non-confocal image displayed by the display unit, a field range display unit that displays a field range of the confocal image, and a position acquired by the designated position acquisition unit Monitoring means for monitoring whether or not the designation is within the field of view of the confocal image, and the designation of the position acquired by the designated position acquisition means is outside the field of view of the confocal image The non-confocal image at the time point determined by monitoring by the monitoring unit is acquired by the second optical system, and the display of the non-confocal image on the display unit is updated to that acquired at the time point. And a non-confocal image display automatic updating unit.
なお、このとき、該第一の光学系は、取得される該共焦点画像の視野の範囲を変更可能であり、該視野範囲表示手段は、該共焦点画像の視野の範囲の変化に応じて、該視野の範囲の表示を変化させる、ように構成してもよい。 At this time, the first optical system can change the range of the field of view of the confocal image to be acquired, and the field-of-view range display means can respond to a change in the field of view of the confocal image. The display of the range of the visual field may be changed.
また、前述した共焦点顕微鏡において、所定の指示を取得したときに、該非共焦点画像を該第二の光学系に取得させて、該表示手段での該非共焦点画像の表示を、該時点で取得されたものに更新する非共焦点画像表示更新手段を更に有するように構成してもよい。 Further, in the above-described confocal microscope, when a predetermined instruction is acquired, the non-confocal image is acquired by the second optical system, and the display of the non-confocal image on the display unit is performed at the time point. You may comprise so that it may further have a non-confocal image display update means updated to what was acquired.
本発明によれば、以上のようにすることにより、観察対象物全体に対する観察対象部位の位置関係を容易に把握できる共焦点顕微鏡の提供が可能になるという効果を奏する。 According to the present invention, it is possible to provide a confocal microscope capable of easily grasping the positional relationship of the observation target part with respect to the entire observation target object as described above.
以下、本発明の実施の形態を図面に基づいて説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
本実施例に係る共焦点顕微鏡では、焦点深度の浅い共焦点画像と共に、当該共焦点画像の取得に使用する対物レンズよりも倍率の小さい対物レンズを使用して取得した、焦点深度の深い顕微鏡画像を、広範囲画像としてその操作画面上に表示する。このようにして、観察対象物全体に対する観察対象部位の位置関係の把握を容易にする。 In the confocal microscope according to the present embodiment, a microscopic image with a deep focal depth acquired using a confocal image with a shallow focal depth and an objective lens having a smaller magnification than the objective lens used to acquire the confocal image. Is displayed as a wide-range image on the operation screen. In this way, it is easy to grasp the positional relationship of the observation target portion with respect to the entire observation target.
まず図１について説明する。図１は、本発明を実施する共焦点顕微鏡の構成を示している。この共焦点顕微鏡は、レーザ顕微鏡本体１００、コントローラ１１２、モニタ１１３、及び、Ｘ−Ｙステージ１１４を備えている。 First, FIG. 1 will be described. FIG. 1 shows the configuration of a confocal microscope embodying the present invention. The confocal microscope includes a laser microscope main body 100, a controller 112, a monitor 113, and an XY stage 114.
レーザ顕微鏡本体１００は、レーザ光源１０１、ＰＢＳ１０２、二次元走査部１０３、１／４λ板１０４、対物レンズ１０５、結像レンズ１０７、ピンホール板１０８、検出器１０９、ＡＤ変換器１１０、レボルバ１１１、白色光源１１５、結像レンズ１１６、及び、ＣＣＤカメラ１１７を備えている。 The laser microscope main body 100 includes a laser light source 101, a PBS 102, a two-dimensional scanning unit 103, a 1 / 4λ plate 104, an objective lens 105, an imaging lens 107, a pinhole plate 108, a detector 109, an AD converter 110, a revolver 111, A white light source 115, an imaging lens 116, and a CCD camera 117 are provided.
レーザ光源１０１から出射した光（レーザ光）は、ＰＢＳ（偏光ビームスプリッタ）１０２を透過した後、二次元走査部１０３に入射する。二次元走査部１０３は、この光束を二次元走査した上で、１／４λ板１０４を通過した後に、レボルバ１１１に装着されている対物レンズ１０５へと導く。ここで、二次元走査部１０３による二次元走査と、レボルバ１１１の回転駆動によりレーザ顕微鏡本体１００の光路上に配置される対物レンズ１０５の選択と、レボルバ１１１の対物レンズ１０５の光軸方向の駆動とは、コントローラ１１２によって制御される。 Light (laser light) emitted from the laser light source 101 passes through a PBS (polarized beam splitter) 102 and then enters the two-dimensional scanning unit 103. The two-dimensional scanning unit 103 performs two-dimensional scanning on the light beam, passes through the quarter λ plate 104, and then guides the light beam to the objective lens 105 mounted on the revolver 111. Here, two-dimensional scanning by the two-dimensional scanning unit 103, selection of the objective lens 105 disposed on the optical path of the laser microscope main body 100 by rotation driving of the revolver 111, and driving of the objective lens 105 of the revolver 111 in the optical axis direction. Is controlled by the controller 112.
なお、二次元走査部１０３による二次元走査の手法としては、共焦点顕微鏡で一般的に使用されている、ラスタスキャンを採用する。
二次元走査部１０３は、対物レンズ１０５の瞳と共役な位置に配置されている。従って、対物レンズ１０５の瞳へ入射した光束は、収束光となって試料１０６におけるピントの
合った面上を走査する。なお、このとき、光束は、１／４λ板１０４により直線偏光から円偏光に変換されている。
As a two-dimensional scanning method by the two-dimensional scanning unit 103, a raster scan generally used in a confocal microscope is adopted.
The two-dimensional scanning unit 103 is disposed at a position conjugate with the pupil of the objective lens 105. Therefore, the light beam incident on the pupil of the objective lens 105 becomes convergent light and scans on the focused surface of the sample 106. At this time, the luminous flux is converted from linearly polarized light to circularly polarized light by the ¼λ plate 104.
この収束光は試料１０６の表面で反射する。この反射光は、対物レンズ１０５から、１／４λ板１０４及び二次元走査部１０３を経由した後、ＰＢＳ１０２に導入される。このとき、この反射光は、円偏光から直線偏光に変換されており、ＰＢＳ１０２は、この反射光を今度は反射して結像レンズ１０７へと導かれる。結像レンズ１０７は、この反射光を、ピンホール板１０８に設けられているピンホール上に集光させる。 This convergent light is reflected by the surface of the sample 106. The reflected light is introduced from the objective lens 105 into the PBS 102 after passing through the ¼λ plate 104 and the two-dimensional scanning unit 103. At this time, the reflected light is converted from circularly polarized light to linearly polarized light, and the PBS 102 reflects the reflected light and guides it to the imaging lens 107. The imaging lens 107 condenses the reflected light on a pinhole provided in the pinhole plate 108.
ピンホール板１０８は、ピンホールが対物レンズ１０５による集光位置と光学的に共役な位置となるように配置されている。従って、試料１０６表面のある部位が対物レンズ１０５の集光位置にある場合には、この部位からの反射光は、ピンホールに集光されて当該ピンホールを通過する。その一方、試料１０６表面のある部位が対物レンズ１０５による集光位置からずれている場合には、この部位からの反射光は、ピンホールに集光しないので、ピンホールを通過しない。 The pinhole plate 108 is disposed so that the pinhole is optically conjugate with the condensing position by the objective lens 105. Accordingly, when a certain part on the surface of the sample 106 is at the condensing position of the objective lens 105, the reflected light from this part is condensed in the pinhole and passes through the pinhole. On the other hand, when a certain part on the surface of the sample 106 is deviated from the condensing position by the objective lens 105, the reflected light from this part does not converge on the pinhole and therefore does not pass through the pinhole.
光検出器１０９は、このピンホールを通過した光、すなわち、試料１０６の表面のうち対物レンズ１０５の集光位置に位置する部位のみからの反射光を受光し、その受光光量に応じた大きさの検出信号を、当該部位の輝度を示す輝度信号として出力する。アナログ信号であるこの輝度信号は、ＡＤ変換器１１０でアナログ−デジタル変換された上で、当該部位の輝度を示す輝度値情報としてコントローラ１１２に入力される。コントローラ１１２は、この輝度値情報と、二次元走査部１０３による二次元走査における走査位置の情報とに基づき、試料１０６の共焦点画像を生成してモニタ１１３に転送し、当該共焦点画像を表示させる。この共焦点顕微鏡のユーザは、モニタ１１３に表示される共焦点画像により、試料１０６の表面形状の観察を行う。 The photodetector 109 receives the light that has passed through the pinhole, that is, the reflected light from only the portion of the surface of the sample 106 that is located at the condensing position of the objective lens 105, and has a size corresponding to the amount of light received. Is output as a luminance signal indicating the luminance of the part. This luminance signal, which is an analog signal, is analog-to-digital converted by the AD converter 110 and then input to the controller 112 as luminance value information indicating the luminance of the part. The controller 112 generates a confocal image of the sample 106 based on the luminance value information and information on the scanning position in the two-dimensional scanning performed by the two-dimensional scanning unit 103 and transfers it to the monitor 113 to display the confocal image. Let The user of the confocal microscope observes the surface shape of the sample 106 using the confocal image displayed on the monitor 113.
以上のようにして試料１０６の共焦点画像が取得されるまでの光学系が、図１の共焦点顕微鏡における共焦点光学系である。
なお、この共焦点顕微鏡は、以下に説明するようにして、試料１０６のエクステンド画像や三次元画像を生成することができる。
The optical system until the confocal image of the sample 106 is acquired as described above is the confocal optical system in the confocal microscope of FIG.
The confocal microscope can generate an extended image or a three-dimensional image of the sample 106 as described below.
まず、コントローラ１１２が、レボルバ１１１を対物レンズ１０５の光軸方向（Ｚ方向）に駆動させる制御を行って試料１０６と対物レンズ１０５との相対距離を変化させる。そして、当該相対距離が所定値だけ変化する毎に、検出器１０９からの出力に対応する輝度値情報を取得する。更に、この輝度値情報を取得する毎に、共焦点画像における同一位置の各画素（Ｚ方向に垂直な平面上のおいて同一位置の画素）の輝度値を比較する。そして、輝度値が最大であるときの当該輝度値と、そのときのレボルバ１１１のＺ方向の位置情報（高さ情報）とを、各画素について検出して保存する。その後、この保存された輝度値と高さ情報とを用いて、試料１０６のエクステンド画像や三次元画像を構築する。 First, the controller 112 controls the revolver 111 to be driven in the optical axis direction (Z direction) of the objective lens 105 to change the relative distance between the sample 106 and the objective lens 105. Then, every time the relative distance changes by a predetermined value, luminance value information corresponding to the output from the detector 109 is acquired. Further, every time this brightness value information is acquired, the brightness values of the pixels at the same position in the confocal image (the pixels at the same position on the plane perpendicular to the Z direction) are compared. Then, the brightness value when the brightness value is maximum and the position information (height information) in the Z direction of the revolver 111 at that time are detected and stored for each pixel. Thereafter, an extended image or a three-dimensional image of the sample 106 is constructed using the stored luminance value and height information.
なお、エクステンド画像は、試料１０６の表面全体にピントの合った画像であり、各画素において輝度値が最大であるときの当該輝度値を、各画素の輝度値として割り当てて構築される画像である。また、三次元画像は、各画素の平面上での位置情報と各画素において輝度値が最大であるときの高さ情報とを三次元座標上に配置して構築される画像である。 The extended image is an image focused on the entire surface of the sample 106, and is an image constructed by assigning the luminance value when the luminance value is the maximum in each pixel as the luminance value of each pixel. . The three-dimensional image is an image constructed by arranging position information on the plane of each pixel and height information when the luminance value is maximum in each pixel on three-dimensional coordinates.
一方、白色光源１１５から出射した光（白色光）は、レボルバ１１１に装着されている対物レンズ１０５の瞳へ入射して、その光束が収束光となって試料１０６を照射すると試料１０６の表面で反射する。この反射光は、結像レンズ１１６へと導かれる。結像レンズ１１６は、この反射光を、ＣＣＤ（結合素子）カメラ１１７の受光面に集光する。ＣＣＤ
カメラ１１７は、カラー画像を撮像するカメラであり、受光面に集光された反射光を撮像して、試料１０６の顕微鏡画像（非共焦点画像）を取得する。取得された画像を表している画像データは、コントローラ１１２に送られる。コントローラ１１２は、送られてきた画像データで表されている試料１０６のカラー画像をモニタ１１３に表示させる。
On the other hand, the light (white light) emitted from the white light source 115 enters the pupil of the objective lens 105 attached to the revolver 111, and when the light beam becomes convergent light and irradiates the sample 106, the light is emitted from the surface of the sample 106. reflect. This reflected light is guided to the imaging lens 116. The imaging lens 116 condenses the reflected light on the light receiving surface of a CCD (coupling element) camera 117. CCD
The camera 117 is a camera that captures a color image, captures reflected light collected on the light receiving surface, and acquires a microscopic image (non-confocal image) of the sample 106. Image data representing the acquired image is sent to the controller 112. The controller 112 causes the monitor 113 to display a color image of the sample 106 represented by the sent image data.
以上のようにして試料１０６のカラー画像（非共焦点画像）が取得されるまでの光学系が、図１の共焦点顕微鏡における非共焦点光学系である。
なお、Ｘ−Ｙステージ１１４は、試料１０６が載置されるステージであり、レーザ顕微鏡本体１００の光路上に配置されている対物レンズ１０５の光軸に対し垂直な平面（ＸＹ平面）上で駆動して試料１０６を移動させるものである。なお、このＸ−Ｙステージ１１４の駆動も、コントローラ１１２により制御される。
The optical system until the color image (non-confocal image) of the sample 106 is acquired as described above is the non-confocal optical system in the confocal microscope of FIG.
The XY stage 114 is a stage on which the sample 106 is placed and is driven on a plane (XY plane) perpendicular to the optical axis of the objective lens 105 disposed on the optical path of the laser microscope main body 100. Thus, the sample 106 is moved. The driving of the XY stage 114 is also controlled by the controller 112.
次に図２について説明する。図２は、図１に示したコントローラ１１２の機能構成の第一の例を示している。
このコントローラ１１２は、カラー画像信号受信部２００、共焦点画像信号受信部２０１、条件設定部２０２、二次元座標記憶部２０３、Ｘ−Ｙステージ管理部２０４、対物レンズ管理部２０５、画像転送Ｉ／Ｆ２０６、条件入力部２０７、広範囲画像構築部２０８、広範囲画像記憶部２０９、ライブ画像構築部２１０、ライブ画像記憶部２１１、及び、ライブ画像範囲管理部２１２を備えて構成されている。
Next, FIG. 2 will be described. FIG. 2 shows a first example of a functional configuration of the controller 112 shown in FIG.
The controller 112 includes a color image signal receiving unit 200, a confocal image signal receiving unit 201, a condition setting unit 202, a two-dimensional coordinate storage unit 203, an XY stage management unit 204, an objective lens management unit 205, an image transfer I / O. F206, a condition input unit 207, a wide range image construction unit 208, a wide range image storage unit 209, a live image construction unit 210, a live image storage unit 211, and a live image range management unit 212.
カラー画像信号受信部２００は、ＣＣＤカメラ１１７から送られてくるカラーの画像データを受信して、広範囲画像構築部２０８へ転送する。広範囲画像構築部２０８は、受信した画像データで表されている、カラーである試料１０６の非共焦点画像（広範囲画像）を構築し、構築された広範囲画像の画像データを広範囲画像記憶部２０９へ転送する。また、広範囲画像記憶部２０９は、広範囲画像構築部２０８から転送されてきた広範囲画像の画像データを記憶する。 The color image signal receiving unit 200 receives the color image data sent from the CCD camera 117 and transfers it to the wide range image construction unit 208. The wide range image construction unit 208 constructs a non-confocal image (wide range image) of the sample 106 that is a color represented by the received image data, and the image data of the constructed wide range image to the wide range image storage unit 209. Forward. In addition, the wide range image storage unit 209 stores the image data of the wide range image transferred from the wide range image construction unit 208.
共焦点画像信号受信部２０１は、ＡＤ変換器１１０から出力される輝度値情報のデータを受信してライブ画像構築部２１０へ転送する。
ライブ画像構築部２１０は、共焦点画像信号受信部２０１から転送されてきた輝度値情報のデータと、二次元走査部１０３による二次元走査の制御情報とに基づき、試料１０６の共焦点画像を、ライブ画像（試料１０６の現在の動画像）として構築する。そして、構築されたライブ画像の画像データをライブ画像記憶部２１１に転送して記憶させる。
The confocal image signal reception unit 201 receives the luminance value information data output from the AD converter 110 and transfers the data to the live image construction unit 210.
The live image construction unit 210 generates a confocal image of the sample 106 based on the brightness value information data transferred from the confocal image signal receiving unit 201 and the control information of the two-dimensional scanning performed by the two-dimensional scanning unit 103. It is constructed as a live image (current moving image of the sample 106). Then, the image data of the constructed live image is transferred to the live image storage unit 211 and stored.
画像転送Ｉ／Ｆ（インタフェース）２０６は、広範囲画像記憶部２０９及びライブ画像記憶部２１１に記憶されている画像データを読み出してモニタ１１３へ転送し、試料１０６の広範囲画像とライブ画像とを表示させる。 An image transfer I / F (interface) 206 reads out image data stored in the wide range image storage unit 209 and the live image storage unit 211 and transfers the image data to the monitor 113 to display the wide range image and the live image of the sample 106. .
条件入力部２０７は、モニタ１１３に表示される後述のＧＵＩ（グラフィカル・ユーザ・インタフェース）部品を利用してユーザが入力した各種の条件入力情報（対物レンズ１０５の倍率の情報やＸ−Ｙステージ１１４の移動先の座標値の情報など）を取得する。そして、取得した情報を、対物レンズ管理部２０５及び二次元座標記憶部２０３にそれぞれ転送する。二次元座標記憶部２０３は、条件入力部２０７から転送されてくるＸ−Ｙステージ１１４の移動先の座標値の情報を記憶する。 The condition input unit 207 inputs various condition input information (magnification information of the objective lens 105 and the XY stage 114) input by a user using a GUI (graphical user interface) component described later displayed on the monitor 113. Information on the coordinate value of the destination of the movement). Then, the acquired information is transferred to the objective lens management unit 205 and the two-dimensional coordinate storage unit 203, respectively. The two-dimensional coordinate storage unit 203 stores the coordinate value information of the movement destination of the XY stage 114 transferred from the condition input unit 207.
対物レンズ管理部２０５は、条件入力部２０７から転送されてくる対物レンズ１０５の倍率の情報を受け取り、その倍率の対物レンズ１０５を選択する指示を示す指示値の情報を、条件設定部２０２に転送する。 The objective lens management unit 205 receives the magnification information of the objective lens 105 transferred from the condition input unit 207 and transfers the instruction value information indicating an instruction to select the objective lens 105 having the magnification to the condition setting unit 202. To do.
Ｘ−Ｙステージ管理部２０４は、二次元座標記憶部２０３からＸ−Ｙステージ１１４の
移動先の座標値の情報を読み出すと共に、Ｘ−Ｙステージ１１４の現在の座標値を示す情報を取得する。そして、読み出した移動先の座標値と取得した現在の座標値とから、Ｘ−Ｙステージ１１４の移動量を算出し、算出した移動量を条件設定部２０２に転送する。
The XY stage management unit 204 reads information on the coordinate value of the movement destination of the XY stage 114 from the two-dimensional coordinate storage unit 203 and acquires information indicating the current coordinate value of the XY stage 114. Then, the movement amount of the XY stage 114 is calculated from the read coordinate value of the movement destination and the acquired current coordinate value, and the calculated movement amount is transferred to the condition setting unit 202.
条件設定部２０２は、対物レンズ管理部２０５から送られてくる指示値の情報と、Ｘ−Ｙステージ管理部２０４から送られてくる移動量の情報とに基づき、レボルバ１１１及びＸ−Ｙステージ１１４の駆動制御を行う。 The condition setting unit 202 is based on the instruction value information sent from the objective lens management unit 205 and the movement amount information sent from the XY stage management unit 204, and the revolver 111 and the XY stage 114. The drive control is performed.
ライブ画像範囲管理部２１２は、試料１０６の広範囲画像上における、試料１０６の共焦点画像の視野の範囲を管理する。
なお、コントローラ１１２として、演算部、記憶部、及びインタフェース部を備えて構成されている、パーソナルコンピュータ等の情報処理装置を用いることができる。ここで、演算部には、ＭＰＵ（演算処理装置）と、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）を含むメモリとを備えて構成されている。ここで、ＲＯＭには、所定の基本制御プログラムが予め記録されており、ＭＰＵが、この基本制御プログラムを演算部の起動時に読み出して実行することにより、演算部の各構成要素の動作制御が可能になる。また、ＲＡＭは、ＭＰＵが各種の制御プログラムを実行する際に、必要に応じて作業用記憶領域として使用する。ＭＰＵは、ＲＯＭから読み出した基本制御プログラムの実行完了後に、記憶部の所定の記憶領域に予め格納されている、図１の共焦点顕微鏡全体の制御プログラムを読み出して実行することにより、演算部の機能を提供する。ここで、演算部は、Ｘ−Ｙステージ管理部２０４、対物レンズ管理部２０５、広範囲画像構築部２０８、ライブ画像構築部２１０、及び、ライブ画像範囲管理部２１２として機能する。また、記憶部は、二次元座標記憶部２０３、広範囲画像記憶部２０９、及びライブ画像記憶部２１１として機能する。また、インタフェース部は、演算部による制御の下で、カラー画像信号受信部２００、共焦点画像信号受信部２０１、条件設定部２０２、画像転送Ｉ／Ｆ２０６、及び条件入力部２０７として機能する。
The live image range management unit 212 manages the range of the field of view of the confocal image of the sample 106 on the wide-range image of the sample 106.
As the controller 112, an information processing apparatus such as a personal computer that includes an arithmetic unit, a storage unit, and an interface unit can be used. Here, the arithmetic unit is configured to include an MPU (arithmetic processing unit) and a memory including a ROM (Read Only Memory) and a RAM (Random Access Memory). Here, a predetermined basic control program is pre-recorded in the ROM, and the MPU can control the operation of each component of the arithmetic unit by reading out and executing this basic control program when the arithmetic unit is activated. become. The RAM is used as a working storage area as necessary when the MPU executes various control programs. After completing the execution of the basic control program read from the ROM, the MPU reads and executes the control program for the entire confocal microscope of FIG. 1 stored in advance in a predetermined storage area of the storage unit. Provide functionality. Here, the calculation unit functions as an XY stage management unit 204, an objective lens management unit 205, a wide range image construction unit 208, a live image construction unit 210, and a live image range management unit 212. The storage unit functions as a two-dimensional coordinate storage unit 203, a wide range image storage unit 209, and a live image storage unit 211. The interface unit functions as a color image signal receiving unit 200, a confocal image signal receiving unit 201, a condition setting unit 202, an image transfer I / F 206, and a condition input unit 207 under the control of the calculation unit.
次に図３について説明する。図３は、コントローラ１１２がモニタ１１３に表示させる表示画面の第一の画面例を示している。この表示画面は、本実施例に係る図１の共焦点顕微鏡に所定の電力を供給して動作を開始させるとモニタ１１３に表示される。 Next, FIG. 3 will be described. FIG. 3 shows a first screen example of a display screen that the controller 112 displays on the monitor 113. This display screen is displayed on the monitor 113 when a predetermined power is supplied to the confocal microscope of FIG.
図３の表示画面は、ライブ画像表示部３０１と、広範囲画像表示部３０２と、対物レンズ設定部３０３と、ライブ画像表示開始／停止ボタン３０４とを備えて構成されている。
ライブ画像表示部３０１は、共焦点光学系によって得られた試料１０６の共焦点画像をライブ画像として表示する。
The display screen of FIG. 3 includes a live image display unit 301, a wide range image display unit 302, an objective lens setting unit 303, and a live image display start / stop button 304.
The live image display unit 301 displays a confocal image of the sample 106 obtained by the confocal optical system as a live image.
広範囲画像表示部３０２は、非共焦点光学系によって得られたカラー画像を広範囲画像として表示する。なお、広範囲画像表示部３０２は、Ｘ−Ｙステージ１１４を移動させるときの移動先の位置の指示の取得にも利用される。 The wide range image display unit 302 displays a color image obtained by the non-confocal optical system as a wide range image. Note that the wide-range image display unit 302 is also used to acquire an instruction of the position of the movement destination when the XY stage 114 is moved.
対物レンズ設定部３０３は、レボルバ１１１に装着されている複数の対物レンズ１０５のうち、レーザ顕微鏡本体１００の光路上に配置するものを選択するために利用されるＧＵＩ部品である。この対物レンズ設定部３０３を利用して倍率の選択が行われると、その選択を示す情報が条件入力部２０７で取得される。すると、前述したようにしてレボルバ１１１が駆動されて、選択された倍率の対物レンズ１０５が、レーザ顕微鏡本体１００の光路上に配置される。なお、この画面例では、倍率が、それぞれ５倍、１０倍、２０倍、５０倍、及び１００倍である対物レンズ１０５がレボルバ１１１に装着されている場合を示している。 The objective lens setting unit 303 is a GUI component that is used to select a plurality of objective lenses 105 mounted on the revolver 111 to be arranged on the optical path of the laser microscope main body 100. When the magnification is selected using the objective lens setting unit 303, information indicating the selection is acquired by the condition input unit 207. Then, the revolver 111 is driven as described above, and the objective lens 105 having the selected magnification is arranged on the optical path of the laser microscope main body 100. This screen example shows a case where the objective lens 105 having a magnification of 5, 10, 20, 50, and 100 is mounted on the revolver 111, respectively.
ライブ画像表示開始／停止ボタン３０４は、ライブ画像表示部３０１での試料１０６の
ライブ画像の表示の開始及び停止の指示ために利用されるＧＵＩ部品である。
以上のように、モニタ１１３で表示される表示画面では、試料１０６のライブ画像（共焦点画像）とカラー画像である広範囲画像（非共焦点画像）とが同時に表示される。
The live image display start / stop button 304 is a GUI component used for instructing start and stop of the live image display of the sample 106 on the live image display unit 301.
As described above, on the display screen displayed on the monitor 113, a live image (confocal image) of the sample 106 and a wide-range image (non-confocal image) that is a color image are displayed simultaneously.
なお、コントローラ１１２は、この他に、この表示画面に関連するユーザからの指示を取得するために、ユーザが指し示している表示画面上の位置を特定するカーソル３０５を、この表示画面上に表示させる。コントローラ１１２に接続されている、例えばマウス装置などの不図示のポインティングデバイスをユーザが操作して移動指示の入力を行うと、コントローラ１１２は、この表示画面上でカーソル３０５を当該移動指示に従って移動させる。 In addition to this, the controller 112 displays a cursor 305 for specifying the position on the display screen pointed to by the user on the display screen in order to obtain an instruction from the user related to the display screen. . When a user operates a pointing device (not shown) such as a mouse device connected to the controller 112 to input a movement instruction, the controller 112 moves the cursor 305 on the display screen according to the movement instruction. .
また、コントローラ１１２は、広範囲画像表示部３０２に表示した広範囲画像上に、ライブ画像表示部３０１に表示されているライブ画像の視野の範囲を示す視野範囲表示枠３０６を表示させる。 In addition, the controller 112 displays a field-of-view range display frame 306 indicating the range of the field of view of the live image displayed on the live image display unit 301 on the wide-range image displayed on the wide-range image display unit 302.
次に図４について説明する。図４は、コントローラ１１２により行われる、ライブ画像表示処理の処理内容をフローチャートで示したものである。
この処理が開始される前に、コントローラ１１２では、図３に例示した表示画面をモニタ１１３に表示させると共に、カーソル３０５をこの表示画面上に表示させる処理が行われる。次に、コントローラ１１２は、ユーザからの移動指示に従って、カーソル３０５を表示画面上で移動させる処理を行う。ここで、カーソル３０５がライブ画像表示開始／停止ボタン３０４を指し示しているときのユーザによるマウス装置へのクリック操作等により、ライブ画像表示開始／停止ボタン３０４を押下する指示を取得すると、コントローラ１１２は図４の処理を開始する。
Next, FIG. 4 will be described. FIG. 4 is a flowchart showing the contents of live image display processing performed by the controller 112.
Before this process is started, the controller 112 performs a process of displaying the display screen illustrated in FIG. 3 on the monitor 113 and displaying the cursor 305 on the display screen. Next, the controller 112 performs a process of moving the cursor 305 on the display screen in accordance with a movement instruction from the user. Here, when an instruction to press the live image display start / stop button 304 is acquired by a click operation on the mouse device by the user when the cursor 305 indicates the live image display start / stop button 304, the controller 112 The process of FIG. 4 is started.
図４において、まず、Ｓ１０１では、対物レンズ設定部３０３を利用して設定されている、この時点での対物レンズ１０５の指定内容が、最小倍率のもの（図３の例では５倍）を選択するものであるか否かを判定する処理を条件入力部２０７が行う。ここで、対物レンズ１０５の指定として最小倍率のものが選択されているとき（判定結果がＹｅｓのとき）には、この対物レンズ１０５が既にレーザ顕微鏡本体１００の光路上に配置されているとみなしてＳ１０３に処理を進める。一方、対物レンズ１０５の指定として最小倍率以外のものが選択されているとき（判定結果がＮｏのとき）にはＳ１０２に処理を進める。 In FIG. 4, first, in S101, the specified content of the objective lens 105 set at this time using the objective lens setting unit 303 is selected with the minimum magnification (5 times in the example of FIG. 3). The condition input unit 207 performs a process of determining whether or not to do so. Here, when the minimum magnification is selected as the designation of the objective lens 105 (when the determination result is Yes), it is considered that the objective lens 105 is already arranged on the optical path of the laser microscope main body 100. Then, the process proceeds to S103. On the other hand, when an object other than the minimum magnification is selected as the designation of the objective lens 105 (when the determination result is No), the process proceeds to S102.
Ｓ１０２では、レボルバ１１１を駆動制御して、最小倍率（図３の例では５倍）の対物レンズ１０５をレーザ顕微鏡本体１００の光路上に配置させる処理を条件設定部２０２が行う。 In S102, the condition setting unit 202 performs a process of controlling the drive of the revolver 111 to place the objective lens 105 having the minimum magnification (5 times in the example of FIG. 3) on the optical path of the laser microscope main body 100.
Ｓ１０３では、最小倍率の対物レンズ１０５を使用する非共焦点光学系を用いて、この時点における試料１０６の広範囲画像であるカラー画像（非共焦点画像）を取得して広範囲画像記憶部２０９で保存する処理を広範囲画像構築部２０８が行う。そして、続くＳ１０４では、この広範囲画像を広範囲画像記憶部２０９から読み出して、図３の表示画面における広範囲画像表示部３０２に表示させる処理を画像転送Ｉ／Ｆ２０６が行う。なお、このとき、表示画面における広範囲画像表示部３０２を囲む枠に示されている、広範囲画像の取得に使用した対物レンズ１０５の倍率の表示の更新も行われる。 In S103, using a non-confocal optical system using the objective lens 105 with the minimum magnification, a color image (non-confocal image) that is a wide-range image of the sample 106 at this time is acquired and stored in the wide-range image storage unit 209. The wide range image construction unit 208 performs the processing to be performed. In subsequent S104, the image transfer I / F 206 performs processing for reading out the wide-area image from the wide-area image storage unit 209 and displaying it on the wide-area image display unit 302 in the display screen of FIG. At this time, the display of the magnification of the objective lens 105 used for acquiring the wide range image shown in the frame surrounding the wide range image display unit 302 on the display screen is also updated.
Ｓ１０５では、対物レンズ設定部３０３を利用して設定されていた、この時点での対物レンズ１０５の指定内容が、最小倍率のものを選択するものであったか否かを判定する処理を条件入力部２０７が行う。なお、この判定処理は、直近に実行されたＳ１０１の判定結果をそのまま流用することができる。ここで、対物レンズ１０５の指定として最小倍率のものが選択されていたとき（判定結果がＹｅｓのとき）には、この対物レンズ１０５が
既にレーザ顕微鏡本体１００の光路上に配置されているとみなしてＳ１０８に処理を進める。一方、対物レンズ１０５の指定として最小倍率以外のものが選択されているとき（判定結果がＮｏのとき）にはＳ１０６に処理を進める。
In S105, the condition input unit 207 performs a process of determining whether or not the specified content of the objective lens 105 at this point in time, which has been set using the objective lens setting unit 303, is to select the one with the minimum magnification. Do. In this determination process, the determination result of S101 executed most recently can be used as it is. Here, when the minimum magnification is selected as the designation of the objective lens 105 (when the determination result is Yes), it is considered that the objective lens 105 is already arranged on the optical path of the laser microscope main body 100. Then, the process proceeds to S108. On the other hand, when an object other than the minimum magnification is selected as the designation of the objective lens 105 (when the determination result is No), the process proceeds to S106.
Ｓ１０６では、レボルバ１１１を駆動制御して、最小倍率（図３の例では５倍）のレーザ顕微鏡本体１００の光路上に配置する対物レンズ１０５を、直近に実行されたＳ１０２の処理以前に配置されていた倍率のものに戻させる処理を条件設定部２０２が行う。 In S106, the revolver 111 is driven and controlled, and the objective lens 105 arranged on the optical path of the laser microscope main body 100 with the minimum magnification (5 times in the example of FIG. 3) is arranged before the processing of S102 executed most recently. The condition setting unit 202 performs a process for returning to the scale factor that has been set.
Ｓ１０７では、表示画面の広範囲画像表示部３０２に表示した広範囲画像上に、前述した視野範囲表示枠３０６を表示させる処理を、ライブ画像範囲管理部２１２が画像転送Ｉ／Ｆ２０６を制御して行う。 In S107, the live image range management unit 212 controls the image transfer I / F 206 to display the above-described visual field range display frame 306 on the wide range image displayed on the wide range image display unit 302 of the display screen.
この時点においてレーザ顕微鏡本体１００の光路上に配置されている対物レンズ１０５は、次に説明する処理において試料１０６の共焦点画像の取得に使用されるものである。この対物レンズ１０５と、直近のＳ１０３の処理において試料１０６の広範囲画像の取得に使用したときの対物レンズ１０５とは、光軸が同一となる位置にレボルバ１１１によって配置されている。従って、視野範囲表示枠３０６は、広範囲画像の中心部に配置される。なお、視野範囲表示枠３０６のサイズは、ライブ画像表示部３０１で表示されるライブ画像のサイズを、この両者の対物レンズ１０５の倍率比に従って縮小したサイズとする。 At this time, the objective lens 105 disposed on the optical path of the laser microscope main body 100 is used for acquiring a confocal image of the sample 106 in the process described below. The objective lens 105 and the objective lens 105 when used for acquiring a wide range image of the sample 106 in the latest processing of S103 are arranged by the revolver 111 at a position where the optical axes are the same. Accordingly, the visual field range display frame 306 is arranged at the center of the wide-range image. Note that the size of the field-of-view range display frame 306 is a size obtained by reducing the size of the live image displayed on the live image display unit 301 in accordance with the magnification ratio of both the objective lenses 105.
Ｓ１０８からＳ１１４にかけての処理は、試料１０６の共焦点画像をライブ像として取得するためのライブ画像撮像ループ処理である。この処理では、後述する撮像停止フラグのセットが確認されるまで、条件入力部２０７が、Ｓ１０９からＳ１１３にかけての処理を各部に繰り返し行わせる。 The process from S108 to S114 is a live image capturing loop process for acquiring a confocal image of the sample 106 as a live image. In this processing, the condition input unit 207 causes each unit to repeatedly perform the processing from S109 to S113 until the setting of an imaging stop flag described later is confirmed.
まず、Ｓ１０９では、レーザ顕微鏡本体１００の光路上に配置されている対物レンズ１０５を使用する共焦点光学系を用いて、試料１０６の共焦点画像をライブ画像として取得してライブ画像記憶部２１１で保存する処理をライブ画像構築部２１０が行う。そして、続くＳ１１０では、このライブ画像をライブ画像記憶部２１１から読み出して、図３の表示画面におけるライブ画像表示部３０１に表示させる処理を画像転送Ｉ／Ｆ２０６が行う。なお、このとき、表示画面におけるライブ画像表示部３０１を囲む枠に示されている、ライブ画像の取得に使用した対物レンズ１０５の倍率の表示の更新も行われる。 First, in S109, the confocal optical system using the objective lens 105 disposed on the optical path of the laser microscope main body 100 is used to acquire a confocal image of the sample 106 as a live image, and the live image storage unit 211 uses the confocal image. The saving process is performed by the live image construction unit 210. In subsequent S110, the image transfer I / F 206 performs a process of reading out the live image from the live image storage unit 211 and displaying it on the live image display unit 301 in the display screen of FIG. At this time, the display of the magnification of the objective lens 105 used for acquiring the live image shown in the frame surrounding the live image display unit 301 on the display screen is also updated.
Ｓ１１１では、マウス装置へのクリック操作等により、カーソル３０５がこの時点で指し示している位置（カーソル位置）の取得要求をユーザが指示している場合には、そのカーソル位置の指定を取得する処理を条件入力部２０７が行う。なお、このとき、取得したカーソル位置の指定が広範囲画像表示部３０２に表示した広範囲画像上であるか否かをライブ画像範囲管理部２１２が監視している。この監視において、カーソル位置の指定が広範囲画像上であると判明した場合には、条件入力部２０７が、そのカーソル位置の情報を、Ｘ−Ｙステージ１１４の移動先の座標値の情報として、二次元座標記憶部２０３に転送して記憶させる。一方、この監視において、カーソル位置の指定が広範囲画像外であると判明した場合には、直後のＳ１１２及びＳ１１３の処理の実行を中止して、後述する図５の割り込み処理が開始される。 In S111, when the user instructs the acquisition request for the position (cursor position) pointed to by the cursor 305 at this time point by a click operation on the mouse device or the like, a process for acquiring designation of the cursor position is performed. Performed by the condition input unit 207. At this time, the live image range management unit 212 monitors whether or not the acquired designation of the cursor position is on the wide range image displayed on the wide range image display unit 302. In this monitoring, when it is determined that the designation of the cursor position is on a wide-range image, the condition input unit 207 uses the information on the cursor position as the information on the coordinate value of the movement destination of the XY stage 114, and the two. It is transferred to the dimensional coordinate storage unit 203 and stored. On the other hand, in this monitoring, when it is determined that the cursor position is specified outside the wide range image, the execution of the processes of S112 and S113 immediately after is stopped, and the interrupt process of FIG. 5 described later is started.
Ｓ１１２では、まず、二次元座標記憶部２０３に記憶された座標値の情報を読み出し、その情報に基づいてＸ−Ｙステージ１１４の移動量を算出する処理をＸ−Ｙステージ管理部２０４が行う。そして、算出された移動量の情報に基づいて、試料１０６が載置されているＸ−Ｙステージ１１４の駆動制御を行う処理を条件設定部２０２が行う。この処理により、試料１０６の広範囲画像におけるカーソル位置に対応する部位の共焦点画像が、直近に行われるＳ１０９の処理により取得される位置へ、試料１０６が移動される。 In S112, first, the XY stage management unit 204 performs processing for reading the coordinate value information stored in the two-dimensional coordinate storage unit 203 and calculating the movement amount of the XY stage 114 based on the information. Then, the condition setting unit 202 performs a process for controlling the driving of the XY stage 114 on which the sample 106 is placed based on the calculated movement amount information. By this process, the sample 106 is moved to a position where the confocal image of the part corresponding to the cursor position in the wide-range image of the sample 106 is acquired by the process of S109 performed most recently.
Ｓ１１３では、表示画面の広範囲画像表示部３０２に表示されている広範囲画像上で、前述した視野範囲表示枠３０６を移動させる処理を、ライブ画像範囲管理部２１２が画像転送Ｉ／Ｆ２０６を制御して行う。この処理では、表示中の視野範囲表示枠３０６を条件入力部２０７が取得したカーソル位置へ移動させる。 In S113, the live image range management unit 212 controls the image transfer I / F 206 to perform the process of moving the visual field range display frame 306 described above on the wide range image displayed on the wide range image display unit 302 of the display screen. Do. In this process, the visual field range display frame 306 being displayed is moved to the cursor position acquired by the condition input unit 207.
Ｓ１１４では、後述する撮像停止フラグのセットを確認する処理を条件入力部２０７が行う。ここで、撮像停止フラグのセットが確認されれば、このライブ画像撮像ループ処理を抜けてＳ１１５に処理を進め、確認できなければ、ライブ画像撮像ループ処理を再度繰り返す。ライブ画像撮像ループ処理を抜けると、ライブ画像表示部３０１で表示中のライブ画像は静止画像となる。 In step S114, the condition input unit 207 performs processing for confirming the setting of an imaging stop flag, which will be described later. If the setting of the imaging stop flag is confirmed, the live image capturing loop process is skipped and the process proceeds to S115. If the confirmation is not confirmed, the live image capturing loop process is repeated again. After exiting the live image capturing loop process, the live image being displayed on the live image display unit 301 becomes a still image.
Ｓ１１５では、セットされていることが確認された撮像停止フラグをクリアする処理を条件入力部２０７が行う。
Ｓ１１６では、後述する割り込み要因レジスタの値を確認して、割り込みの発生要因が何かを判別処理を条件入力部２０７が行う。ここで、割り込みの発生要因が、対物レンズ１０５の切り替え指示の取得、若しくは、広範囲画像外のカーソル位置の指定の取得であると判別した場合には、Ｓ１１７に処理を進める。一方、割り込みの発生要因が、ライブ画像表示開始／停止ボタン３０４を押下する指示の取得であると判別した場合には、この図４の処理を終了する。
In S115, the condition input unit 207 performs a process of clearing the imaging stop flag that is confirmed to be set.
In S116, the condition input unit 207 checks the value of an interrupt factor register, which will be described later, and determines the cause of the interrupt. If it is determined that the cause of the interruption is acquisition of an instruction to switch the objective lens 105 or specification of the cursor position outside the wide-range image, the process proceeds to S117. On the other hand, if it is determined that the cause of the interruption is the acquisition of an instruction to press the live image display start / stop button 304, the processing of FIG.
Ｓ１１７では、後述する割り込み要因レジスタの値をクリアする処理を条件入力部２０７が行う。
以上までの処理がライブ画像表示処理である。この処理がコントローラ１１２で行われることにより、試料１０６において観察を所望する対象部位を広範囲画像に対しカーソル３０５により指し示す操作を行うことで、その対象部位のライブ画像が、ライブ画像表示部３０１で表示される。
In S117, the condition input unit 207 performs processing for clearing a value of an interrupt factor register, which will be described later.
The above processing is the live image display processing. By performing this process in the controller 112, the live image of the target part is displayed on the live image display unit 301 by performing an operation of pointing the target part desired to be observed in the sample 106 with the cursor 305 with respect to the wide range image. Is done.
次に図５について説明する。図５は、割り込み処理の処理内容をフローチャートで示したものである。この処理は、図４のライブ画像表示処理の実行中に、対物レンズ１０５の切り替え指示、広範囲画像外のカーソル位置の指定、及び、ライブ画像表示開始／停止ボタン３０４を押下する指示のいずれかの開始要因を条件入力部２０７が取得すると開始される。 Next, FIG. 5 will be described. FIG. 5 is a flowchart showing the processing contents of the interrupt processing. This process is one of the instruction to switch the objective lens 105, the specification of the cursor position outside the wide range image, and the instruction to press the live image display start / stop button 304 during the execution of the live image display process of FIG. The process is started when the condition input unit 207 acquires a start factor.
図５において、まず、Ｓ２０１では、今回の割り込み処理が開始された要因を、上述の開始要因のうちから識別する値を割り込み要因レジスタにセットする処理を条件入力部２０７が行う。 In FIG. 5, first, in S201, the condition input unit 207 performs a process of setting a value for identifying the cause of the start of the current interrupt process from the above-described start factors in the interrupt factor register.
次に、Ｓ２０２では、実行途中のライブ画像表示処理によるライブ画像の表示を一時的に静止画像とするために、撮像停止フラグをセットする処理を条件入力部２０７が行い、その後はこの割り込み処理が終了する。 Next, in step S202, the condition input unit 207 performs a process of setting an imaging stop flag in order to temporarily display a live image by the live image display process in the middle of execution, and thereafter this interrupt process is performed. finish.
以上までの処理が割り込み処理である。
例えば、広範囲画像外のカーソル位置の指定の取得によってこの割り込み処理が実行されると、図４のライブ画像表示処理では、ライブ画像撮像ループ処理を抜けてＳ１１５からＳ１１７の処理がまず行われ、その後はＳ１０１からの処理が行われる。すると、Ｓ１０１からＳ１０４の処理が改めて実行されるので、この時点における試料１０６の広範囲画像であるカラー画像（非共焦点画像）が再取得され、広範囲画像表示部３０２での表示が、ここで取得された広範囲画像へと自動的に更新される。
The above processing is the interrupt processing.
For example, when this interrupt process is executed by acquiring the designation of the cursor position outside the wide-range image, the live image display process in FIG. 4 first goes through the live image capturing loop process, and then the processes from S115 to S117 are performed first. The process from S101 is performed. Then, since the processing from S101 to S104 is executed again, a color image (non-confocal image) that is a wide range image of the sample 106 at this time is re-acquired, and the display on the wide range image display unit 302 is acquired here. Automatically updated to a wide range of images.
また、例えば、対物レンズ１０５の切り替え指示の取得によってこの割り込み処理が実行された場合には、まず、この指示を取得した条件入力部２０７が、この指示の情報を対物レンズ管理部２０５へ転送する。対物レンズ管理部２０５は、この指示の情報を受け取ると、この指示に係る倍率の対物レンズ１０５を選択する指示を示す指示値の情報を、条件設定部２０２に転送する。条件設定部２０２は、この指示値の情報に基づきレボルバ１１１の駆動制御を行って、この指示に係る倍率の対物レンズ１０５を、レーザ顕微鏡本体１００の光路上に配置させる。こうして、共焦点画像の取得に使用される対物レンズ１０５の倍率が変更されることによって、取得される共焦点画像の視野の範囲が変更される。 For example, when this interruption process is executed by acquiring an instruction to switch the objective lens 105, the condition input unit 207 that has acquired the instruction first transfers information on the instruction to the objective lens management unit 205. . Upon receiving the instruction information, the objective lens management unit 205 transfers instruction value information indicating an instruction to select the objective lens 105 having the magnification according to the instruction to the condition setting unit 202. The condition setting unit 202 performs drive control of the revolver 111 based on the information of the instruction value, and places the objective lens 105 having the magnification according to the instruction on the optical path of the laser microscope main body 100. Thus, the range of the field of view of the acquired confocal image is changed by changing the magnification of the objective lens 105 used for acquiring the confocal image.
なお、この場合でも、図４のライブ画像表示処理では、ライブ画像撮像ループ処理を抜けてＳ１１５からＳ１１７の処理がまず行われ、その後はＳ１０１からの処理が行われる。従って、Ｓ１０１からＳ１０４にかけての処理により、広範囲画像表示部３０２での表示が、この時点で改めて取得された広範囲画像へと自動的に更新される。更に、この後のＳ１０５からＳ１０７にかけての処理により、更新後の広範囲画像上に視野範囲表示枠３０６が表示される。なお、前述したように、このときの視野範囲表示枠３０６のサイズは、ライブ画像表示部３０１で表示されるライブ画像のサイズを、この両者の対物レンズ１０５の倍率比に従って縮小したものである。従って、共焦点画像の取得に使用される対物レンズ１０５の倍率が変更されるので、視野範囲表示枠３０６のサイズも変化する。つまり、ライブ画像範囲管理部２１２は、使用する対物レンズ１０５の倍率の変更による共焦点画像の視野の範囲の変化に応じて、視野範囲表示枠３０６のサイズを変化させる。 Even in this case, in the live image display process of FIG. 4, the process from S115 to S117 is first performed after the live image capturing loop process, and thereafter the process from S101 is performed. Therefore, the display on the wide area image display unit 302 is automatically updated to the wide area image newly acquired at this time by the processing from S101 to S104. Further, the visual field range display frame 306 is displayed on the updated wide-range image by the subsequent processing from S105 to S107. As described above, the size of the field-of-view range display frame 306 at this time is obtained by reducing the size of the live image displayed on the live image display unit 301 in accordance with the magnification ratio of both the objective lenses 105. Accordingly, since the magnification of the objective lens 105 used for acquiring the confocal image is changed, the size of the visual field range display frame 306 is also changed. That is, the live image range management unit 212 changes the size of the field-of-view range display frame 306 in accordance with the change in the field-of-view range of the confocal image due to the change in the magnification of the objective lens 105 to be used.
以上のように、本実施例に係る共焦点顕微鏡では、焦点深度が浅い共焦点画像と共に、焦点深度の深い顕微鏡画像（カラー画像）を表示して、深度方向及び視野範囲の情報をこの顕微鏡画像（カラー画像）で補うようにしている。従って、試料１０６の全体像に対する観察部位の位置関係を特定することが容易である。その結果、共焦点画像を取得する際の操作性が格段に向上する。 As described above, in the confocal microscope according to the present embodiment, a microscopic image (color image) having a deep focal depth is displayed together with a confocal image having a shallow focal depth, and information on the depth direction and the visual field range is displayed on the microscopic image. (Color image) is supplemented. Therefore, it is easy to specify the positional relationship of the observation site with respect to the entire image of the sample 106. As a result, operability when acquiring a confocal image is significantly improved.
なお、本実施例では、広範囲画像表示部３０２に表示する広範囲画像は、レボルバ１１１に装着されている対物レンズ１０５のうち最小倍率のものを用いて取得している。ここで、広範囲画像とライブ画像とをそれぞれ取得する際の対物レンズ１０５の倍率の関係が、広範囲画像（カラー画像）＜ライブ画像（共焦点画像）であれば、本願発明の効果を得ることができる。つまり、試料１０６の共焦点画像の取得に用いる対物レンズ１０５の倍率が、試料１０６の非共焦点画像の取得に用いる対物レンズ１０５の倍率よりも高倍率であれば、本願発明の効果を得ることができる。なお、本実施例では、Ｓ１０５の判定結果がＹｅｓの場合、すなわち、ライブ画像の取得と広範囲画像の取得とに使用する対物レンズ１０５がどちらも最小倍率で同一である場合もライブ画像及び広範囲画像の表示をサポートしている。但し、この場合には、視野範囲表示枠３０６は表示されない。 In this embodiment, the wide-range image displayed on the wide-range image display unit 302 is acquired using the objective lens 105 mounted on the revolver 111 with the minimum magnification. Here, if the relationship between the magnifications of the objective lens 105 when acquiring the wide range image and the live image is wide range image (color image) <live image (confocal image), the effect of the present invention can be obtained. it can. That is, if the magnification of the objective lens 105 used for acquiring the confocal image of the sample 106 is higher than the magnification of the objective lens 105 used for acquiring the non-confocal image of the sample 106, the effect of the present invention can be obtained. Can do. In this embodiment, when the determination result in S105 is Yes, that is, when the objective lens 105 used for acquiring the live image and the wide-area image is the same at the minimum magnification, the live image and the wide-area image are also displayed. The display of is supported. However, in this case, the visual field range display frame 306 is not displayed.
また、本実施例では、広範囲画像の取得及び広範囲画像表示部３０２での表示・更新を自動で行うようにしている。この代わりに、ユーザが行う所定の指示を条件入力部２０７が取得するようにして、この所定の指示を取得した時点で図４のＳ１０１からＳ１０７にかけての処理をコントローラ１１２で実行させて、広範囲画像の取得及び表示・更新を行うようにしてもよい。 Further, in this embodiment, the acquisition of the wide range image and the display / update on the wide range image display unit 302 are automatically performed. Instead, the condition input unit 207 acquires a predetermined instruction given by the user, and when the predetermined instruction is acquired, the processing from S101 to S107 in FIG. Acquisition, display, and update may be performed.
また、図１の共焦点顕微鏡の構成において、ＣＣＤカメラ１１７の代わりに、撮像素子としてＣＣＤを使用しない、他の方式の撮像装置を用いてもよい。
また、本実施例におけるライブ画像の視野の移動のための指示として、前述したカーソル３０５を利用したマウス装置のクリック操作による指示の他に、例えば、マウス装置のドラッグ＆ドロップ操作による指示を条件入力部２０７で取得するようにしてもよい。更には、図３に例示した表示画面を利用するＧＵＩ操作の代わりに、ジョイスティックなど
の機構を用いた駆動指示手段での駆動指示を取得してＸ−Ｙステージ１１４を駆動制御するようにしてもよい。
Further, in the configuration of the confocal microscope of FIG. 1, instead of the CCD camera 117, another type of imaging apparatus that does not use a CCD as an imaging element may be used.
In addition, as an instruction for moving the visual field of the live image in the present embodiment, in addition to the instruction by the click operation of the mouse device using the cursor 305 described above, for example, an instruction by the drag and drop operation of the mouse device is input as a condition. It may be acquired by the unit 207. Furthermore, instead of the GUI operation using the display screen illustrated in FIG. 3, the drive instruction by the drive instruction unit using a mechanism such as a joystick is acquired to control the drive of the XY stage 114. Good.
また、本実施例では、ライブ画像の視野の範囲の変更を、倍率の異なる対物レンズ１０５への切り替えにより行うようにしている。この代わりに、二次元走査部１０３による二次元走査の走査幅を変化させて行う光学ズームにより視野の範囲を変更するようにしてもよい。なお、この場合には、図６に示す表示画面の第二の画面例のように、光学ズームの倍率の設定指示のためのＧＵＩ部品である光学ズーム設定部３１０を表示画面に追加配置し、光学ズーム設定部３１０を利用して行う指示に従って当該走査幅を変化させるようにする。ここで、光学ズーム設定部３１０を用いて光学ズームにより観察倍率の変更を行った場合には、図４の処理により、広範囲画像表示部３０２上の視野範囲表示枠３０６のサイズを、当該変更に従って変化させるようにする。 In the present embodiment, the range of the field of view of the live image is changed by switching to the objective lens 105 having a different magnification. Instead, the field of view range may be changed by optical zoom performed by changing the scanning width of the two-dimensional scanning by the two-dimensional scanning unit 103. In this case, as shown in the second screen example of the display screen shown in FIG. 6, an optical zoom setting unit 310 that is a GUI component for setting an optical zoom magnification is additionally arranged on the display screen. The scanning width is changed in accordance with an instruction made using the optical zoom setting unit 310. Here, when the observation magnification is changed by optical zoom using the optical zoom setting unit 310, the size of the visual field range display frame 306 on the wide-range image display unit 302 is changed according to the change by the processing of FIG. Try to change.
更に、ライブ画像の視野の範囲の変更を、ライブ画像構築部２１０での拡大画像処理（いわゆるデジタルズーム）によって行うようにしてもよい。 Furthermore, the range of the field of view of the live image may be changed by enlarged image processing (so-called digital zoom) in the live image construction unit 210.
本実施例に係る共焦点顕微鏡では、試料１０６の三次元貼り合せ画像を生成する。すなわち、まず、前述の広範囲画像上で、共焦点画像（ライブ画像）の視野の広さに対応する撮像領域を複数設定する。そして、試料１０６と対物レンズ１０５との相対距離を所定値ずつ変化させる毎に、試料１０６の当該撮像領域内の共焦点画像を取得し、取得時の当該相対距離と取得した共焦点画像との関係に基づいて試料１０６各部の高さ情報を取得する。そして、取得した高さ情報に基づいて試料１０６の当該撮像領域内の三次元画像を生成する。この撮像領域内の三次元画像を、広範囲画像上に設定した複数の撮像領域毎に生成し、生成された撮像領域毎の三次元画像を貼り合わせて、当該撮像領域の範囲よりも広い範囲の三次元画像を得る。 In the confocal microscope according to the present embodiment, a three-dimensional bonded image of the sample 106 is generated. That is, first, a plurality of imaging regions corresponding to the wide field of view of the confocal image (live image) are set on the above-described wide-range image. Each time the relative distance between the sample 106 and the objective lens 105 is changed by a predetermined value, a confocal image in the imaging area of the sample 106 is acquired, and the relative distance at the time of acquisition and the acquired confocal image are calculated. Based on the relationship, the height information of each part of the sample 106 is acquired. Then, a three-dimensional image in the imaging region of the sample 106 is generated based on the acquired height information. A three-dimensional image in this imaging region is generated for each of a plurality of imaging regions set on a wide-range image, and the generated three-dimensional image for each imaging region is pasted to create a wider range than the range of the imaging region. Obtain a three-dimensional image.
本実施例も、図１に示した構成の共焦点顕微鏡で本発明を実施する。
まず図７について説明する。図７は、図１に示したコントローラ１１２の機能構成の第二の例を示している。
In the present embodiment, the present invention is also implemented by the confocal microscope having the configuration shown in FIG.
First, FIG. 7 will be described. FIG. 7 shows a second example of the functional configuration of the controller 112 shown in FIG.
このコントローラ１１２は、図２に示した第一の例と同様の構成に加えて、Ｚ駆動管理部２１３、撮像条件記憶部２１４、三次元画像構築部２１５、三次元画像記憶部２１６、三次元貼り合せ画像構築部２１７、及び、三次元貼り合せ画像記憶部２１８を備えて構成されている。ここでは、この追加された構成要素について説明する。 In addition to the same configuration as the first example shown in FIG. 2, the controller 112 includes a Z drive management unit 213, an imaging condition storage unit 214, a 3D image construction unit 215, a 3D image storage unit 216, a 3D A composite image construction unit 217 and a three-dimensional composite image storage unit 218 are provided. Here, the added component will be described.
Ｚ駆動管理部２１３は、レボルバ１１１を駆動してＺ方向に移動させるときの移動先の位置座標を撮像条件記憶部２１４から読み出す。そして、レボルバ１１１の現在の位置座標と、受け取った移動先の位置座標とに基づき、レボルバ１１１のＺ方向の移動量を算出し、算出した移動量を条件設定部２０２に転送する。なお、条件設定部２０２は、Ｚ駆動管理部２１３から送られてくる移動量の情報に基づき、レボルバ１１１のＺ方向の駆動制御も行う。 The Z drive management unit 213 reads from the imaging condition storage unit 214 the position coordinates of the movement destination when the revolver 111 is driven to move in the Z direction. Based on the current position coordinates of the revolver 111 and the received position coordinates of the destination, the amount of movement of the revolver 111 in the Z direction is calculated, and the calculated amount of movement is transferred to the condition setting unit 202. The condition setting unit 202 also performs drive control of the revolver 111 in the Z direction based on the movement amount information sent from the Z drive management unit 213.
撮像条件記憶部２１４は、後述する撮像領域毎の撮像条件として、輝度値と、Ｚ方向の駆動範囲の上限値及び下限値とを条件入力部２０７から受け取って、図８に示すデータ構造例のように、当該撮像領域毎に記憶しておく。 The imaging condition storage unit 214 receives the luminance value and the upper limit value and lower limit value of the driving range in the Z direction from the condition input unit 207 as imaging conditions for each imaging region to be described later, and the data structure example illustrated in FIG. As described above, it is stored for each imaging region.
図８では、識別番号を付した「領域」毎に、撮像領域の位置を特定する「中心Ｘ座標」及び「中心Ｙ座標」と、Ｚ方向の駆動範囲の「上限」及び「下限」と、撮像領域間での受光量のばらつき調整用の「輝度」の相対値とを、対応付けておくことが表されている。 In FIG. 8, “center X coordinate” and “center Y coordinate” for specifying the position of the imaging region, “upper limit” and “lower limit” of the driving range in the Z direction, for each “area” with an identification number, It shows that the relative value of “brightness” for adjusting the variation in the amount of received light between the imaging regions is associated.
三次元画像構築部２１５は、輝度値情報のデータを共焦点画像信号受信部２０１から受け取り、この情報と条件設定部２０２から受け取るレボルバ１１１のＺ方向の位置情報とに基づき、前述したようにして、撮像領域毎の三次元画像を構築する。そして、構築した撮像領域毎の三次元画像の画像データを三次元画像記憶部２１６へ転送する。また、三次元画像記憶部２１６は、三次元画像構築部２１５から転送されてきた撮像領域毎の三次元画像の画像データを記憶する。 The three-dimensional image construction unit 215 receives the luminance value information data from the confocal image signal reception unit 201, and based on this information and the position information in the Z direction of the revolver 111 received from the condition setting unit 202, as described above. Then, a three-dimensional image for each imaging region is constructed. Then, the constructed 3D image data for each imaging region is transferred to the 3D image storage unit 216. The 3D image storage unit 216 stores the image data of the 3D image for each imaging area transferred from the 3D image construction unit 215.
三次元貼り合せ画像構築部２１７は、三次元画像記憶部２１６に記憶されている撮像領域毎の三次元画像の画像データを読み出し、撮像条件記憶部２１４に記憶されている各撮像領域の位置情報に基づいて、撮像領域毎の三次元画像の貼り合わせを行う。そして、構築した三次元貼り合せ画像の画像データを三次元貼り合せ画像記憶部２１８へ転送する。また、三次元貼り合せ画像記憶部２１８は、三次元貼り合せ画像構築部２１７から転送されてきた三次元貼り合せ画像の画像データを記憶する。 The three-dimensional composite image construction unit 217 reads the image data of the three-dimensional image for each imaging region stored in the three-dimensional image storage unit 216, and the position information of each imaging region stored in the imaging condition storage unit 214 Based on the above, the three-dimensional images are combined for each imaging region. Then, the constructed image data of the 3D composite image is transferred to the 3D composite image storage unit 218. Further, the three-dimensional composite image storage unit 218 stores the image data of the three-dimensional composite image transferred from the three-dimensional composite image construction unit 217.
次に図９について説明する。図９は、コントローラ１１２がモニタ１１３に表示させる表示画面の第三の画面例を示している。この表示画面は、本実施例に係る図１の共焦点顕微鏡に所定の電力を供給して動作を開始させるとモニタ１１３に表示される。 Next, FIG. 9 will be described. FIG. 9 shows a third screen example of the display screen that the controller 112 displays on the monitor 113. This display screen is displayed on the monitor 113 when a predetermined power is supplied to the confocal microscope of FIG.
この画面例は、図３に示した第一の例と同様の構成に加えて、Ｚ駆動指示部３１１、下限設定部３１２、上限設定部３１３、輝度値設定部３１４、及び三次元撮像開始ボタン３１５を備えて構成される。ここでは、まず、この追加された構成要素について説明する。 In this screen example, in addition to the same configuration as the first example shown in FIG. 3, a Z drive instruction unit 311, a lower limit setting unit 312, an upper limit setting unit 313, a luminance value setting unit 314, and a 3D imaging start button 315 is provided. Here, first, the added component will be described.
Ｚ駆動指示部３１１は、レボルバ１１１のＺ方向における移動方向及び移動間隔の指示に利用されるＧＵＩ部品である。ユーザが所定の操作を行ってＺ駆動指示部３１１の上方向ボタン若しくは下方向ボタンを押下する指示を行うと、表示欄の値が変化し、この値の符号及び数値が、それぞれ移動方向及び移動間隔の指示の取得結果となる。 The Z drive instruction unit 311 is a GUI component used for instructing the movement direction and movement interval of the revolver 111 in the Z direction. When the user performs a predetermined operation and gives an instruction to press the up button or the down button of the Z drive instruction unit 311, the value in the display field changes, and the sign and value of this value are the movement direction and movement, respectively. This is the result of obtaining the interval instruction.
下限設定部３１２は、三次元画像の構築のためにＺ方向に移動するレボルバ１１１の下限位置の指示に利用されるＧＵＩ部品である。ユーザが所定の操作を行って表示欄の数値の入力と「設定」のボタンの押下との指示を行うと、この数値が下限位置の指示の取得結果となる。 The lower limit setting unit 312 is a GUI component that is used to indicate the lower limit position of the revolver 111 that moves in the Z direction in order to construct a three-dimensional image. When the user performs a predetermined operation to input a numerical value in the display column and press the “set” button, this numerical value becomes the acquisition result of the lower limit position instruction.
上限設定部３１３は、三次元画像の構築のためにＺ方向に移動するレボルバ１１１の上限位置の指示に利用されるＧＵＩ部品である。ユーザが所定の操作を行って表示欄の数値の入力と「設定」のボタンの押下との指示を行うと、この数値が上限位置の指示の取得結果となる。 The upper limit setting unit 313 is a GUI component that is used to indicate the upper limit position of the revolver 111 that moves in the Z direction in order to construct a three-dimensional image. When the user performs a predetermined operation to give an instruction to input a numerical value in the display column and press the “set” button, this numerical value becomes the acquisition result of the upper limit position instruction.
輝度値設定部３１４は、三次元画像の構築のために共焦点画像を取得するときにおける最大輝度値の指示に利用されるＧＵＩ部品である。ユーザが所定の操作を行って輝度値設定部３１４のスライドバーを移動させる指示を行うと、表示欄の数値がその移動後の位置に応じて変化し、この数値が、最大輝度値の指示の取得結果となる。 The luminance value setting unit 314 is a GUI component that is used to specify a maximum luminance value when acquiring a confocal image for constructing a three-dimensional image. When the user performs an instruction to move the slide bar of the luminance value setting unit 314 by performing a predetermined operation, the numerical value in the display column changes according to the position after the movement, and this numerical value indicates the instruction for the maximum luminance value. It becomes an acquisition result.
三次元撮像開始ボタン３１５は、三次元画像の構築動作の開始の指示のために利用されるＧＵＩ部品である。
なお、この図９の画面例では、カーソル３０５及び視野範囲表示枠３０６の代わりに、撮像領域設定カーソル３１６及び撮像領域表示枠３１７が広範囲画像表示部３０２に表示される広範囲画像上に表示されている。ユーザが所定の操作を行って撮像領域設定カーソル３１６を移動させると、その移動後の位置に応じ、ライブ画像の視野の広さに対応する撮像領域が広範囲画像上で複数設定される（図９の例では、４×４＝１６の領域が設定さ
れている）。撮像領域表示枠３１７は、このようにして設定された各撮像領域の位置を広範囲画像上で表示するものである。
The 3D imaging start button 315 is a GUI component used for instructing the start of a 3D image construction operation.
In the screen example of FIG. 9, an imaging area setting cursor 316 and an imaging area display frame 317 are displayed on a wide area image displayed on the wide area image display unit 302 instead of the cursor 305 and the visual field range display frame 306. Yes. When the user performs a predetermined operation to move the imaging area setting cursor 316, a plurality of imaging areas corresponding to the field of view of the live image are set on the wide-range image according to the position after the movement (FIG. 9). In the example, 4 × 4 = 16 areas are set). The imaging area display frame 317 displays the position of each imaging area set in this way on a wide range image.
次に図１０について説明する。図１０は、コントローラ１１２により行われる、三次元画像取得準備処理の処理内容をフローチャートで示したものである。
この処理が開始される前に、コントローラ１１２では、所定の動作モード切り替え指示（三次元貼り合せ画像取得モードへの切り替え指示）を行って図９に例示した表示画面をモニタ１１３に表示させる。そして、所定の操作によるライブ画像表示開始／停止ボタン３０４の押下指示に応じて、前述した図４のライブ画像表示処理を実行して試料１０６の広範囲画像及びライブ画像を当該表示画面上で表示させる。更に、撮像領域設定カーソル３１６を広範囲画像上に表示させて、ユーザによる撮像領域の設定の指示を取得可能な状態とする。
Next, FIG. 10 will be described. FIG. 10 is a flowchart showing the contents of the 3D image acquisition preparation process performed by the controller 112.
Before this process is started, the controller 112 gives a predetermined operation mode switching instruction (switching instruction to the three-dimensional composite image acquisition mode) to display the display screen illustrated in FIG. Then, in response to an instruction to press the live image display start / stop button 304 by a predetermined operation, the above-described live image display process of FIG. 4 is executed to display a wide range image and a live image of the sample 106 on the display screen. . Further, the imaging area setting cursor 316 is displayed on the wide range image so that the user can acquire an instruction for setting the imaging area.
ここで、ユーザが所定の操作（例えばマウス装置のドラッグ＆ドロップ操作）を行って撮像領域設定カーソル３１６を移動させる指示を行った場合には、コントローラ１１２の条件入力部２０７はその指示を取得する処理を行う。そして、その移動開始時の位置と移動終了時の位置近傍とを対角の頂点とし、ライブ画像の視野の範囲を示す正方形を複数並べて構成した長方形の撮像領域表示枠３１７を、広範囲画像上に表示する処理をライブ画像範囲管理部２１２が行う。更に、ライブ画像範囲管理部２１２は、撮像領域表示枠３１７の長方形を構成している各正方形の中心位置を示す二次元座標の情報を撮像条件記憶部２１４に転送し、各撮像領域を識別する領域番号に対応付けて記憶させる処理を行う。以上の処理によって、三次元貼り合せ画像における貼り合わせの範囲の設定（すなわち、複数の撮像領域の広範囲画像上での設定）が行われる。 Here, when the user performs a predetermined operation (for example, drag and drop operation of the mouse device) to give an instruction to move the imaging region setting cursor 316, the condition input unit 207 of the controller 112 acquires the instruction. Process. Then, a rectangular imaging area display frame 317 configured by arranging a plurality of squares indicating the field of view of the live image, with the position at the start of movement and the vicinity of the position at the end of movement as diagonal vertices, is displayed on the wide-range image. The live image range management unit 212 performs a display process. Further, the live image range management unit 212 transfers information of two-dimensional coordinates indicating the center position of each square constituting the rectangle of the imaging region display frame 317 to the imaging condition storage unit 214 and identifies each imaging region. A process of storing in association with the area number is performed. With the above processing, the setting of the range of combining in the three-dimensional combined image (that is, setting on a wide range image of a plurality of imaging regions) is performed.
また、その後、ユーザが下限設定部３１２、上限設定部３１３、及び輝度値設定部３１４を利用した所定の操作を行って各撮像領域についての各数値の設定の指示を行った場合には、設定された数値を取得する処理を条件入力部２０７が行う。そして、取得した数値を撮像条件記憶部２１４に転送し、各撮像領域を識別する領域番号に対応付けて記憶させる。以上の処理によって、各撮像領域についての撮像条件の設定が行われる。 After that, when the user performs a predetermined operation using the lower limit setting unit 312, the upper limit setting unit 313, and the luminance value setting unit 314 to instruct setting of each numerical value for each imaging region, the setting is performed. The condition input unit 207 performs a process of acquiring the numerical value. Then, the acquired numerical value is transferred to the imaging condition storage unit 214 and stored in association with the area number for identifying each imaging area. Through the above processing, the imaging conditions for each imaging region are set.
なお、この対物レンズ設定部３０３を利用して倍率の選択が行われた場合には、その選択を示す情報が条件入力部２０７で取得される。すると、実施例１と同様にしてレボルバ１１１が駆動されて、選択された倍率の対物レンズ１０５が、レーザ顕微鏡本体１００の光路上に配置される。 When the magnification is selected using the objective lens setting unit 303, information indicating the selection is acquired by the condition input unit 207. Then, the revolver 111 is driven in the same manner as in the first embodiment, and the objective lens 105 having the selected magnification is arranged on the optical path of the laser microscope main body 100.
図１０の処理は、コントローラ１１２において以上の制御処理が行われている状態の下で、所定の時間間隔で繰り返し実行が開始されて、三次元撮像開始ボタン３１５を、機能有効とするか、初期状態である機能無効のままとしておくかの判定を行う。 The processing in FIG. 10 is repeatedly executed at a predetermined time interval under the state where the above control processing is performed in the controller 112, and the function of the 3D imaging start button 315 is activated or is initially set. It is determined whether or not to leave the function disabled.
図１０において、まず、Ｓ３０１では、レーザ顕微鏡本体１００の光路上に配置する対物レンズ１０５のこの時点での指定内容が、最小倍率のものを選択するものであるか否かを判定する処理を条件入力部２０７が行う。ここで、対物レンズ１０５の指定として最小倍率のものが選択されていると判定したとき（判定結果がＹｅｓのとき）には、三次元画像の取得に貼り合わせは不要と判断して、三次元撮像開始ボタン３１５を機能無効状態のままで、この図１０の処理を終了する。一方、対物レンズ１０５の指定として最小倍率以外のものが選択されていると判定したとき（判定結果がＮｏのとき）にはＳ３０２に処理を進める。 In FIG. 10, first, in S301, a condition for determining whether or not the specified content at this time of the objective lens 105 arranged on the optical path of the laser microscope main body 100 is to select a lens with the minimum magnification is set as a condition. Performed by the input unit 207. Here, when it is determined that the minimum magnification has been selected as the designation of the objective lens 105 (when the determination result is Yes), it is determined that the pasting is not necessary for obtaining the three-dimensional image, and the three-dimensional The processing of FIG. 10 is terminated while the imaging start button 315 is left in the function invalid state. On the other hand, when it is determined that an object other than the minimum magnification is selected as the designation of the objective lens 105 (when the determination result is No), the process proceeds to S302.
次に、Ｓ３０２では、撮像条件記憶部２１４に撮像条件のデータが全く記憶されておらず、前述した貼り合わせの範囲の設定がされていないか否かを判定する処理を三次元貼り
合せ画像構築部２１７が行う。ここで、貼り合わせの範囲の設定がされていないと判定したとき（判定結果がＹｅｓのとき）には、三次元貼り合せ画像の生成は不能と判断して、三次元撮像開始ボタン３１５を機能無効状態のままで、この図１０の処理を終了する。一方、貼り合わせの範囲の設定がされていると判定したとき（判定結果がＮｏのとき）にはＳ３０３に処理を進める。
Next, in S302, a process for determining whether or not the imaging condition data is stored in the imaging condition storage unit 214 and the above-described bonding range is not set is a three-dimensional composite image construction process. Performed by the unit 217. Here, when it is determined that the setting of the bonding range has not been set (when the determination result is Yes), it is determined that the generation of the three-dimensional combined image is impossible, and the three-dimensional imaging start button 315 is operated. The processing of FIG. 10 is terminated while the invalid state is maintained. On the other hand, when it is determined that the bonding range is set (when the determination result is No), the process proceeds to S303.
次に、Ｓ３０３では、撮像条件記憶部２１４に記憶されている撮像領域毎の撮像条件のデータのうち、数値が記憶されておらず、撮像条件の設定がされていないものが存在するか否かを判定する処理を三次元貼り合せ画像構築部２１７が行う。ここで、撮像条件の設定がされていない撮影領域が存在すると判定したとき（判定結果がＹｅｓのとき）には、三次元貼り合せ画像の生成は不能と判断して、三次元撮像開始ボタン３１５を機能無効状態のままで、この図１０の処理を終了する。一方、全ての撮像領域について撮像条件の設定が済んでいると判定したとき（判定結果がＮｏのとき）にはＳ３０４に処理を進める。 Next, in S303, whether or not there is an image capturing condition data for each image capturing area stored in the image capturing condition storage unit 214 for which no numerical value is stored and no image capturing condition is set. The three-dimensional composite image construction unit 217 performs the process of determining Here, when it is determined that there is an imaging region for which imaging conditions are not set (when the determination result is Yes), it is determined that the generation of the 3D composite image is impossible, and the 3D imaging start button 315 is determined. The processing of FIG. 10 is terminated while the function is disabled. On the other hand, when it is determined that the imaging conditions have been set for all the imaging regions (when the determination result is No), the process proceeds to S304.
Ｓ３０４では、三次元撮像開始ボタン３１５を、機能有効とする処理を、条件入力部２０７が画像転送Ｉ／Ｆ２０６を制御して行い、その後はこの図１０の処理を終了する。
以上までの処理が三次元画像取得準備処理である。
In S304, the condition input unit 207 controls the image transfer I / F 206 to perform the function validation of the 3D imaging start button 315, and thereafter, the process of FIG. 10 ends.
The process so far is the 3D image acquisition preparation process.
次に図１１について説明する。図１１は、三次元画像取得処理の処理内容をフローチャートで示したものである。この処理は、ユーザが所定の操作を行って、図１０に示した三次元画像取得準備処理により機能有効とされた三次元撮像開始ボタン３１５を押下する指示を条件入力部２０７が取得すると開始される。 Next, FIG. 11 will be described. FIG. 11 is a flowchart showing the contents of the 3D image acquisition process. This process is started when the user performs a predetermined operation and the condition input unit 207 acquires an instruction to press the 3D imaging start button 315 whose function is enabled by the 3D image acquisition preparation process shown in FIG. The
図１１において、まず、Ｓ４０１では、領域番号を示す変数ｎに初期値「１」を代入する処理を、三次元貼り合せ画像構築部２１７が行う。
Ｓ４０２からＳ４１２にかけての処理は、撮像領域毎の三次元画像を全ての撮像領域について取得するための貼り合せ用三次元画像取得ループ処理である。この処理は、前述した変数ｎの値が、設定されている撮像領域の数（すなわち、撮像条件記憶部２１４に記憶されている領域番号の最大数）を超えるまで、三次元貼り合せ画像構築部２１７が、Ｓ４０３からＳ４１１にかけての処理を各部に繰り返し行わせる。
In FIG. 11, first, in S401, the three-dimensional composite image construction unit 217 performs a process of substituting the initial value “1” for the variable n indicating the region number.
The processing from S402 to S412 is a three-dimensional image acquisition loop process for pasting for acquiring a three-dimensional image for each imaging region for all imaging regions. This processing is performed until the value of the variable n described above exceeds the number of set imaging areas (that is, the maximum number of area numbers stored in the imaging condition storage unit 214). 217 causes each unit to repeatedly perform the processing from S403 to S411.
まず、Ｓ４０３では、撮像条件記憶部２１４から、領域番号ｎの撮像領域に対応付けられている中心Ｘ座標及び中心Ｙ座標の情報を読み出し、その情報に基づいてＸ−Ｙステージ１１４の移動量を算出する処理をＸ−Ｙステージ管理部２０４が行う。そして、算出された移動量の情報に基づいて、試料１０６が載置されているＸ−Ｙステージ１１４の駆動制御処理を条件設定部２０２が行う。この処理により、試料１０６の広範囲画像上に撮像領域表示枠３１７で示されている領域番号ｎの撮像領域に対応する部位の共焦点画像が、直近に行われるＳ４０７の処理により取得される位置へ、試料１０６が移動される。 First, in S403, information on the center X coordinate and the center Y coordinate associated with the imaging area of the area number n is read from the imaging condition storage unit 214, and the movement amount of the XY stage 114 is determined based on the information. The XY stage management unit 204 performs the calculation process. Then, the condition setting unit 202 performs drive control processing of the XY stage 114 on which the sample 106 is placed based on the calculated movement amount information. With this process, the confocal image of the part corresponding to the imaging area of the area number n indicated by the imaging area display frame 317 on the wide-area image of the sample 106 is acquired by the process of S407 performed most recently. The sample 106 is moved.
次に、Ｓ４０４では、撮像条件記憶部２１４から、領域番号ｎの撮像領域に対応付けられている輝度の情報を読み出して、光検出器１０９の感度を調整する処理をライブ画像構築部２１０が行う。 Next, in S <b> 404, the live image construction unit 210 performs processing for reading the luminance information associated with the imaging region with the region number n from the imaging condition storage unit 214 and adjusting the sensitivity of the photodetector 109. .
次に，Ｓ４０５では、撮像条件記憶部２１４から、領域番号ｎの撮像領域に対応付けられている下限の情報を読み出し、その情報に基づいてレボルバ１１１の移動量を算出する処理をＺ駆動管理部２１３が行う。そして、算出された移動量の情報に基づいて、対物レンズ１０５が装着されているレボルバ１１１をその下限の位置まで下降させる駆動制御処理を条件設定部２０２が行う。 Next, in S405, a process of reading the lower limit information associated with the imaging area with the area number n from the imaging condition storage unit 214 and calculating the movement amount of the revolver 111 based on the information is performed by the Z drive management unit. 213 does. Then, the condition setting unit 202 performs drive control processing for lowering the revolver 111 on which the objective lens 105 is mounted to the lower limit position based on the calculated movement amount information.
Ｓ４０６からＳ４０９にかけての処理は、試料１０６と対物レンズ１０５との相対距離
を所定値ずつ変化させながら撮像領域内の共焦点画像を順次取得するためのＺ駆動ループ処理である。この処理は、当該相対距離に対応しているレボルバ１１１のＺ方向の位置が、当該撮像領域について設定されている上限位置を超えるまで、三次元画像構築部２１５が、Ｓ４０７及びＳ４０８の処理を各部に繰り返し行わせる。
The process from S406 to S409 is a Z drive loop process for sequentially acquiring confocal images in the imaging region while changing the relative distance between the sample 106 and the objective lens 105 by a predetermined value. In this process, until the position in the Z direction of the revolver 111 corresponding to the relative distance exceeds the upper limit position set for the imaging region, the three-dimensional image construction unit 215 performs the processes in S407 and S408. To repeat.
まず、Ｓ４０７では、レーザ顕微鏡本体１００の光路上に配置されている対物レンズ１０５を使用する共焦点光学系を用いて、試料１０６の共焦点画像を取得してライブ画像記憶部２１１で保存する処理をライブ画像構築部２１０が行う。なお、このとき、共焦点画像の取得時のレボルバ１１１のＺ位置の情報を、共焦点画像に対応付けてライブ画像記憶部２１１に保存させる処理をＺ駆動管理部２１３が行う。 First, in S407, a process of acquiring a confocal image of the sample 106 using the confocal optical system using the objective lens 105 arranged on the optical path of the laser microscope main body 100 and storing it in the live image storage unit 211. Is performed by the live image construction unit 210. At this time, the Z drive management unit 213 performs processing for storing the information on the Z position of the revolver 111 at the time of acquisition of the confocal image in the live image storage unit 211 in association with the confocal image.
次に、Ｓ４０８では、条件設定部２０２に指示を与えて、対物レンズ１０５が装着されているレボルバ１１１を所定値（図１１の例では５μｍ）だけ上昇させる駆動制御処理を条件設定部２０２に行わせる処理をＺ駆動管理部２１３が行う。 In step S408, the condition setting unit 202 is instructed to perform drive control processing on the condition setting unit 202 to raise the revolver 111 to which the objective lens 105 is attached by a predetermined value (5 μm in the example of FIG. 11). The Z drive management unit 213 performs the processing to be performed.
Ｓ４０９では、撮像条件記憶部２１４から、領域番号ｎの撮像領域に対応付けられている上限の情報を読み出し、読み出した上限の位置とレボルバ１１１のこの時点での位置とを比較する処理をＺ駆動管理部２１３が行う。ここで、レボルバ１１１の位置が読み出した上限の位置よりも高くなっていれば、このＺ駆動ループ処理を抜けてＳ４１０に処理を進め、高くはなっていなければ、Ｚ駆動ループ処理を再度繰り返す。このＺ駆動ループ処理の繰り返しにより、試料１０６と対物レンズ１０５との相対距離が所定値ずつ異なる複数の共焦点画像が、この撮像領域について得られる。 In step S409, the upper limit information associated with the imaging area with the area number n is read from the imaging condition storage unit 214, and the process of comparing the read upper limit position with the position of the revolver 111 at this time is Z-driven. The management unit 213 performs this. Here, if the position of the revolver 111 is higher than the read upper limit position, the Z drive loop process is skipped and the process proceeds to S410. If not, the Z drive loop process is repeated again. By repeating this Z drive loop process, a plurality of confocal images in which the relative distance between the sample 106 and the objective lens 105 is different by a predetermined value are obtained for this imaging region.
Ｓ４１０では、領域番号ｎの撮像領域についての試料１０６の三次元画像を構築して三次元画像記憶部２１６に記憶させる処理を三次元画像構築部２１５が行う。この処理では、まず、ライブ画像記憶部２１１に記憶されている共焦点画像とレボルバ１１１のＺ位置の情報との組み合わせを読み出す処理が行われる。そして、次に、各共焦点画像の同一画素において輝度値が最大であるときのＺ方向の位置情報を、その画素についての高さ情報とし、各画素の共焦点画像上での位置情報と高さ情報とを三次元座標上に配置する処理が行われる。こうして三次元画像が構築され、得られた三次元画像のデータが三次元画像記憶部２１６で記憶される。 In S410, the 3D image construction unit 215 performs a process of constructing a 3D image of the sample 106 for the imaging region of the region number n and storing the 3D image in the 3D image storage unit 216. In this process, first, a process of reading a combination of the confocal image stored in the live image storage unit 211 and information on the Z position of the revolver 111 is performed. Then, the position information in the Z direction when the luminance value is the maximum at the same pixel of each confocal image is set as the height information about the pixel, and the position information and the height information on each confocal image are displayed. The processing for arranging the information on the three-dimensional coordinates is performed. A three-dimensional image is constructed in this way, and the obtained three-dimensional image data is stored in the three-dimensional image storage unit 216.
次に、Ｓ４１１では、前述した変数ｎの値を１だけ増加させる処理を、三次元貼り合せ画像構築部２１７が行う。
Ｓ４１２では、変数ｎのこの時点での値と、広範囲画像上に設定されている撮像領域の数（すなわち、撮像条件記憶部２１４に記憶されている領域番号の最大数）とを比較する処理を三次元貼り合せ画像構築部２１７が行う。ここで、変数ｎの値が撮像領域の数（図１１の例では１６）を超えていれば、この貼り合せ用三次元画像取得ループ処理を抜けてＳ４１３に処理を進め、高くはなっていなければ、貼り合せ用三次元画像取得ループ処理を再度繰り返す。この貼り合せ用三次元画像取得ループ処理の繰り返しにより、試料１０６の三次元画像が、広範囲画像上に設定されている全ての撮像領域について生成される。
Next, in S411, the three-dimensional composite image construction unit 217 performs a process of increasing the value of the variable n by 1 as described above.
In S412, a process of comparing the value of the variable n at this point with the number of imaging areas set on the wide-range image (that is, the maximum number of area numbers stored in the imaging condition storage unit 214). This is performed by the three-dimensional composite image construction unit 217. Here, if the value of the variable n exceeds the number of imaging areas (16 in the example of FIG. 11), the process must go through the pasting 3D image acquisition loop process and proceed to S413 and become higher. In this case, the 3D image acquisition loop process for pasting is repeated again. By repeating this bonding 3D image acquisition loop process, a 3D image of the sample 106 is generated for all the imaging regions set on the wide range image.
Ｓ４１３では、三次元画像の貼り合せ処理を行い、得られた三次元貼り合せ画像を三次元貼り合せ画像記憶部２１８に記憶させる処理を三次元貼り合せ画像構築部２１７が行い、その後はこの図１１の処理を終了する。このＳ４１３の処理では、まず、各撮像領域についての三次元画像を三次元画像記憶部２１６から読み出すと共に、各撮像領域の位置を特定する中心Ｘ座標及び中心Ｙ座標の情報を撮像条件記憶部２１４から読み出す処理が行われる。そして、次に、この情報により特定される各撮像領域の位置に従って、各撮像領域についての三次元画像を並べて貼り合わせる処理が行われる。こうして三次元貼り合せ画像が構築され、得られた三次元貼り合せ画像の画像データが三次元貼り合せ画像記憶部
２１８で記憶される。
In S413, the 3D image combining process is performed, and the 3D image combining unit 217 performs a process of storing the obtained 3D image in the 3D image storage unit 218. 11 processing is ended. In the process of S413, first, a three-dimensional image for each imaging region is read from the three-dimensional image storage unit 216, and information on the center X coordinate and the center Y coordinate that specify the position of each imaging region is acquired by the imaging condition storage unit 214. Processing to read from is performed. Then, a process of arranging and pasting together the three-dimensional images for each imaging region is performed according to the position of each imaging region specified by this information. A three-dimensional composite image is constructed in this way, and image data of the obtained three-dimensional composite image is stored in the three-dimensional composite image storage unit 218.
以上までの処理が三次元画像取得処理である。この処理がコントローラ１１２で行われることにより、対物レンズ１０５の選択によって決まってしまう共焦点画像の視野の範囲よりも広い範囲を有する試料１０６の三次元画像を、撮影領域毎に生成した三次元画像の貼り合わせにより得ることができる。 The process so far is the three-dimensional image acquisition process. When this process is performed by the controller 112, a three-dimensional image generated for each imaging region is generated for each photographing region, which is a three-dimensional image of the sample 106 having a range wider than the range of the field of view of the confocal image determined by the selection of the objective lens 105. Can be obtained by bonding.
なお、この後に、ユーザからの所定の表示指示を条件入力部２０７が検出すると、三次元貼り合せ画像記憶部２１８から画像データを読み出してモニタ１１３へ転送し、三次元貼り合せ画像をモニタ１１３に表示させる処理を画像転送Ｉ／Ｆ２０６が行う。 After this, when the condition input unit 207 detects a predetermined display instruction from the user, the image data is read from the three-dimensional composite image storage unit 218 and transferred to the monitor 113, and the three-dimensional composite image is transferred to the monitor 113. The image transfer I / F 206 performs processing for display.
以上のように、本実施例に係る共焦点顕微鏡では、焦点深度が浅い共焦点画像と共に、焦点深度の深い顕微鏡画像（カラー画像）を表示して、深度方向及び視野範囲の情報をこの顕微鏡画像（カラー画像）で補うようにしている。従って、試料１０６の全体像に対する観察部位の位置関係を特定することが容易である。更に、本実施例に係る共焦点顕微鏡では、三次元貼り合せ画像の取得のため撮像領域毎に撮像条件を設定する際に、常に全体像を把握しながら設定することができる。従って、三次元貼り合せ画像の取得のための前作業の操作性も格段に向上する。 As described above, in the confocal microscope according to the present embodiment, a microscopic image (color image) having a deep focal depth is displayed together with a confocal image having a shallow focal depth, and information on the depth direction and the visual field range is displayed on the microscopic image. (Color image) is supplemented. Therefore, it is easy to specify the positional relationship of the observation site with respect to the entire image of the sample 106. Furthermore, in the confocal microscope according to the present embodiment, when setting the imaging condition for each imaging region for obtaining a three-dimensional composite image, it can be set while always grasping the whole image. Therefore, the operability of the previous work for obtaining the three-dimensional composite image is also greatly improved.
なお、本実施例では、図１１のＳ４０８におけるレボルバ１１１の移動間隔を５μｍとしていたが、この間隔は固定値でなくてもよく、例えば任意に設定できるように構成してもよい。 In the present embodiment, the movement interval of the revolver 111 in S408 of FIG. 11 is set to 5 μm. However, this interval may not be a fixed value, and may be configured to be arbitrarily set, for example.
また、本実施例では、撮像領域の数を１６としていたが、この数は２以上であれば１６以外であってもよい。
また、本実施例では、各撮像領域について設定する撮像条件として、レボルバ１１１の方向の上限値及び下限値と受光量の調整のための輝度値を設定していたが、この他の設定条件を設定するようにしてもよい。この設定条件としては、例えば、検出輝度値に与えるオフセット量の設定や、斜面となっている部位のための検出感度の設定などを挙げることができる。
In the present embodiment, the number of imaging regions is 16, but the number may be other than 16 as long as the number is 2 or more.
In this embodiment, the upper and lower limits in the direction of the revolver 111 and the luminance value for adjusting the amount of received light are set as the imaging conditions to be set for each imaging region. You may make it set. Examples of the setting condition include setting of an offset amount to be given to the detected luminance value, setting of detection sensitivity for a portion that is an inclined surface, and the like.
また、本実施例では、広範囲画像上の撮像領域毎に撮像条件の設定の際に、設定済みの領域と未設定の領域とで表示の区別を特に行っていない。ここで、例えば、設定済みの領域と未設定の領域とで表示方法を異なるものとして（例えば、撮像領域を示す枠の線種や色彩を異なるものとする）両者を識別できるようにしてもよい。 Further, in this embodiment, when setting the imaging condition for each imaging region on the wide-range image, the display is not particularly distinguished between the set region and the unset region. Here, for example, the display method may be different between the set region and the non-set region (for example, the line type and color of the frame indicating the imaging region may be different), and both may be identified. .
また、本実施例では、広範囲画像表示部３０２に表示される画像として、最小倍率の対物レンズ１０５を使用してＣＣＤカメラ１１７により撮像した１領域のカラー画像を表示するようにしていた。この代わりに、例えば、全焦点画像、エクステンド画像、貼り合わせカラー画像、若しくは三次元貼り合せ画像など、共焦点画像よりも深い焦点深度の情報を持つ画像を広範囲画像表示部３０２に表示するようにしてもよい。 In this embodiment, as an image displayed on the wide-range image display unit 302, a color image of one region captured by the CCD camera 117 using the objective lens 105 having the minimum magnification is displayed. Instead, for example, an image having deeper focus depth information than the confocal image, such as an omnifocal image, an extended image, a composite color image, or a three-dimensional composite image, is displayed on the wide-range image display unit 302. May be.
以上、本発明の実施形態を説明したが、本発明は、上述した各実施形態に限定されることなく、本発明の要旨を逸脱しない範囲内で種々の改良・変更が可能である。
例えば、前述した各実施例では、レーザ顕微鏡本体１００のレボルバ１１１に装着されている対物レンズ１０５のうち最小倍率のものを使用して撮像した画像を広範囲画像としていたが、最小倍率でないものを使用して撮像した画像としてもよい。
As mentioned above, although embodiment of this invention was described, this invention is not limited to each embodiment mentioned above, A various improvement and change are possible within the range which does not deviate from the summary of this invention.
For example, in each of the above-described embodiments, an image captured using the objective lens 105 attached to the revolver 111 of the laser microscope main body 100 with the minimum magnification is a wide range image, but an image that is not the minimum magnification is used. It is good also as an image picturized.
１００ レーザ顕微鏡本体
１０１ レーザ光源
１０２ ＰＢＳ
１０３ 二次元走査部
１０４ １／４λ板
１０５ 対物レンズ
１０６ 試料
１０７ 結像レンズ
１０８ ピンホール板
１０９ 検出器
１１０ ＡＤ変換器
１１１ レボルバ
１１２ コントローラ
１１３ モニタ
１１４ Ｘ−Ｙステージ
１１５ 白色光源
１１６ 結像レンズ
１１７ ＣＣＤカメラ
２００ カラー画像信号受信部
２０１ 共焦点画像信号受信部
２０２ 条件設定部
２０３ 二次元座標記憶部
２０４ Ｘ−Ｙステージ管理部
２０５ 対物レンズ管理部
２０６ 画像転送Ｉ／Ｆ
２０７ 条件入力部
２０８ 広範囲画像構築部
２０９ 広範囲画像記憶部
２１０ ライブ画像構築部
２１１ ライブ画像記憶部
２１２ ライブ画像範囲管理部
２１３ Ｚ駆動管理部
２１４ 撮像条件記憶部
２１５ 三次元画像構築部
２１６ 三次元画像記憶部
２１７ 三次元貼り合せ画像構築部
２１８ 三次元貼り合せ画像記憶部
３０１ ライブ画像表示部
３０２ 広範囲画像表示部
３０３ 対物レンズ設定部
３０４ ライブ画像表示開始／停止ボタン
３０５ カーソル
３０６ 視野範囲表示枠
３１０ 光学ズーム設定部
３１１ Ｚ駆動指示部
３１２ 下限設定部
３１３ 上限設定部
３１４ 輝度値設定部
３１５ 三次元撮像開始ボタン
３１６ 撮像領域設定カーソル
３１７ 撮像領域表示枠
100 Laser microscope body 101 Laser light source 102 PBS
103 Two-dimensional scanning unit 104 1 / 4λ plate 105 Objective lens 106 Sample 107 Imaging lens 108 Pinhole plate 109 Detector 110 AD converter 111 Revolver 112 Controller 113 Monitor 114 XY stage 115 White light source 116 Imaging lens 117 CCD Camera 200 Color image signal receiving unit 201 Confocal image signal receiving unit 202 Condition setting unit 203 Two-dimensional coordinate storage unit 204 XY stage management unit 205 Objective lens management unit 206 Image transfer I / F
207 Condition input unit 208 Wide range image construction unit 209 Wide range image storage unit 210 Live image construction unit 211 Live image storage unit 212 Live image range management unit 213 Z drive management unit 214 Imaging condition storage unit 215 3D image construction unit 216 3D image Storage unit 217 Three-dimensional composite image construction unit 218 Three-dimensional composite image storage unit 301 Live image display unit 302 Wide-range image display unit 303 Objective lens setting unit 304 Live image display start / stop button 305 Cursor 306 Field-of-view display frame 310 Optical Zoom setting section 311 Z drive instruction section 312 Lower limit setting section 313 Upper limit setting section 314 Brightness value setting section 315 Three-dimensional imaging start button 316 Imaging area setting cursor 317 Imaging area display frame
Claims (7)
該第一の対物レンズと光軸が同一となる位置に配置されている第二の対物レンズを用いて、該共焦点画像よりも広い視野の画像である該試料の非共焦点画像を静止画像として取得する第二の光学系と、
該共焦点画像と該非共焦点画像とを同時に表示する表示手段と、
を有し、
該第一の対物レンズの倍率が該第二の対物レンズよりも高倍率である、
ことを特徴とする共焦点顕微鏡。 A first optical system for acquiring a confocal image of the sample using the first objective lens;
A non-confocal image of the sample, which is an image having a wider field of view than the confocal image, is obtained by using a second objective lens arranged at a position where the optical axis is the same as that of the first objective lens. A second optical system to acquire as
Display means for simultaneously displaying the confocal image and the non-confocal image;
Have
The magnification of the first objective lens is higher than that of the second objective lens;
A confocal microscope characterized by this.
該表示手段で表示されている該非共焦点画像上での位置の指定を取得する指定位置取得手段と、
該移動手段を制御して、該指定位置取得手段が取得した該非共焦点画像上での指定の位置における該共焦点画像が該第一の光学系により取得される位置へ、該試料を移動させる移動制御手段と、
を更に有することを特徴とする請求項１に記載の共焦点顕微鏡。 Moving means for moving the sample on a plane perpendicular to the optical axes of the first and second objective lenses;
Designated position obtaining means for obtaining designation of a position on the non-confocal image displayed by the display means;
The moving means is controlled to move the sample to a position where the confocal image at the designated position on the non-confocal image obtained by the designated position obtaining means is obtained by the first optical system. Movement control means;
The confocal microscope according to claim 1, further comprising:
該試料と該第一の対物レンズとの相対距離を変化させる相対距離変化手段と、
該試料の該撮像領域内の共焦点画像を、該相対距離変化手段により該相対距離を所定値ずつ変化させる毎に該第一の光学系により取得し、該相対距離と取得した共焦点画像との関係に基づいて該試料各部の高さ情報を取得し、該高さ情報に基づいて該試料の該撮像領域内の三次元画像を生成する三次元画像生成手段と、
該撮像領域内の三次元画像を、該撮像領域設定手段が該非共焦点画像上に設定した複数の撮像領域毎に該三次元画像生成手段に生成させ、生成された撮像領域毎の三次元画像を貼り合わせて、該撮像領域の範囲よりも広い範囲の三次元画像を得る三次元画像貼り合わせ手段と、
を更に有することを特徴とする請求項１に記載の共焦点顕微鏡。 An imaging area setting means for setting a plurality of imaging areas corresponding to the width of the field of view of the confocal image on the non-confocal image;
A relative distance changing means for changing a relative distance between the sample and the first objective lens;
A confocal image of the sample in the imaging region is acquired by the first optical system every time the relative distance is changed by a predetermined value by the relative distance changing unit, and the relative distance and the acquired confocal image 3D image generation means for acquiring height information of each part of the sample based on the relationship, and generating a 3D image in the imaging region of the sample based on the height information;
A three-dimensional image in each imaging region is generated by causing the three-dimensional image generating unit to generate a three-dimensional image in the imaging region for each of a plurality of imaging regions set on the non-confocal image by the imaging region setting unit. 3D image pasting means for obtaining a 3D image in a wider range than the range of the imaging region,
The confocal microscope according to claim 1, further comprising:
該指定位置取得手段により取得した位置の指定が、該共焦点画像の視野の範囲内であるか否かを監視する監視手段と、
該指定位置取得手段により取得した位置の指定が該共焦点画像の視野の範囲外であることが該監視手段による監視により判明した時点での該非共焦点画像を該第二の光学系に取得させて、該表示手段での該非共焦点画像の表示を、該時点で取得されたものに更新する非共焦点画像表示自動更新手段と、
を更に有することを特徴とする請求項３に記載の共焦点顕微鏡。 Visual field range display means for displaying the range of the visual field of the confocal image on the non-confocal image displayed by the display means;
Monitoring means for monitoring whether or not the designation of the position obtained by the designated position obtaining means is within the field of view of the confocal image;
Causing the second optical system to acquire the non-confocal image at the time when it is found by monitoring by the monitoring means that the designation of the position acquired by the specified position acquisition means is outside the range of the field of view of the confocal image. A non-confocal image display automatic update unit that updates the display of the non-confocal image on the display unit to that acquired at the time point;
The confocal microscope according to claim 3, further comprising:
該視野範囲表示手段は、該共焦点画像の視野の範囲の変化に応じて、該視野の範囲の表示を変化させる、
ことを特徴とする請求項５に記載の共焦点顕微鏡。 The first optical system is capable of changing a range of a field of view of the acquired confocal image;
The visual field range display means changes the display of the visual field range according to the change of the visual field range of the confocal image.
The confocal microscope according to claim 5.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008282668A JP2010112969A (en) | 2008-11-04 | 2008-11-04 | Confocal microscope |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008282668A JP2010112969A (en) | 2008-11-04 | 2008-11-04 | Confocal microscope |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2010112969A true JP2010112969A (en) | 2010-05-20 |
Family
ID=42301598
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008282668A Withdrawn JP2010112969A (en) | 2008-11-04 | 2008-11-04 | Confocal microscope |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2010112969A (en) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012203048A (en) * | 2011-03-23 | 2012-10-22 | Olympus Corp | Microscope |
| JP2012213513A (en) * | 2011-03-31 | 2012-11-08 | Nidek Co Ltd | Ophthalmic photographing apparatus |
| JP2013072998A (en) * | 2011-09-27 | 2013-04-22 | Olympus Corp | Microscope system |
| WO2013094365A1 (en) * | 2011-12-22 | 2013-06-27 | 三洋電機株式会社 | Observation system, program, and method for controlling observation system |
| JP2014112165A (en) * | 2012-12-05 | 2014-06-19 | Olympus Corp | Imaging system |
| US9798129B2 (en) | 2013-05-14 | 2017-10-24 | Olympus Corporation | Microscope system and method for deciding stitched area |
| WO2019003274A1 (en) * | 2017-06-26 | 2019-01-03 | オリンパス株式会社 | Cell observation system |
| JP2019074667A (en) * | 2017-10-17 | 2019-05-16 | 株式会社キーエンス | Magnifying observation device |
| US11461892B2 (en) | 2017-06-26 | 2022-10-04 | Evident Corporation | Cell observation system |
-
2008
- 2008-11-04 JP JP2008282668A patent/JP2010112969A/en not_active Withdrawn
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8958146B2 (en) | 2011-03-23 | 2015-02-17 | Olympus Corporation | 3D imaging microscope |
| JP2012203048A (en) * | 2011-03-23 | 2012-10-22 | Olympus Corp | Microscope |
| JP2012213513A (en) * | 2011-03-31 | 2012-11-08 | Nidek Co Ltd | Ophthalmic photographing apparatus |
| JP2013072998A (en) * | 2011-09-27 | 2013-04-22 | Olympus Corp | Microscope system |
| WO2013094365A1 (en) * | 2011-12-22 | 2013-06-27 | 三洋電機株式会社 | Observation system, program, and method for controlling observation system |
| JP5274731B1 (en) * | 2011-12-22 | 2013-08-28 | 三洋電機株式会社 | Observation system, program, and control method for observation system |
| US9145572B2 (en) | 2011-12-22 | 2015-09-29 | Panasonic Healthcare Holdings Co., Ltd. | Observation system, recording medium, and control method of observation system |
| JP2014112165A (en) * | 2012-12-05 | 2014-06-19 | Olympus Corp | Imaging system |
| US9798129B2 (en) | 2013-05-14 | 2017-10-24 | Olympus Corporation | Microscope system and method for deciding stitched area |
| WO2019003274A1 (en) * | 2017-06-26 | 2019-01-03 | オリンパス株式会社 | Cell observation system |
| JPWO2019003274A1 (en) * | 2017-06-26 | 2020-04-23 | オリンパス株式会社 | Cell observation system |
| US11461892B2 (en) | 2017-06-26 | 2022-10-04 | Evident Corporation | Cell observation system |
| US11493745B2 (en) | 2017-06-26 | 2022-11-08 | Evident Corporation | Cell observation system |
| JP2019074667A (en) * | 2017-10-17 | 2019-05-16 | 株式会社キーエンス | Magnifying observation device |
| JP7032098B2 (en) | 2017-10-17 | 2022-03-08 | 株式会社キーエンス | Magnifying observation device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2010112969A (en) | Confocal microscope | |
| JP5732353B2 (en) | Magnification observation apparatus, magnification observation method, and magnification observation program | |
| JP6147079B2 (en) | Microscope system, method for determining bonded area, and program | |
| US9798129B2 (en) | Microscope system and method for deciding stitched area | |
| JP6132650B2 (en) | Confocal microscope | |
| JP5047764B2 (en) | Microscope imaging device | |
| JP4936841B2 (en) | Confocal microscope, confocal microscope operation method, confocal microscope operation program, computer-readable recording medium, and recorded apparatus | |
| JP6716383B2 (en) | Microscope system, information presentation method, program | |
| JP2007139884A (en) | Confocal scanning microscope | |
| JP2017134115A (en) | Microscope device, and image display program | |
| JP4874069B2 (en) | Confocal microscope | |
| JP5319184B2 (en) | Microscope system and microscope control program | |
| JP2010020206A (en) | Microscope apparatus | |
| JP5185769B2 (en) | Microscope system | |
| JP6238574B2 (en) | Observation device | |
| JP2006098794A (en) | Compound microscope and measuring method of compound microscope | |
| JP7134839B2 (en) | MICROSCOPE DEVICE, CONTROL METHOD AND PROGRAM | |
| JP5893315B2 (en) | Microscope system | |
| JP4914567B2 (en) | Scanning confocal microscope | |
| JP2012150142A (en) | Microscope control apparatus, microscope system and control method thereof | |
| JP2010256724A (en) | Observation device | |
| JP6061614B2 (en) | Microscope system | |
| JP2017044752A (en) | Microscope system, control method, program, and bonded image creating method | |
| JP2009014999A (en) | Controller, magnification observation system, control method of magnification observation device, and program | |
| JP5305838B2 (en) | Confocal microscope system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20120110 |