WO2019076885A1 - Microscopy method with focus stabilising - Google Patents

Microscopy method with focus stabilising Download PDF

Info

Publication number
WO2019076885A1
WO2019076885A1 PCT/EP2018/078221 EP2018078221W WO2019076885A1 WO 2019076885 A1 WO2019076885 A1 WO 2019076885A1 EP 2018078221 W EP2018078221 W EP 2018078221W WO 2019076885 A1 WO2019076885 A1 WO 2019076885A1
Authority
WO
WIPO (PCT)
Prior art keywords
focus
images
autofocus
image
presentation
Prior art date
Application number
PCT/EP2018/078221
Other languages
German (de)
French (fr)
Inventor
Christian Schumann
Markus Weber
Robert Mainberger
Original Assignee
Leica Microsystems Cms Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Leica Microsystems Cms Gmbh filed Critical Leica Microsystems Cms Gmbh
Publication of WO2019076885A1 publication Critical patent/WO2019076885A1/en

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/24—Base structure
    • G02B21/241—Devices for focusing
    • G02B21/245—Devices for focusing using auxiliary sources, detectors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/30—Systems for automatic generation of focusing signals using parallactic triangle with a base line
    • G02B7/32—Systems for automatic generation of focusing signals using parallactic triangle with a base line using active means, e.g. light emitter
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane

Definitions

  • the present invention relates to a method for operating an autofocus measuring system of a focus stabilization device of a microscope system, and to a computing unit and a computer program for carrying it out.
  • Focus stabilization devices Modern microscope systems are often equipped with focus stabilization devices to ensure a lasting focus of the preparation over a longer period of time and under changing environmental conditions.
  • These focus stabilizers usually work optically coaxially to the actual microscopic imaging in a separate wavelength range.
  • the useful light of the focus stabilization device can be coupled in and out by means of a dichroic divider into the microscopic imaging beam path.
  • a focus stabilizer is, for example, in
  • Blocking and a sharp spectral edge are compatible. These are, for example, requirements for the polarization properties of the transmitted light. tes, in particular at a wavelength near the blocking edge to the useful wavelength of the focus stabilization system.
  • the present invention provides a solution for realizing a focus stabilization device in a microscope, in which the spectral division between the useful light emanating from an autofocus light source of the focus stabilizer and the microscopic imaging system is relaxed such that other optical requirements are also imposed on the optical system
  • dichroic divider layer can be realized.
  • a dichroic distribution of the useful light emanating from the autofocus light source and the illumination light for the image recording can be entirely omitted. This also makes it possible, in particular, to use conventional light sources as an autofocus light source.
  • the invention makes use of a temporal offset between image acquisition and focus stabilization, so that the useful light for the focus stabilization does not affect the image acquisition.
  • the autofocus measurement system of the focus stabilization device is operated in such a way that, during recording, provision is made for further processing or presentation (ie, interest) images are turned off by the image pickup device of the microscope system, the autofocus light source or hidden from the autofocus light source useful light is hidden. In this way, crosstalk of the autofocus useful light in the image recording can be very easily prevented.
  • Fade-out can be achieved, for example, by means of a diaphragm, for example iris diaphragm or a shutter wheel rotating (for example, fitting to a cycle of image recording) or else by suitable control of a modulatable autofocus light source (eg LED) or the like. respectively.
  • a diaphragm for example iris diaphragm or a shutter wheel rotating (for example, fitting to a cycle of image recording) or else by suitable control of a modulatable autofocus light source (eg LED) or the like. respectively.
  • the useful light of the autofocus light source is coupled exclusively outside the image recording of the images of interest into the image recording beam path.
  • exposure time the current focus position can then be determined, for example by triangulating methods as in DE 102010030430 Al or interferometric methods as in DE 102011003807 AI.
  • the focus position is defined as the distance between the imaging system and a sample to be examined with the microscope, in which the imaging system is focused on a desired sample plane and an optimal image of this sample plane is generated with the microscope.
  • a result of such a determination of the focus position can then be used, if necessary, to correct the focus position by changing a distance between the sample and the objective.
  • Motorized lenses and / or motorized sample tables which are motorized in height (z-axis), are particularly suitable for this purpose.
  • the sufficiently long measuring time can be present in particular in one piece. In particular, it can be extended if necessary, a break between the inclusion of two images of interest.
  • the correction of the focus position takes place exclusively in times outside of the image acquisition of the images of interest, so as not to negatively influence the image acquisition.
  • the images of interest include in particular those images that are to be further processed.
  • Time points outside the image acquisition of the images of interest thus include, in particular, recording pauses and recording times of images of no interest (insofar as they are recorded).
  • a pause between two pictures or a pause after every Nth (natural number) picture and / or between two lines or regularly after every Nth line is suitable as a recording break for focus stabilization Rastersystem, and from the exposure time separate readout times of a used for image recording camera.
  • the coordination of this alternating sequence of exclusive image acquisition and focus measurement can be active (by selective and possibly delayed triggering of the image acquisition) or passive (by using the autofocus measurement system during a system-related pause of the image acquisition of the microscopic imaging system), or in a hybrid mode.
  • a switchover of the operating mode of the focus stabilization device can be provided, which switches over between the method according to the invention for electronic image data detection and an alternative mode for visually viewing the microscopic image, in which the autofocusing
  • Measuring system of the focus stabilizer is permanently in operation. If this autofocus measurement system works outside of the visual spectral range, visual inspection of the sample is not affected thereby.
  • a preferred implementation of the present invention is the integration of the control of the focus stabilization device into a computing unit or control device, which also controls the image acquisition of the microscope system. This may be implemented, for example, by a state machine (eg, FPGA or ⁇ ) state machine having direct access to the system components of the microscope.
  • This control unit also coordinates the microscopic image acquisition, either actively, for example, by sending start pulses to the image acquisition system, or passively by receiving image acquisition signals, or bidirectional (sending and receiving image acquisition signals).
  • the control unit has control over the optical measuring method of the focus stabilization device, and can thus in particular control its autofocus light source.
  • An arithmetic unit according to the invention for example a control unit of a microscope system, is, in particular programmatically, configured to perform a method according to the invention.
  • the implementation of the method in the form of a computer program is advantageous because this causes very low costs, especially if an executive controller is still used for other tasks and therefore already exists.
  • Suitable data carriers for the provision of the computer program are, in particular, magnetic, optical and electrical memories, such as hard disks, flash memories, EEPROMs, DVDs and the like. It is also possible to download a program via computer networks (Internet, intranet, etc.).
  • FIG. 1 shows an exemplary microscope system with a focus stabilization device, as may be the basis of the invention.
  • FIG. 2 shows by way of example a sequence of image acquisition and focus stabilization according to a preferred embodiment of the invention.
  • FIG. 3 shows by way of example a sequence of image acquisition and focus stabilization according to a further preferred embodiment of the invention.
  • FIG. 4 shows by way of example the embodiment according to FIG. 2 as a flow chart.
  • FIG. 5 shows, by way of example, the embodiment according to FIG. 3 as a flowchart.
  • the microscope system 100 is embodied, for example, with an inverted microscope and has a motorized objective 102 which is motorized in the z-direction and which is used to image a sample (not shown) in the figure above the objective 102 together with an optical system symbolized here merely as a lens 103 on an image recording device designed as a camera or raster system 106, for example.
  • the camera 106 is connected to a computing unit or a control unit 140, which is set up to control the image acquisition.
  • the microscope system 100 has a focus stabilization device, comprising an autofocus measuring system 120, a dichroic splitter mirror 104, if necessary, further deflecting elements and a corresponding functionality in the control unit 140 for evaluating the focus position and for adjusting the objective 102 in the z direction.
  • a focus stabilization device comprising an autofocus measuring system 120, a dichroic splitter mirror 104, if necessary, further deflecting elements and a corresponding functionality in the control unit 140 for evaluating the focus position and for adjusting the objective 102 in the z direction.
  • the autofocus measurement system 120 includes an autofocus light source 122, a prism beam deflector, an autofocus detector 124, and lenses (not shown) for imaging.
  • the autofocus Light source 122 can be controlled by the control unit 140. Signals received by the autofocus detector 124 are also supplied to the controller 140.
  • FIGS. 2 to 4 Preferred embodiments of the invention are described below with reference to FIGS. 2 to 4, in which different sequences of preferred embodiments of the invention are shown.
  • FIG 2 a preferred embodiment of the invention is illustrated by a plot of device states over time t.
  • an exposure time interval of the camera 106 is shown at 202 and a readout time interval of the camera 106 at 204.
  • a focus stabilization time interval is shown.
  • a value "1" for the exposure time interval 202 means that the camera 106 is being exposed during this; "0" means that the camera 106 is not exposed during this time.
  • the exposure times in the context of the invention represent times of recording relevant images
  • the readout time interval 204 means that the camera 106 is read out, and "0" means that the camera 106 is not read out.
  • the readout times represent times outside of the image recording of the relevant images. It can be seen that in the example shown, the exposure time interval and the readout time interval alternate regularly.
  • This focus stabilization comprises in particular a sequence, as shown in FIG.
  • the autofocus light source 122 is activated in a step 401.
  • the light emanating from the autofocus light source 122 is conducted in the example of FIG. 1 by means of the prism-shaped deflecting element, the deflecting mirror and the dichroic beam splitter 104 to the specimen via the objective 102, reflected from there and back via the objective 102, the dichroic beam splitter 104 , the deflecting mirror and the prism-shaped deflecting element are directed onto the autofocus detector 124.
  • a step 402 is closed from the measurement signal to the focus position, in particular by the control unit 140th
  • step 403 the determined focus position is compared with a target position, and if the deviation is too great (ie, the sample is out of focus), in step 404 the objective 102 or the drive of the objective are adjusted to z driven. Subsequently, in one step
  • step 405 disabled the autofocus light source again. If no or only a small deviation is detected in step 403 (i.e., the sample is in focus), a jump is made to step 405 directly.
  • the camera 106 becomes one step
  • 302 again shows an exposure time interval of the camera 106 and 304 again a readout time interval of the camera 106. At 306, this time, activation of the autofocus light source 122 for focus stabilization is shown.
  • 308 is used to determine the focus position and, if necessary, adjust the lens.
  • the times outside of the image acquisition of the images of interest are not long enough to be able to perform a complete focus stabilization in the meantime. For example, raster methods have only brief pauses between two adjacent points, which usually should not be extended.
  • a corresponding focus stabilization comprises in particular a sequence, as shown in FIG.
  • the autofocus light source 122 is activated.
  • the light emanating from the autofocus light source 122 is conducted in the example of FIG. 1 by means of the prism-shaped deflecting element, the deflecting mirror and the dichroic beam splitter 104 to the specimen via the objective 102, reflected from there and back via the objective 102, the dichroic beam splitter 104 , the deflecting mirror and the prism-shaped deflecting element on the autofocus detector 124 headed.
  • autofocus light source 122 is deactivated again.
  • a line is read out with the raster system 106.
  • the raster line of the raster system 106 starts again.
  • the image change is designated 508 and requires a somewhat longer time than a raster line 506.
  • the image change can be preceded immediately by a readout time interval 507 (if desired with simultaneous exposure of the autofocus measurement system).
  • the readout time interval may in particular also take place during the image change.
  • a step 502 during the image change 508 from the measurement signal (which in the context of this embodiment, for example, a sum of the individual exposures) is closed to the focus position, in particular by the controller 140.
  • the measurement signal may be, for example, as in DE 102010030430 AI to a Detected reflex position act on a sensor, or even to the evaluation result of an interferogram as in DE
  • a step 503 the determined focus position is compared with a target position, and if the deviation is too large (i.e., the sample is out of focus), the lens 102 and the drive of the lens, respectively, are driven for z-adjustment of the lens in step 504.
  • step 507 the raster process of the raster system 106 starts again in a step 507. If no or only a small deviation is determined in step 503 (ie, the sample is in focus), the process goes directly to step 501.
  • a preferred implementation of the described embodiments can be achieved using a real-time capable control device 140.
  • the short breaks which are described for example in Figure 3 by the dead time when changing the line, require switching times in the microsecond range, whereby an implementation form of the controller 140 as a real-time hardware solution is desirable.
  • the controller 140 operates in the manner of a sequencer.
  • This is understood in particular as a solution with a script running on the control unit 140.
  • the script comprises a sequence of selected script commands to which functions of the control device 140, in particular functions of inputs and outputs of the control device 140, are assigned. Such functions include, in particular, reading and writing functions.
  • the controller 140 is configured to handle script commands of a predetermined script command set.
  • the script command set also includes script commands that do not have functions of the inputs and outputs but other functions, in particular program flow operations (such as wait, repeat, loops, etc.), arithmetic operations (such as add, multiply, etc.), etc., associated therewith.
  • the control unit 140 preferably has inputs and outputs which can be connected to one or more electrically controllable microscope components or other electrically controllable components, in the present example in particular with the motorized Z drive of the objective 102, with the image recording unit 106 with the autofocus Light source 122 and with the autofocus detector 124.
  • the flowcharts of FIGS. 4 and 5 can be implemented with such a script-based sequencer control.
  • an unambiguous assignment of the electrically controllable components which are necessary for the implementation of the function, preferably takes place to inputs and outputs. Actual values or measured values can be read at the inputs; setpoints or control commands can be output at the outputs.
  • the script is calculated by a PC and transmitted to the controller 140, started in the next step, and executed by the real-time controller 140 several times (depending on the programming).
  • the controller 140 preferably executes the script in a timer with temporal grid, wherein the time interval for the temporal grid is arbitrary.
  • This provides a real-time capability for the expiring control program.
  • Real-time systems are characterized by the fact that a result of an arithmetic operation (eg process or task) is guaranteed within a defined time interval, ie before a certain time limit exists.
  • a real-time system for example, on the processor of the control unit 140, a so-called "real-time" Operating system that regulates the different processes and tasks.
  • Alternative solutions are also known which do not require a real-time operating system. This is made possible, for example, by the use of state machines (statemachines) and interrupts.
  • control unit 140 control unit

Landscapes

  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Automatic Focus Adjustment (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

The present invention relates to a method for operating an autofocus measuring system (120) of a focus-stabilising device of a microscope system (100), wherein during a recording of images by an image-recording device (106) of the microscope system (100) arranged in an image-recording beam path (105), said images being intended for further processing or display, an autofocus light source (122) is switched off or useable light emitted from the autofocus light source (122) is masked out of the image-recording beam path (105).

Description

Mikroskopieverfahren mit Fokusstabilisierung  Microscopy method with focus stabilization
Beschreibung Die vorliegende Erfindung betrifft ein Verfahren zum Betreiben eines Autofokus- Messsystems einer Fokusstabilisierungseinrichtung eines Mikroskopsystems sowie eine Recheneinheit und ein Computerprogramm zu dessen Durchführung. The present invention relates to a method for operating an autofocus measuring system of a focus stabilization device of a microscope system, and to a computing unit and a computer program for carrying it out.
Stand der Technik State of the art
Moderne Mikroskopsysteme sind oft mit Fokusstabilisierungseinrichtungen ausgestattet, um eine dauerhafte Fokussierung des Präparats auch über längere Zeit und bei veränderlichen Umwelteinflüssen zu gewährleisten. Diese Fokusstabilisierungseinrichtungen arbeiten üblicherweise optisch koaxial zur eigentlichen mikro- skopischen Bildgebung in einem separaten Wellenlängenbereich. Das Nutzlicht der Fokusstabilisierungseinrichtung kann dazu mittels eines dichroitischen Teilers in den mikroskopischen Abbildungsstrahlengang ein- bzw. ausgekoppelt werden. Eine solche Fokusstabilisierungseinrichtung ist beispielsweise in der Modern microscope systems are often equipped with focus stabilization devices to ensure a lasting focus of the preparation over a longer period of time and under changing environmental conditions. These focus stabilizers usually work optically coaxially to the actual microscopic imaging in a separate wavelength range. For this purpose, the useful light of the focus stabilization device can be coupled in and out by means of a dichroic divider into the microscopic imaging beam path. Such a focus stabilizer is, for example, in
DE 10 2014 110 606 AI beschrieben. Um eine Detektion des Nutzlichts der Fokus- Stabilisierungseinrichtung in der mikroskopischen Bildgebung zu unterbinden, sind dabei starke Blockungseigenschaften bzw. eine sehr hohe Reflektivität des Dichroiten und eine spektral sehr scharfe Kante derselben notwendig. DE 10 2014 110 606 AI described. In order to prevent detection of the useful light of the focus stabilization device in microscopic imaging, strong blocking properties or a very high reflectivity of the dichroic and a spectrally very sharp edge of the same are necessary.
Andererseits sind in bestimmten Mikroskopiemethoden Transmissionseigenschaf- ten des Dichroiten notwendig, die technisch nur sehr schwer mit einer starkenOn the other hand, certain microscopy methods require transmission properties of the dichroic, which is technically very difficult with a strong one
Blockung und einer scharfen spektralen Kante vereinbar sind. Dies sind beispielsweise Anforderungen an die Polarisationseigenschaften des transmittierten Lieh- tes, insbesondere bei einer Wellenlänge nahe der Blockungskante zur Nutzwellenlänge des Fokusstabilisierungssystems. Blocking and a sharp spectral edge are compatible. These are, for example, requirements for the polarization properties of the transmitted light. tes, in particular at a wavelength near the blocking edge to the useful wavelength of the focus stabilization system.
Es ist daher wünschenswert, das Zusammenspiel von Fokusstabilisierung und mikroskopischer Bildgebung zu verbessern. It is therefore desirable to improve the interaction of focus stabilization and microscopic imaging.
Offenbarung der Erfindung Disclosure of the invention
Erfindungsgemäß werden ein Verfahren zum Betreiben eines Autofokus- Messsystems einer Fokusstabilisierungseinrichtung eines Mikroskopsystems sowie eine Recheneinheit und ein Computerprogramm zu dessen Durchführung mit den Merkmalen der unabhängigen Patentansprüche vorgeschlagen. Vorteilhafte Ausgestaltungen sind Gegenstand der Unteransprüche sowie der nachfolgenden Beschreibung. According to the invention, a method for operating an autofocus measuring system of a focus stabilization device of a microscope system as well as a computing unit and a computer program for carrying it out with the features of the independent patent claims are proposed. Advantageous embodiments are the subject of the dependent claims and the following description.
Die vorliegende Erfindung stellt ein Lösung vor, um eine Fokusstabilisierungseinrichtung in einem Mikroskop zu realisieren, bei welcher die spektrale Teilung zwischen dem von einer Autofokus-Lichtquelle der Fokusstabilisierungseinrichtung ausgehenden Nutzlicht und dem mikroskopischen Abbildungssystem derart re- laxiert ist, dass auch weitere optische Anforderungen an die dazu verwendete dichroitische Teilerschicht realisiert werden können. Insbesondere kann eine dichroitische Aufteilung des von der Autofokus-Lichtquelle ausgehenden Nutzlichts und des Beleuchtungslichts für die Bildaufnahme ganz unterbleiben. Dies ermöglicht insbesondere auch die Verwendung üblicher Lichtquellen als Autofo- kus-Lichtquelle. The present invention provides a solution for realizing a focus stabilization device in a microscope, in which the spectral division between the useful light emanating from an autofocus light source of the focus stabilizer and the microscopic imaging system is relaxed such that other optical requirements are also imposed on the optical system For this purpose used dichroic divider layer can be realized. In particular, a dichroic distribution of the useful light emanating from the autofocus light source and the illumination light for the image recording can be entirely omitted. This also makes it possible, in particular, to use conventional light sources as an autofocus light source.
Die Erfindung bedient sich dazu eines zeitlichen Versatzes zwischen Bildaufnahme und Fokusstabilisierung, so dass das Nutzlicht für die Fokusstabilisierung die Bildaufnahme nicht beeinflusst. Im Rahmen der Erfindung wird das Autofokus- Messsystem der Fokusstabilisierungseinrichtung so betrieben, dass während der Aufnahme von für die weitere Verarbeitung oder Darstellung vorgesehenen (sprich interessierenden) Bildern durch die Bildaufnahmeeinrichtung des Mikroskopsystems die Autofokus-Lichtquelle ausgeschaltet oder das von der Autofokus- Lichtquelle ausgehende Nutzlicht ausgeblendet wird. Auf diese Weise kann ein Übersprechen des Autofokus-Nutzlichts in die Bildaufnahme sehr einfach unter- bunden werden. Ein Ausblenden kann beispielsweise durch eine Blende, z.B. Irisblende oder ein (beispielsweise passend zu einem Takt der Bildaufnahme) rotierendes Shutterrad oder aber auch durch eine geeignete Ansteuerung einer modulierbaren Autofokus-Lichtquelle (z. B. LED) o.ä. erfolgen. Zur Durchführung der Fokusstabilisierung wird das Nutzlicht der Autofokus- Lichtquelle ausschließlich außerhalb der Bildaufnahme der interessierenden Bilder in den Bildaufnahmestrahlengang eingekoppelt. Nach einer ausreichend langen Messzeit (Belichtungszeit) kann dann die aktuelle Fokusposition ermittelt werden, beispielsweise durch triangulierende Verfahren wie in DE 102010030430 AI oder interferometrische Verfahren wie in DE 102011003807 AI. Hierbei ist die Fokusposition definiert als der Abstand zwischen dem Abbildungssystem und einer mit dem Mikroskop zu untersuchenden Probe, bei dem das Abbildungssystem auf eine gewünschte Probenebene fokussiert ist und mit dem Mikroskop ein optimales Bild dieser Probenebene erzeugt wird. Ein Ergebnis einer solchen Ermitt- lung der Fokusposition kann dann nötigenfalls zur Korrektur der Fokusposition genutzt werden, indem ein Abstand zwischen Probe und Objektiv verändert wird. Hierfür bieten sich insbesondere motorisierte Objektive und/oder motorisierte Probentische an, die in der Höhe (z-Achse) motorisiert verstellbar sind. Die ausreichend lange Messzeit kann insbesondere an einem Stück vorliegen. Insbesondere kann dafür eine Pause zwischen der Aufnahme zweier interessierender Bilder nötigenfalls verlängert werden. Sollte jedoch eine solche Verlängerung nicht hinnehmbar sein, (wie beispielsweise bei scannenden Verfahren), können auch mehrere solcher Zeiten, die jeweils durch Zeiten der Bildaufnahme interessieren- der Bilder voneinander getrennt sind, zusammen für die Messzeit genutzt werden. Falls eine einzelne Messzeit für die Fokusstabilisierungseinrichtung zu kurz für eine rauscharme Messung sein sollte, ist ein Modus vorteilhaft, in dem das Autofo- kus-Messsystem über mehrere Teilmessungen mittelt oder integriert. Dies kann beispielsweise auf der Detektionseinheit des Autofokus-Messsystems erfolgen, z. B. durch eine in Summe ausreichend lange Belichtung eines Detektors, oder aber auch in einem späteren Teil der Verarbeitung des Messsignals, z.B. in der Recheneinheit (z.B. FPGA oder Mikrocontroller). The invention makes use of a temporal offset between image acquisition and focus stabilization, so that the useful light for the focus stabilization does not affect the image acquisition. In the context of the invention, the autofocus measurement system of the focus stabilization device is operated in such a way that, during recording, provision is made for further processing or presentation (ie, interest) images are turned off by the image pickup device of the microscope system, the autofocus light source or hidden from the autofocus light source useful light is hidden. In this way, crosstalk of the autofocus useful light in the image recording can be very easily prevented. Fade-out can be achieved, for example, by means of a diaphragm, for example iris diaphragm or a shutter wheel rotating (for example, fitting to a cycle of image recording) or else by suitable control of a modulatable autofocus light source (eg LED) or the like. respectively. To carry out the focus stabilization, the useful light of the autofocus light source is coupled exclusively outside the image recording of the images of interest into the image recording beam path. After a sufficiently long measuring time (exposure time), the current focus position can then be determined, for example by triangulating methods as in DE 102010030430 Al or interferometric methods as in DE 102011003807 AI. In this case, the focus position is defined as the distance between the imaging system and a sample to be examined with the microscope, in which the imaging system is focused on a desired sample plane and an optimal image of this sample plane is generated with the microscope. A result of such a determination of the focus position can then be used, if necessary, to correct the focus position by changing a distance between the sample and the objective. Motorized lenses and / or motorized sample tables, which are motorized in height (z-axis), are particularly suitable for this purpose. The sufficiently long measuring time can be present in particular in one piece. In particular, it can be extended if necessary, a break between the inclusion of two images of interest. However, should such an extension be unacceptable (such as in scanning methods), multiple such times, each separated by image acquisition times, may be used together for the measurement time. If a single measurement time for the focus stabilizer too short for low-noise measurement, a mode in which the autofocus measurement system averages or integrates over several partial measurements is advantageous. This can be done for example on the detection unit of the autofocus measurement system, for. B. by a total sufficient long exposure of a detector, or in a later part of the processing of the measurement signal, for example in the arithmetic unit (eg FPGA or microcontroller).
Vorzugsweise erfolgt auch die Korrektur der Fokusposition ausschließlich in Zeiten außerhalb der Bildaufnahme der interessierenden Bilder, um die Bildaufnahme nicht negativ zu beeinflussen. Preferably, the correction of the focus position takes place exclusively in times outside of the image acquisition of the images of interest, so as not to negatively influence the image acquisition.
Die interessierenden Bilder umfassen insbesondere diejenigen Bilder, die weiterverarbeitet werden sollen. Zeitpunkte außerhalb der Bildaufnahme der interessierenden Bilder umfassen somit insbesondere Aufnahmepausen und Aufnahmezei- ten nicht interessierender Bilder (soweit solche aufgenommen werden). Als Aufnahmepause für die Fokusstabilisierung eignet sich insbesondere eine Pause zwischen zwei Bildern oder eine Pause regelmäßig nach jedem N-ten (natürliche Zahl) Bild und/oder zwischen zwei Zeilen oder regelmäßig nach jeder N-ten Zeile (z.B. in der Rückflugzeit des Rasterelements) eines Rastersystems, und von der Belich- tungszeit getrennte Auslesezeiten einer zur Bildaufnahme genutzten Kamera. The images of interest include in particular those images that are to be further processed. Time points outside the image acquisition of the images of interest thus include, in particular, recording pauses and recording times of images of no interest (insofar as they are recorded). In particular, a pause between two pictures or a pause after every Nth (natural number) picture and / or between two lines or regularly after every Nth line (eg in the return flight time of the raster element) is suitable as a recording break for focus stabilization Rastersystem, and from the exposure time separate readout times of a used for image recording camera.
Die Koordination dieser abwechselnden Folge von exklusiver Bildaufnahme und Fokusmessung kann mittels der oben dargestellten Möglichkeiten aktiv (durch gezielte und ggf. verzögerte Auslösung der Bildaufnahme) oder passiv (durch Nut- zung des Autofokus-Messsystems während einer systembedingten Pause der Bildaufnahme des mikroskopischen Abbildungssystems), oder in einem hybriden Modus durchgeführt werden. The coordination of this alternating sequence of exclusive image acquisition and focus measurement can be active (by selective and possibly delayed triggering of the image acquisition) or passive (by using the autofocus measurement system during a system-related pause of the image acquisition of the microscopic imaging system), or in a hybrid mode.
Durch die gegenseitige Exklusivität von Fokusmessung und Bildaufnahme wird ein Übersprechen unterbunden, so dass diese Aufgabe nicht mehr von der dichroiti- schen Teilerschicht gewährleistet werden muss und so mehr Freiheit in der Ent- wicklung des Sichtsystems zur Verfügung steht und andere optische Eigenschaften als die Unterbindung des Übersprechens optimiert werden können. Durch die enge temporale Verzahnung von Bildaufnahme einerseits und Fokusmessung und - korrektur andererseits ist trotzdem eine quasi-simultane Fokusstabilisierung ge- geben. Due to the mutual exclusivity of focus measurement and image recording, crosstalk is prevented, so that this task no longer has to be guaranteed by the dichroic divider layer and thus more freedom in the development development of the vision system is available and other optical properties can be optimized as the suppression of crosstalk. Due to the close temporal interlocking of image acquisition on the one hand and focus measurement and correction on the other hand, there is nevertheless a quasi-simultaneous focus stabilization.
Zusätzlich kann eine Umschaltung des Betriebsmodus der Fokusstabilisierungseinrichtung vorgesehen sein, die zwischen dem erfindungsgemäßen Verfahren für elektronische Bilddatendetektion und einem alternativen Modus für visuelle Be- trachtung des mikroskopischen Bildes umschaltet, in welchem das Autofokus-In addition, a switchover of the operating mode of the focus stabilization device can be provided, which switches over between the method according to the invention for electronic image data detection and an alternative mode for visually viewing the microscopic image, in which the autofocusing
Messsystem der Fokusstabilisierungseinrichtung dauerhaft in Betrieb ist. Falls dieses Autofokus-Messsystem außerhalb des visuellen Spektralbereichs arbeitet, ist die visuelle Betrachtung der Probe dadurch nicht beeinflusst. Eine bevorzugte Implementierung der vorliegenden Erfindung ist die Integration der Steuerung der Fokusstabilisierungseinrichtung in eine Recheneinheit bzw. Steuergerät, welches auch die Bildaufnahme des Mikroskopsystems kontrolliert. Dies kann beispielsweise durch eine (z.B. FPGA- oder μΟίηιρΙθηΐθηίίθΓίθ) Zu- standsmaschine implementiert sein, die direkten Zugriff auf die Systemkomponen- ten des Mikroskops hat. Dieses Steuergerät koordiniert auch die mikroskopische Bildaufnahme, entweder aktiv beispielsweise durch Senden von Start-Impulsen an das Bildaufnahmesystem, oder auch passiv durch Entgegennahme von Bildaufnahme-Signalen, oder aber auch bidirektional (Aussenden und Empfangen von Bildaufnahme-Signalen). Weiterhin hat das Steuergerät Kontrolle über das opti- sehe Messverfahren der Fokusstabilisierungseinrichtung, kann also insbesondere deren Autofokus-Lichtquelle kontrollieren. Measuring system of the focus stabilizer is permanently in operation. If this autofocus measurement system works outside of the visual spectral range, visual inspection of the sample is not affected thereby. A preferred implementation of the present invention is the integration of the control of the focus stabilization device into a computing unit or control device, which also controls the image acquisition of the microscope system. This may be implemented, for example, by a state machine (eg, FPGA or μΟίηιρΙθηΐθηίίθΓίθ) state machine having direct access to the system components of the microscope. This control unit also coordinates the microscopic image acquisition, either actively, for example, by sending start pulses to the image acquisition system, or passively by receiving image acquisition signals, or bidirectional (sending and receiving image acquisition signals). Furthermore, the control unit has control over the optical measuring method of the focus stabilization device, and can thus in particular control its autofocus light source.
Eine erfindungsgemäße Recheneinheit, z.B. ein Steuergerät eines Mikroskopsystems, ist, insbesondere programmtechnisch, dazu eingerichtet, ein erfindungs- gemäßes Verfahren durchzuführen. Auch die Implementierung des Verfahrens in Form eines Computerprogramms ist vorteilhaft, da dies besonders geringe Kosten verursacht, insbesondere wenn ein ausführendes Steuergerät noch für weitere Aufgaben genutzt wird und daher ohnehin vorhanden ist. Geeignete Datenträger zur Bereitstellung des Computerpro- gramms sind insbesondere magnetische, optische und elektrische Speicher, wie z.B. Festplatten, Flash-Speicher, EEPROMs, DVDs u.a.m. Auch ein Download eines Programms über Computernetze (Internet, Intranet usw.) ist möglich. An arithmetic unit according to the invention, for example a control unit of a microscope system, is, in particular programmatically, configured to perform a method according to the invention. Also, the implementation of the method in the form of a computer program is advantageous because this causes very low costs, especially if an executive controller is still used for other tasks and therefore already exists. Suitable data carriers for the provision of the computer program are, in particular, magnetic, optical and electrical memories, such as hard disks, flash memories, EEPROMs, DVDs and the like. It is also possible to download a program via computer networks (Internet, intranet, etc.).
Weitere Vorteile und Ausgestaltungen der Erfindung ergeben sich aus der Be- Schreibung und der beiliegenden Zeichnung. Further advantages and embodiments of the invention will become apparent from the description and the accompanying drawings.
Es versteht sich, dass die vorstehend genannten und die nachstehend noch zu erläuternden Merkmale nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen. It is understood that the features mentioned above and those yet to be explained below can be used not only in the particular combination given, but also in other combinations or in isolation, without departing from the scope of the present invention.
Die Erfindung ist anhand eines Ausführungsbeispieles in der Zeichnung schematisch dargestellt und wird im Folgenden unter Bezugnahme auf die Zeichnung beschrieben. The invention is illustrated schematically with reference to an embodiment in the drawing and will be described below with reference to the drawing.
Figurenbeschreibung figure description
Figur 1 zeigt ein beispielhaftes Mikroskopsystem mit einer Fokusstabilisierungseinrichtung, wie es der Erfindung zugrunde liegen kann. FIG. 1 shows an exemplary microscope system with a focus stabilization device, as may be the basis of the invention.
Figur 2 zeigt beispielhaft eine Abfolge von Bildaufnahme und Fokusstabilisierung gemäß einer bevorzugten Ausführungsform der Erfindung. FIG. 2 shows by way of example a sequence of image acquisition and focus stabilization according to a preferred embodiment of the invention.
Figur 3 zeigt beispielhaft eine Abfolge von Bildaufnahme und Fokusstabilisierung gemäß einer weiteren bevorzugten Ausführungsform der Erfindung. Figur 4 zeigt beispielhaft die Ausführungsform gemäß Figur 2 als Flussdiagramm. FIG. 3 shows by way of example a sequence of image acquisition and focus stabilization according to a further preferred embodiment of the invention. FIG. 4 shows by way of example the embodiment according to FIG. 2 as a flow chart.
Figur 5 zeigt beispielhaft die Ausführungsform gemäß Figur 3 als Flussdia- gramm. FIG. 5 shows, by way of example, the embodiment according to FIG. 3 as a flowchart.
Detaillierte Beschreibung der Zeichnung Detailed description of the drawing
In Figur 1 ist ein Mikroskopsystem, wie es der Erfindung zugrunde liegen kann, schematisch und blockdiagrammartig dargestellt. Das Mikroskopsystem 100 ist beispielhaft mit einem inversen Mikroskop ausgebildet und weist ein in z-Richtung motorisiert bewegliches Objektiv 102 auf, das zur Abbildung einer Probe (nicht gezeigt) in der Figur oberhalb des Objektivs 102 zusammen mit einem hier lediglich als Linse 103 symbolisierten optischen System auf eine beispielsweise als Ka- mera oder Rastersystem 106 ausgebildete Bildaufnahmeeinrichtung dient. Das Objektiv 102 definiert zusammen mit dem optischen System 103 einen Bildauf- nahmestrahlengangl05. 1 shows a microscope system, as it may be based on the invention, shown schematically and block diagram. The microscope system 100 is embodied, for example, with an inverted microscope and has a motorized objective 102 which is motorized in the z-direction and which is used to image a sample (not shown) in the figure above the objective 102 together with an optical system symbolized here merely as a lens 103 on an image recording device designed as a camera or raster system 106, for example. The objective 102, together with the optical system 103, defines an imaging beam path 105.
Die Kamera 106 ist mit einer Recheneinheit bzw. einem Steuergeräts 140 verbun- den, welches dazu eingerichtet ist, die Bildaufnahme zu steuern. The camera 106 is connected to a computing unit or a control unit 140, which is set up to control the image acquisition.
Weiterhin verfügt das Mikroskopsystem 100 über eine Fokusstabilisierungseinrichtung, umfassend ein Autofokus-Messsystem 120, einen dichroitischen Teilerspiegel 104, nötigenfalls weitere Umlenkelemente sowie eine entsprechende Funk- tionalität im Steuergerät 140 zur Auswertung der Fokusposition und zur Verstellung des Objektivs 102 in z-Richtung. Furthermore, the microscope system 100 has a focus stabilization device, comprising an autofocus measuring system 120, a dichroic splitter mirror 104, if necessary, further deflecting elements and a corresponding functionality in the control unit 140 for evaluating the focus position and for adjusting the objective 102 in the z direction.
Im Einzelnen verfügt das Autofokus-Messsystem 120 über eine Autofokus- Lichtquelle 122 , ein prismenförmiges Strahlumlenkelement, einen Autofokus- Detektor 124 und Linsen (nicht bezeichnet) zur Abbildung. Die Autofokus- Lichtquelle 122 ist vom Steuergerät 140 ansteuerbar. Vom Autofokus-Detektor 124 aufgenommene Signale werden ebenfalls dem Steuergerät 140 zugeführt. Specifically, the autofocus measurement system 120 includes an autofocus light source 122, a prism beam deflector, an autofocus detector 124, and lenses (not shown) for imaging. The autofocus Light source 122 can be controlled by the control unit 140. Signals received by the autofocus detector 124 are also supplied to the controller 140.
Bevorzugte Ausführungsformen der Erfindung werden im Folgenden unter Bezug- nähme auf die Figuren 2 bis 4 beschrieben, in denen unterschiedliche Abläufe von bevorzugten Ausführungsformen der Erfindung gezeigt sind. Preferred embodiments of the invention are described below with reference to FIGS. 2 to 4, in which different sequences of preferred embodiments of the invention are shown.
In Figur 2 ist eine bevorzugte Ausführungsform der Erfindung durch eine Auftragung von Gerätezuständen über die Zeit t dargestellt. Dabei ist mit 202 ein Belich- tungszeitintervall der Kamera 106 und mit 204 ein Auslesezeitintervall der Kamera 106 dargestellt. Mit 206 ist ein Fokusstabilisierung-Zeitintervall dargestellt. In Figure 2, a preferred embodiment of the invention is illustrated by a plot of device states over time t. In this case, an exposure time interval of the camera 106 is shown at 202 and a readout time interval of the camera 106 at 204. At 206, a focus stabilization time interval is shown.
Ein Wert "1" für das Belichtungszeitintervall 202 bedeutet, dass die Kamera 106 währenddessen belichtet wird; "0" bedeutet, dass die Kamera 106 währenddessen nicht belichtet wird. Die Belichtungszeiten stellen im Sinne der Erfindung Zeiten einer Aufnahme von relevanten Bildern dar A value "1" for the exposure time interval 202 means that the camera 106 is being exposed during this; "0" means that the camera 106 is not exposed during this time. The exposure times in the context of the invention represent times of recording relevant images
In entsprechender Weise bedeutet "1" für das Auslesezeitintervall 204, dass die Kamera 106 ausgelesen wird, und "0" bedeutet, dass die Kamera 106 nicht ausge- lesen wird. Die Auslesezeiten stellen im Sinne der Erfindung Zeiten außerhalb der Bildaufnahme der relevanten Bilder dar. Es ist erkennbar, dass sich im gezeigten Beispiel Belichtungszeitintervall und Auslesezeitintervall regelmäßig abwechseln. Similarly, "1" for the readout time interval 204 means that the camera 106 is read out, and "0" means that the camera 106 is not read out. Within the meaning of the invention, the readout times represent times outside of the image recording of the relevant images. It can be seen that in the example shown, the exposure time interval and the readout time interval alternate regularly.
Bei der in Figur 2 dargestellten Ausführungsform sind diese Zeiten außerhalb der Bildaufnahme der relevanten Bilder lange genug (sei es systembedingt oder aufgrund von Verzögerungen der anschließenden Belichtung), um währenddessen eine Fokusstabilisierung durchführen zu können. In diesem Sinne bedeutet ein Wert "1", dass die Fokusstabilisierung durchgeführt wird; "0" bedeutet, dass die Fokusstabilisierung währenddessen nicht durchgeführt wird. Diese Fokusstabilisierung umfasst insbesondere einen Ablauf, wie er in Figur 4 gezeigt ist. In the embodiment shown in FIG. 2, these times are long enough outside of the image acquisition of the relevant images (be it due to the system or due to delays in the subsequent exposure) in order to be able to perform focus stabilization in the meantime. In this sense, a value "1" means that the focus stabilization is performed; "0" means that focus stabilization is not performed during this time. This focus stabilization comprises in particular a sequence, as shown in FIG.
Zur Bestimmung der Fokusposition wird in einem Schritt 401 die Autofokus- Lichtquelle 122 aktiviert. Das von der Autofokus-Lichtquelle 122 ausgehende Licht wird im Beispiel von Figur 1 mittels des prismenförmigen Umlenkelements, des Umlenkspiegels und des dichroitischen Strahlteilers 104 über das Objektiv 102 auf die Probe geleitet, von dort reflektiert und zurück über das Objektiv 102, den dichroitischen Strahlteiler 104, den Umlenkspiegel und das prismenförmige Umlen- kelement auf den Autofokus-Detektor 124 geleitet. In einem Schritt 402 wird aus dem Messsignal auf die Fokusposition geschlossen, insbesondere durch das Steuergerät 140. To determine the focus position, the autofocus light source 122 is activated in a step 401. The light emanating from the autofocus light source 122 is conducted in the example of FIG. 1 by means of the prism-shaped deflecting element, the deflecting mirror and the dichroic beam splitter 104 to the specimen via the objective 102, reflected from there and back via the objective 102, the dichroic beam splitter 104 , the deflecting mirror and the prism-shaped deflecting element are directed onto the autofocus detector 124. In a step 402 is closed from the measurement signal to the focus position, in particular by the control unit 140th
In einem Schritt 403 wird die bestimmte Fokusposition mit einer Sollposition ver- glichen und bei einer zu großen Abweichung (d.h. die Probe befindet sich nicht im Fokus) werden in Schritt 404 das Objektiv 102 bzw. der Antrieb des Objektivs für eine z- Verstellung des Objektivs angesteuert. Anschließend wird in einem SchrittIn a step 403, the determined focus position is compared with a target position, and if the deviation is too great (ie, the sample is out of focus), in step 404 the objective 102 or the drive of the objective are adjusted to z driven. Subsequently, in one step
405 die Autofokus-Lichtquelle wieder deaktiviert. Wird in Schritt 403 keine oder nur eine kleine Abweichung festgestellt (d.h. die Probe befindet sich im Fokus), wird direkt zu Schritt 405 gewechselt. 405 disabled the autofocus light source again. If no or only a small deviation is detected in step 403 (i.e., the sample is in focus), a jump is made to step 405 directly.
Während der gesamten Fokusstabilisierung wird die Kamera 106 in einem SchrittDuring the entire focus stabilization, the camera 106 becomes one step
406 ausgelesen. Sind beide Vorgänge abgeschlossen wird, beginnt in einem Schritt406 read out. If both processes are completed, starts in one step
407 die Belichtung der Kamera 106 von neuem. 407 the exposure of the camera 106 again.
Im Rahmen dieser bevorzugten Ausführungsform der Erfindung ist daher vorgesehen, dass jeweils eine komplette Fokusstabilisierung in den durch Auslesezeiten gebildeten Aufnahmepausen zwischen jeweils zwei interessierenden, d.h. von der Kamera 106 detektierten und für die weitere Verarbeitung oder Darstellung vor- gesehenen Bildern stattfindet. Bei einer alternativen Ausführungsform, wie sie in den Figuren 3 und 5 gezeigt ist, sind hingegen mehrere Belichtungsschritte für eine Fokusstabilisierung nötig. In the context of this preferred embodiment of the invention, it is therefore provided that in each case a complete focus stabilization takes place in the recording pauses formed by readout times between in each case two images that are of interest, ie those detected by the camera 106 and intended for further processing or presentation. In an alternative embodiment, as shown in Figures 3 and 5, however, several exposure steps for focus stabilization are necessary.
In Figur 3 sind mit 302 wieder ein Belichtungszeitintervall der Kamera 106 und mit 304 wieder ein Auslesezeitintervall der Kamera 106 dargestellt. Mit 306 ist diesmal ein Aktivieren der Autofokus-Lichtquelle 122 für die Fokusstabilisierung dargestellt. Zusätzlich ist mit 308 ein Bestimmen der Fokusposition und nötigenfalls Verstellen des Objektivs dargestellt. Bei der in Figur 3 dargestellten Ausführungsform sind die Zeiten außerhalb der Bildaufnahme der interessierenden Bilder nicht lange genug, um währenddessen eine komplette Fokusstabilisierung durchführen zu können. Beispielsweise haben Raster- Verfahren nur kurze Pausen zwischen zwei benachbarten Punkten, die üblicherweise auch nicht verlängert werden sollen. Jedoch können solche Raster- Verfahren längere Pausen bei einem Zeilenwechsel haben, da nach dem Abrastern einer Zeile mit hoher Geschwindigkeit die Rastereinheit zum Abrastern einer neuen Zeile ihre Bewegungsrichtung umkehren muss und so durch Abbremsen und Beschleunigung eine Totzeit entsteht. Solche Pausen können zum Bestimmen der Fokusposition und nötigenfalls Verstellen des Objektivs gemäß 308 genutzt wer- den. In FIG. 3, 302 again shows an exposure time interval of the camera 106 and 304 again a readout time interval of the camera 106. At 306, this time, activation of the autofocus light source 122 for focus stabilization is shown. In addition, 308 is used to determine the focus position and, if necessary, adjust the lens. In the embodiment shown in FIG. 3, the times outside of the image acquisition of the images of interest are not long enough to be able to perform a complete focus stabilization in the meantime. For example, raster methods have only brief pauses between two adjacent points, which usually should not be extended. However, such halftone methods may have longer breaks in a line break, since after scanning a line at high speed, the rasterizer unit has to reverse its direction of movement to scan a new line, thus creating a dead time due to deceleration and acceleration. Such pauses may be used to determine the focus position and, if necessary, adjust the lens as shown in 308.
Eine entsprechende Fokusstabilisierung umfasst insbesondere einen Ablauf, wie er in Figur 5 gezeigt ist. In einem Schritt 501 wird die Autofokus-Lichtquelle 122 aktiviert. Das von der Autofokus-Lichtquelle 122 ausgehende Licht wird im Beispiel von Figur 1 mittels des prismenförmigen Umlenkelements, des Umlenkspiegels und des dichroitischen Strahlteilers 104 über das Objektiv 102 auf die Probe geleitet, von dort reflektiert und zurück über das Objektiv 102, den dichroitischen Strahlteiler 104, den Um- lenkspiegel und das prismenförmige Umlenkelement auf den Autofokus-Detektor 124 geleitet. In einem Schritt 505 wird Autofokus-Lichtquelle 122 wieder deaktiviert. A corresponding focus stabilization comprises in particular a sequence, as shown in FIG. In a step 501, the autofocus light source 122 is activated. The light emanating from the autofocus light source 122 is conducted in the example of FIG. 1 by means of the prism-shaped deflecting element, the deflecting mirror and the dichroic beam splitter 104 to the specimen via the objective 102, reflected from there and back via the objective 102, the dichroic beam splitter 104 , the deflecting mirror and the prism-shaped deflecting element on the autofocus detector 124 headed. In a step 505, autofocus light source 122 is deactivated again.
Währenddessen wird mit dem Rastersystem 106 in einem Schritt 506 eine Zeile ausgelesen. In einem Schritt 507 beginnt die Rasterzeile des Rastersystems 106 von neuem. Meanwhile, in a step 506, a line is read out with the raster system 106. In a step 507, the raster line of the raster system 106 starts again.
Dieser Ablauf wird so oft wiederholt, bis das Ende eines Bildes erreicht ist. Der Bildwechsel ist mit 508 bezeichnet und benötigt eine etwas längere Zeit als eine Rasterzeile 506. Wie in Figur 3 gezeigt, kann dem Bildwechsel unmittelbar ein Auslesezeitintervall 507 (gewünschtenfalls mit gleichzeitigem Belichten des Autofo- kus-Messsystems) vorhergehen. Das Auslesezeitintervall kann jedoch insbesondere auch während des Bildwechsels stattfinden. Jedenfalls wird in einem Schritt 502 während des Bildwechsels 508 aus dem Messsignal (welches im Rahmen dieser Ausführungsform beispielsweise eine Summe der Einzelbelichtungen ist) auf die Fokusposition geschlossen, insbesondere durch das Steuergerät 140. Beim Messsignal kann es sich beispielsweise wie in DE 102010030430 AI um eine detektierte Reflexposition auf einem Sensor handeln, oder auch um das Auswertungsresultat eines Interferogramms wie in DE This process is repeated until the end of an image is reached. The image change is designated 508 and requires a somewhat longer time than a raster line 506. As shown in FIG. 3, the image change can be preceded immediately by a readout time interval 507 (if desired with simultaneous exposure of the autofocus measurement system). However, the readout time interval may in particular also take place during the image change. In any case, in a step 502 during the image change 508 from the measurement signal (which in the context of this embodiment, for example, a sum of the individual exposures) is closed to the focus position, in particular by the controller 140. The measurement signal may be, for example, as in DE 102010030430 AI to a Detected reflex position act on a sensor, or even to the evaluation result of an interferogram as in DE
102011003807 AI. 102011003807 AI.
In einem Schritt 503 wird die bestimmte Fokusposition mit einer Sollposition verglichen und bei einer zu großen Abweichung (d.h. die Probe befindet sich nicht im Fokus) werden in Schritt 504 das Objektiv 102 bzw. der Antrieb des Objektivs für eine z- Verstellung des Objektivs angesteuert. In a step 503, the determined focus position is compared with a target position, and if the deviation is too large (i.e., the sample is out of focus), the lens 102 and the drive of the lens, respectively, are driven for z-adjustment of the lens in step 504.
Nach dem Zeilenwechsel beginnt in einem Schritt 507 der Rasterprozess des Rastersystems 106 von neuem. Wird in Schritt 503 keine oder nur eine kleine Abweichung festgestellt (d.h. die Probe befindet sich im Fokus), wird direkt zu Schritt 501 gewechselt. After the line change, the raster process of the raster system 106 starts again in a step 507. If no or only a small deviation is determined in step 503 (ie, the sample is in focus), the process goes directly to step 501.
Eine bevorzugte Umsetzung der beschriebenen Ausführungsformen ist unter Ver- wendung eines echtzeitfähigen Steuergeräts 140 zu erreichen. Insbesondere die kurzen Pausen, die beispielsweise in Figur 3 durch die Totzeit beim Zeilenwechsel beschrieben sind, erfordern Schaltzeiten im Mikrosekundenbereich, wodurch eine Implementierungsform des Steuergeräts 140 als echtzeitfähige Hardwarelösung erstrebenswert ist. A preferred implementation of the described embodiments can be achieved using a real-time capable control device 140. In particular, the short breaks, which are described for example in Figure 3 by the dead time when changing the line, require switching times in the microsecond range, whereby an implementation form of the controller 140 as a real-time hardware solution is desirable.
Vorzugsweise arbeitet das Steuergerät 140 nach Art eines Sequenzers. Darunter wird insbesondere eine Lösung mit einem auf dem Steuergerät 140 ablaufenden Script verstanden. Das Script umfasst eine Abfolge von ausgewählten Scriptbefehlen, denen Funktionen des Steuergeräts 140, insbesondere Funktionen von Ein- und Ausgängen des Steuergeräts 140 zugeordnet sind. Solche Funktionen umfassen insbesondere Lese- und Schreibefunktionen. Preferably, the controller 140 operates in the manner of a sequencer. This is understood in particular as a solution with a script running on the control unit 140. The script comprises a sequence of selected script commands to which functions of the control device 140, in particular functions of inputs and outputs of the control device 140, are assigned. Such functions include, in particular, reading and writing functions.
Vorzugsweise ist das Steuergerät 140 dazu eingerichtet, Scriptbefehle eines vorbestimmten Scriptbefehlssatzes verarbeiten zu können. Dies erleichtert die spätere Programmierung durch einen Benutzer. Vorzugsweise enthält der Scriptbefehlssatz auch Scriptbefehle, denen keine Funktionen der Ein- und Ausgänge, sondern andere Funktionen, insbesondere Programmflussoperationen (wie Warten, Wiederholen, Schleifen usw.), Rechenoperationen (wie Addieren, Multiplizieren usw.) usw., zugeordnet sind. Preferably, the controller 140 is configured to handle script commands of a predetermined script command set. This facilitates later programming by a user. Preferably, the script command set also includes script commands that do not have functions of the inputs and outputs but other functions, in particular program flow operations (such as wait, repeat, loops, etc.), arithmetic operations (such as add, multiply, etc.), etc., associated therewith.
Das Steuergerät 140 weist vorzugsweise Ein- und Ausgänge auf, die mit einer oder mehreren elektrisch ansteuerbaren Mikroskopkomponenten oder anderen elektrisch ansteuerbaren Komponenten verbindbar sind, im vorliegenden Beispiel insbesondere mit dem motorisierten Z-Trieb des Objektivs 102, mit der Bildauf- nahmeeinheit 106 mit der Autofokus-Lichtquelle 122 und mit dem Autofokus- Detektor 124. Beispielsweise lassen sich die Flussdiagramme aus den Figuren 4 und 5 mit einer solchen scriptbasierten Sequenzersteuerung umsetzen. Zu diesem Zweck erfolgt vorzugsweise eine eindeutige Zuordnung der elektrisch ansteuerbaren Komponenten, die zur Umsetzung der Funktion notwendig sind, zu Ein- und Ausgängen. An den Eingängen können Istwerte bzw. Messwerte gelesen werden, an den Ausgängen können Sollwerte oder Ansteuerbefehle ausgegeben werden. The control unit 140 preferably has inputs and outputs which can be connected to one or more electrically controllable microscope components or other electrically controllable components, in the present example in particular with the motorized Z drive of the objective 102, with the image recording unit 106 with the autofocus Light source 122 and with the autofocus detector 124. For example, the flowcharts of FIGS. 4 and 5 can be implemented with such a script-based sequencer control. For this purpose, an unambiguous assignment of the electrically controllable components, which are necessary for the implementation of the function, preferably takes place to inputs and outputs. Actual values or measured values can be read at the inputs; setpoints or control commands can be output at the outputs.
Weiterhin wird der zeitliche Ablauf in mindestens einem Script beschrieben. Dieses sieht beispielsweise für Figur 4 wie folgt aus: Furthermore, the timing is described in at least one script. This looks like for example for Figure 4 as follows:
1. Aktivierung der Autofokuslichtquelle (401) 1. Activation of the autofocus light source (401)
2. Auslesen des Autofokus-Messsignals und Bestimmung der Fokusposition (402)  2. Reading out the autofocus measurement signal and determining the focus position (402)
3. Vergleich der Sollposition mit Istposition (403)  3. Comparison of the Target Position with Actual Position (403)
4. Z-Trieb-Verstellung, wenn Abweichung zu groß, andernfalls erfolgt keine Z- Trieb-Verstellung (404)  4. Z-drive adjustment, if deviation is too large, otherwise no Z-drive adjustment (404)
5. Deaktivieren der Autofokuslichtquelle (405)  5. Disabling the autofocus light source (405)
6. Belichtung der Kamera (407)  6. Exposure of the camera (407)
Das Script wird zum Beispiel von einem PC berechnet und an das Steuergerät 140 übertragen, im nächsten Schritt gestartet und von dem echtzeitfähigen Steuergerät 140 mehrmals (je nach Programmierung) ausgeführt. For example, the script is calculated by a PC and transmitted to the controller 140, started in the next step, and executed by the real-time controller 140 several times (depending on the programming).
Das Steuergerät 140 führt das Script vorzugsweise in einem Timer mit zeitlichem Raster aus, wobei das Zeitintervall für das zeitliche Raster frei wählbar ist. Dies bietet eine Echtzeitfähigkeit für das ablaufende Steuerprogramm. Echtzeitsysteme zeichnen sich dadurch aus, dass ein Ergebnis einer Rechenoperation (z.B. Prozess oder Task) innerhalb eines definierten Zeitintervalls garantiert berechnet ist, also vor einer bestimmten Zeitschranke vorliegt. In einem Echtzeitsystem läuft hierzu beispielsweise auf dem Prozessor des Steuergeräts 140 ein sog. Echtzeit- Betriebssystem, das die unterschiedlichen Prozesse und Tasks regelt. Es sind auch alternative Lösungen bekannt, die kein Echtzeit-Betriebssystem erfordern. Dies wird zum Beispiel ermöglicht durch die Verwendung von Zustandsmaschinen (engl.: Statemachine) und Interrupts. The controller 140 preferably executes the script in a timer with temporal grid, wherein the time interval for the temporal grid is arbitrary. This provides a real-time capability for the expiring control program. Real-time systems are characterized by the fact that a result of an arithmetic operation (eg process or task) is guaranteed within a defined time interval, ie before a certain time limit exists. In a real-time system, for example, on the processor of the control unit 140, a so-called "real-time" Operating system that regulates the different processes and tasks. Alternative solutions are also known which do not require a real-time operating system. This is made possible, for example, by the use of state machines (statemachines) and interrupts.
Bezugszeichenliste LIST OF REFERENCE NUMBERS
100: Mikroskopsystem mit Fokusstabilisierungseinrichtung 100: Microscope system with focus stabilizer
102: Objektiv mit motorisiertem Z-Trieb 102: Lens with motorized Z-drive
103: optisches System bzw. Abbildungssystem 103: optical system or imaging system
104: Dichroitischer Teilerspiegel 104: Dichroic splitter mirror
105: Bildaufnahmestrahlengang 105: Image taking ray path
106: Bildaufnahmeeinheit des Mikroskops 106: image recording unit of the microscope
120: Autofokus-Messsystem der Fokusstabilisierungseinrichtung  120: Autofocus measuring system of the focus stabilizer
122: Autofokus-Lichtquelle des Autofokus-Messsystems 122: Autofocus light source of the autofocus measurement system
124: Autofokus-Detektor des Autofokus-Messsystems 124: Autofocus detector of the autofocus measurement system
140: Steuergerät 140: control unit
202: Belichtungszeitintervall der Bildaufnahmeeinheit 202: exposure time interval of the image pickup unit
204: Auslesezeitintervall der Bildaufnahmeeinheit 204: readout time interval of the image pickup unit
206: Fokusstabilisierungs-Zeitintervall 206: focus stabilization time interval
302: Belichtungszeit der Bildaufnahmeeinheit 302: exposure time of the image pickup unit
304: Auslesezeit der Bildaufnahmeeinheit 304: readout time of the image pickup unit
306: Aktivieren des Autofokus-Messsystems 306: Activating the autofocus measurement system
308: Berechnung und Durchführung des Korrekturschritts der Fokusstabilisierungseinrichtung  308: Calculation and execution of the correction step of the focus stabilizer
401 - 407: Verfahrensschritte 401-407: process steps
401 Schritt mit Aktivierung der Autofokus-Lichtquelle 122 401 step with activation of the autofocus light source 122
402 Schritt mit Bestimmung der Fokusposition  402 step with determination of the focus position
403 Schritt mit Vergleich der bestimmten Fokusposition mit einer Sollposition 403 step with comparison of the determined focus position with a target position
404 Schritt mit Fokuskorrektur 404 step with focus correction
405 Schritt mit Deaktivierung der Lichtquelle  405 step with deactivation of the light source
406 Schritt mit Auslesen der Kamera während 401 bis 405 406 step with reading the camera during 401-405
407 Schritt mit Belichtung der Kamera 106 501 - 508: Verfahrensschritte 407 step with exposure of the camera 106 501-508: process steps
Schritte bei Zeilenscanner Steps with line scanner
501 Schritt mit Aktivieren der Autofokus-Lichtquelle 122  501 step with activating the autofocus light source 122
503 Schritt mit Vergleich der bestimmten Fokusposition mit Sollposition 503 step with comparison of the determined focus position with target position
504 Schritt mit z-Verstellung des Objektivs 102 504 step with z-adjustment of the lens 102
505 Schritt mit Deaktivieren der Lichtquelle 122  505 step with deactivating the light source 122
506 Schritt mit Auslesen der Kamera während 501 und 502  506 step with reading the camera during 501 and 502
507 Schritt mit erneuter Belichtung der Kamera 106  507 step with reexposure of the camera 106
508 Schritt mit Zeilenwechsel  508 step with line break

Claims

Patentansprüche claims
1. Verfahren zum Betreiben eines Autofokus-Messsystems (120) einer Fokusstabilisierungseinrichtung eines Mikroskopsystems (100), 1. A method for operating an autofocus measuring system (120) of a focus stabilizing device of a microscope system (100),
wobei während einer Aufnahme von für die weitere Verarbeitung oder DarStellung vorgesehenen Bildern durch eine in einem Bildaufnahmestrahlengang (105) angeordnete Bildaufnahmeeinrichtung (106) des Mikroskopsystems (100) eine Autofokus-Lichtquelle (122) ausgeschaltet oder von der Autofokus- Lichtquelle (122) ausgehendes Nutzlicht aus dem Bildaufnahmestrahlengang (105) ausgeblendet wird.  wherein an autofocus light source (122) or useful light emanating from the autofocus light source (122) is switched off during recording of images intended for further processing or presentation by an image recording device (106) of the microscope system (100) arranged in an image recording beam path (105) is hidden from the image pickup beam path (105).
2. Verfahren nach Anspruch 1, wobei ausschließlich in Zeiten außerhalb der Bildaufnahme der für die weitere Verarbeitung oder Darstellung vorgesehenen Bilder das Nutzlicht in den Bildaufnahmestrahlengang (105) eingekoppelt wird. 2. The method of claim 1, wherein the useful light in the image pickup beam path (105) is coupled only in times outside the image recording of the images intended for further processing or presentation.
3. Verfahren nach Anspruch 2, wobei eine aktuelle Fokusposition ermittelt und in Abhängigkeit von der ermittelten Fokusposition eine Korrektur der Fokusposition vorgenommen wird. 3. The method of claim 2, wherein a current focus position determined and a correction of the focus position is performed in response to the determined focus position.
4. Verfahren nach Anspruch 3, wobei die Korrektur der Fokusposition aus- schließlich in Zeiten außerhalb der Bildaufnahme der für die weitere Verarbeitung oder Darstellung vorgesehenen Bilder vorgenommen wird. 4. The method according to claim 3, wherein the correction of the focus position is carried out exclusively in times outside of the image acquisition of the images intended for further processing or presentation.
5. Verfahren nach einem der Ansprüche 2 bis 4, wobei Zeiten außerhalb der Bildaufnahme der für die weitere Verarbeitung oder Darstellung vorgesehenen Bilder Aufnahmepausen und Aufnahmezeiten nicht für die weitere Verarbeitung oder Darstellung vorgesehener Bilder umfassen. The method of any of claims 2 to 4, wherein times other than image capture of the images intended for further processing or presentation do not include recording pauses and recording times for further processing or presentation of intended images.
6. Verfahren nach einem der Ansprüche 2 bis 5, wobei die Aufnahme von für die weitere Verarbeitung oder Darstellung vorgesehenen Bildern verzögert wird, um das Nutzlicht in den Bildaufnahmestrahlengang (105) einzukoppeln. A method according to any one of claims 2 to 5, wherein the acquisition of images intended for further processing or presentation is delayed to couple the useful light into the imaging beam path (105).
7. Verfahren nach einem der Ansprüche 2 bis 5, wobei das Nutzlicht in den Bildaufnahmestrahlengang (105) während einer systembedingten Pause der Aufnahme von für die weitere Verarbeitung oder Darstellung vorgesehenen Bildern eingekoppelt wird. 7. The method of claim 2, wherein the useful light is coupled into the image pickup beam path during a system pause of picking up images for further processing or presentation.
8. Verfahren nach einem der vorstehenden Ansprüche, wobei die relevanten Bilder durch die in dem Bildaufnahmestrahlengang angeordnete Bildaufnahmeeinrichtung (106) des Mikroskopsystems (100) aufgenommen werden. 8. The method according to any one of the preceding claims, wherein the relevant images are taken up by the image pickup device (106) of the microscope system (100) arranged in the image pickup beam path.
9. Verfahren nach einem der Ansprüche 1 bis 7, wobei während einer visuellen Betrachtung der relevanten Bilder durch einen Benutzer die Autofokus- Lichtquelle (122) nicht ausgeschaltet oder ausgeblendet wird. 9. The method of claim 1, wherein during a visual inspection of the relevant images by a user, the autofocus light source (122) is not turned off or faded out.
10. Verfahren nach einem der vorstehenden Ansprüche, das in einem Mikro- skopsystem eingesetzt wird. 10. The method according to any one of the preceding claims, which is used in a microscope system.
11. Recheneinheit (140), die dazu eingerichtet ist, ein Verfahren nach einem der vorstehenden Ansprüche durchzuführen. 11. A computing unit (140) adapted to perform a method according to any one of the preceding claims.
12. Recheneinheit (140) nach Anspruch 11, auf der mindestens ein Script mit Scriptbefehlen zum Durchführen des Verfahrens bereitgestellt ist. The arithmetic unit (140) of claim 11, wherein at least one script is provided with script instructions for performing the method.
13. Mikroskopsystem mit einer Fokusstabilisierungseinrichtung, einer Bildaufnahmeeinrichtung (106) und einer Recheneinheit (140) nach Anspruch 11 oder 12. 13. microscope system with a focus stabilization device, an image recording device (106) and a computing unit (140) according to claim 11 or 12.
14. Computerprogramm, das eine Recheneinheit (140) veranlasst, ein Verfahren nach einem der Ansprüche 1 bis 10 durchzuführen, wenn es auf der Recheneinheit ausgeführt wird. A computer program that causes a computing unit (140) to perform a method according to any one of claims 1 to 10 when executed on the computing unit.
15. Maschinenlesbares Speichermedium mit einem darauf gespeicherten Computerprogramm nach Anspruch 14 15. A machine-readable storage medium having a computer program stored thereon according to claim 14
PCT/EP2018/078221 2017-10-16 2018-10-16 Microscopy method with focus stabilising WO2019076885A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102017218449.3 2017-10-16
DE102017218449.3A DE102017218449B3 (en) 2017-10-16 2017-10-16 Microscopy method with focus stabilization, arithmetic unit, microscope system and computer program product

Publications (1)

Publication Number Publication Date
WO2019076885A1 true WO2019076885A1 (en) 2019-04-25

Family

ID=64017344

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2018/078221 WO2019076885A1 (en) 2017-10-16 2018-10-16 Microscopy method with focus stabilising

Country Status (2)

Country Link
DE (1) DE102017218449B3 (en)
WO (1) WO2019076885A1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009012293A1 (en) * 2009-03-11 2010-09-16 Sensovation Ag Light auto-focusing method for use in microscope, involves arranging detector elements such that profiles of radiation property registered by detector elements are different and focus position is set based on profiles
DE102010030430A1 (en) 2010-06-23 2011-12-29 Leica Microsystems Cms Gmbh Autofocus device for microscopes and suitable autofocus aperture stops
DE102011003807A1 (en) 2011-02-08 2012-08-09 Leica Microsystems Cms Gmbh Microscope with autofocus device and autofocusing method for microscopes
DE102014110606A1 (en) 2014-07-28 2016-01-28 Leica Microsystems Cms Gmbh Microscope with a beam splitter arrangement
US20170199367A1 (en) * 2014-06-23 2017-07-13 Perkinelmer Cellular Technologies Germany Gmbh Method for Autofocusing a Microscope at a Correct Autofocus Position in a Sample

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CH689703A5 (en) 1994-05-18 1999-08-31 Zeiss Carl Fa Photomikroskop.
IL111229A (en) 1994-10-10 1998-06-15 Nova Measuring Instr Ltd Autofocusing microscope
IL148664A0 (en) 2002-03-13 2002-09-12 Yeda Res & Dev Auto-focusing method and device
DE10224628A1 (en) 2002-06-04 2003-12-24 Leica Microsystems Device for adjusting the diopter of microscopes
DE102016106374A1 (en) 2016-04-07 2017-10-12 Carl Zeiss Industrielle Messtechnik Gmbh Meter and method of lighting control for a meter

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009012293A1 (en) * 2009-03-11 2010-09-16 Sensovation Ag Light auto-focusing method for use in microscope, involves arranging detector elements such that profiles of radiation property registered by detector elements are different and focus position is set based on profiles
DE102010030430A1 (en) 2010-06-23 2011-12-29 Leica Microsystems Cms Gmbh Autofocus device for microscopes and suitable autofocus aperture stops
DE102011003807A1 (en) 2011-02-08 2012-08-09 Leica Microsystems Cms Gmbh Microscope with autofocus device and autofocusing method for microscopes
US20170199367A1 (en) * 2014-06-23 2017-07-13 Perkinelmer Cellular Technologies Germany Gmbh Method for Autofocusing a Microscope at a Correct Autofocus Position in a Sample
DE102014110606A1 (en) 2014-07-28 2016-01-28 Leica Microsystems Cms Gmbh Microscope with a beam splitter arrangement

Also Published As

Publication number Publication date
DE102017218449B3 (en) 2019-02-21

Similar Documents

Publication Publication Date Title
DE102017217320B4 (en) VARIABLE FOCUS LENS SYSTEM AND FOCUS CONTROL
DE4139400C2 (en) Automatic focusing device
DE2738804C2 (en) Device for recognizing the relative movement between an object and this device
DE69922706T2 (en) 3D IMAGE GENERATION SYSTEM
DE102017207176A1 (en) Autofocus system for a high-speed periodically modulated variable focal length lens
DE102017220104A1 (en) Lens system with variable focal length with multi-level image processing with extended depth of focus
DE102017207187A1 (en) Phase difference calibration in a variable focal length lens system
DE102016213122A1 (en) Multilevel image sharpness using a tunable lens in a machine vision inspection system
WO2009056205A1 (en) Configuration of a laser scanning microscope for raster image correlation spectroscopy measurement and method for conducting and evaluating such a measurement
DE3707487A1 (en) METHOD FOR AUTOFOCUSING MICROSCOPES AND MICROSCOPE WITH AN AUTOFOCUSING
DE102014220583A1 (en) SYSTEM AND METHOD FOR CONTROLLING A TRACKING AUTOFOK (TAF) SENSOR IN A MECHANICAL VISIBILITY INSPECTION SYSTEM
DE102011086018A1 (en) Method and arrangement for autofocusing a microscope
WO2019175441A1 (en) Method and device for manipulating a beam path in a microscope, method for recording image stacks in a microscope
WO2021122407A1 (en) Method of disturbance correction, and laser scanning microscope having disturbance correction
DE102019132174A1 (en) Tag lens-assisted high-speed 3D metrology and imaging with extended depth of field
DE102016202928A1 (en) Improved autofocus method for a coordinate measuring machine
DE3810882A1 (en) AUTOMATIC FOCUSING DEVICE OF A MICROSCOPE IN A SURFACE TESTING DEVICE
DE102018204411A1 (en) A modulation monitoring system for use with an imaging system comprising a high-speed periodically modulated variable focal length lens
DE102015118278A1 (en) Method and system for magnification correction from multiple focal planes
EP3147700A1 (en) Method and device to increase the field of view of a camera and camera provided therewith
DE202008004271U1 (en) Microscope comprising at least two components
DE102017218449B3 (en) Microscopy method with focus stabilization, arithmetic unit, microscope system and computer program product
DE19949582B4 (en) Auto focus device for a telescope
DE102023115998A1 (en) SYSTEM AND METHOD FOR HIGH-SPEED AUTOFOCUSING OF A MICROSCOPE
EP3034984A1 (en) Method and device for locally stabilizing a radiation spot on a remote target object

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18793374

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18793374

Country of ref document: EP

Kind code of ref document: A1