WO2018219632A1 - Verfahren zur erzeugung und analyse eines üebersichtskontrastbildes - Google Patents

Verfahren zur erzeugung und analyse eines üebersichtskontrastbildes Download PDF

Info

Publication number
WO2018219632A1
WO2018219632A1 PCT/EP2018/062483 EP2018062483W WO2018219632A1 WO 2018219632 A1 WO2018219632 A1 WO 2018219632A1 EP 2018062483 W EP2018062483 W EP 2018062483W WO 2018219632 A1 WO2018219632 A1 WO 2018219632A1
Authority
WO
WIPO (PCT)
Prior art keywords
overview
illumination
image
contrast image
sample carrier
Prior art date
Application number
PCT/EP2018/062483
Other languages
English (en)
French (fr)
Inventor
Daniel Haase
Thomas OHRT
Markus Sticker
Original Assignee
Carl Zeiss Microscopy Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carl Zeiss Microscopy Gmbh filed Critical Carl Zeiss Microscopy Gmbh
Priority to CN201880036369.4A priority Critical patent/CN110692006A/zh
Priority to JP2019565510A priority patent/JP7153418B2/ja
Priority to US16/618,773 priority patent/US11307398B2/en
Publication of WO2018219632A1 publication Critical patent/WO2018219632A1/de

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G02B21/08—Condensers
    • G02B21/12—Condensers affording bright-field illumination
    • G02B21/125—Condensers affording bright-field illumination affording both dark- and bright-field illumination
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G02B21/08—Condensers
    • G02B21/086—Condensers for transillumination only
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison

Definitions

  • the invention relates to a method for generating and analyzing an overview contrast image of a sample carrier and / or samples which are arranged on a sample carrier.
  • the sample must be placed on the sample carrier in the field of view of the lens a sample area must be selected, this must be approached, finally, it must be focused on the sample.
  • the workflow of using modern, complex microscope systems is therefore associated with two workspaces that are different steps in the workflow and are spatially separated - the microscope stand with eyepiece for direct observation on the one hand and the screen of a connected computer on the other hand.
  • sample carriers have an inscription, for example in the form of a barcode or a QR code, which must be assigned to the samples.
  • Such studies are semi-automatic, for example, a user only intervenes to change the sample carriers, set an overview image, or to register the sample carrier number.
  • an image can be taken with the microscope optics and a weakly magnifying lens and a camera arranged behind the lens.
  • this allows only a small object field to be compared to the size of the sample or of the sample carrier, especially if sample carriers are used for several samples.
  • sample carriers are used for several samples.
  • it is therefore necessary to add several re images of adjacent sections of the sample or the sample carrier are recorded, which must then be assembled. This procedure is quite tedious and unsuitable for examining living samples, for example.
  • An overview image can also be recorded if the microscope optics is omitted and instead a camera with a camera lens is used, with which a relatively large object field can be imaged;
  • the camera lens is usually not telecentric.
  • This solution is implemented for example in the Applicant's AxraScan range, but can only be used with bright field illumination and reflected light. Coverslips and unstained samples are difficult to detect in this procedure.
  • the object of the invention is therefore to produce an overview image of a sample carrier in which the structure of the sample carrier itself and optionally further structures, for example the label of the sample carrier, possible sample areas, any existing immersion liquid, the actual sample and / or Sample errors such as air bubbles, dirt, etc. can be detected clearly and without errors.
  • the overview image should have an increased contrast or an improved signal-to-noise ratio of the respective structures of interest, for which reason the overview image is referred to below as an overview contrast image.
  • the overview contrast image can be provided to the user for navigation, but it can also be used to enhance the automated analysis of samples and reduce the susceptibility to errors, for example by detecting sample errors.
  • a sample carrier - usually equipped with at least one sample - is at least partially arranged in the focus of a detection optics and transmitted light with a two-dimensional, preferably array-shaped Illuminated illumination pattern. At least partially means that the sample carrier or the sample does not have to be completely visible, but in particular that the sample carrier and / or the samples can also have an extent along the optical axis which is higher than the depth of field of the detection optics used.
  • the optics of a microscope can be used as the detection optics, but it is preferable to use a microscope. ra with a camera lens, which makes it possible to image a large object field preferably with sufficiently high depth of field on a surface detector.
  • the overview raw images i. unprocessed images are then detected by the camera, for example, in that an area detector-for example a CMOS chip-registers the intensity pixel by pixel.
  • an area detector for example a CMOS chip-registers the intensity pixel by pixel.
  • the overview raw images can be taken in succession or simultaneously, for example with a single camera.
  • a billing algorithm is selected, by means of which the at least two overview raw images are billed to form an overview contrast image.
  • the information can be, for example, the above-mentioned structures of the sample carrier, the sample, etc., as well as the label of the sample carrier.
  • an image evaluation algorithm is selected by means of which the information is extracted from the overview contrast image.
  • This information can then be used, for example, by the user on the screen of a connected computer to initiate further steps in the context of observation and analysis, for example for navigation on the sample, for which purpose the image is displayed on a screen and the user selects the sample area of interest, for example by mouse click , Due to the image analysis, the microscope system can then approach this position automatically.
  • the information can also be used in the context of an automated examination, for example in high-throughput [Jr ⁇ tersuc H ⁇ r ⁇ ger ⁇ , to exclude misplaced cells (wells) of a / W / f / ' ive // carrier,
  • a microtiter plate can be used so that they are not approached by the microscope.
  • Two-dimensional illumination can be achieved in various ways, with an array of illumination elements of equal size being used to produce illumination patterns.
  • the individual lighting elements in the at least two overview raw images must be distinguishable from each other, ie they must be able to be displayed separately from one another in the image, although they were not focused on them.
  • the lighting elements may be LEDs, OLEDs, the ends of optical fibers fibers to act elements of a lit DMD (DMD - digital micromirror device) or other spatial light modulator. It may be active or passive light-emitting elements.
  • the lighting elements can also be produced, for example, with a surface-emitting light source in front of which, for example, a switchable filter structure is arranged with which one or more properties of the lighting elements-for example color, intensity or polarization-can be manipulated.
  • a switchable filter structure is arranged with which one or more properties of the lighting elements-for example color, intensity or polarization-can be manipulated.
  • light-emitting diodes LED
  • LED can be used particularly advantageously, since they can be arranged in nested arrays of multicolored LEDs, and also provide a sufficiently high light output and, finally, microscopes that illuminate an LED array, ie LED array Microscope (Angular Illumination Microscope - AIM).
  • the LED arrays of such microscopes can also be used for the generation of two-dimensional illumination patterns.
  • the different illuminations with which the at least two overview raw images are recorded can be realized in various ways.
  • a simple possibility is to use a static two-dimensional illumination pattern and to move the sample carrier laterally relative to the illumination pattern, ie perpendicular to the optical axis of the detection optics, between two exposures. This can be done either by shifting the illumination pattern itself, which is likewise arranged in a plane with the optical axis as a normal, or by displacing the sample carrier.
  • the sample carrier or the sample is illuminated in transmitted light, ie, the sample carrier is located between the illumination elements of the illumination pattern and the detection optics, such as the camera.
  • illuminations that are different in time, for example by recording a plurality of overview raw images with different exposure times or illumination of different lengths for the same exposure time, the signal-to-noise ratio being less favorable in the latter case. From these overview raw images can be calculated according to the known in the art HDR method (HDR - high dynamic ranks) an overview contrast image.
  • illumination patterns are preferably selected as a function of the information to be extracted.
  • a large number of illumination patterns is suitable, which can be impressed, for example, on the array of illumination elements.
  • different lighting patterns can be generated by the lighting elements individually or in groups are controlled and switched to different lighting patterns, wherein a first Part of the lighting elements is switched to emitting light and at least a second part of the lighting elements no light or light of another color or light of another polarization is switched off. If the at least second part of the illumination elements does not emit light, exactly two parts exist in each pattern and the overview images are detected one after the other.
  • the illumination elements can also be divided into more than two groups and comprise a third or further parts which emit light of other colors in each case, the colors being different from one another in pairs.
  • the overview raw images when illuminated with light of different colors can then be recorded simultaneously, provided that a separation into the different color channels takes place on the detection side. If, for example, the array of illumination elements has LEDs in the three primary RGB colors red (R), green (G) and blue (B) and if the sensor of the camera has corresponding sensors assigned to these color channels, separation is readily possible and Three overview images can be recorded simultaneously.
  • polarized illumination when, for example, an LED array is covered with polarization filters of different polarizations and the polarization directions are also detected and used to separate the channels.
  • the lighting elements are configured as LEDs and if an LED is formed from three individual sub-LEDs which radiate each other in different primary colors red, green and blue light, the different illuminations can also be set by illumination from different angles in the primary colors , Here, too, the overview raw images can be detected simultaneously.
  • Another possibility is to explicitly generate different illumination patterns and to record the overview images sequentially with different illumination patterns.
  • this can be done, for example, by stochastically selecting the first part of the illumination elements for each illumination pattern, whereby the individual illumination elements can be triggered at random and light-emitting or light-emitting switched off, using boundary conditions for the best possible uniform distribution
  • Light radiating and no light radiating lighting elements is to be respected.
  • illumination patterns in which the illumination elements are regularly distributed.
  • the second part of the lighting elements can emit no light
  • two overview raw images are taken one after the other with lighting patterns complementary to one another.
  • the patterns are inverted to each other.
  • the two parts of the lighting elements can emit light of different colors or polarizations, here the overview raw images can be recorded simultaneously in an image and then separated into color channels or polarizations.
  • the two patterns are not only complementary, but also inverted with each other.
  • a single light radiating illumination element which scans the array - behave all the patterns together complementary to each other, ie, in sum, an array exclusively of light radiating illumination elements.
  • two of the four necessary illumination patterns are complementary to each other.
  • different illuminations can also be realized by selecting from the array of lighting elements at least one section and only in this generates the illumination pattern.
  • the different illuminations can be achieved by scanning the at least one section on the array, whereby the illumination elements outside the at least one section are not switched to emit light.
  • a lighting with a single LED can be used, or even a section of a checkered lighting.
  • a billing algorithm is selected in dependence on the information to be extracted from the overview contrast image, by means of which the at least two overview raw images are billed to the overview contrast image.
  • the selection of the allocation algorithm preferably also takes place as a function of the previous selection of the illumination method, ie is adapted to it.
  • the overview contrast image is generated either in a dark field mode or in a bright field mode, since these provide the best contrast, but mixed modes are also possible. It should be ensured that the contrast for the structures of interest is optimal, for example, depending on whether the coverslips, the sample itself or the label should be displayed with the highest possible contrast.
  • overview contrast images can be generated from the overview raw images in both bright field and dark field modes, depending on the desired information.
  • the billing algorithm is based on pixel-wise projection, preferably on a ranking projection or on a projection of statistical moments.
  • the overview raw images are compared pixel by pixel, and according to a projection condition, the intensity value of one of the pixels is selected for the corresponding position in the overview contrast image.
  • the recorded image stack is thus calculated pixel-by-pixel, ie each pixel in the overview contrast image is only influenced by the pixels in the image stack which are located at the same image position in the overview raw images.
  • the corresponding pixel values of the overview raw images are sorted by intensities for an image position, and the value corresponding to the p-quantile is used for the overview contrast image, where p is a parameter to be set by the user or predetermined by the billing method.
  • p is a parameter to be set by the user or predetermined by the billing method.
  • this type of calculation can be used to generate overview contrast images in the dark field contrast or in the bright field contrast.
  • the overview contrast image can also be generated in the dark field mode if, for example, the brightest possible overview contrast image is generated with the largest possible p, whereby only pixels that have not been illuminated directly by an illumination element are taken into account in the context of the calculation.
  • each pixel in the overview contrast image corresponds to a statistical moment, such as the standard deviation of the intensity over the corresponding pixels of the overview raw images.
  • this provides good contrasts and also retains small details, so that this allocation algorithm, for example, for the detection of / Wu / f / ' ive // - Sample carriers or c /? Amöer-s // de sample carriers is particularly well suited.
  • the computation algorithm is based on morphological operations with subsequent pixel-by-pixel projection, preferably on a top-hat or ⁇ / ac / (- / - / af transformation with subsequent pixel-by-pixel maximum projection Transformation can be used to highlight light structures on a dark background, while the ß / ac / (- / - / af transformation highlights dark structures on a light background, making it possible to visualize glass edges, ie edges of sample slides or coverslips
  • This calculation algorithm is that the information is obtained simultaneously from bright field and dark field contrasts, and that they are also computed efficiently In comparison to a rank gs projection, the contrast in the calculated images is usually worse and is often visible only at glass edges. In addition, strong background artifacts can be generated, which must then be eliminated.
  • a segmentation-based allocation algorithm is selected in which, for each pixel of an overview raw image, it is first determined whether it has been irradiated directly by a lighting element with light. To generate an overview contrast image in the dark field contrast mode, these pixels are then not taken into account.
  • the overview contrast image is also generated here using a projection method.
  • the advantage of this allocation algorithm compared to the ranking projection is that it explicitly determines which pixel information from the overview raw images can be used.
  • the disadvantage is that the segmentation and the resulting inequality Treatment of pixels seams in the computed contrast image may arise.
  • the calculation can not be carried out as efficiently as in the case of the previously described calculation algorithms.
  • the overview contrast image is not generated by offsetting, but detected directly, ie no overview raw images are detected, or in other words, the overview raw image is identical to the overview contrast image in this case.
  • a diffusing screen is inserted between the array-shaped illumination pattern-which here too can be composed of an array of lighting elements of equal size-and the sample carrier in the beam path.
  • the diffusing screen which generates advantageous diffuse illumination for the bright field illumination, can also remain permanently in the beam path, provided that it can be switched, it is then switched on, ie switched to scattering, only for generating an overview contrast image in bright field mode.
  • the camera is calibrated relative to the sample carrier or illumination pattern in order - in the case of a displacement of the sample carrier - the coordinates of a table on which the sample carrier is held and can be moved to move the sample carrier to be able to image coordinates. Accordingly, it is possible to proceed for displaceable illumination patterns.
  • a calibration pattern for example a chess board, is specifically placed in the table for calibration, whereby the coordinate image can be estimated with sufficient accuracy.
  • such a calibration can be dispensed with during the calculation and the displacement of the sample can be determined by image analysis or by another measuring system.
  • the illumination pattern in the event that the illumination pattern is stationary and the sample carrier between the recordings is moved, can be after a calibration, ie after quantification of the actual displacement of the sample carrier with respect to the image, even for larger sample carrier, not complete into the object field detectable by the camera or the detection optics, generate an overview contrast image by first producing individual contrast images which respectively show different regions of the sample carrier - and / or the sample - and are generated from corresponding individual overview raw images. These individual contrast images are then assembled into the overview contrast image, whereby the calibration is used to correctly locate the connection points for fitting. Irrespective of this, a calibration by means of the recording and evaluation of a calibration pattern is advantageously carried out independently of the correction of geometric distortions before the acquisition of overview raw images.
  • the calibration pattern is an object with known geometry and well-recognizable structure - for example the checkerboard pattern already mentioned above - which is placed in different positions in the image field of the camera and recorded with the camera.
  • the array of illumination elements in particular if they are configured as LEDs, can also be used as the calibration pattern.
  • Such calibrations are known in the art.
  • background artifacts can occur in the generated overview contrast image. Such disturbing background signals are preferably removed after generation of the overview contrast image and before its evaluation by means of appropriate correction algorithms, ie eliminated. If there is no lat- eral movement of the illumination pattern or sample carrier, the artifacts typically form a periodic structure which follows the positions of the individual illumination elements.
  • a background image can be determined by offsetting the overview raw images by averaging out the foreground.
  • a background image can also be determined from a recording without a sample carrier or with an empty sample holder.
  • a background image can be determined by offsetting the background contrast image, for example by calculating the average pixel values in local regions around a non-light-emitting illumination element by analyzing all the illumination elements in the overview contrast image.
  • the foreground structure is independent of the position relative to the lighting element and is averaged out, but the background structure is dependent on this position and is thereby amplified.
  • Another way of eliminating background artifacts is to use a bandpass filter, optionally also in combination with nonlinear filters.
  • the background contrast images are automatically analyzed by means of an image processing algorithm to be selected, and the required information is extracted.
  • the information to be extracted comprises one or more of the following data: type of sample carrier, label of the sample carrier, locations of samples or sample areas, coverslips, wells of a / W / f / ' ive // plate in the image, information on an immersion liquid such as position, volume, shape, positions of artifacts, defective samples, air bubbles, etc.
  • This information can only be reliably extracted due to the high contrast in the overview contrast images.
  • an image processing algorithm for example, an algorithm based on the principle of machine learning, in particular a deep-learning algorithm, can be selected, which is preferably trained on the basis of overview contrast images with known information. For the automatic extraction of the above-mentioned information from the overview contrast images, it makes sense to use methods from the field of machine learning.
  • an annotated training sample is provided for the respective task - including image classification, segmentation, localization, detection - which includes a set of contrast images to be analyzed.
  • Each contrast image is assigned one of the tasks corresponding to the desired output, as will be explained below with reference to examples.
  • a model can then be automatically adapted in a learning step so that the desired and correct outputs are generated even for unseen, ie new images.
  • the following is an example of possible algorithms outlined based on machine learning techniques.
  • methods from classical image and signal processing can be used, but algorithms based on machine learning, and in particular on the basis of deep learning, offer clear advantages in terms of quality, robustness, flexibility, generalisability, as well as development and maintenance costs.
  • the algorithm uses as input an image and outputs a class.
  • the training sample comprises in this case contrast images, and each contrast image is assigned to one of the candidate sample carrier types, a first contrast image of the type "Petri dish", a second contrast image of the type "multiwell plate", a third contrast image of the type "chamber slide ", a fourth contrast image of the type” slide ", etc.
  • a Convolutional Neural Network consists of several layers, such as convolutional layers, pooling layers, nonlinear layers, etc., whose arrangement is determined in the network architecture.
  • the architecture used for the image classification follows a certain basic structure, but is in principle flexible. Every element of the network takes one Input and calculates an output. In addition, some elements of the network have free parameters which determine the calculation of the output from the input.
  • the first layer is inputted with a three-dimensional array of numbers, ie a color image with three color values per pixel, as the input of the network.
  • the last layer then gives as output of the network a probability distribution over all possible sample carrier types - output for an overview contrast image is for example: "slide” 87%, "/ Wu / f / ' ive // - plate” 1%, “Petri dish” 2 %, "Chamber slide” 10% - off.
  • a reject class for example, the values "unknown” / "invalid” / "empty” - can also be integrated in.
  • the training process adapts the free parameters of the network based on the provided training data in such a way that the outputs of the network are adjusted Model as well as possible to the expected expenditure.
  • the training can also use a model already trained on other data as a starting point in the sense of a fine-tuning, which offers advantages in terms of quality, time and data expenditure.
  • image classification may also be performed with conventional machine learning techniques, which typically include two steps: (i) feature extraction and (ii) classification.
  • feature extraction in step (i), the overview contrast image is converted by means of a predefined algorithm into an alternative representation-usually a compact or sparsely populated vector. Simple examples here are eg local gradient histograms (histograms of oriented gradients, HoG).
  • a class is then assigned to each of these feature vectors by means of a classifier.
  • An example of a classifier is a support vector machine (SVM). The free parameters of the classifier are also adjusted in the training step so that the actual outputs match the desired outputs as well as possible.
  • SVM support vector machine
  • a hybrid approach between classical machine learning and deep learning is based on using a CNN for the feature extraction in step (i).
  • a CNN trained on other data is cut off at a certain layer, and the activation of the network is used as a feature vector.
  • the localization of structures of the sample carrier eg coverslips in slides and Petri dishes or chambers of Chamber slides or / Wu / f / ' ive // - plates on the one hand and structures of the sample or sample areas on the other hand can be regarded as a problem of semantic segmentation ie, for an overview contrast image as the input image, an image is to be returned in which each pixel of the input image is assigned a class. is ordered (eg "background”, "cover glass”, “dirt”, “sample”, ).
  • This can preferably also be implemented with deep learning networks, for example with CNN-based Fully Convolutional Networks (FCNs).
  • FCNs Fully Convolutional Networks
  • FCNs Like CNNs, FCNs typically expect a three-dimensional array of numbers as input, i. a colored overview contrast image, however, provide as output an array in which each pixel of the input image is assigned a probability of belonging to each of the occurring classes.
  • the training sample in this case comprises contrast images, and each contrast image is assigned an array (gray level image) of equal size, in which each pixel in turn - encoded by a gray value - is assigned a class.
  • the training is analogous to CNNs.
  • different FCNs can be used for the localization of sample carriers on the one hand and of sample areas on the other hand, but in particular the evaluation is possible with a single FCN which, for example, images or contains both "cover glass" and "sample”.
  • FIGS. 10-12 show the generation of overview contrast images from overview raw images with static illumination patterns. Detailed description of the drawings
  • FIG. 1 first outlines an arrangement with which an overview contrast image of a sample carrier 1 and / or samples arranged on the sample carrier 1 can be generated.
  • the sample carrier 1 is arranged at least partially in the focus of a detection optical system 2 and is illuminated in transmitted light with a two-dimensional, array-shaped illumination pattern 3.
  • an area detector 4 serves as an example, onto which the detection optics 2 images.
  • the detection optics 2 can be a microscope objective with a low magnification, but it is preferably the objective of a camera which is able to image a larger area of an object field, which then ideally encompasses the entire sample support 1 in an overview includes.
  • the area detector 4 is the sensor of the camera, for example a CMOS chip.
  • the intensities - for example, in a white lighting - registered, or the intensities are in different color channels, such as red (R), green (G) and blue (B) separated.
  • R red
  • G green
  • B blue
  • different polarizations in the illumination can be considered with corresponding sensors that also register the polarization and used for the separation into different channels.
  • the overview raw images are taken either simultaneously or sequentially, registering the corresponding intensity values for each pixel.
  • the overview raw images are then fed to a billing unit 5 for billing in an overview contrast image.
  • a billing algorithm is selected by means of which the at least two overview raw images are billed to the overview contrast image.
  • the overview contrast image is then supplied to an image evaluation unit 6, in which, depending on the information to be extracted from the overview contrast image, an image evaluation algorithm is selected by means of which the information is finally extracted.
  • the information is transmitted to a control unit 7, which processes it accordingly and, for example, excludes such multi-wells from the microscopic analysis in a high-throughput method in which the evaluation of the overview contrast image has shown that they are not correctly filled, for example with Defective samples or air bubbles, etc.
  • the overview contrast image can of course also for a user on a connected to the image evaluation unit 6 or the control unit 7 screen, which may be part of these units, so that a user can make appropriate settings by hand.
  • Billing unit 5, image evaluation unit 6 and control unit 7 can all be integrated as hardware and / or software in a PC.
  • the method can easily be carried out with existing microscopes as well.
  • microscopes which use an LED array for illumination
  • the illumination pattern 3 is then generated by the LED of this array.
  • AIM Angular Illumination Microscopy
  • FIG. 8 The sample carrier 1 is illuminated here via an LED array 8
  • the detection optics 2 here comprises by way of example two lenses, between which a deflection mirror 9 for folding the optical axis is arranged.
  • a portion of the light is directed to a surface detector 4, while another part of the light is directed via a lens 1 1 on an eyepiece 12, so that the notedrohrohstory can also be viewed by an observer.
  • Camera and illumination can be positioned particularly well on an inverted microscope stand, for example by arranging the LED array 8, with which the illumination pattern 3 is generated, above an arm prepared for the transmitted light illumination, and the camera below the sample, for example on the nosepiece - the sample is placed.
  • illumination patterns 3 preferably an array of preferably equal illumination elements is used.
  • lighting elements can be, for example, LED, OLED, optical fibers, i.
  • LEDs are mentioned as light sources, this is only illustrative and does not explicitly exclude the use of the other possible arrays of lighting elements.
  • the inclusion of the overview raw images is carried out by a camera with the area detector 4; the lens of the camera is focused as shown in Fig. 1 on the sample carrier 1 and directed to the illumination pattern 3 and the illumination behind the sample carrier 1, which is not in focus.
  • a camera can be used with a lens which has a large object field and is not telecentric.
  • the illumination pattern 3 which may be configured for example as an LED array, no additional optical elements for manipulating the lighting need to be placed.
  • the distances between the detection optics 2 or the area detector 4 and the sample carrier 1 on the one hand and between the sample carrier 1 and the illumination pattern 3 on the other hand in each case in a range between 0.5 cm and 10 cm choose, but may in particular be even greater to possibly capture the entire sample carrier 1.
  • the distances can also be chosen freely as long as various conditions are fulfilled: (i) the sample carrier 1 must lie in the focal plane of the detection optics 2; (ii) the structures of the sample carrier 1 to be analyzed-for example edges of cover glasses-can still be resolved by means of the camera; (iii) the structures produced by the illumination pattern 3 must be recognizable on the image registered by the area detector 4, ie individual illumination elements must be distinguishable and advantageously cover the entire structure to be analyzed, which can be selected by an appropriate choice of the size of the array of illumination elements Size of the lighting elements and their distance to each other can be influenced, which is why, for example, an array of LED is very well suited for the larger structures such as sample carrier.
  • a composite overview contrast image can be generated with appropriate calibration.
  • the illumination will be explained in more detail below with reference to FIG. 3, in which LEDs are used as lighting elements by way of example. From the illumination pattern 3, by way of example only one LED 13 has been picked out here, which is arranged behind the sample carrier 1. The distances are chosen arbitrarily, in fact, the illumination pattern 3 can be arranged even further away. An arrangement directly behind the sample carrier 1, however, allows an arrangement in the vicinity of the focal plane, so that the resolution of the individual lighting elements is improved.
  • each activated LED 13 acts depending on the field area of the sample either as light or dark field illumination.
  • the LED 13 is arranged directly behind the sample or the sample carrier, here dominates a transmitted light component, so that the LED 13 for this first field region 14 acts as bright field illumination and a corresponding bright field contrast is generated.
  • the LED 13 acts as a dark field illumination and can be used for the generation of a dark field contrast. If a superimposed contrast image is to be generated in bright field mode, it is optionally possible to introduce a diffusing screen between the array of illumination elements and the sample carrier 1, since diffuse light sources are advantageous for bright field contrasts, but not for dark field contrasts.
  • the diffuser can be introduced in each case, but it can also be permanently positioned in the beam path, and be switchable, so that a light scattering takes place only when the lens is switched on.
  • the diffuser can be generated in each case, but it can also be permanently positioned in the beam path, and be switchable, so that a light scattering takes place only when the lens is switched on.
  • This information usually includes the type of sample carrier, such as whether it is a normal slide in terms of Glasplätt- Chen, a simple Petri dish, a / Wu / f / 'ive // - open sample carrier with a variety Wells, or around a sample carrier with different, closed sample chambers (Chamber Slide), which are therefore provided with a cover glass.
  • a sample number is often indicated, for example by handwritten lettering, more often as coding with a bar code or a QR code, which can be interpreted in conjunction with a corresponding database.
  • possible sample areas should be identified.
  • the samples should be identified and errors such as air bubbles, contamination or empty sample chambers can be detected.
  • the presence of immersion liquid and its shape, volume and position should be recognized.
  • the following steps can be performed either automatically or semi-automatically depending on the task.
  • One example is the choice, of the one / Wu / f / 'ive // which wells - advertising examined the plate should, this can be done either automatically or exclusively from the PC without requiring a user to again look through the eyepiece, in which, however, also an overview image of the complete sample carrier 1 can be displayed.
  • a first possibility is to generate the different illuminations by different illumination patterns 3, which are selected as a function of the information to be extracted.
  • Such illumination patterns are shown in Figs. 4-9.
  • different illumination patterns 3 can be generated stochastically. This is illustrated in FIG. 4, the six individual images show different illumination patterns, in which the LEDs 16 of an LED array 17 emit white light and are stochastically switched on or off. When turned on, they are shown as small circles; when turned off, they are omitted to clearly identify the different lighting patterns.
  • An easy way to generate stochastic illumination pattern 3, is to use pulse width modulated lighting elements whose pulse width is chosen to be longer than the integration time of a detector unit for recording the notedrohrohmul, this choice can also be done by setting an integration time. During the integration time of the camera, some of the LEDs are then turned on, others turned off because the pulse width modulation between the LEDs 16 is not synchronized. The LED 16 of the LED array 17 need not be individually controlled or switchable in this case.
  • a first part of the lighting elements emitting light and at least a second part of the lighting elements emitting no light emitting or emitting light of another color or emitting light in a different polarization radiating.
  • the first part of the illumination elements for each illumination pattern 3 is selected stochastically.
  • the second part of the lighting elements emits no light.
  • a relatively large number of overview raw images are required, so that it usually takes several seconds to acquire the overview raw images. This time can be shortened by not shutting off the second part of the lighting elements, but instead emitting light of a different color, so that two overview raw images are recorded simultaneously, which are then separated according to color.
  • Overview contrast images can be generated in a dark field mode as well as in a bright field mode, depending on the calculation algorithm, here for example on a 7op / - / af transformation for a bright field contrast image or on a black hat transformation for a dark field contrast image, in each case with subsequent , pixel-wise maximum projection can be based, both transformations can be equally applied to the overview of raw images, so that one can produce an overview contrast image in both brightfield and darkfield mode.
  • glass edges i. make the edges of the sample carrier 1, or coverslips clearly visible, they have a high contrast in contrast to the actual sample.
  • Fig. 5 and Fig. 6 are checkerboard-like patterns. Switched on and off lighting elements - LED 16 - have a checkerboard distribution, the first part of the lighting elements, which are turned on, then corresponds for example to the white fields of the chessboard, the recently- second part of the LED 16 switched to the black fields.
  • Two overview raw images are required, which are generated with mutually complementary, ie inverted illumination patterns. These two checkerboard patterns are shown in FIG.
  • the first part of the lighting elements is formed by the turned-on LED 16, and in each row and each column, only every other LED 16 is turned on. In the right of the two illumination patterns are those LEDs 16 are turned on, which were turned off in the left image and vice versa.
  • the illumination pattern may be extended over the entire LED array 17, or only over a region of interest of the sample carrier 1, in order to reduce the total amount of light and not unnecessarily burden the sample.
  • the checkerboard-like illumination can be used in particular for the use of an overview contrast image in the dark field mode, as a computation algorithm, in particular, a pixel-based projection-based ranking projection algorithm is used in the minimum projection. Only two general overview images are needed, and the method provides very good contrast, both for the sample carrier 1 and sample areas - for example the glass edges of cover glasses - as well as for the sample itself.
  • LED arrays 17 with monochromatic LEDs which radiate, for example, white light or light in one of the primary colors R, G, B can be used;
  • an area detector can be used which registers in color or monochrome.
  • the overview raw images can also be recorded simultaneously with a camera and then separated, when all parts of the lighting elements emit light from each other in pairs of different polarizations.
  • an LED array 17 can be used here, which is equipped in accordance with the pattern with complementary polarization filters which alternate with one another in rows and columns. The polarization filters can also be switchable. In this way, the two overview raw images can be generated with a recording and only then have to be separated, for which the polarization must also be detected.
  • the first part of the lighting elements here comprises blue LED 18, which thus emit light in the blue wavelength range, while the second part of the lighting elements red LED 19, ie in the red Wavelength range light-emitting LED, includes.
  • the two gratings are interlaced, so that a red-blue checkerboard is shown on the LED array 17.
  • the sample carrier 1 is illuminated with this illumination pattern, and a picture is taken which already comprises both of the necessary overview subjects.
  • the individual overview images are obtained by separating the image into color channels.
  • the number of color channels and the LED 13 of the LED array 17 three or more patterns can be interleaved with each other, with which the sample or the sample carrier 1 is illuminated simultaneously.
  • the LED 16 of the LED array 17 and the color channels of the camera used for the recording are coordinated, without further measures here are the three primary color channels red, green and blue available, as well as white light emitting LED from red , green and blue sub-LEDs are composed.
  • FIG. 7 shows such an example, a so-called cross pattern, in which four different illumination patterns are generated and correspondingly four overhead patterns are required. Opposite checkerboard-like lighting patterns, the contrast is slightly increased here. Also, four individual outline raw images are needed when using half-pupil patterns as shown in FIG. For the generation of an overview raw image, the LED array 17 is divided into two halves, the first part of the lighting elements is then in one half and the second part of the lighting elements, which is turned off, in the other half.
  • the second overview raw image is recorded with a complementary distribution, ie, when initially the first part of the lighting elements fills the left half on the LED array 17, it fills the right half for the second overview raw image.
  • Two further overview raw images are generated by dividing the LED array into an upper and a lower half, ie with a division direction perpendicular to the first division direction.
  • Ten in particular in so-called Chamber Suedes or transparent / Wu / f / '/// ive with transparent sample carriers with vertical elementary - plates can thus achieve a high contrast.
  • the overview contrast image is preferably generated in the dark field mode, for which purpose a pixel-based projection-based billing algorithm, preferably a ranking projection algorithm, is used.
  • the overview raw images are compared on a pixel-by-pixel basis and, according to a projection condition, the intensity value of one of the pixels is selected for the corresponding position in the overview contrast image.
  • each white light emitting LED from three individual, each in the different primary colors red, green and Blue light-emitting, adjacent sub-LEDs is formed.
  • Different illuminations - the illumination patterns can be identical here - can be adjusted here by the illumination from different angles in the basic colors.
  • a calculation algorithm is selected with which an overview contrast image is generated in bright field mode.
  • a further embodiment of the method is to generate the illumination pattern 3 only in at least one section of the array of illumination elements.
  • the different illuminations are then generated by scanning the at least one section on the array. Lighting elements outside the at least one section are switched so that they emit no light.
  • FIG. 9 using the example of the checkerboard pattern, from which a small section of four LEDs 1 6 has been selected here, which scans a line into a sequence of images or illumination patterns and then moves line by line across the LED array 17.
  • the contrast is comparable in quality.
  • the amount of light per time, which is emitted by the LED array 17 significantly lower than when using the two full pattern.
  • the background brightness is therefore reduced and there are fewer disturbing reflections in the overview images.
  • the time required to record the overview raw images can be reduced by, for example, spatially far-reaching regions being simultaneously displaced sections with illumination patterns in the image of the sample carrier, and / or illumination patterns in different colors are generated in the section to be shifted, which are registered separately.
  • other patterns can be generated, for example, all the LEDs 16 can be switched on one, so that the cutout only one - off - LED includes, this section is then moved. Another possibility is to turn on only one LED and omit all the others, and to move this section across the array while taking the overview images.
  • a ranking projection projection algorithm offers itself here as a calculation algorithm, in particular also in the minimum projection, so that an overview contrast image is obtained in the dark field mode.
  • a displacement of the sample holder 1 alone is easier to realize, since it is usually mounted on a table which can be moved in all three spatial directions.
  • the LEDs 16 of the LED array 17 are switched in a fixed pattern, for example in a regular grid.
  • the illumination pattern 3 and / or the sample carrier 1 is displaced in a plane orthogonal to the optical axis of the camera. 10-12 different sample carriers are shown in four different positions of the illumination pattern 3 relative to the sample carrier 1, realized with the LED array 17 and the LED 16.
  • a slide 20 with coverslips 21 is used to be made visible in Figure 1 1 is a / Wu / f / 'ive // -..
  • the overview contrast images are shown in all cases on the right side of the figures.
  • Overview contrast images can be generated here in both brightfield and darkfield modes.
  • the minimum projection as a special case of the ranking projection is used as the allocation algorithm; in the case of an overview contrast image in the bright field mode, a maximum projection can be used.
  • a shading correction can be made here as well as in all other cases where necessary, following the calculation. In the case of segmentation-based billing, the shading correction can also be performed before clearing the overview raw images.
  • a calibration of the camera or the detection optics 2 relative to the sample carrier 1 or to a table on which it is mounted is necessary in order to be able to image the sample carrier coordinates on image coordinates and vice versa.
  • a calibration pattern is first used at the same position or clamped on the table. In this way, such an image - a homography, ie an image from a two-dimensional plane to a two-dimensional plane in space - can be estimated.
  • it is also possible to dispense with a calibration if the relative movement by image analysis or by means of a special measurement system or to perform a calibration based on lens parameters and distances in advance.
  • the overview contrast images determined with static illumination patterns qualitatively provide the best contrast, especially when using LED, since in the dynamic patterns in which the patterns change, the switched-off LEDs can provide a fairly strong background signal due to back reflection on the sample carrier.
  • image processing algorithms for example with deep Z-earn / ng algorithms, however, these artifacts can be eliminated in the evaluation, i. they are not considered.
  • An overview contrast image can be composed as an HDR image.
  • the position of the illumination elements with regard to the sample or the sample carrier can additionally be taken into account in the calculation of the overview contrast image, as explained in connection with FIG. 3. If the illumination element directly illuminates the sample carrier or the sample, then bright field information is used, otherwise dark field information.
  • the overview contrast image is a mixture of light and dark field contrasts.
  • the calibration pattern described above in relation to relative movement calibration may also be used to correct geometric distortions in the image used in each overview contrast image.
  • background artifacts can be calculated after the calculation.
  • the overview contrast images are automatically analyzed by means of an image evaluation algorithm, preferably using a deep learning algorithm using neural networks.
  • the type of sample carrier type is recognized, and the sample carrier can also be localized in the image. If the sample carrier has a label, this can also be determined from the contrast image.
  • the sample or areas on the support such as wells, which may contain samples.
  • the examination time which is used for the sample carrier shorten if there are such artifacts.
  • This information can be displayed by a viewer on the PC, preferably by means of graphics, so that the user can adapt his further procedure to the results of the analysis of the overview contrast image. While it may also be sufficient in the case of operation by a user to present the overview contrast image to him alone, the information obtained by means of the image analysis can be used in particular also for the automatic control of sample examinations with the microscope used.
  • the overview contrast image provided to the user may use the navigation control on the sample to prepare for further investigation.
  • the information of the overview contrast image which are extracted by means of image processing algorithms, but can also enable robust subsequent processing, which, for example, automatically relevant structures of the sample carrier - such as glasses - or relevant structures of the samples on the sample carrier - such as tissue sections, organisms or Cells - detects and localizes, for example, to set a fully automatic coarse positioning of the sample in all three spatial directions.
  • the extracted image information also allows for more robust, faster, and more efficient automated microscopy - such as high-throughput M ⁇ WrosWop ⁇ e - with lower data volumes and shorter acquisition times for automatic defect exclusion.

Landscapes

  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Erzeugung und Analyse eines Übersichtskontrastbildes eines Probenträgers (1) und/oder auf einen Probenträger (1) angeordneter Proben. Dabei wird ein mindestens teilweise im Fokus einer Detektionsoptik (2) angeordneter Probenträger (1) im Durchlicht mit einem zweidimensionalen, arrayförmigen Beleuchtungsmuster (3) beleuchtet. Es werden mindestens zwei Übersichtsrohbilder mit unterschiedlichen Beleuchtungen des Probenträgers (1) detektiert und in Abhängigkeit von aus dem Übersichtskontrastbild zu extrahierenden Informationen wird ein Verrechnungsalgorithmus ausgewählt, mittels dessen die mindestens zwei Übersichtsrohbilder zu dem Übersichtskontrastbild verrechnet werden. In Abhängigkeit von aus dem Übersichtskontrastbild zu extrahierenden Informationen wird schließlich ein Bildauswertungsalgorithmus ausgewählt, mittels dessen die Informationen extrahiert werden.

Description

Titel
Verfahren zur Erzeugung und Analyse eines Übersichtskontrastbildes
Gebiet der Erfindung
Die Erfindung betrifft ein Verfahren zur Erzeugung und Analyse eines Übersichtskontrastbildes eines Probenträgers und / oder von Proben, die auf einem Probenträger angeordnet sind.
Stand der Technik
Klassische Lichtmikroskope wurden unter der Prämisse entwickelt, dass ein Benutzer sitzend oder stehend durch ein Okular auf einen Probenträger blickt und direkt mit der Probe in dem Sinne interagieren kann, dass er sich zum einen schnell eine Überblick über die Probe und das Sichtfeld des Objektivs verschaffen kann und zum anderen den Probenträger mit der Probe entweder direkt oder mit Hilfe eines verstellbaren Probentisches lateral verschieben kann, um andere Bereiche einer Probe ins Sichtfeld des Objektivs zu bringen. Der Benutzer des Mikroskops kann dabei an seinem Platz bleiben und muss seinen Kopf nur minimal bewegen, so dass die klassischen Mikroskope in dieser Hinsicht höchst ergonomisch sind.
Untersuchungsverfahren insbesondere für biologische Proben wurden im Laufe der Zeit immer weiter entwickelt, damit einhergehend wurde auch der Aufbau von Mikroskopen, die für die Durchführung dieser Untersuchungsverfahren geeignet sind, immer komplexer. Bei heutigen Mikroskopsystemen, die es erlauben, Bildstapel entlang der Beobachtungsrichtung aufzunehmen und daraus ein räumliches Bild der Probe zu rekonstruieren, werden Bilder mit Hilfe von Detektoren erzeugt. Als Detektoren dienen beispielsweise Kameras, die mit entsprechenden Flächensensoren ausgestaltet sind, oder auch Photomultiplier. Bei solchen Systemen hat sich daher der Arbeitsplatz vom Mikroskopstativ und damit von der Probe zum Computer bzw. zum Bildschirm eines solchen verschoben. Andererseits wird aber der Arbeitsplatz vor dem Stativ ebenfalls benutzt und benötigt, um die Probe für die Untersuchung vorzubereiten, d.h. einzurichten. Dazu muss die Probe auf dem Probenträger in das Sichtfeld des Objektivs gebracht werden, ein Probenbereich muss ausgewählt werden, dieser muss angefahren werden, schließlich muss auf die Probe fokussiert werden. Der Arbeitsablauf bei der Verwendung moderner, komplexer Mikroskopsysteme ist daher mit zwei Arbeitsbereichen verbunden, die für unterschiedliche Schritte im Arbeitsablauf stehen und räumlich voneinander getrennt sind - dem Mikroskopstativ mit Okular zur direkten Beobachtung einerseits und dem Bildschirm eines angeschlossenen Computers andererseits.
Durch das Anbringen weiterer Instrumente wie Inkubatoren zur Untersuchung lebender Zellen wird der direkte Einblick auf die Probe, d.h. die Position des Objektivsichtfeldes in der Probe, stark eingeschränkt. Werden darüber hinaus größere Probenträger verwendet, um eine Vielzahl von Proben nacheinander untersuchen zu können - beispielsweise /Wu/f/'ive//-Platten - wird die Orientierung auf der Probe ebenfalls behindert.
Einem Benutzer werden dadurch das Finden der Probe und die Einstellung des Probenbereichs sehr erschwert, zudem findet ein Orientierungsverlust auf der Probe statt. Für die Einstellung ist ein mehrmaliger Wechsel zwischen dem Computerarbeitsplatz und dem Mikroskopstativ, an dem die Probe direkt beobachtet werden kann, notwendig.
Andererseits gibt es auch Mikroskopsysteme, die für den Durchsatz einer hohen Anzahl von Proben ausgelegt sind und nicht unter ständiger Kontrolle stehen. Dort müssen Probenbereiche automatisch erkannt und mikroskopisch erfasst werden. Die Probenträger weisen dabei in der Regel eine Beschriftung auf, beispielsweise in Form eines Barcodes oder eines QR-Codes, die den Proben zugeordnet werden muss. Solche Untersuchungen laufen semi-automatisch ab, ein Benutzer greift beispielsweise nur ein, um die Probenträger zu wechseln, ein Übersichtsbild einzustellen, oder die Probenträgernummer zu registrieren.
Gerade bei der Verwendung von /Wu/f/'ive//-Platten in Mikroskopsystemen mit hohem Durchsatz (High Throughput) kommt es vor, dass einige der Wells keine Proben enthalten oder falsch eingebettete, kontaminierte oder defekte Proben enthalten. Diese Wells werden in den semi- automatischen Verfahren ebenfalls mit untersucht, obwohl die Ergebnisse nicht verwendet werden können, so dass mehr Zeit als eigentlich notwendig aufgewandt wird.
Zur Erzeugung von Übersichtsbildern gibt es im Stand der Technik zwar verschiedene Verfahren, die jedoch mit mehr oder weniger großen Nachteilen behaftet sind. So kann beispielsweise mit der Mikroskop-Optik und einem schwach vergrößernden Objektiv sowie einer hinter dem Objektiv angeordneten Kamera ein Bild aufgenommen werden. Damit lässt sich jedoch nur ein kleines Objektfeld im Vergleich zur Größe der Probe oder des Probenträgers aufnehmen, insbesondere wenn Probenträger für mehrere Proben verwendet werden. Um große Probenbereiche wie beispielsweise für /Wu/f/'ive//-Probenträger aufnehmen zu können, müssen daher mehre- re Bilder nebeneinander liegender Ausschnitte der Probe oder des Probenträgers aufgenommen werden, die anschließend zusammengesetzt werden müssen. Diese Prozedur ist recht langwierig und beispielsweise für die Untersuchung lebender Proben ungeeignet.
Ein Übersichtsbild kann auch aufgenommen werden, wenn die Mikroskop-Optik weggelassen wird und stattdessen eine Kamera mit einem Kameraobjektiv verwendet wird, womit sich ein relativ großes Objektfeld abbilden lässt; das Kameraobjektiv ist in der Regel nicht telezentrisch. Diese Lösung ist beispielsweise in der AxraScan-Reihe der Anmelderin implementiert, lässt sich jedoch nur mit Hellfeldbeleuchtung und Auflicht verwenden. Deckgläser und ungefärbte Proben sind in diesem Verfahren nur schwer erkennbar.
Andere Lösungen beleuchten Proben und Probenträger schräg, d.h. mit einem von Null verschiedenen Winkel zur optischen Achse, wobei das zurückgestreute Licht detektiert wird. Die Sensitivität der Messung über das zu messende Objektfeld schwankt dabei sehr stark, so dass die Ergebnisse nicht immer zuverlässig sind.
Beschreibung der Erfindung
Die Aufgabe der Erfindung besteht daher darin, ein Übersichtsbild eines Probenträgers zu er- zeugen, in welchem die Struktur des Probenträgers selbst und optional weitere Strukturen, beispielsweise der Beschriftung des Probenträgers, möglicher Probenbereiche, einer ggf. vorhandenen Immersionsflüssigkeit, der eigentlichen Probe und / oder Probenfehlern wie Luftblasen, Dreck etc. deutlich und fehlerfrei erkannt werden können. Im Vergleich zu normalen Aufnahmen einer Kamera und sogar HDR-Bildern soll das Übersichtsbild einen erhöhten Kontrast bzw. ein verbessertes Signal-Rausch-Verhältnis der jeweilig interessierenden Strukturen aufweisen, weshalb das Übersichtsbild im Folgenden als Übersichtskontrastbild bezeichnet wird. Das Übersichtskontrastbild kann dem Benutzer zur Navigation zur Verfügung gestellt werden, es kann aber auch dazu benutzt werden, um die automatisierte Analyse von Proben zu verbessern und die Fehleranfälligkeit zu verringern, indem beispielsweise Probenfehler erkannt werden.
Diese Aufgabe wird bei einem Verfahren der eingangs beschriebenen Art gelöst, indem das Übersichtskontrastbild auf folgende Weise erzeugt wird: Ein Probenträger - in der Regel mit mindestens einer Probe bestückt - wird mindestens teilweise im Fokus einer Detektionsoptik angeordnet und im Durchlicht mit einem zweidimensionalen, vorzugsweise arrayförmigen Be- leuchtungsmuster beleuchtet. Mindestens teilweise bedeutet dabei, dass der Probenträger oder die Probe nicht vollständig sichtbar sein muss, insbesondere aber, dass der Probenträger und / oder die Proben auch eine Ausdehnung entlang der optischen Achse aufweisen können, die höher als die Schärfentiefe der verwendeten Detektionsoptik ist. Als Detektionsoptik kann die Optik eines Mikroskops verwendet werden, vorzugweise handelt es sich jedoch um eine Käme- ra mit einem Kameraobjektiv, das es ermöglicht, ein großes Objektfeld bevorzugt mit ausreichend hoher Schärfentiefe auf einen Flächendetektor abzubilden.
Zur Erzeugung des Übersichtskontrastbildes ist es in dieser Ausgestaltung des Verfahrens not- wendig, mindestens zwei Übersichtsrohbilder mit unterschiedlichen Beleuchtungen des Probenträgers zu detektieren.
Die Übersichtsrohbilder, d.h. unbearbeitete Bilder, werden dann beispielsweise von der Kamera detektiert, indem ein Flächendetektor - beispielsweise ein CMOS-Chip - die Intensität pixelwei- se registriert. Je nach Art der Beleuchtung können die Übersichtsrohbilder nacheinander oder auch gleichzeitig - beispielsweise mit einer einzigen Kamera - aufgenommen werden.
In Abhängigkeit von der Art der Beleuchtung und von Informationen, die aus dem Übersichtskontrastbild zu extrahieren sind, wird ein Verrechnungsalgorithmus ausgewählt, mittels dessen die mindestens zwei Übersichtrohbilder zu einem Übersichtskontrastbild verrechnet werden. Bei den Informationen kann es sich beispielsweise um die bereits oben erwähnten Strukturen des Probenträgers, der Probe etc. sowie der Beschriftung des Probenträgers handeln.
Ebenfalls in Anhängigkeit von den Informationen, die aus dem Übersichtskontrastbild zu extra- hieren sind, wird ein Bildauswertungsalgorithmus ausgewählt, mittels dessen die Informationen aus dem Übersichtskontrastbild extrahiert werden. Diese Informationen können dann beispielsweise vom Benutzer am Bildschirm eines angeschlossenen Computers zur Einleitung weiterer Schritte im Rahmen der Beobachtung und Analyse verwendet werden, beispielsweise zur Navigation auf der Probe, wozu das Bild auf einem Bildschirm dargestellt wird und der Benutzer den interessierenden Probenbereich beispielsweise per Mausklick auswählt. Aufgrund der Bildauswertung kann das Mikroskopsystem diese Position dann automatisch anfahren. Die Informationen können auch aber auch im Rahmen einer automatisierten Untersuchung, beispielsweise in High-Throughput-[Jr\tersuc H}r\ger\, zum Ausschluss von fehlbelegten Näpfchen ( Wells) eines /Wu/f/'ive//-Trägers, beispielsweise einer Mikrotiterplatte, verwendet werden, so dass diese vom Mikroskop gar nicht angefahren werden.
Wesentliche Aspekte betreffen die Verwendung einer zweidimensionalen, vorzugsweise array- förmigen Beleuchtung sowie die Aufnahme der Übersichtsrohbilder mit unterschiedlichen Beleuchtungen. Eine zweidimensionale Beleuchtung lässt sich auf verschiedene Weisen errei- chen, wobei zur Erzeugung von Beleuchtungsmustern vorzugsweise ein Array gleich großer Beleuchtungselemente verwendet wird. In jedem Falle müssen die einzelnen Beleuchtungselemente in den mindestens zwei Übersichtsrohbildern voneinander unterscheidbar sein, d.h. sie müssen im Bild voneinander getrennt dargestellt werden können, obwohl nicht auf sie fokussiert wurde. Bei den Beleuchtungselementen kann es sich um LED, OLED, die Enden von Lichtleit- fasern, um Elemente eines beleuchteten DMDs (DMD - digital micromirror device) oder eines sonstigen räumlichen Lichtmodulators handeln. Es kann sich um aktiv oder passiv Licht abstrahlende Elemente handeln. Die Beleuchtungselemente können beispielsweise auch mit einer flächig abstrahlenden Lichtquelle erzeugt werden, vor der beispielsweise eine schaltbare Filter- struktur angeordnet wird, mit denen sich eine oder mehrere Eigenschaften der Beleuchtungselemente - beispielsweise Farbe, Intensität oder Polarisation - manipulieren lassen. Besonders vorteilhaft lassen sich jedoch lichtemittierende Dioden (LED) verwenden, da diese zum einen in verschachtelten Arrays mehrfarbiger LEDs angeordnet werden können, zum anderen auch eine ausreichend hohe Lichtleistung liefern und schließlich auch bereits Mikroskope erhältlich sind, die zur Beleuchtung ein LED-Array, d.h. nach Art einer Matrix oder eines Gitters angeordnete LED verwenden (LED-Array Microscope, Angular Illumination Microscope - AIM). Die LED- Arrays solcher Mikroskope lassen sich ebenfalls für die Erzeugung zweidimensionaler Beleuchtungsmuster verwenden. Die unterschiedlichen Beleuchtungen, mit der die mindestens zwei Übersichtsrohbilder aufgenommen werden, lassen sich auf verschiedene Weisen realisieren. Eine einfache Möglichkeit besteht darin, ein statisches zweidimensionales Beleuchtungsmuster zu verwenden und zwischen zwei Aufnahmen den Probenträger relativ zum Beleuchtungsmuster lateral, d.h. senkrecht zur optischen Achse der Detektionsoptik, zu verschieben. Dies kann entweder erfolgen, indem das - ebenfalls in einer Ebene mit der optischen Achse als Normalen angeordnete - Beleuchtungsmuster selbst verschoben wird, oder aber indem der Probenträger verschoben wird. Der Probenträger bzw. die Probe wird dabei im Durchlicht beleuchtet, d.h. der Probenträger befindet sich zwischen den Beleuchtungselementen des Beleuchtungsmusters und der Detektionsoptik, beispielsweise der Kamera.
Neben räumlich unterschiedlichen Beleuchtungen können auch zeitlich unterschiedliche Beleuchtungen verwendet werden, indem beispielsweise mehrere Übersichtsrohbilder mit unterschiedlichen Belichtungszeiten oder unterschiedlich langer Beleuchtung bei gleicher Belichtungszeit aufgenommen werden, wobei im letzteren Fall das Signal-Rausch-Verhältnis ungüns- tiger ist. Aus diesen Übersichtsrohbildern lässt sich nach dem im Stand der Technik bekannten HDR-Verfahren (HDR - high dynamic ränge) ein Übersichtskontrastbild berechnen.
Eine andere Möglichkeit besteht darin, räumlich unterschiedliche Beleuchtungen durch unterschiedliche Beleuchtungsmuster zu erzeugen, wobei die Beleuchtungsmuster vorzugsweise in Abhängigkeit von den zu extrahierenden Informationen ausgewählt werden. Grundsätzlich ist eine Vielzahl von Beleuchtungsmustern geeignet, die beispielsweise dem Array von Beleuchtungselementen aufgeprägt werden können. Beispielsweise können unterschiedliche Beleuchtungsmuster erzeugt werden, indem die Beleuchtungselemente einzeln oder gruppenweise angesteuert und zu verschiedenen Beleuchtungsmustern geschaltet werden, wobei ein erster Teil der Beleuchtungselemente Licht abstrahlend geschaltet wird und mindestens ein zweiter Teil der Beleuchtungselemente kein Licht oder Licht einer anderen Farbe oder Licht einer anderen Polarisation abstrahlend geschaltet wird. Strahlt der mindestens zweite Teil der Beleuchtungselemente kein Licht ab, so gibt es in jedem Muster genau zwei Teile und die Übersichts- rohbilder werden nacheinander detektiert. Strahlt der zweite Teil der Beleuchtungselemente Licht einer anderen Farbe ab, so können die Beleuchtungselemente auch in mehr als zwei Gruppen eingeteilt werden und einen dritten oder weitere Teile umfassen, die Licht jeweils anderer Farben abstrahlen, wobei die Farben voneinander paarweise verschieden sind. Entsprechendes gilt für die Polarisationen. Die Übersichtsrohbilder bei Beleuchtung mit Licht verschie- dener Farben können dann gleichzeitig aufgenommen werden, vorausgesetzt dass detektions- seitig eine Trennung in die verschiedenen Farbkanäle erfolgt. Weist beispielsweise das Array aus Beleuchtungselementen LEDs in den drei RGB-Grundfarben Rot (R), Grün (G) und Blau (B) auf und verfügt der Sensor der Kamera über entsprechende, diesen Farbkanälen zugeordnete Sensoren, so ist eine Separation ohne Weiteres möglich und es können drei Übersichts- rohbilder gleichzeitig aufgenommen werden. Entsprechendes gilt für polarisierte Beleuchtung, wenn beispielsweise ein LED-Array mit Polarisationsfiltern verschiedener Polarisationen belegt wird und die Polarisationsrichtungen ebenfalls detektiert und zur Separation der Kanäle herangezogen werden. Sind die Beleuchtungselemente als LED ausgestaltet und wird eine LED aus drei einzelnen, jeweils in verschiedenen Grundfarben Rot, Grün und Blau Licht abstrahlenden, einander benachbarten Sub-LEDs gebildet, so lassen sich die unterschiedlichen Beleuchtungen auch durch die Beleuchtung aus verschiedenen Winkeln in den Grundfarben einstellen. Auch hier können die Übersichtsrohbilder gleichzeitig detektiert werden.
Eine andere Möglichkeit besteht darin, explizit unterschiedliche Beleuchtungsmuster zu erzeugen und die Übersichtsrohbilder nacheinander mit unterschiedlichen Beleuchtungsmustern aufzunehmen. Dies kann in einer ersten Variante beispielsweise erfolgen, indem der erste Teil der Beleuchtungselemente für jedes Beleuchtungsmuster stochastisch ausgewählt wird, dabei kön- nen die einzelnen Beleuchtungselemente zufällig angesteuert und Licht abstrahlend bzw. kein Licht abstrahlend geschaltet werden, wobei über Randbedingungen auf eine möglichst gute Gleichverteilung Licht abstrahlender und kein Licht abstrahlender Beleuchtungselemente zu achten ist. In einer zweiten Variante werden pulsweitenmodulierte Beleuchtungselemente - dies lässt sich besonders gut mit LED oder OLED realisieren - verwendet, wobei die Pulsweite län- ger als die Integrationszeit einer Detektoreinheit zur Aufnahme der Übersichtsrohbilder gewählt wird. In diesem Fall müssen die Beleuchtungselemente nicht einzeln angesteuert werden.
Anstelle stochastischer Beleuchtungsmuster können auch Beleuchtungsmuster erzeugt werden, bei denen die Beleuchtungselemente regelmäßig verteilt sind. Beispielsweise lassen sich schachbrettartige, kreuzförmige oder Halbpupillenverteilungen für die Licht abstrahlenden Beleuchtungselemente verwenden. Insbesondere bei schachbrettartiger Verteilung bieten sich zwei Möglichkeiten an: Zum einen kann der zweite Teil der Beleuchtungselemente kein Licht abstrahlen, dann werden zwei Übersichtsrohbilder nacheinander mit zueinander komplementä- ren Beleuchtungsmustern aufgenommen. Im Falle einer schachbrettartigen Beleuchtung sind die Muster zueinander invertiert. Zum anderen können aber auch die beiden Teile der Beleuchtungselemente Licht unterschiedlicher Farben oder Polarisationen abstrahlen, hier können die Übersichtsrohbilder gleichzeitig in einem Bild aufgenommen und anschließend nach Farbkanälen bzw. Polarisationen separiert werden. Im Falle einer schachbrettartigen Beleuchtung mit zwei Beleuchtungsmustern sind die beiden Muster nicht nur komplementär, sondern auch invertiert zueinander. Im Falle der Verwendung mehrerer Muster - beispielsweise einem einzigen Licht abstrahlenden Beleuchtungselement, welches das Array abtastet - verhalten sich alle Muster zusammen zueinander komplementär, d.h. ergeben in Summe ein Array ausschließlich aus Licht abstrahlenden Beleuchtungselementen. Bei Halbpupillenbeleuchtung sind jeweils zwei der vier notwendigen Beleuchtungsmuster zueinander komplementär.
Schließlich lassen sich unterschiedliche Beleuchtungen auch realisieren, indem man aus dem Array von Beleuchtungselementen mindestens einen Ausschnitt auswählt und nur in diesem das Beleuchtungsmuster erzeugt. Die unterschiedlichen Beleuchtungen erreicht man durch abtastendes Verschieben des mindestens einen Ausschnitts auf dem Array, wobei die Beleuchtungselemente außerhalb des mindestens einen Ausschnitts kein Licht abstrahlend geschaltet werden. Beispielsweise kann hier eine Beleuchtung mit einer einzelnen LED verwendet werden, oder aber auch ein Ausschnitt einer schachbrettartigen Beleuchtung. Bei einem großen Probenträger können dabei mehrere Ausschnitte ausgewählt werden, die parallel verschoben werden, ebenso ist eine Kombination mit verschiedenfarbigen Beleuchtungselementen möglich, um mehrere Ausschnitte gleichzeitig zu erzeugen.
Nach der Aufnahme der Übersichtsrohbilder wird in Abhängigkeit von den aus dem Übersichtskontrastbild zu extrahierenden Informationen ein Verrechnungsalgorithmus ausgewählt, mittels dessen die mindestens zwei Übersichtrohbilder zu dem Übersichtskontrastbild verrechnet werden. Die Wahl des Verrechnungsalgorithmus erfolgt vorzugsweise auch in Abhängigkeit von der vorangegangenen Wahl des Beleuchtungsverfahrens, d.h. ist daran angepasst. Vorzugsweise wird das Übersichtskontrastbild entweder in einem Dunkelfeldmodus oder in einem Hellfeldmodus erzeugt, da diese den besten Kontrast ermöglichen, jedoch sind auch Mischmodi möglich. Dabei soll darauf geachtet werden, dass der Kontrast für die interessierenden Strukturen optimal ist, beispielsweise je nachdem, ob die Deckgläser, die Probe selbst oder die Beschriftung mit möglichst hohem Kontrast dargestellt werden sollen. Unter Umständen lassen sich Übersichtskontrastbilder aus den Übersichtsrohbildern sowohl im Hellfeld- als auch im Dunkelfeldmodus erzeugen, je nach gewünschter Information. Neben der Erzeugung eines Übersichtskon- trastbildes in einem Dunkelfeld- oder Hellfeldmodus lassen sich auch andere Arten von Kontrast erzeugen, beispielsweise Übersichtskontrastbilder in einem HDR-Modus, die Dunkel- und Hellfeldkomponenten enthalten . In einer ersten Ausgestaltung basiert der Verrechnungsalgorithmus auf pixelweiser Projektion, vorzugsweise auf einer Rangordnungsprojektion oder auf einer Projektion statistischer Momente. Dabei werden zur Erzeugung des Übersichtskontrastbildes aus einem Stapel von mindestens zwei Übersichtsrohbildern die Übersichtsrohbilder pixelweise verglichen und entsprechend einer Projektionsbedingung wird der Intensitätswert eines der Pixel für die entsprechende Posi- tion im Übersichtskontrastbild ausgewählt. Der aufgenommene Bildstapel wird also pixelweise verrechnet, d.h. jedes Pixel im Übersichtskontrastbild wird nur von den Pixeln im Bildstapel beeinflusst, welche an der gleichen Bildposition in den Übersichtsrohbildern liegen. Bei einer Rangordnungsprojektion werden für eine Bildposition die entsprechenden Pixelwerte der Übersichtsrohbilder nach Intensitäten sortiert, und der dem p-Quantil entsprechende Wert wird für das Übersichtskontrastbild verwendet, wobei p ein vom Benutzer festzulegender oder von dem Verrechnungsverfahren vorgegebener Parameter ist. Ein Spezialfall ist die Minimum-Projektion mit p = 0,0, bei der das Pixel mit minimaler Intensität ausgewählt wird; andere Spezialfälle sind die Maximum-Projektion mit p = 1 , bei der das Pixel mit maximaler Intensität ausgewählt wird, oder die Median-Projektion mit p = 0,5.
Je nachdem, mit welchen Beleuchtungen die Übersichtsrohbilder erzeugt wurden, lassen sich mit dieser Art der Verrechnung Übersichtskontrastbilder im Dunkelfeldkontrast oder im Hellfeldkontrast erzeugen. Ein Übersichtskontrastbild im Hellfeldmodus lässt sich beispielsweise erzeugen, wenn die Beleuchtungselemente - insbesondere wenn sie als LED ausgestaltet sind - nicht übersteuert sind und p = 1 , d.h. die Maximum-Projektion gewählt wird. Das Übersichtskontrastbild lässt sich aber auch im Dunkelfeldmodus erzeugen , wenn beispielsweise mit möglichst großem p ein möglichst helles Übersichtskontrastbild erzeugt wird, wobei im Rahmen der Verrechnung nur solche Pixel berücksichtigt werden , die nicht direkt durch ein Beleuchtungselement beleuchtet worden sind. Erzeugt man beispielsweise zwei Übersichtsrohbilder mit einer schachbrettartigen Verteilung des ersten Teils der Beleuchtungselemente und einer dazu komplementären Verteilung, so wird p = 0 gewählt und eine Minimum-Projektion durchgeführt. Erzeugt man hingegen das Beleuchtungsmuster nur in einem Ausschnitt des Arrays und verschiebt diesen Ausschnitt abtastend auf dem Array, wird jedes Pixel im Bild weniger oft direkt beleuchtet als Übersichtsrohbilder aufgenommen werden. Verwendet man beispielsweise vier in Form eines Kreuzes eingeschaltete LEDs und erzeugt 30 Übersichtsrohbilder für ein scannendes Schachbrettmuster, so wird jedes Pixel maximal viermal direkt von einer LED, deren Durchmesser wesentlich größer als der eines Pixels ist, beleuchtet. Der Wert ist dann p = ((30- 1 )-4)/(30-1 ) = 0,8621 . Alternativ lässt sich auch ein Algorithmus, der auf der Projektion statistischer Momente basiert, verwenden. Dabei entspricht jedes Pixel im Übersichtkontrastbild einem statistischen Moment, wie beispielsweise der Standardabweichung der Intensität über die korrespondierenden Pixel der Übersichtsrohbilder. Insbesondere in Kombination mit einer Sequenz aus statischen LED- Mustern, die relativ zum Probenträger lateral verschoben werden, liefert dies gute Kontraste und behält auch kleine Details bei, so dass dieser Verrechnungsalgorithmus beispielsweise für die Erkennung von /Wu/f/'ive//-Probenträgern oder c/?amöer-s//de-Probenträgern besonders gut geeignet ist. Die Vorteile der oben beschriebenen Projektionsmethoden als Verrechnungsalgorithmen liegen darin, dass sie einerseits sehr gut parallelisierbar sind und damit eine sehr schnelle Verrechnung erlauben, und andererseits durch eine Gleichbehandlung aller Pixel keine Nahtstellen- Artefakte auftreten, wie das beispielsweise bei auf Segmentierung basierenden Verrechnungsalgorithmen der Fall ist, bei denen in ungünstigen Fällen die Begrenzungen der Strukturen an den Nahtstellen diskontinuierlich zu springen scheinen.
In einer anderen Ausgestaltung basiert der Verrechnungsalgorithmus auf morphologischen Operationen mit anschließender pixelweiser Projektion, bevorzugt auf einer Top-Hat- oder ß/ac/(-/-/af-Transformation mit anschließender pixelweiser Maximums-Projektion. Mittels der 7op-/-/af-Transformation lassen sich helle Strukturen auf dunklem Untergrund hervorheben, mit der ß/ac/(-/-/af-Transformation lassen sich dunkle Strukturen auf hellem Untergrund hervorheben. Mit diesen Verrechnungsalgorithmen lassen sich insbesondere Glaskanten, also Kanten von Probenträgen oder Deckgläsern, sichtbar machen. Anschließend wird eine pixelweise Maximum-Projektion über die so transformierten Übersichtsrohbilder gebildet und so das Über- sichtskontrastbild erzeugt. Die Vorteile dieses Verrechnungsalgorithmus bestehen darin, dass die Informationen gleichzeitig aus Hellfeld- und aus Dunkelfeldkontrasten gewonnen werden, und dass sie ebenfalls effizient verrechnet werden. Im Vergleich zu einer Rangordnungs- Projektion fällt der Kontrast in den verrechneten Bildern jedoch meist schlechter aus und ist oft nur bei Glaskanten sichtbar. Außerdem können starke Hintergrundartefakte erzeugt werden, die anschließend beseitigt werden müssen.
In einer weiteren Ausgestaltung wird ein segmentierungsbasierter Verrechnungsalgorithmus ausgewählt, bei dem für jedes Pixel eines Übersichtsrohbildes zunächst bestimmt wird, ob dieses direkt von einem Beleuchtungselement mit Licht bestrahlt wurde. Zur Erzeugung eines Übersichtskontrastbildes im Dunkelfeldkontrastmodus werden diese Pixel dann nicht berücksichtigt. Das Übersichtskontrastbild wird auch hier mit einer Projektionsmethode erzeugt. Vorteil dieses Verrechnungsalgorithmus im Vergleich zur Rangordnungsprojektion ist, dass hier explizit bestimmt wird, welche Pixel-Informationen aus den Übersichtsrohbildern verwendet werden können. Nachteilig ist, dass durch die Segmentierung und der daraus entstehenden Ungleich- behandlung von Pixeln Nahtstellen im verrechneten Kontrastbild entstehen können. Zudem ist die Berechnung nicht so effizient durchführbar wie bei den vorangehend beschriebenen Verrechnungsalgorithmen. In einer alternativen Ausgestaltung des Verfahrens, welches im Hellfeldmodus arbeitet, wird das Übersichtskontrastbild nicht durch Verrechnung erzeugt, sondern direkt detektiert, d.h. es werden keine Übersichtsrohbilder detektiert, oder anders ausgedrückt, das Übersichtsrohbild ist mit dem Übersichtskontrastbild in diesem Fall identisch. Zu diesem Zweck wird eine Streuscheibe zwischen das arrayförmige Beleuchtungsmuster - welches auch hier aus einem Array bevor- zugt gleich großer Beleuchtungselemente zusammengesetzt sein kann - und dem Probenträger in den Strahlengang eingebracht. Die Streuscheibe, die für die Hellfeldbeleuchtung vorteilhafte diffuse Beleuchtung erzeugt, kann auch permanent im Strahlengang verbleiben, sofern sie schaltbar ist, sie wird dann nur für die Erzeugung eines Übersichtskontrastbildes im Hellfeldmodus eingeschaltet, d.h. auf streuend geschaltet.
Für den Fall, dass zwischen zwei Aufnahmen der Probenträger relativ zum Beleuchtungsmuster lateral verschoben wird, ist es notwendig, für die Berechnung zu wissen, wie sich dabei die Probe oder das Beleuchtungsmuster im Bild bewegt. Dazu wird die Kamera relativ zum Probenträger oder Beleuchtungsmuster kalibriert, um - im Falle einer der Verschiebung des Proben- trägers - die Koordinaten eines Tisches, auf dem der Probenträger gehalten wird und der zur Verschiebung des Probenträgers verfahren werden kann, auf Bildkoordinaten abbilden zu können. Entsprechend kann für verschiebbare Beleuchtungsmuster vorgegangen werden. Im Falle eines verfahrbaren Tisches wird zur Kalibrierung konkret ein Kalibriermuster, beispielsweise ein Schachbrett, in den Tisch eingelegt, wodurch die Koordinatenabbildung mit ausreichender Ge- nauigkeit abgeschätzt werden kann. Alternativ lässt sich bei der Verrechnung aber auch auf eine solche Kalibrierung verzichten und die Verschiebung der Probe per Bildanalyse oder mit einem anderweitigen Messsystem feststellen.
Insbesondere für den Fall, dass das Beleuchtungsmuster ortsfest ist und der Probenträger zwi- sehen den Aufnahmen verschoben wird, lässt sich nach einer Kalibrierung, d.h. nach einer Quantifizierung der tatsächlichen Verschiebung des Probenträgers in Bezug auf das Bild, auch für größere Probenträger, die nicht vollständig in das von der Kamera bzw. der Detektionsoptik erfassbare Objektfeld passen, ein Übersichtskontrastbild generieren, indem zunächst Einzelkontrastbilder erzeugt werden, die jeweils verschiedene Bereiche des Probenträgers - und / oder der Probe - zeigen und aus entsprechenden Einzelübersichtsrohbildern erzeugt werden. Diese Einzelkontrastbilder werden im Anschluss zum Übersichtskontrastbild zusammengesetzt, wobei die Kalibrierung dazu verwendet wird, die Anschlussstellen zum Aneinandersetzen korrekt zu lokalisieren. Vorteilhaft wird unabhängig davon auch zur Korrektur von geometrischen Verzeichnungen vor der Aufnahme von Übersichtsrohbildern eine Kalibrierung mittels der Aufnahme und Auswertung eines Kalibriermusters vorgenommen. Bei dem Kalibriermuster handelt es sich um ein Objekt mit bekannter Geometrie und gut zu erkennender Struktur - beispielsweise das oben bereits erwähnte Schachbrettmuster -, welches in verschiedenen Lagen im Bildfeld der Kamera platziert und mit der Kamera aufgenommen wird. Allerdings kann auch das Array aus Beleuchtungselementen, insbesondere wenn diese als LED ausgestaltet sind, als Kalibriermuster verwendet werden. Solche Kalibrierungen sind im Stand der Technik bekannt. Wie bereits im Zusammenhang mit den segmentierungsbasierten Verrechnungsalgorithmen angedeutet, können je nach verwendetem Verrechnungsalgorithmus in dem erzeugten Übersichtskontrastbild Hintergrundartefakte auftreten. Solche störenden Hintergrundsignale werden vorzugsweise nach Erzeugung des Übersichtskontrastbildes und noch vor seiner Auswertung mittels entsprechender Korrekturalgorithmen entfernt, d.h. herausgerechnet. Erfolgt keine Late- ralbewegung von Beleuchtungsmuster oder Probenträger, so bilden die Artefakte typischerweise eine periodische Struktur, welche den Positionen der einzelnen Beleuchtungselemente folgt. Diese können dann mittels sogenannter Selbst-Filterung (self-filtering) entfernt werden. Im Stand der Technik sind weitere Korrekturverfahren bekannt, mit denen sich die auftretenden Hintergrundartefakte entfernen oder mindestens reduzieren lassen, insbesondere indem ein Hintergrundbild aufgenommen oder berechnet und dann vom Übersichtskontrastbild subtrahiert wird, d.h. aus diesem herausgerechnet wird. Beispielsweise lässt sich ein Hintergrundbild aus der Verrechnung der Übersichtsrohbilder bestimmen, indem der Vordergrund herausgemittelt wird. Auch aus einer Aufnahme ohne Probenträger bzw. mit leerem Probenträger lässt sich ein Hintergrundbild bestimmen. Aus einer Verrechnung des Hintergrundkontrastbildes lässt sich ein Hintergrundbild bestimmen, indem beispielsweise die mittleren Pixelwerte in lokalen Regionen um ein nicht Licht abstrahlendes Beleuchtungselement errechnet werden, indem alle Beleuchtungselemente im Übersichtskontrastbild analysiert werden. Die Vordergrundstruktur ist nämlich unabhängig von der Position relativ zum Beleuchtungselement und wird herausgemittelt, die Hintergrundstruktur jedoch ist abhängig von dieser Position und wird dadurch verstärkt. Dies ergibt ein Hintergrundbild über die Position der Beleuchtungselemente, welches anschließend aus dem Übersichtskontrastbild herausgerechnet werden kann. Eine andere Möglichkeit zur Herausrechnung von Hintergrundartefakten besteht in der Verwendung eines Bandpassfilters, gegebenenfalls auch in Kombination mit nichtlinearen Filtern. In einem letzten Schritt werden schließlich die Hintergrundkontrastbilder automatisch mittels eines auszuwählenden Bildverarbeitungsalgorithmus analysiert und die benötigten Informationen extrahiert. Die zu extrahierenden Informationen umfassen dabei eine oder mehrere der folgenden Daten: Typ des Probenträgers, Beschriftung des Probenträgers, Orte von Proben oder Probenbereichen, Deckgläsern, Näpfchen einer /Wu/f/'ive//-Platte im Bild, Informationen zu einer Immersionsflüssigkeit wie Position, Volumen, Form, Positionen von Artefakten, defekten Proben, Luftblasen etc. Diese Informationen lassen sich nur aufgrund des hohen Kontrasts in den Übersichtskontrastbildern zuverlässig extrahieren. Als Bildverarbeitungsalgorithmus kann beispielsweise ein auf dem Prinzip des maschinellen Lernens (machine learning) basierender Algorithmus, insbesondere ein Deep-Learning- Algorithmus ausgewählt werden, welcher bevorzugt anhand von Übersichtskontrastbildern mit bekannten Informationen trainiert wird. Für die automatische Extraktion der o.g. Informationen aus den Übersichtskontrastbildern bietet es sich an, Verfahren aus dem Bereich des maschinellen Lernens (machine learning) einzusetzen. Dabei wird für die jeweilige Aufgabenstellung - dazu zählen beispielsweise Bildklassifikation, Segmentierung, Lokalisation, Detektion - eine annotierte Trainingsstichprobe bereitgestellt, welche eine Menge von zu analysierenden Kontrastbildern umfasst. Jedem Kontrastbild ist da- bei eine der Aufgabenstellung entsprechenden gewünschte Ausgabe zugeordnet, wie im Folgenden auch anhand von Beispielen erläutert wird. Mit Techniken des maschinellen Lernens kann dann automatisch in einem Lernschritt ein Modell so angepasst werden, dass auch für ungesehene, d.h. neue Bilder die gewünschten und korrekten Ausgaben erzeugt werden. Nachfolgend sind beispielhaft mögliche Algorithmen basierend auf Techniken des maschinellen Lernens skizziert. Alternativ können auch Verfahren aus der klassischen Bild- und Signalverarbeitung verwendet werden, allerdings bieten Algorithmen auf Basis von machine learning, und insbesondere auf Basis von deep learning deutliche Vorteile unter anderem bei Qualität, Robustheit, Flexibilität, Generalisierbarkeit, sowie Entwicklungs- und Wartungsaufwand.
Zur Erkennung des Typs eines Probenträgers, d.h. ob es sich z.B. um einen Multiwell- Probenträger, eine Petrischale, eine Chamber slide, etc. handelt, lässt sich vorteilhaft ein auf einem Convolutional Neural Network basierender Deep-Z-earn/ng-Algorithmus verwenden. Es handelt sich also um eine Aufgabe aus dem Bereich der Bildklassifikation, der Algorithmus ver- wendet als Eingabe ein Bild und gibt eine Klasse aus. Die Trainingsstichprobe umfasst in diesem Fall Kontrastbilder, und jedem Kontrastbild ist einer der in Frage kommenden Probenträgertypen zugeordnet, einem ersten Kontrastbild der Typ„Petrischale", einem zweiten Kontrastbild der Typ„Multiwell-P\atte", einem dritten Kontrastbild der Typ„Chamber slide", einem vierten Kontrastbild der Typ„slide", usw.
Ein Convolutional Neural Network (CNN) besteht aus verschiedenen Schichten, beispielsweise Faltungsschichten, Pooling-Schichten, nichtlinearen Schichten, etc., deren Anordnung in der Netz-Architektur festgelegt ist. Die für die Bildklassifikation verwendete Architektur folgt einer gewissen Grundstruktur, ist aber prinzipiell flexibel. Jedes Element des Netzwerkes nimmt eine Eingabe entgegen und berechnet eine Ausgabe. Zudem haben einige Elemente des Netzwerkes freie Parameter, welche die Berechnung der Ausgabe aus der Eingabe bestimmen. Der ersten Schicht wird ein dreidimensionales Zahlenarray, d.h. ein Farbbild mit je drei Farbwerten pro Pixel, als Eingabe des Netzwerks eingegeben. Die letzte Schicht gibt dann als Ausgabe des Netzwerks eine Wahrscheinlichkeitsverteilung über allen möglichen Probenträgertypen - Ausgabe für ein Übersichtskontrastbild ist also beispielsweise:„slide" 87%,„/Wu/f/'ive//-Platte" 1 %, „Petrischale" 2%,„Chamber slide" 10% - aus. Optional kann auch eine Rückweisungsklasse - diese liefert beispielsweise die Werte„unbekannt"/"ungültig"/"leer" - mit integriert werden. Durch den Trainingsprozess werden auf Basis der bereitgestellten Trainingsdaten die freien Parame- ter des Netzwerkes so angepasst, dass die Ausgaben des Modells möglichst gut zu den erwarteten Ausgaben passen.
Dabei kann das Training auch ein bereits auf anderen Daten trainiertes Modell als Ausgangspunkt im Sinne einer Feineinstellung benutzen, was Vorteile hinsichtlich Qualität, Zeitaufwand, und Datenaufwand bietet.
Alternativ zu CNNs oder daraus abgeleiteten oder verwandten Verfahren des deep learning kann die Bildklassifikation auch mit herkömmlichen Verfahren des maschinellen Lernens durchgeführt werden, welche üblicherweise zwei Schritte umfassen: (i) Merkmalsextraktion und (ii) Klassifikation. Bei der Merkmalsextraktion in Schritt (i) wird das Übersichtskontrastbild mittels eines vordefinierten Algorithmus in eine alternative Repräsentation - üblicherweise in einen kompakten oder dünn besetzten Vektor - überführt. Einfache Beispiele sind hier z.B. lokale Gradientenhistogramme (histograms of oriented gradients, HoG). Bei der Klassifikation in Schritt (ii) wird dann jedem dieser Merkmalsvektoren mit Hilfe eines Klassifikators eine Klasse zugeordnet. Ein Beispiel für einen Klassifikator ist eine Stützvektormaschine (Support- Vector- Machine, SVM). Die freien Parameter des Klassifikators werden hier ebenfalls im Trainingsschritt so angepasst, dass die tatsächlichen Ausgaben möglichst gut mit den gewünschten Ausgaben übereinstimmen. Ein Hybridansatz zwischen klassischem machine learning und deep learning basiert darauf, für die Merkmalsextraktion in Schritt (i) ein CNN zu benutzen. Dabei wird ein auf anderen Daten trainiertes CNN an einer gewissen Schicht abgeschnitten, und die Aktivierung des Netzes wird als Merkmalsvektor benutzt. Die Lokalisierung von Strukturen des Probenträgers, z.B. Deckgläsern bei slides und Petrischalen oder Kammern von Chamber slides oder /Wu/f/'ive//-Platten einerseits und von Strukturen der Probe oder Probenbereichen andererseits kann als Problem der semantisches Segmentierung (semantic segmentation) aufgefasst werden, d.h. für ein Übersichtskontrastbild als Eingabebild soll ein Bild zurückgeliefert werden, bei dem jedem Pixel des Eingabebildes eine Klasse zuge- ordnet ist (z.B.„Hintergrund",„Deckglas",„Dreck",„Probe", ...). Dies lässt sich vorzugsweise ebenfalls mit Netzwerken aus dem Bereich deep learning umsetzen, beispielsweise mit auf CNNs basierenden Fully Convolutional Networks (FCNs).
Wie CNNs erwarten FCNs als Eingabe üblicherweise ein dreidimensionales Zahlenarray, d.h. ein farbiges Übersichtskontrastbild, liefern als Ausgabe allerdings ein Array, in dem jedem Pixel des Eingabebildes eine Wahrscheinlichkeit für die Zugehörigkeit zu jeder der vorkommenden Klassen zugeordnet wird. Die Trainingsstichprobe umfasst in diesem Fall Kontrastbilder, und jedem Kontrastbild ist ein Array (Grauwertbild) gleicher Größe zugeordnet, in dem jedem Pixel wiederum - codiert über einen Grauwert - eine Klasse zugeordnet ist. Das Training erfolgt analog wie bei CNNs. Dabei können für die Lokalisierung von Probenträgern einerseits und von Probenbereichen andererseits verschiedene FCNs verwendet werden, insbesondere ist die Auswertung aber mit einem einzigen FCN möglich, welches beispielsweise sowohl„Deckglas" als auch„Probe" als Klassen abbildet bzw. enthält.
Es versteht sich, dass die vorstehend genannten und die nachstehend noch zu erläuternden Merkmale nicht nur in den angegebenen Kombinationen, sondern auch in anderen Kombinationen oder in Alleinstellung einsetzbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen.
Kurze Beschreibung der Zeichnungen
Nachfolgend wird die Erfindung beispielsweise anhand der beigefügten Zeichnungen, die auch erfindungswesentliche Merkmale offenbaren, noch näher erläutert. Es zeigen:
Fig. 1 eine Anordnung zur Durchführung eines Verfahrens zur Erzeugung und Analyse eines Übersichtskontrastbildes,
Fig. 2 den Aufbau eines dafür geeigneten Mikroskops,
Fig. 3 ein Detail einer Beleuchtung,
Fig. 4 die Erzeugung stochastischer Beleuchtungsmuster,
Fig. 5 zwei komplementäre schachbrettartige Beleuchtungen,
Fig. 6 eine schachbrettartige Beleuchtung mit verschiedenen Farben,
Fig. 7 eine kreuzförmige Verteilung der Beleuchtungselemente,
Fig. 8 eine Halbpupillenverteilung der Beleuchtungselemente,
Fig. 9 das abtastende Verschieben eines Ausschnitts mit einem Beleuchtungsmuster,
Fig. 10-12 die Erzeugung von Übersichtskontrastbildern aus Übersichtsrohbildern mit statischen Beleuchtungsmustern. Ausführliche Beschreibung der Zeichnungen
Fig. 1 skizziert zunächst eine Anordnung, mit der ein Übersichtskontrastbild eines Probenträges 1 und / oder auf dem Probenträger 1 angeordneter Proben erzeugt werden kann. Der Probenträger 1 ist dabei mindestens teilweise im Fokus einer Detektionsoptik 2 angeordnet und wird im Durchlicht mit einem zweidimensionalen, arrayförmigen Beleuchtungsmuster 3 beleuchtet. Um das Übersichtskontrastbild zu erzeugen, werden zunächst mindestens zwei Übersichtsrohbilder mit unterschiedlichen Beleuchtungen des Probenträgers 1 detektiert. Dazu dient hier beispielhaft ein Flächendetektor 4, auf den die Detektionsoptik 2 abbildet. Bei der Detektionsoptik 2 kann es sich um ein Mikroskopobjektiv mit einer geringen Vergrößerung handeln, vorzugsweise handelt es sich aber um das Objektiv einer Kamera, welche in der Lage ist, einen größeren Bereich eines Objektfeldes abzubilden, das dann idealerweise den ganzen Probenträger 1 in einer Übersicht umfasst. Entsprechend handelt es sich in diesem Fall bei dem Flächendetektor 4 um den Sensor der Kamera, beispielsweise einen CMOS-Chip. Je nach Ausgestaltung und insbesondere in Abhängigkeit von der Wahl der Beleuchtung werden von dem Flächendetektor 4 nur die Intensitäten - beispielsweise bei einer weißen Beleuchtung - registriert, oder aber die Intensitäten werden in verschiedene Farbkanäle, beispielsweise Rot (R), Grün (G) und Blau (B) separiert. Ähnlich wie verschiedene Farben können auch unterschiedliche Polarisationen in der Beleuchtung mit entsprechenden Sensoren, die auch die Polarisation registrieren, berücksichtigt und für die Separation in verschiedene Kanäle verwendet werden.
In Abhängigkeit von der Art des Musters und der Art der Beleuchtung werden die Übersichtsrohbilder entweder gleichzeitig oder nacheinander aufgenommen, wobei für jedes Pixel die entsprechenden Intensitätswerte registriert werden. Die Übersichtrohbilder werden dann einer Verrechnungseinheit 5 zur Verrechnung in ein Übersichtskontrastbild zugeführt. In der Verrech- nungseinheit 5 wird in Abhängigkeit von Informationen, die aus dem Übersichtskontrastbild zu extrahieren sind, und optional auch in Abhängigkeit von der Beleuchtung, ein Verrechnungsalgorithmus ausgewählt, mittels dessen die mindestens zwei Übersichtsrohbilder zu dem Übersichtskontrastbild verrechnet werden. Das Übersichtskontrastbild wird dann einer Bildauswertungseinheit 6 zugeführt, in welcher in Abhängigkeit von den Informationen, die aus dem Über- sichtskontrastbild zu extrahieren sind, ein Bildauswertungsalgorithmus ausgewählt wird, mittels dessen die Informationen schließlich extrahiert werden. Die Informationen werden an eine Kontrolleinheit 7 übermittelt, die sie entsprechend weiterverarbeitet und beispielsweise bei einem High-Throughput-Verfahren solche Multiwells von der mikroskopischen Analyse ausnimmt, bei denen die Auswertung des Übersichtskontrastbildes ergeben hat, dass diese nicht korrekt be- füllt sind, beispielsweise mit defekten Proben oder Luftblasen, etc. Das Übersichtskontrastbild kann selbstverständlich auch für einen Benutzer auf einem mit der Bildauswertungseinheit 6 oder der Kontrolleinheit 7 verbundenen Bildschirm, der Teil dieser Einheiten sein kann, dargestellt werden, so dass ein Benutzer per Hand entsprechende Einstellungen vornehmen kann. Verrechnungseinheit 5, Bildauswertungseinheit 6 und Kontrolleinheit 7 können sämtlich als Hard- und / oder Software in einen PC integriert sein.
Das Verfahren lässt sich, wie im Zusammenhang mit der Beschreibung zu Fig. 1 bereits ange- deutet, ohne weiteres auch mit bestehenden Mikroskopen durchführen. Insbesondere geeignet sind solche Mikroskope, welche ein LED-Array für die Beleuchtung verwenden, das Beleuchtungsmuster 3 wird dann durch die LED dieses Arrays erzeugt. Ein solches Mikroskop, welches beispielsweise für die Angular Illumination Microscopy (AIM) verwendet wird, ist beispielhaft in Fig. 2 dargestellt. Der Probenträger 1 wird hier über ein LED-Array 8 beleuchtet, die Detektion- soptik 2 umfasst hier beispielhaft zwei Linsen, zwischen denen ein Umlenkspiegel 9 zur Faltung der optischen Achse angeordnet ist. Mittels eines Strahlteilers 10 wird ein Teil des Lichts auf einen Flächendetektor 4 geleitet, während ein anderer Teil des Lichts über eine Linse 1 1 auf ein Okular 12 gelenkt wird, so dass das Übersichtsrohbild auch von einem Beobachter betrachtet werden kann. Kamera und Beleuchtung lassen sich besonders gut an einem inversen Mikro- skopstativ positionieren, indem beispielsweise das LED-Array 8, mit dem das Beleuchtungsmuster 3 erzeugt wird, oberhalb an einem für die Durchlichtbeleuchtung vorbereiteten Arm angeordnet ist, und die Kamera unterhalb der Probe - beispielsweise am Objektivrevolver - der Probe platziert wird. Zur Erzeugung von Beleuchtungsmustern 3 wird vorzugsweise ein Array bevorzugt gleich großer Beleuchtungselemente verwendet. Als Beleuchtungselemente lassen sich beispielsweise LED, OLED, Lichtleitfasern, d.h. deren Enden bzw. Austrittsflächen als aktive Lichtquellen, oder Elemente eines beleuchteten DMD (digital micromirror device) oder eines anderen räumlichen Lichtmodulators als passive Beleuchtungselemente verwenden. Wenn im Folgenden beispiel- haft LED als Lichtquellen genannt werden, so dient dies nur der anschaulichen Erläuterung und schließt explizit nicht die Verwendung der anderen möglichen Arrays von Beleuchtungselementen aus.
Die Aufnahme der Übersichtsrohbilder erfolgt durch eine Kamera mit dem Flächendetektor 4; das Objektiv der Kamera ist wie in Fig. 1 gezeigt auf den Probenträger 1 fokussiert und auf das Beleuchtungsmuster 3 bzw. die Beleuchtung hinter dem Probenträger 1 gerichtet, die sich nicht im Fokus befindet. Dabei kann eine Kamera mit einem Objektiv verwendet werden, welches ein großes Objektfeld aufweist und nicht telezentrisch ist. Zwischen dem Probenträger 1 und dem Beleuchtungsmuster 3, welches beispielsweise als LED-Array ausgestaltet sein kann, müssen keine zusätzlichen optischen Elemente zur Manipulation der Beleuchtung platziert werden. Typischerweise lassen sich die Abstände zwischen der Detektionsoptik 2 bzw. dem Flächendetektor 4 und dem Probenträger 1 einerseits und zwischen dem Probenträger 1 und dem Beleuchtungsmuster 3 andererseits jeweils in einem Bereich zwischen 0,5 cm und 10 cm wählen, können jedoch insbesondere noch größer sein, um ggf. den gesamten Probenträger 1 zu erfassen. Grundsätzlich können die Abstände auch frei gewählt werden, solange verschiedene Bedingungen erfüllt sind: (i) der Probenträger 1 muss in der Fokusebene der Detektionsoptik 2 liegen; (ii) die zu analysierenden Strukturen des Probenträgers 1 - beispielsweise Kanten von Deck- gläsern - lassen sich mittels der Kamera noch auflösen; (iii) die durch das Beleuchtungsmuster 3 erzeugten Strukturen müssen auf dem vom Flächendetektor 4 registrierten Bild erkennbar sein, d.h. einzelne Beleuchtungselemente müssen unterscheidbar sein und decken vorteilhaft die gesamte zu analysierende Struktur ab, was durch eine entsprechende Wahl der Größe des Arrays aus Beleuchtungselementen, der Größe der Beleuchtungselemente und ihres Abstand zueinander beeinflusst werden kann, weshalb beispielsweise ein Array aus LED sehr gut für die größeren Strukturen wie Probenträger geeignet ist. Decken sie die Struktur nicht vollständig ab, so kann bei entsprechender Kalibrierung ein zusammengesetztes Übersichtskontrastbild erzeugt werden. Die Beleuchtung wird im Folgenden anhand von Fig. 3, bei der beispielhaft LED als Beleuchtungselemente verwendet werden, näher erläutert. Aus dem Beleuchtungsmuster 3 wurde hier beispielhaft nur eine LED 13 herausgegriffen, die hinter dem Probenträger 1 angeordnet ist. Die Abstände sind willkürlich gewählt, tatsächlich kann das Beleuchtungsmuster 3 noch weiter entfernt angeordnet werden. Eine Anordnung direkt hinter dem Probenträger 1 ermöglicht jedoch eine Anordnung in der Nähe der Fokusebene, so dass die Auflösung der einzelnen Beleuchtungselemente verbessert wird.
Die Aufnahme erfolgt mit nicht telezentrischer Detektionsoptik 2. Jede eingeschaltete LED 13 wirkt abhängig vom Feldbereich der Probe entweder als Hell- oder Dunkelfeldbeleuchtung. Für einen ersten Feldbereich 14 ist die LED 13 direkt hinter der Probe bzw. dem Probenträger angeordnet, hier dominiert ein Durchlicht-Anteil, so dass die LED 13 für diesen ersten Feldbereich 14 als Hellfeldbeleuchtung wirkt und ein entsprechender Hellfeldkontrast erzeugt wird. Für einen zweiten Feldbereich 15 neben der LED 13 wirkt die LED 13 jedoch als Dunkelfeldbeleuchtung und kann für die Erzeugung eines Dunkelfeldkontrastes verwendet werden. Soll ein Über- sichtskontrastbild im Hellfeldmodus erzeugt werden, so kann optional eine Streuscheibe zwischen dem Array aus Beleuchtungselementen und dem Probenträger 1 eingebracht werden, da für Hellfeldkontraste diffuse Lichtquellen von Vorteil sind, für Dunkelfeldkontraste jedoch nicht. Die Streuscheibe kann jeweils eingebracht werden, sie kann aber auch permanent im Strahlengang positioniert sein, und schaltbar sein, so dass eine Lichtstreuung nur bei angeschalteter Streuscheibe erfolgt. Durch die Erzeugung von Übersichtsrohbildern mit verschiedenen Beleuchtungen, die insbesondere durch verschiedene Beleuchtungsmuster 3 realisiert werden können, lassen sich Hell- und / oder Dunkelfeld-Informationen des Probenträgers 1 und auch der Probe selbst extrahieren und in einem Übersichtskontrastbild darstellen. Die unterschiedlichen Beleuchtungen werden in Abhängigkeit von den Informationen, die extrahiert werden sollen, gewählt. Zu diesen Informationen gehören in der Regel die Art des Probenträgers, beispielsweise ob es sich um einen normalen Objektträger im Sinne eines Glasplätt- chens handelt, um eine einfache Petrischale, um einen /Wu/f/'ive//-Probenträger mit einer Vielzahl offener Näpfchen, oder um einen Probenträger mit verschiedenen, verschlossenen Probenkammern (Chamber Slide), die daher mit einem Deckglas versehen sind. Auf dem Probenträger 1 ist häufig eine Probennummer angegeben, beispielsweise durch handschriftliche Beschriftung, öfter aber als Codierung mit einem Barcode oder einem QR-Code, welche in Verbindung mit einer entsprechenden Datenbank interpretiert werden können. Insbesondere bei der Ver- wendung von Probenträgern mit mehreren Probenkammern oder Näpfchen sollen mögliche Probenbereiche erkannt werden. Auch sollen die Proben identifiziert werden können und Fehler wie Luftblasen, Kontaminierungen oder leere Probenkammern erkannt werden können. Auch das Vorhandensein von Immersionsflüssigkeit und deren Form, Volumen und Position soll erkannt werden können.
Nachdem die gewünschten Informationen automatisch mittels eines Algorithmus zur Bildverarbeitung aus dem Übersichtskontrastbild extrahiert wurden, können die folgenden Schritte je nach Aufgabenstellung entweder automatisch oder semi-automatisch durchgeführt werden. Als Beispiel sei hier die Auswahl genannt, welche Näpfchen einer /Wu/f/'ive//-Platte untersucht wer- den sollen, dies kann entweder automatisch oder ausschließlich vom PC aus erfolgen, ohne dass ein Benutzer nochmals durch das Okular blicken muss, in dem allerdings ebenfalls ein Übersichtsbild des kompletten Probenträgers 1 darstellbar ist.
Anhand der Fig. 4-12 werden im Folgenden verschiedene Beleuchtungen und für diese geeig- neten Verrechnungsalgorithmen beschrieben. Zur Veranschaulichung wird dabei immer ein LED-Array verwendet, der Einsatz anderer Beleuchtungselemente, wie sie beispielhaft oben eingeführt wurden, ist jedoch ohne weiteres ebenfalls möglich.
Eine erste Möglichkeit besteht darin, die unterschiedlichen Beleuchtungen durch unterschiedli- che Beleuchtungsmuster 3, die in Abhängigkeit von den zu extrahierenden Informationen ausgewählt werden, zu erzeugen. Solche Beleuchtungsmuster sind in den Fig. 4-9 dargestellt.
Beispielsweise können verschiedene Beleuchtungsmuster 3 stochastisch erzeugt werden. Dies ist in Fig. 4 dargestellt, die sechs Einzelbilder zeigen verschiedene Beleuchtungsmuster, bei denen die LED 16 eines LED-Arrays 17 weißes Licht abstrahlen und stochastisch an- oder ausgeschaltet sind. Im angeschalteten Zustand sind sie als kleine Kreise dargestellt, im ausgeschalteten Zustand wurden sie weggelassen, um die verschiedenen Beleuchtungsmuster klar zu kennzeichnen. Eine einfache Möglichkeit, stochastische Beleuchtungsmuster 3 zu erzeugen, besteht darin, pulsweitenmodulierte Beleuchtungselemente zu verwenden, deren Pulsweite länger als die Integrationszeit einer Detektoreinheit zur Aufnahme der Übersichtsrohbilder gewählt wird, wobei diese Wahl auch durch die Festlegung einer Integrationszeit erfolgen kann. Während der Integ- rationszeit der Kamera sind dann einige der LED angeschaltet, andere ausgeschaltet, da die Pulsweitenmodulation zwischen den LED 16 nicht synchronisiert ist. Die LED 16 des LED- Arrays 17 müssen in diesem Fall nicht einzeln ansteuerbar bzw. schaltbar sein.
Selbstverständlich ist es auch möglich, die Beleuchtungselemente einzeln oder gruppenweise anzusteuern und zu verschiedenen Beleuchtungsmustern zu schalten. Dabei wird ein erster Teil der Beleuchtungselemente Licht abstrahlend und mindestens ein zweiter Teil der Beleuchtungselemente kein Licht abstrahlend oder Licht einer anderen Farbe abstrahlend oder Licht in einer anderen Polarisation abstrahlend geschaltet. Im Falle der Erzeugung stochastischer Beleuchtungsmuster in Fig. 4 wird der erste Teil der Beleuchtungselemente für jedes Beleuch- tungsmuster 3 stochastisch ausgewählt. Der zweite Teil der Beleuchtungselemente strahlt kein Licht ab. Um ein qualitatives gutes Übersichtkontrastbild erzeugen zu können, werden relativ viele Übersichtsrohbilder benötigt, so dass für die Aufnahme der Übersichtsrohbilder in der Regel mehrere Sekunden benötigt werden. Diese Zeit kann verkürzt werden, indem der zweite Teil der Beleuchtungselemente nicht abgeschaltet wird, sondern Licht einer anderen Farbe ab- strahlt, so dass zwei Übersichtsrohbilder gleichzeitig aufgenommen werden, die anschließend nach Farben separiert werden.
Übersichtskontrastbilder lassen sich sowohl in einem Dunkelfeldmodus als auch in einem Hellfeldmodus erzeugen, in Abhängigkeit vom Verrechnungsalgorithmus, der hier beispielsweise auf einer 7op-/-/af-Transformation für ein Hellfeldkontrastbild oder auf einer Black-Hat- Transformation für ein Dunkelfeldkontrastbild, jeweils mit anschließender, pixelweiser Maximum-Projektion, basieren kann, wobei beide Transformationen gleichermaßen auf die Übersichtsrohbilder angewendet werden können, so dass man ein Übersichtskontrastbild sowohl im Hellfeldmodus als auch im Dunkelfeldmodus erzeugen kann. Bei dieser Art der Beleuchtung lassen sich Glaskanten, d.h. die Ränder des Probenträgers 1 , oder Deckgläser gut sichtbar machen, sie weisen einen hohen Kontrast im Gegensatz zu der eigentlichen Probe auf.
Während bei der Verwendung von stochastischen Beleuchtungsmustern relativ viele Bilder - in der Regel zwischen 30 und 50 - aufgenommen werden müssen, um zufriedenstellende Kon- traste im Übersichtskontrastbild zu erhalten, kommen andere Beleuchtungsmuster mit weit weniger Bildern aus. Solche Muster sind in Fig. 5 und Fig. 6 dargestellt, es handelt sich um schachbrettartige Muster. An- und ausgeschaltete Beleuchtungselemente - LED 16 - weisen dabei eine schachbrettartige Verteilung auf, der erste Teil der Beleuchtungselemente, die angeschaltet sind, entspricht dann beispielsweise den weißen Feldern des Schachbretts, der ausge- schaltete zweite Teil der LED 16 den schwarzen Feldern. Es werden zwei Übersichtsrohbilder benötigt, die mit zueinander komplementären, d.h. invertierten Beleuchtungsmustern erzeugt werden. Diese beiden Schachbrettmuster sind in Fig. 5 dargestellt. Der erste der Teil der Beleuchtungselemente wird von den angeschalteten LED 16 gebildet, und in jeder Zeile und jeder Spalte ist nur jede zweite LED 16 angeschaltet. Im rechten der beiden Beleuchtungsmuster sind dabei diejenigen LED 16 angeschaltet, die im linken Bild ausgeschaltet waren und umgekehrt. Das Beleuchtungsmuster kann dabei über das ganze LED-Array 17 ausgedehnt sein, oder nur über einen interessierenden Bereich des Probenträgers 1 , um die Gesamtmenge an Licht zu reduzieren und die Probe nicht unnötig zu belasten. Die schachbrettartige Beleuchtung lässt sich insbesondere zur Verwendung eines Übersichtskontrastbildes im Dunkelfeldmodus verwenden, als Verrechnungsalgorithmus wird hier insbesondere ein auf pixelweiser Projektion basierender Rangordnungsprojektionsalgorithmus in der Minimum-Projektion verwendet. Es werden nur zwei Übersichtrohbilder benötigt, und das Verfahren liefert sehr guten Kontrast, sowohl für den Probenträger 1 und Probenbereiche - beispielsweise die Glaskanten von Deck- gläsern - als auch für die Probe selbst.
Bei der Verwendung von Beleuchtungsmustern wie in Fig. 5 gezeigt, lassen sich LED-Arrays 17 mit einfarbigen LEDs verwenden, die beispielsweise weißes Licht oder Licht in einer der Grundfarben R, G, B abstrahlen; für die Detektion kann ein Flächendetektor verwendet werden, der farbig oder monochrom registriert.
Strahlt der erste Teil der Beleuchtungselemente Licht ab und der zweite Teil der Beleuchtungselemente kein Licht, so werden in dem in Fig. 5 gezeigten Fall zwei Übersichtsrohbilder zur Erzeugung eines Übersichtkontrastbildes benötigt, die nacheinander aufgenommen werden müssen. Die Übersichtsrohbilder lassen sich aber auch gleichzeitig mit einer Kamera aufnehmen und anschließend separieren, wenn alle Teile der Beleuchtungselemente Licht von einander paarweise verschiedener Polarisationen abstrahlen. Zur Erzeugung der schachbrettartigen Beleuchtungsmuster kann hier ein LED-Array 17 verwendet werden, welches entsprechend dem Muster mit komplementären Polarisationsfiltern, die einander in Zeilen und Spalten ab- wechseln, ausgestattet ist. Die Polarisationsfilter können auch schaltbar sein. Auf diese Weise können die beiden Übersichtsrohbilder mit einer Aufnahme erzeugt werden und müssen nur anschließend separiert werden, wozu die Polarisation ebenfalls detektiert werden muss.
Eine weitere Möglichkeit besteht darin, dass alle Teile der Beleuchtungselemente Licht vonein- ander paarweise verschiedener Farben abstrahlen, d.h. beispielsweise bei vier Teilen von Beleuchtungselementen, das jeder der Teile Licht in einer anderen Farbe abstrahlt. Dies ist in Fig. 6 wieder anhand eines schachbrettartigen Beleuchtungsmusters erläutert. Der erste Teil der Beleuchtungselemente umfasst hier blaue LED 18, die also Licht im blauen Wellenlängenbereich abstrahlen, während der zweite Teil der Beleuchtungselemente rote LED 19, d.h. im roten Wellenlängenbereich Licht abstrahlende LED, umfasst. Die beiden Gitter sind ineinander verschachtelt, so dass auf dem LED-Array 17 ein rot-blaues Schachbrett dargestellt ist. Der Probenträger 1 wird mit diesem Beleuchtungsmuster beleuchtet, und es wird eine Aufnahme gemacht, die bereits beide notwendigen Übersichtsrohbilder umfasst. Die einzelnen Übersichts- rohbilder erhält man, indem man die Aufnahme nach Farbkanälen separiert. Je nach Ausgestaltung der Kamera, d.h. nach Anzahl der Farbkanäle und der LED 13 des LED-Arrays 17 können auch drei oder mehr Muster miteinander verschachtelt werden, mit denen die Probe bzw. der Probenträger 1 gleichzeitig beleuchtet wird. Idealerweise sind dabei die LED 16 des LED-Arrays 17 und die Farbkanäle der für die Aufnahme verwendeten Kamera aufeinander abgestimmt, ohne weitere Maßnahmen stehen hier in der Regel die drei Grundfarbkanäle Rot, Grün und Blau zur Verfügung, da auch weißes Licht abstrahlende LED aus roten, grünen und blauen Sub-LEDs zusammengesetzt sind.
Anstelle eines Beleuchtungsmusters in Schachbrettform können auch andere Beleuchtungs- muster verwendet werden, bei denen der erste Teil der Beleuchtungselemente - und entsprechend der zweite und ggf. weitere Teile - eine regelmäßige Verteilung im Unterschied zur sto- chastischen Verteilung aufweist. Fig. 7 zeigt ein solches Beispiel, ein sogenanntes Kreuzmuster, bei dem vier verschiedene Beleuchtungsmuster erzeugt werden und entsprechend vier Übersichtsrohbilder benötigt werden. Gegenüber schachbrettartigen Beleuchtungsmustern ist der Kontrast hier leicht erhöht. Ebenfalls vier einzelne Übersichtsrohbilder werden bei der Verwendung von Halbpupillenmustern benötigt, wie sie in Fig. 8 dargestellt sind. Für die Erzeugung eines Übersichtsrohbildes wird das LED-Array 17 in zwei Hälften eingeteilt, der erste Teil der Beleuchtungselemente liegt dann in der einen Hälfte und der zweite Teil der Beleuchtungselemente, der ausgeschaltet ist, in der anderen Hälfte. Das zweite Übersichtsrohbild wird mit dazu komplementärer Verteilung aufgenommen, d.h. wenn zunächst der erste Teil der Beleuchtungselemente die linke Hälfte auf dem LED-Array 17 ausfüllt, so füllt er für das zweite Übersichtrohbild die rechte Hälfte aus. Zwei weitere Übersichtsrohbilder werden erzeugt, indem das LED-Array in eine obere und eine untere Hälfte eingeteilt wird, d.h. mit einer Teilungsrichtung senkrecht zur ersten Teilungsrichtung. Bei transparenten Probenträgern mit vertikalen Elemen- ten, insbesondere bei sogenannten Chamber Südes oder transparenten /Wu/f/'ive//-Platten lässt sich so ein hoher Kontrast erzielen. Das Übersichtskontrastbild wird vorzugsweise im Dunkelfeldmodus erzeugt, wozu ein auf pixelweiser Projektion basierender Verrechnungsalgorithmus, vorzugsweise ein Rangordnungsprojektions-Algorithmus verwendet wird. Dabei werden die Übersichtsrohbilder pixelweise verglichen und entsprechend einer Projektionsbedingung der Intensitätswert eines der Pixel für die entsprechende Position im Übersichtskontrastbild ausgewählt.
In einer weiteren Ausgestaltung des Verfahrens wird ausgenutzt, dass jede weißes Licht abstrahlende LED aus drei einzelnen, jeweils in den verschiedenen Grundfarben Rot, Grün und Blau Licht abstrahlenden, einander benachbarten Sub-LEDs gebildet wird. Unterschiedliche Beleuchtungen - die Beleuchtungsmuster können hier identisch sein - können hier durch die Beleuchtung aus verschiedenen Winkeln in den Grundfarben eingestellt werden. In diesem Fall wird ein Verrechnungsalgorithmus gewählt, mit dem ein Übersichtskontrastbild im Hellfeldmo- dus erzeugt wird.
Eine weitere Ausgestaltung des Verfahrens besteht darin, das Beleuchtungsmuster 3 nur in mindestens einem Ausschnitt des Arrays von Beleuchtungselementen zu erzeugen. Die unterschiedlichen Beleuchtungen werden dann durch abtastendes Verschieben des mindestens einen Ausschnitts auf dem Array erzeugt. Beleuchtungselemente außerhalb des mindestens einen Ausschnitts werden dabei so geschaltet, dass sie kein Licht abstrahlen. Dies ist in Fig. 9 am Beispiel des Schachbrettmusters dargestellt, aus dem hier ein kleiner Ausschnitt aus vier LEDs 1 6 ausgewählt wurde, der in eine Sequenz von Bildern bzw. Beleuchtungsmustern eine Zeile abtastet und dann zeilenweise über das LED-Array 17 verschoben wird. Im Vergleich mit dem im Zusammenhang mit Fig. 5 beschriebenen Schachbrettmuster werden hier mehr Übersichtrohbilder benötigt, der Kontrast ist vergleichbar in der Qualität. Vorteilhaft ist jedoch die Menge an Licht pro Zeit, welche durch das LED-Array 17 abgestrahlt wird, deutlich geringer als bei Verwendung der beiden vollen Muster. Die Hintergrundhelligkeit ist daher reduziert und es finden sich weniger störende Reflexe in den Übersichtrohbildern. Die für die Aufnahme der Übersichtrohbilder benötigte Zeit kann verringert werden, indem beispielsweise im Bild des Probenträgers 1 räumlich weit entfernte Bereiche gleichzeitig Ausschnitte mit Beleuchtungsmustern verschoben werden, und / oder in dem zu verschiebenden Ausschnitt Beleuchtungsmuster in verschiedenen Farben erzeugt werden, die getrennt registriert werden. Im Ausschnitt, der über das LED-Array 1 7 verschoben wird, können auch andere Muster erzeugt werden, beispielsweise können alle LED 16 bis auf eine eingeschaltet sein, so dass der Ausschnitt nur eine - ausgeschaltete - LED umfasst, dieser Ausschnitt wird dann verschoben. Eine andere Möglichkeit besteht darin, nur eine LED einzuschalten und alle anderen auszulassen, und diesen Ausschnitt über das Array zu verschieben und dabei die Übersichtsrohbilder aufzunehmen.
Als Verrechnungsalgorithmus bietet sich hier insbesondere ein Rangordnungsprojektions- Algorithmus an, insbesondere auch in der Minimum-Projektion, so dass man ein Übersichtskontrastbild im Dunkelfeldmodus erhält.
Generell kann es notwendig sein, den Hellfeldbereich auf der Kamera zu übersteuern, um ein gutes Dunkelfeldsignal für Dunkelfeldkontraste zu erhalten. Für eine anschließende Hellfeldaufnahme muss dann eventuell eine weitere Aufnahme ohne übersteuerten Hellfeldbereich durchgeführt werden. Eine andere Ausgestaltung des Verfahrens schließlich wird im Folgenden anhand der Fig. 10- 12 erläutert. Dabei werden unterschiedliche Beleuchtungen nicht mit verschiedenen Beleuchtungsmustern erzeugt, sondern indem zwischen zwei Aufnahmen der Probenträger 1 relativ zum Beleuchtungsmuster 3 lateral verschoben wird. In Bezug auf Fig. 1 entspricht das einer Verschiebung senkrecht zur optischen Achse. Dabei kann entweder der Probenträger 1 gegen das Beleuchtungsmuster 3 oder umgekehrt verschoben werden, es können aber auch beide gegeneinander verschoben werden. Meist ist eine Verschiebung des Probenträgers 1 allein einfacher zu realisieren, da dieser gewöhnlich auf einem in allen drei Raumrichtungen verfahr- baren Tisch montiert ist. Die LED 16 des LED-Arrays 17 werden in einem festen Muster, beispielsweise in einem regulären Gitter geschaltet. Zwischen zwei Übersichtsrohbildern wird das Beleuchtungsmuster 3 und / oder der Probenträger 1 in einer Ebene orthogonal zur optischen Achse der Kamera verschoben. In den Fig. 10-12 sind verschiedene Probenträger in jeweils vier verschiedenen Positionierungen des Beleuchtungsmusters 3 relativ zum Probenträger 1 dargestellt, realisiert mit dem LED-Array 17 und den LED 16. Als Probenträger in Fig. 10 wird eine Slide 20 mit Deckgläsern 21 verwendet, die sichtbar gemacht werden sollen, in Fig. 1 1 handelt es sich um eine /Wu/f/'ive//-Platte 22, deren Näpfchen 23 sichtbar gemacht werden sollen und in Fig. 12 handelt es sich bei den Probenträger um ein Chamber-Slide 24, deren Kammern 25 sichtbar gemacht werden sollen. Die Übersichtskontrastbilder sind in allen Fällen auf der rechten Seite der Figuren dargestellt. Übersichtskontrastbilder können hier sowohl im Hellfeld- als auch im Dunkelfeldmodus erzeugt werden. Im Falle eines Übersichtskontrastbildes im Dunkelfeldmodus wird als Verrechnungsalgorithmus die Minimum-Projektion als Spezialfall der Rangordnungsprojektion verwendet, im Falle eines Übersichtskontrastbildes im Hellfeldmodus kann eine Maximumsprojektion verwendet werden. Zum Ausgleich von Helligkeitsunterschieden kann hier wie auch in allen anderen Fällen, wo es notwendig erscheint, im Anschluss an die Verrechnung eine Shading-KorreWtur vorgenommen werden. Im Falle einer segmentierungsba- sierten Verrechnung kann die Shading-KorreWtur auch vor der Verrechnung der Übersichtrohbilder vorgenommen werden. Aufgrund der relativen Bewegung zwischen den Aufnahmen der Übersichtsrohbilder muss für die korrekte Anwendung des Verrechnungsalgorithmus bekannt sein, wie sich der Probenträger bzw. das Beleuchtungsmuster 1 im Bild bewegt. Dazu ist eine Kalibrierung der Kamera bzw. der Detektionsoptik 2 relativ zum Probenträger 1 bzw. zu einem Tisch, auf dem er montiert ist, notwendig, um die Probenträgerkoordinaten auf Bildkoordinaten abbilden zu können und umge- kehrt. Dazu wird anstelle des Probenträgers zunächst ein Kalibriermuster an gleicher Position verwendet bzw. auf dem Tisch eingespannt. Auf diese Weise lässt sich solch eine Abbildung - eine Homographie, d.h. eine Abbildung von einer zweidimensionalen Ebene auf eine zweidimensionale Ebene im Raum - schätzen. Selbstverständlich ist es auch möglich, auf eine Kalibrierung zu verzichten, wenn die Relativbewegung per Bildanalyse oder mittels eines gesonder- ten Messsystems festgestellt werden kann, oder aber eine Eichung basierend auf Objektivparametern und Abständen vorab vorzunehmen.
Die mit statischen Beleuchtungsmustern bestimmten Übersichtskontrastbilder liefern qualitativ den besten Kontrast, insbesondere bei der Verwendung von LED, da bei den dynamischen Mustern, bei denen sich also die Muster ändern, die ausgeschalteten LED ein recht starkes Hintergrundsignal aufgrund von Rückreflexion am Probenträger liefern können. Mittels entsprechender Bildverarbeitungsalgorithmen, beispielsweise mit Deep-Z-earn/ng-Algorithmen, lassen sich diese Artefakte jedoch bei der Auswertung eliminieren, d.h. sie werden nicht berücksichtigt.
Eine weitere Möglichkeit der Verwendung von statischen Mustern zur Erzeugung unterschiedlicher Beleuchtungen, ohne die Probe bzw. den Probenträger 1 relativ zum Beleuchtungsmuster lateral zu verschieben, besteht darin, ein Übersichtskontrastbild aus mehreren Aufnahmen, die mit verschiedenen Belichtungen vorgenommen wurden, nach Art einer HDR-Aufnahme (HDR - High Dynamic Range) zusammenzusetzen. Aus beispielsweise drei Übersichtrohbildern, die mit verschiedenen Belichtungen aufgenommen werden, lässt sich ein Übersichtskontrastbild als HDR-Bild zusammensetzen.
Dabei kann bei der Berechnung des Übersichtskontrastbildes zusätzlich die Position der Be- leuchtungselemente im Hinblick auf die Probe bzw. den Probenträger berücksichtigt werden, wie im Zusammenhang mit Fig. 3 erläutert. Beleuchtet das Beleuchtungselement direkt den Probenträger bzw. die Probe, so werden Hellfeldinformationen genutzt, ansonsten Dunkelfeldinformationen. Damit ist das Übersichtskontrastbild eine Mischung aus Hell- und Dunkelfeldkontrasten ist.
Das oben im Zusammenhang mit der Kalibrierung der Relativbewegung beschriebene Kalibriermuster kann außerdem dazu verwendet werden, eine Korrektur geometrischer Verzeichnungen im Bild vorzunehmen, die bei jedem Übersichtskontrastbild angewendet wird. Außerdem lassen sich auch Hintergrundartefakte nach der Verrechnung herausrechnen.
Im Anschluss an die Erzeugung der Übersichtskontrastbilder werden diese automatisch mittels eines Bildauswertungsalgorithmus analysiert, vorzugsweise mit einem auf deep learning basierenden Algorithmus unter Verwendung neuronaler Netzwerke. Beispielsweise wird die Art des Probenträgertyps erkannt, der Probenträger kann auch im Bild lokalisiert werden. Weist der Probenträger eine Beschriftung auf, so kann diese ebenfalls aus dem Kontrastbild bestimmt werden. Gleiches gilt für die Probe bzw. Bereiche auf dem Träger, wie beispielsweise Näpfchen, welche Proben enthalten können. Mittels der Erkennung von Luftblasen oder anderen Artefakten durch entsprechende Bildauswertungsalgorithmen lässt sich insbesondere bei Probenträgern, die mehrere Proben in getrennten Behältnissen umfassen, die Untersuchungszeit, die für den Probenträger verwendet wird, verkürzen, wenn dort solche Artefakte vorhanden sind. Schließlich lässt sich mittels der Bildauswertung des Übersichtskontrastbildes im Falle einer Immersionsflüssigkeit auch das Volumen und die Form eines Immersionstropfens erkennen, sowie lassen sich Rückschlüsse auf Verschmutzungen in der Immersionsflüssigkeit zie- hen.
Diese Informationen können bei einem Betrachter bzw. Benutzer am PC vorzugweise mittels graphischer Mittel angezeigt werden, so dass der Benutzer sein weiteres Vorgehen an die Ergebnisse der Analyse des Übersichtskontrastbildes anpassen kann. Während es bei der Bedie- nung durch einen Benutzer unter Umständen auch ausreichend sein kann, diesem allein das Übersichtskontrastbild zu präsentieren, können die mittels der Bildauswertung gewonnenen Informationen insbesondere auch für die automatische Steuerung von Probenuntersuchungen mit dem verwendeten Mikroskop verwendet werden. Das für den Nutzer bereit gestellte Übersichtskontrastbild kann die Steuerung zur Navigation auf der Probe verwenden, um die weiteren Untersuchungen vorzubereiten. Die Informationen des Übersichtskontrastbildes, die mittels der Bildverarbeitungsalgorithmen extrahiert werden, können aber auch eine robuste nachfolgende Verarbeitung ermöglichen, welche beispielsweise automatisch relevante Strukturen des Probenträgers - wie beispielsweise der Gläser - oder auch relevante Strukturen der Proben auf dem Probenträger - wie beispielsweise Gewebeschnitte, Organismen oder Zellen - erkennt und lokalisiert, beispielsweise um eine vollautomatische Grobpositionierung der Probe in allen drei Raumrichtungen einzustellen. Schließlich erlauben die extrahierten Bildinformationen auch eine robustere, schnellere und effizientere automatische Mikroskopie - beispielsweise High- Throughput-M\WrosWop\e - mit geringerem Datenvolumen und kürzeren Aufnahmezeiten beim automatischen Ausschluss von Fehlstellen.
Bezuqszeichenliste
1 Probenträger
5 2 Detektionsoptik
3 Beleuchtungsmuster
4 Flächendetektor
5 Verrechnungseinheit
6 Bildauswertungseinheit
10 7 Kontrolleinheit
8 LED-Array
9 Umlenkspiegel
10 Strahlteiler
1 1 Linse
15 12 Okular
13 LED
14 erster Feldbereich
15 zweiter Feldbereich
16 LED
20 17 LED-Array
18 blaue LED
19 rote LED
20 Slide
21 Deckglas
25 22 M//f we//-Platte
23 Näpfchen
24 Chamber Slide
25 Kammer
30

Claims

Patentansprüche
1 . Verfahren zur Erzeugung und Analyse eines Übersichtskontrastbildes eines Probenträgers (1 ) und / oder auf einem Probenträger (1 ) angeordneter Proben, bei dem
ein mindestens teilweise im Fokus einer Detektionsoptik (2) angeordneter Probenträger (1 ) im Durchlicht mit einem zweidimensionalen, arrayförmigen Beleuchtungsmuster (3) beleuchtet wird,
mindestens zwei Übersichtsrohbilder mit unterschiedlichen Beleuchtungen des Probenträgers (1 ) detektiert werden,
in Abhängigkeit von aus dem Übersichtskontrastbild zu extrahierenden Informationen ein Verrechnungsalgorithmus ausgewählt wird, mittels dessen die mindestens zwei Übersichtsrohbilder zum Übersichtskontrastbild verrechnet werden,
in Abhängigkeit von aus dem Übersichtskontrastbild zu extrahierenden Informationen ein Bildauswertungsalgorithmus ausgewählt wird, mittels dessen die Informationen aus dem Übersichtskontrastbild extrahiert werden.
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass zur Erzeugung von Beleuchtungsmustern ein Array bevorzugt gleich großer Beleuchtungselemente verwendet wird, wobei die einzelnen Beleuchtungselemente in den mindestens zwei Übersichtsrohbildern jeweils voneinander unterscheidbar sind.
3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass als Beleuchtungselemente LED, OLED, Lichtleitfasern, Elemente eines beleuchteten DMD oder eines SLM verwendet werden.
4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die unterschiedlichen Beleuchtungen erzeugt werden, indem zwischen zwei Aufnahmen der Probenträger (1 ) relativ zum Beleuchtungsmuster (3) lateral verschoben wird oder unterschiedliche Belichtungszeiten für die Detektion verwendet werden.
5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass das Übersichtskontrastbild aus Einzelkontrastbildern, die jeweils verschiedene Bereiche des Probenträgers (1 ) und / oder der Probe zeigen, zusammengesetzt wird.
6. Verfahren nach einem der Ansprüche 2 oder 3, dadurch gekennzeichnet, dass die unterschiedlichen Beleuchtungen durch unterschiedliche Beleuchtungsmuster (3), die in Ab- hängigkeit von den zu extrahierenden Informationen ausgewählt werden, erzeugt werden.
7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass zur Erzeugung unterschiedlicher Beleuchtungsmuster (3) die Beleuchtungselemente einzeln oder gruppenweise angesteuert und zu verschiedenen Beleuchtungsmustern (3) geschaltet werden, wobei ein erster Teil der Beleuchtungselemente Licht abstrahlend und mindestens ein zweiter Teil der Beleuchtungselemente kein Licht oder Licht einer anderen Farbe oder Licht einer anderen Polarisation abstrahlend geschaltet wird.
8. Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass unterschiedliche Beleuchtungsmuster (3) erzeugt werden, indem
a. der erste Teil der Beleuchtungselemente für jedes Beleuchtungsmuster (3) stochastisch ausgewählt wird, oder
b. der erste Teil der Beleuchtungselemente eine schachbrettartige oder eine andere regelmäßige Verteilung, vorzugsweise eine kreuzförmige Verteilung oder Halbpupillenverteilung im Array aufweist.
9. Verfahren nach Anspruch 8, Alternative b, bei dem der zweite Teil der Beleuchtungselemente kein Licht abstrahlt, dadurch gekennzeichnet, dass mindestens zwei Übersichtsrohbilder mit zueinander komplementären Beleuchtungsmustern (3) aufgenommen werden.
10. Verfahren nach Anspruch 8, Alternative b, bei dem alle Teile der Beleuchtungselemente Licht voneinander paarweise verschiedener Farben oder Polarisationen abstrahlen, dadurch gekennzeichnet, dass eine der Anzahl von Teilen entsprechende Anzahl von Übersichtsrohbildern gleichzeitig in einem Bild aufgenommen und anschließend nach Farbkanälen bzw. Polarisation separiert wird.
1 1. Verfahren nach Anspruch 6 oder 7, bei dem als Beleuchtungselemente LED (16) oder OLED verwendet werden, dadurch gekennzeichnet, dass stochastische Beleuchtungsmuster erzeugt werden, indem pulsweitenmodulierte Beleuchtungselemente verwendet werden, deren Pulsweite länger als die Integrationszeit einer Detektoreinheit zur Aufnahme der Übersichtsrohbilder gewählt wird.
12. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass das Beleuchtungsmuster (3) nur in mindestens einem Ausschnitt des Arrays von Beleuchtungselementen erzeugt wird, und die unterschiedlichen Beleuchtungen durch abtastendes Verschieben des mindestens einen Ausschnitts auf dem Array erzeugt werden, wobei die Beleuchtungsele- mente außerhalb des mindestens einen Ausschnitts kein Licht abstrahlend geschaltet werden.
13. Verfahren nach Anspruch 6, bei dem die Beleuchtungselemente als LED (16) ausgestaltet sind, dadurch gekennzeichnet, dass eine LED (16) aus drei einzelnen, jeweils in verschiedenen Grundfarben Rot, Grün und Blau Licht abstrahlenden, einander benachbarten Sub-LEDs gebildet wird, und unterschiedliche Beleuchtungen durch die Beleuchtung aus verschiedenen Winkeln in den Grundfarben eingestellt werden.
14. Verfahren nach einem der Ansprüche 1 bis 13, dadurch gekennzeichnet, dass in Abhängigkeit von der Wahl des Beleuchtungsverfahrens ein Verrechnungsalgorithmus zur Erzeugung eines Übersichtskontrastbildes in einem Dunkelfeld- oder Hellfeldmodus ausgewählt wird.
15. Verfahren nach Anspruch 14, dadurch gekennzeichnet, dass
- der Verrechnungsalgorithmus auf pixelweiser Projektion basiert, vorzugsweise auf einer Rangordnungsprojektion oder auf einer Projektion statistischer Momente, wobei zur Erzeugung des Übersichtskontrastbildes aus einem Stapel von mindestens zwei Übersichtsrohbildern die Übersichtsrohbilder pixelweise verglichen und entsprechend einer Projektionsbedingung der Intensitätswert eines der Pixel für die entsprechende Position im Übersichtskontrastbild ausgewählt wird, oder.
- der Verrechnungsalgorithmus auf morphologischen Operationen mit anschließender pixelweiser Projektion, bevorzugt auf einer Top-Hat- oder ß/ac/(-/-/af-Transformation mit anschließender pixelweiser Maximums-Projektion basiert, oder
- ein segmentierungs-basierter Verrechnungsalgorithmus ausgewählt wird, bei dem für jedes Pixel eines Übersichtsrohbildes zunächst bestimmt wird, ob dieses direkt von einem Beleuchtungselement mit Licht bestrahlt wurde, und zur Erzeugung eines Übersichtskontrastbildes im Dunkelfeldkontrastmodus diese nicht berücksichtigt werden.
16. Verfahren nach einem der Ansprüche 2 bis 15, dadurch gekennzeichnet, dass zur Korrektur von geometrischen Verzeichnungen vor der Aufnahme von Übersichtsrohbildern eine Kalibrierung mittels der Aufnahme und Auswertung eines Kalibriermusters vorgenommen wird, wobei das Kalibriermuster bevorzugt mit den Beleuchtungselementen des Arrays erzeugt wird.
17. Verfahren nach einem der Ansprüche 1 bis 16, dadurch gekennzeichnet, dass aus dem Übersichtskontrastbild vor der Auswertung störende Hintergrundsignale entfernt werden.
18. Verfahren zur Erzeugung und Analyse eines Übersichtskontrastbildes eines Probenträgers (1 ) und / oder auf einem Probenträger (1 ) angeordneter Proben, bei dem
ein mindestens teilweise im Fokus einer Detektionsoptik (2) angeordneter Probenträger (1 ) im Durchlicht mit einem zweidimensionalen, arrayformigen Beleuchtungsmuster (3) beleuchtet wird,
wobei zwischen dem arrayformigen Beleuchtungsmuster (3) und dem Probenträger (1 ) eine Streuscheibe eingebracht oder eine dort angeordnete schaltbare Streuscheibe streuend geschaltet wird,
ein Übersichtskontrastbild in einem Hellfeldmodus detektiert wird,
in Abhängigkeit von aus dem Übersichtskontrastbild zu extrahierenden Informationen ein Bildauswertungsalgorithmus ausgewählt wird, mittels dessen die Informationen aus dem Übersichtskontrastbild extrahiert werden.
19. Verfahren nach einem der Ansprüche 1 bis 18, dadurch gekennzeichnet, dass als Bildverarbeitungsalgorithmus ein Machine-Learning- Algorithmus, insbesondere ein Deep- /.earn/ng-Algorithmus ausgewählt wird, welcher bevorzugt anhand von Übersichtskontrastbildern mit bekannten Informationen trainiert wird.
20. Verfahren nach Anspruch 19, dadurch gekennzeichnet, dass
- zur Erkennung eines Typs des Probenträgers (1 ) ein auf einem Convolutional Neural Network basierender Deep-Z-earn/ng-Algorithmus verwendet wird,
- zur Lokalisierung von Strukturen des Probenträgers (1 ) oder der Probe eine semantische Segmentierung vorgenommen wird, bevorzugt mit einem auf einem Fully Convolutional Network basierenden Deep-Z-earn/ng-Algorithmus.
PCT/EP2018/062483 2017-05-30 2018-05-15 Verfahren zur erzeugung und analyse eines üebersichtskontrastbildes WO2018219632A1 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201880036369.4A CN110692006A (zh) 2017-05-30 2018-05-15 用于生成和分析概览对比度图像的方法
JP2019565510A JP7153418B2 (ja) 2017-05-30 2018-05-15 オーバビューコントラスト画像を生成及び解析する方法
US16/618,773 US11307398B2 (en) 2017-05-30 2018-05-15 Method for generating and analyzing an overview contrast image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102017111718.0 2017-05-30
DE102017111718.0A DE102017111718A1 (de) 2017-05-30 2017-05-30 Verfahren zur Erzeugung und Analyse eines Übersichtskontrastbildes

Publications (1)

Publication Number Publication Date
WO2018219632A1 true WO2018219632A1 (de) 2018-12-06

Family

ID=62455436

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2018/062483 WO2018219632A1 (de) 2017-05-30 2018-05-15 Verfahren zur erzeugung und analyse eines üebersichtskontrastbildes

Country Status (5)

Country Link
US (1) US11307398B2 (de)
JP (1) JP7153418B2 (de)
CN (1) CN110692006A (de)
DE (1) DE102017111718A1 (de)
WO (1) WO2018219632A1 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111352227A (zh) * 2018-12-20 2020-06-30 卡尔蔡司显微镜有限公司 显微镜***中样本平面的距离确定
CN113139894A (zh) * 2020-01-20 2021-07-20 卡尔蔡司显微镜有限责任公司 显微镜和确定显微镜的测量位置的方法

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI699816B (zh) * 2017-12-26 2020-07-21 雲象科技股份有限公司 自動化顯微鏡系統之控制方法、顯微鏡系統及電腦可讀取記錄媒體
US10694113B1 (en) * 2019-05-01 2020-06-23 Xiris Automation Inc. Dark field illumination for laser beam delivery system
DE102019114117B3 (de) 2019-05-27 2020-08-20 Carl Zeiss Microscopy Gmbh Automatische Workflows basierend auf einer Erkennung von Kalibrierproben
DE102019129932B4 (de) * 2019-11-06 2023-12-21 Technische Universität Braunschweig Optische Detektionseinrichtung und Verfahren zum Betreiben einer optischen Detektionseinrichtung
DE102020101572A1 (de) 2020-01-23 2021-07-29 Carl Zeiss Meditec Ag Mikroskop
DE102020101571A1 (de) 2020-01-23 2021-07-29 Carl Zeiss Meditec Ag Mikroskop
CN113570650B (zh) * 2020-04-28 2024-02-02 合肥美亚光电技术股份有限公司 景深的判断方法、装置、电子设备和存储介质
US11689821B2 (en) * 2020-08-07 2023-06-27 The Government Of The United States Of America, As Represented By The Secretary Of The Navy Incoherent Fourier ptychographic super-resolution imaging system with priors
DE102020210592A1 (de) 2020-08-20 2022-02-24 Carl Zeiss Microscopy Gmbh Verfahren und Mikroskop zum Erzeugen einer artefaktreduzierten Übersichtsaufnahme eines Probenträgers
EP3958036A1 (de) 2020-08-20 2022-02-23 Carl Zeiss Microscopy GmbH Verfahren und vorrichtung zum erzeugen eines übersichtskontrastbildes eines probenträgers in einem mikroskop
DE102020123505A1 (de) 2020-09-09 2022-03-10 Carl Zeiss Microscopy Gmbh Mikroskopiesystem und verfahren zum erzeugen eines übersichtsbildes
DE102020123504A1 (de) 2020-09-09 2022-03-10 Carl Zeiss Microscopy Gmbh Mikroskopiesystem und verfahren zum erzeugen eines hdr-bildes
DE102020124416A1 (de) 2020-09-18 2022-03-24 Carl Zeiss Microscopy Gmbh Mikroskopiesystem, verfahren und computerprogramm zum ausrichten eines probenträgers
DE102020126522A1 (de) 2020-10-09 2022-04-14 Carl Zeiss Microscopy Gmbh Mikroskopiesystem und verfahren zur übersichtsbildauswertung
DE102020126598A1 (de) 2020-10-09 2022-04-14 Carl Zeiss Microscopy Gmbh Mikroskopiesystem und verfahren zur verifizierung eines trainierten bildverarbeitungsmodells
DE102020126602A1 (de) 2020-10-09 2022-04-14 Carl Zeiss Microscopy Gmbh Mikroskopiesystem und verfahren zur bildsegmentierung
DE102020126610A1 (de) 2020-10-09 2022-04-14 Carl Zeiss Microscopy Gmbh Mikroskopiesystem und verfahren zum erzeugen von trainingsdaten
DE202020005560U1 (de) 2020-10-12 2021-09-02 Carl Zeiss Microscopy Gmbh Kalibrierplatte und Mikroskop zum Erzeugen eines Übersichtsbildes einer Probe
DE102020126737A1 (de) 2020-10-12 2022-04-14 Carl Zeiss Microscopy Gmbh Verfahren und Mikroskop zum Erzeugen eines Übersichtsbildes einer Probe
US11610404B2 (en) * 2020-10-15 2023-03-21 Airamatrix Private Limited Methods and systems for tracking the location of a petri-dish
DE102021114038A1 (de) 2021-05-31 2022-12-01 Carl Zeiss Microscopy Gmbh Mikroskopiesystem und Verfahren zum Überwachen von Mikroskopvorgängen
CN113554632A (zh) * 2021-07-30 2021-10-26 沭阳天勤工具有限公司 基于人工智能的浑浊水体中工件检测优化方法
DE102022102219A1 (de) 2022-01-31 2023-08-03 Carl Zeiss Microscopy Gmbh Mikroskopiesystem und Verfahren zum Bearbeiten von Übersichtsbildern
DE102022201258A1 (de) 2022-02-07 2023-08-10 Carl Zeiss Microscopy Gmbh Verfahren zur Separierung von Objekten
DE102022106435A1 (de) 2022-03-18 2023-09-21 Carl Zeiss Microscopy Gmbh Mikroskopiesystem und Verfahren zum Bestimmen einer Orientierung eines Probenträgers
DE102022206025A1 (de) 2022-06-14 2023-12-14 Carl Zeiss Microscopy Gmbh Populationsklassifikation mittels Punktwolken-Merkmalen
DE102022209113A1 (de) 2022-09-01 2024-03-07 Carl Zeiss Microscopy Gmbh Training von instanzsegmentierungsalgorithmen mit partiell annotierten bildern

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015179452A1 (en) * 2014-05-19 2015-11-26 The Regents Of The University Of California Fourier ptychographic microscopy with multiplexed illumination
WO2016090331A1 (en) * 2014-12-04 2016-06-09 California Institute Of Technology Multiplexed fourier ptychography imaging systems and methods
US20160202460A1 (en) * 2015-01-13 2016-07-14 University Of Connecticut 3D Microscopy With Illumination Engineering
US20160216208A1 (en) * 2015-01-26 2016-07-28 California Institute Of Technology Multi-well fourier ptychographic and fluorescence imaging

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7438423B2 (en) * 2005-08-29 2008-10-21 3M Innovative Properties Company Illumination system and projection system incorporating same
JP2011004638A (ja) 2009-06-24 2011-01-13 Nikon Corp 受精卵観察の画像処理方法、画像処理プログラム及び画像処理装置
US8773526B2 (en) * 2010-12-17 2014-07-08 Mitutoyo Corporation Edge detection using structured illumination
EP2656133B1 (de) * 2010-12-24 2018-04-11 Huron Technologies International Inc. Krankheits-gleitscanner
DE102011114336A1 (de) * 2011-09-23 2013-03-28 Carl Zeiss Microscopy Gmbh Vorrichtung und Verfahren zur Durchlichtbeleuchtung für Lichtmikroskope und Mikroskopsystem
JP6219214B2 (ja) 2014-03-31 2017-10-25 富士フイルム株式会社 細胞撮像制御装置および方法並びにプログラム
DE102014110302B3 (de) 2014-07-22 2015-09-03 Carl Zeiss Ag Verfahren und Vorrichtung zum Abbilden eines Objekts
JP6357245B2 (ja) 2014-10-20 2018-07-11 株式会社日立製作所 光学分析装置及び生体分子解析装置
US10705326B2 (en) * 2015-11-11 2020-07-07 Scopio Labs Ltd. Autofocus system for a computational microscope
WO2018078448A1 (en) * 2016-10-27 2018-05-03 Scopio Labs Ltd. Methods and systems for diagnostic platform
US11650405B2 (en) * 2019-11-15 2023-05-16 Scopio Labs Ltd. Microscope and method for computational microscopic layer separation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015179452A1 (en) * 2014-05-19 2015-11-26 The Regents Of The University Of California Fourier ptychographic microscopy with multiplexed illumination
WO2016090331A1 (en) * 2014-12-04 2016-06-09 California Institute Of Technology Multiplexed fourier ptychography imaging systems and methods
US20160202460A1 (en) * 2015-01-13 2016-07-14 University Of Connecticut 3D Microscopy With Illumination Engineering
US20160216208A1 (en) * 2015-01-26 2016-07-28 California Institute Of Technology Multi-well fourier ptychographic and fluorescence imaging

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
"Fundamentals of Digital Image Processing: A Practical Approach with Examples in MATLAB", 5 July 2011, JOHN WILEY & SONS, article CHRIS SOLOMON: "The Top-Hat Transformation", XP055499264 *
ARMIN KAPPELER: "Deep Neural Networks with Applications in Image and Video Classification and Recovery", 4 October 2016 (2016-10-04), XP055498915, Retrieved from the Internet <URL:https://search.proquest.com/docview/1826358023> [retrieved on 20180810] *
CRUZ-ROA ANGEL ALFONSO ET AL: "A Deep Learning Architecture for Image Representation, Visual Interpretability and Automated Basal-Cell Carcinoma Cancer Detection", MEDICAL IMAGE COMPUTING AND COMPUTER-ASSISTED INTERVENTION - MICCAI 2015 : 18TH INTERNATIONAL CONFERENCE, MUNICH, GERMANY, OCTOBER 5-9, 2015; PROCEEDINGS; [LECTURE NOTES IN COMPUTER SCIENCE; LECT.NOTES COMPUTER], SPRINGER INTERNATIONAL PUBLISHING, CH, vol. 8150 Chap.50, no. 558, 22 September 2013 (2013-09-22), pages 403 - 410, XP047042102, ISSN: 0302-9743, ISBN: 978-3-540-70543-7 *
GUO KAIKAI ET AL: "Fourier Ptychography for Brightfield, Phase, Darkfield, Reflective, Multi-Slice, and Fluorescence Imaging", IEEE JOURNAL OF SELECTED TOPICS IN QUANTUM ELECTRONICS, IEEE SERVICE CENTER, PISCATAWAY, NJ, US, vol. 22, no. 4, 1 December 2015 (2015-12-01), pages 1 - 12, XP011603991, ISSN: 1077-260X, [retrieved on 20160322], DOI: 10.1109/JSTQE.2015.2504514 *
JIASONG SUN ET AL: "Efficient positional misalignment correction method for Fourier ptychographic microscopy", BIOMEDICAL OPTICS EXPRESS, vol. 7, no. 4, 17 March 2016 (2016-03-17), United States, pages 1336, XP055498819, ISSN: 2156-7085, DOI: 10.1364/BOE.7.001336 *
KENICHIRO TANAKA ET AL: "Descattering of transmissive observation using Parallel High-Frequency Illumination", COMPUTATIONAL PHOTOGRAPHY (ICCP), 2013 IEEE INTERNATIONAL CONFERENCE ON, IEEE, 19 April 2013 (2013-04-19), pages 1 - 8, XP032424248, ISBN: 978-1-4673-6463-8, DOI: 10.1109/ICCPHOT.2013.6528300 *
MICHAEL V D'AMBROSIO ET AL: "Point-of-care quantification of blood-borne filarial parasites with a mobile phone microscope", SCIENCE TRANSLATIONAL MEDICINE, 6 May 2015 (2015-05-06), United States, pages 286re4 - 286re4, XP055500911, Retrieved from the Internet <URL:http://stm.sciencemag.org/content/scitransmed/7/286/286re4.full.pdf> [retrieved on 20180821], DOI: 10.1126/scitranslmed.aaa3480 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111352227A (zh) * 2018-12-20 2020-06-30 卡尔蔡司显微镜有限公司 显微镜***中样本平面的距离确定
JP2020101799A (ja) * 2018-12-20 2020-07-02 カール ツァイス マイクロスコピー ゲーエムベーハーＣａｒｌ Ｚｅｉｓｓ Ｍｉｃｒｏｓｃｏｐｙ Ｇｍｂｈ 顕微鏡システムにおけるサンプル面の距離判定
JP7118042B2 (ja) 2018-12-20 2022-08-15 カール ツァイス マイクロスコピー ゲーエムベーハー 距離判定システム、コンピュータ実装方法、及び、コンピュータ・プログラム製品
CN113139894A (zh) * 2020-01-20 2021-07-20 卡尔蔡司显微镜有限责任公司 显微镜和确定显微镜的测量位置的方法
JP2021113805A (ja) * 2020-01-20 2021-08-05 カール ツァイス マイクロスコピー ゲーエムベーハーCarl Zeiss Microscopy Gmbh 顕微鏡および顕微鏡の測定位置を決定する方法
JP7153258B2 (ja) 2020-01-20 2022-10-14 カール ツァイス マイクロスコピー ゲーエムベーハー 顕微鏡および顕微鏡の測定位置を決定する方法
US11830215B2 (en) 2020-01-20 2023-11-28 Carl Zeiss Microscopy Gmbh Microscope and method for determining a measuring location of a microscope

Also Published As

Publication number Publication date
JP7153418B2 (ja) 2022-10-14
CN110692006A (zh) 2020-01-14
US11307398B2 (en) 2022-04-19
DE102017111718A1 (de) 2018-12-06
US20200088984A1 (en) 2020-03-19
JP2020522016A (ja) 2020-07-27

Similar Documents

Publication Publication Date Title
WO2018219632A1 (de) Verfahren zur erzeugung und analyse eines üebersichtskontrastbildes
DE102016214080A1 (de) Bildinspektionseinrichtung, Bildinspektionsverfahren und Bildinspektionsprogramm
EP2195697B1 (de) Verfahren zur untersuchung einer probe
DE60226043T2 (de) Verfahren für quantitative video-mikroskopie und vorrichtung und programm zur durchführung des verfahrens
EP1248947B1 (de) Verfahren und vorrichtung zur charakterisierung einer kulturflüssigkeit
DE102014206309B4 (de) System und Verfahren zum Erhalten von Bildern mit Versatz zur Verwendung für verbesserte Kantenauflösung
DE102012022603B3 (de) Vorrichtung und Verfahren zur Mikroskopie einer Vielzahl von Proben
DE102008049886A1 (de) Vorrichtung, insbesondere ein Mikroskop, zur Untersuchung von Proben
WO2016005571A1 (de) Positionsbestimmung eines objekts im strahlengang einer optischen vorrichtung
DE102019114012A1 (de) Mikroskopieverfahren, Mikroskop und Computerprogramm mit Verifikationsalgorithmus für Bildverarbeitungsergebnisse
WO2017055405A1 (de) Hochauflösende scanning-mikroskopie mit der unterscheidung mindestens zweier spektralbereiche
DE60014188T2 (de) Verfahren zum screening von chemischen verbindungen
EP3452858B1 (de) Artefaktreduktion bei der winkelselektiven beleuchtung
DE102014107933B4 (de) Verfahren zur mikroskopischen Abbildung von Proben an Böden von mit Fluid befüllten Töpfchen einer Mikrotiterplatte
DE102010036709A1 (de) Einrichtung und Verfahren zur mikroskopischen Bildaufnahme einer Probenstruktur
EP3575848A1 (de) Analyzer zur dreidimensionalen analyse einer medizinischen probe mittels einer lichtfeldkamera
DE102011084309A1 (de) Präzisions-Bildverarbeitungs-Inspektionsverfahren für Lötstopplack-Passgenauigkeit
WO2017191009A2 (de) Winkelselektive beleuchtung
EP1153328A1 (de) Verfahren zum auffinden, zur aufnahme und gegebenenfalls zur auswertung von objektstrukturen
EP2803978A1 (de) Verfahren zur 3D-hochauflösenden Lokalisierungsmikroskopie
DE19918689C2 (de) Vorrichtung zur dreidimensionalen konfocalen optischen Untersuchung eines Objektes mit Beleuchtung durch eine Lochplatte
DE102019208114B4 (de) Vorrichtung und Verfahren zur 3D Vermessung von Objektkoordinaten
EP3608701A1 (de) Verfahren zur bereitstellung wenigstens einer auswertemethode für proben
EP3988989B1 (de) Verfahren und mikroskop mit einer einrichtung zum erfassen von verlagerungen einer probe gegenüber einem objektiv
WO2017191121A1 (de) Mikroskop und verfahren zum lokalisieren fluoreszenter moleküle in drei raumdimensionen

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18728050

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019565510

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18728050

Country of ref document: EP

Kind code of ref document: A1