WO2013050467A1 - Mikroskopsystem und verfahren zur aufnahme von multikanalbildern - Google Patents

Mikroskopsystem und verfahren zur aufnahme von multikanalbildern Download PDF

Info

Publication number
WO2013050467A1
WO2013050467A1 PCT/EP2012/069617 EP2012069617W WO2013050467A1 WO 2013050467 A1 WO2013050467 A1 WO 2013050467A1 EP 2012069617 W EP2012069617 W EP 2012069617W WO 2013050467 A1 WO2013050467 A1 WO 2013050467A1
Authority
WO
WIPO (PCT)
Prior art keywords
sensor
image
microscope system
images
microscope
Prior art date
Application number
PCT/EP2012/069617
Other languages
English (en)
French (fr)
Inventor
Sebastian Tille
Original Assignee
Leica Microsystems Cms Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Leica Microsystems Cms Gmbh filed Critical Leica Microsystems Cms Gmbh
Publication of WO2013050467A1 publication Critical patent/WO2013050467A1/de

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/16—Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes

Definitions

  • the present invention relates to a microscope system comprising a microscope and a digital camera for displaying a multi-channel image, which represents a suitable superimposition of a plurality of single-channel images, wherein the microscope has a camera port for connecting the camera, which in turn has an area sensor on which each individual channel image is associated with an associated sensor region, and a corresponding method as well as various applications of such USAGE ⁇ microscope system.
  • the object of the present invention is therefore to produce microscopic images from various individual images, in particular multifluorescence signal images from individual fluorescence signal images, using a camera with area sensor, wherein the abovementioned disadvantages of known solutions are to be avoided.
  • the stated object is achieved by a microscope system with a microscope and a digital camera for displaying a multi-channel image, which represents a suitable overlay ⁇ tion of several individual channel images
  • the microscope a camera port for connecting the camera on has, in turn, an area sensor, on which each individual channel image associated with an associated sensor area, wherein image acquisition parameters of a single ⁇ channel image associated sensor area are independent of the image acquisition parameters of the other sensor areas adjustable.
  • the invention relates to a corresponding procedural ⁇ ren for receiving a multi-channel image, and various uses of the microscope system according to the invention, as discussed in detail below.
  • multichannel image is understood to mean an image which is composed of several individual channel images.
  • Typical examples of such multi-channel images are multifocus images, multi or multiple fluorescence images or other types of multi-frequency images.
  • Multifocus images are composed of individual images taken from different focal planes of a microscope. For this purpose, the focus of the microscope is placed in different object planes with respect to the optical axis of the main object, so that in each case sharp
  • Multifrequency, in particular multi-fluorescence signal images represent images which arise from a superimposition of a plurality of individual frequency images recorded at different frequencies or wavelengths. As already mentioned, this type of imaging is important for fluorescence microscopy.
  • image acquisition parameters of each sensor region can be set independently of the other sensor regions.
  • the most important image acquisition parameter here can be the integration time.
  • the Integrati ⁇ onszeit with a digital camera corresponds dealing ⁇ linguistically the "exposure time”.
  • Further image acquisition parameters are one or more gains ("gain") as well as the characteristic curve of the image acquisition.
  • the characteristic curve is the relationship between this impinging on the sensor area light intensity and strength of the bring from the sensor area ⁇ added electrical signal (and thus brightness) and thus can be used to control the image recording.
  • CMOS complementary metal-oxide-semiconductor
  • sCMOS complementary metal-oxide-semiconductor
  • CMOS complementary metal-oxide-semiconductor
  • CCDs especially the aforementioned EMCCDs
  • EMCCDs image acquisition
  • sCMOS- image sensors on the market that have significantly better properties.
  • a typical sCMOS considered here has a 5.5 megapixel area sensor, with a pixel size of 6.5 pm, a read noise of ⁇ 2 electrons at 30 fps. This combination is the be ⁇ knew CCD image sensors, including the EMCCD image sensors, clearly superior.
  • sCMOS image sensors are offered by the companies ANDOR Technology, Fairchild Imaging or PCO AG.
  • the sCMOS must be retooled so that the image acquisition parameters of the sensor areas or sectors (typically two or four) located thereon are independently adjustable. As a rule, it is sufficient to make either the integration time or the gain (“Gain”) changeable.
  • each of these channels then being independent of gig is parameterizable from the other channels.
  • Each camera channel is thus assigned a single channel image.
  • an evaluation electronics are connected directly to the area sensor (sCMOS) for processing the image data.
  • sCMOS area sensor
  • the area sensor is designed such that image data can only be read out in one or more user-defined regions.
  • a user-defined region is expediently to a subarea ei ⁇ nes sensor region or sector, as it already exists on the professionnsen ⁇ sor. Defining such a region thus allows the definition of a particular region around a "region of interest”. Thereby to verar ⁇ beitende amount of image data is further reduced.
  • the use of beam splitter modules is particularly suitable that the jewei- ligen intended use are designed.
  • Various uses are discussed in detail below.
  • such a beam splitter module is differentially sensitive with regard to each individual channel image, that is to say that each individual channel image leaves the beam splitter module separately from the remaining individual channel images in order to be directed to corresponding sensor areas / sectors of the area sensor.
  • the design and operation of these beam splitter modules will be explained in more detail on the basis of the examples of use to be explained below.
  • the camera port is a standard interface on the microscope, here are different versions (typically: C-mount). In the case of an existing beam splitter module this is connected via the camera port to the microscope.
  • the function of the camera port is typically purely opto-mechanical; in principle, additional optical elements can also be accommodated in a camera port.
  • a Verwen ⁇ tion that is particularly advantageous in the context of the invention is that for receiving a Multifluoreszenzsignalbil- that is composed by local superimposition of Einzelfluores ⁇ zenzsignal prettyn. Fundamentals of the recording of multifluorescence signal images have already been explained in the introduction to the description.
  • the multiple fluorescence images generated by the microscope initially consist of a spectral superimposition of individual fluorescence images from a specific object area, which is colored with different dyes.
  • the beam splitter module With the above-mentioned beam splitter module, the single-frequency images are separated from each other.
  • a dichroic beam splitter is used in the beam splitter module. This ling the splitting into two frequency ranges.
  • Hin ⁇ ter resistancesc Francisco two dichroic beam splitter, the splitting into four frequency regions can be bewerkstel ⁇ ligt.
  • the corresponding individual channel images are thus the individual object images in the frequency selected by the dichroic beam splitter.
  • Each single channel image is directed to the associated sensor area (sector) of the area sensor of the digital camera.
  • both sectors receive area- and coordinates are the same image preparation ⁇ che housed under the same focus.
  • the wavelengths or frequencies of the individual images differ.
  • the assigned intensities are different.
  • both single-channel images can be drawn to approximately the same intensity so that an improved multichannel image arises when the single-channel images are superimposed.
  • Another particularly advantageous use of the inven ⁇ tion serves to record a multi-dynamics image, which is composed by location-specific superposition of several frames of different dynamics.
  • multidynamic image is intended to mean an image that consists of a corresponding composition of individual images, which in turn cover different dynamic ranges, ie are recorded, for example, with different intensities.
  • Mikroskopi ⁇ cal images often have image regions of high intensity and those of low intensity.
  • An example of this is the microscopic presentation of neurons consisting of sorna, dendrites and synapses. If the fine ramifications and the synapses are still visible, appear too bright in the microscope image Sorna and dendrites, as the entspre ⁇ sponding areas are overridden.
  • a remedy here can be to record a multi-dynamic image in which, for example, a low-intensity image is directed onto a first sensor area of the area sensor and a high-intensity image is directed onto a second sensor area of the area sensor.
  • the dynamics of the two single-channel images are optimally adjusted, so that the (weak) fine branches and synapses are clearly visible on one single image, while on the other image the (high-intensity) sorna / dendrites are clearly visible, ie not overdriven ,
  • site accurate over ⁇ superposition of two images obtained an optimized multi- tidynamiklag of neurons.
  • a neutral divider is used as the beam splitter module, which divides the intensity of the image generated by the microscope ⁇ in a certain ratio (for example, 20:80) and supplies the appropriate proportions to the respective sensor areas. Whether ekt Scheme, focus position and wavelengths of the sensor areas gelenk ⁇ th individual images are the same, while the intensities differ.
  • Ver ⁇ application relates to the inclusion of a multi-focus image, which is composed by site exact superposition of a plurality of individual images from different focal planes.
  • Multi-focus images are known per se from the prior art and have already been explained in the introduction.
  • an object in z-direction ie in the direction ective of extending through the head o the optical axis
  • the microscope focus is set at different ⁇ union positions of the object in the z-direction, wherein a microscope image is recorded at each of these positions.
  • the object is therefore scanned at its object depth. At each position you get a sharp image, which should be worked optimally at a shallow depth of field.
  • a multifocus image is obtained which gives good information about the entire object area in the considered object depth.
  • two or more individual images from different focal planes are simultaneously generated.
  • the already mentioned beam splitter module has for this purpose a conventional beam splitter (preferably 50:50), wherein an additional optics is provided, which places the image focus of one of the two individual images in another object area (object depth).
  • object depth object area
  • two individual images A ⁇ zelfokustik
  • the recording time of 3D image stacks can be halved.
  • the image acquisition time is quartered entspre ⁇ accordingly.
  • the Einzelfo ⁇ kusplain concerning the image acquisition parameters and / or the image processing parameters can be optimized individually before they are assembled into a multi-focus image then.
  • ⁇ object areas in the xy plane and the wavelengths of the transmitter Sor Jardine steered individual images are the same, the intensities are generally comparable, while the focal positions (z-direction) differ.
  • another invention relates to the dung USAGE ⁇ the autofocusing means of receiving a plurality of individual images of different object planes to determine the optimum focal plane.
  • a focal plane suitable for microscopic examination can be selected by recording a plurality of single-focus images.
  • the optimum focus position can be held (or set) by simultaneous recording of several individual images of different object planes and analysis of the individual images. Many individual images result in a picture stack; This is either directly or after UNMIT ⁇ studied in the recording. Dar ⁇ aufhin the focus position is then adjusted to that plane in which the image with the highest contrast was ⁇ taken. This has the advantage over the sequential recording of the images of individual focal planes that both recording time and exposure intensity and thus the potential burden of the sample is reduced.
  • the present invention also relates to a corresponding method for receiving a multi-channel image where ⁇ explicit reference is made with respect to embodiments and advantages of the method of the above, in connection with the microscope system according to the invention and the uses of the invention.
  • the core of the invention is to use an area sensor with a plurality of sensor areas, with image acquisition parameters and / or image processing parameters of each sensor area being used. Reichs are independently adjustable. Each sensor area receives the same microscopic image of a particular Whether ⁇ jekt Schemes.
  • the image acquisition parameters also include the characteristic curve of a sensor area, which defines the dynamics of the corresponding single channel image.
  • the present invention can be used to advantage in the following fields of microscopy: Widefield fluorescence microscopy, Total Internal Reflection Fluorescence Microscopy (TIRF) microscopy, High Resolution Microscopy using localization microscopy (GSDIM).
  • TIRF Total Internal Reflection Fluorescence Microscopy
  • GSDIM High Resolution Microscopy using localization microscopy
  • a evanescentes field propagates approximately 70..300nm from the sample when the excitation light un ⁇ ter shallow angle incident on the boundary surface between the cover glass and sample medium, and is then totally reflected.
  • the fluorescence thus generated can be detected with an area sensor and is characterized by an extremely low background signal and thus a very good signal-to-noise ratio.
  • this method also real-time recordings ⁇ allows it provides particularly for the study of transport processes in the cell membrane, such as endo- or exocytosis, or Proteinwech- sel Montagen that are in the sample in the field of evanescent centen Play field.
  • Figure 1 shows the division of a surface sensor in two (Figure la) or in four ( Figure lb) sectors;
  • FIG. 2 shows schematically an embodiment of a microscope system in the form of a block diagram
  • FIG. 3 schematically shows three different uses (FIGS. 3a-c) of the present invention, namely for taking individual images with regard to spectrum, intensity and focus; and
  • FIG. 4 shows a simple example of a two-channel fluorescence image.
  • FIG. 1 schematically shows an area sensor 6 which is divided into sensor areas or sectors 7 of equal size.
  • FIG. 1 a shows a division into two sensor regions 7;
  • FIG. 1b shows a division into four sensor areas 7 of equal size.
  • the area sensor 6 is preferably a sCMOS, which is already subdivided into the corresponding sectors. In any case, to ensure that each of the sensor areas 7 is controlled separately, at least as far ⁇ the imaging parameters of the integration time.
  • FIG. 2 shows a block diagram of an embodiment of the microscope system 1 according to the invention.
  • a lighting unit 14 is connected to a microscope 2 in order to provide suitable illumination for a microscopic examination of an object.
  • light can be provided with different excitation frequencies are available to excite the object applied to the fluorescent substances ⁇ color lights. Without loss of generality, the excitation of two fluorescent color ⁇ materials should be considered.
  • the emitted from the object Fluo ⁇ reszenzwellenwern be in a beam-splitter module 10 spectrally separated.
  • the beam splitter module 10 is shown in FIG. 1
  • the microscope 2 can provide two or more frames of the subject range of interest. These include the already discussed individual images related to different spectral ranges as well as individual images related to different intensities or focal planes.
  • the individual images separately to the different sensor areas 7 of the area sensor 6 (see FIG. 1) directed who can ⁇ , they must be open from the beam splitter module 10 separates ⁇ .
  • the individual images thus separated reach the subsequently connected digital camera 3, which has an area sensor 6 with said sensor areas 7 (see FIG.
  • the camera 3 has a number of n channels 9, which coincides with the number of sensor areas 7 of the area sensor 6 over ⁇ . In the case considered here, the camera points
  • n 2 channels 9.
  • the camera 3 is in operative connection with a transmitter 11, which is the camera 3 or the surface sensor 7 immediately downstream to relieve the main computer.
  • the camera image can also be completely retracted and the division into the individual image channels only happen in the computer.
  • this separation happens in the evaluation electronics, which can either be part of the camera electronics or also part of a frame grabber card in the main ⁇ computer.
  • the sensor regions 7 are read out separately from one another depending on the set integration time (and / or further image recording parameters), the corresponding image data being transmitted via the channels 9 to the evaluation electronics 11 to get redirected. In the transmitter 11 any image processing processes take place. In addition here the single channel pictures to a multi-channel picture set.
  • a control unit 13 is provided for controlling the Mikroskopsys ⁇ tems. 1
  • This control unit 13 is in communication with the loading ⁇ illumination unit 14, with the beam splitter module 10, as well as with the camera. 3
  • the evaluation electronics 11 may be part of the main computer or an external component, possibly even a part of the camera electronics.
  • the control unit 13 may also be in communication with the microscope 2 in order to carry out suitable adjustments to filter blocks, lenses, etc.
  • the control unit 13 can use the suitable beam splitter module 10, and the camera unit 3 uses the control unit 13 to set the suitable image recording parameters for the individual sensor regions 7.
  • the beam splitter module 10 schematically shows the separation of individual channel images by means of the beam splitter module 10 and the deflection of the individual images onto the sensor regions 7 of a surface sensor 6 in a camera 3 (see FIGS. 1 and 2).
  • the beam splitter modules are denoted by 20, 30 or 40 depending on the application.
  • Figure 3a shows the case of generating two single-frequency images, ie, a spectral separation of a mikroskopi ⁇ 's image into two single frequency images. Of course, this does not have to be about individual frequencies. your; a spectral separation into two spectral ranges is sufficient.
  • a microscopic image generated by an object passes into the beam splitter module 20. Shown is the main observation beam path, which falls into a dichroic beam splitter 21, where it is split in a known manner.
  • the transmitted spectral component incident on a sensor area 7, while the reflected prospectus ⁇ rale component is guided via a deflecting mirror 22 to another sensor region. 7
  • this arrangement is one shown in FIG. 1a
  • Figure 3b shows a beam-splitter module 30 for generating two ⁇ he still images having different dynamic ranges abde ⁇ CKEN or for generating two individual images of different intensities.
  • the microscopic image is separated by means of the beam splitter module 30 in two frames, wherein a percentage allocation of Intensi ⁇ ty is carried out here by means of a neutral divider 31st
  • a neutral divider 31st For example, 20% of the advantage of transmitters on ⁇ impinging light intensity of neutral splitter 31, while 80% are reflected.
  • the reflected at ⁇ part is directed via a reflecting mirror 32 on one of the two sensor regions.
  • FIG. 3c shows the use of a beam splitter module 40 for generating a multi-focus image.
  • the beam splitter module 40 has an additional optics 42. With this additional optics 42, the focus of the microscope is moved to another object plane (in the z-direction).
  • a beam divider 41 carries out a splitting of the incident main beam path that is in particular equal to one. The transmitted part equally looks into a different object depth than the reflected part.
  • the reflected portion is directed onto one of the two sensor regions 7.
  • the two sensor regions 7 thus receive single-focus images of two different object depths. If the microscope focus is changed during the next image acquisition, once again two single focus images can be taken. In this way, it is possible to generate two focus shots by appro ⁇ need setting the Mikroskopfoki, whereby the time to produce a multi-focus image is halved.
  • FIG. 4 shows a simple example of a multichannel
  • Fluorescence image of a two-channel fluorescence image of a cell nucleus ⁇ with filaments can by means of an on from be generated according to Figure 3a.
  • a microscopic image of a cell is generated by means of a fluorescence microscope ⁇ .
  • the object is irradiated with excitation frequencies and the fluorescent region is microscopically imaged.
  • the in the individual images Darge ⁇ presented 8a and 8b Whether ekt Schemee are each the same and come from the same focal plane.
  • the single-frequency image 8a (shown red in the false color, for example, here in black) shows the filaments of the cell, while the nucleus which fluoresces at a different frequency becomes visible in the single-frequency image 8b (for example in the false color green, shown here in gray).
  • Erfindungsge ⁇ Gurss can, as described above in detail, the image sensing parameters and / or the image processing parameters of the individual channel images 8a and 8b are optimized independently of each other before they are assembled into the two-channel fluorescence image. 4

Landscapes

  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

Die Erfindung betrifft ein Mikroskopsystem (1) mit einem Mikroskop (2) und einer digitalen Kamera (3) zur Darstellung eines Multikanalbildes (4), das eine geeignete Überlagerung von mehreren Einzelkanalbildern (8a, 8b) darstellt, wobei die Kamera (3) einen Flächensensor (6) aufweist, auf dem jedem Einzelkanalbild (8a, 8b) ein zugehöriger Sensorbereich (7) zugeordnet ist, wobei Bildaufnahmeparameter eines einem Einzelkanalbild (8a, 8b) zugeordnetem Sensorbereichs (7) unabhängig von den Bildaufnahmeparametern der übrigen Sensorbereiche einstellbar sind.

Description

Mikroskopsystem und Verfahren zur Aufnahme von Multikanal- bildern
Beschreibung
Die vorliegende Erfindung betrifft ein Mikroskopsystem mit einem Mikroskop und einer digitalen Kamera zur Darstellung eines Multikanalbildes , das eine geeignete Überlagerung von mehreren Einzelkanalbildern darstellt, wobei das Mikroskop einen Kamera-Port zum Anschluss der Kamera aufweist, die ihrerseits einen Flächensensor aufweist, auf dem jedem Einzelkanalbild ein zugehöriger Sensorbereich zugeordnet ist, und ein entsprechendes Verfahren sowie verschiedene Verwen¬ dungen eines solchen Mikroskopsystems.
Stand der Technik
In der Fluoreszenzmikroskopie werden häufig mehrere Farb¬ stoffe verwendet, um verschiedene Bereiche einer Probe un¬ ter der jeweils emittierten Fluoreszenzwellenlänge betrach¬ ten zu können. Mikroskopische Bilder werden mit Hilfe von Intensitätsdetektoren aufgenommen, die einen oder mehrere Bildpunkte simultan aufnehmen können (Punkt-, Zeilen- oder Flächensensoren) . Beispiele für PunktSensoren sind PMTs (Photomultiplier Tubes) oder APDs (Avalanche- Photodiodemodule ) , die unter anderem in Laser-Scanning- Mikroskopen zum Einsatz kommen. Die genannten PunktSensoren besitzen eine hohe Empfindlichkeit in vorgegebenen Wellen- längenbereichen und eine hohe Schnelligkeit der Signalaus¬ lese. Ein Vorteil des Einsatzes von PunktSensoren bei der Laser-Scanning-Mikroskopie ist, dass Signale mit unter¬ schiedlichen spektralen Eigenschaften simultan aufgenommen werden können, indem die Fluoreszenzsignale einzelner Farb¬ stoffe über optische Teiler voneinander getrennt werden und mit separaten Punktdetektoren aufgenommen werden können. Die Schnelligkeit der Auslese ermöglicht hohe Scangeschwin¬ digkeiten. Da das mikroskopische Bild Punkt für Punkt zu- sammengeset zt wird, dauert eine Aufnahme typischerweise länger als bei der Verwendung von 2D-Detektoren, wie z. B. CCD-Kameras, die ein flächiges Bild der Probe auf einmal aufnehmen können. Jedoch ist durch die zeitliche Synchronisation der Aufnahmen der einzelnen Kanäle auch eine exakte örtliche Übereinstimmung gegeben.
Um mit Flächensensoren Bilder von Fluoreszenzsignalen mehrerer Farbstoffe aufnehmen zu können, können bei handelsüblichen Mikroskopsystemen mit CCD-Kameras Mehrfach- oder Multifluoreszenzsignale durch zeitlich versetzte Aufnahmen der einzelnen Fluoreszenzkanalbilder getrennt werden. Zwischen den zeitlich versetzten Aufnahmen muss selbstverständlich auch die optische Filterkonfiguration zur spektralen Trennung der Signale umgeschaltet werden. Dieser zeitliche Versatz limitiert jedoch die Möglichkeiten zur
Auswertung der Signale, die idealerweise für selbe Proben¬ stellen auch zu gleichen Zeiten aufgenommen werden sollten (beispielsweise für Ko-Lokalisations- oder Ratio-Imaging- Experimente) .
Moderne Mikroskopsysteme verfügen daher häufig über mehr als nur einen Kamera-Port, so dass prinzipiell mehrere Ka- meras angeschlossen werden können, die bei entsprechender spektraler Aufteilung der Signal dann auch für simultane Aufnahmen von Multifluoreszenzsignalen verwendet werden können. Diese Lösung ist jedoch wegen der damit verbundenen hohen Kosten für viele Anwender wirtschaftlich wenig attraktiv .
Als Alternative existieren Kamera-Adapter, die zwei oder vier Fluoreszenzsignale mittels optischer Strahlteiler in eben so viele spektrale Anteile aufspalten und diese Antei¬ le auf ebenso viele Teile (also zwei Hälften oder vier Viertel) einer CCD-Kamera projizieren (beispielsweise Dual- view/Quadview der Fa. Roper Scientific/Optical Insights). Bei der Verwendung dieser Kamera-Adapter wird die Auflösung der aufgenommenen Bilder jedoch entsprechend reduziert, was sich bei maximalen Pixelzahlen von etwa 1.000 Pixeln der eingesetzten (EM- ) CCD-Kameras deutlich bemerkbar macht.
Eine weitere Möglichkeit der Aufnahmen von Multifluores- zenzsignalen ist die spezielle Konstruktion von Kameras mit zwei Sensoren für die simultane Aufnahme von zwei Kanälen, die ebenfalls über einen Spezial-Kamera-Adapter mit optischen Teilern an nur einen Kamera-Port am Mikroskop ange¬ schlossen sind (beispielsweise die Dual CCD-Kamera von Ha- mamatsu) . Bei unterschiedlichen Intensitäten der einzelnen Fluoreszenzsignalkanäle führt diese Lösung jedoch zu ver¬ schieden guten Einzelbildern.
Die Kosten der zur Aufnahme von schwachen Fluoreszenzsigna- len häufig eingesetzten hochempfindlichen EM (Electron Mul- tiplying) -CCD-Kameras sind im Vergleich zu den Kosten des Mikroskops so hoch, dass der Einsatz zweier oder mehrerer solcher Kameras zur Aufnahme von Mehrfachfluoreszenzbildern nicht mehr wirtschaftlich ist. Die oben behandelten Lösungsansätze für Flächensensoren sind außerdem limitiert in Bezug auf die Flexibilität der Konfiguration, die Effizienz der Aufnahmen und den Aufwand bei der Kalibrierung des Aufnahmesystems, die enorm aufwendig ist, um eine hinreichend (sub-pixel) genaue örtliche Überlagerung der Teilbilder erzielen zu können. Aus der DE 195 33 361 Cl ist ein Bilderfassungssystem mit wenigstens einem als Interline-Transfer-Sensor ausgebildeten CCD-Sensor bekannt, mit dem extrem kurze Belichtungs¬ zeiten oder Änderungen der Lichtempfindlichkeit des CCD- Sensors realisierbar sind.
Aus der DE 41 17 319 C2 ist ein CCD-Treiberkreis zum Ausle¬ sen mehrerer CCD-Sensoren bekannt.
Aufgabe der vorliegenden Erfindung ist daher, mikroskopi- sehe Bilder aus verschiedenen Einzelbildern, insbesondere Multifluoreszenzsignalbilder aus Einzelfluoreszenzsignalbildern, unter Einsatz einer Kamera mit Flächensensor zu erzeugen, wobei die oben genannten Nachteile bekannter Lösungen vermieden werden sollen.
Kurzfassung der Erfindung
Die genannte Aufgabe wird gelöst durch ein Mikroskopsystem mit einem Mikroskop und einer digitalen Kamera zur Darstel- lung eines Multikanalbildes , das eine geeignete Überlage¬ rung von mehreren Einzelkanalbildern darstellt, wobei das Mikroskop einen Kamera-Port zum Anschluss der Kamera auf- weist, die ihrerseits einen Flächensensor aufweist, auf dem jedem Einzelkanalbild ein zugehöriger Sensorbereich zugeordnet ist, wobei Bildaufnahmeparameter eines einem Einzel¬ kanalbild zugeordneten Sensorbereichs unabhängig von den Bildaufnahmeparametern der übrigen Sensorbereiche einstellbar sind. Die Erfindung betrifft ein entsprechendes Verfah¬ ren zur Aufnahme eines Multikanalbildes sowie verschiedene Verwendungen des erfindungsgemäßen Mikroskopsystems, wie sie weiter unten ausführlich diskutiert sind.
Vorteilhafte Ausgestaltungen ergeben sich aus den Unteransprüchen und der nachfolgenden Beschreibung.
Vorteile der Erfindung
Im Rahmen dieser Anmeldung sei unter "Multikanalbild" ein Bild verstanden, das aus mehreren Einzelkanalbildern zusammengesetzt ist. Typische Beispiele solcher Multikanalbilder sind Multifokusbilder , Multi- oder Mehrfachfluoreszenzsig- nalbilder oder andere Arten von Multifrequenzbildern . Multifokusbilder sind aus Einzelbildern zusammengesetzt, die aus unterschiedlichen Fokusebenen eines Mikroskops aufgenommen sind. Zu diesem Zweck wird der Fokus des Mikroskops in bezogen auf die optische Achse des Hauptob ektivs unter- schiedliche Objektebenen gelegt, so dass jeweils scharfe
Bilder in Richtung der optischen Achse zu einem Multifokus- bild überlagert werden können. Hierzu ist eine ortsgenaue Überlagerung notwendig. Multifrequenz-, insbesondere Multi- fluoreszenzsignalbilder stellen Bilder dar, die aus einer Überlagerung mehrerer unter verschiedenen Frequenzen bzw. Wellenlängen aufgenommener Einzelfrequenzbilder entstehen. Wie bereits eingangs erwähnt, ist diese Art der bildlichen Darstellung für die Fluoreszenzmikroskopie wichtig.
Kameras mit Flächensensoren, die in bestimmte Sensorberei- che (oder Sektoren) aufgeteilt werden können, sind an sich bekannt. Wie eingangs erwähnt, wird hierzu der Flächensen¬ sor in zwei oder vier oder allgemein mehrere insbesondere gleichgroße Sektoren unterteilt. Auf jedem dieser Sektoren kann ein Einzelkanalbild, also beispielsweise ein bei einer bestimmten Wellenlänge aufgenommenes Bild, aufgenommen wer¬ den .
Erfindungsgemäß sind Bildaufnahmeparameter eines jeden Sensorbereichs unabhängig von den anderen Sensorbereichen ein- stellbar. Als wichtigster Bildaufnahmeparameter kann hierbei die Integrationszeit angegeben werden. Die Integrati¬ onszeit bei einer digitalen Kamera entspricht umgangs¬ sprachlich der "Belichtungszeit". Weitere Bildaufnahmepara¬ meter sind ein oder mehrere Verstärkungen ("Gain") sowie die Kennlinie der Bildaufnahme. Die Kennlinie gibt dabei den Zusammenhang zwischen auf den Sensorbereich auftreffender LichtIntensität und Stärke des vom Sensorbereich abge¬ gebenen elektrischen Signals (und damit Bildhelligkeit) an und kann somit zur Steuerung der Bildaufnahme eingesetzt werden. Weitere Parameter, die ein Bild beschreiben, sind die Bilddimensionen (Pixel x/y), die sogenannten Binning- Faktoren, die die Zahl der örtlich zusammenzufassenden Pixel in x bzw y Dimension angibt (Vorteil: Verbesserung des Signal-Rausch-Verhältnisses und Reduktion von Datenmenge und Aufnahmezeit ; Nachteil: Verringerung der Auflösung), die Farbtiefe in Bit (typischerweise 12 oder 16 bit für An¬ wendungen der Fluoreszenzmikroskopie), sowie Positionsbe- Schreibungen fuer vom Benutzer definierte, aufzunehmende Regionen der Probe (Region Of Interest = ROI; deren Verwendung ermöglicht die Konzentration der Auswertung auf relevante Probenstellen und reduziert den Datenumfang) .
Größter Nachteil bei der Bildaufnahme mit bekannten Kameras mit Flächensensoren, die in zwei oder vier Sektoren aufgeteilt werden können, ist, dass die Integrationszeit für den gesamten Flächensensor fixiert ist, so dass weder die In- tegrationszeit noch andere Bildaufnahmeparameter an die individuellen Anforderungen der einzelnen Kanäle angepasst werden können. Typischerweise sind die Intensitäten der einzelnen aufzunehmenden Kanäle bei den hier betrachteten Multikanalbildern deutlich unterschiedlich. Aufnahmen mit identischer Integrationszeit bedeuten daher immer Kompromisse bezüglich der Signalqualität mindestens eines Kanals. Bei Multifluoreszenzsignalbildern kann zwar versucht werden, über eine Anpassung (Erhöhung) der Anregungsenergie für einen (schwächeren) Fluoreszenzfarbstoff diese Intensi- tätsunterschiede auszugleichen, jedoch birgt dies die Ge¬ fahr, dass die Fluoreszenz des schwächeren Kanals schneller ausbleicht oder aber bei lebenden Proben die Vitalität der Probe reduziert wird. Prinzipiell ist es auch möglich, den Dynamikbereich des Flächensensors auf das hellere Signal zu optimieren. Dies geschieht dann auf Kosten des Kanals mit der geringeren Intensität (geringere Bildqualität des Ein¬ zelkanalbildes geringerer Intensität) und infolgedessen auch auf Kosten der Qualität von Signalauswertungen, da nicht nur die Dynamik reduziert ist, sondern auch der Sig- nal-Rausch-Abstand . Die vorliegende Erfindung überwindet diese Probleme und er¬ öffnet, wie weiter unten dargestellt, auch außerhalb der Fluoreszenzmikroskopie neue Möglichkeiten. Als Flächensensor der digitalen Kamera eignet sich insbesondere ein Sensor von Typ CMOS, insbesondere ein sogenannter scientific CMOS, abgekürzt sCMOS, wie er beispielsweise von Fairchild vertrieben wird. Die Verwendung eines CMOS als Bilddetektor ist an sich aus dem Stand der Technik be- kannt . Da diese Detektoren jedoch den CCDs, insbesondere den bereits erwähnten EMCCDs, für die Bildaufnahme unterle¬ gen waren, sind seit einiger Zeit sogenannte sCMOS- Bildsensoren auf dem Markt, die deutlich bessere Eigenschaften aufweisen. Ein typischer hier betrachteter sCMOS besitzt einen Flächensensor mit 5,5 Megapixel, bei einer Pixelgröße von 6,5pm, einem Rauschen (read noise) von <2 Elektronen bei 30 Bildern/s. Diese Kombination ist den be¬ kannten CCD-Bildsensoren, einschließlich den EMCCD- Bildsensoren, deutlich überlegen. Auf dem Markt werden sCMOS-Bildsensoren von den Firmen ANDOR Technology, Fairchild Imaging oder der PCO AG angeboten. Zur Implementierung der vorliegenden Erfindung muss der sCMOS dahingehend umgerüstet werden, dass die Bildaufnahmeparameter der darauf befindlichen Sensorbereiche oder Sektoren (in der Regel zwei oder vier) unabhängig voneinander einstellbar sind. In der Regel ist es ausreichend, entweder die Integrationszeit oder die Verstärkung ("Gain") veränderbar zu gestalten.
Es ist vorteilhaft, wenn die digitale Kamera zwei oder vier Kanäle entsprechend der Anzahl von Sensorbereichen oder
Sektoren aufweist, wobei jeder dieser Kanäle dann unabhän- gig von den anderen Kanälen parametrisierbar ist. Jedem Kamerakanal ist somit ein Einzelkanalbild zugeordnet.
Die Bildaufnahmeparameter und vorteilhafterweise auch die nachfolgenden Bildverarbeitungsparameter sind für jedes
Einzelkanalbild unabhängig von den übrigen Einzelkanalbil¬ dern einstellbar. Mit dieser Maßnahme erhält man optimale Einflussmöglichkeiten auf jedes Einzelkanalbild, bevor die¬ ses mit den übrigen Einzelkanalbildern zu einem Multikanal- bild zusammengesetzt wird.
Vorteilhafterweise ist zur Verarbeitung der Bilddaten direkt an den Flächensensor (sCMOS) eine Auswerteelektronik angeschlossen. Durch diese Maßnahme kann eine Reduktion der Datenmenge und eine Entlastung des Prozessors des Hauptcom¬ puters erreicht werden.
In einer weiteren vorteilhaften Ausgestaltung ist der Flächensensor derart ausgelegt, dass Bilddaten nur in einer oder mehreren anwenderdefinierten Regionen ausgelesen werden können. Bei einer solchen anwenderdefinierten Region handelt es sich zweckmäßigerweise um einen Unterbereich ei¬ nes Sensorbereichs oder Sektors, wie er auf dem Flächensen¬ sor bereits vorhanden ist. Das Definieren einer solchen Re- gion erlaubt somit die Definition eines bestimmten Bereichs um eine "region of interest". Hierdurch wird die zu verar¬ beitende Bilddatenmenge weiter reduziert.
Um Einzelkanalbilder auf die entsprechenden Sensorbereiche des Flächensensors der digitalen Kamera bei einem erfin¬ dungsgemäßen Mikroskopsystem zu leiten, ist der Einsatz von Strahlteilermodulen besonders geeignet, die auf den jewei- ligen Verwendungszweck ausgelegt sind. Verschiedene Verwendungsmöglichkeiten werden weiter unten ausführlich behandelt. Allgemein ist ein solches Strahlteilermodul differen- ziell-sensitiv bezüglich eines jeden Einzelkanalbildes, das heißt, dass jedes Einzelkanalbild getrennt von den übrigen Einzelkanalbildern das Strahlteilermodul verlässt, um auf entsprechende Sensorbereiche/Sektoren des Flächensensors gelenkt zu werden. Anhand der nachfolgend zu erläuternden Verwendungsbeispiele sollen Aufbau und Funktionsweise die- ser Strahlteilermodule näher erläutert werden.
Der Kameraport ist ein Standard-Interface am Mikroskop, hier gibt es unterschiedliche Ausführungen (typisch : C- Mount) . Im Falle eines vorhandenen Strahlteilermoduls wird dieses über den Kameraport an das Mikroskop angeschlossen. Die Funktion des Kamera-Ports ist typischerweise rein opto- mechanisch, prinzipiell lassen sich auch optische Zusatzelemente in einem Kameraport unterbringen. Eine im Rahmen der Erfindung besonders vorteilhafte Verwen¬ dung ist die zur Aufnahme eines Multifluoreszenzsignalbil- des, das durch ortsgenaue Überlagerung von Einzelfluores¬ zenzsignalbildern zusammengesetzt ist. Grundlagen der Aufnahme von Multifluoreszenzsignalbildern wurden bereits in der Beschreibungseinleitung dargelegt. Die vom Mikroskop erzeugten Mehrfachfluoreszenzbilder bestehen zunächst aus einer spektralen Überlagerung von Einzelfluoreszenzbildern aus einem bestimmten Objektbereich, der mit verschiedenen Farbstoffen eingefärbt ist. Mit dem oben angesprochenen Strahlteilermodul werden die Einzelfrequenzbilder voneinander getrennt. Zu diesem Zweck wird in dem Strahlteilermodul ein dichroitischer Strahlteiler eingesetzt. Hierdurch ge- lingt die Aufspaltung in zwei Frequenzbereiche. Durch Hin¬ tereinanderschaltung zweier dichroitischer Strahlteiler kann die Aufspaltung in vier Frequenzbereiche bewerkstel¬ ligt werden. Die entsprechenden Einzelkanalbilder sind so- mit die einzelnen Objektbilder in der vom dichroitischen Strahlteiler selektierten Frequenz. Jedes Einzelkanalbild wird auf den zugeordneten Sensorbereich (Sektor) des Flächensensors der digitalen Kamera gelenkt. Der Einfachheit halber sei von zwei Sektoren ausgegangen. Beide Sektoren erhalten flächen- und koordinatenmäßig gleiche Bildberei¬ che, die unter demselben Fokus aufgenommen sind. Die Wellenlängen bzw. Frequenzen der Einzelbilder unterscheiden sich. Meist sind auch die zugeordneten Intensitäten unterschiedlich. Durch Erhöhung der Integrationszeit des inten- sitätsschwächeren Kanals (oder Erhöhung der Verstärkung) können beide Einzelkanalbilder auf etwa gleiche Intensität gezogen werden, so dass bei Überlagerung der Einzelkanalbilder ein verbessertes Multikanalbild entsteht. Eine weitere besonders vorteilhafte Verwendung der Erfin¬ dung dient der Aufnahme eines Multidynamikbildes , das durch ortsgenaue Überlagerung von mehreren Einzelbildern unterschiedlicher Dynamik zusammengesetzt ist. Unter "Multidyna- mikbild" soll ein Bild verstanden werden, das aus entspre- chender Zusammensetzung von Einzelbildern besteht, die ihrerseits unterschiedliche Dynamikbereiche abdecken, also beispielsweise mit unterschiedlichen Intensitäten aufgenommen sind. Ein Beispiel soll dies verdeutlichen: Mikroskopi¬ sche Bilder weisen häufig Bildbereiche hoher Intensität und solche niedriger Intensität auf. Ein Beispiel hierfür ist die mikroskopische Darstellung von Neuronen bestehend aus Sorna, Dendriten und Synapsen. Wenn die feinen Verästelungen und die Synapsen noch sichtbar sein sollen, erscheinen im Mikroskopbild Sorna und Dendriten zu hell, da die entspre¬ chenden Bereiche übersteuert sind. Abhilfe kann hier die Aufnahme eines Multidynamikbildes schaffen, bei dem bei- spielsweise ein Bild niedriger Intensität auf einen ersten Sensorbereich des Flächensensors und ein Bild hoher Intensität auf einen zweiten Sensorbereich des Flächensensors gelenkt wird. Die Dynamik der beiden Einzelkanalbilder wird optimal angepasst eingestellt, so dass auf dem einen Ein- zelbild die (intensitätsschwachen) feinen Verästelungen und Synapsen gut sichtbar sind, während auf dem anderen Bild die (intensitätsstarken) Sorna/Dendriten gut sichtbar, also nicht übersteuert dargestellt sind. Durch ortsgenaue Über¬ lagerung der beiden Bilder erhält man ein optimiertes Mul- tidynamikbild der Neuronen.
Bei dieser Ausgestaltung wird als Strahlteilermodul ein Neutralteiler eingesetzt, der die Intensität des vom Mikro¬ skop erzeugten Bildes in einem bestimmten Verhältnis (bei- spielsweise 20:80) aufteilt und die entsprechenden Anteile den jeweiligen Sensorbereichen zuführt. Ob ektbereich, Fokuslage und Wellenlängen der auf die Sensorbereiche gelenk¬ ten Einzelbilder sind gleich, während sich die Intensitäten unterscheiden .
Eine weitere besonders vorteilhafte erfindungsgemäße Ver¬ wendung betrifft die Aufnahme eines Multifokusbildes , das durch ortsgenaue Überlagerung von mehreren Einzelbildern aus unterschiedlichen Fokusebenen zusammengesetzt ist. Mul- tifokusbilder sind an sich aus dem Stand der Technik bekannt und wurden bereits einleitend erläutert. Für ein Mul- tifokusbild wird ein Objekt in z-Richtung (also in Richtung der durch das Haupto ektiv verlaufenden optischen Achse) gescannt, das heißt der Mikroskopfokus wird an unterschied¬ lichen Positionen des Objekts in z-Richtung gesetzt, wobei an jeder dieser Positionen ein Mikroskopbild aufgenommen wird. Das Objekt wird also gleichsam in seiner Objekttiefe gescannt. An jeder Position erhält man ein scharfes Bild, wobei optimalerweise bei geringer Schärfentiefe gearbeitet werden sollte. Durch Überlagerung der Einzelbilder erhält man ein Multifokusbild, das gute Informationen über den ge- samten Objektbereich in der betrachteten Objekttiefe gibt.
Bei der vorgeschlagenen erfindungsgemäßen Verwendung zur Aufnahme eines Multifokusbildes werden gleichzeitig zwei oder mehr Einzelbilder aus verschiedenen Fokusebenen er- zeugt. Der Einfachheit halber soll der Fall zweier Einzel¬ bilder aus unterschiedlichen Fokusebenen betrachtet werden. Das bereits erwähnte Strahlteilermodul weist hierzu einen üblichen Strahlteiler auf (vorzugsweise 50:50), wobei eine Zusatzoptik vorgesehen ist, die den Bildfokus eines der beiden Einzelbilder in einen anderen Objektbereich (Objekttiefe) legt. Auf diese Weise können zwei Einzelbilder (Ein¬ zelfokusbilder) aus zwei unterschiedlichen Fokusebenen erzeugt und auf zwei Sensorbereiche des Flächensensors der digitalen Kamera gelenkt werden. Mit dieser Verwendungsform kann bei Einsatz zweier Sensorbereiche oder Sektoren die Aufnahmezeit von 3D-Bildstapeln halbiert werden. Bei Einsatz von vier Sektoren wird die Bildaufnahmezeit entspre¬ chend geviertelt. Zudem können anschließend die Einzelfo¬ kusbilder bezüglich der Bildaufnahmeparameter und/oder der Bildverarbeitungsparameter einzeln optimiert werden, bevor sie zu einem Multifokusbild zusammengesetzt werden. Objekt¬ bereiche in der x-y-Ebene und Wellenlängen der auf die Sen- sorbereiche gelenkten Einzelbilder sind gleich, die Intensitäten sind in der Regel vergleichbar, während sich die Fokuslagen (z-Richtung) unterscheiden. Schließlich betrifft eine weitere erfindungsgemäße Verwen¬ dung die der Autofokussierung mittels Aufnahme mehrerer Einzelbilder aus unterschiedlichen Objektebenen zur Bestimmung der optimalen Fokusebene. Zunächst kann durch Aufnahme mehrerer Einzelfokusbilder eine für die mikroskopische Un- tersuchung geeignete Fokusebene ausgewählt werden. An¬ schließend (oder alternativ) kann durch simultane Aufnahme mehrerer Einzelbilder aus unterschiedlichen Objektebenen und Auswertung der Einzelbilder die optimale Fokuslage gehalten (oder eingestellt) werden. Viele Einzelbilder er- geben hierbei einen Bildstapel; dieser wird entweder unmit¬ telbar oder im Anschluss an die Aufnahme untersucht. Dar¬ aufhin wird dann die Fokusposition auf diejenige Ebene eingestellt, in der das Bild mit dem höchsten Kontrast aufge¬ nommen wurde. Dies hat gegenüber der sequentiellen Aufnahme der Bilder einzelner Fokusebenen den Vorteil, dass sowohl Aufnahmezeit als auch Belichtungsintensität und damit die potentielle Belastung der Probe reduziert wird.
Die vorliegenden Erfindung betrifft außerdem ein entspre- chendes Verfahren zur Aufnahme eines Multikanalbildes , wo¬ bei bezüglich Ausgestaltungen und Vorteile des Verfahrens ausdrücklich auf die obigen Ausführungen im Zusammenhang mit dem erfindungsgemäßen Mikroskopsystem und den erfindungsgemäßen Verwendungen verwiesen sei. Der Kern der Er- findung liegt darin, einen Flächensensor mit mehreren Sensorbereichen einzusetzen, wobei Bildaufnahmeparameter und/oder Bildverarbeitungsparameter eines jeden Sensorbe- reichs unabhängig einstellbar sind. Jeder Sensorbereich nimmt das gleiche mikroskopische Bild eines bestimmten Ob¬ jektbereichs auf. Zu den Bildaufnahmeparametern zählt auch die Kennlinie eines Sensorbereichs, der die Dynamik des entsprechenden Einzelkanalbildes festlegt.
Die vorliegende Erfindung kann mit Vorteil in folgenden Mikroskopiegebieten eingesetzt werden: Widefield- Fluoreszenzmikroskopie, TIRF-Mikroskopie ("Total Internal Reflection Fluorescence Microscopy", Deutsch: Totalreflexionsfluoreszenzmikroskopie) , Höchstauflösungsmikroskopie mittels Lokalisationsmikroskopie (GSDIM) .
Bei der TIRF-Mikroskopie breitet sich ein evanescentes Feld ca. 70..300nm in die Probe aus, wenn das Anregungslicht un¬ ter flachem Winkel auf die Grenzfläche zwischen Deckglas und Probenmedium fällt und dann totalreflektiert wird. Die so erzeugte Fluoreszenz kann mit einem Flächensensor detek- tiert werden und zeichnet sich durch ein äußerst niedriges Hintergrundsignal und damit ein sehr gutes Signal-Rausch- Verhältnis aus. Nicht zuletzt da diese Methode auch Echt¬ zeitaufnahmen ermöglicht, bietet sie sich besonders für das Studium von Transportvorgängen in der Zellmembran an, wie zum Beispiel Endo- oder Exocytose, oder auch Proteinwech- selwirkungen, die sich in der Probe im Bereich des evanes- centen Feldes abspielen.
Höchstauflösungsmikroskopie auf Basis der Lokalisationsmik¬ roskopie steigert die Auflösung eines Fluoreszenzmikroskops circa lOfach bis weit unterhalb der Beugungslimits und er¬ möglicht so die Detektion von einzelnen Objekten, die im Bereich von 20 nm (voneinander entfernt) liegen. Zu diesen Verfahren gehört die GSDIM Methode (Ground State Depletion followed by Individual Molecule return) , bei der die Fluo¬ reszenzmoleküle länger in einen "dunklen Zustand" (Dark State) versetzt werden, aus dem sie nur ab und zu wieder heraustreten und dann für wenige Zyklen fluoreszieren, bevor sie wieder in den dunkeln Zustand übergehen. Damit wird erreicht, dass benachbarte Moleküle sequentiell aufleuch¬ ten. Dadurch ist es möglich, mathematisch das Zentrum eines jeden Moleküls zu identifizieren und somit ein neues Bild mit wesentlich höherer Auflösung zusammenzusetzen. Auch hier sind Anwendungen in der Membran- und Proteinforschung, als auch beispielsweise der Untersuchung von Neuronen sowie Chromosomen gute Einsatzgebiete. Es versteht sich, dass die vorstehend genannten und die nachstehend noch zu erläuternden Merkmale nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen.
Die Erfindung und ihre Vorteile sind anhand von Ausfüh¬ rungsbeispiele in der Zeichnung schematisch dargestellt und werden im Folgenden unter Bezugnahme auf die Zeichnung ausführlich beschrieben.
Figurenbeschreibung
Figur 1 zeigt die Aufteilung eines Flächensensors in zwei (Figur la) bzw. in vier (Figur lb) Sektoren;
Figur 2 zeigt schematisch eine Ausführungsform eines Mikroskopsystems in Form eines Blockschaubildes; Figur 3 zeigt schematisch drei verschiedene Verwendungen (Fig. 3a-c) der vorliegenden Erfindung, nämlich zur Aufnahme von Einzelbildern bezüglich Spektrum, Intensität und Fo- kus; und
Figur 4 zeigt ein einfaches Beispiel eines Zweikanal- Fluoreszenzbildes . Figur 1 zeigt schematisch einen Flächensensor 6, der in gleichgroße Sensorbereiche oder Sektoren 7 aufgeteilt ist. Figur la zeigt eine Aufteilung in zwei Sensorbereiche 7; Figur lb zeigt eine Aufteilung in vier gleichgroße Sensorbereiche 7. Als Flächensensor 6 ist bevorzugterweise ein sCMOS vorgesehen, der bereits in die entsprechenden Sektoren unterteilt ist. In jedem Fall ist dafür zu sorgen, dass jeder der Sensorbereiche 7 getrennt ansteuerbar ist, zumin¬ dest was den Bildaufnahmeparameter der Integrationszeit betrifft .
Figur 2 zeigt ein Blockschaubild einer Ausführungsform des erfindungsgemäßen Mikroskopsystems 1. Eine Beleuchtungseinheit 14 ist mit einem Mikroskop 2 verbunden, um für eine mikroskopische Untersuchung eines Objekts die geeignete Be- leuchtung zur Verfügung zu stellen. Bei dem eingangs bereits besprochenen Beispiel der Fluoreszenzmikroskopie kann Licht mit unterschiedlichen Anregungsfrequenzen zur Verfügung gestellt werden, um auf das Objekt aufgebrachte Farb¬ stoffe zum Fluoreszenzleuchten anzuregen. Ohne Beschränkung der Allgemeinheit soll die Anregung zweier Fluoreszenzfarb¬ stoffe betrachtet werden. Die vom Objekt ausgesandten Fluo¬ reszenzwellenlängen werden in einem Strahlteilermodul 10 spektral getrennt. Der Strahlteilermodul 10 steht in Figur
2 stellvertretend für verschiedene Strahlteilermodule, die je nach Verwendung eingesetzt werden (siehe Figur 3) . Allgemein sei angenommen, dass das Mikroskop 2 zwei oder mehr Einzelbilder des betrachteten Ob ektbereichs liefern kann. Hierzu gehören die bereits besprochenen Einzelbilder bezogen auf verschiedenen Spektralbereiche sowie Einzelbilder bezogen auf verschiedene Intensitäten oder Fokusebenen. Damit die Einzelbilder getrennt auf die verschiedenen Sensor- bereiche 7 des Flächensensors 6 (vgl. Figur 1) gelenkt wer¬ den können, müssen sie von dem Strahlteilermodul 10 ge¬ trennt werden. Die derart getrennten Einzelbilder gelangen in die nachfolgend angeschlossene digitale Kamera 3, die über einen Flächensensor 6 mit besagten Sensorbereichen 7 verfügt (vgl. Figur 1) .
Die Kamera 3 besitzt eine Anzahl von n Kanälen 9, die mit der Anzahl der Sensorbereiche 7 des Flächensensors 6 über¬ einstimmt. Im vorliegend betrachteten Fall weist die Kamera
3 folglich n=2 Kanäle 9 auf. Über diese Kanäle 9 steht die Kamera 3 in Wirkverbindung mit einer Auswerteelektronik 11, die der Kamera 3 bzw. dem Flächensensor 7 unmittelbar nachgeschaltet ist, um den Hauptrechner zu entlasten. Prinzipiell kann das Kamerabild auch komplett eingezogen werden und die Aufteilung in die einzelnen Bild-Kanäle erst im Rechner geschehen. Optional passiert diese Trennung in der Auswerteelektronik, die entweder Teil der Kamera-Elektronik sein kann oder auch Teil einer Framegrabber-Karte im Haupt¬ rechner .
Die Sensorbereiche 7 werden je nach eingestellter Integra- tionszeit (und/oder weiteren Bildaufnahmeparametern) getrennt voneinander ausgelesen, wobei die entsprechenden Bilddaten über die Kanäle 9 an die Auswerteelektronik 11 weitergeleitet werden. In der Auswerteelektronik 11 etwaige Bildverarbeitungsprozesse statt. Außerdem hier die Einzelkanalbilder zu einem Multikanalbild mengesetzt .
Eine Steuereinheit 13 ist zur Steuerung des Mikroskopsys¬ tems 1 vorgesehen. Diese Steuereinheit 13 steht mit der Be¬ leuchtungseinheit 14, mit dem Strahlteilermodul 10 sowie mit der Kamera 3 in Verbindung. Außerdem besteht eine Wech- selwirkung mit der Auswerteelektronik 11 Die Steuereinheit 13 kann Bestandteil des Hauptrechners oder eine externe Ko- ponente sein, eventuell sogar ein Teil der Kamera- Elektronik. Optional kann die Steuereinheit 13 auch mit dem Mikroskop 2 in Verbindung stehen, um dort geeignete Ein- Stellungen an Filterblöcken, Objektiv etc. vorzunehmen. Je nach Art der Mikroskopuntersuchung kann die Steuereinheit 13 den geeigneten Strahlteilermodul 10 einsetzen, und über die Steuereinheit 13 werden an der Kamera 3 die geeigneten Bildaufnahmeparameter für die einzelnen Sensorbereiche 7 eingestellt.
Figur 3 zeigt schematisch die Auftrennung von Einzelkanalbildern mittels des Strahlteilermoduls 10 und das Umlenken der Einzelbilder auf die Sensorbereiche 7 eines Flächensen- sors 6 in einer Kamera 3 (vgl. Figuren 1 und 2) . Im Folgenden seien die Strahlteilermodule je nach Anwendungsfall mit 20, 30 oder 40 bezeichnet.
Figur 3a zeigt den Fall der Erzeugung zweier Einzelfre- quenzbilder, also eine spektrale Trennung eines mikroskopi¬ schen Bildes in zwei Einzelfrequenzbilder. Selbstverständlich muss es sich hierbei nicht um einzelne Frequenzen han- dein; eine spektrale Trennung in zwei Spektralbereiche ist ausreichend. Ein von einem Objekt erzeugtes mikroskopisches Bild gelangt in das Strahlteilermodul 20. Dargestellt ist der Hauptbeobachtungsstrahlengang, der in einen dichroiti- sehen Strahlteiler 21 fällt, wo er in bekannter Weise auf- gesplittet wird. Der transmittierte spektrale Anteil trifft auf einen Sensorbereich 7, während der reflektierte spekt¬ rale Anteil über einen Umlenkspiegel 22 auf einen anderen Sensorbereich 7 gelenkt wird. Bei dieser Anordnung handelt es sich beispielsweise um einen in Figur la dargestellten
Flächensensor 6. Während der dargestellte Ob ektbereich auf den Sensorbereichen 7 jeweils der gleiche ist und das Bild aus der gleichen Fokusebene stammt, sind die Intensitäten der beiden Einzelbilder in der Regel unterschiedlich. Da beide Sensorbereiche 7 getrennt ansteuerbar sind, können die Intensitäten vordefiniert oder anwendungsbezogen nachgeregelt werden, bevor die erzeugten Einzelbilder über entsprechende Kanäle 9 in die Auswerteelektronik 11 gelangen (vgl . Figur 2 ) .
Figur 3b zeigt ein Strahlteilermodul 30 zur Erzeugung zwei¬ er Einzelbilder, die unterschiedliche Dynamikbereiche abde¬ cken bzw. zur Erzeugung zweier Einzelbilder unterschiedlicher Intensitäten. In der bereits beschriebenen Weise wird das mikroskopische Bild mittels des Strahlteilermoduls 30 in zwei Einzelbilder aufgetrennt, wobei hier mittels eines Neutralteilers 31 eine prozentuale Aufteilung der Intensi¬ tät vorgenommen wird. Beispielsweise werden 20% der auf¬ treffenden LichtIntensität vom Neutralteiler 31 transmit- tiert, während 80% reflektiert werden. Der reflektierte An¬ teil wird über einen Umlenkspiegel 32 auf einen der beiden Sensorbereiche 7 gelenkt. Während auf dem Sensorbereich 7 mit der transmittierten (schwachen) Intensität nur noch lichtstarke O ektbereiche erkennbar sind, sind auf dem an¬ deren Sensorbereich 7 mit der reflektierten (starken) Intensität auch lichtschwache Ob ektstrukturen erkennbar. Durch geeignete Wahl von Bildaufnahmeparametern sowie Bildverarbeitungsparametern für die beiden Sensorbereiche 7 bzw. die daraus resultierenden Einzelkanalbilder kann ein Multidynamikbild erzeugt werden, auf dem sowohl lichtstarke wie lichtschwache Objektstrukturen optimal sichtbar sind.
Figur 3c zeigt schließlich den Einsatz eines Strahlteilermoduls 40 zur Erzeugung eines Multifokusbildes . Hierzu weist das Strahlteilermodul 40 eine Zusatzoptik 42 auf. Mit dieser Zusatzoptik 42 wird der Fokus des Mikroskops in eine andere Objektebene (in z-Richtung) verlegt. Ein Strahltei¬ ler 41 nimmt eine insbesondere gleichanteilige Aufspaltung des auftreffenden HauptStrahlengangs vor. Der transmittier- te Anteil "schaut" gleichermaßen in eine andere Objekttiefe als der reflektierte Anteil. Mittels eines Umlenkspiegels 43 wird der reflektierte Anteil auf eine der beiden Sensor¬ bereiche 7 gelenkt. Die beiden Sensorbereiche 7 erhalten somit Einzelfokusbilder aus zwei verschiedenen Objekttiefen. Wird bei der nächsten Bildaufnahme der Mikroskopfokus verändert, so können wiederum zwei Einzelfokusbilder aufge- nommen werden. Auf diese Weise ist es möglich, durch geeig¬ nete Einstellung der Mikroskopfoki jeweils zwei Fokusaufnahmen zu erzeugen, wodurch die Zeit zur Erzeugung eines Multifokusbildes halbiert wird. Figur 4 zeigt als einfaches Beispiel eines Multikanal-
Fluoreszenzbildes ein Zweikanal-Fluoreszenzbild eines Zell¬ kerns mit Filamenten. Dieses Multikanalbild 4 kann mittels eines Auf aus gemäß Figur 3a erzeugt werden. Hier wird ein mikroskopisches Bild einer Zelle mittels eines Fluoreszenz¬ mikroskops erzeugt. Das Objekt wird mit Anregungsfrequenzen bestrahlt und der fluoreszierende Bereich mikroskopisch ab- gebildet. Die in den einzelnen Bildern 8a und 8b darge¬ stellten Ob ektbereiche sind jeweils dieselben und stammen aus der gleichen Fokusebene. Das Einzelfrequenzbild 8a (beispielsweise in der Falschfarbe rot dargestellt; hier in schwarz sichtbar) zeigt die Filamente der Zelle, während der bei einer anderen Frequenz fluoreszierende Zellkern im Einzelfrequenzbild 8b (beispielsweise in der Falschfarbe grün; hier in grau abgebildet) sichtbar wird. Erfindungsge¬ mäß können, wie oben ausführlich beschrieben, die Bildaufnahmeparameter und/oder die Bildverarbeitungsparameter der Einzelkanalbilder 8a und 8b unabhängig voneinander optimiert werden, bevor sie zu dem Zweikanal-Fluoreszenzbild 4 zusammengesetzt werden.
Bezugs zeichen
1 Mikroskopsystem
2 Mikroskop
3 Kamera
4 Multikanalbild
6 Flächensensor
7 Sensorbereich, Sektor
8a, 8b Einzelkanalbild
9 Kanal
10 Strahlteilermodul
11 Auswerteelektronik
[12 Region]
13 Steuereinheit
14 Beieuchtungseinheit
20 Strahlteilermodul
21 dichroitischer Strahlteiler
22 Umlenkspiegel
30 Strahlteilermodul
31 Neutralteiler
32 Umlenkspiegel
40 Strahlteilermodul
41 Strahlteiler
42 Zusatzoptik
43 Umlenkspiegel

Claims

Patentansprüche
1. Mikroskopsystem (1) mit einem Mikroskop (2) und einer digitalen Kamera (3) zur Darstellung eines Mult ikanalbildes (4), das eine geeignete Überlagerung von mehreren
Einzelkanalbildern (8a, 8b) darstellt, wobei das Mikroskop (2) einen Kamera-Port zum Anschluss der Kamera (3)
aufweist, die ihrerseits einen Flächensensor (6) aufweist, auf dem jedem Einzelkanalbild (8a, 8b) ein zugehöriger Sensorbereich (7) zugeordnet ist,
dadurch gekennzeichnet, dass Bildaufnahmeparameter eines einem Einzelkanalbild (8a, 8b) zugeordnetem Sensorbereichs (7) unabhängig von den Bildaufnahmeparametern der übrigen Sensorbereiche einstellbar sind.
2. Mikroskopsystem nach Anspruch 1, dadurch
gekennzeichnet, dass die Bildaufnahmeparameter die
Verstärkung und/oder die Integrationszeit und/oder die Kennlinie umfassen.
3. Mikroskopsystem (1) nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass Bildverarbeitungsparameter eines
Einzelkanalbildes (8a, 8b) unabhängig von
Bildverarbeitungsparametern der übrigen Einzelkanalbilder (8a, 8b) einstellbar sind.
4. Mikroskopsystem (1) nach Anspruch 1, 2 oder 3, dadurch gekennzeichnet, dass als Flächensensor (6) der digitalen Kamera (3) ein Sensor vom Typ sCMOS vorhanden ist.
5. Mikroskopsystem (1) nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die digitale Kamera (3) zwei oder vier Kanäle (9), die einer entsprechenden Anzahl von Sensorbereichen (7) zugeordnet sind, aufweist.
6. Mikroskopsystem (1) nach Anspruch 5, dadurch
gekennzeichnet, dass jeder Kanal (9) unabhängig von den anderen Kanälen (9) parametrisierbar ist.
7. Mikroskopsystem (1) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zur Verarbeitung der Bilddaten eine direkt an den Flächensensor (6)
angeschlossene Auswerteelektronik (10) vorgesehen ist.
8. Mikroskopsystem (1) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Flächensensor (6) ausgelegt ist, nur in einer oder mehreren
anwenderdefinierten Regionen (12) ausgelesen zu werden.
9. Verwendung eines Mikroskopsystems nach einem der Ansprüche 1 bis 8 zur Aufnahme eines
Multifluoreszenzsignalbildes (4), das durch ortsgenaue Überlagerung von Einzelfluoreszenzsignalbildern (8a, 8b) zusammengesetzt ist.
10. Verwendung eines Mikroskopsystems nach Anspruch 9, dadurch gekennzeichnet, dass mittels eines
Strahlteilermoduls (20), das mindestens einen dichroitischen Strahlteiler (21) aufweist, die Einzelfluoreszenzsignalbilder (8a, 8b) auf die diesen zugeordneten Sensorbereiche (7) geleitet werden.
11. Verwendung eines Mikroskopsystems nach einem der
Ansprüche 1 bis 8 zur Aufnahme eines Multidynamikbildes , das durch ortsgenaue Überlagerung von mehreren
Einzelbildern unterschiedlicher Dynamik zusammengesetzt ist .
12. Verwendung eines Mikroskopsystems nach Anspruch 11, dadurch gekennzeichnet, dass mittels eines
Strahlteilermoduls (30), das zumindest einen Neutralteiler (31) aufweist, die Einzelbilder auf die diesen zugeordneten Sensorbereiche (7) geleitet werden.
13. Verwendung eines Mikroskopsystems nach einem der
Ansprüche 1 bis 8 zur Aufnahme eines Multifokusbildes , das durch ortsgenaue Überlagerung von mehreren Einzelbildern aus unterschiedlichen Fokusebenen zusammengesetzt ist.
14. Verwendung eines Mikroskopsystems nach Anspruch 13, dadurch gekennzeichnet, dass mittels eines
Strahlteilermoduls (40), das zumindest einen Strahlteiler (41) und eine zugeordnete Zusatzoptik (42) aufweist, die Einzelbilder aus unterschiedlichen Fokusebenen auf die diesen zugeordneten Sensorbereiche (7) geleitet werden.
15. Verwendung eines Mikroskopsystems nach einem der
Ansprüche 1 bis 8 zur Autofokussierung mittels Aufnahme mehrerer Einzelbilder aus unterschiedlichen Ebenen eines Objekts zur Bestimmung der optimalen Fokusebene in diesem Ob ekt .
16. Verfahren zur Aufnahme eines Multikanalbildes (4) mit einem Mikroskop (2) und einer digitalen Kamera (3), wobei das Multikanalbild (4) eine geeignete Überlagerung von mehreren Einzelkanalbildern (8a, 8b) darstellt, und wobei das Mikroskop (2) einen Kamera-Port zum Anschlussd der Kamera (3) aufweist, die ihrerseits einen Flächensensor (6) aufweist, auf dem jedem Einzelkanalbild (8a, 8b) ein zugehöriger Sensorbereich (7) zugeordnet ist,
dadurch gekennzeichnet ,
dass Bildaufnahmeparameter eines einem Einzelkanalbild (8a, 8b) zugeordneten Sensorbereichs (7) unabhängig von den Bildaufnahmeparametern der übrigen Sensorbereiche (7) eingestellt werden.
17. Verfahren nach Anspruch 16, dadurch gekennzeichnet, dass als Bildaufnahmeparameter die Verstärkung und/oder die Integrationszeit und/oder die Kennlinie gewählt werden.
18. Verfahren nach Anspruch 16 oder 17, dadurch
gekennzeichnet, dass als Flächensensor (6) der digitalen Kamera (3) ein Sensor vom Typ sCMOS verwendet wird.
19. Verfahren nach einem der Ansprüche 16 bis 18, dadurch gekennzeichnet, dass die digitale Kamera (3) zwei oder vier Kanäle (9), die einer entsprechenden Anzahl von
Sensorbereichen (7) zugeordnet sind, aufweist, wobei jeder Kanal (9) unabhängig von den anderen Kanälen (9)
parametrisiert wird.
20. Verfahren nach einem der Ansprüche 16 bis 19, dadurch gekennzeichnet, dass eine direkt an den Flächensensor (6) angeschlossene Auswerteelektronik (10) zur Verarbeitung der Bilddaten eingesetzt wird.
21. Verfahren nach einem der Ansprüche 16 bis 20, dadurch gekennzeichnet, dass der Flächensensor (6) nur in einer oder mehreren anwenderdefinierten Regionen (12) ausgelesen wird .
PCT/EP2012/069617 2011-10-04 2012-10-04 Mikroskopsystem und verfahren zur aufnahme von multikanalbildern WO2013050467A1 (de)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
DE102011054171 2011-10-04
DE102011054171.3 2011-10-04
DE201210207207 DE102012207207A1 (de) 2011-10-04 2012-04-30 Mikroskopsystem und Verfahren zur Aufnahme von Multikanalbildern
DE102012207207.1 2012-04-30

Publications (1)

Publication Number Publication Date
WO2013050467A1 true WO2013050467A1 (de) 2013-04-11

Family

ID=47878785

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2012/069617 WO2013050467A1 (de) 2011-10-04 2012-10-04 Mikroskopsystem und verfahren zur aufnahme von multikanalbildern

Country Status (2)

Country Link
DE (1) DE102012207207A1 (de)
WO (1) WO2013050467A1 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012010208A1 (de) * 2012-05-15 2013-11-21 Carl Zeiss Microscopy Gmbh Mikroskop

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4117319C2 (de) 1990-05-25 1996-05-09 Suzuki Motor Co CCD-Treiberkreis
DE19533361C1 (de) 1995-09-09 1996-10-31 Pco Computer Optics Gmbh Bilderfassungssystem mit einem als Interline-Transfer-Sensor ausgebildeten CCD-Sensor und Verfahren zum Steuern eines solchen CCD-Sensors
WO2007056102A1 (en) * 2005-11-04 2007-05-18 The General Hospital Corporation System for multispectral imaging
EP2359745A1 (de) * 2010-02-12 2011-08-24 Helmholtz Zentrum München Deutsches Forschungszentrum für Gesundheit und Umwelt (GmbH) Verfahren und Vorrichtung zur multispektralen photonischen Bildgebung

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4117319C2 (de) 1990-05-25 1996-05-09 Suzuki Motor Co CCD-Treiberkreis
DE19533361C1 (de) 1995-09-09 1996-10-31 Pco Computer Optics Gmbh Bilderfassungssystem mit einem als Interline-Transfer-Sensor ausgebildeten CCD-Sensor und Verfahren zum Steuern eines solchen CCD-Sensors
WO2007056102A1 (en) * 2005-11-04 2007-05-18 The General Hospital Corporation System for multispectral imaging
EP2359745A1 (de) * 2010-02-12 2011-08-24 Helmholtz Zentrum München Deutsches Forschungszentrum für Gesundheit und Umwelt (GmbH) Verfahren und Vorrichtung zur multispektralen photonischen Bildgebung

Also Published As

Publication number Publication date
DE102012207207A1 (de) 2013-04-04

Similar Documents

Publication Publication Date Title
EP3721279B1 (de) Mikroskopsystem und verfahren zur mikroskopischen abbildung mit einem solchen mikroskopsystem
DE10151217B4 (de) Verfahren zum Betrieb eines Laser-Scanning-Mikroskops
EP2641078B1 (de) Tiefenauflösungsgesteigerte mikroskopie
EP1307726B2 (de) Verfahren zur erfassung des wellenlängenabhängigen verhaltens einer beleuchteten probe
DE102009060793A1 (de) Hochauflösendes Mikroskop und Verfahren zur zwei- oder dreidimensionalen Positionsbestimmung von Objekten
DE10033180B4 (de) Verfahren zur Detektion von Farbstoffen in der Fluoreszenzmikroskopie
DE102015107367A1 (de) Auswertung von Signalen der Fluoreszenzrastermikroskopie unter Verwendung eines konfokalen Laserscanning-Mikroskops
DE102014111167A1 (de) Hochauflösende Scanning-Mikroskopie mit der Unterscheidung mindestens zweier Wellenlängenbereiche
DE10222779A1 (de) Verfahren und Anordnung zur Untersuchung von Proben
WO2009124700A1 (de) Vorrichtung für mikroskopie mit selektiver beleuchtung einer ebene
DE10038528A1 (de) Verfahren und Anordnung zur Erhöhung der spektralen und räumlichen Detektorauflösung
WO2017055405A1 (de) Hochauflösende scanning-mikroskopie mit der unterscheidung mindestens zweier spektralbereiche
EP1302804A2 (de) Verfahren zur optischen Erfassung von charakteristischen Grössen einer beleuchteten Probe
DE102005020545A1 (de) Vorrichtung zur Steuerung von Lichtstrahlung
WO2018234453A1 (de) Hochauflösende scanning-mikroskopie mit der unterscheidung mindestens zweier wellenlängenbereiche
DE102004039035A1 (de) Verfahren und Vorrichtung zur Fluoreszenz-Lebensdauer-Imaging-Nanoskopie
EP2446314A1 (de) Verfahren zum auswerten von fluoreszenzereignissen in einem mikroskopbild
DE102013205115A1 (de) SPIM-Anordnung
DE102013208927A1 (de) Verfahren zur 3D-hochauflösenden Lokalisierungsmikroskopie
DE102011055639B4 (de) Verfahren und Vorrichtung zur simultanen Multikanal- und Multimethoden-Akquisition von synchronisierten Parametern in systemübergreifenden Fluoreszenzlebensdaueranwendungen
EP4189358B1 (de) Verfahren zum detektieren von emissionslicht, detektionsvorrichtung und laserscanning-mikroskop
DE102015111702A1 (de) Hochauflösende, spektral selektive Scanning-Mikroskopie einer Probe
DE102018129833B4 (de) Mikroskopsystem, Detektionseinheit für Mikroskopsystem und Verfahren zur mikroskopischen Abbildung einer Probe
DE202018103032U1 (de) Mikroskopiersystem zur Aufnahme eines Konfokalbildes und eines nicht-konfokalen Transmissionsbildes
WO2013050467A1 (de) Mikroskopsystem und verfahren zur aufnahme von multikanalbildern

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12781049

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 12781049

Country of ref document: EP

Kind code of ref document: A1