WO1999063381A1 - Anordnung und verfahren zur mikroskopischen erzeugung von objektbildern - Google Patents

Anordnung und verfahren zur mikroskopischen erzeugung von objektbildern Download PDF

Info

Publication number
WO1999063381A1
WO1999063381A1 PCT/EP1999/003069 EP9903069W WO9963381A1 WO 1999063381 A1 WO1999063381 A1 WO 1999063381A1 EP 9903069 W EP9903069 W EP 9903069W WO 9963381 A1 WO9963381 A1 WO 9963381A1
Authority
WO
WIPO (PCT)
Prior art keywords
arrangement according
image
confocal
images
different
Prior art date
Application number
PCT/EP1999/003069
Other languages
English (en)
French (fr)
Inventor
Norbert Czarnetzki
Peter MÜHLIG
Original Assignee
Carl Zeiss Jena Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carl Zeiss Jena Gmbh filed Critical Carl Zeiss Jena Gmbh
Priority to US09/463,722 priority Critical patent/US6545265B1/en
Priority to JP2000552534A priority patent/JP2002517774A/ja
Publication of WO1999063381A1 publication Critical patent/WO1999063381A1/de

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/008—Details of detection or image processing, including general computer control
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0036—Scanning details, e.g. scanning stages
    • G02B21/0044—Scanning details, e.g. scanning stages moving apertures, e.g. Nipkow disks, rotating lens arrays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G02B21/0072—Optical details of the image generation details concerning resolution or correction, including general design of CSOM objectives

Definitions

  • a method for pairwise mixing of confocal images and various arrangements for the rapid generation of parallel confocal images and their linking in real time are described.
  • the method is used to improve the contrast and resolution of confocal images.
  • the proposed arrangements show some possibilities for the sensible application of the method for image mixing in parallel confocal inputs or
  • REPLACEMENT SHEET Two-beam process for generating high-resolution images in real time for a wide variety of applications, especially for material inspection.
  • the fine structure of the object is resolved in the mixed image. Contrast, lateral and depth resolution are improved in the mixed image of the object to be examined, which can also be a phase object.
  • the method also allows the generation of high-resolution 3-dimensional digital images of optical examination objects.
  • the camera is used as a flat receiver with confocal features by controlling the sensitivity of surface elements, but this means that the complete picture is built up very slowly due to the necessary joining of partial pictures.
  • Disadvantages of parallel confocal single-disc scanners in general are the poor lighting efficiency (a few%) and limited confocality due to cross-talk effects of the parallel channels. Improvements in lighting efficiency have been achieved in fluorescence applications by using combinations of micro-optical components with congruent pinhole arrays (EP 0539691 A2, DE 19627568 A1). Problems with parallel confocal arrangements are an image background which is strongly brightened by reflection or scattering on the perforated disk and which can easily cover up the actual image content.
  • the invention has for its object to increase the contrast and resolution of confocal images.
  • the object of the invention is the further improvement of the contrast and the resolution of confocal images with the possibility of fast three-dimensional imaging of transparent objects or height-structured surfaces by means of the use of an image mixing process carried out by linking different confocal images of an object section and their electronic (real-time) representation.
  • the method for mixing confocal images as well as various arrangements for the rapid generation of parallel confocal images and their suitable linking in quasi real time are described.
  • the mixing process is also applicable to any form of confocal images that can depict the exact same object section, e.g. thus also suitably generated images from laser scanning microscopes. In the context of this document, however, confocal embodiments are primarily explained in parallel.
  • confocal lighting grids and imaging grids for the rapid generation of confocal electronic images with the complete image information are generated in parallel and stored for the subsequent image linkage.
  • the overall image is built up very quickly due to the parallel generation of confocal pixels in the partial beam paths.
  • the speed of the image construction provides favorable conditions for the decoupling of thermal or mechanical disturbances (vibrations) during the image construction. It also provides the possibility of generating a quasi real-time image, which also allows process examinations in or on the examination object. Due to the efficiency of image creation and the favorable depth discrimination of the special confocal principle, 3D images are also can be generated, which can provide novel object information, particularly in the case of transparent objects (phase objects).
  • Fig. 11 Arrangement for a parallel confocal image mixing process with two lasers for illumination as a single beam structure with two TDI cameras based on the linear scan principle.
  • a white light source WQ luminous field diaphragm LBL, collector lens KL, aperture diaphragm ABL, mirror S1, condenser lens KOL, exchangeable dichroic beam particles ST1, ST2, ST3, a carrier disk TS with different ring sectors with pinhole arrays PH1, PH2 are arranged in the illuminating beam path.
  • a pulse sensor IS detects the passage of pulse marks IIS11, IM2 arranged on the carrier disk TS, which are assigned to the ring sectors.
  • the TUL tube lens and the AO1 imaging lens illuminate object 0 in the object plane.
  • the light coming from object 0 passes through a selectable beam splitter ST and a magnifying detector optics DL to a camera KA, which can be a CCD matrix camera.
  • the analog-digital converter AD, frame grabber FG, memory SP1, SP2, processor PR, which can be part of a computer PC in which the mixed image MB is created, are necessary, typical process-related components of the electronics and software.
  • the first major version of a scanner for the image mixing process is a modified perforated disc according to Nipkow.
  • different ring sectors with different pinholes or perforated elements are optionally structured as squares, rhombuses or ring elements such as perforated rings, square rings or the like with suitable spiral patterns on the Nipkow disc, which have different element sizes and distances in the ring sectors of the turntable.
  • the hole elements or the entire structure of the ring sectors as well as the synchronous and clock tracks are produced, for example, by a micolithographic structuring process. Due to the rotating movement of the Nipkow disc, the different ring sectors of the disc return periodically in the intermediate image plane light field.
  • the entire arrangement for realizing the image mixing method with this modified Nipkow scanner is explained below with reference to FIG. 1a.
  • the basic optical arrangement is a microscope with the modified Nipkow disk as a confocal element.
  • An incoherent, conventional light source is used for lighting.
  • One or, depending on the application, a plurality of interchangeable divider elements which are intended to separate the illumination beam path from the imaging beam path are designed either as neutral dividers, dichroic dividers or as polarization splitters.
  • the Nipkow disc rotates perpendicular to the optical axis at the level of the intermediate image plane in the microscope.
  • a secondary image of the observation object is generated on the receiver KA by means of the re-magnifying detector optics DL.
  • the speed of the modified Nipkow disk should be controllable so that the exposure conditions of the receiver can be adjusted to the intensity ratios of different objects under observation.
  • the modified Nipkow disc creates a confocal image type 1 in the ring sector PH 1 or a confocal image type 2 in the ring sector PH2 after further rotation of the disc. Both image types are in turn successively determined by the area .
  • nger KA registered and digitized a downstream A / D converter distinguishable.
  • Figure 1b shows the basic structure of the modified Nipkow disc and the hole structure schematically and their sectoral configuration.
  • the carrier disk TS in FIG. 1b is provided with pulse marks IM on a clock track TKS and different pinhole zones PH1, PH2, black zones SZ1, SZ2 and a centering circle ZK.
  • the modified Nipkow disc thus consists of two ring sectors with different, generalized hole elements - separated by dark areas - with a spiral basic arrangement of the pinholes to each other, in order to use the rotating movement of the Nipkow disc to carry out the confocal scan of the entire object surface (in
  • the perforated elements of a ring sector each have the same character (geometry, perforated area) and average distance from each other, the degree of coverage with the perforated area should preferably be the same in both ring sectors.
  • an image will be completely scanned after a certain angle of rotation of the Nipkow disc, whereby a multiple number of scans of an object area should take place per ring sector in order to prevent defects during the scan (disc wobble, eccentric running of the disc), inter alia by averaging the resulting optical image sequences .
  • the arrangement of the spiral patterns can be both clockwise and counterclockwise, and the direction of rotation of the disk can always be arbitrary.
  • the black sectors SZ1, SZ2 serve to separate the ring sectors and the image deletion (zeroing of the camera) of the previous image.
  • the method for improving confocal images consists in linking at least two or more confocal images of an identical observation object or an identical object section.
  • the confocal images to be mixed should be optically generated very quickly in succession and then linked electronically with pixel accuracy.
  • Pixel-perfect means here, for example, for each individual pixel of a CCD camera or TDI camera.
  • the linking operations are aimed at improving the quality and resolution of the mixed image. Contrast, lateral and depth resolution in the mixed image are improved as an image and information carrier of the real object to be examined. This is achieved by pixel-oriented linking operations such as shifting operations, multiplicative or differential operators on and with the image pixels or pixel information that come from the receiver. The most important and essential
  • the basic procedure is illustrated by way of example using 9x9 pixel elements of the image matrices in FIG. 2.
  • 2 shows the two recorded image pixel matrices BM 1, BM2 stored in SP1, SP2 and the mixed image matrix MBM which is created and stored by the above signal processing.
  • the necessarily digitized image pixels can be formed immediately mathematically by differentiating the assigned row (same capital letters) and column elements (same lower case) elements of the image matrices.
  • the exact spatial correspondence means that the imaging conditions and the object position do not change during the successive exposures, which can be achieved primarily by known measures such as vibration damping.
  • the method can be used for both confocal incident light images and confocal fluorescence images, but with very different results in the possible final resolution in the mixed image, since the interaction of the confocal optical probe with the object to be imaged does not contain any scattering components in the fluorescence application, but rather of the self-luminous character of the Object is determined!
  • the technical implementation of the device is preferably carried out optically using scanner types that can very quickly generate two different confocal images.
  • the temporal synchronization to the receiver takes place in two versions via synchronization tracks on the Nipkowscanner as in Fig.1a or tape scanner as shown in Fig.3 or on a filter wheel as in Fig.7, which have an electrical connection to the receiver via sensors.
  • two confocal images are created at the same time by using two cameras as in FIGS. 9 and 10, the object sections, which are currently being scanned, differing spatially due to the progressive scan but at a later point in time the same object sections were imaged.
  • the temporal and spatial separation of the two confocal images is eliminated, which is shown schematically in FIG. 11.
  • the two or pair of multiple confocal images of the object to be examined are digitized for further processing and separately recorded in memories in an image grabbing process.
  • the synchronizing signals provide the differentiation criterion for the storage of the various images. If at least two images are stored, the link can be carried out by the image processing processor (DSP). Then the final mixed image is available for visualization (monitor, image printer, image evaluation or the like).
  • FIG. 3 shows the arrangement for implementing the image mixing method with a belt scanner.
  • FIG. 3 shows a carrier tape TB with a motor-driven drive pulley AS and a further running pulley LS, wherein AS, LS (not shown) are rotatably articulated.
  • pulse marks IM3 are provided on the tape TB for detecting the tape position.
  • the basic optical arrangement in FIG. 3 is a microscope with a modified band scanner as a confocal element.
  • a conventional light source continuously or line source
  • the well-known Köhler illumination is used to achieve an advantageously uniform illumination over the field.
  • a plurality of interchangeable divider elements which are intended to separate the illumination beam path from the imaging beam path can be designed as a neutral divider, dichroic divider or polarization divider.
  • the confocal band as already mentioned with different generalized hole structures in different band zones - runs perpendicular to the optical axis at the level of the intermediate image plane in the microscope, whereby some optical elements of the microscopic beam path may have to be encircled by the band.
  • the tape can be run via drive or deflection rollers and should be adjustable in terms of the speed of rotation so that the exposure conditions of the receiver can be adapted to the intensity ratios of various objects under observation.
  • the confocal band creates a confocal image type 1 in the perforated zone PH1 or a confocal image type 2 in the perforated zone PH2 after the tape has continued.
  • perforated elements can in turn be structured as confocal diaphragms on the belt. This is shown in Fig.5.
  • Both types of images are recorded one after the other by an area receiver and a downstream A / D converter is digitized in a distinguishable manner.
  • the image types are distinguished by the synchronizing pulses IM3, which are applied to the scanner tape for marking the hole zones and are registered by an auxiliary sensor, as shown in FIG. 1. They are used to control both the camera (sensitivity switching, electronic gating) and the correct selection of image memories for the respective confocal image types, as well as software triggering the point in time when the image contents are meaningfully linked by the image processor to the mixed image.
  • This form of scanner for the image mixing process is based on a circumferential perforated tape.
  • Areas with pinholes or more general perforated elements such as squares, rhombuses or ring elements such as perforated rings, square rings or the like are structured on or in a flexible material, for example a thin steel strip, a plastic material or a blackening film strip have different element sizes and distances in different zones of the band. For example, they can be formed and etched by a micolithographic exposure process or generated as a periodic pattern by a photochemical exposure process.
  • the different perforated element zones of the tape recur periodically and are marked by markers outside the perforated element zone at the beginning thereof and are read by an electronic sensor when the tape is running and used as a synchronizing signal.
  • the tape is created as a periodic pattern and finally joined together in a suitable length to form a closed tape (gluing).
  • the confocal band in Fig. 4 consists of two different perforated zones with a basic rhombic basic arrangement of the pinholes to each other in order to achieve the scan for the entire object area through the belt run.
  • the pinholes of a hole zone have the same geometry and spacing from one another, with the degree of coverage with the hole area being the same in both hole zones.
  • an image will be completely scanned after a certain running distance of the belt, with a full number of periodic structures being present per perforated zone.
  • the arrangement for the hole geometry can be selected both on the right side and on the left side, as shown in FIG. 5.
  • 5 shows in 5a, 5b a rhombic basic arrangement PH11, PH12 running on the left side to the scanning direction (arrow) and in 5c, 5d a rhombic basic arrangement PH21, PH22 running on the right side to the scanning direction.
  • 6 shows examples of perforated elements in the form of rhombic and circular holes as confocal elements for a band scanner.
  • 6 shows two pairs of confocal structures in 6a, 6b left-hand rhombic basic arrangements PH13, PH14 with a rhombus-shaped pinhole shape and in 6c, 6d right-hand rhombic basic arrangements PH23, PH24 with circular pinhole shape.
  • Figure 7 shows another advantageous scanner variant with a simple Nipkow disc.
  • a motor-driven filter wheel FD with color filters FF1, FF2 for wavelengths ⁇ 1, ⁇ 2 and the carrier disc TS with a uniform hole pattern PH3.
  • a conventional white light source is used for the lighting.
  • the divider element ST is preferably designed here as a neutral divider.
  • the Nipkow disc also rotates at the level of the intermediate image plane in the microscope, but is only structured with one type of hole. In this arrangement, the different confocal images are created by processing according to the method already described as images with different color information from the identical observation object.
  • the speed of the color filter disk used according to the invention should be controllable in order to be able to adapt to the intensity ratios of different observation objects when the receiver is exposed.
  • the Nipkow disc creates a confocal image type 1 or, after switching or rotating the color filter disc, a confocal image type 2.
  • Other wavelengths can be used by replacing the filter disc FD.
  • the image types are differentiated by the sync pulses IM4, which are applied to the color filter sectors and registered by an auxiliary sensor.
  • FIG. 8 shows two examples of pairs of hole elements on a modified Nipkow disc in the form of hexagonal holes and square ring holes arranged as confocal elements in cutouts in Nipkow 's spiral structures.
  • a spiral structure with a hexagonal pinhole type PH1, PH2 and a spiral structure with a square pinhole type PH1, PH2 are shown there in FIG. 6a, 8b.
  • FIG. 9 shows a further advantageous arrangement according to the invention with light sources LQ1, LQ2, luminous field diaphragms LBL1, LBL2, collector lenses KL1, KL2, aperture diaphragms ABL1, ABL2, mirrors S11, S12, condenser lenses KOL1, KOL2, beam splitters ST4, ST5 and carrier disks TS1, TS2, that can be part of a common carrier disc.
  • Tube lenses TUL1, TUL2 and imaging objectives A02, A03 are arranged in the direction of object 0.
  • Object 0 is defined by an object translator OT and can be moved.
  • optically re-magnifying detection optics DL1, DL2, cameras KA1, KA2, analog-digital converters AD1, AD2, frame grabbers FG1, FG2, memory SP1, SP2, a processor PR are provided for generating the mixed image MB.
  • This third basic version of a scanner for the image mixing process is a linear scanner with a rhombic arrangement of the confocal elements to one another, which can be used in a monobundle or two-bundle arrangement.
  • On the stationary disc with the confocal elements (perforated elements) are two mutually suitably spatially offset zones with perforated elements (rectangular) with rhombic basic patterns of the perforated elements, which have different sizes of perforated elements and average distances in the respective perforated zone.
  • the perforated elements in the different zones and the correct position of the areas relative to one another are designed and structured very precisely with respect to one another, for example, using a microlithographic production process.
  • the uniform displacement of the observation object - the scanning effect of the tape scanner due to belt circulation is relatively similar - within a displacement path dependent on the rhombic basic structure, a section of the observation object is scanned in parallel and its (line) image is completely generated.
  • the confocal image can advantageously be electronically evaluated efficiently only by means of a special camera (TDI camera) which combines the “confocal point pattern image” through its operating principle of the synchronous transverse shift of the photoelectronically generated charges between the parallelized lines (stages) to form a closed line image .
  • the line image is finally read out very quickly and continuously, which results in a strip-like image format of the object under observation when it is moved.
  • the application of the last proposed linear scanner can take place in a basic optical arrangement similar to a microscope (automatic inspection machine).
  • Either two conventional lamps (preferably short-arc lamps) or two different lasers can be used as light sources, which can be operated in sub-variants of the arrangement with different as well as the same wavelengths.
  • Two (also interchangeable) divider elements each of which is intended to separate the illuminating beam path from the imaging beam path, are designed either as neutral dividers, dichroic dividers or as polarization dividers.
  • the observation object (primarily wafers in the structuring process) is moved uniformly perpendicular to the optical axis of the optical arrangement, whereby the parallel confocal image scan is carried out at the level of the intermediate image plane of the device by means of the rhombic basic pattern of the perforated elements.
  • the speed of the movement of the observation object should be adjustable in order to adapt to the sensitivity (exposure, luminance source) as well as the readout speed of the receiver (TDI line scan cameras).
  • the linear scanner creates a confocal image type 1 (with an elongated image format) in the perforated zone or a confocal image type 2 (with an elongated image format) spatially offset in the perforated zone2.
  • Each image - here optically parallel, but slightly spatially offset - is registered simultaneously by the assigned receiver and digitized by a downstream A / D converter.
  • the receivers should advantageously be TDI line cameras (Time Delayed Integration), which have extremely high readout rates and thus allow efficient, continuous object movement and thus achieve the highest test productivity at the moment.
  • the distinction between the image types (storage) is evidently easy in this third basic version of the scanner. Due to the well-known spatial separation of the two bundles of images and the Object speed, it is possible to assign identical object structures (pixel-precise) in the images or their electronic representatives in the memories for image mixing. The meaningful linking of the memory contents by the image processor to the mixed image can thus take place if digital image portions of the same object section are present. The exact same image section is determined using the known shifting speed and the constant spacing of the hole zones.
  • FIG. 10 shows a further advantageous, more easily adjustable and stable variant of the linear scanner in which only one optical imaging system but two confocal bundles are used. Here the bundles are pushed together, for example by narrow beam splitters.
  • FIG. 10 shows a tube lens TUL3 common to both beam paths, a common imaging objective A04 and an optically re-magnifying detection lens DL3.
  • the lighting is carried out using either two conventional lamps (preferably short-arc lamps) or two different lasers.
  • the peculiarity of the confocal lighting and imaging principle in the method and arrangements according to the invention in contrast to non-confocal, classic incident light illumination, allows the use of lasers as a light source!
  • the statistically arising spatio-temporal coherence cells which show up as speckle in the laser beam and which characterize the phenomenological, characteristic granules in the laser beam cross-section, are eliminated or reduced by the averaging, which also has a spatio-temporal effect, by means of scanning over the beam cross-section of the illuminating laser, and thus the intensity-incorrect grain in the pixels avoided.
  • Another advantage of the confocal image structure is the strong reduction of the influence of secondary reflections from the lens surfaces of the imaging optical system through the confocal diaphragms in the image plane, which only allow a fraction of the false light capable of interference to penetrate into the secondary image space (reflex images are generally created far from the image plane correct system design) and reduce their contrast-damaging effect in the picture.
  • One advantage of the linear scanning principle in the proposed application is the applicability of different mixing principles: not only can the confocality be set by changing the pinhole size, but also, for example, by choosing different illumination wavelengths in the two channels or by choosing different apertures in the imaging channels. This results in advantageous combinations and further qualitative advantages in the implementation of the image mixing process.
  • FIG. 11 shows an arrangement with two lasers for lighting and two TDI cameras based on the linear scanning principle.
  • Laser L1 with wavelength ⁇ 1 and laser L2 with wavelength ⁇ 2 are focused point by point via beam splitter ST6 and condenser lens KOL3 and a microlens array MLA in the direction of a pinhole array PH3.
  • the lighting of the object takes place via tube lens TUL4, a ⁇ 4 plate PL and the imaging lens A05.
  • a polarization beam splitter PST for masking out in the direction of optically re-magnifying detection optics DL4 and a dichroic beam splitter ST7 for wavelength-selective division of the detection light in the direction of cameras KA1, KA 2 with the elements described above.
  • This advantageous version of an automatic inspection device using the image mixing method with two differently colored lasers for lighting implies that the advantage of the laser - the unsurpassed spectral luminance - is used for an optimal exposure process of the TDI cameras, without the decisive disadvantage of the laser light sources - the contrast-damaging effect the great ability of the laser to interfere with optical images - to be directly subjected.
  • the illumination efficiency in parallel confocal arrangements can be improved enormously with laser illumination through a microlens array (conjugated to rhombic hole array).
  • the special array MLA for the image mixing method with different working wavelengths and a type of hole for the 2 laser lines must be color corrected and is advantageously illuminated in parallel by the condenser.
  • the focal length and diameter of the microlenses must also correspond to the required image-side apertures of the main optical system and be exactly centered on the hole array, as a result of which so-called 'critical illumination ' of the hole elements is generated.
  • the coupling (mixing together) of the two lasers into the illumination beam path is carried out by a dichroic mirror ST6.
  • the separation (separation) of the different color laser images in the imaging beam path is also carried out by a dichroic mirror ST7.
  • the illumination and imaging beam path are advantageously separated by a polarization-optical splitter mirror PST in combination with a broadband ⁇ / 4 plate for the laser lines.
  • these different varieties can be used to reveal or make new object properties visible.
  • the invention is also advantageously applicable to laser scanning microscopes such as Zeiss LSM4 or 5 and has been tested for them by recording several confocal reflection images of the same object section and processing them as described.
  • Sections of the carrier tape TB with pinhole arrangements PH1, PH2 Sections of the carrier tape TB with pinhole arrangements PH1, PH2
  • Fig.6 6a, 6b left-hand rhombic basic arrangements PH13, PH14 with a rhombus-shaped pinhole shape
  • 6c, 6d right-hand rhombic basic arrangements PH23, PH24 with circular pinhole shape
  • LQ1 illuminated field diaphragms LBL1, LBL2
  • Carrier washers TS1, TS2 Carrier washers TS1, TS2
  • TUL2 Tube lens TUL1.

Landscapes

  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

Beschrieben werden ein Verfahren zum paarweisen Mischen konfokaler Bilder sowie verschiedene Anordnungen zur schnellen Erzeugung parallel konfokaler Bilder und deren Verknüpfung in Echtzeit. Das Verfahren dient der Verbesserung von Kontrast und Auflösung konfokaler Bilder. Die vorgeschlagenen Anordnungen zeigen einige Möglichkeiten der sinnvollen Anwendung des Verfahrens zum Bildmischen in parallel konfokalen Ein- oder Zweistrahlverfahren zur Erzeugung hochaufgelöster Bilder in Echtzeit für verschiedenste Applikationen insbesondere auch zur Materialinspektion. Durch die Verknüpfung von mindestens zwei Konfokalbildern erreicht man eine Auflösung der Feinstruktur des Objektes im Mischbild. Verbessert werden Kontrast, laterale und Tiefenauflösung im Mischbild des zu untersuchenden Objektes, welches auch ein Phasenobjekt sein kann. Das Verfahren gestattet weiterhin die Erzeugung höchstaufgelöster 3-dimensionaler digitaler Bilder von optischen Untersuchungsobjekten.

Description

Anordnung und Verfahren zur mikroskopischen Erzeugung von Objektbildern
1. Recherchierte Dokumente
Patente
DE 4023650 A1 25.07.1990 Dodt DE P 40 35 799.6 10.11.1990 Großkopf u.a.
WO 92/01965 08.07.1992 Wijnaendts
DE 4429416 A1 19.08.1994 Velzel u.a.
DE 19511937 C2 31.03.1995 Schöppe
DE 19529546 A1 11.08.1995 Kapitza DE 19627568 A1 09.07.1996 Czarnetzki
DE 19632594 A1 13.08.1996 Schwider
19714221.4 12.02.1997 Ott u.a.
WO 97/31282 28.08.1997 Wilson u.a.
US 5264912 US 5365084
Literatur
„Image formation in the scanning microscope" C.J.R. Sheppard, A. Choudhury
; Optica Acta ,1977, Vol. 24, No. 10, S. 1051-1073
2. Kurzbeschreibung
Beschrieben werden ein Verfahren zum paarweisen Mischen konfokaler Bilder sowie verschiedene Anordnungen zur schnellen Erzeugung parallel konfokaler Bilder und deren Verknüpfung in Echtzeit. Das Verfahren dient der Verbesserung von Kontrast und Auflösung konfokaler Bilder. Die vorgeschlagenen Anordnungen zeigen einige Möglichkeiten der sinnvollen Anwendung des Verfahrens zum Bildmischen in parallel konfokalen Ein- oder
ERSATZBLATT (RESEL 26) Zweistrahlverfahren zur Erzeugung hochaufgelöster Bilder in Echtzeit für verschiedenste Applikationen insbesondere auch zur Materiaiinspektion. Durch die Verknüpfung von mindestens zwei Konfokalbildern erreicht man eine Auflösung der Feinstruktur des Objektes im Mischbildes. Verbessert werden Kontrast, laterale und die Tiefenauflösung im Mischbild des zu untersuchenden Objektes, welches auch ein Phasenobjekt sein kann. Das Verfahren gestattet weiterhin die Erzeugung höchstaufgelöster 3-dimensionaler digitaler Bilder von optischen Untersuchungsobjekten.
3. Stand der Technik
Neben den konfokalen Laser-Scanning-Mikroskopen, die oft nur einen sehr aufwendigen und langsamen Aufbau des Bildes gestatten, haben sich vor allem Anordnungen zum Scannen einer zu untersuchenden Objektebene mit Hilfe von Nipkowscheiben etabliert oder es sind verschiedenartig scannende Pinholearrays (DE P 4035799.6, DE 19627568 A1 , 19714221.4) zur Erzeugung konfokaler Bilder vorgeschlagen worden. Neben den typischen Auflichtanordnungen sind auch technisch bisher nicht realisierte Durchlichtanordnungen vorgeschlagen worden (DE 4023650 A1). Vorteil aller dieser Scannerformen mit gleichzeitig (parallel) arbeitenden Konfokalbündeln ist ein schneller konfokaler Bildaufbau in Echtzeit für eine kontrastreiche Beobachtung mit dem bloßen Auge als auch mit einer Kamera (WO 92/01965). Im zuletzt zitierten Patent wird die Kamera als flächiger Empfänger mit konfokalen Merkmalen durch Empfindlichkeitssteuerung von Flächenelementen benutzt, wodurch allerdings das komplette Bild durch das notwendige Zusammenfügen von Teilbildern sehr langsam aufgebaut wird. Nachteile der parallel konfokalen Einscheibenscanner allgemein sind die schiechten Beleuchtungwirkungsgrade (wenige %) sowie eingeschränkte Konfokalität durch Übersprecheffekte der parallelen Kanäle. Verbesserungen bei der Beleuchtungseffizienz wurden bei Fluoreszenzapplikationen durch Einsatz von Kombinationen von mikrooptischen Komponenten mit deckungsgleichen Pinholearrays erreicht (EP 0539691 A2, DE 19627568 A1 ). Probleme bei parallel konfokalen Anordnungen sind ein durch Reflexion oder Streuung an der Lochscheibe stark aufgehellter Bild- Hintergrund, der den eigentlichen Bildinhalt leicht überdecken kann. Zur Verringerung des störenden Streulichteinflusses einer einzelnen Nipkowscheibe schlug z.B. Xiao und Kino et al 1987 eine geneigte Scheibe mit gerichtet reflektierender Scheibenoberfläche vor, deren Beleuchtungs- Rückreflex kontrolliert ausgeblendet wurde. Ergänzt werden die Maßnahmen zur Störlichtbeseitigung in DE 19511937 C2 durch optische Keile und rhombisch angeschnittene Teilerelemente oberhalb einer Nipkowscheibe und dadurch konsequenterer Beseitigung destruktiver Lichtanteile im Bildbündel. Manche durch die Zusatzelemente entstehende Störungen der konfokalen Wirkung im Hauptstrahlengang können in vielen Applikationen akzeptiert werden, bei der Anwendung konfokaler Mikroskope in sehr hochwertigen Applikationen z. B. in der Mikrobiologie oder der Inspektionstechnik oft jedoch nicht. Eine enorme Verbesserung der Unterdrückung des Falschlichtes gelingt durch körperliche Trennung der konfokalen Elemente in Beleuchtung von denen in der konfokalen Beobachtung. Durch die daraus resultierende Anwendung zweier Konfokalarrays wird leider auch eine Verschärfung der Empfindlichkeit bei der Herstellung der notwendigen exakten Konjugation bewirkt (19714221.4). In WO 97/31282 wird eine Form von Shading Korrektur an konfokalen Bildern vorgenommen, indem ein Hellfeldbild mit einem Konfokalbild verknüpft wird durch gemeinsame Einbelichtung auf eine Kamera sowie folgender Differenzbildung mit einem reinen Hellfeldbild des gleichen
Objektausschnittes. Dadurch resultiert ein helleres Bild auf der Kamera, was u.a. die generellen Beleuchtungsdefizite des Konfokalbildes zu nichtkonfokalen Mikroskopbildern ausgleichen soll.
US 5365084 beschreibt eine Anordnung zur Untersuchung eines laufenden
Gewebebandes mit einem TDI Sensor zur Lichtdetektion.
Der Einsatz eines CCD- Arrays oder eines TDI Sensors zur Waferinspektion ist in US 5264912 vorgesehen. 4. Zusammenfassung der erfinderischen Lösungen
Der Erfindung liegt die Aufgabe zugrunde, Kontrast und Auflösung konfokal aufgenommener Bilder zu erhöhen.
Die Aufgabe wird durch die Merkmale der unabhängigen Ansprüche gelöst. Bevorzugte Weiterbildungen sind Gegenstand der abhängigen Ansprüche.
Gegenstand der Erfindung ist die weitergehende Verbesserung des Kontrastes und der Auflösung konfokaler Bilder mit der Möglichkeit der schnellen dreidimensionalen Abbildung von transparenten Objekten oder höhenstrukturierten Flächen vermittels der Anwendung eines Bildmischverfahrens durchgeführt über die Verknüpfung verschiedener Konfokalbilder eines Objektausschnittes sowie deren elektronischer (Echtzeit-) Darstellung. Beschrieben werden das Verfahren zum Mischen konfokaler Bilder sowie verschiedene Anordnungen zur schnellen Erzeugung parallel konfokaler Bilder und deren geeignete Verknüpfung in quasi Echtzeit. Das Mischverfahren ist aber auch anwendbar auf jegliche Form von konfokalen Bildern, die den exakt gleichen Objektausschnitt abbilden können z.B. also auch geeignet erzeugten Bildern von Laser-Scanning-Mikroskopen. Im Rahmen dieser Schrift werden aber vorrangig parallel konfokale Ausführungsformen erläutert.
Mit verschiedenen Scanprinzipien werden parallel konfokale Beleuchtungsraster und Abbildungsraster zur schnellen Generierung konfokaler, elektronischer Bilder mit der kompletten Bildinformation erzeugt und für die nachfolgende Bildverknüpfung gespeichert. Durch die parallel wirkende Erzeugung von konfokalen Bildpunkten in den Teilstrahlengängen wird das Gesamtbild sehr schnell aufgebaut. Die Geschwindigkeit des Bildaufbaus liefert günstige Voraussetzungen für die Abkopplung von thermischen oder mechanischen Störungen (Schwingungen) beim Bildaufbau. Sie liefert weiterhin die Möglichkeit der Erzeugung eines quasi Echtzeitbildes, die auch Prozeßuntersuchungen im oder am Untersuchungsobjekt gestatten. Auf Grund der Effizienz der Bildentstehung sowie der günstigen Tiefendiskriminierung des speziellen Konfokalprinzips sind auch 3D-Bilder generierbar, die insbesondere bei durchsichtigen Objekten (Phasenobjekte) neuartige Objektinformationen liefern können.
Die Erfindung wird nachstehend anhand der schematischen Zeichnungen näher erläutert.
Es zeigen:
Fig.1a:
Anordnung für ein parallel konfokales Bildmischverfahren mit modifizierter
Nipkowscheibe
Fig. 1b: modifizierte Nipkowscheibe für parallel konfokales Bildmischverfahren Fig. 2:
Schema der Bildpunktzuordnungen beim Bildmischverfahren
Fig. 3:
Anordnung für ein parallel konfokales Bildmischverfahren mit modifiziertem
Bandscanner Fig. 4: Detail modifizierter Bandscanner für Bild- Mischverfahren
Fig.5:
Varianten der rhombischen Anordnung auf Bandscannern für konfokales Bild- Mischverfahren
Fig.6: Weitere Varianten für verallgemeinerte Lochelemente
Fig.7:
Anordnung für ein parallel konfokales Bildmischverfahren mit Nipkowscheibe und zwei Beleuchtungswellenlängen
Fig. 8: Beispiele für weitere verallgemeinerte Pinholetypen Fig. 9:
Anordnung für ein parallel konfokales Bildmischverfahren ausgeführt als
Aufbau mit zwei Bündeln und Linearscanprinzip
Fig.10:
Anordnung für ein parallel konfokales Bildmischverfahren als Aufbau mit Monobündel und Linearscanprinzip
Fig.11: Anordnung für ein parallel konfokales Bildmischverfahren mit zwei Lasern zur Beleuchtung als Einstrahlaufbau mit zwei TDI - Kameras im Linearscanprinzip.
In Fig.1a sind im Beleuchtungsstrahlengang eine Weißlichtquelle WQ Leuchtfeldblende LBL, Kollektorlinse KL, Aperturblende ABL, Spiegel S1, Kondensorlinse KOL, auswechselbare dichroitische Strahlteiier ST1 , ST2, ST3, eine Trägerscheibe TS mit unterschiedlichen Ringsektoren mit Pinholearrays PH1 , PH2 nachgeordnet. Ein Impulssensor IS erfaßt den Durchgang von auf der Trägerscheibe TS angeordneten Impulsmarken IIS11 , IM2, welche den Ringsektoren zugeordnet sind. Über Tubuslinse TUL sowie Abbildungsobjektiv AO1 erfolgt die Beleuchtung des Objektes 0 in der Objektebene. Das vom Objekt 0 kommende Licht gelangt über einen wählbaren Strahlteiier ST und eine vergrößernde Detektoroptik DL auf eine Kamera KA, die eine CCD- Matrix- Kamera sein kann. Der Analog- Digitalwandler AD, Frame Grabber FG, Speicher SP1 , SP2, Prozessor PR, die Bestandteil eines Computers PC sein können in dem das Mischbild MB entsteht, sind notwendige, verfahrenstypische nachgeordnete Komponenten der Elektronik und Software.
Die erste Hauptversion eines Scanners für das Bildmischverfahren ist eine modifizierte Lochscheibe nach Nipkow. In einer ersten Variante sind auf der Nipkowscheibe verschiedene Ringsektoren mit unterschiedlichen Pinholes oder Locheiementen wahlweise als Quadrate, Rhomben oder Ringelemente wie Lochringe, quadratische Ringe o.a. mit geeigneten Spiralmustern strukturiert, die unterschiedliche Elementgrößen und Abständen in den Ringsektoren der Drehscheibe aufweisen. Die Lochelemente respektive die gesamte Struktur der Ringsektoren sowie die Synchron- und Taktspuren sind z.B. durch einen mikolithographischen Strukturierungsprozeß hergestellt. Durch die Drehbewegung der Nipkowscheibe kehren die unterschiedlichen Ringsektoren der Scheibe periodisch in der Leuchtfeld Zwischenbildebene wieder. Sie sind durch Synchronmarken außerhalb der Lochzone an deren Beginn und Ende markiert und werden durch einen elektronischen Hilfssensor beim Drehen der Lochscheibe gelesen und wiederum als Synchronsignal genutzt. Die einzelnen Marken unterscheiden sich hierbei, beispielsweise als Einzel- und Doppelmarken, um die eindeutige Auslesung der Scheibenposition zu gewährleisten.
Anhand der Figur 1a sei die gesamte Anordnung zur Realisierung des Bildmischverfahrens mit diesem modifizierten Nipkowscanner nachfolgend erläutert. Die optische Grundanordnung ist ein Mikroskop mit der modifizierten Nipkowscheibe als Konfokalelement. Zur Beleuchtung wird hier eine inkohärente, konventionelle Lichtquelle benutzt. Ein oder applikationsbedingt mehrere wechselbare Teilerelemente, die den Beleuchtungsstrahlengang vom Abbildungsstrahlengang trennen sollen, sind entweder als Neutralteiler, dichroitischer Teiler oder als Polarisationsteiler ausgebildet. Die Nipkowscheibe rotiert senkrecht zur optischen Achse in Höhe der Zwischenbildebene im Mikroskop. Vermittels der nachvergrößernden Detektoroptik DL wird ein sekundäres Bild des Beobachtungsobjektes auf dem Empfänger KA erzeugt. Die Drehzahl der modifizierten Nipkowscheibe sollte regelbar sein, um sich bei der Belichtung des Empfängers den Intensitätsverhältnissen verschiedener Beobachtungsobjekte anpassen zu können. Durch die modifizierte Nipkowscheibe entsteht im Ringsektor PH 1 ein Konfokalbildtyp 1 bzw. nach Weiterdrehen der Scheibe im Ringsektor PH2 ein Konfokalbildtyp 2. Beide Bildtypen werden wiederum zeitlich nacheinander durch den Flächenempfä.nger KA registriert sowie einen nachgeschalteten A/D-Wandler unterscheidbar digitalisiert.
Die Figur 1b zeigt den prinzipiellen Aufbau der modifizierten Nipkowscheibe und die Lochstruktur schematisch sowie deren sektorielle Konfiguration. Die Trägerscheibe TS in Fig.1b ist mit Impulsmarken IM auf einer Taktspur TKS sowie unterschiedlichen Pinholezonen PH1 , PH2, Schwarzzonen SZ1, SZ2 und einem Zentrierkreis ZK versehen. Die modifizierte Nipkowscheibe besteht somit aus zwei Ringsektoren mit verschiedenen, verallgemeinerten Lochelementen - getrennt durch Dunkelbereiche - mit spiralförmiger Grundanordnung der Pinholes zueinander, um durch die Rotationsbewegung der Nipkowscheibe den konfokalen Scan der gesamten Objektfläche (im
Leuchtfeld Zwischenbildebene) zu erzielen. Die Lochelemente eines Ringsektors haben jeweils den gleichen Charakter (Geometrie, Lochfläche) und mittleren Abstand zueinander, wobei vorzugsweise der Bedeckungsgrad mit Lochfläche in beiden Ringsektoren gleich sein sollte. Entsprechend der konkreten Spiralstruktur wird nach einem bestimmten Drehwinkel der Nipkowscheibe ein Bild komplett gescannt sein, wobei pro Ringsektor eine vielfache Anzahl von Scanvorgängen eines Objektbereiches stattfinden sollte, um Defekten beim Scan (Scheibentaumeln, exzentrischer Lauf der Scheibe) vorzubeugen u.a. durch Mittelung der entstehenden optischen Bildfolgen. Die Anordnung der Spiralmuster kann sowohl rechtsdrehend als auch linksdrehend sein wobei die Drehrichtung der Scheibe immer beliebig sein kann. Die schwarzen Sektoren SZ1 , SZ2 dienen hierbei der Trennung der Ringsektoren und der Bildlöschung (Nullung der Kamera ) des vorhergehenden Bildes.
Das Verfahren zur Verbesserung konfokaler Bilder besteht in einer Verknüpfung mindestens zweier oder mehrerer konfokaler Bilder eines identischen Beobachtungsobjektes bzw. eines identischen Objektausschnittes. Für die praktische Umsetzung sollten die zu mischenden Konfokalbilder optisch sehr schnell hintereinander zeitlich erzeugt und danach elektronisch bildpunktgenau verknüpft werden. Bildpunktgenau heißt hier beispielsweise für jeden Einzelpixel einer CCD- Kamera oder TDI - Kamera. Die Operationen zur Verknüpfung zielen auf eine Verbesserung der Qualität und Auflösung des Mischbildes. Verbessert werden Kontrast, laterale und die Tiefenauflösung im Mischbild als Abbild und Informationsträger des zu untersuchenden realen Objektes. Das wird erreicht durch Bildpunkt- orientierte Verknüpfungsoperationen wie Verschiebeoperationen, multiplikative oder differentielle Operatoren an und mit den Bildpixeln oder Pixeiinformationen die vom Empfänger stammen. Die wichtigste und wesentliche
Verknüpfungsoperation
Figure imgf000010_0001
der Bild-Pixelmatritzen ist die Differenzbildung
mit dem Konfokalbildpaar, die mathematisch in der anschließenden Formel definiert ist:
Figure imgf000011_0001
Pπ- Resultierende Elemente der Bildmatrix nach der Verknüpfung Py Pixelelemente der konfokalen Bildmatrixl Pιτ Pixelelemente der konfokalen Bildmatrix2
Das prinzipielle Vorgehen wird beispielhaft an 9x9 Pixelelementen der Bildmatrizen in der Figur 2 einmal anschaulich dargestellt. Die Fig.2 zeigt die beiden aufgenommenen, in SP1 , SP2 gespeicherten Bildpixelmatrizen BM 1 , BM2 und die durch obige Signalverarbeitung entstehende und abgelegte Mischbildmatrix MBM. Bei exakter räumlicher Übereinstimmung der Objektbereiche in den zwei konfokalen Ausgangsbildern mit unterschiedlicher konfokaler Auflösung können die notwendigerweise digitalisierten Bildpixel sofort mathematisch durch Differenzbildung der zugeordneten Zeilen- (gleiche Großbuchstaben) und Spaltenelemente (gleiche Kleinbuchstaben) der Bildmatritzen gebildet werden. Die exakte räumliche Übereinstimmung beinhaltet, daß sich die Abbildungsbedingungen sowie die Objektlage während der aufeinanderfolgenden Aufnahmen nicht ändern, was vor allem durch bekannte Maßnahmen wie Schwingungsdämpfung erzielt werden kann. Das Verfahren kann sowohl für konfokale Auflichtbilder als auch konfokale Fluoreszenzbilder angewendet werden, allerdings jedoch mit sehr unterschiedlichen Resultaten bei der möglichen endgültigen Auflösung im Mischbild, da die Wechselwirkung der konfokalen optischen Tastsonde mit dem abzubildenden Objekt bei der Fluoreszenzapplikation keine Streukomponenten enthält sondern vom selbstleuchtenden Charakter des Objektes bestimmt ist!
Die gerätetechnische Umsetzung erfolgt bevorzugt optisch mit Scannertypen, die sehr schnell zwei verschiedene, konfokale Bilder erzeugen können. Die zeitliche Synchronisierung zum Empfänger erfolgt in zwei Ausführungsversionen über Synchronspuren am Nipkowscanner wie in Fig.1a oder Bandscanner wie in Fig.3 dargestellt bzw. an einem Filterrad wie in Fig.7 , die über Sensoren eine elektrische Verbindung zum Empfänger haben. In einer dritten Scannerversion entstehen zwei Konfokalbilder zeitgleich durch Einsatz von zwei Kameras wie in Fig. 9 und 10 wobei die Objektausschnitte, welche jeweils aktuell gescannt werden, sich räumlich unterscheiden durch den fortschreitenden Scan aber zu einem späteren Zeitpunkt die gleichen Objektabschnitte abgebildet haben. In einer besonders vorteilhaften Ausführung werden zeitliche und räumliche Trennung der beiden Konfokalbilder beseitigt, was in Fig.11 schematisch dargestellt ist. Die zwei oder paarweise mehrfachen Konfokalbilder des zu untersuchenden Objektes werden zur weiteren Verarbeitung digitalisiert und in einem Bild- Grabbingprozeß in Speichern getrennt erfaßt. Die Synchronsignale liefern für die Speicherung der verschiedenen Bilder das Unterscheidungskriterium. Wenn mindestens zwei Bilder gespeichert sind kann durch den Bildverarbeitungsprozessor (DSP) die Verknüpfung durchgeführt werden. Dann steht das endgültige Mischbild für die Visualisierung zur Verfügung (Monitor, Bildprinter, Bildauswertung o.a.).
In der Figur 3 ist die Anordnung zur Realisierung des Bildmischverfahrens mit einem Bandscanner dargestellt. Die Fig.3 zeigt außer den zu Fig.1 analogen Bezugszeichen ein Trägerband TB mit einer motorgetriebene Antriebsscheibe AS sowie einer weiteren Laufscheibe LS, wobei AS, LS nicht dargestellt ortsfest drehbar angelenkt sind. Auch hier sind auf dem Band TB Impulsmarken IM3 zur Erfassung der Bandposition vorgesehen. Die optische Grundanordnung ist in der Figur 3 ein Mikroskop mit einem modifizierten Bandscanner als Konfokalelement. Zur Beleuchtung wird wiederum eine konventionelle Lichtquelle (Kontinuierlich oder Linienquelle) eingesetzt, um störenden Interferenz- oder Speckle-Effekten zu begegnen. Um eine vorteilhaft gleichmäßige Beleuchtung über dem Feld zu erzielen wird die bekannte Köhlersche Beleuchtung angewendet. Ein oder applikationsbedingt mehrere wechselbare Teilerelemente, die den Beleuchtungsstrahlengang vom Abbildungsstrahlengang trennen sollen, können als Neutralteiler, dichroitischer Teiler oder Polarisationsteiler ausgebildet sein. Das Konfokalband - wie bereits erwähnt mit unterschiedlichen verallgemeinerten Lochstrukturen in verschiedenen Bandzonen versehen - läuft senkrecht zur optischen Achse in Höhe der Zwischenbildebene im Mikroskop um, wobei einige optischen Elemente des mikroskopischen Strahlenganges unter Umständen vom Band umkreist werden müssen. Dies sind hier die Teiler ST1-3, die Linse KOL sowie Spiegel S1. Der Abiauf des Bandes kann über Antriebs- bzw. Umlenkrollen erfolgen und sollte in der Umlaufgeschwindigkeit regelbar sein, um sich bei der Belichtung des Empfängers den Intensitätsverhältnissen verschiedener Beobachtungsobjekte anpassen zu können. Durch das Konfokalband entsteht in der Lochzone PH1 ein Konfokalbildtyp 1 bzw. nach Fortlaufen des Bandes in der Lochzone PH2 ein Konfokalbildtyp 2.
Über die dargestellte kreisförmige Pinholegeometrie hinaus sind wiederum Lochelemente als konfokale Blenden auf dem Band strukturierbar. Dies ist in Fig.5 dargestellt. Beide Bildtypen werden zeitlich nacheinander durch einen Flächenempfänger registriert sowie einen nachgeschalteten A/D-Wandler unterscheidbar digitalisiert. Die Unterscheidung der Bildtypen erfolgt durch die Synchronimpulse IM3 , die auf dem Scannerband zur Markierung der Lochzonen aufgebracht sind und von einem Hilfssensor, wie in Fig. 1 dargestellt, registriert werden. Sie dienen der Steuerung sowohl der Kamera (Empfindlichkeitsschaltung, elektronische Torung) als auch der korrekten Wahl der Bildspeicher für die jeweiligen konfokalen Bildtypen als auch der Software Triggerung des Zeitpunktes der sinnvollen Verknüpfung der Speicherinhalte durch den Bildprozessor zum Mischbild.
Fig.4 zeigt einen Ausschnitt des Trägerbandes TB mit Impulsmarken IM3 auf der Taktspur TS und Abschnitten des Trägerbandes TB mit Pinholeanordnungen PH1 , PH2. Diese Form eines Scanners für das Bildmischverfahren basiert auf einem umlaufenden Lochband. Auf bzw. in einem flexiblen Material z.B. einem dünnen Stahlband, einem plastischen Material oder auch einem schwärzungsfähigen Filmband sind Bereiche mit Pinholes oder allgemeinere Lochelemente wie Quadrate, Rhomben oder Ringelemente wie Lochringe, quadratische Ringe o.a. strukturiert, die unterschiedliche Elementgrößen und Abstände in verschiedenen Zonen des Bandes aufweisen. Sie können z.B. durch einen mikolithographischen Belichtungsprozeß formiert und geätzt sein oder durch einen fotochemischen Belichtungsprozeß als periodisches Muster erzeugt worden sein. Die unterschiedlichen Lochelementzonen des Bandes kehren periodisch wieder und sind durch Marker außerhalb der Lochelementzone an dessen Beginn markiert und werden durch einen elektronischen Sensor beim Laufen des Bandes gelesen und als Synchronsignal genutzt.
Das Band wird als periodisches Muster erzeugt und schließlich in einer geeigneten Länge zu einem geschlossenen Band zusammengefügt (Kleben). Das Konfokalband besteht in Fig.4 aus zwei verschiedenen Lochzonen mit prinzipiell rhombischer Grundanordnung der Pinholes zueinander, um durch den Bandlauf den Scan für die gesamte Objektfläche zu erzielen. Die Pinholes einer Lochzone haben die gleiche Geometrie und Abstand zueinander, wobei der Bedeckungsgrad mit Lochfläche in beiden Lochzonen gleich sein sollte. Entsprechend der Abstände des rhombischen Grundrasters wird nach einer bestimmten Laufstrecke des Bandes ein Bild komplett gescannt sein, wobei pro Lochzone eine volle Anzahl periodischer Strukturen vorhanden sein sollte. Dadurch resultiert eine unterschiedliche Länge der Lochbereiche bzw. Bildaufbauzeit, trotzdem aber gleiche mittlere Belichtungsintensität für den Bildaufbau der beiden konfokalen Bildtypen. Dadurch wird aber die Aussteuerung des Empfängers für die Einbelichtung der zwei konfokalen Bildtypen positiv beeinflußt.
Die Anordnung für die Lochgeometrie kann sowohl rechtsseitig als auch linksseitig gewählt werden, wie die Fig.5 zeigt. Die Fig.5 zeigt in 5a, 5b eine linksseitig zur Abtastrichtung ( Pfeil) verlaufende rhombische Grundanordnung PH11, PH12 sowie in 5c, 5d eine rechtsseitig zur Abtastrichtung verlaufende rhombische Grundanordnung PH21 , PH22. In der Fig.6 sind Beispiele für Lochelemente in Form von rhombischen und Kreisringlöchern als Konfokalelemente für einen Bandscanner gezeigt. Die Fig.6 zeigt zwei Paare von Konfokalstrukturen in 6a, 6b linksseitige rhombische Grundanordnungen PH13, PH14 mit rhombusförmiger Pinholeform und in 6c, 6d rechtsseitige rhombische Grundanordnungen PH23, PH24 mit kreisringförmiger Pinholeform.
Eine weitere vorteilhafte Scannervariante mit einfacher Nipkowscheibe zeigt Figur 7. Sie zeigt neben schon im Text schon erwähnten Elementen ein motorgetriebenes Filterrad FD mit Farbfiltern FF1, FF2 für Wellenlängen λ1, λ2 sowie die Trägerscheibe TS mit einem einheitlichen Lochmuster PH3. Als Beleuchtung wird analog Figur 1 eine konventionelle weiße Lichtquelle benutzt. Das Teilerelement ST ist hier vorzugsweise als Neutralteiler ausgebildet. Die Nipkowscheibe dreht sich ebenso in Höhe der Zwischenbildebene im Mikroskop, ist aber nur mit einer Lochart strukturiert. Die unterschiedlichen Konfokalbilder entstehen in dieser Anordnung durch Verarbeitung gemäß dem bereits geschilderten Verfahren als Bilder mit verschiedenen Farbinformationen vom identischen Beobachtungsobjekt. Die Drehzahl der erfindungsgemäß eingesetzten Farbfilterscheibe sollte regelbar sein, um sich bei der Belichtung des Empfängers den Intensitätsverhältnissen verschiedener Beobachtungsobjekte anpassen zu können. Durch die Nipkowscheibe entsteht, je nach der aktuellen Beleuchtungswellenlänge, ein Konfokalbildtyp 1 bzw. nach Schalten oder Weiterdrehen der Farbfilterscheibe ein Konfokalbildtyp 2. Durch Austausch der Filterscheibe FD können andere Wellenlängen Verwendung finden. Die Unterscheidung der Bildtypen erfolgt durch die Synchronimpulse IM4, die auf den Farbfiltersektoren aufgebracht sind und von einem Hilfssensor registriert werden. Sie dienen wiederum der Steuerung sowohl der Kamera (Empfindlichkeitsschaltung, elektronische Torung) als auch der korrekten Wahl der Bildspeicher für die jeweiligen konfokalen Bildtypen als auch der Softwaretriggerung des Zeitpunktes der sinnvollen Verknüpfung der Speicherinhalte durch den Bildprozessor zum Mischbild. In der Fig. 8 sind zwei Beispiele für Paare von Lochelementen auf einer modifizierten Nipkowscheibe in Form von hexagonalen Löchern und quadratischen Ringlöchern als Konfokalelemente angeordnet in Nipkow'schen Spiralstrukturen in Ausschnitten gezeigt. Dort ist in Fig.βa, 8b eine Spiralstruktur mit hexagonalem Pinholetyp PH1 , PH2 sowie in Fig.δc, 8d eine Spiralstruktur mit quadratischem Pinholetyp PH1 , PH2 gezeigt. Fig.9 zeigt eine weitere vorteilhafte erfindungsgemäße Anordnung mit Lichtquellen LQ1, LQ2, Leuchtfeldblenden LBL1 , LBL2, Kollektorlinsen KL1, KL2, Aperturblenden ABL1, ABL2, Spiegeln S11, S12, Kondensorlinsen KOL1, KOL2, Strahlteilern ST4, ST5 sowie Trägerscheiben TS1, TS2, die Bestandteil einer gemeinsamen Trägerscheibe sein können. In Richtung des Objektes 0 sind Tubuslinsen TUL1 , TUL2 sowie Abbildungsobjektive A02, A03 angeordnet. Das Objekt 0 wird durch einen Objekttranslator OT definiert und ansteuerbar verschoben. In Richtung der Detektion sind optisch nachvergrößernde Detektionsoptiken DL1, DL2, Kameras KA1 , KA2, Analog- Digitalwandler AD1, AD2, FrameGrabber FG1 , FG2, Speicher SP1 , SP2 ein Prozessor PR zur Erzeugung des Mischbildes MB vorgesehen.
Diese dritte Grundversion eines Scanners für das Bildmischverfahren ist ein Linearscanner mit rhombischer Anordnung der Konfokalelemente zueinander, der in einer Monobündel- oder Zweibündelanordnung eingesetzt werden kann. Auf der stationären Scheibe mit den Konfokalelementen (Lochelemente) befinden sich zwei gegeneinander geeignet räumlich versetzte Zonen mit Lochelementen (rechteckig) mit rhombischen Grundmustern der Lochelementen zueinander, die unterschiedliche Größen der Lochelemente und mittlere Abstände in der jeweiligen Lochzone aufweisen. Die Lochelemente in den verschiedenen Zonen sowie die korrekte Lage der Bereiche zueinander sind z.B. durch einen mikrolithographischen Herstellungsprozeß sehr genau zueinander designed und strukturiert. Beim Linearscanprinzip wird durch die gleichmäßige Verschiebung des Beobachtungsobjektes - Scanwirkung beim Bandscanner durch Bandumlauf relativ ähnlich - innerhalb eines, von der rhombischen Grundstruktur abhängigen, Verschiebeweges ein Ausschnitt des Beobachtungsobjektes parallel konfokal gescannt und dessen (Zeilen-)Bild komplett erzeugt. Das konfokale Bild kann elektronisch jedoch vorteilhaft nur durch eine Spezialkamera (TDI-Kamera) effizient ausgewertet werden, die das „konfokale Punkt-Musterbild" durch deren Wirkprinzip der synchronen Querverschiebung der photoelektronisch erzeugten Ladungen zwischen den parallelisierten Zeilen (Stages) zu einem geschlossenen Zeilenbild vereinigt. Das Zeiienbild wird schließlich sehr schnell und kontinuierlich ausgelesen, wodurch ein streifenförmiges Bildformat des Beobachtungsobjektes beim Bewegen desselben entsteht.
Die Applikation des zuletzt vorgeschlagenen Linearscanners kann in einer optischen Grundanordnung ähnlich einem Mikroskop (automatische Inspektionsmaschine) erfolgen. Als Lichtquellen können hier entweder zwei konventionelle Lampen (bevorzugt Kurzbogenlampen) oder zwei verschiedene Laser dienen, welche in Untervarianten der Anordnung sowohl mit unterschiedlichen als auch gleichen Wellenlängen betrieben werden können. Zwei (auch paarweise wechselbare) Teilerelemente, die jeweils den Beleuchtungsstrahlengang vom Abbildungsstrahlengang trennen sollen, sind entweder als Neutralteiler, dichroitischer Teiler oder als Polarisationsteiler ausgebildet.
Das Beobachtungsobjekt (vorrangig Wafer im Strukturierungsprozeß) wird senkrecht zur optischen Achse der optischen Anordnung gleichmäßig bewegt wodurch in Höhe der Zwischenbildebene des Gerätes vermittels des rhombischen Grundmusters der Lochelemente zueinander der parallel konfokale Bildscan durchgeführt wird. Die Geschwindigkeit der Verschiebung des Beobachtungsobjektes sollte regelbar sein, um sich sowohl der Empfindlichkeit (Belichtung, Leuchtdichte Quelle) als auch der Auslesegeschwindigkeit der Empfänger (TDI-Zeilenkameras) anpassen zu können. Durch den Linearscanner entsteht in der Lochzonel ein Konfokalbildtyp 1 (mit langgezogenem Bildformat) bzw. räumlich versetzt in der Lochzone2 ein Konfokalbildtyp 2 (mit ebenfalls langgezogenem Bildformat). Jedes Bild wird - hier optisch parallel, jedoch räumlich leicht versetzt - zeitgleich durch den zugeordneten Empfänger registriert sowie durch einen jeweils nachgeschalteten A/D-Wandler digitalisiert. Die Empfänger sollten vorteilhaft TDI-Zeilenkameras (Time Delayed Integration) sein, welche extrem hohe Ausleseraten aufweisen somit eine effiziente, kontinuierliche Objektbewegung gestatten und damit die derzeit höchste Prüfproduktivität erreichen. Die Unterscheidung der Bildtypen (Speicherung) ist in dieser dritten Grundversion des Scanners augenscheinlich einfach. Durch die exakt bekannte räumliche Trennung der beiden Bildbündel und die Objektgeschwindigkeit ist die Zuordnung von identischen Objektstrukturen (pixelgenau) in den Bildern bzw. deren elektronischen Repräsentanten in den Speichern für die Bildmischung möglich. Die sinnvolle Verknüpfung der Speicherinhalte durch den Bildprozessor zum Mischbild kann somit erfolgen, wenn digitale Bildanteile des jeweils gleichen Objektausschnittes vorliegen. Die Ermittlung des exakt gleichen Bildausschnitts erfolgt mittels der bekannten Verschiebegeschwindigkeit und den konstanten Abstand der Lochzonen.
Eine weitere vorteilhafte, einfacher justierbare und stabilere Variante des Linearscanners ist in der Figur 10 dargestellt, in der nur mit einem optischen Abbildungssystem aber zwei konfokalen Bündeln gearbeitet wird. Hier werden die Bündel, beispielsweise durch schmale Strahlteiler, eng zusammengerückt. Fig.10 zeigt außer den bereits benannten Elementen eine für beide Strahlengänge gemeinsame Tubuslinse TUL3, ein gemeinsames Abbildungsobjektiv A04 und eine optisch nachvergrößernde Detektionsoptik DL3.
In dieser Anordnung wird nur mit einer Abbildungsoptik gearbeitet, was nur mit geeignet korrigierten großen optischen Arbeitsfeldern des Übertragungssystems möglich ist. Der entscheidende Vorteil ist hier der kompaktere Aufbau sowie der geringe Abstand der optischen konfokalen Arbeitsfelder, was die Anordnung schneller und unempfindlicher gegenüber Störungen macht (Schwingungen o.a.) sowie in der Justierung erheblich einfacher. Die Beleuchtung wird wie in der ersten Anordnung mit entweder zwei konventionellen Lampen (bevorzugt Kurzbogenlampen) oder zwei verschiedenen Lasern vorgenommen. Die Besonderheit des konfokalen Beleuchtungs- und Abbildungsprinzips beim erfindungsgemäßen Verfahren und Anordnungen gestattet im Gegensatz zu nichtkonfokaler, klassischer Auflichtbeleuchtung den Einsatz von Lasern als Lichtquelle! Bei klassischer Auflichtbeleuchtung (keine Fluoreszenz- Applikation!) in der Mikroskopie verbietet sich im Allgemeinen (außer mikro- interferometrischen Anordnungen z.B. DE 19632594 A1 ) der Einsatz von Lasern, da die kohärenten Nebeneffekte des Lasers (Speckle, Interferenzen durch Störreflexionen) bei der Abbildung das Bild sehr stark überlagern und entscheidend stören. Bei der konfokalen Bildgenerierung ist die Situation bei der Bildentstehung am Objektort verändert: die konfokale beugungsbegrenzte 'Mikrosonde' steht in keiner Wechselwirkung mit anderen Punkten des Beobachtungsobjektes während des Bildaufbaus sondern nur mit dem aktuell abgetasteten Objektpunkt. Dies bedeutet, daß die nacheinander entstehenden Bildpunkte des Objektbereiches völlig inkohärent zueinander sind! Daraus entsteht ein inkohärenter Charakter des optischen Rasterbildes bzw. digitalen Gesamtbildes. Die statistisch entstehenden raumzeitlichen Kohärenzzellen, welche sich als Speckle im Laserbündel zeigen und das phänomenologische, charakteristische Granulat im Laser-Strahlquerschnitt ausprägen, werden durch die ebenfalls raum-zeitlich wirkende Mittelung vermittels des Scannens über den Strahlquerschnitt des beleuchtenden Lasers beseitigt bzw. gemindert und damit die intensitätsfälschende Körnung in den Bildpunkten vermieden. Ein weiterer Vorteil des konfokalen Bildaufbaus ist die starke Verminderung des Einflusses sekundärer Reflexe von den Linsenflächen des abbildenden optischen Systems durch die konfokalen Blenden in der Bildebene, die nur ein Bruchteil des interferenzfähigen Falschlichtes in den sekundären Bildraum eindringen lassen (Reflexbilder entstehen i.a. fern der Bildebene bei richtigem Systemdesign) und deren kontrastschädigende Wirkung im Bild mindern. Ein Vorzug des Linearscanprinzips im vorgeschlagenen Applikationsfall ist die Anwendbarkeit verschiedener Mischprinzipien: es ist nicht nur die Konfokalität durch Änderung der Pinholegröße einstellbar sondern z.B. durch Wahl verschiedener Beleuchtungswellenlängen in den beiden Kanälen oder durch Wahl verschiedener Aperturen in den Abbildungskanälen. Dies ergibt vorteilhafte Kombinationen und weitere qualitative Vorteile bei der Umsetzung des Bildmischverfahrens.
In der Figur.11 ist eine Anordnung mit zwei Lasern zur Beleuchtung und zwei TDI - Kameras im Linearscanprinzip dargestellt. Laser L1 mit Wellenlänge λ1 sowie Laser L2 mit Wellenlänge λ2 werden über Strahlteiler ST6 sowie Kondensoriinse KOL3 und ein Mikrolinsenarray MLA in Richtung eines Pinholearrays PH3 punktweise fokussiert. Die Beleuchtung des Objektes erfolgt über Tubuslinse TUL4, eine λ 4 Platte PL sowie das Abbiidungsobjektiv A05. Zwischen Pinholeanordnung PH3 und Mikrolinsenarray MLA liegt ein Polarisations-Strahlteiler PST zur Ausblendung in Richtung einer optisch nachvergrößernden Detektionsoptik DL4 und eines dichroitischen Strahlteilers ST7 zur wellenlängenselektiven Aufteilung des Detektionslichtes in Richtung von Kameras KA1, KA 2 mit bereits vorher beschriebenen nachfolgenden Elementen.
Diese vorteilhafte Version eines automatischen Inspektionsgerätes nach dem Bildmischverfahren mit zwei verschiedenfarbigen Lasern zur Beleuchtung beinhaltet, daß der Vorteil des Lasers - der unübertroffenen spektralen Leuchtdichte - für einen optimalen Belichtungsprozeß der TDI-Kameras ausgenutzt wird, ohne dem entscheidenden Nachteil der Laserleuchtquellen - der kontrastschädigenden Wirkung durch die große Interferenzfähigkeit des Lasers bei optischen Abbildungen - direkt unterworfen zu sein. Die Beleuchtungseffizienz in parallel konfokalen Anordnungen kann bei Laserbeleuchtung durch ein Mikrolinsenarray (konjugiert zu rhombischen Locharray) enorm verbessert werden. In der vorgeschlagenen Version muß das spezielle Array MLA für das Bildmischverfahren mit unterschiedlichen Arbeitswellenlängen und einer Lochart für die 2 Laserlinien farbkorrigiert sein und wird vorteilhaft durch den Kondensor parallel ausgeleuchtet.
In einer einzuhaltenden Nebenbedingung müssen weiterhin Brennweite und Durchmesser der Mikrolinsen den geforderten bildseitigen Aperturen des optischen Hauptsystems entsprechen und exakt zum Locharray zentriert sein, wodurch eine sogenannte 'kritische Beleuchtung' der Lochelemente erzeugt wird. Das Durchkoppeln (Zusammenmischen) der zwei Laser in den Beleuchtungsstrahlengang erfolgt durch einen dichroitischen Spiegel ST6. Das Trennen (Entmischen) der farblich unterschiedlichen Laserbilder im Abbildungsstrahlengang erfolgt ebenfalls durch einen dichroitischen Spiegel ST7. Das Trennen von Beleuchtungs- und Abbildungsstrahlengang erfolgt vorteilhaft durch einen polarisationsoptischen Teilerspiegel PST in Kombination mit einer breitbandigen λ/4-Platte für die Laserlinien. Über die dargestellten Mehrkanalanordnungen hinaus sind noch weitere Mischvarianten möglich: es sind dies z.B. polarisationsoptisch unterschiedliche Eigenschaften der beiden Übertragungskanäle, die zum Mischen herangezogen werden können. Je nach Objekteigenarten des Beobachtungsobjektes können diese verschiedenen Abarten angewendet werden, um neue Objekteigenschaften aufdecken bzw. sichtbar machen zu können.
Die Erfindung ist weiterhin vorteilhaft anwendbar auf Laser-Scanning- Mikroskope wie Zeiss LSM4 oder 5 und wurde für diese erprobt, indem mehrere konfokale Reflexionsbilder des gleichen Objektabschnittes aufgenommen und wie beschrieben verarbeitet wurden.
Aufstellung der verwendeten Bezuqszeichen
Fig.1a
Weißlichtquelle WQ
Leuchtfeldblende LBL Kollektorlinse KL
Aperturblende ABL
Spiegel S1
Kondensorlinse KOL auswechselbare dichroitische Strahlteiler ST1 , ST2, ST3 Trägerscheibe TS
Pinholearrays PH1 , PH2
Impulssensor IS
Impulsmarken IM1 , IM2
Tubuslinse TUL Abbildungsobjektiv A01
Objekt 0 in Objektebene
Detektoroptik DL
Kamera KA
Analog/ Digitalwandler AD Frame Grabber FG
Speicher SP1 , SP2
Prozessor PR
Computer PC
Mischbild MB
Fig.1b
Trägerscheibe TS mit Impulsmarken IM auf einer Taktspur TKS
Pinholezonen PH 1 , PH2
Schwarzzonen SZ1 , SZ2 Zentrierkreis ZK Fig.2
Bildpixelmatrix BM1 , BM2
Mischbildmatrix MBM
Fio.3 zu Fig.1 analoge Bezugszeichen
Trägerband TB
Motorgetriebene Antriebsscheibe AS
Laufscheibe LS AS, LS nicht dargestellt ortsfest angelenkt
Impulsmarken IM3
Fig.4
Ausschnitt des Trägerbandes TB Impulsmarken IM3 auf Taktspur TS
Abschnitte des Trägerbandes TB mit Pinholeanordnungen PH1 , PH2
Fig.5
5a, 5b linksseitig zur Abtastrichtung verlaufende rhombische Grundanordnung PH11. PH12
5c, 5d rechtsseitig zur Abtastrichtung verlaufende rhombische Grundanordnung PH 21 , PH22
Fig.6 6a,6b: linksseitige rhombische Grundanordnungen PH13, PH14 mit rhombusförmiger Pinholeform
6c,6d: rechtsseitige rhombische Grundanordnungen PH23, PH24 mit kreisringförmiger Pinholeform
Fig.7 neben schon erwähnten Elementen motorgetriebenes Filterrad FD mit Farbfiltern FF1, FF2 für Wellenlängen λ1, λ2 Trägerscheibe TS mit einem Lochmuster PH3
Fio.8 Fig.δa, 8c Spiralstruktur mit hexagonalem Pinholetyp PH1 , PH2 Fig.δb, 8d Spiralstruktur mit quadratischem Pinholetyp PH1, PH2
Fig.9
Lichtquellen LQ1. LQ2 Leuchtfeldblenden LBL1 , LBL2
Kollektorlinsen KL1. KL2
Aperturblenden ABL1 , ABL2
Spiegel S11, S12
Kondensorlinsen KOL1 , KOL2 Strahlteiler ST4, ST5
Trägerscheiben TS1, TS2
Tubuslinsen TUL1. TUL2
Abbildungsobjektive A02, A03
Objekttranslator OT Detektionsoptik DL1 , DL2
Kameras KA1. KA2
Analog/ Digitalwandler AD1 , AD2
FrameGrabber FG1, FG2
Speicher SP1, SP2 Prozessor PR
Mischbild MB
Fig. 10
Außer den bereits benannten Elementen für beide Strahlengänge gemeinsame Tubuslinse TUL3, Abbildungsobjektiv A04 Detektionsoptik DL3 Fig.11
Laser L1 mit Wellenlänge λ1
Laser L2 mit Wellenlänge λ2
Strahlteiler ST6
Kondensorlinse K0L3 Mikrolinsenarray MLA
Polarisationsstrahlteiler PST
Pinholearray PH3
Tubuslinse TUL4 λ/4 Platte PL Abbildungsobjektiv A05
Detektionsoptik DL 4
Dichroitischer Strahlteiler ST 7
Kameras KA1 , KA 2 mit bereits beschriebenen nachfolgenden Elementen

Claims

Patentansprüche
1.
Anordnung zur mikroskopischen Erzeugung von Objektbildern, wobei nacheinander mindestens zwei konfokale Bilder desselben Objektes mit unterscheidbarer optischer Objektinformation bildpixelweise aufgenommen und abgespeichert werden und die aufgenommenen und digitalisierten Bilder pixelgenau, vorzugsweise durch Differenzbildung, miteinander verknüpft werden und das derart entstehende Mischbild abgespeichert wird.
2.
Anordnung nach Anspruch 1 , wobei das Mischbild auf einem Bildschirm angezeigt und/ oder mit Mitteln der Bildverarbeitung verarbeitet wird.
3. Anordnung nach mindestens einem der vorangehenden Ansprüche, mit Mitteln zur Erzeugung parallel konfokaler Auflicht- Beleuchtungsbündel in oder auf das Objekt.
4. Anordnung nach mindestens einem der vorangehenden Ansprüche, wobei eine parallel konfokale Erzeugung von Rasterbildern des Objektes über verschiedene Pinholeanordnungen erfolgt.
5. Anordnung nach mindestens einem der vorangehenden Ansprüche, wobei zeitlich nacheinander unterschiedliche Pinholeanordnungen zur Bilderzeugung verwendet werden.
6. Anordnung nach mindestens einem der vorangehenden Ansprüche, wobei zum konfokalen Scannen des Objektes die Pinholeanordnungen verschoben werden.
7.
Anordnung nach mindestens einem der vorangehenden Ansprüche, wobei zum konfokalen Scannen des Objektes das Objekt seinerseits verschoben wird.
8.
Anordnung nach mindestens einem der vorangehenden Ansprüche, wobei bei bewegtem Objekt unterschiedliche und feststehende Pinholeanordnungen zur Bildaufnahme desselben Objektbereiches dienen.
9.
Anordnung nach mindestens einem der vorangehenden Ansprüche, mit auf einem umlaufenden Band angeordneten Pinholeanordnungen.
10. Anordnung nach mindestens einem der vorangehenden Ansprüche, mit auf einer rotierenden Scheibe angeordneten unterschiedlichen Pinholeanordnungen.
11. Anordnung nach mindestens einem der vorangehenden Ansprüche, mit einer Weißlichtquelle zur Objektbeleuchtung.
12.
Anordnung nach mindestens einem der vorangehenden Ansprüche, bestehend aus Lichtquelle, Beleuchtungsoptik, Pinholeanordnung,
Abbildungsoptik , Objekt, wobei das vom beleuchteten Objekt kommende Licht über die Pinholeanordnung und einen Strahlteiler in Richtung einer optisch nachvergrößernden Detektionsoptik gelenkt wird, der Mittel zur Bildverarbeitung nachgeordnet sind.
13.
Anordnung nach mindestens einem der vorangehenden Ansprüche, wobei Mittel zur Zuordnung der aufgenommenen Bilder zu den Aufnahmebedingungen vorgesehen sind.
14.
Anordnung nach mindestens einem der vorangehenden Ansprüche, wobei Synchronmarken und Sensoren zu deren Erfassung vorgesehen sind.
15.
Anordnung nach mindestens einem der vorangehenden Ansprüche, wobei das Objekt nacheinander mit unterschiedlichen Wellenlängen beleuchtet wird.
16.
Anordnung nach mindestens einem der vorangehenden Ansprüche, wobei die Beleuchtung über die gleiche oder unterschiedliche Pinholeanordnungen erfolgt.
17.
Anordnung nach mindestens einem der vorangehenden Ansprüche, wobei zur Bildaufnahme mindestens eine CCD- Kamera dient.
18.
Anordnung nach mindestens einem der vorangehenden Ansprüche, wobei zur Bildaufnahme mindestens eine TDI- Kamera dient.
19.
Anordnung nach mindestens einem der vorangehenden Ansprüche, wobei zur Beleuchtung Laser unterschiedlicher Wellenlänge vorgesehen sind.
20. Anordnung nach mindestens einem der vorangehenden Ansprüche, wobei die Bildaufnahme mittels eines Laser- Scanning- Mikroskops erfolgt.
21.
Anordnung nach mindestens einem der vorangehenden Ansprüche, wobei eine Detektion und Bildaufnahme nacheinander mit unterschiedlicher
Detektionswellenlänge erfolgt.
22.
Anordnung nach mindestens einem der vorangehenden Ansprüche, wobei eine Aufnahme mit unterschiedlichen Aperturen des Beleuchtungssystems erfolgt.
23.
Anordnung nach mindestens einem der vorangehenden Ansprüche, wobei die Lichtquellen konventionelle, nichtkohärente Lichtquellen unterschiedlicher Wellenlänge und vorbestimmter Bandbreite sind.
24.
Anordnung nach Anspruch 23 , wobei die konventionellen Lichtquellen lichtstarke Bogenlampen sind.
25. Anordnung nach mindestens einem der vorangehenden Ansprüche, wobei die Wellenlängen zur Beleuchtung durch geeignete Filter aus der Lichtquelle extrahiert werden.
26. Anordnung nach mindestens einem der vorangehenden Ansprüche, wobei die Auswahl der Wellenlängen durch schnell wechselbare Farbfilter in Form von Schaltfiltern oder drehenden sektorierten Filterrädern erfolgt.
27. Anordnung nach mindestens einem der vorangehenden Ansprüche, wobei die Lichtquellen Laserlichtquellen mit unterschiedlichen Wellenlängen sind.
Anordnung nach mindestens einem der vorangehenden Ansprüche, bei der die räumlich parallele oder zeitlich versetzte Abbildung der Lichtquelle in die Objektebene eines optischen Beobachtungsgerätes durch rhombisch ausgebildete Arrays bzw. verschiedenartige, geeignet gestaltete Nipkow'sche Spiralmuster von Lochelementen realisiert wird.
29.
Anordnung nach mindestens einem der vorangehenden Ansprüche, bei der die Strukturen der Lochelemente die Form entweder eines rechts- oder eines linksorientierten rhombischen Grundarrays aufweisen und entweder stationär bei bewegtem Objekt benutzt werden oder auf einem flexiblen, umlaufenden Band ausgebildet sind.
30. Anordnung nach mindestens einem der vorangehenden Ansprüche, bei der die Lochelemente entweder kreisförmige, quadratische oder rhombische Grundform haben oder alternativ die Ringform der jeweiligen geometrischen Basisfigur aufweisen.
31.
Anordnung nach mindestens einem der vorangehenden Ansprüche, bei der die rechts- oder linksorientierten rhombischen Grundarrays auf einem flexiblen Band vermittels dessen Umlauf zum konfokalen Scannen der Objektebene dienen.
32.
Anordnung nach mindestens einem der vorangehenden Ansprüche, bei der durch das Verschieben des Beobachtungsobjektes in Kombination mit den rechts- oder linksorientierten stationären rhombischen Grundarrays das paarweise parallel konfokale Scannen der Objektebene erzielt wird.
33.
Anordnung nach mindestens einem der vorangehenden Ansprüche, bei der entweder die Locharrays der Beleuchtung funktioneil ebenfalls zur konfokalen Bilderzeugung benutzt werden oder andernfalls die Flächenempfänger zusätzlich eine Empfindlichkeitsstruktur besitzen, die konfokale Eigenschaften im Bildraum erzeugt.
34.
Anordnung nach mindestens einem der vorangehenden Ansprüche, bei der die konfokalen Eigenschaften der Flächenempfänger entweder durch Abschattblenden auf dem Empfänger, durch entsprechend sensibilisiert hergestellte Flächenelemente des Empfängers, durch eine elektronische Sensibilisierungsschaltung oder durch Software- Auswahlsteuerung am Empfänger bzw. dem Empfangssignal erreicht werden.
35.
Anordnung nach mindestens einem der vorangehenden Ansprüche, bei der zur Trennung von Beleuchtungs- und Abbildungsbündeln neutrale, polarisationsabhängige oder dichroitisch teilende Elemente, vorrangig in Form eines optischen Würfels oder rhomboidischen Grundkörpers, eingesetzt werden.
36.
Anordnung nach mindestens einem der vorangehenden Ansprüche, wobei zur Erzielung einer guten Trennung von Beleuchtung und Abbildung polarisationsoptische Teiler kombiniert mit λ/4-Platten in den Hauptstrahlengängen benutzt werden.
37.
Anordnung nach mindestens einem der vorangehenden Ansprüche, bei der die Abbildungselemente einen hohen Grad an optischer Korrektion zur Beseitigung von Abbildungsfehlern besitzen, in einigen Komponenten mit zoom-optischen Eigenschaften ausgestattet sind und eine optische Nachvergrößerung im Detektionsstrahlengang vorgesehen ist.
38.
Anordnung nach mindestens einem der vorangehenden Ansprüche, bei der die Abbildungselemente optisch spannungsfrei hergestellt sind und durch wahlweise polarisationsoptisch parallele und senkrechte Beleuchtung zwei Konfokalbilder des Beobachtungsobjektes in zwei Polansationszuständen erzeugt und gemischt werden .
39.
Anordnung nach mindestens einem der vorangehenden Ansprüche, bei der die Abbildungselemente eine einstellbare oder bei Zweibündelanordnungen unterschiedliche Übertragungsapertur bei gleicher Vergrößerung besitzen, um zwei Konfokalbilder des gleichen Beobachtungsobjektes für zwei unterschiedliche Übertragungsaperturen zu erzeugen und danach zu mischen.
40.
Verfahren zur mikroskopischen Erzeugung von Objektbildern, wobei nacheinander mindestens zwei konfokale Bilder desselben Objektes mit unterscheidbarer optischer Objektinformation bildpixelweise aufgenommen und abgespeichert werden und die aufgenommenen und digitalisierten Bilder pixelgenau, vorzugsweise durch Differenzbildung, miteinander verknüpft werden und das derart entstehende Mischbild abgespeichert wird.
41.
Verfahren nach Anspruch 40, bei der die elektronischen Repräsentanten der verschiedenen optischen Konfokalbilder durch Digitalisierung des Empfängersignales erzeugt werden.
42.
Verfahren nach Anspruch 40 oder 41 , bei der die verschiedenen digitalisierten Konfokalbilder unterscheidbar in
Speichern abgelegt werden, was durch Synchronsignale und einen Hilfssensor gesteuert wird oder durch die natürliche Zuordnung der digitalisierten Konfokalbilder zu zwei Empfängern erfolgt .
43.
Verfahren nach mindestens einem der vorangehenden Ansprüche, wobei die verschiedenen digitalisierten, unterscheidbar gespeicherten Konfokalbilder durch schnelle Bildprozessoren zu einem Mischbild verknüpft werden.
44.
Verfahren nach mindestens einem der vorangehenden Ansprüche, wobei die Bildaufnahme vermittels Markersignalen über einen Hilfssensor synchronisiert wird.
45.
Verfahren nach mindestens einem der vorangehenden Ansprüche,
gekennzeichnet durch Differenzoperationen /^(Prr) rnit den Elementen P
und PjT der gemessenen konfokalen Bildmatrizen zu resultierenden Elementen Prj - der Bildmatrix im Mischbild.
PCT/EP1999/003069 1998-05-30 1999-05-05 Anordnung und verfahren zur mikroskopischen erzeugung von objektbildern WO1999063381A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US09/463,722 US6545265B1 (en) 1998-05-30 1999-05-05 System and method for the microscopic generation of object images
JP2000552534A JP2002517774A (ja) 1998-05-30 1999-05-05 顕微鏡における対象物画像生成のための装置および方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE19824460.6 1998-05-30
DE19824460A DE19824460A1 (de) 1998-05-30 1998-05-30 Anordnung und Verfahren zur mikroskopischen Erzeugung von Objektbildern

Publications (1)

Publication Number Publication Date
WO1999063381A1 true WO1999063381A1 (de) 1999-12-09

Family

ID=7869567

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP1999/003069 WO1999063381A1 (de) 1998-05-30 1999-05-05 Anordnung und verfahren zur mikroskopischen erzeugung von objektbildern

Country Status (4)

Country Link
US (1) US6545265B1 (de)
JP (1) JP2002517774A (de)
DE (1) DE19824460A1 (de)
WO (1) WO1999063381A1 (de)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004036898A2 (en) * 2002-10-16 2004-04-29 Perkinelmer Singapore Pte Ltd. Improvements in and relating to imaging
US6970287B1 (en) * 2001-07-16 2005-11-29 August Technology Corp. Confocal 3D inspection system and process
EP1617265A1 (de) * 2004-07-16 2006-01-18 Carl-Zeiss Jena GmbH Verfahren zur bildlichen Erfassung von Objekten mittels eines Lichtrastermikroskopes mit punktförmiger Lichtquellenverteilung
CN101960859A (zh) * 2008-07-08 2011-01-26 松下电器产业株式会社 图像处理方法、图像处理装置、图像处理程序、图像合成方法和图像合成装置
US8188412B2 (en) 2007-12-27 2012-05-29 Olympus Corporation Confocal microscope which weights and combines signals output from a plurality of photodetectors and calculates omnifocal brightness information for the plurality of signals

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7088650B1 (en) * 1999-08-23 2006-08-08 Worthington Mark O Methods and apparatus for optical disc data acquisition using physical synchronization markers
DE19960583A1 (de) * 1999-12-15 2001-07-05 Evotec Biosystems Ag Verfahren und Vorrichtung zur Mikroskopie
US6828961B2 (en) * 1999-12-30 2004-12-07 Texas Instruments Incorporated Color wheel synchronization in multi-frame-rate display systems
US6711283B1 (en) 2000-05-03 2004-03-23 Aperio Technologies, Inc. Fully automatic rapid microscope slide scanner
DE10030929A1 (de) * 2000-06-26 2002-01-03 Zeiss Carl Jena Gmbh Fluoreszenzmikroskop
US6993169B2 (en) * 2001-01-11 2006-01-31 Trestle Corporation System and method for finding regions of interest for microscopic digital montage imaging
US7155049B2 (en) * 2001-01-11 2006-12-26 Trestle Acquisition Corp. System for creating microscopic digital montage images
US6816606B2 (en) * 2001-02-21 2004-11-09 Interscope Technologies, Inc. Method for maintaining high-quality focus during high-throughput, microscopic digital montage imaging
DE10112947A1 (de) * 2001-03-17 2002-09-26 Zeiss Carl Jena Gmbh Verfahren zur Auswertung von Schichtbildern
US6773935B2 (en) * 2001-07-16 2004-08-10 August Technology Corp. Confocal 3D inspection system and process
FR2857107B1 (fr) * 2003-03-20 2008-04-04 Vincent Lauer Dispositif optique confocal avec changement de miroir
ES2282852T3 (es) * 2003-03-20 2007-10-16 Vincent Lauer Dispositivo optico confocal con separador de haces amovible.
EP1649314B1 (de) * 2003-07-04 2008-03-05 Vincent Lauer Rasterabbildungseinrichtung für die konfokale mikroskopie mit bildsubstraktion
DE102004034993A1 (de) * 2004-07-16 2006-02-02 Carl Zeiss Jena Gmbh Lichtrastermikroskop mit linienförmiger Abtastung und Verwendung
DE102004034963A1 (de) * 2004-07-16 2006-02-16 Carl Zeiss Jena Gmbh Verfahren zur bildlichen Erfassung von Objekten mittels eines Lichtrastermikroskopes
US7303280B2 (en) * 2004-12-17 2007-12-04 The Regents Of The University Of California High-resolution ophthalmic imaging system
EP1906224B1 (de) * 2005-07-21 2012-01-25 Nikon Corporation Konfokale Mikroskopvorrichtung
DE102006013761B4 (de) * 2006-03-24 2016-12-15 Carl Zeiss Meditec Ag Beleuchtungseinrichtung sowie Beobachtungseinrichtung
US7924517B2 (en) * 2006-06-21 2011-04-12 Applied Materials Israel, Ltd. Spatial filter, a system and method for collecting light from an object
DE102007009550B4 (de) 2007-02-27 2008-12-18 Ludwig-Maximilian-Universität Verfahren und Mikroskopvorrichtung zur Beobachtung einer bewegten Probe
JP5110370B2 (ja) * 2008-02-14 2012-12-26 横河電機株式会社 創薬スクリーニング装置
DE102009057712A1 (de) 2008-12-18 2010-07-01 Carl Zeiss Surgical Gmbh Beleuchtungseinrichtung sowie Beobachtungseinrichtung
US8523359B2 (en) 2008-12-18 2013-09-03 Carl Zeiss Meditec Ag Illumination device and observation device
JP2010217686A (ja) * 2009-03-18 2010-09-30 Yokogawa Electric Corp 共焦点スキャナ装置
EP2502203A4 (de) 2009-11-20 2017-05-17 Hewlett-Packard Development Company, L.P. Bestimmung eines visuellen ausgleichs eines bildes
DE102010055882A1 (de) * 2010-12-22 2012-06-28 Carl Zeiss Microlmaging Gmbh Pinhole für ein konfokales Laser-Scanning Mikroskop
DE102012208869A1 (de) * 2012-05-25 2013-11-28 Carl Zeiss Microscopy Gmbh Lichtrastermikroskop und Mikroskopierverfahren
DE102012007045B4 (de) * 2012-04-05 2023-03-16 Carl Zeiss Microscopy Gmbh Vorrichtung und Verfahren zur Mikroskopie
JP6131448B2 (ja) * 2012-12-04 2017-05-24 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 共焦点光学式検査装置および共焦点光学式検査方法
US9170414B2 (en) * 2013-02-27 2015-10-27 Yancy Corp. Method and apparatus for producing a super-magnified wide-field image
JP6605483B2 (ja) 2014-02-06 2019-11-13 バー‐イラン、ユニバーシティー ピンホールアレイを用いた撮像システム及び方法
US9664907B2 (en) * 2014-07-21 2017-05-30 Applied Materials Israel Ltd. Optical element for spatial beam shaping
WO2016178856A1 (en) 2015-05-01 2016-11-10 The Board Of Regents Of The University Of Texas System Uniform and scalable light-sheets generated by extended focusing
EP3308211B1 (de) * 2015-06-09 2019-03-13 Crestoptics S.p.A. Konfokales mikroskop und zugehöriges verfahren zur erfassung und verarbeitung von bildern
US10876970B2 (en) 2016-04-12 2020-12-29 The Board Of Regents Of The University Of Texas System Light-sheet microscope with parallelized 3D image acquisition
DE102018210606A1 (de) * 2018-06-28 2020-01-02 Carl Zeiss Microscopy Gmbh Mikroskopisches Abbildungsverfahren unter Verwendung eines Korrekturfaktors

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5283433A (en) * 1992-10-05 1994-02-01 The Regents Of The University Of California Scanning confocal microscope providing a continuous display
WO1997031282A1 (en) * 1996-02-22 1997-08-28 Isis Innovation Limited Confocal microscope
DE19627568A1 (de) * 1996-07-09 1998-01-15 Zeiss Carl Jena Gmbh Anordnung und Verfahren zur konfokalen Mikroskopie
WO1998028655A2 (en) * 1996-12-20 1998-07-02 Biophysica Technologies, Inc. Light modulated confocal optical instruments and method

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3926652A1 (de) * 1989-08-11 1991-04-18 Rodenstock Instr Vorrichtung zur angiographischen untersuchung des auges
DE4023292A1 (de) * 1990-07-21 1992-01-23 Leica Lasertechnik Anordnung zur simultanen konfokalen bilderzeugung
DE4113279C2 (de) * 1991-04-24 1996-08-29 Miodrag Dipl Phys Milicev Konfokales optisches Rastermikroskop
CH685650A5 (de) * 1991-07-20 1995-08-31 Tencor Instruments Einrichtung für Oberflächeninspektionen.
US5563710A (en) * 1994-10-28 1996-10-08 The Schepens Eye Research Institute, Inc. Imaging system with confocally self-detecting laser
DE19518006A1 (de) * 1995-05-19 1996-11-21 Deutsches Inst Fuer Bildung Un Verfahren zur Untersuchung von Textdokumenten durch Mikroskopieren und Vorrichtung zur Durchführung des Verfahrens

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5283433A (en) * 1992-10-05 1994-02-01 The Regents Of The University Of California Scanning confocal microscope providing a continuous display
WO1997031282A1 (en) * 1996-02-22 1997-08-28 Isis Innovation Limited Confocal microscope
DE19627568A1 (de) * 1996-07-09 1998-01-15 Zeiss Carl Jena Gmbh Anordnung und Verfahren zur konfokalen Mikroskopie
WO1998028655A2 (en) * 1996-12-20 1998-07-02 Biophysica Technologies, Inc. Light modulated confocal optical instruments and method

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
WILSON T ET AL: "Difference confocal scanning microscopy", OPTICA ACTA, APRIL 1984, UK, vol. 31, no. 4, pages 453 - 465, XP002115491, ISSN: 0030-3909 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6970287B1 (en) * 2001-07-16 2005-11-29 August Technology Corp. Confocal 3D inspection system and process
WO2004036898A2 (en) * 2002-10-16 2004-04-29 Perkinelmer Singapore Pte Ltd. Improvements in and relating to imaging
WO2004036898A3 (en) * 2002-10-16 2004-06-17 Perkinelmer Uk Ltd Improvements in and relating to imaging
AU2003301487B2 (en) * 2002-10-16 2009-10-01 Perkinelmer Singapore Pte Ltd. Improvements in and relating to imaging
KR101160356B1 (ko) * 2002-10-16 2012-06-26 퍼킨엘머 싱가포르 피티이 리미티드 영상화 방법
EP1617265A1 (de) * 2004-07-16 2006-01-18 Carl-Zeiss Jena GmbH Verfahren zur bildlichen Erfassung von Objekten mittels eines Lichtrastermikroskopes mit punktförmiger Lichtquellenverteilung
US8188412B2 (en) 2007-12-27 2012-05-29 Olympus Corporation Confocal microscope which weights and combines signals output from a plurality of photodetectors and calculates omnifocal brightness information for the plurality of signals
CN101960859A (zh) * 2008-07-08 2011-01-26 松下电器产业株式会社 图像处理方法、图像处理装置、图像处理程序、图像合成方法和图像合成装置

Also Published As

Publication number Publication date
US6545265B1 (en) 2003-04-08
DE19824460A1 (de) 1999-12-02
JP2002517774A (ja) 2002-06-18

Similar Documents

Publication Publication Date Title
WO1999063381A1 (de) Anordnung und verfahren zur mikroskopischen erzeugung von objektbildern
DE69728572T2 (de) Mikroabbildungssystem
EP2137488B1 (de) Verfahren und anordnung zur optischen abbildung mit tiefendiskriminierung
DE3610165C2 (de)
DE69511903T2 (de) System zur kontinnierlichen räumlichen Abbildung für Abtastmikroskopie
DE19510102C1 (de) Konfokales Fluoreszenzmikroskop
DE60000406T2 (de) Vorrichtung und verfahren zur konfokalen mikroskopie
DE102004053730B4 (de) Verfahren und Anordnung zur Unterdrückung von Falschlicht
EP0353495B1 (de) Anordnung zur Erzeugung eines optischen Bildkontrastes
EP3304167B1 (de) Anordnung und verfahren zur lichtblattmikroskopie
DE10014331A1 (de) Konfokales Mikroskop
DE102010060121A1 (de) SPIM-Mikroskop mit sequenziellem Lightsheet
DE10257423A1 (de) Mikroskop
EP0076866A1 (de) Interpolierendes Lichtschnitt-Verfahren
DE10004191A1 (de) Hochleistungs-Grossfeld-Rastermikroskop
DE2360197A1 (de) Verfahren zur erhoehung der schaerfentiefe und/oder des aufloesungsvermoegens von lichtmikroskopen
DE4326473C2 (de) Konfokales Mikroskop
LU92925B1 (de) Verfahren zum Untersuchen einer Probe mittels Lichtblatt-Mikroskopie und Lichtblatt-Mikroskop
WO2013149731A1 (de) Vorrichtung und verfahren zur mikroskopie
DE19825947A1 (de) Forensisches Mikroskop, insbesondere zur Schriftprüfung
EP2557451B1 (de) Verfahren und anordnung zur optischen erfassung einer beleuchteten probe
EP4220270A1 (de) Verfahren und vorrichtung zum untersuchen einer probe
EP4325208A2 (de) Verfahren und vorrichtung zum erfassen von verlagerungen einer probe gegenüber einem objektiv
DE3739223A1 (de) Verfahren zur autofokussierung von mikroskopen und mikroskope mit einer autofokussierung
EP3475750B1 (de) Beleuchtungsvorrichtung für ein mikroskop

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): JP US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LU MC NL PT SE

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 09463722

Country of ref document: US

122 Ep: pct application non-entry in european phase