DE102004006960A1 - Time resolve moving object fluorescent imaging procedure for opthalmoscope stores large individual images in real time with automatic recognition processing to select for overlays - Google Patents

Abstract

A time resolved moving object fluorescent imaging (7) procedure stores large individual images with short measurement time in real time with processing of each one by unique automatic recognition of at least one reference image structure and overlaying (14) only those showing this structure. Independent claims are included for a laser scanning opthalmoscope using the procedure.

Description

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Gewinnung und Auswertung kontrastreicher Bilder der zeitaufgelösten Fluoreszenz von bewegten Objekten. Ein mögliches Anwendungsgebiet ist die Gewinnung und Auswertung von laserangeregten Bildern der Autofluoreszenz des lebenden Auges, insbesondere unter Berücksichtigung von Reflexionsbildern des Augenhintergrundes.The The invention relates to a method and a device for obtaining and evaluation of high - contrast images of the time resolved fluorescence of moving objects. A possible Field of application is the extraction and evaluation of laser-excited Images of autofluorescence of the living eye, in particular under Consideration of Reflection images of the eye background.

In Schweitzer et al. ("Tau Mapping of the Autofluorescence of the human ocular fundus" SPIE Vol. 4164, 2000, 79-89) und DE 199 20 158 .7 ("Verfahren und Anordnung zur Bestimmung von Fluorophoren an Objekten, insbesondere am lebenden Augenhintergrund") wurde gezeigt, dass die Messung der zeitaufgelösten Fluoreszenz, insbesondere der Autofluoreszenz, am menschlichen Augenhintergrund unter Beachtung der maximal zulässigen Lichtbelastung gegenwärtig nur mittels einer Kombination zwischen Laser Scanning Technik und zeitkorreliertem Einzelphotonenzählen möglich ist. Hierzu wird der Augenhintergrund während des Scanvorgangs mit der Strahlung eines Pulslasers bestrahlt, wobei die Halbwertsbreite der Laserpulse in der Größenordnung von Pikosekunden und die Wiederholrate in der Größenordnung von 40-80 MHz liegen sollte. Entsprechend den erforderlichen Bedingungen für die Anwendbarkeit des zeitkorrelierten Einzelphotonenzählens, die den realen Bedingungen am Auge optimal entsprechen, wird in einer Serie von ca. zehn Anregungspulsen nur ein Fluoreszenzphoton registriert. Bei wiederholter Anregung der Fluoreszenz entspricht die detektierte Photonenzahl in den Kanälen des Zeitregisters beim zeitkorrelierten Einzelphotonenzählen dem Verlauf der dynamischen Fluoreszenz. Die Fluoreszenzabklingzeiten werden durch Approximation der detektierten Photonenzahlen in den Zeitkanälen jedes Bildpunktes mittels einer Modellfunktion bestimmt. Um die Fluoreszenzabklingzeiten mit einer geringen Unsicherheit an jedem Bildpunkt zu bestimmen, ist die Akkumulation einer großen Anzahl von Photonen in den einzelnen Zeitkanälen erforderlich.In Schweitzer et al. ("Tau Mapping of the Autofluorescence of the human ocular fundus" SPIE Vol. 4164, 2000, 79-89) and DE 199 20 158 .7 ("Method and Arrangement for the Determination of Fluorophores on Objects, Especially on the Living Ocular Background"), it has been shown that the measurement of time-resolved fluorescence, in particular autofluorescence, on the human ocular fundus, taking into account the maximum permissible exposure to light, is currently only possible by means of a combination between lasers Scanning technique and time-correlated single photon counting is possible. For this purpose, the fundus is irradiated with the radiation of a pulse laser during the scanning process, wherein the half-width of the laser pulses on the order of picoseconds and the repetition rate should be in the order of 40-80 MHz. According to the conditions required for the applicability of the time-correlated single photon counting, which optimally correspond to the real conditions on the eye, only one fluorescence photon is registered in a series of about ten excitation pulses. With repeated excitation of the fluorescence, the detected number of photons in the channels of the time register corresponds to the course of the dynamic fluorescence in time-correlated single-photon counting. The fluorescence decay times are determined by approximation of the detected photon numbers in the time channels of each pixel by means of a model function. In order to determine the fluorescence decay times with a small uncertainty at each pixel, the accumulation of a large number of photons in the individual time slots is required.

Infolge der Augenbewegungen ist es nicht möglich, eine feste Zuordnung zwischen der Pixelposition im detektierten Bild und der Position am Augenhintergrund während einer ausreichend langen Messzeit zu gewährleisten. Die Signale der zeitaufgelösten Fluoreszenz werden somit von unterschiedlichen Bildorten detektiert, so dass die exakt örtliche Bestimmung der Abklingzeit problematisch ist.As a result the eye movements, it is not possible a fixed assignment between the pixel position in the detected image and the position at the eye background during to ensure a sufficiently long measuring time. The signals of time-resolved Fluorescence is thus detected from different image locations, so that the exact local destination the cooldown is problematic.

Eine Kompensation von Augenbewegungen unter Zuhilfenahme von Eye Trackern (D.X. Hammer et al.: "Image stabilization for scanning laser ophthalmoscopy", Optics Express, 2000, Vol. 10, No. 26, 1542-1549) ist denkbar, führt jedoch zu Störungen des extrem schwachen Fluoreszenzsignals. In DE 199 20 158 A1 ("Verfahren und Anordnung zur Bestimmung von Fluorophoren an Objekten, insbesondere am lebenden Augenhintergrund") wurde vorgeschlagen, das Reflexionslicht zur Kompensation von Augenbewegungen zu nutzen, welches bei der Anregung der Fluoreszenz ohnehin entsteht.A compensation of eye movements with the aid of eye trackers (DX Hammer et al .: "Image stabilization for scanning laser ophthalmoscopy", Optics Express, 2000, Vol. 10, No. 26, 1542-1549) is conceivable, but leads to disorders of the extremely weak fluorescence signal. In DE 199 20 158 A1 ("Method and Arrangement for Determining Fluorophores on Objects, Especially on the Living Ocular Background"), it has been proposed to use the reflection light to compensate for eye movements, which arises anyway in the excitation of fluorescence.

In der von Schweitzer et al. ("Zeitaufgelöste Messung der Autofluoreszenz – ein Werkzeug zur Erfassung von Stoffwechselveränderungen am Augenhintergrund", Ophthalmologe, 2002, Vol. 99, 776-779) beschriebenen Anordnung erfolgt die Messung der dynamischen Fluoreszenz während einer wählbaren Zeit, deren Dauer nach der Konzentrationsfähigkeit des Probanden gewählt wird. Nach jeder Messung werden das Autofluoreszenzbild und das zugeordnete Reflexionsbild abgespeichert, was in der beschriebenen Anordnung den mehrfachen Wert der Messzeit in Anspruch nimmt. Um eine erforderliche Zahl von Photonen zu akkumulieren, werden Folgen von Bildern in derartigen Messzyklen aufgenommen. Nach Ende der Messungen erfolgt eine manuelle Bewertung der Einzelbilder. Es werden nur die Bilder zur automatischen Bildüberlagerung ausgewählt, in denen während der Messzeit keine Augenbewegung erfolgte und in denen die zur Überlagerung herangezogene Gefäßstruktur mit ausreichendem Kontrast erkennbar ist. Es werden die kontrastreichen Reflexionsbilder überlagert und die Verschiebung der kontrastschwachen Fluoreszenzbilder entsprechend der festen Zuordnung zwischen beiden Bildarten realisiert.In the Schweitzer et al. ("Time-resolved measurement autofluorescence - a Tool for detecting metabolic changes in the ocular fundus ", ophthalmologist, 2002, Vol. 99, 776-779) arrangement, the measurement takes place the dynamic fluorescence during a selectable one Time whose duration is chosen according to the concentration ability of the subject. After each measurement, the autofluorescence image and the associated Reflection image stored, resulting in the described arrangement takes up the multiple value of the measuring time. To a required Number of photons to accumulate will be followed by images in recorded such measuring cycles. After the end of the measurements takes place a manual evaluation of the individual images. It will only be the pictures for automatic image overlay selected, in which during the measuring time no eye movement took place and in those to the overlay used vessel structure recognizable with sufficient contrast. It will be the high-contrast Reflection images superimposed and the shift of the low-contrast fluorescence images accordingly realized the fixed assignment between the two image types.

Dieses Verfahren zur Gewinnung von Bildern der zeitaufgelösten Autofluoreszenz von bewegten Objekten hat den Nachteil, dass bei zu lang gewählter Akkumulationszeit die Fluoreszenz von verschiedenen Orten detektiert wird und sich die ortsspezifischen Informationen überlagern. Bei Messungen am Augenhintergrund treten unwillkürliche Augenbewegungen auf, so dass die akkumulierten Reflexions- und Fluoreszenzbilder prinzipiell mit zunehmender Akkumulationszeit verwischen. Damit ist die örtliche Zuordnung der Fluoreszenz beschränkt. Mit dem Auftreten nicht verschiebbarer Einzelbilder verlängert sich der Messzyklus und der Patient wird unnötig lange dem Messprozess ausgesetzt.This Method for obtaining images of time-resolved autofluorescence of moving objects has the disadvantage that when too long selected accumulation time the fluorescence is detected from different locations and up superimpose the site-specific information. For measurements on the fundus occur involuntary Eye movements, so that the accumulated reflection and fluorescence images in principle blur with increasing accumulation time. In order to is the local assignment limited to fluorescence. With the appearance of non-displaceable frames extends the measuring cycle and the patient is unnecessarily exposed to the measuring process.

Der Erfindung liegt deshalb die Aufgabe zu Grunde, die Gewinnung und Auswertung kontrastreicher Bilder der zeitaufgelösten Fluoreszenz von bewegten Objekten zu verbessern.Of the The invention is therefore based on the object, the extraction and Evaluation of high-contrast images of time-resolved fluorescence from moving To improve objects.

Insbesondere sollen die Gesamtmesszeit für die Gewinnung der Bilder der zeitaufgelösten Fluoreszenz verkürzt und für ophthalmologische Anwendungen die Belastung des Patienten verringert werden.In particular, the total measurement time for obtaining the images of the time-resolved fluo shortened and the burden on the patient for ophthalmological applications are reduced.

Erfindungsgemäß werden von dem zu erfassenden Objekt, beispielsweise dem Hintergrund des lebenden Auges, zumindest eine lange Bildfolge von in kurzer Messzeit aufgenommenen Einzelbildern des Objektes in Echtzeit gespeichert und jedes Einzelbild hinsichtlich einer eindeutigen automatischen Erkennung wenigstens einer als Referenz vorgegebenen Bildstruktur bewertet. In der Praxis wird das Objekt durch Laserimpulse zur Fluoreszenz angeregt, wobei vorzugsweise gleichzeitig das Objekt durch das Licht dieser Laserimpulse und/oder durch zusätzliches Licht zum Zweck der Erzeugung von Reflexionsbildern des Objektes, insbesondere des Augenhintergrundes bei ophthalmologischen Untersuchungen, beleuchtet wird. Von dem Objekt werden dabei jeweils zweidimensionale Bilder der laserangeregten zeitaufgelösten Fluoreszenz und vorteilhafter Weise dazu korrespondierende kontrastreiche Reflexionsbilder des beleuchteten Objektes paarweise gewonnen. Diese Bilder, in denen eine genaue Zuordnung des Reflexions- und/oder Fluoreszenzsignals zum Messort besteht, werden nach Korrektur der Augenbewegungen überlagert, so dass ein Bild der zeitaufgelösten Autofluoreszenz zur weiteren Auswertung zur Verfügung steht, in dem in jedem Zeitkanal der dynamischen Fluoreszenz jedes Bildpunktes eine ausreichend große Anzahl von Fluoreszenzphotonen akkumuliert wurde und in dem eine genaue Zuordnung des Fluoreszenzsignals zum Messort vorliegt.According to the invention from the object to be detected, for example, the background of the living Eye, at least a long sequence of images taken in a short measuring time Frames of the object stored in real time and each frame in terms of a unique automatic detection at least evaluated as a reference image structure. In practice The object is excited by laser pulses to fluoresce, wherein preferably simultaneously the object by the light of these laser pulses and / or by additional Light for the purpose of generating reflection images of the object, in particular the ocular fundus in ophthalmological examinations, is illuminated. Of the object are each two-dimensional Images of laser-excited time-resolved fluorescence and advantageous manner Corresponding high-contrast reflection images of the illuminated Object won in pairs. These pictures in which an exact Assignment of the reflection and / or fluorescence signal to the measuring location is superimposed after correcting the eye movements, making a picture of the time-resolved Autofluorescence is available for further evaluation, in which in each Time channel of the dynamic fluorescence of each pixel one sufficient size Number of fluorescent photons was accumulated and in the one accurate assignment of the fluorescence signal to the measurement site is present.

Für ophthalmologische Messungen schaut die zu untersuchende Person kontinuierlich in das Untersuchungsfeld eines Laser-Scanning-Ophthalmoskops, wobei sich in diesem Untersuchungsfeld eine Fixationseinrichtung für das Auge befinden kann. Die Bilder der zeitaufgelösten Fluoreszenz werden in kurzer Folge aufgenommen. Die Bilderfassung erfolgt anwendungsspezifisch im Bereich von Millisekunden bis zu wenigen Sekunden. Vorteilhafte Messzeiten liegen bei 200 ms. In diesem Zeitbereich werden für die Auswertung noch hinreichend kontrastreiche Reflexionsbilder oder Bilder der zeitaufgelösten Fluoreszenz erzeugt, wobei während der Bildaufnahme auf Grund der kurzen Erfassungszeit mit hoher Wahrscheinlichkeit keine unbeabsichtigten Augenbewegungen aufgetreten sind. Sollten in einzelnen Fluoreszenzbildern dennoch derartige Augenbewegungen erfasst sein, so werden diese bei der Bildbewertung erkannt. Lidschlüsse oder starke Defixationen beeinflussen somit das Messergebnis nicht, da diese durch die Bewertung der Bildqualität ausgesondert werden.For ophthalmic Measurements continuously inspects the person to be examined in the examination field a laser scanning ophthalmoscope, wherein in this examination field Fixation device for the eye can be. The images of time-resolved fluorescence become recorded in quick succession. The image capture is application-specific in the range of milliseconds to a few seconds. Advantageous measuring times are 200 ms. In this time range are for the evaluation still sufficiently high-contrast reflection images or images of time-resolved Fluorescence is generated while the image acquisition due to the short acquisition time with high probability no unintentional eye movements have occurred. Should nevertheless, in individual fluorescence images such eye movements be detected, they are recognized in the image evaluation. Eyelids or strong defixations thus do not influence the measurement result, since these be discriminated by the rating of image quality.

Die Bewertung der Bildqualität erfolgt automatisch durch Bildabtastung auf eindeutige Erkennung wenigstens einer durch Referenz vorgegebenen Struktur, wobei als Bezugsbild ein Bild mit optimalem Kontrast ausgewählt werden kann, beispielsweise auch ein Fluoreszenzbild. Das ist insbesondere dann zweckmäßig, wenn die Abklingzeit eines applizierten fluoreszierenden Markers zu untersuchen ist. Vorzugsweise wird das Anfangsbild als Bezugsbild verwendet, bei dem eine optimale Einstellung des Fundusbildes zu Beginn der Messung erfolgt ist.The Rating the image quality takes place automatically by image scanning for unambiguous recognition at least one structure predetermined by reference, wherein as Reference image, an image with optimum contrast can be selected can, for example, a fluorescence image. That is in particular then appropriate if the decay time of an applied fluorescent marker is to be investigated. Preferably, the initial image is used as a reference image at the optimal adjustment of the fundus image at the beginning of the measurement is done.

Als Referenz können aber unter anderem auch in einer Datenbank abgespeicherte Bilder mit einer oder mehreren Vergleichsstrukturen herangezogen werden. Die Bildqualität wird nach dem Kontrast, unter dem beispielsweise Gefäße oder andere ausgezeichnete Fundusstrukturen, wie Papille, Makula, Exsudate etc., in den Bildern erscheinen, ausgewertet. Zur Überlagerung werden nur die Bilder aus der gesamten gespeicherten Serie herangezogen, die einen ausreichenden Kontrast besitzen und in denen die mindestens eine vorgegebene Struktur erkennbar ist. Ist dies nicht der Fall (beispielsweise bei den angesprochenen unwillkürlichen Augenbewegungen des Probanden oder sonstigen Bild- bzw. Kontrastabweichungen), so werden diese Bilder (bzw. Bildpaare bei Verwendung von Reflexionsbildern des Objektes) aussortiert.When Reference can but also stored in a database pictures be used with one or more comparison structures. The picture quality becomes after the contrast, under which for example vessels or other excellent fundus structures, such as papilla, macula, exudates etc., appear in the pictures, evaluated. For overlay only the images from the entire saved series are used, which have a sufficient contrast and in which the at least a predetermined structure is recognizable. This is not the case (For example, in the mentioned involuntary eye movements of the Subjects or other image or contrast deviations), so be these images (or image pairs when using reflection images of the object).

Die Bilder bzw. Bildpaare mit erkannter Struktur werden zur Auswertung der zeitaufgelösten Fluoreszenz herangezogen, wobei eine Akkumulation der Photonen für jeden Bildpunkt und in jedem Zeitkanal erfolgt bis ein vorgegebener Grenzwert für die Gesamtzahl der Photonen in allen Zeitkanälen an einem Bildpunkt erreicht ist. Somit wird die Bilderzeugung und -bewertung in der großen Folge dieser kurzen Bildaufnahmen solange fortgeführt, bis die für eine exakte Berechnung der Fluoreszenzabklingzeit (Lifetime) erforderliche Anzahl von Photonen pro Bildpunkt detektiert worden ist.The Images or image pairs with recognized structure are evaluated the time-resolved fluorescence used, with an accumulation of photons for each Pixel and in each time channel is up to a predetermined limit for the Total number of photons in all time channels achieved at one pixel is. Thus, image formation and evaluation becomes the big consequence continued this short image capturing until that for an exact Calculation of the fluorescence decay time (Lifetime) required number of photons per pixel has been detected.

Für die Gewinnung kontrastreicher Bilder mit genauer Zuordnung der zeitaufgelösten Fluoreszenz zum Messort können unterschiedliche Möglichkeiten und Vorrichtungen realisiert werden.For the extraction High - contrast images with accurate assignment of time - resolved fluorescence to Measuring location can different ways and Devices are realized.

Einerseits kann die Bewertung der Bilder des Objektes hinsichtlich der zu erkennenden Bildstruktur in Echtzeit erfolgen und es werden nur diejenigen selektierten Reflexions- und/oder Fluoreszenzbilder abgespeichert, in ihrer Lage korrigiert und überlagert, in welchen eindeutig die besagte wenigstens eine als Referenz vorgegebene Bildstruktur erkannt wird.On the one hand can the rating of the images of the object in terms of recognizable Image structure in real time and only those are selected Reflection and / or Stored fluorescence images, corrected in their position and superimposed, in which clearly said at least one predetermined as a reference Image structure is detected.

Andererseits werden zunächst alle aufgenommenen Fluoreszenzbilder (bzw. Bildpaare bei Verwendung von Reflexionsbildern) des Objektes in Echtzeit abgespeichert, und es wird anschließend die vorgenannte Bildbewertung und Bildüberlagerung vorgenommen.on the other hand be first all recorded fluorescence images (or image pairs when used of reflection images) of the object in real time, and it will be afterwards the aforementioned image evaluation and image overlay made.

In beiden Fällen wird durch die Echtzeitverarbeitung der Daten gewährleistet, dass das Objekt bzw. der Proband der kürzestmöglichen Gesamtmesszeit ausgesetzt ist. Ein Zeitverzug durch aufwendige und zeitraubende Datenablage und Zwischenspeicherungen ist nicht gegeben. Der Einfluss von Bildbewegungen während der kurzen Messzeit eines Einzelbildes ist entscheidend reduziert. Die erforderliche Datenspeicherung erfolgt in Echtzeit in flüchtige Arbeitsspeicher oder in sehr schnelle andere Speicher. Weitere Speichervorgänge und Auswertungen können nach Abschluss der Objektuntersuchung (Gewinnung von Bildern der laserangeregten Fluoreszenz) und somit ohne Belastung des Objektes oder der Untersuchungsperson vorgenommen werden.In both cases is ensured by the real-time processing of the data, that the object or the subject exposed to the shortest possible total measurement time is. A time delay due to complex and time-consuming data storage and caching is not given. The influence of image movements while the short measurement time of a single image is significantly reduced. The required data storage takes place in real time in volatile main memories or in very fast other memory. Further memory operations and Evaluations can after completion of the object investigation (extraction of images of the laser-excited fluorescence) and thus without loading of the object or the examiner.

Bei Verwendung von Reflexionsbildern des Objektes werden die korrespondierenden Fluoreszenz- und Reflexionsbilder jeweils überlagert, wobei eine Korrektur der linearen Verschiebung und der Drehungen zwischen den kontinuierlich aufgenommenen Bildern, die durch Augenbewegungen verursacht wurden, vorgenommen wird. Da zwischen den Bildpunkten der zugeordneten Fluoreszenz- und Reflexionsbilder eine feste geometrische Zuordnung besteht, werden durch die Überlagerung der Reflexionsbilder auch die Fluoreszenzbilder passgerecht überlagert. Dabei wird, wie vorgenannt, der Inhalt der Zeitregister der zu überlagernden Bildpunkte des Fluoreszenzbildes bei Anwendung der zeitkorrelierten Einzelphotonenzählung addiert.at Use of reflection images of the object become the corresponding ones Fluorescence and reflection images superimposed, with a correction the linear displacement and the rotations between the continuous recorded images caused by eye movements, is made. Since between the pixels of the associated fluorescence and reflection images have a fixed geometric assignment, be through the overlay the reflection images are also superimposed on the fluorescence images. As mentioned above, the contents of the time registers are to be overlaid Pixels of the fluorescence image added using time-correlated single photon counting.

Die Gewinnung dieser Fluoreszenz- und Reflexionsbildpaare kann auf unterschiedliche Weise erfolgen.The Obtaining these fluorescence and reflection image pairs can be different Done way.

Beispielsweise wird das vom Objekt reflektierte Anregungslicht zur Erzeugung der Reflexionsbilder verwendet. Das Fluoreszenzlicht wird beispielsweise über einen dichroitischen Teiler und einen Blockfilter daraus selektiert.For example is reflected by the object excitation light for generating the Reflection images used. The fluorescent light is, for example, via a dichroic divider and a block filter selected from it.

Als zweite Möglichkeit wird alternierend zum Anregungslicht das Objekt mit Licht einer Wellenlänge beleuchtet, bei der die Reflexion des Objektes wesentlich höher ist als beim Anregungslicht. Um zu gewährleisten, dass nur Fluoreszenzlicht während der Beleuchtung mit Anregungslicht detektiert wird, ist der Fluoreszenzdetektor während der Beleuchtung mit dem zur Erzeugung des Reflexionsbildes ausgeführten Beleuchtung abgeschaltet. Der Wechsel zwischen Anregungsbeleuchtung und Beleuchtung zur Erzeugung des Reflexionsbildes in einer Laser-Scanner-Anordnung kann vorteilhaft zeilenweise, zum Beispiel zwischen Hin- und Rücklauf oder zwischen aufeinanderfolgenden Bildern, realisiert werden.When second option becomes alternating with the excitation light the object with light one wavelength illuminated, in which the reflection of the object is much higher as the excitation light. To ensure that only fluorescent light while the illumination with excitation light is detected is the fluorescence detector while the illumination with the illumination designed to produce the reflection image off. The change between excitation lighting and lighting for generating the reflection image in a laser scanner arrangement can advantageously line by line, for example between return and or between consecutive pictures.

Darüber hinaus kann als dritte Möglichkeit eine Objektbeleuchtung zur Erzeugung des Reflexionsbildes gleichzeitig und zusätzlich zu dem Anregungslicht mit langwelligem Licht erfolgen, wobei Wellenlängen größer als 700 nm außerhalb des sichtbaren Spektralbereichs zu keiner Fluoreszenzanregung des Objektes, insbesondere des menschlichen Auges, führen und auch kein Fluoreszenzlicht infolge kurzwelliger Anregung entsteht. In diesem langwelligen Spektralbereich besitzen die Okularmedien auch bei beginnender Katarakt eine ausreichende Transmission, so dass der Augenhintergrund als Reflexionsbild darstellbar ist. Weiterhin sind die zulässigen Expositionen für das langwellige Licht wesentlich höher als für kurzwelliges Licht, so dass die für die Anwendung der zeitkorrelierten Einzelphotonenzählung ohnehin geringe Exposition nur unwesentlich erhöht wird. Da die Fluoreszenz nur in einem definierten Spektralbereich am Auge nachweisbar ist, kann zu dessen Detektion das Anregungslicht durch ein Langpassfilter und das langwellige Licht zur Erzeugung des Reflexionsbildes durch ein zusätzliches angepasstes Kurzpassfilter beseitigt werden.Furthermore can as a third option one Object lighting for generating the reflection image simultaneously and additionally to the excitation light with long-wavelength light, with wavelengths greater than 700 nm outside of the visible spectral range to no fluorescence excitation of the Object, especially the human eye, lead and no fluorescent light due short-wave excitation arises. In this long-wave spectral range have the Okularmedien also at the beginning of cataract sufficient Transmission, allowing the fundus to be displayed as a reflection image is. Furthermore, the permissible Exposures for the long-wave light much higher than for short-wave light, so that the for the application of time-correlated single photon counting anyway low exposure is only marginally increased. Because the fluorescence is detectable only in a defined spectral range on the eye, can for detecting the excitation light through a long-pass filter and the long-wavelength light for generating the reflection image by a additional adapted shortpass filter can be eliminated.

Die Anwendung der Erfindung ist nicht auf ophthalmologische Untersuchungen beschränkt.The Application of the invention is not to ophthalmological examinations limited.

Die Erfindung soll nachstehend anhand von zwei in der Zeichnung dargestellten Ausführungsbeispielen näher erläutert werden.The Invention will be described below with reference to two in the drawing embodiments be explained in more detail.

Es zeigen:It demonstrate:

1: Vorrichtung, mit welcher die Aufnahme der Fluoreszenzbilder des Objektes und die Bewertung der Bilder des Objektes hinsichtlich der zu erkennenden Bildstruktur in Echtzeit erfolgt und bei der nur diejenigen Fluoreszenzbilder abgespeichert und in ihrer Lage korrigiert werden sowie weiterhin eine bildpunktgenaue Akkumulation der Fluoreszenzphotonen in den einzelnen Zeitkanälen erfolgt, in welchen eindeutig die wenigstens eine als Referenz vorgegebene Bildstruktur erkannt wird. 1 : Device with which the recording of the fluorescence images of the object and the evaluation of the images of the object with respect to the image structure to be recognized takes place in real time and in which only those fluorescence images are stored and corrected in their position and further a pixel-accurate accumulation of fluorescence photons in the individual time channels takes place, in which clearly the at least one predetermined as a reference image structure is detected.

2: Vorrichtung, bei der zunächst alle Bilder des Objektes in Echtzeit abgespeichert werden und anschließend die Bewertung der abgespeicherten Reflexions- oder Fluoreszenzbilder hinsichtlich der automatischen Erkennung der wenigstens einen als Referenz vorgegebenen Bildstruktur sowie deren Lagekorrektur und Akkumulation der Fluoreszenzphotonen erfolgt. 2 : Device in which initially all images of the object are stored in real time and then the evaluation of the stored reflection or fluorescence images with respect to the automatic detection of at least one predetermined reference image structure and their position correction and accumulation of fluorescence photons.

In 1 ist eine ophthalmologische Vorrichtung als schematischer Ablaufplan dargestellt (gleich ob die einzelnen Funktionsstufen hard- oder softwaremäßig realisiert sind), mit welcher ein lebendes Auge 1 durch ein Laser-Scanning-Ophthalmoskop 2 (mitunter auch als Scanning-Laser-Ophthalmoskop bezeichnet) untersucht wird. Für diese Untersuchung wird das Auge 1 zur Fluoreszenzanregung mit Laserimpulsen abgetastet, die durch einen Pulslaser 3 erzeugt werden. Das Laserlicht des Pulslasers 3 wird in das Laser-Scanning-Ophthalmoskop 2 abgebildet und in diesem so abgelenkt, dass der Hintergrund des Auges 1 mit einem bewegten Bildpunkt beleuchtet wird. Jeder Bildpunkt des Augenhintergrundes wird dadurch kurzzeitig zur Fluoreszenz angeregt. Das Fluoreszenzlicht und das vom Augenhintergrund reflektierte Licht durchlaufen das Laser-Scanning-Ophthalmoskop 2 entgegengesetzt zum Anregungslicht des Pulslasers 3. Reflexions- und Fluoreszenzlicht werden durch einen dichroitischen Teiler 4 und einen Blockfilter 5 voneinander getrennt. Das Reflexionslicht wird von einem Detektor 6 und das Fluoreszenzlicht von einem schnellen Detektor 7 empfangen. Das im Detektor 6 sequentiell empfangene Reflexionslicht wird in einem Framegrabber 8 als zweidimensionales Bild aufgebaut.In 1 an ophthalmic device is shown as a schematic flowchart (whether the individual functional stages are realized in hardware or software), with which a living eye 1 through a laser scanning ophthalmoscope 2 (sometimes referred to as a scanning laser ophthalmoscope) is examined. For this investigation becomes the eye 1 sampled for fluorescence excitation with laser pulses by a pulse laser 3 be generated. The laser light of the pulse laser 3 gets into the laser scanning ophthalmoscope 2 pictured and so distracted in this, that the background of the eye 1 illuminated with a moving pixel. Each pixel of the fundus is thereby briefly stimulated to fluoresce. The fluorescent light and the light reflected from the fundus pass through the laser scanning ophthalmoscope 2 opposite to the excitation light of the pulse laser 3 , Reflection and fluorescent light are transmitted through a dichroic splitter 4 and a block filter 5 separated from each other. The reflection light is from a detector 6 and the fluorescent light from a fast detector 7 receive. That in the detector 6 sequentially received reflection light is in a frame grabber 8th built as a two-dimensional image.

Aus dem vom Detektors 7 empfangenen Fluoreszenzlicht wird in einer Karte 9 für das zeitkorrelierte Einzelphotonenzählen der Datenkubus für die zweidimensional örtlich und zeitaufgelöste Fluoreszenz generiert. Die Analog-Digital Wandlung in der Karte 9 wird durch Steuerimpulse einer Steuerstufe 10 synchronisiert, welche gleichzeitig die Steuersignale zur Erzeugung der kurzen Laserimpulse des Pulslasers 3 liefert.From the detector 7 received fluorescent light is in a card 9 for the time-correlated single-photon counting, the data cube for the two-dimensionally spatially and temporally resolved fluorescence is generated. The analog-digital conversion in the map 9 is controlled by control pulses of a control stage 10 synchronized, which at the same time the control signals for generating the short laser pulses of the pulse laser 3 supplies.

Die Zuordnung zwischen dem Bildaufbau im Laser-Scanning-Ophthalmoskop 2 und in der Karte 9 für das zeitkorrelierte Einzelphotonenzählen wird mittels eines Routers 11 entsprechend den Bildsteuersignalen des Laser-Scanning-Ophthalmoskops 2 realisiert. Reflexions- und Fluoreszenzbild werden in einer wählbaren Messzeit von beispielsweise 200 ms, während der keine Blicksprünge des zu untersuchenden Auges 1 zu erwarten sind, registriert.The association between the image structure in the laser scanning ophthalmoscope 2 and in the map 9 for the time-correlated single-photon counting is by means of a router 11 corresponding to the image control signals of the laser scanning ophthalmoscope 2 realized. Reflection and fluorescence image are in a selectable measuring time of, for example, 200 ms, during the no eye-drops of the eye to be examined 1 are expected to be registered.

Grundsätzlich stehen nach Abschluss der vorgenannten Messung sowohl das Fluoreszenzbild als Darstellung der Summe aller Photonen, die in allen Zeitkanälen eines Bildpunktes gemessen wurden, als auch das sequentiell detektierte und im Framegrabber 8 aufgebaute Reflexionsbild für eine Bildbewertung zur Verfügung. Aus praktikablen Gründen wird (wie im vorliegenden Fall der Vorrichtung gemäß 1) bei Messungen der Autofluoreszenz des Augenhintergrundes vorzugsweise das Reflexionsbild bewertet, bei Messungen der zeitaufgelösten Fluoreszenz von applizierten Fluoreszenzmarkern hingegen das besagte Fluoreszenzbild.Basically, after completion of the aforementioned measurement, both the fluorescence image and the sum of all the photons measured in all the time channels of a pixel as well as those detected sequentially and in the frame grabber stand 8th built-reflection image available for image evaluation. For practical reasons (as in the present case the device according to 1 In the case of measurements of the autofluorescence of the ocular fundus, the reflection image is preferably evaluated; in the case of measurements of the time-resolved fluorescence of applied fluorescence markers, however, the said fluorescence image is evaluated.

Die Bildbewertung in einer Bewertungsstufe 12 dient dem Ziel, eine genaue Überlagerung der einzelnen Reflexionsbilder und damit direkt oder über feste Zuordnung zwischen Reflexions- und Fluoreszenzbildern eine bildpunktgenaue Addition der Photonenzahlen in den einzelnen Registern des Einzelphotonenzählers der Karte 9 zu ermöglichen.The image rating in a rating level 12 serves the purpose of accurately superimposing the individual reflection images and thus directly or via fixed assignment between reflection and fluorescence images, a pixel-precise addition of the photon numbers in the individual registers of the single photon counter of the card 9 to enable.

Die Genauigkeit, mit der Fundusbilder vom Auge 1 überlagert werden können, ist vom Kontrast abhängig, unter dem beispielsweise die Gefäßstrukturen des Augenhintergrundes abgebildet werden. Die Qualität eines Fundusbildes wird durch Augenbewegung des Probanden während der Aufnahme eines Bildes reduziert. Tritt beispielsweise während der Aufnahme eines Einzelbildes ein einzelner Blicksprung auf, so werden die Gefäßstrukturen doppelt und zueinander verschoben im gleichen Bild registriert. Ein derartiges Bild ist zur Überlagerung ungeeignet. Eine Bewegung des Auges und/oder des Kopfes kann zu einer Abschattung des Fundusbildes führen, wodurch der Kontrast des Fundusbildes reduziert ist. Bei Bildaufnahme während Lidschluss enthält das Bild keine Strukturen. Diese Bilder werden ebenfalls verworfen.The accuracy with the fundus images of the eye 1 can be superimposed, depends on the contrast, for example, under which the vascular structures of the fundus are mapped. The quality of a fundus image is reduced by eye movement of the subject while taking a picture. If, for example, a single jump in view occurs during the recording of a single image, the vessel structures are registered twice and shifted to one another in the same image. Such an image is unsuitable for superposition. A movement of the eye and / or the head can lead to a shading of the fundus image, whereby the contrast of the fundus image is reduced. During image capture during eyelid closure, the image contains no structures. These images are also discarded.

Zur Beurteilung der Bildqualität wird bei der Einstellung des Reflexionsbildes ein Bereich ausgewählt, in dem zumindest eine charakteristische Struktur mit hohem Kontrast zur Umgebung erscheint. Wird diese mindestens eine Struktur nur einmal in einem Einzelbild des Fundus erkannt, so ist dieses Bild zur Überlagerung geeignet. Bei mehrfachem Erkennen der Struktur erfolgte eine Augenbewegung während der Aufnahme. Wird die Struktur nicht erkannt, so erscheint die Struktur im Fundusbild nicht mit einem ausreichenden Kontrast. Ursache dafür können ungenügende Ausleuchtung des Auges oder auch Lidschluss während der Aufnahme sein. Diese Aufnahmen werden nicht zur Auswertung selektiert.to Assessment of image quality When selecting the reflection image, an area is selected in the at least one characteristic structure with high contrast to the environment appears. Will this at least one structure only Once recognized in a single image of the fundus, this image is superimposed suitable. When the structure was recognized several times, an eye movement occurred while the recording. If the structure is not recognized, the Structure in fundus image not with sufficient contrast. reason for this can be insufficient illumination of the eye or eyelid closure during to be recording. These recordings are not selected for evaluation.

Wird bei der Vorrichtung gemäß 1 die besagte mindestens eine Struktur oder ein Strukturelement eines vorgegebenen Referenzbildes jeweils eindeutig. (d. h. nur einfach und mit hinreichendem Kontrast) in dem zu bewertenden Reflexionsbild erkannt, so werden für dieses in einer Rechenstufe 13 die Parameter zur Überlagerung mit dem Referenzbild berechnet. Im nächsten Schritt erfolgt in einer Überlagerungsstufe 14 die Überlagerung des Datenkubus für die zeitaufgelöste Fluoreszenz zunächst mit dem Datenkubus der zeitaufgelösten Fluoreszenz, der zum Referenzbild gehört. Jedes weitere verschobene Bild wird zu diesem Datenkubus addiert. Die überlagerten Bilder werden in einem Speicher 15 abgelegt.Is in the device according to 1 the said at least one structure or a structural element of a given reference image in each case uniquely. (ie, only simple and with sufficient contrast) recognized in the reflection image to be evaluated, so are for this in a computing stage 13 calculates the parameters for superposition with the reference image. The next step is in an overlay stage 14 the overlay of the data cube for the time-resolved fluorescence first with the data cube of time-resolved fluorescence, which belongs to the reference image. Each further shifted image is added to this data cube. The superimposed images are stored in memory 15 stored.

Der Mess- bzw. Untersuchungsprozess stoppt, wenn in einer Vergleichsstufe 16 festgestellt wird, dass für den Datenkubus der zweidimensional örtlich und zeitaufgelösten Fluoreszenz eine vorgegebene Photonenzahl an einem ausgewählten Bildpunkt erreicht ist. In diesem Fall liefert die Vergleichsstufe 16 ein Endsignal an die Steuerstufe 10.The measurement or investigation process stops, if in a comparison stage 16 It is found that a predetermined number of photons at a selected pixel is achieved for the data cube of the two-dimensionally spatially and temporally resolved fluorescence. In this case, the comparison stage delivers 16 an end signal to the control stage 10 ,

Nach Abschluss dieser Messserie steht somit ein Datenkubus für die zweidimensional zeitaufgelöste Fluoreszenz zur Berechnung der Fluoreszenzabklingzeiten an jedem Bildpunkt des Augenhintergrundes vom Auge 1 zur Verfügung.After completion of this measurement series is written like this with a data cube for the two-dimensionally time resolved fluorescence for calculating the fluorescence decay times at each pixel of the ocular fundus of the eye 1 to disposal.

Ein Vorteil der Erfindung besteht in der entscheidenden Minimierung der Zeit, in welcher das Auge 1 zur Untersuchung belastet wird. Dabei ist es nicht erforderlich, dass der Proband gezwungen ist, während einer Messzeit im Sekundenbereich bewegungsarm eine Marke zu fixieren. Da die Messzeit, wie vorgenannt, kürzer ist als die Zeit zwischen zwei unwillkürlichen Blicksprüngen des Auges 1, bleiben diese ohne Einfluss auf die Auswertung. Es werden nur diejenigen Bilder abgespeichert und zur Generierung des Datenkubus für die zeitaufgelöste Fluoreszenz des Laserimpuls-angeregten Auges 1 herangezogen, die bei der Bildbewertung als hinreichend geeignet erkannt wurden und die zur Bildung des Datenkubus unbedingt erforderlich sind. Somit ist es möglich, die zur Verschiebung erforderlichen scharfen Bilder zu erhalten.An advantage of the invention is the significant minimization of the time in which the eye 1 charged for examination. It is not necessary for the test person to be forced to fix a mark during a measurement time in the range of seconds without movement. Since the measurement time, as mentioned above, is shorter than the time between two involuntary eye-gaze leaps 1 , these remain without influence on the evaluation. Only those images are stored and used to generate the data cube for the time-resolved fluorescence of the laser pulse-excited eye 1 used, which were recognized in the image evaluation as sufficiently suitable and which are essential for the formation of the data cube. Thus, it is possible to obtain the sharp images required for the shift.

Die Bewertungsstufe 12, die Rechenstufe 13, die Überlagerungsstufe 14 und die Vergleichsstufe 16 werden vorzugsweise rechentechnisch realisiert. Auf diese Weise können die bei der Bewertung in der Bewertungsstufe 12 für die weitere Behandlung selektierten Bilder im Echtzeitbetrieb in nicht explizit dargestellte schnelle Arbeitsspeicher der Rechnereinrichtung abgespeichert werden. Dabei ist der Speicherbedarf auch lediglich auf die Speicherung des Datenkubus der überlagerten Bilder beschränkt (Speicher 15) und auf ein Minimum reduziert.The rating level 12 , the computing level 13 , the overlay stage 14 and the comparison level 16 are preferably realized computationally. In this way, those in the rating in the rating level 12 for the further treatment, selected images are stored in real-time operation in non-explicitly shown fast main memory of the computer device. The memory requirement is limited to the storage of the data cube of the superimposed images (memory 15 ) and reduced to a minimum.

Im Fall, dass für den Speicher 15 eine anderweitige Datenablage (wie Zwischenspeicherung auf Festplatten oder anderen Speichermedien) vorgesehen ist (nicht in der Zeichnung dargestellt), wären für den besagten Echtzeitbetrieb sehr schnelle Speichermedien vorzusehen. Hier würde sich der Vorteil der angesprochenen Datenreduzierung besonders auswirken.In the case that for the memory 15 otherwise data storage (such as caching on hard disks or other storage media) is provided (not shown in the drawing), would be provided for the said real-time operation very fast storage media. Here the advantage of the addressed data reduction would have a special effect.

Das von Fundus (Augenhintergrund) reflektierte Anregungslicht, einschließlich des schwachen Fluoreszenzlichtes, könnte prinzipiell zur Erzeugung der Reflexionsbilder verwendet werden (vgl. 2). Dabei wird das Auge 1 lediglich über das Laser-Scanning-Ophthalmoskop 2 mit den Laserimpulsen des Pulslasers 3 beleuchtet. Das Fluoreszenzlicht kann über den dichroitischen Teiler 4 und den Blockfilter 5 selektiert werden.The excitation light reflected by fundus (fundus of the eye), including the weak fluorescent light, could in principle be used to generate the reflection images (cf. 2 ). This is the eye 1 only via the laser scanning ophthalmoscope 2 with the laser pulses of the pulse laser 3 illuminated. The fluorescent light can pass through the dichroic splitter 4 and the block filter 5 be selected.

Als zweite Möglichkeit wird alternierend zum Anregungslicht der Augenhintergrund mit Licht einer Wellenlänge beleuchtet, bei der die Reflexion des Augenhintergrundes wesentlich höher ist, als bei dem Anregungslicht. Um zu gewährleisten, dass nur Fluoreszenzlicht während der Beleuchtung mit Anregungslicht detektiert wird, ist ein Fluoreszenzdetektor während der Beleuchtung mit dem zur Erzeugung des Reflexionsbildes ausgeführten Licht abgeschaltet. Bei einer solchen Lösung kann der Wechsel zwischen Anregungsbeleuchtung und Beleuchtung zur Erzeugung des Reflexionsbildes in der Laser-Scanning-Anordnung zeilenweise, zum Beispiel zwischen Hin- und Rücklauf oder zwischen aufeinanderfolgenden Bildern, realisiert werden.When second option becomes alternating with the excitation light of the fundus with light a wavelength illuminated, in which the reflection of the fundus essential is higher, as the excitation light. To ensure that only fluorescent light while the illumination is detected with excitation light is a fluorescence detector during the Illumination with the light designed to produce the reflection image off. In such a solution, the change between Excitation lighting and lighting for generating the reflection image in the laser scanning arrangement line by line, for example between and return or between successive images.

In 1 wird als dritte Möglichkeit der Hintergrund des Auges 1 zur Erzeugung des Reflexionsbildes gleichzeitig und zusätzlich zu dem Anregungslicht des Pulslasers 3 mit langwelligem Licht einer Zusatzlichtquelle 17 beleuchtet. Die Wellenlänge dieser Strahlung ist größer als 700 nm und führt außerhalb des sichtbaren Spektralbereichs im Gegensatz zu den Laserimpulsen des Pulslasers 3 zu keiner Fluoreszenzanregung am Auge 1. Im langwelligen Spektralbereich besitzen die nicht explizit dargestellten Okularmedien auch bei beginnender Katarakt eine ausreichende Transmission, so dass der Augenhintergrund als Reflexionsbild darstellbar ist. Weiterhin sind die zulässigen Expositionen für das langwellige Licht wesentlich höher als für kurzwelliges Licht, so dass die für die Anwendung der zeitkorrelierten Einzelphotonenzählung ohnehin geringe Exposition nur unwesentlich erhöht wird. Da die Fluoreszenz nur in einem definierten Spektralbereich am Auge 1 nachweisbar ist, könnte zu dessen Detektion (nicht in der Zeichnung dargestellt) das Anregungslicht durch ein Langpassfilter und das langwellige Licht zur Erzeugung des Reflexionsbildes durch ein zusätzliches angepasstes Kurzpassfilter separiert werden.In 1 As a third option, the background is the background of the eye 1 for generating the reflection image simultaneously and in addition to the excitation light of the pulse laser 3 with long-wave light of an additional light source 17 illuminated. The wavelength of this radiation is greater than 700 nm and leads outside the visible spectral range in contrast to the laser pulses of the pulse laser 3 to no fluorescence excitation in the eye 1 , In the long-wave spectral range, the eyepiece media, which are not explicitly shown, have sufficient transmission even at the beginning of the cataract, so that the fundus can be displayed as a reflection image. Furthermore, the permissible exposures for the long-wave light are much higher than for short-wave light, so that the low exposure for the use of the time-correlated single-photon count is increased only insignificantly. Because the fluorescence only in a defined spectral range on the eye 1 is detectable, for its detection (not shown in the drawing), the excitation light could be separated by a long-pass filter and the long-wavelength light to generate the reflection image by an additional adapted short-pass filter.

In der Vorrichtung gemäß 2 erfolgt die Gewinnung der einzelnen Bilder zur Verschiebung und die Erfassung des Datenkubus für die zeitaufgelöste Fluoreszenz in Fundusbildern wie im ersten Ausführungsbeispiel (1) beschrieben. Der entscheidende Unterschied besteht darin, dass alle Paare aus Bildern zur Verschiebung und den Datenkuben der zeitaufgelösten Fluoreszenz einer Folge zunächst in einem Speicher 18 gespeichert werden und die Bewertung sowie die Bildlagenkorrektur nach Abschluss der Probandenuntersuchung erfolgt. In dieser Anordnung können die Bilder mit der kürzesten Wiederholfrequenz aufgenommen werden. Je schneller die Bildspeicherung erfolgt, desto früher ist auch die Untersuchungszeit des Probanden abgeschlossen.In the device according to 2 the extraction of the individual images for the displacement and the acquisition of the data cube for the time-resolved fluorescence in fundus images takes place as in the first exemplary embodiment ( 1 ). The key difference is that all the pairs of shift and data cubes of the time-resolved fluorescence of a sequence are first stored in memory 18 are stored and the evaluation and the image position correction after completion of the subject investigation is done. In this arrangement, the images with the shortest repetition frequency can be recorded. The faster the image storage takes place, the sooner the examination time of the subject is completed.

Das Auge 1 des zu untersuchenden Probanden wird wiederum durch das Laser-Scanning-Ophthalmoskop 2 abgetastet. Zur Fluoreszenzanregung und zur Erzeugung des Reflexionsbildes erzeugt der durch die Steuerstufe 10 gesteuerte Pulslaser 3 die kurzwelligen Laserimpulse zur Einspeisung in das Laser-Scanning-Ophthalmoskop 2. Die Trennung und Detektion der Strahlen für das jeweilige Fluoreszenz- und Reflexionsbild in der Laser-Scanning-Anordnung (dichroitischer Teiler 4, Blockfilter 5 sowie die Detektoren 6, 7) erfolgen wie bereits zu 1 beschrieben.The eye 1 The subject to be examined is in turn by the laser scanning ophthalmoscope 2 sampled. For fluorescence excitation and for generating the reflection image generated by the control stage 10 controlled pulsed laser 3 the short-wave laser pulses for feeding into the laser scanning ophthalmoscope 2 , The separation and detection of the rays for each fluorescence zenz and reflection image in the laser scanning arrangement (dichroic splitter 4 , Block filter 5 as well as the detectors 6 . 7 ) as already done 1 described.

Das jeweils sequentiell detektierte Reflexionsbild wird wiederum im Framegrabber 8 als zweidimensionales Bild aufgebaut. Der Datenkubus des Bildes der zeitaufgelösten Fluoreszenz wird in der Karte 9 für zeitaufgelöste Einzelphotonenzählung generiert, wobei über den Router 11 eine Synchronisierung mit dem Bildaufbau im Laser-Scanner Ophthalmoskop 2 unter Verwendung von dessen Steuersignalen erfolgt.The respective sequentially detected reflection image is again in the frame grabber 8th built as a two-dimensional image. The data cube of the image of time-resolved fluorescence appears in the map 9 generated for time-resolved single photon counting, using the router 11 a synchronization with the image structure in the laser scanner ophthalmoscope 2 using its control signals.

Im Unterschied zum ersten Ausführungsspiel werden die jeweils entstehenden Fluoreszenz- und Reflexionsbildpaare nicht in Echtzeit bewertet, sondern ungeachtet ihrer Bildqualität und Verwendbarkeit für die Fluoreszenzauswertung sofort und in kürzester Zeit abgespeichert. Zur Datenablage stehen deshalb der Framegrabber 8 und die Karte 9 für zeitaufgelöste Einzelphotonenzählung nicht unmittelbar mit einer Bewertungsstufe (vgl. Bewertungsstufe 12 in 1), sondern mit dem schnellen Speicher 18 in Verbindung. Hier erfolgt die Echtzeit-Datenablage aller vom Auge 1 des Probanden detektierten Fluoreszenz- und Reflexionsbilder. Die erforderliche Gesamtmesszeit bei dieser Speicherung der Bildfolge mit nachträglicher Bewertung der Bildqualität wird aus dem Quotienten der erforderlichen gesamten Photonenzahl pro Bildpunkt dividiert durch die Photonenzahl eines Bildpunktes im Einzelbild multipliziert mit der Messzeit eines Einzelbildes festgelegt. Entsprechend einem als Erfahrungswert geschätzten Anteil der zur späteren Bildauswertung nicht verwendbaren Bilder ist die Gesamtmesszeit zu verlängern.In contrast to the first game of execution, the resulting fluorescence and reflection image pairs are not evaluated in real time, but regardless of their image quality and usability for the fluorescence evaluation immediately and stored in a very short time. For data storage therefore stand the frame grabber 8th and the card 9 for time resolved single photon counting not immediately with a rating level (see rating level 12 in 1 ), but with the fast memory 18 in connection. Here is the real-time data storage of all the eye 1 the subject detected fluorescence and reflection images. The required total measurement time in this storage of the image sequence with subsequent evaluation of the image quality is determined from the quotient of the required total number of photons per pixel divided by the number of photons of a pixel in the single image multiplied by the measurement time of a single image. According to a proportion of the images which are not usable for later image evaluation, the total measuring time is to be extended.

Kontrolliert wird diese Messzeit durch einen Bildzähler 19, der ausgangsseitig mit der Steuerstufe 10 für den Pulsgenerator 3 und für die Karte 9 mit der zeitkorrelierten Einzelphotonenzählung der Fluoreszenzbilder verbunden ist. Durch diesen Bildzähler 19 wird bei Erreichen der festgelegten Anzahl an gespeicherten Fluoreszenz- und Reflexionsbildpaaren die Untersuchung des Probanden (Fluoreszenzanregung des Auges 1 durch das Anregungslicht des Pulslasers 3) beendet. Im Anschluss daran können die im Speicher 18 abgelegten Bilddaten der detektierten Fluoreszenz- und Reflexionsbildpaare beliebig abgerufen und in einer funktionsmäßig prinzipiell mit der Bewertungsstufe 12 von 1 vergleichbaren Bewertungsstufe 20 hinsichtlich der Bildqualität zur eindeutigen Strukturerkennung bewertet werden.This measuring time is controlled by a picture counter 19 , the output side with the tax level 10 for the pulse generator 3 and for the card 9 is associated with the time-correlated single photon count of the fluorescence images. Through this picture counter 19 Upon reaching the fixed number of stored fluorescence and reflection image pairs, the examination of the subject (fluorescence excitation of the eye 1 by the excitation light of the pulse laser 3 ) completed. Following that can be stored in memory 18 stored image data of the detected fluorescence and reflection image pairs arbitrarily retrieved and in a functionally principle with the evaluation level 12 from 1 comparable rating level 20 be evaluated in terms of image quality for unambiguous structure recognition.

Aus den für die Fluoreszenzauswertung verwendbaren und selektierten Bilddaten werden wiederum in einer Rechenstufe 21 (vgl. Rechenstufe 13 in 1) Parameter einer eventuell erforderlichen Bildverschiebung für die Bildüberlagerung in einer Überlagerungsstufe 22 (vgl. Überlagerungsstufe 12 in 1) ermittelt. Die überlagerten Fluoreszenz- und Reflexionsbilder stehen somit in einem Speicher 23 für eine Auswertung (beispielsweise Bestimmung der Fluoreszenzabklingzeit) zur Verfügung. Diese ist nicht Gegenstand der Erfindung und soll hier nicht beschrieben werden.From the image data which can be used and selected for the fluorescence evaluation are again in a computing stage 21 (compare computing level 13 in 1 ) Parameters of a possibly required image shift for the image overlay in an overlay stage 22 (compare overlay level 12 in 1 ). The superimposed fluorescence and reflection images are thus in a memory 23 for evaluation (eg determination of fluorescence decay time). This is not the subject of the invention and will not be described here.

11

Augeeye

22

Laser-Scanning-OphthalmoskopLaser scanning ophthalmoscope

33

Pulslaserpulse laser

44

dichroitischer Teilerdichroic divider

55

Blockfilterblock filter

66

Detektor für Reflexionslichtdetector for reflection light

77

Detektor für Fluoreszenzlichtdetector for fluorescent light

88th

FramegrabberFrame grabber

99

Karte für zeitkorrelierte Einzelphotonenzählungmap for time correlated Single photon counting

1010

Steuerstufecontrol stage

1111

Routerrouter

12, 2012 20

BewertungsstufeRank

13, 2113 21

Rechenstufecalculating stage

14, 2214 22

ÜberlagerungsstufeSuperposition stage

15, 2315 23

Speicher für überlagerte BilderStorage for superimposed images

1616

Vergleichsstufecomparison stage

1717

ZusatzlichtquelleAdditional light source

1818

SpeicherStorage

1919

Bildzählerframe counter

Claims (22)

Verfahren zur Gewinnung und Auswertung kontrastreicher Bilder der zeitaufgelösten Fluoreszenz von bewegten Objekten, beispielsweise des Augenhintergrundes, bei dem das Objekt durch Strahlung, insbesondere Laserimpulse, zur Fluoreszenz, wie z. B. Autofluoreszenz, angeregt wird, bei dem Fluoreszenzbilder des Objektes ggf. in Relation zu Reflexionsbildern des Objektes als Fluoreszenzbildfolgen von Einzelbildern erzeugt, ausgewertet und bei Erfordernis in ihrer Bildlage, zum Beispiel durch Bildverschiebung, korrigiert werden und bei welchem in den ggf. korrigierten Fluoreszenzbildern für jeden Bildpunkt in den jeweils zugeordneten Zeitkanälen die in den Einzelbildern der Fluoreszenzanregung detektierten Photonen zur Bildung sogenannter Datenkuben der zweidimensional und zeitaufgelösten Fluoreszenz addiert werden, dadurch gekennzeichnet, dass große Fluoreszenzbildfolgen von in kurzer Messzeit erfassten Einzelbildern des Objektes in Echtzeit abgespeichert werden und dass jedes Einzelbild der Fluoreszenz hinsichtlich einer eindeutigen automatischen Erkennung wenigstens einer als Referenz vorgegebenen Bildstruktur bewertet wird.Method for obtaining and evaluating high-contrast images of the time-resolved fluorescence of moving objects, such as the fundus, in which the object by radiation, in particular laser pulses, for fluorescence, such. B. Autofluorescence, is generated in the fluorescence images of the object, if necessary in relation to reflection images of the object as fluorescence sequences of individual images, evaluated and corrected if necessary in their image position, for example by image shift, and in which in the possibly corrected fluorescence images for each pixel in the respectively assigned time channels, the photons detected in the individual images of the fluorescence excitation are added to form so-called data cubes of the two-dimensional and time-resolved fluorescence, characterized in that large fluorescence image sequences of individual images of the object acquired in a short measuring time are stored in real time and that each individual image the fluorescence is evaluated with regard to a clear automatic recognition of at least one image structure given as a reference. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Bewertung der Fluoreszenzbilder des Objektes hinsichtlich der zu erkennenden Bildstruktur in Echtzeit erfolgt und dass nur diejenigen Fluoreszenzbilder abgespeichert und überlagert werden, in welchen eindeutig die wenigstens eine als Referenz vorgegebene Bildstruktur erkannt wird.A method according to claim 1, characterized in that the evaluation of the fluorescence images of the object with respect to the image structure to be recognized takes place in real time and that only those fluorescence images are stored and superimposed, in which the at least one predetermined image structure is uniquely identified. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass zunächst alle Fluoreszenzbilder des Objektes in Echtzeit abgespeichert werden und anschließend die Bewertung der abgespeicherten Fluoreszenzbilder hinsichtlich der automatischen Erkennung der wenigstens einen als Referenz vorgegebenen Bildstruktur sowie deren Überlagerung erfolgt.Method according to claim 1, characterized in that that first All fluorescence images of the object are stored in real time and subsequently the evaluation of the stored fluorescence images with regard to the automatic recognition of at least one predetermined as a reference Image structure and their superimposition he follows. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die als Referenz vorgegebene mindestens eine Bildstruktur Erkennungsmerkmal zur Bewertung aller Einzelbilder der gesamten Fluoreszenzbildfolge des Objektes ist.Method according to claim 1, characterized in that that the predetermined as a reference at least one image structure recognition feature for the evaluation of all individual images of the entire fluorescence image sequence of the object is. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass als Referenz für die vorgegebene Bildstruktur das erste Bild der Fluoreszenzbildfolge des Objektes mit spezieller Bildeinstellung vorgesehen ist.Method according to claim 1, characterized in that that as a reference for the given image structure the first image of the fluorescence image sequence of the object is provided with special image adjustment. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass zur Auswertung der zeitaufgelösten Fluoreszenz des Objektes jedem Fluoreszenzbild des Objektes ein korrespondierendes Reflexionsbild des Objektes zugeordnet ist.Method according to claim 1, characterized in that that for the evaluation of the time-resolved fluorescence of the object each fluorescence image of the object a corresponding reflection image of the Object is assigned. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass zur Erzeugung von Reflexionsbildern des Objektes das Licht für die Fluoreszenzanregung des Objektes verwendet wird.Method according to Claim 6, characterized that for generating reflection images of the object, the light for the Fluorescence excitation of the object is used. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass zur Erzeugung von Reflexionsbildern des Objektes unabhängig vom Licht für die Fluoreszenzanregung des Objektes eine zusätzliche Objektbeleuchtung, vorzugsweise mit einer langwelligen Strahlung und insbesondere mit einer Wellenlänge größer als 700 nm, vorgesehen ist.Method according to Claim 6, characterized that for generating reflection images of the object independently of Light for the fluorescence excitation of the object an additional object illumination, preferably with a long-wave radiation and in particular with a wavelength greater than 700 nm, is provided. Verfahren nach Anspruch 1 dadurch gekennzeichnet, dass bei Applikation von fluoreszierenden Markern, wie Natriumfluoreszein in der Fluoreszenzangiographie, die zur Bildlagenkorrektur erforderlichen Informationen aus den Fluoreszenzbildern des Objektes gewonnen werden.Method according to claim 1, characterized that upon application of fluorescent markers, such as sodium fluorescein in fluorescein angiography required for image position correction Information can be obtained from the fluorescence images of the object. Verfahren nach Anspruch 1 dadurch gekennzeichnet, dass die Einzelbilder des Objektes jeweils in einer Messzeit im Bereich zwischen Millisekunden und wenigen Sekunden, vorzugsweise bei einer Messzeit von 200 ms, erfasst werden.Method according to claim 1, characterized that the individual images of the object in each case in a measuring time in the Range between milliseconds and a few seconds, preferably at a measuring time of 200 ms. Verfahren nach Anspruch 1 dadurch gekennzeichnet, dass so lange Einzelbilder des Objektes in einer Fluoreszenzbildfolge erfasst werden, bis die Anzahl der in allen Zeitkanälen eines Bildpunktes addierten Photonen nach Überlagerung der Einzelbilder einen vorgegebenen Grenzwert erreicht.Method according to claim 1, characterized that as long frames of the object in a fluorescence image sequence be recorded until the number of times in all time channels of a Pixel added photons after superposition of the individual images one reached predetermined limit. Verfahren nach Anspruch 1 dadurch gekennzeichnet, dass die Anzahl der Messungen von Einzelbildern aus der in einem Einzelbild pro Bildpunkt detektierten Photonenzahl abgeschätzt wird.Method according to claim 1, characterized that the number of measurements of frames from in one Single image per pixel detected photon number is estimated. Vorrichtung zur Durchführung des Verfahrens gemäß Anspruch 1 dadurch gekennzeichnet, dass eine durch einen Pulslaser (3) angesteuerte Laser-Scanning-Anordnung (2) zur Abtastung des Objektes (1) vorgesehen ist, deren Ausgang für das detektierte Fluoreszenzsignal mit einer Einheit (9) für zeitkorrelierte Einzelphotonenzählung zur Erzeugung eines Datenkubus der zweidimensional örtlich und zeitaufgelösten Fluoreszenz in Verbindung steht sowie an dessen Ausgang für ein detektiertes Reflexionsbild des Objektes (1) ein Framegrabber (8) angeschlossen ist, und dass eine Bewertungsstufe (12, 20) vorgesehen ist zur Bewertung und Auswahl der detektierten Fluoreszenz- und korrespondierenden Reflexionsbilder des Objektes (1), die mit Mitteln (14, 22) zur Überlagerung der Reflexions- und/oder Fluoreszenzbilder verbunden ist..Device for carrying out the method according to claim 1, characterized in that one by a pulse laser ( 3 ) controlled laser scanning arrangement ( 2 ) for scanning the object ( 1 ) is provided whose output for the detected fluorescence signal with a unit ( 9 ) for time-correlated single photon counting for generating a data cube of the two-dimensional spatially and temporally resolved fluorescence is in connection and at the output for a detected reflection image of the object ( 1 ) a frame grabber ( 8th ) and that a rating level ( 12 . 20 ) is provided for evaluating and selecting the detected fluorescence and corresponding reflection images of the object ( 1 ) provided with funds ( 14 . 22 ) is connected to the superimposition of the reflection and / or fluorescence images .. Vorrichtung gemäß Anspruch 13 zur Durchführung des Verfahrens nach Anspruch 2, dadurch gekennzeichnet, dass die Bewertungsstufe (12) unmittelbar an den Framegrabber (8) und die Einheit (9) für zeitkorrelierte Einzelphotonenzählung angeschlossen ist zur Echtzeit-Bewertung und Auswahl der detektierten Fluoreszenz- und korrespondierenden Reflexionsbilder des Objektes (1), wobei mit der Auswahl nur die auf Grund der Bildqualität für eine Fluoreszenzauswertung verwendbaren Fluoreszenz- und Reflexionsbilder zur Überlagerung (14) und Speicherung (15) vorgesehen sind.Apparatus according to claim 13 for carrying out the method according to claim 2, characterized in that the evaluation stage ( 12 ) directly to the frame grabber ( 8th ) and the unit ( 9 ) for time-correlated single photon counting is connected for the real-time evaluation and selection of the detected fluorescence and corresponding reflection images of the object ( 1 ), whereby with the selection only the fluorescence and reflection images which can be used for a fluorescence evaluation on the basis of the image quality ( 14 ) and storage ( 15 ) are provided. Vorrichtung gemäß Anspruch 13 zur Durchführung des Verfahrens nach Anspruch 3, dadurch gekennzeichnet, dass der Ausgang vom Framegrabber (8) sowie der Ausgang der Einheit (9) für die zeitkorrelierte Einzelphotonenzählung mit einem Speicher (18) zur Echtzeit-Datenablage aller detektierten Fluoreszenz- und korrespondierenden Reflexionsbilder des Objektes (1) in Verbindung stehen und dass die Bewertungsstufe (20) ebenfalls an den Speicher (18) zur nachträglichen Bewertung der Bildqualität der in diesen abgelegten Fluoreszenz- und Reflexionsbilder und Auswahl der Bilddaten für eine Bildüberlagerung (22) angeschlossen ist.Apparatus according to claim 13 for carrying out the method according to claim 3, characterized in that the output from the frame grabber ( 8th ) as well as the output of the unit ( 9 ) for the time-correlated single photon counting with a memory ( 18 ) for real-time data storage of all detected fluorescence and corresponding reflection images of the object ( 1 ) and that the rating level ( 20 ) also to the memory ( 18 ) for the subsequent evaluation of the image quality of the fluorescence and reflection images stored therein and selection of the image data for an image overlay ( 22 ) connected. Vorrichtung gemäß Ansprüchen 13 bis 15, dadurch gekennzeichnet, dass der Bewertungsstufe (12, 20) eine Rechenstufe (13, 21) nachgeschaltet ist, in welcher Parameter einer eventuell erforderlichen Bildverschiebung ermittelt werden, und dass die Rechenstufe (13, 21) mit einer Überlagerungsstufe (14, 22) für die Bilder der zweidimensional und zeitlich aufgelösten Fluoreszenz verbunden ist.Device according to claims 13 to 15, characterized in that the evaluation stage ( 12 . 20 ) a computing stage ( 13 . 21 ), in which parameters of a possibly required image shift are determined, and that the computing stage ( 13 . 21 ) with an overlay stage ( 14 . 22 ) for the images of two-dimensional and temporally resolved fluorescence. Vorrichtung gemäß Anspruch 13, dadurch gekennzeichnet, dass der Pulslaser (3) für die Fluoreszenzanregung des Objektes (1) und die Einheit (9) für die zeitkorrelierte Einzelphotonenzählung zur Erzeugung eines Datenkubus der zweidimensional örtlich und zeitaufgelösten Fluoreszenz durch eine Steuerstufe (10) gesteuert werden.Device according to claim 13, characterized in that the pulse laser ( 3 ) for the fluorescence excitation of the object ( 1 ) and the unit ( 9 ) for the time-correlated single photon counting to generate a data cube of two-dimensionally spatially and temporally resolved fluorescence by a control stage ( 10 ) to be controlled. Vorrichtung gemäß Ansprüchen 14, 16 und 17, dadurch gekennzeichnet, dass der Ausgang der Überlagerungsstufe (14) zur Beendigung des Mess- bzw. Untersuchungsprozesses über eine Vergleichsstufe (16), in welcher festgestellt wird, ob für den Datenkubus der zweidimensional örtlich und zeitaufgelösten Fluoreszenz eine vorgegebene Photonenzahl an einem ausgewählten Bildpunkt erreicht ist, mit der Steuerstufe (10) für den Pulslaser (3) und die Einheit (9) für die zeitkorrelierte Einzelphotonenzählung in Verbindung steht.Device according to claims 14, 16 and 17, characterized in that the output of the superposition stage ( 14 ) to terminate the measurement or investigation process via a comparison stage ( 16 ), in which it is determined whether a given number of photons at a selected pixel has been reached for the data cube of the two-dimensionally spatially and temporally resolved fluorescence, with the control stage ( 10 ) for the pulse laser ( 3 ) and the unit ( 9 ) for time correlated single photon counting. Vorrichtung gemäß Ansprüchen 15, 16 und 17, dadurch gekennzeichnet, dass zur Beendigung des Mess- bzw. Untersuchungsprozesses ein an den Speicher (18) angeschlossener Bildzähler (19) vorgesehen ist, in welchem die Anzahl der im Speicher (18) abgelegten Bilddaten ermittelt wird, und dass der Bildzähler (19) mit der Steuerstufe (10) für den Pulslaser (3) und für die Einheit (9) der zeitkorrelierten Einzelphotonenzählung in Verbindung steht.Device according to claims 15, 16 and 17, characterized in that to terminate the measuring or investigation process, a to the memory ( 18 ) connected image counter ( 19 ) is provided, in which the number of memory ( 18 ) stored image data is determined, and that the image counter ( 19 ) with the tax level ( 10 ) for the pulse laser ( 3 ) and for the unit ( 9 ) of time-correlated single photon counting. Vorrichtung nach einem oder mehreren der Ansprüche 13 bis 19, dadurch gekennzeichnet, dass die Stufen der Vorrichtung, insbesondere die Bewertungsstufe (12, 20), die Rechenstufe (13, 21), die Überlagerungsstufe (14, 22), die Vergleichsstufe (16), die Einheit (9) für die zeitkorrelierte Einzelphotonenzählung, der Bildzähler (19) und die Steuerstufe (10) rechentechnisch realisiert sind.Device according to one or more of claims 13 to 19, characterized in that the stages of the device, in particular the evaluation stage ( 12 . 20 ), the computing stage ( 13 . 21 ), the overlay stage ( 14 . 22 ), the comparison level ( 16 ), the unit ( 9 ) for the time-correlated single photon counting, the image counter ( 19 ) and the tax level ( 10 ) are realized computationally. Vorrichtung nach Anspruch 13, dadurch gekennzeichnet, dass der Pulslaser (3) zusätzlich zur Fluoreszenzanregung des Objektes (1) auch zur Beleuchtung desselben, beispielsweise zur Beleuchtung des Augenhintergrundes bei ophthalmologischen Untersuchungen, für die Erzeugung von Reflexionsbildern vorgesehen ist.Apparatus according to claim 13, characterized in that the pulse laser ( 3 ) in addition to fluorescence excitation of the object ( 1 ) Also for lighting the same, for example, to illuminate the ocular fundus in ophthalmological examinations, is provided for the generation of reflection images. Vorrichtung nach Anspruch 13, dadurch gekennzeichnet, dass zusätzlich zum Pulslaser (3) für die Fluoreszenzanregung des Objektes (1) eine weitere Lichtquelle (17) zur Beleuchtung des Objektes (1), beispielsweise zur Beleuchtung des Augenhintergrundes bei ophthalmologischen Untersuchungen, für die Erzeugung von Reflexionsbildern vorgesehen ist.Device according to claim 13, characterized in that in addition to the pulsed laser ( 3 ) for the fluorescence excitation of the object ( 1 ) another light source ( 17 ) for illuminating the object ( 1 ), for example, for the illumination of the ocular fundus in ophthalmological examinations, is provided for the generation of reflection images.