DE102014017006B4

DE102014017006B4 - Method for the determination and evaluation of time-resolved fluorescence or reflection images on extended three-dimensional surfaces

Info

Publication number: DE102014017006B4
Application number: DE102014017006.3A
Authority: DE
Inventors: Matthias Klemm; Jens HAUEISEN; Dieter Schweitzer
Original assignee: Technische Universitaet Ilmenau
Current assignee: Technische Universitaet Ilmenau
Priority date: 2014-11-17
Filing date: 2014-11-17
Publication date: 2019-07-11
Anticipated expiration: 2034-11-18
Also published as: DE102014017006A1

Abstract

Verfahren zur Bestimmung und Auswertung von Parametern zeitaufgelöster Fluoreszenz- oder Reflexionsbilder an einer ausgedehnten dreidimensionalen Oberfläche (230) von Objekten, bei dem ein punktweises pulsförmiges Abtasten der ausgedehnten dreidimensionalen Oberfläche (230) mittels Beleuchtungs- und Detektionsstrahls erfolgt, wobei unterschiedliche Entfernungen des Beleuchtungsstrahlaustritts- und Detektionsstrahleintrittspunktes (210) von den pulsförmig beleuchteten Punkten des ausgedehnten dreidimensionalen Objektes (230) vorhanden sind, und ein beleuchteter erster Objektpunkt (231) und ein beleuchteter zweiter Objektpunkt (232), der sich in einer anderen Entfernung zum Beleuchtungsstrahlaustritts- und Detektionsstrahleintrittspunkt (210) befindet, sich in der Laufzeit des Anregungs- und Detektionsstrahles (221) des ersten Objektpunkts (231) und des Beleuchtungs- und Detektionsstrahles (222) des zweiten Objektpunkts (232) unterscheiden, und eine bildpunktweise Modellierung der unterschiedlichen Laufzeiten erfolgt, dadurch gekennzeichnet, dass das von jedem Punkt der Oberfläche (230) detektierte optische Signal mit der Gleichung $I (t, x, y) = \sum_{i} α_{i} (x, y) \cdot f_{i} (t - t_{k} (x, y), x, y) + b (x, y)$

approximiert wird, wobei
I(t,x,y) : die Intensität zum Zeitpunkt t am Bildpunkt (x,y),
i die Komponente,
α_i(x,y) : der präexponentielle Faktor für die Komponente i am Bildpunkt (x,y),
t_K(x,y): die Zeit, die ein Photon vom Anregungsstrahlaustrittspunkt zur dreidimensionalen Oberfläche und zurück zum Detektor benötigt, b(x,y) : die Hintergrundintensität und
f(t,x,y): Modellfunktion der Komponente i ist, und
die Auswertung von Fluoreszenzbildern der ausgedehnten dreidimensionalen Oberfläche (230) bei exponentieller Anpassung des zeitlichen Verlaufs der normierten Strahlung nach Gleichung

f (t, x, y) = I R F \otimes e^{- \frac{t}{τ (x, y)}}

erfolgt, wobei IRF: die Instrumental Response Function und τ(x,y) : die Abklingzeit am Bildpunkt (x,y) ist,
oder die Auswertung von zeitaufgelösten Reflexionsbildern der ausgedehnten dreidimensionalen Oberfläche (230) mit der Modifikation f(t,x,y)=g(t,x,y) erfolgt, wobei g(t,x,y) die Pulsform der Beleuchtung ist.

Method for determining and evaluating parameters of time-resolved fluorescence or reflection images on an extended three-dimensional surface (230) of objects, in which a pointwise pulse-shaped scanning of the extended three-dimensional surface (230) by means of illumination and detection beam, wherein different distances of the Beleuchtungsstrahlaustritts- and Detection beam entry point (210) from the pulsed illuminated points of the extended three-dimensional object (230), and an illuminated first object point (231) and an illuminated second object point (232) located at a different distance from the illumination beam exit and detection beam entry point (210). are different in the propagation time of the excitation and detection beam (221) of the first object point (231) and the illumination and detection beam (222) of the second object point (232), and a pixel-by-pixel modeling of the u Different transit times, characterized in that the optical signal detected from each point of the surface (230) with the equation

I (t . x . y) = \underset{i}{Σ} α_{i} (x . y) \cdot f_{i} (t - t_{k} (x . y) . x . y) + b (x . y)

is approximated, where
I (t, x, y): the intensity at time t at the pixel (x, y),
i the component,
α _i (x, y): the pre-exponential factor for the component i at the pixel (x, y),
t _K (x, y): the time taken by a photon from the excitation beam exit point to the three-dimensional surface and back to the detector, b (x, y): the background intensity and
f (t, x, y): model function of component i is, and
the evaluation of fluorescence images of the extended three-dimensional surface (230) with exponential adaptation of the time course of the normalized radiation according to the equation

f (t . x . y) = I R F \otimes e^{- \frac{t}{τ (x . y)}}

where IRF is the instrumental response function and τ (x, y) is the cooldown on the pixel (x, y),
or evaluating time-resolved reflection images of the extended three-dimensional surface (230) with the modification f (t, x, y) = g (t, x, y), where g (t, x, y) is the pulse shape of the illumination.

Description

Die vorliegende Erfindung betrifft ein Verfahren zur Bestimmung und Auswertung zeitaufgelöster Fluoreszenz- oder Reflexionsbilder an ausgedehnten dreidimensionalen Oberflächen, die durch gepulste Strahlung abgetastet werden (punktweises optisches Abtasten), bspw. zur Gewebe-charakterisierung und Diagnose in der Medizin oder zur Untersuchung an mechanisch schwer zugänglichen technischen Objekten (wie bspw. in explosionsgeschützter Umgebung).The present invention relates to a method for determining and evaluating time-resolved fluorescence or reflection images on extended three-dimensional surfaces which are scanned by pulsed radiation (pointwise optical scanning), for example for tissue characterization and diagnosis in medicine or for examination on mechanically difficult to access technical objects (such as in an explosion-proof environment).

Die Fluoreszenzlebensdauer (zeitaufgelöste Fluoreszenz) ist eine intrinsische Stoffeigenschaft. Sie gibt die mittlere Verweildauer eines Atoms / Moleküls im angeregten Zustand an und liegt üblicherweise im ps bis ns Bereich. Beeinflusst werden kann die Fluoreszenzlebensdauer durch die Umgebung des fluoreszierenden Stoffes, u.a. durch das Lösungsmittel, eine Bindung an ein Protein oder durch Stöße mit anderen Molekülen. Die Fluoreszenzlebensdauer liefert somit mehr Informationen als die Fluoreszenzintensität allein und kann daher zur Gewebecharakterisierung und Diagnose, bspw. auf dem Gebiet der Medizin, eingesetzt werden.The fluorescence lifetime (time-resolved fluorescence) is an intrinsic substance property. It indicates the average residence time of an atom / molecule in the excited state and is usually in the ps to ns range. The fluorescence lifetime can be influenced by the surroundings of the fluorescent substance, i.a. by the solvent, binding to a protein or collisions with other molecules. The fluorescence lifetime thus provides more information than the fluorescence intensity alone and can therefore be used for tissue characterization and diagnosis, for example in the field of medicine.

Die Messung der zeitaufgelösten Fluoreszenz ermöglicht in der Medizin die Detektion früher, funktioneller zellulärer Veränderungen, als deren Folge eine patientenspezifische Therapie zum Einsatz kommen kann.The measurement of time-resolved fluorescence in medicine enables the detection of early, functional cellular changes, as a result of which a patient-specific therapy can be used.

Eine besondere Bedeutung besitzt die Messung der zeitaufgelösten Fluoreszenz an medizinischen Objekten, bspw. am Augenhintergrund, der Messung von Objektoberflächen in schwer zugänglichen Räumen, wie bspw. explosionsgeschützten Kammern oder Öfen während industrieller Prozesse oder bei der satellitengestützten Fernerkundung.Of particular importance is the measurement of time-resolved fluorescence on medical objects, for example on the ocular fundus, the measurement of object surfaces in hard-to-reach areas, such as explosion-proof chambers or ovens during industrial processes or in satellite-based remote sensing.

Diabetische Retinopathie und altersbezogene Makuladegeneration sind Krankheiten die in Deutschland Millionen von Patienten beeinträchtigen und zur Erblindung führen können.Diabetic retinopathy and age-related macular degeneration are diseases that affect millions of patients in Germany and can lead to blindness.

Da es keine Heilung für diese Krankheiten gibt, ist eine möglichst frühe Diagnostik für die Patienten entscheidend. Die Messung von Fluoreszenzlebensdauern kann eine solche Frühdiagnostik idealerweise leisten. Jedoch ist die Zuordnung der Fluoreszenzsignale zu anatomischen Strukturen des Augenhintergrundes mit den derzeitigen Verfahren nicht ausreichend genau möglich, da alle bisherigen Verfahren von einer zweidimensionalen Struktur ausgehen. Damit ist die diagnostische Aussage stark eingeschränkt.Since there is no cure for these diseases, the earliest possible diagnosis is crucial for the patient. The measurement of fluorescence lifetimes can ideally provide such an early diagnosis. However, the assignment of the fluorescence signals to anatomical structures of the fundus is not sufficiently accurate with the current methods, since all previous methods assume a two-dimensional structure. Thus, the diagnostic statement is severely limited.

Frühdiagnostik ist bei diabetischer Retinopathie und altersbezogener Makuladegeneration entscheidend. Fluoreszenzsignale enthalten vorwiegend Informationen zu stoffwechselbedingten pathologischen Veränderungen. Fluoreszenzsignale, insbesondere der zeitaufgelösten Fluoreszenz, zeigen daher wesentlich früher die Entstehung der Krankheiten an, als alle anderen derzeitigen diagnostischen Verfahren, die meist erst morphologische Schäden erkennen. Während nach herkömmlicher Diagnose keine kurative Therapie der Krankheiten mehr möglich ist, sind die pathologischen Veränderungen in einem Frühstadium noch reversibel. Können die Fluoreszenzsignale zu bestimmten verursachenden Strukturen und Prozessen am Augenhintergrund zugeordnet werden, besteht die Möglichkeit einer ursachenbezogenen Therapie. Dazu ist jedoch eine dreidimensionale Zuordnung der mit der Fluoreszenzlebensdauer- Mikroskopie erfassten Signale erforderlich.Early diagnosis is crucial in diabetic retinopathy and age-related macular degeneration. Fluorescence signals mainly contain information on metabolic pathological changes. Fluorescence signals, in particular time-resolved fluorescence, therefore indicate the development of the diseases much earlier than any other current diagnostic method, which usually recognizes only morphological damage. While it is no longer possible to treat the disease by conventional diagnosis, the pathological changes are still reversible at an early stage. If the fluorescence signals can be assigned to certain causative structures and processes in the fundus, there is the possibility of cause-related therapy. However, this requires a three-dimensional assignment of the signals acquired by fluorescence lifetime microscopy.

Die Fluoreszenzlebensdauer- Mikroskopie ist ein bildgebendes Verfahren der Mikroskopie, welches auf der Fluoreszenz (spontane Emission von Licht kurz nach der Anregung eines Materials, wobei das emittierte Licht energieärmer als das vorher absorbierte Licht ist) beruht. Im Gegensatz zu anderen fluoreszenzmikroskopischen Verfahren beruht die Fluoreszenzlebensdauer- Mikroskopie nicht auf einer Messung der Intensität der Fluoreszenz, sondern auf der Messung der unterschiedlichen Lebensdauern der angeregten Zustände fluoreszierender Moleküle. Die Fluoreszenzlebensdauer ist dabei die mittlere Zeit, die ein Molekül im angeregten Zustand verbleibt, bevor es unter Abgabe eines Photons in seinen Grundzustand zurückkehrt. Der Fluoreszenzabbau spiegelt sich in einer exponentiellen Abnahme der Fluoreszenzintensität mit der Zeit wider. Zugleich ist die Fluoreszenzlebensdauer umgekehrt proportional zur Summe der Zerfallsraten für strahlende und nichtstrahlende Prozesse (A. Periasamy, R. M. Clegg: Flim Microscopy in Biology and Medicine. CRC Press, 2010).Fluorescence lifetime microscopy is a microscopy imaging technique that relies on fluorescence (spontaneous emission of light shortly after excitation of a material where the emitted light is lower in energy than previously absorbed light). Unlike other fluorescence microscopy methods, fluorescence lifetime microscopy is not based on measuring the intensity of the fluorescence, but on measuring the different lifetimes of the excited states of fluorescent molecules. The fluorescence lifetime is the mean time that a molecule remains in the excited state before it returns to its ground state with the release of a photon. The fluorescence degradation is reflected in an exponential decrease in fluorescence intensity over time. At the same time, the fluorescence lifetime is inversely proportional to the sum of the decay rates for radiative and nonradiative processes (A. Periasamy, R.M. Clegg: Flim Microscopy in Biology and Medicine, CRC Press, 2010).

Die Fluoreszenzlebensdauer- Mikroskopie liefert Bilder mit der Fluoreszenz-lebensdauer für jeden Pixel des Bildes. Die Messung der Fluoreszenzlebensdauer basiert dabei entweder auf einer gepulsten Anregung und einer Messung des zeitlichen Fluoreszenzabfalls, oder auf einer intensitätsmodulierten Anregung und einer Messung der Phasenverschiebung.
(www.olympusfluoview.com/applications/flimintro.html)Fluorescence lifetime microscopy provides images with the fluorescence lifetime for each pixel of the image. The measurement of the fluorescence lifetime is based either on a pulsed excitation and a measurement of the temporal fluorescence drop, or on an intensity-modulated excitation and a measurement of the phase shift.
(Www.olympusfluoview.com/applications/flimintro.html)

Die einfachste Methode zur Bestimmung der Fluoreszenzlebensdauer besteht in der Zählung freigesetzter Photonen mit Hilfe der zeitkorrelierten Einzelphotonenzählung nach periodischer Anregung mit kurzen Lichtimpulsen im Bereich von Picosekunden, also in einem Bereich, der deutlich kürzer als die typische Fluoreszenzlebensdauer ist, welche im Nanosekundenbereich liegt.The simplest method for determining the fluorescence lifetime is to count released photons using time-correlated single-photon counting after periodic excitation with short light pulses in the picosecond range, ie in a range significantly shorter than that typical fluorescence lifetime is that in the nanosecond range.

Durch eine ausreichend kurze Anregung ist es für die meisten Proben möglich, die zeitabhängige exponentielle Abnahme der Fluoreszenzintensität zu messen, aus der die Fluoreszenzlebensdauer bestimmt werden kann. Dazu wird die Anregungsintensität soweit herabgesetzt, dass in einer Serie von bspw. 10 Anregungsimpulsen nur etwa ein Photon detektiert wird, wobei die Zeit zwischen Anregungspuls und Photon im Bereich von einigen Picosekunden liegt.With a sufficiently short excitation, it is possible for most samples to measure the time-dependent exponential decrease in fluorescence intensity from which the fluorescence lifetime can be determined. For this purpose, the excitation intensity is reduced so far that in a series of, for example, 10 excitation pulses only about one photon is detected, the time between excitation pulse and photon being in the range of a few picoseconds.

Aus einer Vielzahl solcher Einzelmessungen ist ein Histogramm erstellbar, aus dem die Fluoreszenzlebensdauer direkt berechnet werden kann (s.g. „Time-correlated Single Photon Counting“ (TCPSC)-Methode). Dies erfordert eine relativ geringe Wahrscheinlichkeit für die Erzeugung eines Fluoreszenzphotons (<10%). Bei n-maliger Anregung entspricht das Histogramm der in den einzelnen Zeitkanälen detektierten Photonen der Wahrscheinlichkeitsdichtefunktion des molekularen Relaxationsprozesses.From a large number of such individual measurements, a histogram can be generated, from which the fluorescence lifetime can be calculated directly (see "time-correlated single photon counting" (TCPSC) method). This requires a relatively low probability of producing a fluorescence photon (<10%). With n excitation, the histogram of the photons detected in the individual time channels corresponds to the probability density function of the molecular relaxation process.

Dieses Verfahren besitzt den Vorteil, dass es von Schwankungen der Anregungsintensität unabhängig ist und eine hohe Präzision bei der Fluoreszenzlebensdauerbestimmung, bei einer gleichzeitig geringen Strahlungsbelastung der Probe (insbesondere des Auges) aufweist. Um aus den TCSPC-Daten die Fluoreszenzlebensdauerinformationen zu extrahieren wird häufig die Methode der multi-exponentiellen Approximation verwendet.This method has the advantage that it is independent of fluctuations of the excitation intensity and has a high precision in the fluorescence lifetime determination, with a simultaneously low radiation exposure of the sample (in particular of the eye). In order to extract the fluorescence lifetime information from the TCSPC data, the method of multi-exponential approximation is often used.

Die ausreichend kurze Anregung (im Bereich von einigen Picosekunden) zur Messung der Fluoreszenzlebensdauer erfolgt gemäß dem Stand der Technik durch eine gepulste Lichtquelle (bspw. in Form eines Lasers), wodurch die zu untersuchenden Fluorophore angeregt wird.The sufficiently short excitation (in the range of a few picoseconds) for measuring the fluorescence lifetime is carried out according to the prior art by a pulsed light source (for example in the form of a laser), whereby the fluorophores to be investigated are excited.

Die Zeitmessung wird dabei durch den Anregungspuls gestartet und das beim Übergang vom angeregten Zustand in den Grundzustand emittierte Photon stoppt die Messung. Diese Messung wird vielfach wiederholt und die einzelnen zeitlich korrelierten Photonen werden entsprechend ihrer gemessenen Zeit (in Bezug zum Anregungspuls) in das Histogramm einsortiert.The time measurement is started by the excitation pulse and the photon emitted during the transition from the excited state to the ground state stops the measurement. This measurement is repeated many times and the individual temporally correlated photons are sorted according to their measured time (with respect to the excitation pulse) in the histogram.

Dieses Histogramm besitzt typischerweise eine zeitliche Kanalauflösung bzw. Klassenbreite von ca. 1 bis 50 ps und gibt den exponentiellen Abfall der Fluoreszenzintensität nach der Anregung wieder.This histogram typically has a temporal channel resolution or class width of about 1 to 50 ps and represents the exponential decay of the fluorescence intensity after the excitation.

Bei Messungen der Fluoreszenzlebensdauer stören jedoch zeitliche Unterschiede in der Signalantwort, welche durch unterschiedliche Entfernungen von abgetasteten Objektpunkten von 3D- Objekten zum Detektionssystem, aber auch durch unterschiedlich lange Lichtwege der Detektionsstrahlengänge in der internen optischen Anordnung des Detektionssytems sowie zusätzlich durch Ausrichtungsfehler des Messsystems zum Untersuchungsobjekt hervorgerufen werden. Andererseits gestattet die zeitaufgelöste Messung von Reflexionssignalen die Bestimmung der Oberflächenstruktur von schwer zugänglichen Objekten.In measurements of the fluorescence lifetime, however, temporal differences in the signal response, which are caused by different distances of scanned object points of 3D objects to the detection system, but also by different lengths of light paths of the detection beam paths in the internal optical arrangement of the detection system and additionally by alignment error of the measuring system to the object under investigation become. On the other hand, the time-resolved measurement of reflection signals allows the determination of the surface structure of hard-to-reach objects.

Im Folgenden sind einige Beispiele zum Stand der Technik aufgeführt:The following are some examples of the prior art:

Die DE 199 20 158 A1 offenbart ein Verfahren und eine Anordnung zur Bestimmung von Fluorophoren an Objekten, insbesondere am lebenden Augenhintergrund, bei dem sich in Anregungs- und/oder Fluoreszenzspektren zumindest teilweise überlappende Fluorophore von Objekten auch bei sehr geringen Fluoreszenzintensitäten sicher unterscheiden lassen und in einer zweidimensionalen Darstellung selektieren lassen.The DE 199 20 158 A1 discloses a method and an arrangement for the determination of fluorophores on objects, in particular on the living fundus, in which excitation and / or fluorescence spectra at least partially overlapping fluorophores of objects can be distinguished even at very low fluorescence intensities and can be selected in a two-dimensional representation.

Dazu wird das Objekt (bspw. der Augenhintergrund für ophthalmologische Untersuchungen) mit einem gepulsten Laser punktförmig beleuchtet und mit zweidimensionaler Ausdehnung zur Autofluoreszenz angeregt. Das nach Anregung durch jeden Laserimpuls kurzzeitig entstehende Fluoreszenzlicht wird in zeitkorrelierter Einzelphotonenzählung detektiert. Aus dem durch die zeitkorrelierte Einzelphotonenzählung bestimmten zeitlichen Verhalten des Fluoreszenzlichtes für jeden Ort der Autofluoreszenz werden die Fluoreszenz-Abklingzeitkonstanten berechnet und aus diesen auf die im Objekt angeregten Fluorophore geschlossen. Das Zeitregime für die zeitkorrelierte Einzelphotonenzählung wird durch die detektierten Impulse des fluoreszenzanregenden Laserlichtes sowie des am Objekt entstehenden Fluoreszenzlichtes gesteuert. Die örtliche Zuordnung der Fluoreszenz bei mehrfacher scannender Anregung erfolgt über eine mit dem Scansystem synchronisierten Routing-Einheit.For this purpose, the object (eg the ocular fundus for ophthalmological examinations) is spot-illuminated with a pulsed laser and excited to autofluorescence with a two-dimensional expansion. The fluorescence light which is generated shortly after excitation by each laser pulse is detected in time-correlated single photon counting. From the time behavior of the fluorescent light determined by the time-correlated single-photon counting for each location of the autofluorescence, the fluorescence decay time constants are calculated and deduced therefrom to the fluorophores excited in the object. The time regime for the time-correlated single-photon count is controlled by the detected pulses of the fluorescence-exciting laser light and of the fluorescent light generated at the object. The local assignment of the fluorescence with multiple scanning excitation takes place via a synchronized with the scanning system routing unit.

Um die markierten Analytmoleküle entsprechend dieser technischen Lehre einzeln detektieren zu können, muss das Blut, in dem sich die Analytmoleküle befinden, ein extrem kleines Volumen von wenigen Femtolitern (sogenanntes „Beobachtungsvolumen“) durchfließen.In order to detect the labeled analyte molecules individually according to this technical teaching, the blood in which the analyte molecules are located must flow through an extremely small volume of a few femtoliters (so-called "observation volume").

Der Nachteil dieser technischen Lehre besteht darin, dass nur unter der Bedingung des stark vereinzelten Blutes einzelne Analytmoleküle detektiert werden können.The disadvantage of this technical teaching is that individual analyte molecules can only be detected under the condition of highly isolated blood.

Ein weiterer Nachteil besteht darin, dass die Detektion am gleichen Ort am fließenden Blut nacheinander erfolgt, also nicht ortsabhängig, wie bei der Durchflusszytometrie.Another disadvantage is that the detection takes place at the same place on the flowing blood one after the other, so not location-dependent, as in the flow cytometry.

Aus der DE 101 45 823 A1 ist ein Verfahren zur Bestimmung der zweidimensionalen Verteilung verschiedener Fluorophore bekannt, dass auch für den Fall extrem schwacher Fluoreszenzsignale anwendbar ist. Dabei wird das zeitabhängige Fluoreszenzverhalten für jeden Ort durch ein multiexponentielles Abklingverhalten approximiert, wobei die Abklingzeiten Konstanten sind und nur die präexponentiellen Faktoren bestimmt werden. Die dabei zu verwendenden Abklingzeitkonstanten werden von zu untersuchenden Objekten bestimmt, indem eine multiexponentielle Approximation zusammengefasster Bildbereiche erfolgt. Die relativen Anteile einzelner Fluorophore an der Gesamtfluoreszenz werden jeweils aus dem Produkt aus präexponentiellem Faktor und Abklingzeitkonstante eines Fluorophors dividiert durch die Summe aller Produkte aus präexponentiellen Faktoren und Abklingzeitkonstanten ermittelt. From the DE 101 45 823 A1 For example, a method for determining the two-dimensional distribution of various fluorophores is known, which is also applicable in the case of extremely weak fluorescence signals. The time-dependent fluorescence behavior for each location is approximated by a multi-exponential decay behavior, where the decay times are constants and only the pre-exponential factors are determined. The decay time constants to be used are determined by the objects to be examined by a multiexponentielle approximation of combined image areas. The relative proportions of individual fluorophores in total fluorescence are each determined from the product of pre-exponential factor and decay time constant of a fluorophore divided by the sum of all products of pre-exponential factors and decay time constants.

Die DE 10 2008 045 886 A1 offenbart ein Verfahren zur Auswertung der Fluoreszenz in einem Schichtsystem (bspw. ein Augenhintergrund für ophthalmologische Untersuchungen), mit dem das summarische Abklingverhalten der Fluoreszenz sehr exakt ausgewertet werden kann und mit dem gleichzeitig auf die Entstehungsorte der einzelnen Fluoreszenzen des Schichtsystems geschlossen werden kann.The DE 10 2008 045 886 A1 discloses a method for evaluating the fluorescence in a layer system (for example an ocular fundus for ophthalmological examinations), with which the overall decay behavior of the fluorescence can be evaluated very precisely and with which the origin of the individual fluorescences of the layer system can be deduced.

Dazu werden jeweils die Entstehungszeitpunkte der Fluoreszenzen in den einzelnen Schichten des Schichtsystems bestimmt, indem für die betreffenden Fluoreszenzen schichtspezifische zeitabhängige Parameter ermittelt werden, die jeweils den zeitlichen Beginn der Fluoreszenz in der betreffenden Schicht angeben und in der Modellfunktion zur Berechnung des summarischen Abklingverhaltens der Fluoreszenz berücksichtigt werden.In each case, the time of origin of the fluorescence in the individual layers of the layer system are determined by determining layer-specific time-dependent parameters for the respective fluorescences, which respectively indicate the time of onset of fluorescence in the respective layer and are taken into account in the model function for calculating the overall decay behavior of the fluorescence become.

Aus der DE 10 2004 017 956 A1 ist ein Mikroskop zur Untersuchung der Lebensdauer angeregter Zustände in einer Probe bekannt, das mit mindestens einer Lichtquelle ein Anregungslicht erzeugt und mit mindestens einem Detektor das von der Probe ausgehende Detektionslicht empfängt.From the DE 10 2004 017 956 A1 a microscope is known for investigating the lifetime of excited states in a sample which generates excitation light with at least one light source and with at least one detector receives the detection light emanating from the sample.

Das Mikroskop beinhaltet dabei die Lichtquelle in Form eines Halbleiterlasers, der gepulstes Anregungslicht emittiert, wobei eine Einstellvorrichtung zur Einstellung der Pulsrepetitionsrate auf die spezifischen Lebensdauereigenschaften der Probe vorgesehen ist.In this case, the microscope contains the light source in the form of a semiconductor laser which emits pulsed excitation light, an adjustment device being provided for setting the pulse repetition rate to the specific service life properties of the sample.

Die WO 2008/094794 A1 offenbart eine Vorrichtung zur zeitaufgelösten Fluoreszenzbildgebung, welche auf einem zweidimensionalen Detektor basiert, was den Nachteil hat, dass dadurch unterschiedliche Laufzeiten des Anregungs- und Detektionsstrahls nicht berücksichtigt werden können. Hinzu kommt, dass eine Modellierung der unterschiedlichen Laufzeiten nicht offenbart wird.The WO 2008/094794 A1 discloses a device for time-resolved fluorescence imaging, which is based on a two-dimensional detector, which has the disadvantage that thereby different maturities of the excitation and detection beam can not be considered. In addition, a modeling of the different maturities is not disclosed.

Aus der WO 2006/135769 A1 sind eine Vorrichtung und ein Verfahren zur zeitaufgelösten Bestimmung der dreidimensionalen Verteilung der Fluoreszenz in einer Probe mit Hilfe einer softwarebasierten Auswertung auf Basis der Greenschen Funktion bekannt. Die unterschiedlichen Laufzeiten der einzelnen Anregungs- und Detektionsstrahlen werden dabei weder erfasst noch ausgewertet.From the WO 2006/135769 A1 For example, a device and a method are known for the time-resolved determination of the three-dimensional distribution of the fluorescence in a sample by means of a software-based evaluation based on Green's function. The different transit times of the individual excitation and detection beams are neither detected nor evaluated.

Bekannt ist darüber hinaus bspw. aus der DE 10 2004 017 956 A1 ein Mikroskop, welches eine Einstellvorrichtung zur Einstellung der Pulsrepetitionsrate bezüglich der spezifischen Fluoreszenzlebensdauereigenschaften der Probe realisiert. Diese technische Lösung berücksichtigt jedoch nicht die unterschiedlichen Abstände, wie sie insbesondere bei einem ausgedehnten 3D- Objekt auftreten.It is also known, for example, from the DE 10 2004 017 956 A1 a microscope which realizes an adjustment device for adjusting the pulse repetition rate with respect to the specific fluorescence lifetime properties of the sample. However, this technical solution does not take into account the different distances, as they occur in particular with an extended 3D object.

Bekannt ist auch eine multi-exponentielle Modellierung der zeitaufgelösten Fluoreszenzmessdaten durch die in der ( DE 101 45 823 AI) offenbarten Gleichung: $I (t, x, y) = I R F \otimes \sum_{i} α_{i} (x, y) \cdot e^{- \frac{t}{τ_{i} (x, y)}} + b (x, y)$

mit
I(t,x,y): Fluoreszenz zum Zeitpunkt t am Bildpunkt (x,y),
IRF: Instrumental Response Function,
i: Komponente, welche idealerweise einen fluoreszierenden Stoff repräsentiert,
τ_i: Abklingzeit der Komponente i,
α_i: präexponentieller Faktor für Komponente i,
b: Hintergrundintensität,
wobei ein summarisches Abklingverhalten der Fluoreszenz beschrieben wird.Also known is a multi-exponential modeling of the time-resolved fluorescence measurement data by the (in DE 101 45 823 AI) revealed equation:

I (t . x . y) = I R F \otimes \underset{i}{Σ} α_{i} (x . y) \cdot e^{- \frac{t}{τ_{i} (x . y)}} + b (x . y)

With
I (t, x, y): fluorescence at time t at the pixel (x, y),
IRF: Instrumental Response Function,
i: component which ideally represents a fluorescent substance,
τ _i : decay time of component i,
α _i : pre-exponential factor for component i,
b: background intensity,
a summary decay of the fluorescence is described.

Durch eine dreidimensionale ausgedehnte Oberfläche oder durch die schräge Justierung des Messsystems zum Normalvektor der Oberfläche kommt es zu Laufzeitunterschieden der Anregungs- und Detektionsstrahlen zwischen den Objektpunkten. Diese Laufzeitunterschiede können zu Fehlern bei der Bestimmung der Fluoreszenzlebensdauer nach Gleichung (1) führen.By a three-dimensional extended surface or by the oblique adjustment of the measuring system to the normal vector of the surface, there are runtime differences of the excitation and detection beams between the object points. These differences in transit time can lead to errors in determining the fluorescence lifetime according to equation (1).

Darüber hinaus kann es bei sehr kurzen Fluoreszenzlebensdauern und relativ großen Laufzeitunterschieden zu Artefakten kommen. Diese Artefakte äußern sich in einer Überlagerung des Gesamtbildes, die sich rampenförmig ausprägt. Die durch schräge Justierung des Messsystems verursachten Laufzeitunterschiede werden durch die, über den Ort steigende, Fluoreszenzlebensdauer modelliert, wobei im Beispiel der wahre Wert der Fluoreszenzlebensdauer über den Ort konstant ist. In gleicher Weise wirken unterschiedlich lange Lichtwege im optischen System des Detektionsgerätes
Die nach Gleichung (1) bestimmten Fluoreszenzlebensdauern weisen große Abweichungen vom wahren Wert auf und sind somit für z.B. Fluoreszenzlebensdauer basierte Diagnoseverfahren schlecht geeignet.In addition, artefacts can occur with very short fluorescence lifetimes and relatively long propagation delays. These artefacts are expressed in a superposition of the overall picture, which is ramped. The differences in propagation time caused by oblique adjustment of the measuring system are modeled by the fluorescence lifetime, which increases over the site Example, the true value of the fluorescence lifetime over the location is constant. In the same way, different lengths of light paths act in the optical system of the detection device
The fluorescence lifetimes determined according to equation (1) exhibit large deviations from the true value and are therefore poorly suited for, for example, fluorescence lifetime-based diagnostic methods.

Der Erfindung liegt daher die Aufgabe zu Grunde, ein Verfahren anzugeben, welches die Nachteile des Standes der Technik vermeidet und eine Bestimmung und Auswertung zeitaufgelöster Fluoreszenzbilder an ausgedehnten dreidimensionalen Oberflächen, die durch gepulste Strahlung abgetastet werden, ermöglicht.The invention is therefore based on the object to provide a method which avoids the disadvantages of the prior art and allows determination and evaluation of time-resolved fluorescence images on extended three-dimensional surfaces which are scanned by pulsed radiation.

Erfindungsgemäß wird diese Aufgabe durch die kennzeichnenden Merkmale des 1. Patentanspruchs gelöst. Weitere günstige Ausgestaltungsmöglichkeiten der Erfindung sind in den nachgeordneten Patentansprüchen angegeben.According to the invention this object is achieved by the characterizing features of the first claim. Further favorable embodiments of the invention are specified in the subordinate claims.

Das Verfahren zur Bestimmung von Parametern zeitaufgelöster Fluoreszenz- oder Reflexionsbilder an ausgedehnten dreidimensionalen Oberflächen basiert auf dem punktweise Abtasten eines dreidimensionalen Objektes und einem bildpunktweise Modellieren von unterschiedlichen Strahlungslaufzeiten.The method for determining parameters of time-resolved fluorescence or reflection images on extended three-dimensional surfaces is based on the point-by-point scanning of a three-dimensional object and a pixel-by-pixel modeling of different radiation propagation times.

Dazu wird die ausgedehnte dreidimensionale Oberfläche des Objekts mittels eines Beleuchtungs- und Detektionsstrahls erfasst, wobei unterschiedliche Entfernungen des Beleuchtungsstrahlaustrittspunktes und des Detektionsstrahleintrittspunktes von pulsförmig beleuchteten Objektpunkten eines dreidimensionalen Objektes vorhanden sind.For this purpose, the extended three-dimensional surface of the object is detected by means of an illumination and detection beam, wherein different distances of the illumination beam exit point and the detection beam entry point of pulse-shaped illuminated object points of a three-dimensional object are present.

Dabei unterscheiden sich ein beliebiger, beleuchteter erster Objektpunkt und ein beliebiger, beleuchteter zweiter Objektpunkt, der sich in einer anderen Entfernung zum Beleuchtungsstrahlaustrittspunkt und Detektionsstrahleintrittspunkt befindet als der erste Objektpunkt, in der Laufzeit des Anregungs- und Detektionsstrahles, wobei eine bildpunktweise Modellierung der unterschiedlichen Laufzeiten erfolgt.In this case, an arbitrary, illuminated first object point and an arbitrary, illuminated second object point, which is located at a different distance to the illumination beam exit point and detection beam entry point than the first object point, differ in the transit time of the excitation and detection beam, wherein a pixel-by-pixel modeling of the different transit times takes place ,

Die Erfindung wird nachstehend an Hand der Ausführungsbeispiele und der Figuren näher erläutert. Dabei zeigt:

1a: Schematische Darstellung der Ausführungsform eines Anregungs- und Detektionsstrahls der Fluoreszenz von zwei Objektpunkten mit unterschiedlichen Abständen zum Anregungsstrahlaustrittspunkt bzw. Detektionsstrahleintrittspunkt,
1b: Schematischer Aufbau der Ausführungsform einer Anordnung zur Messung der zeitaufgelösten Fluoreszenz an einem Objekt mit einer dreidimensionalen Oberfläche,
2: Vergleich der zeitaufgelösten Fluoreszenzsignale von zwei unterschiedlichen Objektpunkten einer dreidimensionalen Oberfläche und
3: Verlauf der Fluoreszenzlebensdauer einer fluoreszierenden Oberfläche, deren Normalvektor nicht parallel zur Richtung des Anregungsstrahls gerichtet ist, bei multi-exponentieller Modellierung nach Gleichung (1) und nach Gleichung (3).

The invention will be explained in more detail below with reference to the embodiments and the figures. Showing:

1a : Schematic representation of the embodiment of an excitation and detection beam of the fluorescence of two object points with different distances to the excitation beam exit point or detection beam entry point, respectively,
1b : Schematic structure of the embodiment of an arrangement for measuring the time-resolved fluorescence on an object with a three-dimensional surface,
2 : Comparison of time-resolved fluorescence signals from two different object points of a three-dimensional surface and
3 : Course of the fluorescence lifetime of a fluorescent surface whose normal vector is not parallel to the direction of the excitation beam, in multi-exponential modeling according to equation (1) and according to equation (3).

Wie in 1a dargestellt erfolgt bei dem Verfahren zur Bestimmung und Auswertung von Parametern zeitaufgelöster Fluoreszenz- oder Reflexionsbilder an dreidimensionalen Oberflächen (230) ein punktweises Abtasten eines dreidimensionalen Objektes mittels Beleuchtungs- und Detektionsstrahl (punktweise Erfassung durch gepulste Strahlung), wobei unterschiedliche Entfernungen des Beleuchtungsstrahlaustrittspunktes und Detektionsstrahleintrittspunktes (210) von pulsförmig beleuchteten Objektpunkten eines dreidimensionalen Objektes (230) vorhanden sind und ein beliebiger, beleuchteter erster Objektpunkt (231) und beliebiger, beleuchteter zweiter Objektpunkt (232), der sich in einer anderen Entfernung zum Beleuchtungsstrahlaustrittspunkt und Detektionsstrahleintrittspunkt (210) befindet, sich in der Laufzeit des Anregungs- und Detektionsstrahles (221) des ersten Objektpunkts (231) und des Beleuchtungs- und Detektionsstrahles (222) des zweiten Objektpunkts (232) unterscheiden und eine bildpunktweise Modellierung der unterschiedlichen Laufzeiten erfolgt.As in 1a is shown in the method for the determination and evaluation of parameters of time-resolved fluorescence or reflection images on three-dimensional surfaces ( 230 ) a pointwise scanning of a three-dimensional object by means of illumination and detection beam (pointwise detection by pulsed radiation), wherein different distances of the illumination beam exit point and detection beam entry point ( 210 ) of pulsed illuminated object points of a three-dimensional object ( 230 ) and any illuminated first object point ( 231 ) and any illuminated, second object point ( 232 ) located at a different distance from the illumination beam exit point and detection beam entry point (FIG. 210 ) is in the duration of the excitation and detection beam ( 221 ) of the first object point ( 231 ) and the illumination and detection beam ( 222 ) of the second object point ( 232 ) and a pixel-by-pixel modeling of the different maturities takes place.

Dabei wird das von jedem Punkt der Oberfläche detektierte optische Signal mit einer Modellfunktion entsprechend Gleichung (2) approximiert: $I (t, x, y) = \sum_{i} α_{i} (x, y) \cdot f_{i} (t - t_{k} (x, y), x, y) + b (x, y)$

mit
I(t,x,y): Intensität zum Zeitpunkt t am Bildpunkt (x,y)
i: Komponente
a_i(x,y): präexponentieller Faktor für Komponente i am Bildpunkt (x,y)
t_K(x,y): Zeit, die ein Photon vom Anregungsstrahlaustrittspunkt zur dreidimensionalen Oberfläche und zurück zum Detektor benötigt
b(x,y): Hintergrundintensität
f(t,x,y): Modellfunktion der Komponente iIn this case, the optical signal detected by each point of the surface is approximated by a model function according to equation (2):

I (t . x . y) = \underset{i}{Σ} α_{i} (x . y) \cdot f_{i} (t - t_{k} (x . y) . x . y) + b (x . y)

With
I (t, x, y): intensity at the time t at the pixel (x, y)
i: component
a _i (x, y): pre-exponential factor for component i at the pixel (x, y)
t _K (x, y): time a photon of the Excitation beam exit point to the three-dimensional surface and back to the detector needed
b (x, y): background intensity
f (t, x, y): model function of component i

Hierbei repräsentiert t_K(x,y)=t_b(x,y)+t_f(x,y) die Zeit, die ein Photon vom Anregungsstrahlaustrittspunkt zur dreidimensionalen Oberfläche und zurück von der dreidimensionalen Oberfläche zum Detektor benötigt. t_b(x,y) ist die Zeit, die ein Photon vom Anregungsstrahlaustrittspunkt zur dreidimensionalen Oberfläche benötigt. t_f(x,y) ist die Zeit, die ein Photon von der dreidimensionalen Oberfläche zum Detektor benötigt.Here, t _K (x, y) = t _b (x, y) + t _f (x, y) represents the time required for a photon from the excitation beam exit point to the three-dimensional surface and back to the detector from the three-dimensional surface. t _b (x, y) is the time required for a photon from the excitation beam exit point to the three-dimensional surface. t _f (x, y) is the time required for a photon from the three-dimensional surface to the detector.

Die Auswertung von Bildern der zeitaufgelösten Fluoreszenz von dreidimensional im Raum orientierten ausgedehnten Oberflächen bei exponentieller Anpassung des zeitlichen Verlaufs der normierten Fluoreszenz erfolgt erfindungsgemäß nach Gleichung (3): $f (t, x, y) = I R F \otimes e^{- \frac{t}{τ (x, y)}}$

mit
IRF: Instrumental Response Function
τ(x,y): Abklingzeit am Bildpunkt (x,y)The evaluation of images of the time-resolved fluorescence of three-dimensionally oriented in space-oriented extended surfaces with exponential adjustment of the time course of normalized fluorescence according to the invention according to equation (3):

f (t . x . y) = I R F \otimes e^{- \frac{t}{τ (x . y)}}

With
IRF: Instrumental Response Function
τ (x, y): cooldown on the pixel (x, y)

Für nahezu identische optische Weglängen von Anregungsstrahlaustrittspunkt und Detektionsstrahleintrittspunkt ist t_K/2 äquivalent zur Distanz d zwischen dreidimensionaler Oberfläche und Detektor für jeden einzelnen Bildpunkt. Mittels Brechzahl n und Lichtgeschwindigkeit c kann t_K/2 in die Distanz gemäß der Gleichung (4) umgerechnet werden: $d = \frac{t_{K} \cdot C}{2 n}$

For nearly identical optical path lengths of excitation beam exit point and detection beam entry point, t _K / 2 is equivalent to the distance d between the three-dimensional surface and detector for each individual pixel. By means of the refractive index n and the speed of light c, t _K / 2 can be converted into the distance according to equation (4):

d = \frac{t_{K} \cdot C}{2 n}

Die Zeitauflösung von t_K(x,y) bestimmt damit unmittelbar die Tiefenauflösung an der dreidimensional orientierten Oberfläche des zu untersuchenden Objektes. Daher ist eine Modellierung von t_K(x,y) mit höherer Zeitauflösung als die Zeitauflösung der Messdaten vorteilhaft. Vorzugsweise wird die Distanzberechnung als Differenz zu einem Bezugspunkt realisiert. Die Parameterschätzung in Gleichung (3) erfolgt in der Regel durch einen nichtlinearen Optimierungsalgorithmus.The time resolution of t _K (x, y) thus directly determines the depth resolution at the three-dimensionally oriented surface of the object to be examined. Therefore, a modeling of t _K (x, y) with a higher time resolution than the time resolution of the measured data is advantageous. Preferably, the distance calculation is realized as a difference to a reference point. The parameter estimation in equation (3) is usually done by a nonlinear optimization algorithm.

Die erfindungsgemäße Modellierung ermöglicht die exakte Bestimmung sehr kurzer Fluoreszenzlebensdauern, da dadurch die Parameterschätzung insbesondere an Fluoreszenzsignalabschnitten mit starken Gradienten exakter wird.The modeling according to the invention enables the exact determination of very short fluorescence lifetimes, since thereby the parameter estimation becomes more exact, in particular at fluorescence signal sections with strong gradients.

Vorzugsweise werden nahezu identische optische Weglängen von Anregungsstrahlaustrittspunkt und Detektionsstrahleintrittspunkt zur dreidimensionalen Oberfläche verwendet.Preferably, nearly identical optical path lengths of excitation beam exit point and detection beam entry point to the three-dimensional surface are used.

Dies wird vorteilhaft bei Bestimmungen der zeitaufgelösten Fluoreszenz an Objekten angewendet, bei denen Laufzeitunterschiede der Strahlung an verschiedenen Orten eines Objektes in der Größenordnung der zeitlichen Breite eines Zeitkanals vorliegen.This is advantageously used in determinations of time-resolved fluorescence on objects in which propagation time differences of the radiation are present at different locations of an object in the order of the time width of a time channel.

Zur Auswertung von zeitaufgelösten Reflexionsbildern von dreidimensional im Raum orientierten Oberflächen wird Gleichung (2) modifiziert entsprechend Gleichung (5): $f (t, x, y) = g (t, x, y)$

mit
g(t,x,y): Pulsform der BeleuchtungFor the evaluation of time-resolved reflection images of three-dimensionally space-oriented surfaces, equation (2) is modified according to equation (5):

f (t . x . y) = G (t . x . y)

With
g (t, x, y): pulse shape of the illumination

Die Pulsform der Beleuchtung ist anwendungsspezifisch und kann unter anderem gaußförmig, dreieckig oder rechteckig ausgeprägt sein.The pulse shape of the illumination is application specific and can be inter alia Gaussian, triangular or rectangular pronounced.

Die technische Umsetzung des Verfahrens kann zunächst durch einen quasi punktförmig austretenden und die dreidimensionale Oberfläche punktförmig sequentiell scannenden Laserstrahl mit einem quasi punktförmigen Detektor erfolgen. Weiterhin ist die gleichzeitige flächige Beleuchtung der dreidimensionalen Oberfläche durch einen quasi punktförmig austretenden gepulsten Laserstrahl und die Signaldetektion mit einem Detektorarray vorgesehen.The technical implementation of the method can first be carried out by a quasi point-like emerging and the three-dimensional surface punctiform sequentially scanning laser beam with a quasi point-shaped detector. Furthermore, the simultaneous areal illumination of the three-dimensional surface is provided by a pulsed laser beam issuing quasi point-like and the signal detection with a detector array.

Im Beispiel der Erfassung von zeitaufgelöster Fluoreszenz werden die zeitaufgelösten Fluoreszenzsignale je Bildpunkt analysiert und der zeitliche Versatz zum Anregungsstrahlaustrittspunktes bzw. Detektionsstrahleintrittspunktes bestimmt. Die Datenanalyse basiert auf einer Approximation der Messdaten mit Hilfe der Modellfunktion von Gleichung (2) und Gleichung (3).In the example of the detection of time-resolved fluorescence, the time-resolved fluorescence signals per pixel are analyzed and the temporal offset to the excitation beam exit point or detection beam entry point is determined. The data analysis is based on an approximation of the measurement data using the model function of equation (2) and equation (3).

Der schematische Aufbau zur genauen Bestimmung der Fluoreszenzlebensdauer eines Objektes mit dreidimensional orientierter Oberfläche ist in 1b dargestellt. Ein Pulslaser (310) regt nach Durchgang durch einen dichroitischen Filter (321) und durch ein Laser-Scanner-System (322) ein Objekt (330) zur Fluoreszenz an, dessen Oberfläche dreidimensional im Raum orientiert ist. Dabei befinden sich die Punkte des Objekts (330) in unterschiedlicher Entfernung vom Anregungs- und oder Detektionsort, so dass zwischen der angeregten Fluoreszenz ein Laufzeitunterschied besteht.The schematic structure for the precise determination of the fluorescence lifetime of an object with a three-dimensionally oriented surface is shown in FIG 1b shown. A pulsed laser ( 310 ) excites after passing through a dichroic filter ( 321 ) and by a laser scanner system ( 322 ) an object ( 330 ) on the fluorescence whose surface is three-dimensionally oriented in space. Here are the points of the object ( 330 ) at different distances from the excitation and / or detection site, so that a transit time difference exists between the excited fluorescence.

Nach Durchgang durch das Laser-Scanner-System (322) wird die Fluoreszenzstrahlung von dem dichroitischen Filter (321) auf einen Detektor (341) abgelenkt, vor dem ein Blockfilter (323) angeordnet ist, der die Fluoreszenzstrahlung von der Anregungsstrahlung trennt.After passing through the laser scanner system ( 322 ) the fluorescence radiation from the dichroic filter ( 321 ) to a detector ( 341 ), before which a block filter ( 323 ), which separates the fluorescence radiation from the excitation radiation.

Der zeitabhängige Verlauf der von dem Detektor (341) registrierten Fluoreszenzstrahlung wird in einem Computer (342) nach der TCSPC Methode bestimmt. Im Computer (342) wird die Berechnung der exakten Fluoreszenzlebensdauer unter Berücksichtigung unterschiedlicher Laufzeiten der Fluoreszenzsignale von den Punkten des Objekts (330) vorgenommen.The time-dependent course of the detector ( 341 ) registered fluorescence radiation is in a computer ( 342 ) according to the TCSPC method certainly. In the computer ( 342 ) the calculation of the exact fluorescence lifetime taking into account different durations of the fluorescence signals from the points of the object ( 330 ) performed.

In 2 ist den Laufzeitunterschied der detektierten Fluoreszenz zweier Orte des Augenhintergrundes bei unterschiedlicher Entfernung vom Anregungs- und /oder Detektionsort gezeigt.In 2 the transit time difference of the detected fluorescence of two locations of the fundus at different distances from the excitation and / or detection site is shown.

Die Berechnung der Fluoreszenzlebensdauer erfolgt in einem oder mehreren Schritten. Hier wird das Vorgehen in 2 Schritten beschrieben:The calculation of the fluorescence lifetime takes place in one or more steps. Here the procedure is described in 2 steps:

Im Schritt 1 wird ausgehend von den Eckpunkten eines rechteckigen Feldes der Oberfläche (241) des Objektes (240) das zeitliche Verhalten der normierten Fluoreszenz entsprechend Gleichung (2) und Gleichung (3) angepasst.In step 1 is derived from the vertices of a rectangular field of the surface ( 241 ) of the object ( 240 ) the temporal behavior of the normalized fluorescence according to equation (2) and equation (3) adapted.

Im Gegensatz zur Zeit t, die in Zeitkanäle der konstanten Dauer t_z geteilt ist, kann die Laufzeit t_K beliebig kleine Werte annehmen. Als Ergebnis dieser Berechnung liegen für jeden Punkt x,y der Oberfläche (241) die genauen Werte für t_K vor. Die im ersten Schritt berechneten Fluoreszenzlebensdauern πi werden verworfen.In contrast to time t, which is divided into time channels of constant duration t _z , the transit time t _K can assume arbitrarily small values. As a result of this calculation, for each point x, y of the surface ( 241 ) the exact values for t _K. The fluorescence lifetimes πi calculated in the first step are discarded.

Im Schritt 2 wird das zeitabhängige Verhalten der Fluoreszenz ebenfalls nach Gleichung (2) und Gleichung (3) berechnet, wobei die im ersten Schritt berechneten Werte für t_K an jedem Ort der Oberfläche (241) konstant gehalten werden und die Fluoreszenzlebensdauern πi neu exakt berechnet werden.In step 2 the time-dependent behavior of the fluorescence is also calculated according to equation (2) and equation (3), wherein the values for t _K calculated in the first step at each location of the surface ( 241 ) are kept constant and the fluorescence lifetimes πi newly calculated exactly.

Im Ausführungsbeispiel wird zur Bestimmung der Modellparameter ein nichtlinearer Optimierungsalgorithmus nach Nelder-Mead verwendet. Dazu wird ein Computer (270) eingesetzt.In the exemplary embodiment, a nonlinear optimization algorithm according to Nelder-Mead is used to determine the model parameters. For this purpose, a computer ( 270 ) used.

Die 3 zeigt den fehlerhaften Verlauf der Fluoreszenzlebensdauer (101) eines Augenhintergrundes bei fehlerhafter Ausrichtung des Messsystems zum Auge, für den Fall, dass die Berechnung der Fluoreszenzlebensdauer entsprechend dem Stand der Technik nach Gleichung (1) erfolgt. Dieser fehlerhafte rampenförmige Verlauf der Fluoreszenzlebensdauer (101) wird vermieden, wenn die Berechnung entsprechend der erfindungsgemäßen Gleichung (2) erfolgt. Der entsprechend der Erfindung berechnete Verlauf der Fluoreszenzlebensdauer (102) ist konstant über dem Ort.The 3 shows the faulty course of the fluorescence lifetime ( 101 ) of an ocular fundus in the case of misalignment of the measuring system to the eye, in the event that the calculation of the fluorescence lifetime according to the prior art takes place according to equation (1). This erroneous ramp-shaped course of the fluorescence lifetime ( 101 ) is avoided if the calculation is carried out according to the inventive equation (2). The course of the fluorescence lifetime calculated according to the invention ( 102 ) is constant over the place.

Bei Anwendungen in der Augenheilkunde werden bei der Parameterapproximation basierend auf Gleichung (2) vorzugsweise drei Exponentialfunktionen verwendet.In ophthalmic applications, preferably three exponential functions are used in parameter approximation based on equation (2).

Bei Patienten mit früher altersbezogener Makuladegeneration lassen sich signifikante Verlängerungen der Fluoreszenzlebensdauern der mittleren Exponentialfunktion im Vergleich zur Kontrollgruppe Augengesunder in derselben Altersgruppe feststellen.In patients with early age-related macular degeneration, significant prolongations of the fluorescence lifetimes of the mean exponential function can be observed in comparison with the control group of ophthalmologists in the same age group.

Der Vorteil dieses Verfahrens besteht darin, dass insbesondere die zeitaufgelöste Fluoreszenz ausgedehnter dreidimensionaler Objekte und Strukturen mit hoher Genauigkeit bestimmt und ausgewertet werden kann.The advantage of this method is that in particular the time-resolved fluorescence of extended three-dimensional objects and structures can be determined and evaluated with high accuracy.

So werden durch dieses Verfahren bspw. der bei Messungen am Augenhintergrund auftretende Fehler in der Fluoreszenzlebensdauer infolge unterschiedlicher Laufzeiten des Fluoreszenzsignals durch fehlerhafte Justierung der Messanordnung zum Patientenauge und unterschiedlich lange Lichtwege im internen optischen System des Messgerätes in der praktischen Anwendung beseitigt.Thus, by this method, for example, the errors occurring in measurements on the fundus fluorescence lifetime due to different maturities of the fluorescence signal by incorrect adjustment of the measuring arrangement to the patient's eye and different lengths of light paths in the internal optical system of the measuring device in practical application eliminated.

Das Verfahren kann dadurch bei der zeitaufgelösten fluoreszenzspektrometrischen Diagnostik weiterer Augenerkrankungen sowie der Untersuchung bei Gefäßverschlüssen oder der Therapiekontrolle nach Laserkoagulation angewendet werden.The method can thereby be used in the time-resolved fluorescence spectrometric diagnosis of other eye diseases as well as in the examination of vascular occlusions or the therapy control after laser coagulation.

Darüber hinaus führt die Anwendung des Verfahrens bei allen klinischen und technischen Anwendungen zur exakten Bestimmung der Fluoreszenzlebensdauer, bei denen die zeitaufgelöste Fluoreszenz eines ausgedehnten dreidimensionalen Objektes gemessen wird.In addition, the use of the method in all clinical and technical applications leads to the exact determination of the fluorescence lifetime, in which the time-resolved fluorescence of an extended three-dimensional object is measured.

Eine Kombination der Messung zeitaufgelöster Fluoreszenz mit Therapiegeräten liegt auch im Rahmen der Erfindung. So kann das Verfahren bspw. in Diagnosegeräte, insbesondere multimodale Diagnosegeräte, integriert werden - z.B. strukturell: Ultraschall (US), Magnetresonanztomographie (MRT), Computertomographie (CT), Optische Bildgebung, Kameras, usw. - z.B. funktionell: Gefäße, Stoffwechsel, molekulare Bildgebung, elektrische und magnetische Ableitungen, Elektroenzephalografie (EEG), Magnetoenzephalographie (MEG), Funktionelle Magnetresonanztomographie (fMRI), Positronen-Emissions-Tomographie (PET), Einzelphotonen-Emissionscomputertomographie (SPECT), Nahinfrarotspektroskopie (NIRS), usw.A combination of the measurement of time-resolved fluorescence with therapy devices is also within the scope of the invention. For example, the method can be integrated into diagnostic devices, in particular multimodal diagnostic devices - e.g. structurally: Ultrasound (US), Magnetic Resonance Imaging (MRI), Computed Tomography (CT), Optical Imaging, Cameras, etc. - e.g. functional: vessels, metabolism, molecular imaging, electrical and magnetic conduction, electroencephalography (EEG), magnetoencephalography (MEG), functional magnetic resonance imaging (fMRI), positron emission tomography (PET), single-photon emission computed tomography (SPECT), near-infrared spectroscopy (NIRS) , etc.

Durch die Darstellung zeitaufgelöster Reflexionsbilder ermöglicht das Verfahren auch die Vermessung der dreidimensional im Raum orientierten Oberfläche von Objekten, welche sich in mechanisch oder elektrisch schwer zugänglicher Umgebung befinden, bspw. in explosionsgefährdeten Räumen.By displaying time-resolved reflection images, the method also enables the measurement of the three-dimensionally oriented in space surface of objects that are in mechanically or electrically difficult to access environment, for example. In hazardous areas.

Somit liegen die breit gefächerten Anwendungsgebiete des Verfahrens auf dem Gebiet der Untersuchung von dreidimensionalen biologischen Objekten in der Medizin, bspw. bei Imaging der zeitaufgelösten Fluoreszenz am Auge, sowie bei zeitaufgelösten Reflexionsmessungen an dreidimensionalen technischen Objekten in der Fertigungstechnik, bspw. bei der Qualitätssicherung. Das Verfahren kann auch zur Vermessung der dreidimensionalen Oberfläche eines mechanisch nicht oder schwer zugänglichen Objektes angewendet werden.Thus, the wide range of applications of the method in the field of investigation of three-dimensional biological objects in medicine, for example. Imaging of time-resolved fluorescence on the eye, as well as time-resolved reflection measurements on three-dimensional technical objects in manufacturing technology, eg. The method can also be used to measure the three-dimensional surface of a mechanically or hard to reach object.

Alle in der Beschreibung, den nachfolgenden Ausführungsbeispielen, den Ansprüchen und Zeichnungen dargestellten Merkmale können sowohl einzeln als auch in beliebiger Kombination miteinander erfindungswesentlich sein.All features illustrated in the description, the following exemplary embodiments, the claims and drawings can be essential to the invention both individually and in any desired combination.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

101 -101 -: approximierte Fluoreszenzlebensdauer nach Gleichung (1)Approximated fluorescence lifetime according to equation (1)
102 -102 -: approximierte Fluoreszenzlebensdauer nach Gleichung (2)Approximated fluorescence lifetime according to equation (2)
210 -210 -: Anregungsstrahlaustrittspunkt und DetektionsstrahleintrittspunktExcitation beam exit point and detection beam entry point
221 -221 -: Anregungs- und Detektionsstrahl IExcitation and detection beam I
222 -222 -: Anregungs- und Detektionsstrahl IIExcitation and detection beam II
230 -230 -: fluoreszierendes Objekt mit dreidimensionaler Oberflächefluorescent object with three-dimensional surface
231 -231 -: angeregter Objektpunkt Iexcited object point I
232 -232 -: angeregter Objektpunkt IIexcited object point II
310 -310 -: Pulslaserpulse laser
321 -321 -: dichroitischer Strahlteilerdichroic beam splitter
322 -322 -: Scanner-SystemScanner System
323 -323 -: Detektionsfilterdetection filters
330 -330 -: fluoreszierendes Objekt mit dreidimensionaler Oberflächefluorescent object with three-dimensional surface
341 -341 -: Einheit zur zeitaufgelösten Detektion des FluoreszenzlichtsUnit for time-resolved detection of fluorescence light
342 -342 -: Computersystem zur Auswertung der FluoreszenzdatenComputer system for the evaluation of fluorescence data
401 -401 -: zeitaufgelöstes Fluoreszenzsignal eines ObjektpunktesTime-resolved fluorescence signal of an object point
402 -402 -: zeitaufgelöstes Fluoreszenzsignal eines Objektpunktes mit einer anderen Entfernung zum Anregungsstrahlaustrittspunkt bzw. DetektionsstrahleintrittspunktTime-resolved fluorescence signal of an object point at a different distance to the excitation beam exit point or detection beam entry point

Claims

Verfahren zur Bestimmung und Auswertung von Parametern zeitaufgelöster Fluoreszenz- oder Reflexionsbilder an einer ausgedehnten dreidimensionalen Oberfläche (230) von Objekten, bei dem ein punktweises pulsförmiges Abtasten der ausgedehnten dreidimensionalen Oberfläche (230) mittels Beleuchtungs- und Detektionsstrahls erfolgt, wobei unterschiedliche Entfernungen des Beleuchtungsstrahlaustritts- und Detektionsstrahleintrittspunktes (210) von den pulsförmig beleuchteten Punkten des ausgedehnten dreidimensionalen Objektes (230) vorhanden sind, und ein beleuchteter erster Objektpunkt (231) und ein beleuchteter zweiter Objektpunkt (232), der sich in einer anderen Entfernung zum Beleuchtungsstrahlaustritts- und Detektionsstrahleintrittspunkt (210) befindet, sich in der Laufzeit des Anregungs- und Detektionsstrahles (221) des ersten Objektpunkts (231) und des Beleuchtungs- und Detektionsstrahles (222) des zweiten Objektpunkts (232) unterscheiden, und eine bildpunktweise Modellierung der unterschiedlichen Laufzeiten erfolgt, dadurch gekennzeichnet, dass das von jedem Punkt der Oberfläche (230) detektierte optische Signal mit der Gleichung

I (t, x, y) = \sum_{i} α_{i} (x, y) \cdot f_{i} (t - t_{k} (x, y), x, y) + b (x, y)

f (t, x, y) = I R F \otimes e^{- \frac{t}{τ (x, y)}}

erfolgt, wobei IRF: die Instrumental Response Function und τ(x,y) : die Abklingzeit am Bildpunkt (x,y) ist, oder die Auswertung von zeitaufgelösten Reflexionsbildern der ausgedehnten dreidimensionalen Oberfläche (230) mit der Modifikation f(t,x,y)=g(t,x,y) erfolgt, wobei g(t,x,y) die Pulsform der Beleuchtung ist.Method for determining and evaluating parameters of time-resolved fluorescence or reflection images on an extended three-dimensional surface (230) of objects, in which a pointwise pulse-shaped scanning of the extended three-dimensional surface (230) by means of illumination and detection beam, wherein different distances of the Beleuchtungsstrahlaustritts- and Detection beam entry point (210) from the pulsed illuminated points of the extended three-dimensional object (230), and an illuminated first object point (231) and an illuminated second object point (232) located at a different distance from the illumination beam exit and detection beam entry point (210). are different in the propagation time of the excitation and detection beam (221) of the first object point (231) and the illumination and detection beam (222) of the second object point (232), and a pixel-by-pixel modeling of the u Different transit times, characterized in that the optical signal detected from each point of the surface (230) with the equation

I (t . x . y) = \underset{i}{Σ} α_{i} (x . y) \cdot f_{i} (t - t_{k} (x . y) . x . y) + b (x . y)

where I (t, x, y): the intensity at the time t at the pixel (x, y), i the component, α _i (x, y): the pre-exponential factor for the component i at the pixel (x, y), t _K (x, y): the time taken by a photon from the excitation beam exit point to the three-dimensional surface and back to the detector, b (x, y): the background intensity and f (t, x, y): model function of the component i, and the evaluation of fluorescence images of the extended three-dimensional surface (230) with exponential adaptation of the time course of the normalized radiation according to the equation

f (t . x . y) = I R F \otimes e^{- \frac{t}{τ (x . y)}}

where IRF is the instrumental response function and τ (x, y) is the cooldown on the pixel (x, y), or the evaluation of time-resolved reflection images of the extended three-dimensional surface 230 with the modification f (t, x, y) = g (t, x, y), where g (t, x, y) is the pulse shape of the illumination.

Verfahren gemäß Anspruch 1, dadurch gekennzeichnet, dass die optische Weglänge des Beleuchtungs- und Detektionsstrahls identisch eingestellt wird, wobei t_K/2 äquivalent zur Distanz d zwischen der dreidimensionalen Oberfläche (230) und dem Detektor für jeden einzelnen Bildpunkt ist, so dass durch die Zeitauflösung von t_K(x,y) die Tiefenauflösung an der dreidimensionalen Oberfläche (230) unmittelbar festgelegt wird.Method according to Claim 1 , characterized in that the optical path length of the illumination and detection beam is set to be identical, where t _K / 2 is equivalent to the distance d between the three-dimensional surface (230) and the detector for each individual pixel, so that by the time resolution of t _K (x, y) the Depth resolution on the three-dimensional surface (230) is set immediately.

Verfahren gemäß Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Form des verwendeten Pulses gaußförmig, dreieckig oder rechteckig eingestellt wird.Method according to Claim 1 or 2 , characterized in that the shape of the pulse used Gaussian, triangular or rectangular is set.

Verwendung des Verfahrens gemäß einem oder mehrerer der voran stehenden Ansprüche 1 bis 3 zur Bestimmungen der zeitaufgelösten Fluoreszenz an Objekten, bei denen Laufzeitunterschiede der Strahlung an verschiedenen Orten eines Objektes in der Größenordnung der zeitlichen Breite eines Zeitkanals vorliegen.Use of the method according to one or more of the preceding Claims 1 to 3 for the determination of the time-resolved fluorescence on objects in which propagation time differences of the radiation at different locations of an object on the order of the time width of a time channel are present.

Verwendung des Verfahrens gemäß einem oder mehrerer der voran stehenden Ansprüche 1 bis 3 zur Bestimmung der exakten Fluoreszenzlebensdauer.Use of the method according to one or more of the preceding Claims 1 to 3 to determine the exact fluorescence lifetime.

Verwendung des Verfahrens gemäß einem oder mehrerer der voran stehenden Ansprüche 1 bis 3 zur Kartierung der dreidimensionalen Oberfläche.Use of the method according to one or more of the preceding Claims 1 to 3 for mapping the three-dimensional surface.

Verwendung des Verfahrens gemäß einem oder mehrerer der voran stehenden Ansprüche 1 bis 3 zur Vermessung dreidimensionaler Oberflächen von Objekten, die sich in einer mechanisch oder elektrisch schwer zugänglichen Umgebung befinden.Use of the method according to one or more of the preceding Claims 1 to 3 for measuring three-dimensional surfaces of objects that are in a mechanically or electrically difficult to reach environment.

Anordnung für die Durchführung eines Verfahrens gemäß einem oder mehrerer der Ansprüche 1 bis 3 umfassend einen Pulslaser (210), einen dichroitischen Filter (220), ein Laser-Scanner-System (230), einen Detektor (250), ein Blockfilter (260) und einen Computer (270), wobei durch die mit dem Pulslaser (210) erzeugte Strahlung nach dem Durchgang durch den dichroitischen Filter (220) und durch das Laser-Scanner-System (230) ein Objekt (240) zur Fluoreszenz anregbar ist, dessen Oberfläche (241) dreidimensional im Raum orientiert ist und das zwei Objektpunkte (231 und 232) aufweist, die sich in unterschiedlicher Entfernung vom Anregungs- und / oder Detektionsort befinden, so dass ein Laufzeitunterschied zwischen der angeregten Fluoreszenz dieser zwei Objektpunkte (231 und 232) besteht, und nach dem Durchgang der Strahlung durch das Laser-Scanner-System (230) die Fluoreszenzstrahlung von dem dichroitischen Filter (220) auf einen Detektor (250) ablenkbar ist, wobei vor dem Detektor (250) der Blockfilter (260) angeordnet ist, der die Fluoreszenzstrahlung von der Anregungsstrahlung trennt, und der zeitabhängige Verlauf der von dem Detektor (250) registrierten Fluoreszenzstrahlung in dem Computer (270) nach der TCSPC Methode bestimmbar ist, indem im Computer (270) mit einer Software die Berechnung der exakten Fluoreszenzlebensdauer unter Berücksichtigung unterschiedlicher Laufzeiten der Fluoreszenzsignale von den Oberflächenorten (242) und (243) vornehmbar ist.Arrangement for carrying out a method according to one or more of Claims 1 to 3 comprising a pulse laser (210), a dichroic filter (220), a laser scanner system (230), a detector (250), a block filter (260) and a computer (270), wherein the pulse laser (210 ) after passing through the dichroic filter (220) and through the laser scanner system (230) an object (240) is excited to fluoresce, whose surface (241) is three-dimensionally oriented in space and the two object points (231 and 232) which are located at different distances from the excitation and / or detection location, so that there is a transit time difference between the excited fluorescence of these two object points (231 and 232), and after the passage of the radiation through the laser scanner system (230) the fluorescence radiation from the dichroic filter (220) can be deflected onto a detector (250), the block filter (260) being arranged in front of the detector (250) and separating the fluorescence radiation from the excitation radiation, and the time-dependent course of the fluorescence radiation registered by the detector (250) is determinable in the computer (270) according to the TCSPC method by computing in the computer (270) with software the calculation of the exact fluorescence lifetime taking into account different transit times of the fluorescence signals from the surface locations ( 242) and (243) is vornehmbar.