-
Die Erfindung betrifft ein Verfahren und ein Computerprogrammprodukt zur Minderung von Vignettierungen in mikroskopischen Aufnahmen. Dabei werden mindestens zwei Aufnahmen einer Probe erstellt, die jeweils einen Anteil an einer Gesamtbelichtungszeit und/oder einen Anteil an einer Gesamtbeleuchtungsintensität einnehmen, und diese jeweils in übereinstimmende Bildbereiche unterteilt, wobei die einzelnen Bildbereiche innerhalb einer Aufnahme unterschiedliche Helligkeiten aufweisen und in jeder Aufnahme gleich aufgeteilt werden, also miteinander korrespondieren. Um ein Gesamtbild mit geringerer Vignettierung oder gar ohne Vignettierung zu erhalten, werden dann die korrespondierenden Bildbereiche der einzelnen Aufnahmen überlagert und aufsummiert und zwar derart, dass aus den dunkelsten Bereichen jeweils alle Aufnahmen genutzt werden, bei den hellsten jeweils nur ein Bildbereich aus einer Aufnahme und für die Zwischenstufen jeweils eine Anzahl von Bildbereichen in Aufnahmen, die ihrer Helligkeitsabstufung entsprechen.
-
Vignettierung (oder auch Shading genannt) ist in der Mikroskopie und anderen optischen Technologien ein nicht vermeidbarer Effekt. Dieser kann zwar mittels verschiedener Maßnahmen und damit Kosten reduziert, aber nicht vermieden werden. Als Vignettierung wird dabei im engeren Sinne verstanden, dass Bereiche einer Probe heller beleuchtet werden als andere, was unterschiedliche optische Ursachen haben kann. Zumeist ist die eintreffende Lichtintensität auf der optischen Achse am größten und fällt dann monoton zum Rand hin ab. Aufgrund der in den betroffenen Bereichen geringeren Bildintensität ist dort auch das Signal-Rausch-Verhältnis (SNR), also der Informationsgehalt der Bildbereiche, vermindert.
-
Die gängige Praxis im Stand der Technik besteht nun darin, nach der Bildaufnahme eine digitale Korrektur durchzuführen. Diese Korrektur besteht in der pixelweisen Multiplikation oder Subtraktion mit einem vorab ermittelten Korrekturwert, wobei jeder Pixel mit einem individuellen Korrekturwert verrechnet wird. Dies reicht aus, um „schöne Bilder“ zu erzeugen, hat jedoch auch einige Nachteile. In der Hauptsache ändert die eben beschriebene Korrektur aufgrund der Multiplikation nur die wahrgenommene Helligkeit in den Randbereichen des Bildes, erhöht jedoch nicht das SNR und damit den Informationsgehalt in den Randbereichen des Bildes.
-
Ein hohes und über das Bild gleichmäßig hohes Signal-Rausch-Verhältnis ist jedoch für viele nachfolgenden Analysen essenziell, wie zum Beispiel für die Auflösung beziehungsweise Trennung von einzelnen fluoreszierenden Proteinen, Bestimmung von Lokalisierungsgenauigkeiten, Topographiebestimmungen und dergleichen.
-
Es ist daher die Aufgabe der Erfindung, ein Verfahren zu finden, mit dem Vignettierungen in mikroskopischen Aufnahmen so weit als möglich gemindert werden können und dabei gleichzeitig ein möglichst hoher Informationsgehalt im Bild erhalten wird.
-
Die Aufgabe der Erfindung wird gelöst durch ein Verfahren nach Anspruch 1 und ein Computerprogrammprodukt nach Anspruch 10. Weitere bevorzugte Ausgestaltungen der Erfindung ergeben sich aus den übrigen, in den Unteransprüchen genannten Merkmalen.
-
Das erfindungsgemäße Verfahren zur Minderung von Vignettierungen in mikroskopischen Aufnahmen sieht vor, dass für ein Bild
- • mindestens zwei Aufnahmen erstellt werden, wobei diese Aufnahmen jeweils mit einem Anteil einer erforderlichen Gesamtbelichtungszeit und/oder einem Anteil einer erforderlichen Gesamtbelichtungsintensität erfasst werden,
- • die Aufnahmen jeweils in mindestens zwei Bildbereiche aufgeteilt werden, die in sich jeweils eine vergleichbare Helligkeit aufweisen, wobei die Aufteilung in die mindestens zwei Bildbereiche in allen Aufnahmen gleich erfolgt, und
- • zur Erstellung eines Gesamtbildes zueinander korrespondierende Bildbereiche aus den mindestens zwei Aufnahmen überlagert und aufsummiert werden, wobei
- ◯ in Bildbereichen mit der geringsten Helligkeit die zueinander korrespondierenden Bildbereiche aus allen Aufnahmen miteinander überlagert und verrechnet werden,
- ◯ in Bereichen mit der größten Helligkeit nur ein Bildbereich aus einer Aufnahme in die Erstellung des Gesamtbildes eingeht, und
- ◯ in den übrigen Bildbereichen die Überlagerung und Aufsummierung der Bildbereiche aus den mindestens zwei Aufnahmen abhängig von einer Helligkeitsabstufung erfolgt und dabei mit jeder Abstufung geringerer Helligkeit jeweils mindestens ein Bildbereich aus einer Aufnahme mehr in die Überlagerung und Aufsummierung eingeht.
-
Es soll also ein Gesamtbild erzeugt werden, bei dem die Vignettierung so weit wie möglich reduziert wird. Dazu wird eine Vielzahl von Aufnahmen erfasst und in erfindungsgemäßer Weise zusammengeführt.
-
Dazu wird die erforderliche Belichtungszeit, die für eine vergleichbares Bild üblicherweise notwendig oder sinnvoll ist, in mindestens zwei zeitliche Teilabschnitte aufgeteilt und jeweils eine Aufnahme mit dem vorbestimmten zeitlichen Anteil an der Gesamtbelichtungszeit erfasst. Die Summe der zeitlichen Anteile ergibt dann wieder die erforderliche Gesamtbelichtungszeit. Es entstehen also mindestens zwei Aufnahmen, deren jeweilige Belichtungszeit dem vorgenannten zeitlichen Anteil entsprechen.
-
Alternativ oder zusätzlich kann auch die erforderliche Gesamtbelichtungsintensität, die für das gewünschte beziehungsweise beabsichtigte Gesamtbild erforderlich ist, auf mindestens zwei Aufnahmen aufgeteilt und diese dann mit dem jeweiligen Anteil der Gesamtbelichtungsintensität erfasst werden.
-
Jede dieser mindestens zwei Aufnahmen wird in mindestens zwei Bildbereiche aufgeteilt, die dabei so gewählt werden, dass sie in sich, also jeweils innerhalb eines Bildbereiches, eine vergleichbare Helligkeit aufweisen. Eine vergleichbare Helligkeit soll dabei als Helligkeit innerhalb eines Helligkeitsbereiches verstanden werden, wobei sich die Abstufung der Helligkeitsbereiche durch die Anzahl der Bildbereiche und der sich in den Aufnahmen ergebenden Vignettierung ergibt. Eine größere Anzahl Bildbereiche erlaubt also eine feinere Aufteilung der Helligkeiten beziehungsweise Helligkeitsbereiche. Die Helligkeitsbereiche können auch als Zonen bezeichnet werden.
-
Die mindestens zwei Bildbereiche sind in allen der mindestens zwei Aufnahmen gleich, da alle Aufnahmen mit dem gleichen Erfassungsgerät vorgenommen werden und somit von einer gleichbleibenden Verteilung der Helligkeitsbereiche ausgegangen werden kann.
-
Nun werden erfindungsgemäß alle Aufnahmen mit den zugehörigen Bildbereichen wie folgt zusammengeführt, um ein Gesamtbild mit geringstmöglicher Vignettierung zu erzeugen: Korrespondierende Bildbereiche aus den mindestens zwei Aufnahmen werden überlagert und aufsummiert, es erfolgt also eine zonenweise Überlagerung und Aufsummierung. Dabei variiert die Anzahl der überlagerten und aufsummierten Bildbereiche der einzelnen Aufnahmen in Abhängigkeit von ihrer Helligkeit im Vergleich der Bildbereiche zueinander.
-
Für Bildbereiche mit der geringsten Helligkeit, also für die dunkelsten Bereiche, werden die Bildbereiche aller erfassten Aufnahmen miteinander überlagert und verrechnet. Bei den Bildbereichen mit der größten Helligkeit wird nur ein Bildbereich aus einer Aufnahme für die Erstellung des Gesamtbildes verwendet. Vorzugsweise ist dies der Bildbereich einer Aufnahme mit dem höchsten Signal-Rausch-Verhältnis beziehungsweise der besten (Teil-)Aufnahme.
-
Die übrigen zueinander korrespondierenden Bildbereiche der einzelnen Aufnahmen erfahren hinsichtlich der zu verwendenden Bildbereiche aus den verschiedenen Aufnahmen eine Abstufung, die mit ihrer Helligkeit in Relation zu den anderen Bildbereichen einhergeht. Die Bildbereiche der Aufnahmen, die nicht den hellsten oder den dunkelsten Bildbereich bilden, werden anhand ihrer Helligkeit sortiert, so dass eine Art Helligkeitsrang entsteht. Anhand dieser Sortierung wird die Anzahl der zu verwendenden Bildbereiche aus den einzelnen Aufnahmen bestimmt. Je dunkler ein Bildbereich ist, desto mehr Bildbereiche aus mehr Aufnahmen gehen in das Gesamtbild ein. Dabei ist vorgesehen, dass jeweils pro Abstufung mindestens ein Bildbereich mehr, also zusätzlich, in die Erstellung des Gesamtbildes eingeht. Beispielhaft werden für ein Gesamtbild vier (Teil-)Aufnahmen erfasst, die jeweils in vier Bildbereiche aufgeteilt wurden. Für den hellsten Bildbereich wird der Bildbereich der Aufnahme mit dem besten SNR verwendet, für den dunkelsten alle vier Teilbereiche aus allen vier Aufnahmen. Für den zweithellsten Bildbereich gehen zwei Bildbereiche aus zwei Aufnahmen und für den dritthellsten drei Bildbereiche aus drei Aufnahmen in das Gesamtbild ein. Dazu werden vorzugsweise jeweils wieder Bildbereiche mit den vergleichsweise besten Signal-Rausch-Verhältnissen verwendet. Es versteht sich von selbst, dass bei einer höheren Anzahl von Aufnahmen als Bildbereichen auch jeweils mehr als ein Bildbereich zusätzlich pro Abstufung in die Erstellung des Gesamtbildes eingehen kann.
-
Im Ergebnis wird nun ein Gesamtbild erzeugt, das keine oder minimale wahrnehmbaren Randlichtabfälle zeigt und dennoch, anders als bei den bekannten Verfahren, über ein homogenisiertes SNR im gesamten Bild verfügt. In Abhängigkeit von der Helligkeit eines Bildbereiches gehen mehr Informationen in die Verrechnung der Aufnahmen ein und es erfolgt eine echte Kompensation der Helligkeitsabstufungen in einer Aufnahme beziehungsweise einem Bild. Zonenweise wird dabei der Effekt unterschiedlicher Belichtungszeiten und/oder - intensitäten erreicht. Das Verfahren kann dabei unabhängig davon zur Anwendung kommen, ob die Aufnahmen Kamerabilder sind oder Bilder aus einem Laserscanningmikroskop stammen, und wird dabei ohne Einfluss auf die Rohdaten angewendet.
-
Gemäß einer ersten Ausgestaltung des erfindungsgemäßen Verfahrens sollen die mindestens zwei Bildbereiche die Form von konzentrischen Kreisen, Kreisen mit versetzten Zentren und/oder Freiformen bilden. Konzentrische Kreise bilden eine häufige Verteilung von Helligkeitsbereichen nach. Mit Freiformen oder Kreisen mit versetzten Zentren können Verzerrungen in der Beleuchtungsoptik und andere Einflüsse, die zu Vignettierungen in den Aufnahmen führen, kompensiert werden. Die Bildbereiche können gleiche Formen aufweisen, aber auch verschiedene. Die Form der Bildbereiche sollte stets so gewählt werden, dass die Vignettierung bestmöglich ausgeglichen werden kann.
-
Eine zweite Ausgestaltung sieht vor, dass Form und Größe der mindestens zwei Bildbereiche
- • vorab festgelegt werden,
- • nach einer Messung eines generischen Ausleuchtungsprofils der optischen Elemente im Beleuchtungsstrahlengang festgelegt werden, oder
- • von einem Nutzer festgelegt werden.
-
Vorab festgelegte Bildbereiche werden unabhängig von einer tatsächlichen Helligkeitsverteilung im Bild verwendet. Sie können beispielsweise als Voreinstellung des Verfahrens in einem Computerprogramm hinterlegt sein.
-
Wird hingegen eine generisches Ausleuchtungsprofil der optischen Elemente im Beleuchtungsstrahlengang ausgemessen, kann in Abhängigkeit von den verwendeten Komponenten die Form und Größe der Bildbereiche bestmöglich angepasst werden. Empfehlenswert ist es dabei, ein solches Ausleuchtungsprofil für alle vorhandenen beziehungsweise möglichen Kombinationen von optischen Elementen im Beleuchtungsstrahlengang auszumessen.
-
Alternativ kann ein Nutzer individuelle Bildbereiche festlegen. Dies kann er basierend auf seinen Erfahrungen oder aber in Erwartung erwünschter oder erhoffter Verbesserungseffekte bei der Erstellung des Gesamtbildes tun.
-
Eine andere Ausgestaltung besteht darin, dass die Gesamtbelichtungszeit
- • gleichmäßig auf die Anzahl der mindestens zwei Aufnahmen aufgeteilt wird,
- • dynamisch auf Basis einer Messung eines generischen Ausleuchtungsprofils der optischen Elemente im Beleuchtungsstrahlengang auf die Anzahl der mindestens zwei Aufnahmen aufgeteilt wird, oder
- • von einem Nutzer aufgeteilt wird.
-
Im einfachsten Fall wird jede Aufnahme mit der gleichen (Teil-)Belichtungszeit erfasst, und die Summe der einzelnen Belichtungszeiten ergibt die Gesamtbelichtungszeit. Es erfolgt also eine gleichmäßige Aufteilung der Gesamtbelichtungszeit auf die mindestens zwei Aufnahmen.
-
Alternativ kann ein Nutzer individuell festlegen, welche Aufnahme mit welcher (Teil-)-Belichtungszeit erfasst werden soll. Auch hier können vom Nutzer erwartete oder erhoffte Bildeffekte sowie seine Erfahrung den Hintergrund für die Festlegung bilden.
-
Ist ein generisches Ausleuchtungsprofil für das Mikroskop oder den Aufnahmeaufbau bekannt, dann kann die Belichtungszeit auch basierend darauf auf die Einzelaufnahmen aufgeteilt werden und somit den jeweiligen Kombinationen aus optischen Komponenten bestmöglich Rechnung getragen werden.
-
Alternativ oder zusätzlich zu der vorgenannten Ausgestaltung kann die Gesamtbeleuchtungsintensität
- • gleichmäßig auf die Anzahl der mindestens zwei Aufnahmen aufgeteilt werden,
- • dynamisch auf Basis einer Messung eines generischen Ausleuchtungsprofils der optischen Elemente im Beleuchtungsstrahlengang auf die Anzahl der mindestens zwei Aufnahmen aufgeteilt werden, oder
- • von einem Nutzer aufgeteilt werden.
-
Dabei gilt gleichwirkend das zuvor Gesagte bezogen auf die Beleuchtungsintensität.
-
Die Minderung der Vignettierung kann gemäß einer weiteren Ausgestaltung einheitlich für gleichartige Aufnahmesysteme, individuell konfiguriert durch einen Nutzer oder abhängig von einer Kalibrierung des Aufnahmesystems ausgeführt werden. Dabei ist unter „gleichartigen Aufnahmesystemen“ eine Produktreihe, Produktserie oder dergleichen zu verstehen, innerhalb derer eine Mehrzahl von Geräten mit dem gleichen Funktionsprinzip und im wesentlichen gleichen Komponenten ausgebildet sind. Damit kann ein Gerätehersteller seinem Kunden eine voreingestellte Minderung der Vignettierung anbieten.
-
Stattdessen kann ein Nutzer die Minderung der Vignettierung, also die konkrete Ausgestaltung des hier offenbarten Verfahrens beziehungsweise die Einstellung verschiedener Parameter auch selbst vornehmen. Hilfreich ist es auch, wenn zunächst eine Gerätekalibrierung durchgeführt wird, und auf dieser Basis die Minderung der Vignettierung gemäß dem offenbarten Verfahren. Dies kann darüber hinaus auch beinhalten, ob das Verfahren automatisch ausgeführt wird, wenn vorgegebene Bedingungen beim Erstellen von Bildaufnahmen erfüllt werden.
-
Das Verfahren kann auch dahingehend weitergebildet werden, dass die korrespondierenden Bildbereiche der mindestens zwei Aufnahmen mit einem Wichtungsfaktor in die Überlagerung und Aufsummierung eingehen. Bislang wurden die Bildbereiche aus den mindestens zwei Aufnahmen bezogen auf ihre Helligkeit beziehungsweise innerhalb ihres Helligkeitsrangs gleichwertig in die Berechnung des Gesamtbildes übernommen, also wurden beispielsweise alle Bildbereiche aus allen Aufnahmen mit der geringsten Helligkeit ohne zusätzlichen Wichtungsfaktor und damit mit gleicher Wichtung innerhalb ihres Helligkeitsbereiches verwendet. Erweist sich aber beispielsweise ein Bildbereich aus einer Aufnahme als besonders geeignet, weist also beispielsweise ein hohes Signal-Rausch-Verhältnis auf oder anderweitig vorteilhafte Eigenschaften, kann es gewünscht sein, wenn dieser mit einer hohen Wichtung in die Erstellung des Gesamtbildes eingeht, während beispielsweise ein Bildbereich mit einem niedrigen SNR mit einem geringeren Wichtungsfaktor versehen wird. Auf diese Weise können die erstellten Aufnahmen und die darin gebildeten Bildbereiche effektiv verwertet werden und gegebenenfalls auf die Erstellung von mehr beziehungsweise weiteren Aufnahmen verzichtet werden. Dies erweist sich zudem als vorteilhaft, wenn eine oder mehrere Aufnahmen stärker beleuchtet werden, um beispielsweise Randbereiche besser auszuleuchten, denn dann können die Bildbereiche aus den stärker beleuchteten Aufnahmen, die die Randbereiche abdecken, mit einer höheren Wichtung bezogen auf die Bildbereiche anderer Aufnahmen aus dem gleichen Helligkeitsbereich in die Erstellung des Gesamtbildes eingehen.
-
Wie bereits aufgeführt, können die mindestens zwei Aufnahmen Kamerabilder sein, also Aufnahmen einer beliebigen Kamera, die insbesondere an einem Mikroskopsystem vorgesehen ist, oder es können Aufnahmen von scannenden Systemen sein, wie sie beispielsweise von Laserscanningmikroskopen stammen.
-
Im Falle scannender Systeme kann dabei das erfindungsgemäße Verfahren zur Minderung der Vignettierung auch auf sich überlappende Einzelbilder das scannenden Systems angewandt werden. Dabei kann diese Anwendung auf die Einzelbilder vor deren Zusammensetzen beziehungsweise Stitching angewandt werden, alternativ oder zusätzlich aber auch auf ein bereits gestitchtes, also zusammengesetztes Bild. Damit können auch Vignettierungseffekte, die in den und/oder durch die Überlappungsbereiche vorkommen, beseitigt werden.
-
Schließlich wird ein Computerprogrammprodukt vorgeschlagen, das Anweisungen enthält, bei deren Ausführung durch eine Recheneinheit das erfindungsgemäße Verfahren ausgeführt wird. Es kann also in Form einer Software auf einer Recheneinheit des Aufnahmesystems vorgesehen sein, aber auch als eigenständige Software auf einem Rechner, dem dann die einzelnen Aufnahmen zugeführt werden.
-
Mit dem erfindungsgemäßen Verfahren kann die Vignettierung beziehungsweise das Shading in Kameraaufnahmen wirksam vermindert werden, ohne den Informationsgehalt des Gesamtbildes zu mindern. Es wird also eine echte Kompensation der unterschiedlichen Beleuchtungsstärken vorgenommen und eine über das Bild weitgehend homogene Verteilung von Licht und Signal-Rausch-Verhältnis zu erreichen.
-
Die verschiedenen in dieser Anmeldung genannten Ausführungsformen der Erfindung sind, sofern im Einzelfall nicht anders ausgeführt, mit Vorteil miteinander kombinierbar.
-
Die Erfindung wird nachfolgend in Ausführungsbeispielen anhand der zugehörigen Zeichnungen erläutert. Die einzige
- 1 zeigt den Ablauf des Verfahrens anhand von Aufnahmen und dem Gesamtbild in einer Prinzipdarstellung.
-
1a zeigt eine Aufnahme 10 mit einer einzigen Belichtungszeit und einer einzigen Beleuchtungsintensität. Daraus resultiert die in 1a erkennbare Vignettierung, bei der die Aufnahme 10 im Zentrum deutlich heller ist als am Rand.
-
Um diese Vignettierung zu mindern, werden wie in 1b gezeigt, drei Bildbereiche 20.1, 20.2 und 20.3 festgelegt und die Belichtungszeit auf hier beispielhaft drei Aufnahmen 10.1, 10.2, 10.3 verteilt. Innerhalb der drei Bildbereiche 20.1, 20.2, 20.3 liegt die Helligkeit jeweils innerhalb eines vorgegebenen Bereiches. Für die Bildbereiche 20.1, 20.2, 20.3 sind konzentrische Kreise ausgewählt.
-
Um das Gesamtbild 30, das in 1c vereinfacht dargestellt ist, zu erstellen, geht nun der Bildbereich 20.3 aus der Aufnahme mit dem besten Signal-Rausch-Verhältnis ein, im Bereich 20.1 aus allen drei Aufnahmen. Für den Bildbereich 20.2, der eine mittlere Helligkeit aufweist, werden die Bildebereiche 20.2 aus den beiden Aufnahmen mit dem besten SNR verwendet. Die Bildbereiche werden nun überlagert und aufsummiert, so dass im Ergebnis ein glatteres Ausleuchtungsprofil in dem Gesamtbild 30 zu erzielen.
-
Bezugszeichenliste
-
- 10
- Aufnahme
- 20
- Bildbereich
- 30
- Gesamtbild