DE102022102017A1

DE102022102017A1 - Verbesserte spektrale Rekonstruktion für multispektrale Bildgebung

Info

Publication number: DE102022102017A1
Application number: DE102022102017.7A
Authority: DE
Inventors: Sébastien Weitbruch; Joachim Jauss; Andreas Hille
Original assignee: Schoelly Fiberoptic GmbH
Current assignee: Schoelly Fiberoptic GmbH
Priority date: 2022-01-28
Filing date: 2022-01-28
Publication date: 2023-08-03
Also published as: CN116519134A; US20230281775A1

Abstract

Zusammenfassend wird zur Verbesserung der Bildqualität und Farbechtheit eines Weißlichtbildes (5), welches im Rahmen einer multispektralen Bildgebung sensorisch erfasst wird, vorgeschlagen, dass unterschiedliche Sub-Spektren (2) eines zur Bildgebung eingesetzten Lichtspektrums (1) entweder räumlich separat oder aber zeitlich separat voneinander sensorisch erfasst werden und dass bei der Berechnung des Weißlichtbildes (5) ein Neben-Spektrum (4) dieser Sub-Spektren (2) berücksichtigt wird, welches (zeitlich oder räumlich) separat zu einem Haupt-Spektrum (3) des Lichtspektrums (1) erfasst wird. Dieser Ansatz bietet den Vorteil, dass damit eine zusätzliche spektrale Komponente (6), die auf dem separat erfassten Neben-Spektrum (4) beruht, je nach Bedarf in das Weißlichtbild (5) injiziert oder aus diesem extrahiert werden kann, um so die gewünschte verbesserte Bildqualität zu erreichen (Vergleiche Figur 1).

Description

Die Erfindung betrifft ein Verfahren zur multispektralen Bildgebung, bei dem ein Lichtspektrum zur Bildgebung eingesetzt und hierzu sensorisch erfasst wird, das aus wenigstens zwei Sub-Spektren besteht, die sich typischerweise ergänzen oder aber eine gewisse spektrale Überlappung zeigen können. Hierbei werden die wenigstens zwei Sub-Spektren separat erfasst. Eines der erfassten Sub-Spektren bildet dabei ein Haupt-Spektrum aus dem ein Weißlichtbild errechnet wird.
Die Erfindung kann somit auch für ein zugehöriges Bildverarbeitungsverfahren eingesetzt werden, bei welchem wenigstens zwei Bildsignale erzeugt werden, die unterschiedliche Spektralbereiche betreffen oder haben, wobei sich die Spektralbereiche ergänzen können oder eine gewisse spektrale Überlappung aufweisen können.
Die Erfindung betrifft ferner eine zugehörige Bildaufnahmevorrichtung, mit der sich ein solches Verfahren praktisch anwenden lässt.
Multispektrale Bildgebungsverfahren sind bekannt und werden beispielsweise in medizinischen Anwendungen eingesetzt, um im Sinne einer sogenannten Spectrum Reconstruction (Rekonstruktion des bildgebenden Spektrums) ein visuelles Bild mit erweiterter Information (augmented information / augmented view) zu versehen. Eine solche erweiterte Information kann beispielsweise die räumliche Verteilung einer Sauerstoffsättigung im Gewebe sein oder auch lokale Fluoreszenzsignale von Fluoreszenzfarbstoffen mit denen bestimmte Gewebetypen oder zum Beispiel Blutgefäße sichtbar gemacht werden können oder auch sonstige Infrarot(IR)-Signale.
Multispektrale Bildgebung ist somit eine fortschrittliche Bildgebungstechnologie, die es ermöglicht, mehr Informationen aus einem Bild zu gewinnen, als es das menschliche Auge vermag. Um dies zu erreichen, erfasst ein Kamerasystem die verschiedenen Sub-Spektren der beobachteten Szene separat. Eine Analyse dieser verschiedenen Sub-Spektren durch Vergleich oder ähnliches kann dann eine erweiterte Information (augmented information) liefern, die mit dem gewöhnlichen visuellen Inhalt, wie er bei der Weißlichtbildgebung entsteht, zusammengeführt werden kann. Je nach Situation, müssen beispielsweise verschiedene erfasste Sub-Spektren wieder zusammengeführt werden, um dem Beobachter einen bestmöglichen, also möglichst farbechten, Videobildstrom zu liefern, idealerweise unabhängig davon, ob er sich die erweiterte Information gerade anzeigen lässt oder nicht.
Bei vorbekannten Ansätzen für multispektrale Bildgebung wird ein erfasstes und damit zur Bildgebung eingesetztes Spektrum typischerweise zur weiteren Analyse in verschiedene Sub-Spektren aufgeteilt, von denen üblicherweise eines ein Haupt-Spektrum darstellt, welches für die visuelle Wiedergabe der Szene mittels eines Weißlichtbilds (reale Ansicht / white light imaging = WLI) verwendet wird. Die restlichen, häufig räumlich separat erfassten, Sub-Spektren werden lediglich separat analysiert, um dem Benutzer eine erweiterte Information zu liefern. Dadurch sind die Sub-Spektren aber exklusiv, d.h. im Weißlichtbild fehlen typischerweise die separat erfassten Neben-Spektren. Dies hat zur Folge, dass bei der Erstellung einer realen Ansicht mittels des errechneten Weißlichtbilds für den Beobachter ein Teil der Lichtenergie fehlt. Dies führt oftmals zu einer Zunahme von Signalrauschen und/oder einer Verringerung der Farbreinheit des Weißlichtbilds, was beides unerwünscht ist.
Werden die verschiedenen Sub-Spektren hingegen zwar mit demselben Bildsensor, aber zeitlich aufeinander folgend, also zeitlich separat voneinander, erfasst, so kommt es häufig vor, dass ein bestimmtes Sub-Spektrum (z.B. im IR- oder NIR-Wellenlängenbereich) die reale Ansicht verunreinigt, etwa dann, wenn sich die Spektren zeitlich teilweise überlappen; dies führt dann typischerweise ebenfalls zu einer Verringerung der Farbreinheit oder der Bildqualität im Allgemeinen. Auch bei solchen Ansätzen können zusätzlich noch Strahlteiler zum Einsatz kommen, um eine spektrale Separation zu verbessern.
Hiervon ausgehend liegt der Erfindung die Aufgabe zugrunde, die Qualität der Bilddarstellung bei derartigen Verfahren zu verbessern.
Zur Lösung dieser Aufgabe sind erfindungsgemäß bei einem multispektralen Bildgebungsverfahren die Merkmale von Anspruch 1 vorgesehen. Insbesondere wird somit erfindungsgemäß zur Lösung der Aufgabe bei einem Bildgebungsverfahren der eingangs genannten Art vorgeschlagen, dass wenigstens ein separat erfasstes Neben-Spektrum der Sub-Spektren dazu verwendet wird, wenigstens eine zusätzliche spektrale Komponente aus dem Weißlichtbild zu extrahieren und/oder (insbesondere eine weitere zusätzliche spektrale Komponente) in das Weißlichtbild zu injizieren.
Mit anderen Worten kann gemäß der Erfindung somit ein spektraler Signalanteil, der sensorisch separat erfasst wurde, zumindest teilweise, dem Weißlichtbild hinzugefügt oder aus diesem entfernt werden, insbesondere um so die Bildqualität des Weißlichtbilds und damit den visuellen Eindruck für den Benutzer zu verbessern.
Ein wesentlicher Vorteil dieses Ansatzes besteht darin, dass das Weißlichtbild damit realitätsnäher und/oder mit verbesserter Farbechtheit rekonstruiert bzw. wiedergegeben werden kann und/oder mit verbesserter Bildqualität. Die Erfindung ermöglicht es somit, zu jedem Zeitpunkt eine bestmögliche spektrale Rekonstruktion einer realen beobachteten Szene zu ermöglichen. Die Erfindung liefert für beide eingangs genannten Problemstellungen (zeitlich getrennte oder aber gleichzeitige Aufnahme der Sub-Spektren) einen Lösungsansatz und kann dabei die Bildqualität verbessern, die Farbreinheit des Weißlichtbilds erhöhen als auch das Signalrauschen verringern. Dennoch kann auch weiterhin eine erweiterte Information, die über den Bildinhalt des Weißlichtbilds bzw. den menschlichen visuellen Eindruck hinausgeht, geliefert werden.
Die zusätzliche spektrale Komponente kann insbesondere eine spektrale Bildkomponente oder eine spektrale Bildsignalkomponente des Weißlichtbilds sein.
Das Extrahieren bzw. Injizieren kann beispielsweise mittels einer Gewichtung erfolgen, sodass die jeweilige zusätzliche spektrale Komponente / das jeweilige sensorisch erfasste Bildsignal, welches auf dem wenigstens einen Neben-Spektrum beruht, auch nur teilweise hinzugefügt oder entfernt werden kann.
Das Weißlichtbild kann typischerweise als eine digitale Datei bereits vorliegen und/oder aus entsprechenden Sensorsignalen, insbesondere unter Anwendung einer Farbtransformation, errechnet werden.
Das zur Bildgebung eingesetzte Lichtspektrum wird im Wesentlichen durch das Spektrum des für die Bildgebung eingesetzten Beleuchtungslichts bestimmt; es kann aber auch Wellenlängen enthalten, die nicht im Beleuchtungslicht enthalten sind, etwa IR-Fluoreszenzlicht welches erst durch Bestrahlung von Fluorophoren mit dem Beleuchtungslicht generiert wird.
Die für die Bildgebung eingesetzt Lichtquelle kann innerhalb eines großen Wellenlängenspektrums gewählt werden, je nach Anwendung beispielsweise nur im sichtbaren, oder auch mit Anteilen im NIR im UV oder sogar jenseits des IR-Bereichs.
Das hier vorgestellte Verfahren zielt also darauf ab, N verschiedene Sub-Spektren zur multispektralen Bildgebung einzusetzen, insbesondere um erweiterte Bildinformationen zu gewinnen, und gleichzeitig eine hohe Qualität der (klassischen) Weißlichtbildgebung zu ermöglichen.
Erfindungsgemäß kann die Aufgabe auch durch weitere vorteilhafte Ausführungen gemäß den Unteransprüchen gelöst werden.
Beispielsweise können die wenigstens zwei Sub-Spektren entweder gleichzeitig aber räumlich separat oder aber zeitlich separat, insbesondere durch Anwendung eines Zeitmultiplex-Verfahrens und/oder unter Verwendung nur eines Bildsensors (dies kann ein Farbbildsensor oder ein monochromer Bildsensor sein), sensorisch erfasst werden. Beide dieser Ansätze werden später noch genauer anhand von Ausführungsbeispielen erläutert.
Ferner kann die wenigstens eine zusätzliche spektrale Komponente separat zum Weißlichtbild ausgewertet werden, um eine erweiterte Bildinformation, insbesondere eine erweiterte Bildkomponente, zu generieren. Diese erweiterte Bildinformation kann dem Weißlichtbild beispielsweise als Überlagerung (overlay) hinzugefügt werden, oder aber sie kann separat vom Weißlichtbild verwertet / analysiert werden.
Das Weißlichtbild kann bevorzugt aus wenigstens zwei spektral unterschiedlichen Bildsignalen eines Farbbildsensors in einer Bildrekonstruktion errechnet werden.
Ferner kann das wenigstens eine Neben-Spektrum, welches entweder mit dem gleichen Farbbildsensor oder aber mit einem separaten Bildsensor erfasst werden kann, dazu verwendet werden, eine erweiterte Bildinformation zu gewinnen / zu errechnen. Diese erweiterte Bildinformation kann dann vorzugsweise dem Weißlichtbild überlagert werden, was insbesondere mittels einer Falschfarbendarstellung geschehen kann. Dadurch kann der Benutzer die erweiterte Bildinformation anhand des Weißlichtbilds, welches den visuellen Eindruck des Benutzers wiederspiegelt, auch räumlich zuordnen. Das beschriebene Vorgehen kann also insbesondere dazu dienen, eine erweitere Realitätsansicht (augmented reality view) des Weißlichtbilds zusammen mit der erweiterten Bildinformation zu realisieren.
Der beschriebene Ansatz kann also darauf hinauslaufen, mittels einer Weißlichtprozessierung ein gewöhnliches Weißlichtbild zu generieren und ferner durch sensorische Erfassung und Auswertung von wenigstens einem Neben-Spektrum, eine erweiterte Bildinformation zu gewinnen, die als „augmented information“ verwendet werden kann, um das Weißlichtbild aufzuwerten. Die zusätzliche spektrale Komponente, die dem Weißlichtbild hinzugefügt oder aus diesem extrahiert wird, kann dabei gerade auf dem Neben-Spektrum beruhen, aus dem die erweiterte Bildinformation gewonnen wurde; die zusätzliche spektrale Komponente kann aber auch alternativ oder aber zusätzlich auch auf einem weiteren (sensorisch erfassten) Neben-Spektrum beruhen.
Bei einer, insbesondere der zuvor beschriebenen, Bildrekonstruktion des Weißlichtbilds kann somit wenigstens ein zusätzliches Bildsignal berücksichtigt werden, welches (insbesondere gleichzeitig zu den wenigstens zwei spektral unterschiedlichen Bildsignalen des Farbbildsensors) mit einem zweiten separaten, insbesondere monochromen, Bildsensor erfasst wurde beziehungsweise wird. Diese räumlich separate Erfassung kann insbesondere unter Verwendung eines optischen Filters geschehen. Denn der Filter kann beispielsweise aus einem mittels einer Aufnahmeoptik aufgenommenen Eingangsspektrum ein bestimmtes Neben-Spektrum herausfiltern und zur näheren Analyse bereitstellen. Bei einem solchen Ansatz mit räumlich separater Erfassung des wenigstens einen Neben-Spektrums ist es bevorzugt, wenn durch Berücksichtigung des zusätzlichen Bildsignals die wenigstens eine zusätzliche spektrale Komponente dem Weißlichtbild, insbesondere zumindest teilweise und/oder gewichtet, hinzugefügt wird. Denn so kann die Farbechtheit des Weißlichtbilds erhöht werden. Dieser Ansatz kann als additive Spektrumsrekonstruktion (additive spectrum reconstruction) verstanden werden, bei welchem das Weißlichtbild auch die hinzugefügte spektrale Komponente abbildet.
Alternativ zu dem zuvor erläuterten Ansatz kann bei der Bildrekonstruktion des Weißlichtbilds auch wenigstens ein zusätzliches Bildsignal berücksichtigt werden, welches (insbesondere mit dem Farbbildsensor, mit dem das Weißlichtbild aufgezeichnet wird) zu einem abweichenden Zeitpunkt sensorisch erfasst wurde als wenigstens zwei spektral unterschiedliche mit dem Farbbildsensor erfasste Bildsignale, auf denen das Weißlichtbild beruht. Mit anderen Worten wird dann der Farbbildsensor zu unterschiedlichen Zeitpunkten abwechselnd zur Aufnahme des Haupt-Spektrums und des wenigstens einen Neben-Spektrums eingesetzt (Zeit-Multiple-Verfahren). Bei einem solchen Ansatz mit zeitlich separater Erfassung des wenigstens einen Neben-Spektrums ist es bevorzugt, wenn durch Berücksichtigung des zusätzlichen Bildsignals die wenigstens eine zusätzliche spektrale Komponente aus dem Weißlichtbild (zumindest teilweise) entfernt wird. Dieser Ansatz kann somit als subtraktive Spektrumsrekonstruktion (subtractive spectrum reconstruction) verstanden werden, bei welchem das Weißlichtbild die entfernte oder zumindest abgeschwächte spektrale Komponente nicht mehr, oder nur noch abgeschwächt, abbildet/enthält. Dieser Ansatz bietet sich insbesondere dann an, wenn die zusätzliche spektrale Komponente das Weißlichtbild verfälscht.
Das Haupt-Spektrum kann wie gesagt mittels eines Farbbildsensors erfasst werden. Dieser kann insbesondere als ein RGB-Sensor ausgestaltet sein.
Das wenigstens eine Neben-Spektrum kann hingegen mit einem monochromen Bildsensor erfasst werden. Insbesondere können also beispielsweise zwei Neben-Spektren mit je einem (zugeordneten) separaten monochromen Bildsensor erfasst werden. Ein solches gleichzeitiges Aufnehmen zahlreicher Sub-Spektren bietet sich beispielsweise dann an, wenn nur wenig Licht zur Verfügung steht und gleichzeitig ein Live-Videostream mit erweiterter Information zur Verfügung gestellt werden soll.
Das Hauptspektrum und das wenigstens eine Neben-Spektrum können somit jeweils räumlich getrennt voneinander und/oder gleichzeitig von je einem zugeordneten Bildsensor aufgezeichnet werden.
Ferner können (wenigstens) zwei Neben-Spektren jeweils räumlich getrennt voneinander und/oder gleichzeitig von je einem zugeordneten, insbesondere monochromen, Bildsensor aufgezeichnet werden.
Der beschriebene hierzu alternative Multiplexing-Ansatz sieht hingegen vor, dass die wenigsten zwei Sub-Spektren zeitlich nacheinander von einem Farbbildsensor aufgezeichnet werden, insbesondere unter Anwendung eines Zeitmultiplex-Verfahrens. Hierbei können die jeweils erfassten Sub-Spektren, zumindest zeitweise, eine zeitliche Überlappung zeigen. Dies kann etwa vorkommen, wenn Fluoreszenlicht beobachtet wird, welches mit einer gewissen zeitlichen Varianz ausgestrahlt wird (in Reaktion auf eine zuvor erfolgte Anregung mit Beleuchtugnslicht). Um solche zeitlichen Überlappungen, die sich negativ auf die Bildqualität auswirken können, zu berücksichtigen, kann die zuvor beschriebene subtraktive Spektrumsrekonstruktion eingesetzt werden.
Das Haupt-Spektrum und das wenigstens ein Neben-Spektrum können sich zu dem zur Bildgebung eingesetzten Lichtspektrum ergänzen, etwa dann, wenn alle Sub-Spektren lediglich durch Filtern eines aufgezeichneten / mittels einer Optik eingefangenen Lichtspektrums, insbesondere eines Beleuchtungslichtspektrums, gewonnen werden. In einem solchen Fall kann somit das errechnete Weißlichtbild das gesamte sensorisch erfasste Lichtspektrum wiedergeben, beispielsweise dann, wenn die beschriebene additive Spektrumsrekonstruktion angewendet wird.
Je nach Anwendung und/oder Design des zur Bildaufnahme genutzten Bildaufnahmevorrichtung kann das tatsächlich sensorisch erfasste Haupt-Spektrum mit dem wenigstens einen Neben-Spektrum aber auch eine spektrale Überlappung aufweisen. Dies kann beispielsweise auftreten, wenn das Haupt-Spektrum und das Neben-Spektrum zwar zeitlich nacheinander aufgezeichnet werden (Multiplexing-Ansatz), aber dennoch zeitlich überlappen, sodass das Neben-Spektrum (z.B. IR-Licht) in einem bestimmten Zeitfenster zusammen mit anderen (zum Beispiel sichtbaren) Wellenlängen als Haupt-Spektrum aufgezeichnet wird. Wird in einem solchen Fall die beschriebene subtraktive Spektrumsrekonstruktion angewendet, so ist es günstig, wenn die aus dem Weißlichtbild extrahierte zusätzliche spektrale Komponente gerade in der spektralen Überlappung liegt. Denn dadurch kann die Verfälschung des Weißlichtbilds durch Wellenlängen aus dem Neben-Spektrum vermieden werden. Mit anderen Worten können in solchen Fällen somit Wellenlängen aus dem Neben-Spektrum zwar als unerwünschter Teil des Haupt-Spektrums sensorisch erfasst werden, aber durch die subtraktive Spektrumsrekonstruktion nachträglich wieder aus dem Weißlichtbild entfernt werden.
Um die zuvor beschriebenen Verfahren praktisch umzusetzen, kann zum Beispiel vorgesehen sein, dass das Hauptspektrum und das wenigstens eine Neben-Spektrum durch eine gemeinsame Optik (einer Bildaufnahmevorrichtung) erfasst und anschließend mittels einer Strahlteilung / eines Strahlteilers und/oder mittels optischer Filter räumlich voneinander separiert werden. Dieser Ansatz lässt sich besonders kompakt mit Hilfe von Strahlteilern und darauf aufgebrachten optischen Dünnschichtfiltern realisieren.
Ein hierzu alternativer Ansatz sieht hingegen vor, dass ein Beleuchtungslichtspektrum eines Beleuchtungslichts, welches zur Bildgebung eingesetzt wird, zeitlich variiert wird, beispielsweise alternierend oder quasi-kontinuierlich. Dadurch kann also das Hauptspektrum und das wenigstens eine Neben-Spektrum zeitlich voneinander separiert werden. Dieser zweite Ansatz kann zum Beispiel mit einer spektral durchstimmbaren Lichtquelle, mit zwei alternierend betriebenen Lichtquellen, oder beispielsweise mit Hilfe eines rotierenden Filterrads, welches das auf die beobachtete Szene fallende Beleuchtungslicht zeitlich variiert, umgesetzt werden.
Eine weitere bevorzugte Ausgestaltung des Verfahrens sieht vor, dass eine, insbesondere die zuvor im Detail beschriebene, Berechnung des Weißlichtbilds einen Farbabgleich, insbesondere einen Weißabgleich, umfasst, der die auf dem wenigstens einen Neben-Spektrum basierende zusätzliche spektrale Komponente berücksichtigt.
Eine, insbesondere die zuvor erläuterte, Berechnung des (finalen) Weißlichtbilds kann bevorzugt mittels einer Matrix-Transformation implementiert werden, die als Eingangsgröße wenigstens einen Farbvektor verarbeitet, der die wenigstens eine zusätzliche spektrale Komponente beschreibt. Besonders bevorzugt kann hierbei der wenigstens eine Farbvektor zusätzlich dazu verwendet werden, eine erweiterte Bildinformation zu errechnen. Bevorzugt kann diese erweiterte Bildinformation dem Benutzer dann auch (insbesondere live) angezeigt werden.
Beispielsweise kann eine Farbmatrix gebildet werden, die die jeweiligen Bildsignale als Farbvektoren unterschiedlich gewichtet, um hieraus das finale Weißlichtbild zu errechnen. Somit muss also nicht zwingend ein Weißlichtbild vorab berechnet werden, bevor die wenigsten eine zusätzliche spektrale Komponente, die auf dem Neben-Spektrum beruht, in das Weißlichtbild injiziert oder von diesem extrahiert wird; vielmehr kann der Schritt des Extrahierens / Injizierens der wenigstens einen zusätzlichen spektralen Komponente bei einer initialen Berechnung des Weißlichtbilds durchgeführt werden.
Zur Lösung der eingangs genannten Aufgabe wird schließlich auch eine Bildaufnahmevorrichtung zur multispektralen Bildgebung vorgeschlagen. Diese Vorrichtung umfasst eine Bildverarbeitungseinheit, die sich dadurch auszeichnet, dass die Bildverarbeitungseinheit dazu eingerichtet ist, aus mit der Bildaufnahmevorrichtung sensorisch erfassten Sub-Spektren (beziehungsweise aus zugehörigen/hieraus abgeleiteten Bildsignalen) ein Weißlichtbild zu errechnen und zwar unter Anwendung eines Verfahrens gemäß einem der auf ein Bildaufnahmeverfahren gerichteten Ansprüche und/oder wie hier beschrieben.
Je nach verfolgtem Ansatz, kann die Bildaufnahmevorrichtung wie zuvor beschrieben einen einzigen Farbbildsensor oder aber einen Farbbildsensor und mindestens einen separaten, insbesondere monochromen, Bildsensor aufweisen. Zudem kann die Bildaufnahmevorrichtung die beschriebenen entsprechenden Mittel zur Strahlteilung und/oder spektrale Filter aufweisen, um die einzelnen Sub-Spektren räumlich separat zu erfassen.
Die Erfindung wird nun anhand von Ausführungsbeispielen näher beschrieben, ist aber nicht auf diese Ausführungsbeispiele beschränkt. Weitere Ausbildungen der Erfindung können aus der nachfolgenden Beschreibung eines bevorzugten Ausführungsbeispiels in Verbindung mit der allgemeinen Beschreibung, den Ansprüchen sowie den Zeichnungen gewonnen werden.
Bei der folgenden Beschreibung verschiedener bevorzugter Ausführungsformen der Erfindung erhalten in ihrer Funktion übereinstimmende Elemente auch bei abweichender Gestaltung oder Formgebung übereinstimmende Bezugszahlen.
Es zeigt:

1 eine schematische Ansicht eines erfindungsgemäßen Ansatzes zur räumlich separaten Erfassung mehrerer Sub-Spektren,
2 eine schematische Ansicht eines weiteren erfindungsgemäßen Ansatzes zur räumlich separaten Erfassung mehrerer Sub-Spektren,
3 eine schematische Ansicht einer erfindungsgemäßen Bilaufnahmevorrichtung,
4 eine schematische Ansicht eines erfindungsgemäßen Ansatzes zur zeitlich separaten Erfassung mehrerer Sub-Spektren und
5 eine schematische Ansicht eines weiteren erfindungsgemäßen Ansatzes zur zeitlich separaten Erfassung mehrerer Sub-Spektren.

Die 1 zeigt ein Schema zur Illustration eines erfindungsgemäßen Bildgebungsverfahrens bzw. einer erfindungsgemäßen Bildaufnahmevorrichtung 15. Die Vorrichtung 15 weist einen Farbbildsensor 7 und zwei weitere monochrome Bildsensoren 11 auf. Vor jedem der drei Bildsensoren 7, 11 ist ein optischer Filter 12 angeordnet, wobei ein mittels einer Optik der Bildaufnahmevorrichtung 15 aufgenommenes Eingangsspektrum 24 mithilfe mehrerer Strahlteiler 13 auf die jeweiligen optischen Filter 12 und die nachfolgend angeordneten Bildsensoren 7, 11 geleitet wird.
Wie anhand der mittels Pfeil-Diagrammen in 1 skizzierten Spektren ersichtlich ist, sind die jeweiligen Filter 12 so ausgelegt, dass der linke monochrome Bildsensor 11 Cyanfarbenes sichtbares Licht aus dem Eingangsspektrum 24 selektiv erfasst, während der zweite monochrome Bildsensor 11 UV-Wellenlängen selektiv erfasst. Der optische Filter 12, der dem Farbbildsensor 7 zugeordnet ist, ist hingegen so ausgelegt, dass der Farbbildsensor 7 alle übrigen Wellenlängen aus dem Eingangsspektrum 24 erfasst. Mit den drei Bildsensoren 7, 11 werden somit drei unterschiedliche Sub-Spektren 2 sensorisch separat erfasst, wobei sich diese drei Sub-Spektren 4a, 4b und 3 zu dem zur Bildgebung eingesetzten Lichtspektrum 1 ergänzen, welches in dem linken Diagramm dargestellt ist, wobei die gestrichelten Linien im Diagramm die jeweiligen Grenzwellenlängen der optischen Filter 12 kennzeichnen.
Wie die 3 illustriert, wird bei der Bildgebung ein zu beobachtendes Objekt 29 mit einer Lichtquelle 14 der Vorrichtung 15 bestrahlt, die ein bestimmtes Beleuchtungslichtspektrum 28 abgibt. Das von der Videokamera 21 der Bildaufnahmevorrichtung 15 aufgenommene Eingangsspektrum 24, welches dem zur Bildgebung eingesetzten Lichtspektrum 1 entspricht, kann aber über das Beleuchtungslichtspektrum 28 hinaus noch weitere Wellenlängen enthalten, etwa dann, wenn die beobachtete Szene 29 Fluorophore enthält, die von dem Beleuchtungslicht 28 angeregt werden und Fluoreszenzlicht ausstrahlen, welches mit der Videokamera 21 erfasst wird.
Wie die 1 illustriert werden die Bildsignale 10a und 10b, die von den beiden monochromen Bildsensoren 11 geliefert werden, jeweils einer Signalverarbeitung in der rechten unteren Signalverarbeitungseinheit 25 unterzogen, um eine erweiterte Bildinformation 9 zu gewinnen. Beispielsweise lässt sich aus diesen beiden Bildsignalen 10a, 10b eine örtliche Verteilung einer Sauerstoffsättigung eines Gewebes ermitteln, welches mit der Bildaufnahmevorrichtung 15 beobachtet wird.
Demgegenüber dient der Farbbildsensor 7, der das mit Bezugszeichen 3 gekennzeichnete Haupt-Spektrum sensorisch erfasst, dazu, eine Weißlichtbildgebung (white light imaging - WLI) zu ermöglichen, die dem Benutzer einen visuellen Eindruck der beobachteten Szene 29 liefert. Allerdings erfasst der Farbbildsensor 7 gerade nicht die beiden Neben-Spektren 4a und 4b im UV- und Cyan-Wellenlängenbereich, die von den beiden monochromen Bildsensoren 11 sensorisch erfasst werden. Um dennoch eine möglichst realitätsnahe Weißlichtbildgebung zu ermöglichen, deren Farbechtheit optimiert ist und bei der zudem das Signalrauschen minimal ist, werden zwei zusätzliche spektrale Komponenten 6a und 6b, die jeweils auf den von den beiden monochromen Bildsensoren 11 gelieferten Bildsignalen 10a und 10b beruhen, in das final zu errechnende Weißlichtbild 5 injiziert.
Zur Berechnung des finalen Weißlichtbild 5 werden hierzu sowohl die drei Bildsignale 8a, 8b und 8c, die von dem als RGB-Sensor ausgestalteten Farbbildsensor 7 geliefert werden, als auch die beiden Bildsignale 10a und 10b, die von den beiden monochromen Bildsensoren 11 geliefert werden, von einer Signalverarbeitungseinheit 25 verarbeitet. Genauer erfolgt die Berechnung des Weißlichtbilds 5 mittels einer Matrixtransformation 23, die als Eingangsgröße zwei Farbvektoren 26a und 26b verarbeitet, die die beiden zusätzlichen spektralen Komponenten 6a und 6b beschreiben, die von den beiden monochromen Bildsensoren 11 erfasst werden, also die UV-Licht-Komponente und die Cyan-Licht-Komponente. Durch die Berücksichtigung dieser beiden spektralen Komponenten 6a und 6b in der Matrix-Transformation 23 werden diese somit dem Weißlichtbild 5 hinzugefügt, sodass im Ergebnis das Weißlichtbild 5 wieder das gesamte zur Bildgebung eingesetzte Lichtspektrum 1 wiedergibt, wie anhand des rechten oberen schematischen Spektrums angedeutet ist.
In 1 ist ferner zu erkennen, dass das so errechnete Weißlichtbild 5 auch der ganz rechts angeordneten Signalverarbeitungseinheit 25 zugeführt wird, die auch die beiden Bildsignale 10a und 10b der beiden monochromen Bildsensoren 11 als Eingangsgrößen verarbeitet. Diese Signalverarbeitungseinheit 25 überlagert die aus den beiden Bildsignalen 10a und 10b errechnete erweiterte Bildinformation 9 dem bereits zuvor errechneten Weißlichtbild 5, sodass zusätzlich zu dem in seiner Farbechtheit verbesserten Weißlichtbild 5 eine erweiterte Realitätsansicht (augmented reality view) des Weißlichtbilds 5 zusammen mit der erweiterten Bildinformation 9 dem Benutzer nach Bedarf angezeigt werden kann. Beispielsweise kann die erweiterte Bildinformation 9, also zum Beispiel die lokale Blutsauerstoffsättigung, mittels einer Falschfarbendarstellung dem Weißlichtbild 5 überlagert werden.
2 zeigt ein weiteres Beispiel, wie ein erfindungsgemäßes multispektrales Bildgebungsverfahren realisiert sein kann: Hierbei wird erneut ein Nebenspektrum 4 räumlich separat mittels eines monochromen Bildsensors 11 sensorisch erfasst, wobei ein vorgelagertes optisches Filter 12 sichtbare Wellenlängen herausfiltert. Mittels eines Farbsensors 7, der ebenfalls über ein vorgelagertes Filter 12 verfügt, welches gerade IR-Wellenlängen herausfiltert (IR-cutoff-filter), wird in üblicher Weise ein Farbbild aufgenommen, welches durch die drei Bildsignale 8a, 8b, 8c beschrieben ist.
Auch bei dem Beispiel der 2 ist wie in 1 eine erfindungsgemäße Spektrumsrekonstruktion realisiert, da die linke Signalverarbeitungseinheit 25 neben den drei Bildsignalen 8a, 8b und 8c des Farbbildsensors 7 auch das separat mit dem monochromen Bildsensor 11 erzeugte Bildsignal 10 berücksichtigt, welches den IR-Gehalt der beobachteten Szene 29 wiedergibt. Allerdings wirkt in diesem Anwendungsfall der IR-Anteil des mit der Bildaufnahmevorrichtung 15 aufgenommenen Lichts als Störsignal für die Weißlichtbildgebung. Dies kann beispielsweise auftreten, wenn der IR-Anteil nicht sauber herausgefiltert werden kann und somit vom Farbbildsensor 7 zumindest teilweise mit erfasst wird. In der Folge kann beispielsweise die Farbsättigung im Weißlichtbild reduziert sein. In diesem Fall ist es hilfreich, das vom Farbbildsensor 7 mit erfasste IR-Licht nachträglich elektronisch zu eliminieren, in dem dieser Signalanteil mittels einer subtraktiven Spektrumsrekonstruktion aus dem Weißlichtbild herausgerechnet wird.
Zu diesem Zweck implementiert die in 2 linke (beziehungsweise in der Signalkette erste) Signalverarbeitungseinheit 25 einen Farbabgleich, der die zusätzliche spektrale Komponente 6, die auf dem mittels des monochromen Bildsensors 11 sensorisch erfassten Neben-Spektrum 4 basiert, berücksichtigt. Wie in 2 gezeigt, gibt die linke Signalverarbeitungseinheit 25 somit angepasste Bildsignale 8a', 8b', 8c', 8d' aus. Aufbauend auf dem erfolgten Farbabgleich berechnet die nachfolgende (rechte) Signalverarbeitungseinheit 25 dann aus diesen Signalen 8a', 8b', 8c', 8d' ein Weißlichtbild 5, in welchem die zusätzliche spektrale (IR-) Komponente 6 nicht länger enthalten ist (beziehungsweise nur noch in sehr abgeschwächter Form). Im Ergebnis weist dadurch das Weißlichtbild 5 eine verbesserte Bildqualität und Farbechtheit auf; insbesondere kann die Farbsättigung des Weißlichtbilds 5 verbessert werden.
Die untere Bildverarbeitungseinheit 25 in 2 wertet hingegen die zusätzliche spektrale Komponente 6 separat zum Weißlichtbild 5 aus, um hieraus eine erweiterte Bildinformation 9 zu generieren. Wie in 2 anhand der Blockpfeile angedeutet, kann diese zusätzliche Bildinformation 9 dann nachfolgend dem (optimierten) Weißlichtbild 5 im Rahmen einer Bildüberlagerung 27 hinzugefügt werden.
Bei den beiden Beispielen der 1 und 2 wird bei der Bildrekonstruktion des Weißlichtbild 5 somit jeweils wenigstens ein zusätzliches Bildsignal 10 berücksichtigt, welches gleichzeitig zu wenigstens zwei spektral unterschiedlichen Bildsignale 8a und 8b des Farbbildsensors 7 mit einem separaten Bildsensor 11 erfasst wird und zwar unter Verwendung eines optischen Filters 12. Dabei wird jeweils die jeweilige zusätzliche spektrale Komponente 6/6a/6b dem Weißlichtbild 5 (anteilig) hinzugefügt oder aus dem Weißlichtbild 5 (anteilig) subtrahiert. Dieses Hinzufügen/Extrahieren der zusätzlichen spektralen Komponente 6 kann insbesondere eine Gewichtung im Rahmen der Matrix-Transformation 23 umfassen, bzw. durch eine solche Gewichtung realisiert sein. Bei einer subtraktiven Spektrumsrekonstruktion wird die Gewichtung demnach negative Werte annehmen; bei einer additiven Spektrumsrekonstruktion hingegen positive Werte.
Die beiden Beispiele der 4 und 5 zeigen hingegen Beispiele von erfindungsgemäßen multispektralen Bildgebungsverfahren, bei denen mehrere Sub-Spektren 2 eines zur Bildgebung eingesetzten Lichtspektrums 1 zeitlich separat voneinander erfasst werden und zwar mithilfe eines einzigen Bildsensors (also räumlich gemeinsam).
Bei dem Beispiel der 5 wird das Beleuchtungslichtspektrum 28, mit dem die zu beobachtende Szene 29 beleuchtet wird, alternierend zeitlich variiert. Hierzu wird abwechselnd mit sichtbaren Wellenlängen (VIS) und mit Wellenlängen im Nahinfrarotbereich (NIR) beleuchtet. Entsprechend zeichnet ein einziger verwendeter Farbbildsensor 7 die sichtbaren Wellenlängen zu bestimmten Zeitpunkten auf (Einzelbilder 19a und 19c) und das NIR-Licht zu hiervon abweichenden Zeitpunkten (Einzelbilder 19b und 19d). Zu unterschiedlichen Zeitpunkten (Einzelbilder 19b, 19d, 19f) produziert der Farbbildsensor 7 somit Bildsignale 10, aus denen die obere Signalverarbeitungseinheit 25 eine erweiterte Bildinformation 9 errechnen kann.
Für die Weißlichtbildgebung sollen hingegen prinzipiell die Einzelbilder 19a, 19c und 19e verwendet werden, die zu den Zeitpunkten aufgenommen werden, wenn gerade die sichtbare Beleuchtung auf die Szene fällt. Da die NIR-Beleuchtung jedoch zur Fluoreszenzlichtbildgebung eingesetzt wird, bei der die Emissionszeitpunkte des Fluoreszenzlichts nicht genau kontrolliert werden können, kann es vorkommen, dass das NIR-Licht auch dann von dem Bildsensor 7 aufgezeichnet wird, wenn eigentlich gerade die sichtbare Beleuchtung auf die Szene fällt. Mit anderen Worten besteht dann also eine zeitliche Überlappung 20 zwischen dem Neben-Spektrum 4 und dem Sub-Spektrum der sichtbaren Wellenlängen, die zusammen das zur Bildgebung eingesetzte Lichtspektrum 1 ausmachen.
Somit kann es also im Beispiel der 5 vorkommen, dass etwa bei Aufnahme des Einzelbilds 19c das zu diesem Zeitpunkt sensorisch mit dem Bildsensor 7 erfasste Haupt-Spektrum 3 nicht nur sichtbare Wellenlängen aus einem ersten Sub-Spektrum 2 des Lichtspektrums 1 enthält, sondern auch IR-Wellenlängen aus dem Neben-Spektrum 4, die jedoch in diesem Fall die Weißlichtbildgebung verfälschen. Um diese störenden IR-Signalanteile aus dem Weißlichtbild 5 zu entfernen oder zumindest abzuschwächen, wird das sensorisch zeitlich separat erfasste Neben-Spektrum 4 dazu verwendet, die zugehörige (unerwünschte) und zusätzliche spektrale IR-Komponente 6 aus dem Weißlichtbild 5 zu entfernen.
Um diese subtraktive Spektrumsrekonstruktion zu implementieren ist die untere Signalverarbeitungseinheit 25 in 5 so eingerichtet, dass sie die zu abweichenden Zeitpunkten aufgenommenen Bildsignale 10 mittels einer Matrix-Transformation 23 bei der Berechnung des Weißlichtbilds 5 mitverarbeitet und damit mit berücksichtigt, um so die unerwünschte spektrale Komponente 6, die auf dem NIR-Licht beruht, aus dem Weißlichtbild 5 (weitgehend) zu extrahieren. Anschließend kann (wie zuvor bereits beschrieben) die aus dem (sensorisch separat erfassten) Neben-Spektrum 4 errechnete erweiterte Bildinformation 9 dem (nun mit verbesserter Farbechtheit) errechneten Weißlichtbild 5 im Rahmen einer Bildüberlagerung 27 hinzugefügt werden.
Bei dem Beispiel der 4 wird das Beleuchtungslichtspektrum 28 des zur Beleuchtung eingesetzten Beleuchtungslichtquelle nicht alternierend, sondern kontinuierlich zeitlich verändert. Wie die Zeitachse 18 und die darüber angeordneten einzelnen Diagramme der Sub-Spektren 2 andeuten, wird dabei das Beleuchtungslichtspektrum 28 quasi-kontinuierlich zeitlich variiert, sodass ein großer Wellenlängenbereich abgedeckt wird, was beispielsweise mit einer durchstimmbaren Beleuchtungslichtquelle realisierbar ist. Auch bei dem Beispiel der 4 wird nur ein einziger Bildsensor 7 benötigt, der die verschiedenen Einzelbilder 19 aufzeichnet. Durch Berücksichtigung der Bildsignale 10a und 10c, die auf den zu unterschiedlichen Zeitpunkten mit dem Bildsensor 7 sensorisch erfassten Neben-Spektren 4a und 4c beruhen, kann die Signalverarbeitungseinheit 25 wenigstens eine erweiterte Information 9 errechnen, die auf einer zugehörigen spektralen Komponente 6a (UV-Licht) bzw. 6c (Cyanfarbenes sichtbares Licht) beruht.
Die untere Signalverarbeitungseinheit 25 in 4 berücksichtigt nun sämtliche Bildsignale 10, die zu unterschiedlichen Zeitpunkten mit dem Bildsensor 7 gewonnen werden (und den jeweiligen aufgezeichneten Einzelbildern 19 entsprechen) und errechnet hieraus ein spektral hoch aufgelöstes Weißlichtbild 5, das somit das gesamte zur Bildgebung eingesetzte Lichtspektrum 1 umfasst. Mit anderen Worten wird also hier das erfindungsgemäße Bildgebungsverfahren zu einer additiven Spektrumsrekonstruktion eingesetzt, um neben der wertvollen erweiterten Bildinformation 9 gleichzeitig ein hoch aufgelöstes und farbechtes Weißlichtbild 5 zu gewinnen. Auch bei dem Beispiel der 4 kann selbstverständlich die errechnete erweiterte Information 9 dem parallel errechneten Weißlichtbild 5 final überlagert werden (nicht gezeigt in 4). Als Hauptspektrum, auf dem die Weißlichtbildgebung maßgeblich beruht, kann somit im Beispiel der 4 das gesamte Lichtspektrum 1 verstanden werden, anders als bei den Beispielen der 1 und 2, wo das Hauptspektrum 3 nur einen Teil des zur Bildgebung eingesetzten Lichtspektrum 1 ausmacht.
Bei den Beispielen der 4 und 5 zeigt das jeweils erfasste Haupt-Spektrum 3 somit (zumindest zeitweise) mit einem zeitlich separat erfassten Neben-Spektrum 4 eine spektrale Überlappung. Bei dem Beispiel der 5 liegt dabei die spektrale Komponente 6 (nämlich, dass NIR-Licht), welches aus dem Weißlichtbild 5 extrahiert wird, gerade in der spektralen Überlappung. Bei dem Beispiel der 4 ist es hingegen so, dass sämtliche sensorisch erfassten spektralen Komponenten 6, die auf den jeweiligen Neben-Spektren 4 beruhen, dass Haupt-Spektrum 3 bilden, auf dem das Weißlichtbild 5 basiert.
Bei den Beispielen der 1, 2 sowie 4 und 5 wird sowohl das Hauptspektrum 3 als auch das wenigstens eine Neben-Spektrum 4 jeweils durch eine gemeinsame Optik der Videokamera 21 erfasst; während jedoch bei den Beispielen der 1 und zwei die einzelnen Sub-Spektren 3, 4 mittels einer Strahlteilung 13 und optischer Filter 12 räumlich voneinander separiert werden, werden bei dem Beispiel der 4 alle sechs Neben-Spektren 4a bis 4f zeitlich separat voneinander aber mit demselben Farbbildsensor 7 aufgezeichnet und im Beispiel der 5 wird ebenfalls das Hauptspektrum 3 zeitlich separat von dem NIR-Neben-Spektrum 4 aber mit demselben Farbbildsensor 7 sensorisch erfasst.
Abschließend sei noch erwähnt, dass die in den einzelnen Ausgestaltungsbeispielen gezeigten Signalverarbeitungseinheiten 25 jeweils durch eine entsprechende Bildverarbeitungseinheit 22 implementiert sein können, die entweder direkt in der Videokamera 21 oder etwa in der Kontrolleinheit 16 der Bildaufnahmevorrichtung 15 implementiert sein kann (vergleiche 3).
Zusammenfassend wird zur Verbesserung der Bildqualität und Farbechtheit eines Weißlichtbildes 5, welches im Rahmen einer multispektralen Bildgebung sensorisch erfasst wird, vorgeschlagen, dass unterschiedliche Sub-Spektren 2 eines zur Bildgebung eingesetzten Lichtspektrums 1 entweder räumlich separat oder aber zeitlich separat voneinander sensorisch erfasst werden und dass bei der Berechnung des Weißlichtbildes 5 ein Neben-Spektrum 4 dieser Sub-Spektren 2 berücksichtigt wird, welches (zeitlich oder räumlich) separat zu einem Haupt-Spektrum 3 des Lichtspektrums 1 erfasst wird. Dieser Ansatz bietet den Vorteil, dass damit eine zusätzliche spektrale Komponente 6, die auf dem separat erfassten Neben-Spektrum 4 beruht, je nach Bedarf in das Weißlichtbild 5 injiziert oder aus diesem extrahiert werden kann, um so die gewünschte verbesserte Bildqualität zu erreichen (Vergleiche 1).
Bezugszeichenliste

1: Lichtspektrum
2: Sub-Spektrum (von 1)
3: Hauptspektrum (von 1 bzw. 2)
4: Neben-Spektrum (von 1 bzw. 2, typischerweise spektral schmaler als 3)
5: Weißlichtbild
6: spektrale Komponente, insbesondere Bildsignalkomponente
7: Farbbildsensor
8: Bildsignal (von 7)
9: erweiterte Bildinformation (augmented information)
10: Bildsignal (von 7 oder von 11)
11: monochromer Bildsensor
12: optisches Filter
13: Strahlteiler
14: Lichtquelle
15: Bildaufnahmevorrichtung, insbesondere endoskopisches Bildaufnahmesystem
16: Kontrolleinheit
17: Monitor
18: Zeitachse
19: Einzelbild (insbesondere mit spektral eingeschränkter Bildinformation)
20: Zeitliche Überlappung
21: Videokamera
22: Bildverarbeitungseinheit (von 15)
23: Matrix-Transformation
24: Eingangsspektrum (aufgenommen mittels Optik von 15)
25: Signalverarbeitungseinheit
26: Farbvektor
27: Bildüberlagerung / overlay (von 5 und 9)
28: Beleuchtungslichtspektrum
29: Beobachtete Szene / Objekt

Claims

Verfahren zur multispektralen Bildgebung, - wobei wenigstens zwei Sub-Spektren (2) eines zur Bildgebung eingesetzten Lichtspektrums (1) sensorisch separat erfasst werden und - wobei aus einem erfassten Haupt-Spektrum (3) der Sub-Spektren (2) ein Weißlichtbild (5) errechnet wird, dadurch gekennzeichnet, - dass wenigstens ein separat erfasstes Neben-Spektrum (4a, 4b) der Sub-Spektren (2) dazu verwendet wird, wenigstens eine zusätzliche spektrale Komponente (6a, 6b) - aus dem Weißlichtbild (5) zu extrahieren und/oder - in das Weißlichtbild (5) zu injizieren, - vorzugsweise sodass dass Weißlichtbild (5) realitätsnäher und/oder mit verbesserter Farbechtheit rekonstruiert bzw. wiedergegeben werden kann.
Verfahren nach Anspruch 1, wobei die wenigstens zwei Sub-Spektren (2) - gleichzeitig aber räumlich separat oder - zeitlich separat, insbesondere durch Anwendung eines Zeitmultiplex-Verfahrens und/oder unter Verwendung eines einzigen Bildsensors (7, 11), sensorisch erfasst werden, und/oder - wobei die wenigstens eine zusätzliche spektrale Komponente (6a, 6b) separat zum Weißlichtbild (5) ausgewertet wird, um eine erweiterte Bildinformation (9), insbesondere eine erweiterte Bildkomponente, zu generieren.
Verfahren nach Anspruch 1 oder 2, - wobei das Weißlichtbild (5) aus wenigstens zwei spektral unterschiedlichen Bildsignalen (8a, 8b, 8c) eines Farbbildsensors (7) in einer Bildrekonstruktion errechnet wird und/oder - wobei das wenigstens eine Neben-Spektrum (4a, 4b) dazu verwendet wird, eine erweiterte Bildinformation (9) zu gewinnen, vorzugsweise die dem Weißlichtbild (5) überlagert wird, insbesondere mittels einer Falschfarbendarstellung, - insbesondere um so eine erweitere Realitätsansicht (augmented reality view) des Weißlichtbilds (5) zusammen mit der erweiterten Bildinformation (9) zu realisieren.
Verfahren nach einem der vorhergehenden Ansprüche, - wobei bei einer/der Bildrekonstruktion des Weißlichtbilds (5) wenigstens ein zusätzliches Bildsignal (10) berücksichtigt wird, welches, - insbesondere gleichzeitig zu den wenigstens zwei spektral unterschiedlichen Bildsignalen (8a, 8b, 8c) des Farbbildsensors (7), mit einem zweiten separaten, insbesondere monochromen, Bildsensor (11) erfasst wurde beziehungsweise wird, insbesondere unter Verwendung eines optischen Filters (12), - vorzugsweise wobei durch Berücksichtigung des zusätzlichen Bildsignals (10) die wenigstens eine zusätzliche spektrale Komponente (6a, 6b) dem Weißlichtbild (5), insbesondere zumindest teilweise und/oder gewichtet, hinzugefügt wird.
Verfahren nach Anspruch 2, - wobei bei der Bildrekonstruktion des Weißlichtbilds (5) wenigstens ein zusätzliches Bildsignal (10) berücksichtigt wird, welches zu einem abweichenden Zeitpunkt sensorisch erfasst wurde als wenigstens zwei spektral unterschiedliche mit einem Farbbildsensor (7) erfasste Bildsignale (8a, 8b, 8c) auf denen das Weißlichtbild (5) beruht, - vorzugsweise wobei durch Berücksichtigung des zusätzlichen Bildsignals (10) die wenigstens eine zusätzliche spektrale Komponente (6a, 6b) aus dem Weißlichtbild (5) zumindest teilweise entfernt wird.
Verfahren nach einem der vorhergehenden Ansprüche, - wobei das Haupt-Spektrum (3) mittels eines Farbbildsensors (7), insbesondere mit einem RGB-Sensor, erfasst wird und/oder - wobei das wenigstens eine Neben-Spektrum (4a, 4b), insbesondere zwei Neben-Spektren (4a, 4b), mit je einem separaten monochromen Bildsensor (11) erfasst wird.
Verfahren nach einem der vorhergehenden Ansprüche, - wobei das Hauptspektrum (3) und das wenigstens eine Neben-Spektrum (4a, 4b) jeweils räumlich getrennt voneinander und/oder gleichzeitig von je einem zugeordneten Bildsensor (7, 11) aufgezeichnet werden, und/oder - wobei zwei Neben-Spektren (4a, 4b) jeweils räumlich getrennt voneinander und/oder gleichzeitig von je einem zugeordneten, insbesondere monochromen, Bildsensor (11a, 11b) aufgezeichnet werden, oder - wobei die wenigsten zwei Sub-Spektren (3, 4) zeitlich nacheinander von einem Farbbildsensor (7) aufgezeichnet werden, insbesondere unter Anwendung eines Zeitmultiplex-Verfahrens, - insbesondere wobei die Sub-Spektren (3, 4) bei der Bildaufnahme, zumindest zeitweise, eine zeitliche Überlappung (20) zeigen.
Verfahren nach einem der vorhergehenden Ansprüche, - wobei das Haupt-Spektrum (3) und wenigstens ein Neben-Spektrum (4a, 4b) sich zu dem zur Bildgebung eingesetzten Lichtspektrum (1) ergänzen, - insbesondere wobei das errechnete Weißlichtbild (5) das gesamte sensorisch erfasste Lichtspektrum (1) wiedergibt, oder - wobei das erfasste Haupt-Spektrum (3) mit dem wenigstens einen Neben-Spektrum (4a, 4b) eine spektrale Überlappung (21) aufweist, - insbesondere wobei die aus dem Weißlichtbild (5) extrahierte zusätzliche spektrale Komponente (6) in der spektralen Überlappung liegt.
Verfahren nach einem der vorhergehenden Ansprüche, - wobei das Hauptspektrum (3) und das wenigstens eine Neben-Spektrum (4a, 4b) durch eine gemeinsame Optik erfasst und anschließend mittels einer Strahlteilung (13) und/oder mittels optischer Filter (12) räumlich voneinander separiert werden oder - wobei ein Beleuchtungslichtspektrum (28) eines zur Bildgebung eingesetzten Beleuchtungslichts zeitlich variiert wird, beispielsweise alternierend oder quasi-kontinuierlich, und wobei das das Hauptspektrum (3) und das wenigstens eine Neben-Spektrum (4a, 4b) dadurch zeitlich voneinander separiert werden.
Verfahren nach einem der vorhergehenden Ansprüche, - wobei eine, insbesondere die, Berechnung des Weißlichtbilds (5) einen Farbabgleich, insbesondere einen Weißabgleich, umfasst, der die auf dem wenigstens einen Neben-Spektrum (4a, 4b) basierende zusätzliche spektrale Komponente (6a, 6b) berücksichtigt.
Verfahren nach einem der vorhergehenden Ansprüche, - wobei eine, insbesondere die, Berechnung des Weißlichtbilds (5) mittels einer Matrix-Transformation (23) implementiert wird, die als Eingangsgröße wenigstens einen Farbvektor (26) verarbeitet, der die wenigstens eine zusätzliche spektrale Komponente (6a, 6b) beschreibt, - besonders bevorzugt wobei der wenigstens eine Farbvektor (26) zusätzlich dazu verwendet wird, eine erweiterte Bildinformation (9) zu errechnen, bevorzugt und anzuzeigen.
Bildaufnahmevorrichtung (15) zur multispektralen Bildgebung, umfassend eine Bildverarbeitungseinheit (22), dadurch gekennzeichnet, - dass die Bildverarbeitungseinheit (22) dazu eingerichtet ist, aus mit der Bildaufnahmevorrichtung (15) sensorisch erfassten Sub-Spektren (2) beziehungsweise zugehörigen Bildsignalen (10) ein Weißlichtbild (5) zu errechnen unter Anwendung eines Verfahrens gemäß einem der vorhergehenden Ansprüche.